CN107358631A - 一种虑及三维畸变的双目视觉重建方法 - Google Patents

一种虑及三维畸变的双目视觉重建方法 Download PDF

Info

Publication number
CN107358631A
CN107358631A CN201710496023.XA CN201710496023A CN107358631A CN 107358631 A CN107358631 A CN 107358631A CN 201710496023 A CN201710496023 A CN 201710496023A CN 107358631 A CN107358631 A CN 107358631A
Authority
CN
China
Prior art keywords
msubsup
mrow
msup
mtd
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710496023.XA
Other languages
English (en)
Other versions
CN107358631B (zh
Inventor
刘巍
张洋
兰志广
赵海洋
张致远
叶帆
贾振元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201710496023.XA priority Critical patent/CN107358631B/zh
Publication of CN107358631A publication Critical patent/CN107358631A/zh
Application granted granted Critical
Publication of CN107358631B publication Critical patent/CN107358631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明一种虑及三维畸变的双目视觉重建方法属于计算机视觉测量技术领域，涉及一种虑及三维畸变的双目视觉重建方法。该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建。该方法首先采用传统双目视觉重建方法获得测量点的三维重建初值；然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现双目三维高精度重建。该方法重建精度高，可补偿双目视觉的三维畸变，实现具有大曲率大尺寸零件形面重建，提高双目视觉的三维重建精度。

Description

一种虑及三维畸变的双目视觉重建方法
技术领域
本发明属于计算机视觉测量技术领域，涉及一种虑及三维畸变的双目视觉重建方法。
背景技术
双目机器视觉具有非接触，多信息，快速测量等优势，已在航天、航空大型零件测量中广泛应用。重建过程是实现双目视觉的空间三维场测量的重要环节，但是在传统的双目视觉重建中，只考虑了在平面范围的畸变变化，并为引入深度畸变的三维概念，因此在深度方向的测量精度较差。但是由于航天航空零件大型零件，三维尺寸大，且在深度方向的几何量变化也较大，因此，实现三维高精度重建对于面向航天航空现场测量至关重要。
董明利等人发表的论文《随对焦状态与物距变化的畸变模型及标定方法[J].仪器仪表学报,2013,34(12):2653-2659.提出通过建立随对焦装袋和测量点物距变化的相机畸变模型，实现基于摄影测量原理的单相机三维高精度测量。冯颖；张欣；杜娟；苏比哈什·如凯迦等发明的“一种基于双目立体视觉系统的多视角三维重建方法”，专利号CN201610571315.0，通过提前对双目立体视觉系统摄像头进行标定,制作双目立体视觉系统恢复三维信息的查找表，完成对被重建物体多视角的三维重建。该方法可以固定场景的高精度重建，但是对于航空现场的大尺寸零件难以实现现场高精度重建。
发明内容
本发明要解决的技术难题是针对双目视觉对于大曲率零件的三维重建精度较低的问题，发明了虑及三维畸变的双目视觉重建方法。该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建；通过以双目视觉测量结果为初值，然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现零件在三维空间的高精度重建。
本发明采用的技术方案是一种虑及三维畸变的双目视觉重建方法，其特征是，该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建；该方法首先采用传统双目视觉重建方法获得测量点的三维重建初值；然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现双目三维高精度重建；方法具体步骤如下：
第一步三维重建初值计算
先进行双目相机标定，基于张氏标定方法实现左、右相机1、4的各自内外参数标定，其标定公式如下：
其中，u,v分别是图像的行列像素坐标值，Xw,Yw,Zw代表被测点在世界坐标系里的三维坐标值，Xc,Yc,Zc代表被测点在摄像机坐标系里的三维坐标值，M1为相机内参数矩阵，M2为相机外参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；M为相机单应矩阵，其中M可表示为：
其中，mij为投影矩阵M中第i行第j列的值；左右相机的相关参数采用上角标l,r分别来表示；
根据相机的径向畸变函数，对畸变系数进行计算，其公式如下：
其中，xk,yk分别是实际径像畸变情况下的归一化坐标，x,y代表理想无畸变时的归一化坐标，k1为图像径向畸变系数，基于相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解图像畸变系数k1；
然后，基于空间两个固定放置的标定右相机的平面靶标3和标定左相机的平面靶标2对左、右相机1、4进行角度调整，即左右相机的相机平面与对其对应的平面靶标平行，其旋转矩阵R满足：
其中，a,b,c,d为旋转矩阵参数，ε为无限接近于0的值，|γ|无线接近于1；
然后进行左右相机的结构参数标定，即实现左右相机之间旋转平移矩阵的计算，其计算公式如下：
其中，和分别为被测点分别在以左右摄像机坐标系为世界坐标系的情况下三维坐标，简称为左、右相机坐标系的世界坐标，Rl-r和Tl-r分别为左相机坐标系到右相机方法的旋转、平移矩阵，即双目相机的结构参数；Rl,Tl和Rr,Tr分别为左右相机的外参数，为左相机外参数旋转矩阵的逆；
再进行特征提取与初值重建，采用灰度重心法提取被测目标的特征中心，左右相机提取的特征坐标分别为pl(ul,vl)，pr(ur,vr)；以左相机摄像机为世界坐标系，将左右所提取的特征点进行三维重建，其公式如下：
其中，为左相机投影矩阵Ml中第i行第j列的值；ul,vl分别是左相机图像像素值；为右相机投影矩阵Mr中第i行第j列的值；ur,vr分别是右相机图像像素值，且左右图像的像素点为匹配点；为最终所求被测点的三维坐标，即全局坐标系以左相机的相机坐标系为建立；
第二步基于三维畸变的参数计算
基于双目相机标定结果计算合焦位置的三维畸变的性质参数，所标定的相机焦距可表示为Cs，合焦位置的深度可表示为：
其中，Ss为合焦位置的深度，Cs为相机焦距，dpix为平面靶标在图像上的像素长度，dphy为平面靶标的真实物理尺寸，λ为相机的像元尺寸；计算相机的凸透镜焦距F，其计算公式如下：
其中，F为相机的凸透镜焦距，Ss为合焦位置的深度，Cs为相机焦距，将相机平行移动相机位置到S1和S2位置，对相机进行标定，基于公式(8)计算这两个位置的深度值S1和S2，并基于公式(3)计算在该两个位置畸变系数和
第三步畸变补偿与高精度重建
畸变补偿值计算，基于初值计算结果和参数计算结果，计算左右相机的三维空间畸变量，其中左相机的畸变量为：
其中，δl为左图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fl为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以左相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rl为被测点在左图像的径向长度；右相机的畸变量为：
其中，δr为右图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fr为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以右相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rr为被测点在右图像的径向长度；
补偿与重建，基于所求的畸变量，对被测点进行补偿，左图像补偿后的被测点图像坐标为：
其中，ul和vl为被测点提取图像列坐标，δl为左图像测量点的畸变量，和分别为左相机标定的焦距和主点坐标，是相机标定的固有参数；右图像补偿后的被测点图像坐标为：
其中，ur和vr为被测点提取图像列坐标，δr为右图像测量点的畸变量，和分别为左右相机标定的焦距和主点坐标，是相机标定的固有参数；根据公式(6)实现被测点的高精度重建。
本发明的有益效果是该方法通过引入三维畸变修正函数对视觉重建的结果进行补偿优化，提高被测物在空间的测量精度。该方法有益效果是重建精度高，可补偿双目视觉的三维畸变，实现具有大曲率大尺寸零件形面重建，提高双目视觉的三维重建精度。该方法重建精度高，可补偿双目视觉的三维畸变，实现具有大曲率大尺寸零件形面重建，提高双目视觉的三维重建精度。
附图说明
图1为测量系统的示意图。其中，1-左相机，2-标定左相机的平面靶标，3-标定右相机的平面靶标，4-右相机，5-电控平移旋转平台，Ow-Xw,Yw,Zw是全局世界坐标系，和分别为以左右相机的摄像机坐标系建立的世界坐标系，vl和ul为左相机像素坐标，vr和ur为右相机像素坐标。
图2为虑及三维畸变的双目视觉重建方法流程图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
图1为测量系统的示意图，如图所示，实施例中，本发明采用分别配置高分辨率双目相机采集二维平面靶标信息，通过电控平移旋转平台5控制二维平面靶标的移动进行双目相机标定。双目视觉系统中相机型号为vieworks VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072。旋转电控平台采用卓立汉光的电控旋转平台RAK350，其步距角为1.8度，转角重复精度小于0.003度。电控平移平台采用卓立汉光的电控平移平台UKSA200，重复定位精度小于2μm。
图2为虑及三维畸变的双目视觉重建方法流程图，测量方法首先对左右相机分别进行标定，然后通过电控平移旋转平台5分别调整左、右相机1、4平行于标定左相机的平面靶标2和标定右相机的平面靶标3。进而通过两个标定位置将双目相机畸变参数标定，并标定双目相机的结构参数，结合被测物目标的提取结果实现被测物的初始重建。参照附图2，整个过程分为双目相机标定、特征提取与初值重建、基于三维畸变的参数计算、畸变补偿值计算、畸变补偿与高精度重建。方法的具体步骤如下：
第一步三维重建初值计算
先进行双目相机标定，基于张氏标定方法基于公式(1)实现左、右相机1、4进行标定，其内参数矩阵和畸变系数如表1所示：
表1
然后，利用电控平移旋转平台5分别调整左、右相机1、4，根据公式(4)使左、右相机1、4分别平行于标定左相机的平面靶标2和标定右相机的平面靶标3。然后进行左右相机的结构参数标定，根据公式(5)实现左右相机的结构参数计算。
进行特征提取与初值重建，采用灰度重心法提取被测目标的特征中心，基于公式(6)实现被测点的初值重建。
第二步基于三维畸变的参数计算
基于双目相机标定结果计算合焦位置的三维畸变的性质参数，所标定的内参数结果可计算相机焦距，并基于公式(7)计算合焦位置深度，根据公式(8)计算相机的凸透镜焦距，将相机分别平行移动相机位置到S1和S2位置，对相机进行标定，基于公式(7)计算这两个位置的深度值S1和S2，并基于公式(3)计算在该两个位置畸变系数和根据上述步骤对左右相机1,4分别进行基于三维畸变的参数计算。
第三步畸变补偿与高精度重建
畸变补偿值计算，基于初值计算结果和参数计算结果，根据公式(9)和公式(10)分别计算左、右相机1、4的三维空间畸变量。
补偿与重建，基于所求的畸变量，根据公式(11)和(12)对被测点进行补偿，根据公式(6)实现被测点的高精度重建。双目视觉采集标准长度为350.0172mm的靶尺在空间不同位置采集8次，其平均长度为350.7263，本专利获得的靶尺长度为350.1574mm，提高了测量精度，验证了该提取方法的有效性。

Claims (1)

1.一种虑及三维畸变的双目视觉重建方法，其特征是，该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建；该方法首先采用传统双目视觉重建方法获得测量点的三维重建初值；然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现双目三维高精度重建；方法具体步骤如下：
第一步 三维重建初值计算
首先进行双目相机标定，基于张氏标定方法实现左、右相机(1、4)的各自内外参数标定，其标定公式如下：
<mrow> <mi>s</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>R</mi> </mtd> <mtd> <mi>T</mi> </mtd> </mtr> <mtr> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mo>&amp;times;</mo> <msub> <mi>M</mi> <mn>2</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>M</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，u,v分别是图像的行列像素坐标值，Xw,Yw,Zw代表被测点在世界坐标系里的三维坐标值，Xc,Yc,Zc代表被测点在摄像机坐标系里的三维坐标值，M1为相机内参数矩阵，M2为相机外参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；M为相机单应矩阵，其中M可表示为：
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，mij为投影矩阵M中第i行第j列的值；左右相机的相关参数采用上角标l,r分别来表示；
根据相机的径向畸变函数，对畸变系数进行计算，其公式如下：
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mi>k</mi> </msup> <mo>=</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>xk</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mi>k</mi> </msup> <mo>=</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>yk</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，xk,yk分别是实际径像畸变情况下的归一化坐标，x,y代表理想无畸变时的归一化坐标，k1为图像径向畸变系数，基于相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解图像畸变系数k1；
然后，利用空间两个固定放置的标定右相机的平面靶标(3)和标定左相机的平面靶标(2)对左、右相机(1、4)进行角度调整，即左右相机的相机平面与对其对应的平面靶标平行，其旋转矩阵R满足：
<mrow> <mi>R</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>a</mi> </mtd> <mtd> <mi>b</mi> </mtd> <mtd> <mi>&amp;epsiv;</mi> </mtd> </mtr> <mtr> <mtd> <mi>c</mi> </mtd> <mtd> <mi>d</mi> </mtd> <mtd> <mi>&amp;epsiv;</mi> </mtd> </mtr> <mtr> <mtd> <mi>&amp;epsiv;</mi> </mtd> <mtd> <mi>&amp;epsiv;</mi> </mtd> <mtd> <mi>&amp;gamma;</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，a,b,c,d为旋转矩阵参数，ε为无限接近于0的值，|γ|无限接近于1；
进行左右相机的结构参数标定，即实现左右相机之间旋转平移矩阵的计算，其计算公式如下：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msup> <mi>R</mi> <mrow> <mi>l</mi> <mo>-</mo> <mi>r</mi> </mrow> </msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <msup> <mi>T</mi> <mrow> <mi>l</mi> <mo>-</mo> <mi>r</mi> </mrow> </msup> <mo>=</mo> <msup> <mi>R</mi> <mi>r</mi> </msup> <msup> <mi>R</mi> <msup> <mi>l</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> </msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <msup> <mi>R</mi> <mi>r</mi> </msup> <msup> <mi>R</mi> <msup> <mi>l</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> </msup> <msup> <mi>T</mi> <mi>l</mi> </msup> <mo>+</mo> <msup> <mi>T</mi> <mi>r</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，和分别为被测点分别在以左右摄像机坐标系为世界坐标系的情况下三维坐标，简称为左、右相机坐标系的世界坐标，Rl-r和Tl-r分别为左相机坐标系到右相机方法的旋转、平移矩阵，即双目相机的结构参数；Rl,Tl和Rr,Tr分别为左右相机的外参数，Rl-1为左相机外参数旋转矩阵的逆；
再进行特征提取与初值重建，采用灰度重心法提取被测目标的特征中心，左右相机提取的特征坐标分别为pl(ul,vl)，pr(ur,vr)；以左相机为世界坐标系，将左右所提取的特征点进行三维重建，其公式如下：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>11</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>12</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>13</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>m</mi> <mn>14</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>l</mi> </msup> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>31</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>l</mi> </msup> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>32</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>l</mi> </msup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>33</mn> <mi>l</mi> </msubsup> <mo>=</mo> <msup> <mi>u</mi> <mi>l</mi> </msup> <msubsup> <mi>m</mi> <mn>34</mn> <mi>l</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>21</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>22</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>23</mn> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>m</mi> <mn>24</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>31</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>32</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>33</mn> <mi>l</mi> </msubsup> <mo>=</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <msubsup> <mi>m</mi> <mn>34</mn> <mi>l</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>11</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>12</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>13</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>m</mi> <mn>14</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>r</mi> </msup> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>31</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>r</mi> </msup> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>32</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>u</mi> <mi>r</mi> </msup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>33</mn> <mi>r</mi> </msubsup> <mo>=</mo> <msup> <mi>u</mi> <mi>r</mi> </msup> <msubsup> <mi>m</mi> <mn>34</mn> <mi>r</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>21</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>22</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>23</mn> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>m</mi> <mn>24</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <msubsup> <mi>X</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>31</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <msubsup> <mi>Y</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>32</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <msubsup> <mi>m</mi> <mn>33</mn> <mi>r</mi> </msubsup> <mo>=</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <msubsup> <mi>m</mi> <mn>34</mn> <mi>r</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，为左相机投影矩阵Ml中第i行第j列的值；ul,vl分别是左相机图像像素值；为右相机投影矩阵Mr中第i行第j列的值；ur,vr分别是右相机图像像素值，且左右图像的像素点为匹配点；为最终所求被测点的三维坐标，即全局坐标系以左相机的相机坐标系为建立；
第二步 基于三维畸变的参数计算
基于双目相机标定结果计算合焦位置的三维畸变的性质参数，所标定的相机焦距可表示为Cs，合焦位置的深度可表示为：
<mrow> <msub> <mi>S</mi> <mi>s</mi> </msub> <mo>=</mo> <msub> <mi>C</mi> <mi>s</mi> </msub> <mo>&amp;CenterDot;</mo> <mfrac> <msub> <mi>d</mi> <mrow> <mi>p</mi> <mi>h</mi> <mi>y</mi> </mrow> </msub> <mrow> <msub> <mi>d</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <mi>&amp;lambda;</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，Ss为合焦位置的深度，Cs为相机焦距，dpix为平面靶标在图像上的像素长度，dphy为平面靶标的真实物理尺寸，λ为相机的像元尺寸；计算相机的凸透镜焦距F，其计算公式如下：
<mrow> <mi>F</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mi>s</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>S</mi> <mi>s</mi> </msub> </mrow> <mrow> <msub> <mi>C</mi> <mi>s</mi> </msub> <mo>+</mo> <msub> <mi>S</mi> <mi>s</mi> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，F为相机的凸透镜焦距，Ss为合焦位置的深度，Cs为相机焦距，将相机平行移动相机位置到S1和S2位置，对相机进行标定，基于公式(8)计算这两个位置的深度值S1和S2，并基于公式(3)计算在该两个位置畸变系数和
第三步 畸变补偿与高精度重建
畸变补偿值计算，基于初值计算结果和参数计算结果，计算左右相机的三维空间畸变量，其中左相机的畸变量为：
<mrow> <msup> <mi>&amp;delta;</mi> <mi>l</mi> </msup> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>C</mi> <mi>s</mi> <mi>l</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>S</mi> <mi>s</mi> <mi>l</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>C</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>S</mi> <mi>s</mi> <mi>l</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mi>s</mi> <mi>l</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mrow> </mfrac> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>S</mi> <mn>1</mn> <mi>l</mi> </msubsup> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>1</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>l</mi> </msup> </mrow> <mrow> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>l</mi> </msup> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <msubsup> <mi>k</mi> <mn>1</mn> <mrow> <msup> <msub> <mi>s</mi> <mn>1</mn> </msub> <mi>l</mi> </msup> </mrow> </msubsup> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>S</mi> <mn>1</mn> <mi>l</mi> </msubsup> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>1</mn> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>l</mi> </msup> </mrow> <mrow> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>l</mi> </msup> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <msubsup> <mi>k</mi> <mn>1</mn> <mrow> <msup> <msub> <mi>s</mi> <mn>2</mn> </msub> <mi>l</mi> </msup> </mrow> </msubsup> </mrow> <mo>&amp;rsqb;</mo> </mrow> <msup> <mi>r</mi> <mi>l</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow> 2
其中，δl为左图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fl为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以左相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rl为被测点在左图像的径向长度；右相机的畸变量为：
<mrow> <msup> <mi>&amp;delta;</mi> <mi>r</mi> </msup> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>C</mi> <mi>s</mi> <mi>r</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>S</mi> <mi>s</mi> <mi>r</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>C</mi> <mi>s</mi> <mi>r</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>S</mi> <mi>s</mi> <mi>r</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mi>s</mi> <mi>r</mi> </msubsup> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>S</mi> <mn>1</mn> <mi>r</mi> </msubsup> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>1</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>r</mi> </msup> </mrow> <mrow> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>r</mi> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> <msubsup> <mi>k</mi> <mn>1</mn> <mrow> <msup> <msub> <mi>s</mi> <mn>1</mn> </msub> <mi>r</mi> </msup> </mrow> </msubsup> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> </mrow> <mrow> <msubsup> <mi>S</mi> <mn>2</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msubsup> <mi>S</mi> <mn>1</mn> <mi>r</mi> </msubsup> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msubsup> <mi>S</mi> <mn>1</mn> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>r</mi> </msup> </mrow> <mrow> <msubsup> <mi>Z</mi> <mi>w</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msup> <mi>F</mi> <mi>r</mi> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> <msubsup> <mi>k</mi> <mn>1</mn> <mrow> <msup> <msub> <mi>s</mi> <mn>2</mn> </msub> <mi>r</mi> </msup> </mrow> </msubsup> <mo>&amp;rsqb;</mo> <msup> <mi>r</mi> <mi>r</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中，δr为右图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fr为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以右相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rr为被测点在右图像的径向长度；
补偿与重建，基于所求的畸变量，对被测点进行补偿，左图像补偿后的被测点图像坐标为：
<mrow> <msup> <mi>u</mi> <mi>l</mi> </msup> <mo>=</mo> <msup> <mi>u</mi> <mi>l</mi> </msup> <mo>+</mo> <mfrac> <mrow> <msup> <mi>&amp;delta;</mi> <mi>l</mi> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>f</mi> <mi>x</mi> <mi>l</mi> </msubsup> </mrow> <msubsup> <mi>u</mi> <mn>0</mn> <mi>l</mi> </msubsup> </mfrac> <mo>,</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <mo>=</mo> <msup> <mi>v</mi> <mi>l</mi> </msup> <mo>+</mo> <mfrac> <mrow> <msup> <mi>&amp;delta;</mi> <mi>l</mi> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>f</mi> <mi>v</mi> <mi>l</mi> </msubsup> </mrow> <msubsup> <mi>v</mi> <mn>0</mn> <mi>l</mi> </msubsup> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中，ul和vl为被测点提取图像列坐标，δl为左图像测量点的畸变量，和分别为左相机标定的焦距和主点坐标，是相机标定的固有参数；右图像补偿后的被测点图像坐标为：
<mrow> <msup> <mi>u</mi> <mi>r</mi> </msup> <mo>=</mo> <msup> <mi>u</mi> <mi>r</mi> </msup> <mo>+</mo> <mfrac> <mrow> <msup> <mi>&amp;delta;</mi> <mi>r</mi> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>f</mi> <mi>x</mi> <mi>r</mi> </msubsup> </mrow> <msubsup> <mi>u</mi> <mn>0</mn> <mi>r</mi> </msubsup> </mfrac> <mo>,</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <mo>=</mo> <msup> <mi>v</mi> <mi>r</mi> </msup> <mo>+</mo> <mfrac> <mrow> <msup> <mi>&amp;delta;</mi> <mi>r</mi> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>f</mi> <mi>v</mi> <mi>r</mi> </msubsup> </mrow> <msubsup> <mi>v</mi> <mn>0</mn> <mi>r</mi> </msubsup> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
其中，ur和vr为被测点提取图像列坐标，δr为右图像测量点的畸变量，和分别为左右相机标定的焦距和主点坐标，是相机标定的固有参数；根据公式(6)实现被测点的高精度重建。
CN201710496023.XA 2017-06-27 2017-06-27 一种虑及三维畸变的双目视觉重建方法 Active CN107358631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710496023.XA CN107358631B (zh) 2017-06-27 2017-06-27 一种虑及三维畸变的双目视觉重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710496023.XA CN107358631B (zh) 2017-06-27 2017-06-27 一种虑及三维畸变的双目视觉重建方法

Publications (2)

Publication Number Publication Date
CN107358631A true CN107358631A (zh) 2017-11-17
CN107358631B CN107358631B (zh) 2020-05-19

Family

ID=60274039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710496023.XA Active CN107358631B (zh) 2017-06-27 2017-06-27 一种虑及三维畸变的双目视觉重建方法

Country Status (1)

Country Link
CN (1) CN107358631B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108680227A (zh) * 2018-07-27 2018-10-19 中国石油集团川庆钻探工程有限公司工程技术研究院 一种双目视觉物位计及其使用方法和测量物位的方法
CN109003312A (zh) * 2018-08-24 2018-12-14 重庆邮电大学 一种基于非线性优化的相机标定方法
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109360269A (zh) * 2018-09-30 2019-02-19 国网黑龙江省电力有限公司电力科学研究院 基于计算机视觉的地面三维平面重建方法
CN109636903A (zh) * 2018-12-24 2019-04-16 华南理工大学 一种基于抖动的双目三维重建方法
CN109741393A (zh) * 2018-12-04 2019-05-10 上海大学 双孢菇直径测量和中心点定位方法
CN109978986A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种三维模型的重建方法、装置、存储介质及终端设备
CN110345921A (zh) * 2019-06-12 2019-10-18 中国农业大学 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN110992431A (zh) * 2019-12-16 2020-04-10 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法
CN110989664A (zh) * 2019-11-29 2020-04-10 北京特种机械研究所 一种基于多目视觉的无人机夜间植保方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111243018A (zh) * 2019-12-31 2020-06-05 北京航空航天大学 自动进行祛痣手术的方法及系统
CN112237416A (zh) * 2020-09-10 2021-01-19 北京信息科技大学 一种基于视网膜表面血管特征的眼底多模态成像系统标定方法
CN112465913A (zh) * 2020-11-18 2021-03-09 广东博智林机器人有限公司 一种基于双目相机的校正方法及装置
CN112634375A (zh) * 2020-12-21 2021-04-09 杭州东信北邮信息技术有限公司 一种ai智能检测中的平面标定和三维重建方法
CN112967348A (zh) * 2021-04-01 2021-06-15 深圳大学 基于一维扫描结构光系统的三维重建方法及其相关组件
CN113160393A (zh) * 2021-05-14 2021-07-23 深圳大学 基于大景深的高精度三维重建方法、装置及其相关组件
CN113513981A (zh) * 2021-06-15 2021-10-19 西安交通大学 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速系统的标志物双目亚像素测距方法
CN114359365A (zh) * 2022-01-11 2022-04-15 合肥工业大学 一种具有高分辨率的汇聚式双目视觉测量方法
CN114842091A (zh) * 2022-04-29 2022-08-02 广东工业大学 一种双目鸡蛋尺寸流水线测定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160088287A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Image stitching for three-dimensional video
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160088287A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Image stitching for three-dimensional video
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUIS ALVAREZ ET.AL: "Accurate Depth Dependent Lens Distortion Models: An Application to Planar View Scenarios", 《J MATH IMAGING VIS》 *
PENG SUN ET.AL: "Modelling and calibration of depth-dependent distortion for large depth visual measurement cameras", 《OPTICS EXPRESS》 *
YANG ZHANG ET.AL: "High-precision binocular measuring method considering three-dimensional distortion", 《PROC. SPIE 10710》 *
周佳立 等: "适用于动态对焦的高精度灵活标定方法", 《模式识别与人工智能》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108010085B (zh) * 2017-11-30 2019-12-31 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN109978986A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种三维模型的重建方法、装置、存储介质及终端设备
CN108680227A (zh) * 2018-07-27 2018-10-19 中国石油集团川庆钻探工程有限公司工程技术研究院 一种双目视觉物位计及其使用方法和测量物位的方法
CN108680227B (zh) * 2018-07-27 2023-12-08 中国石油天然气集团有限公司 一种双目视觉物位计及其使用方法和测量物位的方法
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109272570B (zh) * 2018-08-16 2022-10-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109003312B (zh) * 2018-08-24 2022-01-28 重庆邮电大学 一种基于非线性优化的相机标定方法
CN109003312A (zh) * 2018-08-24 2018-12-14 重庆邮电大学 一种基于非线性优化的相机标定方法
CN109360269A (zh) * 2018-09-30 2019-02-19 国网黑龙江省电力有限公司电力科学研究院 基于计算机视觉的地面三维平面重建方法
CN109741393A (zh) * 2018-12-04 2019-05-10 上海大学 双孢菇直径测量和中心点定位方法
CN109741393B (zh) * 2018-12-04 2023-06-09 上海大学 双孢菇直径测量和中心点定位方法
CN109636903A (zh) * 2018-12-24 2019-04-16 华南理工大学 一种基于抖动的双目三维重建方法
CN109636903B (zh) * 2018-12-24 2020-09-15 华南理工大学 一种基于抖动的双目三维重建方法
CN110345921A (zh) * 2019-06-12 2019-10-18 中国农业大学 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN110989664A (zh) * 2019-11-29 2020-04-10 北京特种机械研究所 一种基于多目视觉的无人机夜间植保方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN110992431A (zh) * 2019-12-16 2020-04-10 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法
CN111243018A (zh) * 2019-12-31 2020-06-05 北京航空航天大学 自动进行祛痣手术的方法及系统
CN112237416A (zh) * 2020-09-10 2021-01-19 北京信息科技大学 一种基于视网膜表面血管特征的眼底多模态成像系统标定方法
CN112465913A (zh) * 2020-11-18 2021-03-09 广东博智林机器人有限公司 一种基于双目相机的校正方法及装置
CN112634375B (zh) * 2020-12-21 2022-08-05 杭州东信北邮信息技术有限公司 一种ai智能检测中的平面标定和三维重建方法
CN112634375A (zh) * 2020-12-21 2021-04-09 杭州东信北邮信息技术有限公司 一种ai智能检测中的平面标定和三维重建方法
CN112967348A (zh) * 2021-04-01 2021-06-15 深圳大学 基于一维扫描结构光系统的三维重建方法及其相关组件
CN113160393A (zh) * 2021-05-14 2021-07-23 深圳大学 基于大景深的高精度三维重建方法、装置及其相关组件
CN113160393B (zh) * 2021-05-14 2023-08-04 深圳大学 基于大景深的高精度三维重建方法、装置及其相关组件
CN113513981A (zh) * 2021-06-15 2021-10-19 西安交通大学 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速系统的标志物双目亚像素测距方法
CN114359365A (zh) * 2022-01-11 2022-04-15 合肥工业大学 一种具有高分辨率的汇聚式双目视觉测量方法
CN114359365B (zh) * 2022-01-11 2024-02-20 合肥工业大学 一种具有高分辨率的汇聚式双目视觉测量方法
CN114842091A (zh) * 2022-04-29 2022-08-02 广东工业大学 一种双目鸡蛋尺寸流水线测定方法
CN114842091B (zh) * 2022-04-29 2023-05-23 广东工业大学 一种双目鸡蛋尺寸流水线测定方法

Also Published As

Publication number Publication date
CN107358631B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN107358631A (zh) 一种虑及三维畸变的双目视觉重建方法
CN105698699B (zh) 一种基于时间转轴约束的双目视觉测量方法
CN106846415B (zh) 一种多路鱼眼相机双目标定装置及方法
CN104182982B (zh) 双目立体视觉摄像机标定参数的整体优化方法
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
US10176595B2 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
CN107025670A (zh) 一种远心相机标定方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN107144241B (zh) 一种基于景深补偿的双目视觉高精度测量方法
CN110375648A (zh) 棋盘格靶标辅助的单台相机实现的空间点三维坐标测量方法
CN205610834U (zh) 立体显示系统
CN108416812A (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN105303574A (zh) 一种基于单应性变换的集成成像摄像机阵列标定方法
TW201100760A (en) Distance measuring apparatus having dual stereo cameras
CN106871787A (zh) 大空间线扫描成像三维测量方法
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN105631859B (zh) 三自由度仿生立体视觉系统
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN206460516U (zh) 一种多路鱼眼相机双目标定装置
CN206563985U (zh) 三维成像系统
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN102692214A (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN102221331A (zh) 一种基于不对称双目立体视觉技术的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant