CN112258588A - 一种双目相机的标定方法、系统及存储介质 - Google Patents
一种双目相机的标定方法、系统及存储介质 Download PDFInfo
- Publication number
- CN112258588A CN112258588A CN202011268957.6A CN202011268957A CN112258588A CN 112258588 A CN112258588 A CN 112258588A CN 202011268957 A CN202011268957 A CN 202011268957A CN 112258588 A CN112258588 A CN 112258588A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- binocular camera
- calibration
- camera
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 230000002068 genetic effect Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005314 correlation function Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种双目相机的标定方法、系统及存储介质，该方法包括：提取标定板原图像的特征点坐标；将特征点坐标带入相机成像非线性模型，并将相机成像非线性模型引入到张氏标定法中，得到双目相机的参数，根据双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化；本发明参数优化过程中建立基于相机之间固定位姿关系的优化函数，引入遗传算法求解该优化函数的极值，简化了优化模型，可以获得高精度的标定结果。
Description
技术领域
本发明涉及相机标定技术领域，具体一种双目相机的标定方法、系统及存储介质。
背景技术
由于相机成像平面与标定板平面在空间上存在一定的角度，导致采集到的标定板图像上的圆形图案发生变形，使投影图案中心发生偏离，影响了提取圆形图案圆心坐标的精度。同时，优化函数选取不佳，也容易造成局部最优解，影响标定精度。
目前许多研究工作致力于双目立体相机的标定问题，如李旭等使用棱镜和两个反射镜的校准技术("X.Li,C.Kwan,and B.Li,Stereo imaging with uncalibrated camerain Advanced in Visual Computing(Springer,2006),pp.112–121")用于解决双目望远镜复杂的定标问题用于三维数字图像相关(3D-DIC)测量的立体视觉；Lim等通过一种改进的张氏标定方法("J.Lim,N.Barnes,and H.Li,“Estimating relative camera motion fromthe antipodal-epipolar constraint,”IEEE Trans.Pattern Anal.Mach.Intell.32,1907–1914(2010) ")首先对内部参数进行标定，然后对约束条件下的双目摄像机通过重复使用基本矩阵提高精度。Zappa等通过提出更适合快速标定的畸变误差补偿模型，为位移补偿系统提供快速的误差补偿手段("E.Zappa and R.Liu,“A novel compensation methodfor system aticeffect in displacement measurement based on vision systems,”Meas.Sci.Technol.28, 064003(2017)")。
Zhang提出了针对双目相机的三步标定法("ZHANG Hui,ZHANG Li-yan,Wei Hu,Three-step Calibration for Binocular Stereo System[J].China MechanicalEngineering,2009, 20(16):1899-1903.")，可以获取较高精度的结果；侯俊捷等(《侯俊捷，魏新国，孙军华.基于同心圆合成图像匹配的双目视觉标定「J〕.光学学报，2012,32(3):148-153.))) 提出构造图像平面上的合成图像与观测图像的相似度匹配，该方法可以获得较高的标定精度，但参数优化时容易陷入局部最优；张铖伟等人通过遗传算法("张铖伟，王彪，徐贵力.摄像机标定方法研究.计算机技术与发展，2010,20(11):174-179")，对相机的内外参数进行优化，但由于无法获取较好的初值，导致标定结果误差较大。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种双目相机标定方法，该方法可以解决现有技术中标定结果误差较大的问题，本发明还提供一种双目相机标定系统。
技术方案：本发明提供一种双目相机的标定方法，包括：
(1)获取标定板原图像，并提取所述标定板原图像的特征点坐标；
(2)将特征点坐标带入相机成像非线性模型，并将所述相机成像非线性模型引入到张氏标定法中，得到双目相机的参数，完成双目相机的初次标定，其中参数包括内部参数和外部参数；
(3)根据所述双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将所述控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；
(4)利用修正后的原图像中控制点的坐标与已知的控制点对应的世界坐标，对双目相机再次标定，再次得到双目相机的参数；
(5)根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化。
进一步的，包括：
步骤(1)中，所述提取标定板原图像的特征点坐标，包括以下步骤：
(11)标定板平稳放置在平面上，将双目相机之间的位置固定，采集一对标定板图像；其中，标定板上设置有若干大圆与小圆图案；相比于棋盘格标定板精度更高。
(12)在水平面内旋转标定板90度，保持相机之间的位置不变，调整双目相机与标定板之间的相对位置，再采集一对标定板图像；
(13)循环调整标定板与双目相机的位置并采集若干组标定板原图像；
(14)将所述标定板原图像转换成二值图像；
(15)使用canny边缘检测函数提取所述二值图像的边缘特征；
(16)采用椭圆拟合法获取每个圆的圆心坐标作为标定所需的特征点坐标。
进一步的，包括：
步骤(2)中，所述将特征点坐标带入相机成像非线性模型，首先实现特征点坐标与世界坐标的匹配，包括：根据所提取的圆形图案的周长确定大圆的位置，再通过大圆之间的相对坐标关系以编码的形式确定所有圆形图案的位置，并将真实标定板圆形图案的圆心世界坐标以相同的形式进行编码，编码之间进行匹配。
进一步的，包括：
步骤(3)具体包括：
(31)将标定板图像去畸变，根据左右相机各自的透视矩阵，将去畸变后的图像通过透视变换生成真实正视图像；
(32)建立标准正视图与真实正视图之间的像素点位移表达式；
(33)对真实正视图中的非像素位进行亚像素双三次插值计算；
(34)按照从左到右，自上而下的顺序依次设置像素变形子区，再带入相关性函数，计算子区的相关性函数值；
(35)最小化根据上述步骤得到的相关函数，然后求解其一阶偏导，构造Hessian矩阵，通过循环迭代的方法得到全局形变系数；
(36)将全局形变系数带入所述位移表达式，得到修正后的真实正视图中控制点坐标，即
其中，等式坐标是修正后的控制点坐标，右边ux,uy,vx,vyuxx,uxy,uyy,vxx, vxy,vyy是全局形变系数，是步骤(35)得到的系数，(xi,yi)是修正前的坐标。
进一步的，包括：
步骤(5)中，所述适应度函数表示为：
其中，φ1,φ2是中间变量，m、n分别表示标定板图像数量与每张图像上检测到的特征点数量，uij、vij表示实际检测到的坐标；u′ij、v′ij表示根据相机成像非线性模型计算出的像素坐标，即修正后的控制点坐标。
进一步的，包括：
所述相机成像非线性模型表示为：
其中，ax，ay，u0,v0分别为双目相机内部参数矩阵A中的系数，A表示为：
xcorrected＝x[1+k1r2+k2r4+k3r6]+[2p1y+p2(r2+2x2)]
ycorrected＝y[1+k1r2+k2r4+k3r6]+[2p2x+p1(r2+2y2)]
x，y为中间坐标，
其中，k1、k2、k3是通过泰勒展开得到的前三阶径向畸变，p1、p2表示切向畸变系数，(xcorrect,ycorrect)表示畸变矫正后得到的成像点坐标。
本发明还提供一种双目相机的标定系统，包括：
采集模块，用于获取标定板原图像，并提取所述标定板原图像的特征点坐标；
初步标定模块，用于将特征点坐标带入相机成像非线性模型，并将所述成像非线性模型引入到张氏标定法中，得到双目相机的参数，完成双目相机的初次标定，其中参数包括内部参数和外部参数；
坐标修正模块，用于根据所述双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将所述控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；
二次标定模块，用于利用修正后的原图像中控制点的坐标与已知的控制点对应的世界坐标，对双目相机二次标定，再次得到双目相机的参数；
优化模块，用于根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化。
本发明还提供一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现上述的双目相机标定方法。
有益效果：本发明采用椭圆拟合法提取圆形图案圆心坐标，并在之后的参数优化过程中建立基于相机之间固定位姿关系的优化函数，引入遗传算法求解该优化函数的极值，实现对双目相机全部内外参数的优化，简化了优化模型，可以获得高精度的标定结果。
附图说明
图1为标定板示意图；
图2为本发明总体步骤流程图；
图3为数字图像相关法总体流程图；
图4为张氏标定的误差矢量图；
图5为本发明优化后的误差矢量图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2所示，一方面，本发明提供一种基于数字图像相关法与遗传算法优化的双目相机标定方法，包括如下步骤：
(1)获取标定板原图像
本发明要求用双目相机对放置在水平面上的圆形图案标定板从多角度进行拍摄，调整相机与标定板之间的相对位置并获取标定板图像，要求保持相机之间位置关系不变；
(2)提取标定板原图像特征点坐标；
所述特征点为标定板圆形图案的圆心坐标；首先将拍摄到的标定板图像通过二值化等预处理手段转换成二值图像，接着使用opencv自带的边缘检测函数提取标定板圆形图案的边缘特征，接着采用椭圆拟合法获取圆心坐标作为标定所需的特征点坐标，记作 [u，v，1]T。
(3)双目相机初次标定；
将上述步骤获取的特征点坐标与已知的圆形图案圆心世界坐标[Xw，Yw，Zw，1]T带入相机成像非线性模型，引入传统的张氏标定方法，获取从标定平面到图像平面的单应性矩阵，利用约束条件求解双目相机的内外参数，实现初次标定。
(4)构造标准正视图与真实正视图；
所述标准正视图由计算机创建，为标定板平面与拍摄平面平行时呈现在视野中的理想图像，其尺寸大小与实际拍摄标定板视角下的尺寸一致；真实正视图为所拍摄的标定板图像，通过步骤三求解出来相机相关参数投影到正视平面下所得到的图像。
(5)利用数字图像相关法计算真实正视图中控制点坐标；
首先确定形变的位移表达式来描述标准正视图与真实正视图之间的对应关系，采用精度较高的零均值归一化最小平方距离相关函数建立两者之间的相关关系，再通过牛顿-拉夫森迭代法求解相关函数的最大值，进而获得真实正视图中控制点坐标的修正值。
(6)将真实正视图中控制点坐标投影到标定板原始图像；
根据步骤三获取的相机内外参数，将步骤五所获取的真实正视图中控制点坐标的修正值根据标定获取的单应性矩阵投影到标定板原图像中，获取原图像中控制点的坐标的修正值[u′，v′，1]T。
(7)双目相机再次标定；
利用步骤六中计算出的图像坐标[u′，v′，1]T与已知的控制点世界坐标 [Xw，Yw，Zw，1]T，带入相机的非线性畸变模型利用传统的张氏标定法求解出相机相关的参数；与步骤三不同之处在于输入的图像坐标为修正后的控制点坐标。
(8)利用遗传算法对双目相机参数进行全局优化；
所述步骤八中根据左右相机的外部参数计算相机间的固定位置关系参数，再以双目相机的内部参数、相机间的固定位置关系与左相机的外部参数建立遗传算法的适应度函数f，通过最小化适应度函数，来优化相机的内外参数，得到最终的标定结果。
下面对本发明提出的双目相机标定方法的具体实施步骤做进一步描述。
该方法利用目前比较成熟的圆形图案标定板，和双目相机，其中：圆形标定板背景为黑色，共有9行11列工99个圆形图案，分小圆(直径6mm)与大圆(直径12mm)，具体样式见图1。标定总体流程图见图2。
步骤1：获取标定板原图像
标定板平稳放置在平面上，将双目相机之间的位置固定，保证能拍摄到标定板中心五个大圆(见图1)与大部分圆形图案，采集一对标定板图像；
接着在水平面内旋转标定板90度，保持相机之间的位置不变，调整双目相机与标定板之间的相对位置，按照上述要求再采集一对标定板图像；
循环调整标定板与双目相机的位置并采集10组图像。
步骤2：提取标定板原图像特征点坐标；
所述特征点为标定板圆形图案的圆心坐标；
首先将拍摄到的标定板图像通过二值化等预处理手段转换成二值图像，接着使用canny边缘检测函数提取标定板圆形图案的边缘特征，采用椭圆拟合法获取圆心坐标作为标定所需的特征点坐标。
步骤3：双目相机初次标定；
为了实现特征点坐标与世界坐标的匹配，需要根据所提取的圆形图案的周长来确定中心大圆的位置，再通过大圆之间的相对坐标关系以编码的形式确定所有圆形图案的位置，并将真实标定板圆形图案的圆心世界坐标以相同的形式进行编码，便于下一步骤的标定。
相机成像的模型通常可以近似成针孔模型。从世界坐标系转换到像素坐标系的过程可以用以下公式表示：
其中，s为比例系数，A为摄像机的内部参数矩阵，R，T表示相机成像过程从世界坐标系转换到像素坐标系的旋转矩阵与平移矩阵。
在双目相机系统中，两个相机之间的空间关系可以表示为：
[Rr Tr]＝[Rl2r Tl2r]×[Rl Tl]
Rl、Tl、Rr、Tr分别表示左右相机从世界坐标系转换到像素坐标系的旋转矩阵与平移矩阵，Rl2r，Tl2r表示左右相机之间的空间转换矩阵。
由于相机制造与安装等因素造成的缺陷，往往在成像的过程中会发生畸变，主要包括径向畸变、切向畸变与薄棱镜畸变等。通常采用引入畸变补偿值的方式来抵消其对成像的影响。而同时引入过多或过高阶的畸变参数反而会降低补偿的效果，本发明采用的畸变补偿模型如下：
xcorrected＝x[1+k1r2+k2r4+k3r6]+[2p1y+p2(r2+2x2)]
ycorrected＝y[1+k1r2+k2r4+k3r6]+[2p2x+p1(r2+2y2)]
其中，x，y为中间坐标，k1、k2、k3是通过泰勒展开得到的前三阶径向畸变，p1、p2表示切向畸变系数，(xcorrect,ycorrect)表示畸变矫正后得到的成像点坐标。将其带入模型中得到特征点图像坐标[u，v，1]T：
将上述步骤获取的特征点坐标[u，v，1]T与已知的圆形图案圆心世界坐标 [Xw，Yw，Zw，1]T带入相机成像非线性模型，引入传统的张氏标定方法，获取从标定平面到图像平面的单应性矩阵，利用旋转向量之间正交与旋转向量的模为1这两个约束条件求解双目相机的内参矩阵，再基于内参矩阵求解外参矩阵，实现初次标定。
步骤4：构造标准正视图与真实正视图；
标准正视图由计算机创建，为标定板平面与拍摄平面平行时呈现在视野中的理想图像，其尺寸大小为1280×1024个像素，使用Matlab生成黑底白色圆形图案的仿真图像，其圆形图案排布与这是标定板一致；
真实正视图为所拍摄的标定板图像，通过步骤三获取的相关相机参数构建透视矩阵 H；
首先将标定板图像去畸变，采用的是Opencv库已有的函数，根据左右相机各自的透视矩阵，将去畸变后的图像通过透视变换生成真实正视图像。
步骤5：利用数字图像相关法计算真实正视图中控制点坐标；
如图3所示，在现有数字图像相关法的基础上进行一定的改进，具体步骤如下：
步骤51、首先建立标准正视图与真实正视图之间的像素点位移表达式：
其中包含了描述图像均匀形变与非均匀形变的变形系数；
步骤52、进行亚像素插值，由于真实正视图像是由标定板图像通过透视变换转换而得到的，在进行子区计算前需要对非像素位进行插值，本发明采用的是双三次插值。
步骤53、计算变形前后子区图像的相关函数；首先确定子区的范围按照从左向右，自上而下的顺序依次间隔一个像素建立41×41像素的变形子区；再通过相关函数进行相关性计算，本发明所采用的是计算精度较高的零均值归一化最小平方距离函数。
步骤54、牛顿-拉夫森迭代优化；为了得到全局的变形系数，需要最小化根据上述步骤得到的相关函数，通过求解其一阶偏导，构造Hessian矩阵，通过循环迭代的方法得到所需的形变系数。
步骤55、获取修正后的控制点坐标；将全局形变系数带入位移表达式得到修正后的真实正视图中特征点坐标。
步骤6：将真实正视图中控制点坐标投影到标定板原始图像；
所述步骤6中根据步骤3获取的相机内外参数构造的透视变换矩阵，将步骤5所获取的真实正视图中控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点的坐标的修正值；
步骤7：双目相机再次标定；
所述步骤七中利用步骤六中计算出的控制点坐标与已知的控制点世界坐标，带入相机的非线性畸变模型利用传统的张氏标定法求解出相机相关的参数；与步骤三不同之处在于输入的图像坐标为修正后的控制点坐标
步骤8：利用遗传算法对双目相机参数进行全局优化；
根据左右相机的外部参数计算相机间的固定位置关系参数，再以双目相机的内部参数、相机间的固定位置关系与左相机的外部参数建立遗传算法的适应度函数f：
[Rl，Tl]＝[rxl，ryl，rzl，txl，tyl，tzl]
[Rl2r，Tl2r]＝[αl2r，βl2r，γl2r，txl2r，tyl2r，tzl2r]
其中，m、n分别表示标定板图像数量与每张图像上检测到的特征点数量；uij、vij表示实际检测到的坐标；u′ij、v′ij表示使用非线性畸变模型计算出的像素坐标，其余参数表示双目相机的所有内外参数。通过最小化适应度函数，来优化相机的内外参数，得到最终的标定结果，由于遗传算法为通用成熟的算法，不多详述。
结合实例仅进一步说明本发明方法的有益效果，用两个工业相机安装在可移动支架上，相机间固定位置关系始终保持不变，相机分辨率为1280X1024像素，对放置在平面上的标定板调整相对位姿，采集不同位置的12对图像。为了说明本发明的有效性，先利用传统的张氏标定法，并命名为方法1，本发明方法命名为本方法。仿真使用标准值为：
k1＝0.001，k2＝-0.15，k3＝0.5，p1＝1×10-6，p2＝-1×10-5
用方法1获得的标定结果：
用方法2获得的标定结果：
如图4和5所示，方法1与本方法相比，可以明显看出使用本方法得到的相机内外参数的精度有者显著的提高。此外在真实实验中使用方法1获得的重投影误差分别是左相机为0.125像素，右相机为0.122像素；而使用本发明方法得到的重投影误差可以达到 0.089和0.0932像素。由此进一步说明本方法可以提高双目相机标定的整体精度。
另一方面，本发明还提供一种双目相机的标定系统，包括：
采集模块，用于获取标定板原图像，并提取所述标定板原图像的特征点坐标；
初步标定模块，用于将特征点坐标带入相机成像非线性模型，并将所述成像非线性模型引入到张氏标定法中，得到双目相机的参数，完成双目相机的初次标定，其中参数包括内部参数和外部参数；
坐标修正模块，用于根据所述双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将所述控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；
二次标定模块，用于利用修正后的原图像中控制点的坐标与已知的控制点对应的世界坐标，对双目相机二次标定，再次得到双目相机的参数；
优化模块，用于根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化。
基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的双目相机的标定方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种双目相机的标定方法，其特征在于，包括：
(1)获取标定板原图像，并提取所述标定板原图像的特征点坐标；
(2)将特征点坐标带入相机成像非线性模型，并将所述相机成像非线性模型引入到张氏标定法中，得到双目相机的参数，完成双目相机的初次标定，其中参数包括内部参数和外部参数；
(3)根据所述双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将所述控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；
(4)利用修正后的原图像中控制点的坐标与已知的控制点对应的世界坐标，对双目相机再次标定，再次得到双目相机的参数；
(5)根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化。
2.根据权利要求1所述的双目相机的标定方法，其特征在于，步骤(1)中，所述提取标定板原图像的特征点坐标，包括以下步骤：
(11)标定板平稳放置在平面上，将双目相机之间的位置固定，采集一对标定板图像；其中，标定板上设置有若干大圆与小圆图案；
(12)在水平面内旋转标定板90度，保持相机之间的位置不变，调整双目相机与标定板之间的相对位置，再采集一对标定板图像；
(13)循环调整标定板与双目相机的位置并采集若干组标定板原图像；
(14)将所述标定板原图像转换成二值图像；
(15)使用canny边缘检测函数提取所述二值图像的边缘特征；
(16)采用椭圆拟合法获取每个圆的圆心坐标作为标定所需的特征点坐标。
3.根据权利要求2所述的双目相机的标定方法，其特征在于，步骤(2)中，所述将特征点坐标带入相机成像非线性模型，首先实现特征点坐标与世界坐标的匹配，包括：根据所提取的圆形图案的周长确定大圆的位置，再通过大圆之间的相对坐标关系以编码的形式确定所有圆形图案的位置，并将真实标定板圆形图案的圆心世界坐标以相同的形式进行编码，编码之间进行匹配。
4.根据权利要求1所述的双目相机的标定方法，其特征在于，步骤(3)具体包括：
(31)将标定板图像去畸变，根据左右相机各自的透视矩阵，将去畸变后的图像通过透视变换生成真实正视图像；
(32)建立标准正视图与真实正视图之间的像素点位移表达式；
(33)对真实正视图中的非像素位进行亚像素双三次插值计算；
(34)按照从左到右，自上而下的顺序依次设置像素变形子区，再带入相关性函数，计算子区的相关性函数值；
(35)最小化根据上述步骤得到的相关函数，然后求解其一阶偏导，构造Hessian矩阵，通过循环迭代的方法得到全局形变系数；
(36)将全局形变系数带入所述位移表达式，得到修正后的真实正视图中控制点坐标，即
其中，等式坐标是修正后的控制点坐标，右边ux,uy,vx,vy uxx,uxy,uyy,vxx,vxy,vyy是全局形变系数，是步骤(35)得到的系数，(xi,yi)是修正前的坐标。
5.根据权利要求1所述的双目相机的标定方法，其特征在于，步骤(5)中，所述适应度函数表示为：
其中，φ1,φ2是中间变量，m、n分别表示标定板图像数量与每张图像上检测到的特征点数量，uij、vij表示实际检测到的坐标；u′ij、v′ij表示根据相机成像非线性模型计算出的像素坐标，即修正后的控制点坐标。
6.根据权利要求1所述的双目相机的标定方法，其特征在于，所述相机成像的模型通常可以近似成针孔模型。从世界坐标系转换到像素坐标系的过程可以用以下公式表示：
所述相机成像非线性模型表示为：
其中，ax，ay，u0,v0分别为双目相机内部参数矩阵A中的系数，A表示为：
xcorrected＝x[1+k1r2+k2r4+k3r6]+[2p1y+p2(r2+2x2)]
ycorrected＝y[1+k1r2+k2r4+k3r6]+[2p2x+p1(r2+2y2)]
x，y为中间坐标，即：
其中，k1、k2、k3是通过泰勒展开得到的前三阶径向畸变，p1、p2表示切向畸变系数，(xcorrect,ycorrect)表示畸变矫正后得到的成像点坐标。
7.一种双目相机的标定系统，其特征在于，包括：
采集模块，用于获取标定板原图像，并提取所述标定板原图像的特征点坐标；
初步标定模块，用于将特征点坐标带入相机成像非线性模型，并将所述成像非线性模型引入到张氏标定法中，得到双目相机的参数，完成双目相机的初次标定，其中参数包括内部参数和外部参数；
坐标修正模块，用于根据所述双目相机的外部参数构建真实正视图像，并利用数字图像相关法计算修正后的真实正视图的控制点坐标，将所述控制点坐标的修正值反投影到标定板原图像中，获取原图像中控制点坐标的修正值；
二次标定模块，用于利用修正后的原图像中控制点的坐标与已知的控制点对应的世界坐标，对双目相机二次标定，再次得到双目相机的参数；
优化模块，用于根据双目相机的参数计算遗传算法的适应度函数，利用遗传算法对双目相机参数进行全局优化。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011268957.6A CN112258588A (zh) | 2020-11-13 | 2020-11-13 | 一种双目相机的标定方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011268957.6A CN112258588A (zh) | 2020-11-13 | 2020-11-13 | 一种双目相机的标定方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112258588A true CN112258588A (zh) | 2021-01-22 |
Family
ID=74265543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011268957.6A Pending CN112258588A (zh) | 2020-11-13 | 2020-11-13 | 一种双目相机的标定方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258588A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967319A (zh) * | 2021-03-31 | 2021-06-15 | 交通运输部天津水运工程科学研究所 | 一种基于特征点识别的块体运动实时检测方法 |
| CN113284196A (zh) * | 2021-07-20 | 2021-08-20 | 杭州先奥科技有限公司 | 一种摄像机畸变逐像素标定方法 |
| CN113763485A (zh) * | 2021-09-28 | 2021-12-07 | 北京的卢深视科技有限公司 | 温漂系数获取方法、电子设备、存储介质和图像校正方法 |
| CN113838138A (zh) * | 2021-08-06 | 2021-12-24 | 杭州灵西机器人智能科技有限公司 | 一种优化特征提取的系统标定方法、系统、装置和介质 |
| CN114255287A (zh) * | 2022-03-01 | 2022-03-29 | 杭州灵西机器人智能科技有限公司 | 一种小景深相机的单目标定方法、系统、装置和介质 |
| CN115797460A (zh) * | 2022-10-10 | 2023-03-14 | 哈尔滨工程大学 | 一种水下双目标定方法 |
| CN117301078A (zh) * | 2023-11-24 | 2023-12-29 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102376093A (zh) * | 2011-10-13 | 2012-03-14 | 清华大学 | 一种摄像机标定方法 |
| CN109598762A (zh) * | 2018-11-26 | 2019-04-09 | 江苏科技大学 | 一种高精度双目相机标定方法 |
| CN109754436A (zh) * | 2019-01-07 | 2019-05-14 | 北京工业大学 | 一种基于镜头分区域畸变函数模型的相机标定方法 |
| CN110728718A (zh) * | 2019-09-29 | 2020-01-24 | 上海电力大学 | 改进摄像机标定各参数的方法 |
-
2020
- 2020-11-13 CN CN202011268957.6A patent/CN112258588A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102376093A (zh) * | 2011-10-13 | 2012-03-14 | 清华大学 | 一种摄像机标定方法 |
| CN109598762A (zh) * | 2018-11-26 | 2019-04-09 | 江苏科技大学 | 一种高精度双目相机标定方法 |
| CN109754436A (zh) * | 2019-01-07 | 2019-05-14 | 北京工业大学 | 一种基于镜头分区域畸变函数模型的相机标定方法 |
| CN110728718A (zh) * | 2019-09-29 | 2020-01-24 | 上海电力大学 | 改进摄像机标定各参数的方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967319A (zh) * | 2021-03-31 | 2021-06-15 | 交通运输部天津水运工程科学研究所 | 一种基于特征点识别的块体运动实时检测方法 |
| CN113284196A (zh) * | 2021-07-20 | 2021-08-20 | 杭州先奥科技有限公司 | 一种摄像机畸变逐像素标定方法 |
| CN113284196B (zh) * | 2021-07-20 | 2021-10-22 | 杭州先奥科技有限公司 | 一种摄像机畸变逐像素标定方法 |
| CN113838138A (zh) * | 2021-08-06 | 2021-12-24 | 杭州灵西机器人智能科技有限公司 | 一种优化特征提取的系统标定方法、系统、装置和介质 |
| CN113763485A (zh) * | 2021-09-28 | 2021-12-07 | 北京的卢深视科技有限公司 | 温漂系数获取方法、电子设备、存储介质和图像校正方法 |
| CN113763485B (zh) * | 2021-09-28 | 2022-07-26 | 合肥的卢深视科技有限公司 | 温漂系数获取方法、电子设备、存储介质和图像校正方法 |
| CN114255287A (zh) * | 2022-03-01 | 2022-03-29 | 杭州灵西机器人智能科技有限公司 | 一种小景深相机的单目标定方法、系统、装置和介质 |
| CN114255287B (zh) * | 2022-03-01 | 2022-07-26 | 杭州灵西机器人智能科技有限公司 | 一种小景深相机的单目标定方法、系统、装置和介质 |
| CN115797460A (zh) * | 2022-10-10 | 2023-03-14 | 哈尔滨工程大学 | 一种水下双目标定方法 |
| CN117301078A (zh) * | 2023-11-24 | 2023-12-29 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
| CN117301078B (zh) * | 2023-11-24 | 2024-03-12 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598762B (zh) | 一种高精度双目相机标定方法 | |
| CN112258588A (zh) | 一种双目相机的标定方法、系统及存储介质 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN113160339B (zh) | 一种基于沙姆定律的投影仪标定方法 | |
| CN103530880B (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN110969668A (zh) | 一种长焦双目相机的立体标定算法 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| CN112132907B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
| CN103150724B (zh) | 一种基于分段模型的摄像机标定方法 | |
| CN110942506B (zh) | 一种物体表面纹理重建方法、终端设备及系统 | |
| CN110738608B (zh) | 一种平面图像校正方法及系统 | |
| CN112161586A (zh) | 一种基于编码棋盘格的线结构光视觉传感器标定方法 | |
| CN113129430A (zh) | 基于双目结构光的水下三维重建方法 | |
| CN110264527A (zh) | 基于zynq的实时双目立体视觉输出方法 | |
| CN105989588A (zh) | 一种异形材料切割图像校正方法及系统 | |
| CN102567991A (zh) | 一种基于同心圆合成图像匹配的双目视觉标定方法和系统 | |
| CN115861448A (zh) | 基于角点检测及特征点提取的系统标定方法及系统 | |
| CN113610929B (zh) | 一种相机与多线激光的联合标定方法 | |
| CN105488535B (zh) | 一种三维点云匹配方法 | |
| CN110223356A (zh) | 一种基于能量生长的单目相机全自动标定方法 | |
| CN111023994B (zh) | 一种基于多重测量的光栅三维扫描方法及系统 | |
| CN115294277B (zh) | 一种物体的三维重建方法、装置、电子设备及存储介质 | |
| CN106980601B (zh) | 基于三目极线约束的基础矩阵高精度求解方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |