CN102567991A - 一种基于同心圆合成图像匹配的双目视觉标定方法和系统 - Google Patents

Abstract

本发明公开了一种基于同心圆合成图像匹配的双目视觉标定方法，根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。本发明还公开了一种基于同心圆合成图像匹配的双目视觉标定系统，通过利用了靶标图像的整体信息来定位特征点，并以此构造目标函数来优化双目视觉系统参数，与已有的方法比较，提高了标定精度。

Description

一种基于同心圆合成图像匹配的双目视觉标定方法和系统

技术领域

本发明涉及双目视觉系统的标定技术，特别是指一种基于同心圆合成图像匹配的双目视觉标定方法和系统。

背景技术

双目视觉传感器的标定是双目视觉传感器能否成功应用的关键，其中主要包括：摄像机内部参数和传感器结构参数的标定。通常采用的方法是利用标准二维或三维精密靶标，通过摄像机的图像坐标与三维世界坐标的对应关系求得这些参数。在双目立体视觉系统的常规标定方法中，针对标定靶标由两个摄像机同时进行摄像机标定，以分别获得两个摄像机的内部、外部参数，从而不仅可以标定出摄像机的内部参数，还可以同时标定出双目立体视觉系统的结构参数，即外部参数。

摄像机标定一直是一个非常活跃的研究领域，并且在Tsai方法(R.Y.Tsai.AVersatile Camera Calibration Technique for High-Accuracy 3D Machine VisionMetrology Using Off-the-Shelf TV Cameras and Lenses.IEEE Trans.Robotics andAutomation，Aug.1987)后，又进行了大量的深入发展和研究。在大多数研究中，例如：基于平面靶标的张正友方法(Z.Zhang.A Flexible New Technique forCamera Calibration.IEEE Trans.Pattern Analysis and Machine Intelligence，Nov.2000)，已经可以采用低成本的硬件系统达到较高的标定精度。上述的传统标定方法中，其标定精度取决于特征点的提取精度，但在提取过程中，其忽略了特征点与图像整体的关系，因此特征点的提取会存在偏差。对于计算特征点的方法，Heikkila提出了一种高精度的椭圆适用技术(J.Heikkila.Moment andCurvature Preserving Technique for Accurate Ellipse Boundary Detection.Proc.14thInt’l Conf.Pattern Recognition，Aug.1998)。这项技术在图像平面中，将第一顺序椭圆近似值应用于圆形的标定标记，并且加入了透视的效果。随后Heikkila将这个标记定位技术应用于摄像机标定(J.Heikkila.Geometric CameraCalibration Using Circular Control Points.IEEE Trans.Pattern Analysis andMachine Intelligence，Oct.2000)，并且用一个二面体作为目标，获得了高质量的测量结果。但是该方法采用的椭圆形标记信息不够丰富，因此并没有很好的利用图像的整体性。

目前双目视觉传感器模型参数的标定方法主要有基于已知三维坐标的三维靶标法、基于已知运动平面靶标法和基于未知运动平面靶标法。三维靶标法需要至少两个已知平面构成的高精度三维靶标，由于两个平面对光照的相互影响，只能在特定的位置和方位才可能获得高质量的标定图像，且三维靶标的加工制造和维护较为困难，且成本高。已知运动的平面靶标法，需要高精度移动导轨等辅助设备，标定过程较为复杂。因此三维靶标法和已知运动平面靶标法都不适合在线标定。

基于自由移动的平面靶标法，即前述的未知运动平面靶标法，可以获得高质量的标定图像，能够满足在线标定的要求。加工制造高精度二维精密靶标较为容易，但难以保证靶标上多个特征点经摄像机成像后的图像特征的质量，从而影响到标定精度。张广军在2001年提出了一种基于标准长度的双目视觉系统标定方法。周富强在2006年提出了一种新的基于自由移动的一维靶标的双目视觉传感器参数标定方法。采用带有两个特征点的一维靶标，在传感器的测量空间自由移动，摄像机可以获取多幅高质量的标定靶标的图像，不存在三维靶标不同平面之间的相互影响。相对于已有的标定方法，该方法所需的标定靶标成本低，加工制造容易，维护和现场操作简单，可以提高标定效率，大大降低劳动强度，非常适合现场在线标定。但上述两种方法同样没有充分利用图像的整体信息，其标定精度仅取决于特征点的提取精度。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于同心圆合成图像匹配的双目视觉标定方法和系统，解决了现有技术中不能很好的利用图像的整体信息提高标定精度的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种基于同心圆合成图像匹配的双目视觉标定方法，包括：

根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；

根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；

根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

上述方案中，所述同一平面内多个同心圆靶标之间的圆心图像坐标初值为：对拍摄得到的观测图像中每个圆分别进行边缘提取，通过灰度权重的方法计算得到每个同心圆靶标的圆心图像坐标初值。

上述方案中，所述计算左右摄像机的内外部参数初值为：根据每个同心圆靶标的圆心图像坐标初值，通过计算和分解H矩阵，得到左右摄像机的内外部参数初值。

上述方案中，所述根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像为：根据左右摄像机的内外部参数初值，利用射线跟踪原理计算得到左右摄像机对每个靶标的合成图像。

上述方案中，所述合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数为：利用相关系数公式来匹配合成图像与拍摄得到的观测图像的相似度，得到优化目标函数。

上述方案中，所述根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化为：根据左右摄像机分别对于同一个靶标的外部参数，计算双目视觉系统的结构参数，然后根据目标优化函数、距离约束条件以及极线约束条件利用非线性优化方法对双目视觉系统进行优化。

本发明还提供一种基于同心圆合成图像匹配的双目视觉标定系统，包括：图像采集模块和标定优化模块；其中，

所述图像采集模块，用于采集左右摄像机拍摄的同一平面内多个同心圆靶标的观测图像，将图像数据发送给标定优化模块；

所述标定优化模块，用于根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值，根据所述内外部参数初值分别计算左右摄像机对每个靶标的合成图像，针对合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数，根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

本发明所提供的基于同心圆合成图像匹配的双目视觉标定方法和系统，根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。其中，利用摄像机数学模型以及靶标上同心圆之间的位置关系构造合成图像，将合成图像与观测图像进行相似度匹配，通过优化可以定位得到每个圆心的图像坐标。将该匹配方法作为目标函数之一，与双目视觉系统的距离约束和极线约束一起构成总的优化目标函数，之后采用非线性优化计算得到双目视觉系统参数的最优解。其中利用了靶标图像的整体信息来定位特征点，并以此构造目标函数来优化双目视觉系统参数，与已有的方法比较，提高了标定精度。

附图说明

图1为双目视觉系统的模型原理图；

图2为本发明基于同心圆合成图像匹配的双目视觉标定方法流程示意图；

图3为本发明基于同心圆合成图像匹配的双目视觉标定方法实施例的流程示意图；

图4为本发明实施例中采用的共面同心圆靶标示意图；

图5为射线跟踪的反投影模型原理图；

图6为左右摄像机的分别拍摄同一位置靶标的图像；

图7为合成图像局部示意图；

图8为两种方法的测量结果的比较图；

图9为本发明基于同心圆合成图像匹配的双目视觉标定系统结构示意图。

具体实施方式

为了更好的理解本发明，首先介绍一下双目视觉系统标定的基本原理，图1为双目视觉系统的模型原理图，如图1所示，对于两个摄像机的摆放位置不做特别要求，假设左摄像机O-xyz位于世界坐标系的原点处且无旋转，图像坐标系为O_l-X_lY_l，有效焦距为

主点坐标为(u_l，v_l)，u_l轴与v_l轴不垂直因子为α_l；右摄像机坐标系为O-x_ry_rz_r，图像坐标系为O_r-X_rY_r，有效焦距为

主点坐标为(u_r，v_r)，u_r轴与v_r轴不垂直因子为α_r，则摄像机透视变换模型为：

$s_l\left[\begin{array}{c}{X}_l\\ Y_l\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x^l& {\mathrm{\α}}_l& u_l\\ 0& f_y^l& v_l\\ 0& 0& 1\end{array}\right]---\left(1\right)$

$s_l\left[\begin{array}{c}{X}_r\\ Y_r\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x^r& {\mathrm{\α}}_r& u_r\\ 0& f_y^r& v_r\\ 0& 0& 1\end{array}\right]---\left(2\right)$

而O-xyz坐标系与O-x_ry_rz_r坐标系之间的相互位置关系可通过空间转换矩阵表示为：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=M_{\mathrm{lr}}\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_x\\ r_4& r_5& r_6& t_y\\ r_7& r_8& r_9& t_z\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ M_lr＝[R|T]    (3)

其中， $R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right],$ $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 分别为O-xyz坐标系与O-x_ry_rz_r坐标系之间的旋转矩阵和原点之间平移变换向量，即为双目视觉系统的结构参数。

进一步的，空间点三维坐标表示为：

$\left[\begin{array}{ccc}{X}_l{m}_{31}^l-m_{11}^l& X_l{m}_{32}^l-m_{12}^l& X_l{m}_{33}^l-m_{13}^l\\ Y_l{m}_{31}^l-m_{21}^l& Y_l{m}_{32}^l-m_{22}^l& Y_l{m}_{33}^l-m_{23}^l\\ X_r{m}_{31}^r-m_{11}^r& X_r{m}_{32}^r-m_{12}^r& X_r{m}_{33}^r-m_{13}^r\\ Y_r{m}_{31}^r-m_{21}^r& Y_r{m}_{32}^r-m_{22}^r& Y_r{m}_{33}^r-m_{23}^r\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{m}_{14}^l-X_l{m}_{34}^l\\ m_{24}^l-Y_l{m}_{34}^l\\ m_{14}^r-X_r{m}_{34}^r\\ m_{24}^r-X_r{m}_{24}^r\end{array}\right]---\left(4\right)$

上式包含(x，y，z)三个变量的四个线性方程，其中M_l＝A_l[I 0]，M_r＝A_r[R T]，只需要求解其中的三个就可以得到(x，y，z)。但由于存在数据噪声的影响，因此可以使用最小二乘法求解该线性方程组重建出P点的空间三位坐标。

本发明的基本思想是：根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

图2为本发明一种基于同心圆合成图像匹配的双目视觉标定方法流程示意图，如图2所示，所述方法包括：

步骤201，根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；

具体的，所述同一平面内多个同心圆靶标之间的圆心图像坐标初值，具体为：对拍摄得到的观测图像中每个圆分别进行边缘提取，通过灰度权重的方法计算得到每个同心圆靶标的圆心图像坐标初值。所述计算左右摄像机的内外部参数初值，具体为：根据每个同心圆靶标的圆心图像坐标初值，通过计算和分解Homograph单应矩阵(H矩阵)，得到左右摄像机的内外部参数初值，其中，内部参数包括：摄像机的有效焦距、主点坐标和畸变参数；外部参数包括：旋转矩阵和平移向量。

步骤202，根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；

具体的，所述根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，具体为：根据左右摄像机的内外部参数初值，利用射线跟踪原理计算得到左右摄像机对每个靶标的合成图像。所述合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数，具体为：利用相关系数公式来匹配合成图像与拍摄得到的观测图像的相似度，得到优化目标函数。所述相关系数公式为：

其中，u为匹配针对的同心圆的所在区域；I_o为观测图像；I_m为合成图像；C的取值范围从-1到1，当C为正数时表示观测图像和合成图像正相关，C为负数时表示观测图像和合成图像负相关；C的绝对值越大，代表两幅图像相似度越高。

步骤203，根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

具体的，所述根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化，具体为：根据左右摄像机分别对于同一个靶标的外部参数，计算双目视觉系统的结构参数，然后根据目标优化函数、距离约束条件以及极线约束条件利用非线性优化方法对双目视觉系统进行优化。其中，所述结构参数的计算公式为：

其中，R_r、T_r表示右摄像机与靶标坐标系的相对位置，R_l、T_l表示左摄像机与同一靶标坐标系的相对位置，R、T为双目视觉系统的结构参数。所述距离约束条件为：|D-d_i|＝0，极线约束条件为：

其中，d_i为计算得到相邻圆心点之间的距离；D为已知靶标圆心点的实际距离；p_l＝(X_l，Y_l，1)^T和p_r＝(X_r，Y_r，1)^T分别为经过合成图像与观测图像的相似度匹配后，计算得到的空间圆心点P在左右摄像机图像平面上的定位图像坐标。A_l和A_r分别为左右摄像机的内部参数；R为双目视觉系统结构参数中的旋转矩阵；S为双目视觉系统结构参数中平移向量的反对称矩阵。

由上述方法步骤可以看出，对于双目视觉系统，利用摄像机数学模型以及靶标上同心圆之间的位置关系构造合成图像，将合成图像与观测图像进行相似度匹配，通过优化可以定位得到每个圆心的图像坐标。将该匹配方法作为目标函数之一，与双目视觉系统的距离约束和极线约束一起构成总的优化目标函数，之后采用非线性优化计算得到双目视觉系统参数的最优解。其中利用了靶标图像的整体信息来定位特征点，并以此构造目标函数来优化双目视觉系统参数，与已有的方法比较，提高了标定精度。

图3为本发明一种基于同心圆合成图像匹配的双目视觉标定方法实施例的流程示意图，如图3所示，所述方法包括：

步骤301，分别计算左右摄像机内外部参数的初值；

具体的，图4为本发明实施例中采用的共面同心圆靶标示意图，如图4所示，其中包括N²个同心圆，它们以N×N的矩阵分布。首先，分别将左右两个摄像机拍摄的图像中每个同心圆所在区域提取出来，之后利用边缘检测的方法，得到该区域中的同心圆边缘信息，之后通过灰度权重的方法，计算得到每个同心圆圆心图像坐标的初值。

得到每个同心圆圆心图像坐标后，因为已知在靶标坐标系下圆心的坐标，所以可以通过这些圆心在图像坐标系下的坐标初值，根据公式(5)求出带比例因子的H矩阵：

$s\tilde{m}=H\tilde{M}---\left(5\right)$

其中H＝A(r₁ r₂ T)＝(h₁ h₂ h₃)，为二维靶标上圆心点的图像坐标，

为二维靶标上圆心点局部二维世界坐标。

H矩阵为3×3的矩阵，其中有9个元素，可以确定相差一个尺度因子，因此矩阵的自由度为8，需要至少4个非共线对应点，则由式(5)可以求出带比例因子的H矩阵。但是由线性方法求得的H矩阵容易受到噪声的干扰，因此建立目标函数，对H矩阵进行优化，得到最优解。目标函数如下：

$\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|{\tilde{m}}_j-m(H,{\tilde{M}}_j)\left|\right|}^2---\left(6\right)$

所述对H矩阵进行优化的问题可通过非线性优化算法进行求解。计算出H矩阵后，再通过对多幅图像H矩阵进行分解，就可以分别得到左右摄像机内部参数初值，以及针对每个不同靶标的左右摄像机的外部参数初值。

步骤302，计算每幅图像的合成图像；

具体的，根据摄像机内部参数和外部参数的初值，利用射线跟踪来建立图像坐标系中的靶标图像。图5为射线跟踪的反投影模型原理图，如图5所示，图像传感器中每一个像素点都是通过四个角点向外发出的射线，在靶标上获取亮度信息构成一个像素。然后利用摄像机模型，将靶标中的同心圆亮度信息反投影到图像坐标系中，其中每个像素均是由黑色和白色区域组成。

同时，假设在像素级上靶标平面的亮度是标准的，那么定义R_w为在图像像素中的白色区域，R_b为黑色区域，一个像素

的模型强度是

白色区域R_w与整个区域R_w+R_b的比例：

其中K是比例系数，当拍摄得到的图像是8位时，K＝255。通过上述过程，就可以根据摄像机内外部参数的初值，计算得到靶标的图像。进一步的将计算得到靶标的图像称为合成图像(Damien Douxchamps，Kunihiro Chihara.High-Accuracy and Robust Localization of Large Control Markers for GeometricCamera Calibration.IEEE Trans.Pattern Analysis and Machine Intelligence，Feb.2009)。相对的，则将真实拍摄得到的图像称为观测图像。

步骤303，将合成图像与观测图像进行匹配；

具体的，合成图像是根据摄像机模型计算得到的图像，它是靶标在图像平面上的投影，而观测图像则是拍摄得到的投影图像，因此二者具有很高的相似性。当摄像机模型的内部参数与外部参数达到最优时，两幅图像间的相似度达到最高。

本实施例中使用相关系数来评价合成图像与观测图像之间的相似度，下式为相关系数(李卓，邱慧娟.基于相关系数的快速图像匹配研究.北京理工大学学报，2007.11)的计算公式：

其中，u是被检测标记点的所在区域；C的取值范围从-1到1，当C为正数时代表正相关，C为负数时代表负相关；C的绝对值越大，代表两幅图像相似度越高。由于合成图像与观测图像属于正相关区域，因此，通过优化调整摄像机参数可以改变合成图像，使得匹配得到的相关系数趋近于1，从而合成图像与观测图像相似度更高，定位得到的圆心点图像坐标则更为准确。

步骤304，总体优化双目视觉系统参数。

具体的，根据已计算得到的左右两个摄像机对于同一位置靶标的外部参数初值，可以计算得到该双目视觉系统的结构参数。下面公式计算出左右两个摄像机的转换关系，即为双目视觉系统的结构参数(R.Hartley，A.Zisserman.Multiple View Geometry in Computer Vision.Cambridge Univ.Press，2003)：其中，以左摄像机坐标系作为世界坐标系，

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l---\left(9\right)$

其中，R_r、T_r表示右摄像机与靶标坐标系的相对位置，R_l、T_l表示左摄像机与同一靶标坐标系的相对位置，R、T为双目视觉系统的结构参数。

进一步的，利用上述的通过匹配合成图像与观测图像来定位同心圆中圆心点图像坐标的算法，构造优化目标函数：

g₁＝1-C_l    (10)

g₂＝1-C_r    (11)

由于噪声等因素的影响，空间点在图像平面的投影存在误差，因此重建出来特征点的空间三位坐标也存在误差。根据双目视觉系统的数学模型中公式(4)，可以计算得到相邻圆心点之间的距离d_i，通过与已知靶标圆心点的实际距离D比较，得到目标函数：

g₃＝|D-d_i|    (12)

如果投影矩阵的估计存在偏差，由投影矩阵计算得到的基本矩阵F将无法满足极限约束条件，因此有：

$g_4=p_r^T{A}_r^{-T}{\mathrm{SRA}}_l^{-1}{p}_l---\left(13\right)$

其中，S为反对称矩阵，它由平移矢量定义为： $S={\left[t\right]}_x=\left[\begin{array}{ccc}0& {-T}_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right].$

根据公式(10)～(13)，建立最终的优化目标函数：

f(x)＝min|ρ₁∑[g₁(x)]²+ρ₂∑[g₁(x)]²+ρ₃∑[g₂(x)]²+ρ₄∑[g₄(x)]²|    (14)

其中，x＝(A_l，A_r，r_x，r_y，r_z，T_x，T_y，T_z)，r为旋转矩阵R的旋转向量表示形式，A_l，A_r分别为左右摄像机的内部参数；ρ₁、ρ₂、ρ₃和ρ₄为权重系数，一般可以取ρ₁＝ρ₂＝1，ρ₂＝10，ρ₂＝0.1；p_l＝(X_l，Y_l，1)^T和p_r＝(X_r，Y_r，1)^T分别为经过合成图像与观测图像的相似度匹配后，计算得到的空间圆心点P在左右摄像机图像平面上的定位图像坐标。利用Levenberg-Marquart优化方法(M.Galassi，J.Davies，J.Theiler，G.Jungman，M.Booth，and F.Rossi.GNU Scientific Library ReferenceManual，second ed.，B.Gough，ed.Network Theory，Aug.2006)，对双目视觉系统的结构参数以及两个摄像机的内部参数进行优化，得到最终的双目视觉系统的模型参数。

至此，双目视觉系统的标定完成，即可根据式(4)示出的双目视觉系统的测量模型，由二维图像坐标，即两个同心圆圆心的坐标间距，重构三维世界坐标，实现三维测量。

以前述实施例的优化方法进行实际操作，进一步对本发明进行介绍。

在具体实施过程中，实际操作中使用图像分辨率为1280×1024像素的相机和12mm的镜头，图6为左右摄像机的分别拍摄同一位置靶标的图像。实际操作中的靶标由16个位置已知的同心圆构成，具体参数为：相邻圆心距为65mm，一个同心圆由5组黑白相间的圆环组成，每个圆环环带半径差值为3mm，圆心点为半径0.5mm的黑色圆点。

首先提取每个同心圆，边缘检测后，计算得到每个同心圆的圆心点初始图像坐标，之后利用已知圆心间距，求解H矩阵后得到摄像机内部参数和外部参数的初值。然后将合成图像，如图7所示，与观测图像相似度匹配的方法作为目标函数之一，进一步与双目视觉系统的距离约束和极线约束一起构成总的优化目标函数公式(14)，经过优化之后得到的双目视觉系统的参数如下：

$A_l=\left[\begin{array}{ccc}2952.133158& -3.467324& 642.668944\\ 0& 2917.131513& 530.058732\\ 0& 0& 1\end{array}\right]$

$A_r=\left[\begin{array}{ccc}2882.764855& -8.321068& 635.156958\\ 0& 2859.801597& 526.910409\\ 0& 0& 1\end{array}\right]$

$R=\left[\begin{array}{ccc}0.853675& -0.005908& 0.520771\\ 0.002962& 0.999974& 0.006489\\ -0.520796& -0.003997& 0.853671\end{array}\right],$ $T=\left[\begin{array}{c}-398.20635\\ 2.456582\\ 110.709406\end{array}\right]$

k_l＝[-0.15983 1.08671 0.01282 -0.00026]，k_l＝[-0.16369 0.95519 0.01357 -0.00029]

从技术效果上看，现有技术中张正友法是根据拍摄得到的相同图像，利用提取得到的圆心点，通过基于平面靶标的方法分别对同一双目系统的左右摄像机进行标定，之后根据公式(9)计算其结构参数。根据张正友法和本发明的方法得到的双目视觉标定参数，计算加工精度为5微米的棋盘靶标的角点坐标，并根据这些角点计算棋盘方格中的36段边长，每个方格的实际边长为9mm，然后分别计算两种测量方法的均方差(RMS)。本发明的方法的RMS为0.02mm，张正友方法的RMS为0.10mm。图8为两种方法的测量结果的比较图，如图8所示，横坐标为测量序号，纵坐标为测量结果，单位为mm，图中带+的曲线为张正友法的测量结果曲线，带*的曲线为本发明的测量结果曲线，可以看出本发明所提出的标定方法提高了双目视觉系统的标定精度。

图9为本发明一种基于同心圆合成图像匹配的双目视觉标定系统结构示意图，如图9所示，所述系统包括：图像采集模块91和标定优化模块92；其中，

所述图像采集模块91，用于采集左右摄像机拍摄的同一平面内多个同心圆靶标的观测图像，将图像数据发送给标定优化模块92；

所述标定优化模块92，用于根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值，根据所述内外部参数初值分别计算左右摄像机对每个靶标的合成图像，针对合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数，根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

具体的，所述标定优化模块92中同一平面内多个同心圆靶标之间的圆心图像坐标初值，具体为：对拍摄得到的观测图像中每个圆分别进行边缘提取，通过灰度权重的方法计算得到每个同心圆靶标的圆心图像坐标初值。所述标定优化模块92计算左右摄像机的内外部参数初值，具体为：根据每个同心圆靶标的圆心图像坐标初值，通过计算和分解H矩阵，得到左右摄像机的内外部参数初值。

所述标定优化模块92根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，具体为：根据左右摄像机的内外部参数初值，利用射线跟踪原理计算得到左右摄像机对每个靶标的合成图像。所述标定优化模块92针对合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数，具体为：利用相关系数公式来匹配合成图像与拍摄得到的观测图像的相似度，得到优化目标函数。所述相关系数公式为：

其中，u为匹配针对的同心圆的所在区域；I_o为观测图像；I_m为合成图像；C的取值范围从-1到1，当C为正数时表示观测图像和合成图像正相关，C为负数时表示观测图像和合成图像负相关；C的绝对值越大，代表两幅图像相似度越高。

所述标定优化模块92根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化，具体为：根据左右摄像机分别对于同一个靶标的外部参数，计算双目视觉系统的结构参数，然后根据目标优化函数、距离约束条件以及极线约束条件利用非线性优化方法对双目视觉系统进行优化。其中，所述结构参数的计算公式为：

其中R_r、T_r表示右摄像机与靶标坐标系的相对位置，R_l、T_l表示左摄像机与同一靶标坐标系的相对位置，R、T为双目视觉系统的结构参数。所述距离约束条件为：|D-d_i|＝0，极线约束条件为：

其中，d_i为计算得到相邻圆心点之间的距离；D为已知靶标圆心点的实际距离；p_l＝(X_l，Y_l，1)^T和p_r＝(X_r，Y_r，1)^T分别为经过合成图像与观测图像的相似度匹配后，计算得到的空间圆心点P在左右摄像机图像平面上的定位图像坐标。A_l和A_r分别为左右摄像机的内部参数；R为双目视觉系统结构参数中的旋转矩阵；S为双目视觉系统结构参数中平移向量的反对称矩阵。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种基于同心圆合成图像匹配的双目视觉标定方法，其特征在于，所述方法包括：

根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值；

根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像，合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数；

根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

2.根据权利要求1所述的方法，其特征在于，所述同一平面内多个同心圆靶标之间的圆心图像坐标初值为：

对拍摄得到的观测图像中每个圆分别进行边缘提取，通过灰度权重的方法计算得到每个同心圆靶标的圆心图像坐标初值。

3.根据权利要求1或2所述的方法，其特征在于，所述计算左右摄像机的内外部参数初值为：

根据每个同心圆靶标的圆心图像坐标初值，通过计算和分解H矩阵，得到左右摄像机的内外部参数初值。

4.根据权利要求1或2所述的方法，其特征在于，所述根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像为：

根据左右摄像机的内外部参数初值，利用射线跟踪原理计算得到左右摄像机对每个靶标的合成图像。

5.根据权利要求1或2所述的方法，其特征在于，所述合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数为：

利用相关系数公式来匹配合成图像与拍摄得到的观测图像的相似度，得到优化目标函数。

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化为：

根据左右摄像机分别对于同一个靶标的外部参数，计算双目视觉系统的结构参数，然后根据目标优化函数、距离约束条件以及极线约束条件利用非线性优化方法对双目视觉系统进行优化。

7.一种基于同心圆合成图像匹配的双目视觉标定系统，其特征在于，所述系统包括：图像采集模块和标定优化模块；其中，

所述图像采集模块，用于采集左右摄像机拍摄的同一平面内多个同心圆靶标的观测图像，将图像数据发送给标定优化模块；

所述标定优化模块，用于根据同一平面内多个同心圆靶标的圆心图像坐标初值，分别计算左右摄像机的内外部参数初值，根据所述内外部参数初值分别计算左右摄像机对每个靶标的合成图像，针对合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数，根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化。

8.根据权利要求7所述的系统，其特征在于，所述标定优化模块中同一平面内多个同心圆靶标之间的圆心图像坐标初值为：对拍摄得到的观测图像中每个圆分别进行边缘提取，通过灰度权重的方法计算得到每个同心圆靶标的圆心图像坐标初值；

所述标定优化模块计算左右摄像机的内外部参数初值为：根据每个同心圆靶标的圆心图像坐标初值，通过计算和分解H矩阵，得到左右摄像机的内外部参数初值。

9.根据权利要求7或8所述的系统，其特征在于，所述标定优化模块根据左右摄像机的内外部参数初值分别计算左右摄像机对每个靶标的合成图像为：根据左右摄像机的内外部参数初值，利用射线跟踪原理计算得到左右摄像机对每个靶标的合成图像；

所述标定优化模块针对合成图像与拍摄得到的观测图像进行相似度匹配，得到优化目标函数为：利用相关系数公式来匹配合成图像与拍摄得到的观测图像的相似度，得到优化目标函数。

10.根据权利要求7或8所述的系统，其特征在于，所述标定优化模块根据所述优化目标函数、距离约束条件以及极线约束条件，对双目视觉系统进行优化为：

根据左右摄像机分别对于同一个靶标的外部参数，计算双目视觉系统的结构参数，然后根据目标优化函数、距离约束条件以及极线约束条件利用非线性优化方法对双目视觉系统进行优化。

Images