CN110223355A - 一种基于双重极线约束的特征标志点匹配方法 - Google Patents

Abstract

本发明一种基于双重极线约束的特征标志点匹配方法属于计算机视觉测量技术领域，涉及一种基于双重极线约束的特征标志点匹配方法。该方法首先对双目相机的内参数和两个相机之间的外参数进行标定；然后，利用灰度重心法对图像特征标志点进行提取，获取特征标志点在左右图像坐标系下的坐标；接下来基于标定参数构造第三视角图像；最后，基于左相机图像和构造的第三视角图像在右图像中的双重极线约束完成特征标志点的匹配。该方法通过构造第三视角图像，在右图像中形成双重极线约束缩小对应匹配点搜索范围来进行左右图像中特征标志点的一一匹配，实现了在复杂测量环境下的非对称有限特征图像中特征标志点快速，精准，高鲁棒性的匹配。

Description

一种基于双重极线约束的特征标志点匹配方法

技术领域

本发明属于计算机视觉测量领域，涉及一种基于双重极线约束的特征标志点匹配方法。

背景技术

随着现代工业的进步和计算机科学的不断发展，视觉测量技术在航空航天、精密制造、产品质量检测等工业领域得到了广泛应用。其中，双目相机左右图像中特征点的匹配是实现特征点三维重建、获取测量信息的前提和基础。而工业测量现场环境复杂，多源干扰因素致使标志点的中心提取存在误差，而图像中的灰度特征信息极为有限难以用于辅助匹配，此外由于相机视角的不同，左右图像存在非对称性，即存在非公共标志点的干扰。面对上述问题，准确地实现左右图像中特征标志点的一一匹配具有很大的难度。因此，发明一种面向非对称有限特征图像的高鲁棒性标志点精准匹配方法具有重要的意义。

目前主流图像特征点匹配算法中，局部特征匹配占据绝大部分，主要包括有SIFT、SURF等，SIFT(Scale-invariant feature transformation尺度不变特征变换)算法可以有效的解决两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题。SURF(Speed-uprobust features加速健壮特征)算法是SIFT算法的加速版，是利用盒状滤波器对SIFT算法中的高斯核函数进行近似，并使用了积分图像与快速Hessian矩阵简化卷积运算的过程，提高了图像匹配的速度。上述匹配算法主要依赖于图像的局部特征信息，而在图像特征信息有限的情况下难以保证特征标志点的匹配精度。

北京航空航天大学吴威，张淑军等人，在专利号为CN200810057304.6“利用激光标志点实现图像快速匹配的方法和装置”专利中利用激光源和双目相机采集目标物体图像和带激光标志点的目标物体图像，通过对两组图像分别求差值即可得到激光标志点所对应的两个图像点的图像坐标，并以其作为一个特征点对，为图像匹配提供一个精确的初始值，缩小匹配点的搜索区域，从而加速图像匹配过程，但该方案硬件复杂，难以适应复杂的现场环境。北京京北方信息技术有限公司池毅韬，高昊江，在专利号为CN201210163275.8“一种图像配准方法及装置”中利用高斯差分图像，分别检测待配准的源图像和目标图像中的特征点，然后将同一个图像中检测出的特征点中相邻的特征点进行聚合，再按照经过聚合后的特征点，对源图像和目标图像间的特征点进行非对称双向匹配，得到图像间的特征点匹配关系。该方案可以在特征信息有限情况下完成匹配，但难以解决非对称情况特征点匹配的问题。深圳大学的艾丹等人于2011年在《仪器仪表学报》第六期发表了文章《基于多种特征点综合的标志点匹配方法》，提出了一种结合特征标志点的灰度信息特征的相似性和空间位置关系的相似性来完成特征标志点匹配的方法，使得特征标志点的描述更全面，匹配也更准确。但在非对称图像匹配时难以满足需求。

发明内容

本发明要解决的问题是克服现有图像特征点匹配方案对复杂测量环境下的非对称有限特征图像中特征标志点匹配精度差、鲁棒性低的缺陷，发明一种基于双重极线约束的特征标志点匹配方法。该方法，首先对双目相机的内参数和两个相机之间的外参数进行标定；然后利用灰度重心法对图像特征标志点进行提取，获取特征标志点在左右图像坐标系下的坐标；接下来基于标定参数构造第三视角图像；最后基于左相机图像和构造的第三视角图像在右图像中的双重极线约束完成特征标志点的匹配。此方法通过构造第三视角图像，在右图像中形成双重极线约束缩小对应匹配点搜索范围来进行左右图像中特征标志点的一一匹配。实现了在复杂测量环境下的非对称有限特征图像中特征标志点快速，精准，高鲁棒性的匹配。

本发明采用的技术方案是一种基于双重极线约束的特征标志点匹配方法，其特征是，该方法基于先验标定信息构造第三视角图像，利用左相机图像和第三视角图像在右图像中构成双重极线约束完成特征标志点匹配的技术方式；首先利用左、右相机分别采集标定图像标定双目相机的内外参数；然后对采集的测量图像提取特征标志点区域并利用灰度重心法计算特征标志点中心坐标；接下来通过对右相机进行虚拟旋转，构造第三视角图像；最后，基于左图像和第三视角图像构造双重极线约束，在右图像中搜索对应匹配点，并剔除非公共标志点，实现了复杂测量环境下非对称有限特征图像中特征标志点的快速，精准匹配；匹配方法的具体步骤如下：

第一步，双目相机内外参数标定

首先在待测物3上均匀布置特征标志点5，然后搭建双目测量系统，使左相机1和右相机2成一定角度固定在三角架4上,并在安装时要保证公共视场中有足够数量的特征标志点。

然后进行相机标定，利用左右相机分别对棋盘标定板拍照，通过张氏标定法对左右相机的内参数和两个相机之间的外参数进行标定,左右相机内参数(α，β，u₀，v₀)满足坐标转换公式：

其中，(u，v)分别是空间点P在图像的行列像素坐标值,(X_C，Y_C，Z_C)是空间点P在摄像机坐标系下的坐标,K为相机的内参数矩阵；假设两摄像机的空间位置转换为旋转矩阵R与平移矩阵T，则空间点P在左摄像机坐标系下的坐标(X_CL，Y_CL，Z_CL)和在右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR)转换关系可表示为：

其中，(r₁，r₂...r₉)是旋转矩阵R的参数，(t_x，t_y，t_z)是平移矩阵T的参数；标定后得到左右摄相机的内参数矩阵分别是K_l和K_r，由此计算两摄像机间的基础矩阵F：

第二步，图像中特征标志点提取

首先对图像进行二值化处理，通过设置适当的阈值获取二值化图像；然后提取二值图像的所有独立区域轮廓，计算每个区域的圆度特征，区域圆度计算公式如下：

C＝4πS/l² (4)

其中，S为区域面积值,l为区域周长，C为计算出的区域圆度，通过设置适当的圆度值C′，提取图像中圆度值大于C′的标志点区域；最后使用灰度重心法提取标志点中心在左右图像的位置坐标，灰度重心法计算坐标公式如下：

其中，f(u，v)是坐标为(u，v)的像素点的灰度值，Ω为目标区域集合是标志点中心在图像中的位置坐标。

第三步，基于先验标定信息构造第三视角图像

根据内参数矩阵与相机成像模型，将标志点中心在右摄像机图像的像素坐标值(u_r，v_r)转换为右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR)，其转换关系如下：

构造第三视角相机，将右摄像机坐标系相对于坐标系原点旋转一个角度，其旋转矩阵为R′,则标志点中心在右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR与第三视角相机坐标系下的坐标(X_CR′，Y_CR′，Z_CR′)转换关系如下：

将标志点中心在第三视角相机坐标系下的坐标(X_CR′，Y_CR′，Z_CR′)转换为第三视角相机图像的像素坐标值(u_r′，v_r′)，其转换关系如下：

计算第三视角相机与右相机间的基础矩阵F′，关系如下：

其中(f₀，f₁...f₈)为基础矩阵F′的参数，可以利用八点法可以对其求解：

选取的8个特征标志点，其标志点中心在右摄像机图像的像素坐标值为到在第三视角相机图像的像素坐标值为到

第四步，基于双重极线约束的特征标志点匹配

极线约束是将对应匹配点搜索范围由全局图像缩小到了极线这条直线上，而双重极线约束则是通过左相机图像和第三视角相机图像在右相机图像中构建双重极线约束关系，将所需要搜索对应匹配点的范围缩小到几个点上，再次缩小了搜索范围，提高了匹配的精度与鲁棒性；

首先构造第三视角相机图像到右相机图像的极线约束关系，通过基础矩阵F′构造全部的标志点中心在第三视角相机图像的像素坐标值(u_r′，v_r′和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系，(a′，b′，c′)为极线约束方程参数，公式如下：

a′u_r+b′v_r+c′＝0 (12)

然后构造左相机图像到右相机图像的极线约束关系，通过基础矩阵F构造标志点中心在左相机像素坐标系下坐标(u_l，v_l)和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系，(a，b，c)为极线约束方程参数，公式如下：

au_r+bv_r+c＝0 (14)

接下来将所需要搜索对应匹配点的范围缩小到几个点上，计算左图像中标志点中心在右图像中对应的极线方程(12)与第三视角相机全部标志中心点在右图像中对应的极线方程(14)的交点(u_k，v_k)，设定距离阈值D，计算右图像中全部标志中心点(u_r，v_r)与各交点距离dis：

满足dis最小且小于距离阈值D的标志点和与该极线对应的左图像标志点匹配，如与极线对应的左图像标志点在右图像中没有满足距离阈值条件的标志点，则该特征标志点为左图像独有的非公共点，左图像全部标志中心点计算完毕后，右图像剩下的标志中心点为右图像独有的非公共点。

通过以上步骤实现了复杂测量环境下非对称有限特征图像中特征标志点的快速，精准，高鲁棒性匹配。

本发明的有益效果是该方法通过构造第三视角图像，在右图像中形成双重极线约束缩小对应匹配点搜索范围来进行左右图像中特征标志点的一一匹配。该方法有效地解决了传统图像特征点的匹配算法在复杂测量环境下的非对称有限特征图像中匹配鲁棒性差，误匹配率高等问题。通过采用基于双重极线约束的特征标志点匹配方法，实现了在复杂测量环境下的非对称有限特征图像中了特征标志点的快速、精准匹配，并能有效剔除非公共点，具有极高的鲁棒性。

附图说明

图1为双目相机测量系统。其中，1-左相机，2-右相机，3-待测物，4-三角架，5-特征标志点。

图2为基于双重极线约束的特征标志点匹配方法图的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

本实施例中，双目视觉系统中相机型号为vieworks VC-12MC-M/C 65相机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，拍摄条件如下：图片像素为4096×3072，镜头焦距为35mm，物距为1200mm，视场约为720mm×1200mm。

本发明采用基于先验标定信息构造第三视角图像，利用双重极线约束将对应匹配点的搜索缩小在极线交点范围内，可以在复杂测量环境下的非对称有限特征图像中完成特征标志点快速，精准，高鲁棒性的匹配。图2为基于双重极线约束的特征标志点匹配方法图的流程图，方法的具体步骤如下：

第一步，双目相机内外参数标定

图1为双目相机测量系统，首先在待测物3上均匀布置特征标志点5，搭建双目视觉测量系统，利用左右相机分别采集棋盘标定板图像，左右相机各20张，根据公式(1)对左右相机进行内外参数标定，其内参数矩阵为K，根据公式(2)计算左右相机的空间位置关系，包括旋转矩阵R与平移矩阵T：

根据公式(3)计算左右相机间的基础矩阵F。

第二步，图像中特征标志点提取

首先利用双目相机采集待测物3图像，然后设置适当的阈值，将采集的图像二值化处理，设置适当的圆度值C′，根据公式(4)计算图像区域圆度，提取图像中满足圆度条件的标志点区域；最后根据公式(5)用灰度重心法计算特征标志点5中心在左右图像的位置坐标。

第三步，基于先验标定构造第三视角图像

首先利用公式(6)计算全部右图像标志点中心坐标(u_r，v_r)在以投影中心为原点的相机坐标系三维坐标(X_CR，Y_CR，Z_CR)；构造第三视角相机，利用公式(7)计算全部标志点中心坐标(X_CR，Y_CR，Z_CR)到第三视角相机坐标系三维坐标(X_CR′，Y_CR′，Z_CR′)；利用公式(8)计算全部标志点中心第三视角相机坐标(X_CR′，Y_CR′，Z_CR′)到第三视角相机图像的像素坐标值(u_r′，v_r′)；选取右相机和第三视角相机八个标志点(u¹，v¹)，(u²，v²)...(u⁸，v⁸),利用公式(10)计算第三视角相机和右相机之间的基础矩阵F′。

第四步，基于双重极线约束的特征标志点匹配

利用公式(11)，构造全部的标志点中心在第三视角相机图像的像素坐标值(u_r′，v_r′)和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系；然后利用公式(12)构造标志点中心在左相机图像的像素坐标值(u_l，v_l)和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系；计算左图像中标志中心点在右图像中对应的极线方程(12)与第三视角相机全部标志中心点在右图像中对应的极线方程(14)的交点(u_k，v_k)；设置距离阈值D，利用公式(15)计算右图像中全部标志中心点(u_r，v_r)与各交点距离dis，满足dis最小且小于距离阈值D的标志点便与该极线对应的左图像标志点匹配，如与极线对应的左图像标志点在右图像中没有满足距离阈值条件的标志点，则该特征标志点为左图像独有的非公共点，左图像全部标志中心点计算完毕后，右图像剩下的标志中心点为右图像独有的非公共点。

本发明通过基于先验标定信息构造第三视角图像，利用双重极线约束将对应匹配点的搜索缩小在极线交点范围内的方法，有效地解决了传统图像特征点的匹配算法在复杂测量环境下的非对称有限特征图像中匹配鲁棒性差，误匹配率高等问题。通过采用基于双重极线约束的特征标志点匹配方法，具有匹配精度高、速度快、鲁棒性高的特点。

Claims (1)

1.一种基于双重极线约束的特征标志点匹配方法，其特征是，该方法首先对双目相机的内参数和两个相机之间的外参数进行标定；然后利用灰度重心法对图像特征标志点进行提取，获取特征标志点在左右图像坐标系下的坐标；接下来基于标定参数构造第三视角图像；最后，基于左相机图像和构造的第三视角图像在右图像中的双重极线约束完成特征标志点的匹配；方法具体步骤如下：

第一步，双目相机内外参数标定

首先在待测物(3)上均匀布置特征标志点(5)，然后搭建双目测量系统，使左相机(1)和右相机(2)成一定角度固定在三角架(4)上,并在安装时要保证公共视场中有足够数量的特征标志点；

然后进行相机标定，利用左右相机分别对棋盘标定板拍照，通过张氏标定法对左右相机的内参数和两个相机之间的外参数进行标定,左右相机内参数(α，β，u₀，v₀)满足坐标转换公式：

其中，(u，v)分别是空间点P在图像的行列像素坐标值,(X_C，Y_C，Z_C)是空间点P在摄像机坐标系下的坐标,K为相机的内参数矩阵；假设两摄像机的空间位置转换为旋转矩阵R与平移矩阵T，则空间点P在左摄像机坐标系下的坐标(X_CL，Y_CL，Z_CL)和在右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR)转换关系可表示为：

其中，(r₁，r₂…r₉)是旋转矩阵R的参数，(t_x，t_y，t_z)是平移矩阵T的参数；标定后得到左右摄相机的内参数矩阵分别是K_l和K_r，由此可以计算两摄像机间的基础矩阵F：

第二步，图像中特征标志点提取

首先对图像进行二值化处理，通过设置适当的阈值获取二值化图像；然后提取二值图像的所有独立区域轮廓，计算每个区域的圆度特征，区域圆度计算公式如下：

C＝4πS/l² (4)

其中，S为区域面积值,l为区域周长，C为计算出的区域圆度，通过设置适当的圆度值C′，提取图像中圆度值大于C′的标志点区域；最后使用灰度重心法提取标志点中心在左右图像的位置坐标，灰度重心法计算坐标公式如下：

其中，f(u，v)是坐标为(u，v)的像素点的灰度值，Ω为目标区域集合是标志点中心在图像中的位置坐标；

第三步，基于先验标定信息构造第三视角图像

根据内参数矩阵与相机成像模型，将标志点中心在右摄像机图像的像素坐标值(u_r，v_r)转换为右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR)，其转换关系如下：

构造第三视角相机，将右摄像机坐标系相对于坐标系原点旋转一个角度，其旋转矩阵为R′,则标志点中心在右摄像机坐标系下的坐标(X_CR，Y_CR，Z_CR)与第三视角相机坐标系下的坐标(X_CR′，Y_CR′，Z_CR′)转换关系如下：

将标志点中心在第三视角相机坐标系下的坐标(X_CR′，Y_CR′，Z_CR′)转换为第三视角相机图像的像素坐标值(u_r′，v_r′)，其转换关系如下：

计算第三视角相机与右相机间的基础矩阵F′，关系如下：

其中(f₀，f₁...f₈)为基础矩阵F′的参数，可以利用八点法可以对其求解：

选取的8个特征标志点，其标志点中心在右摄像机图像的像素坐标值为到在第三视角相机图像的像素坐标值为到

第四步，基于双重极线约束的特征标志点匹配

极线约束是将对应匹配点搜索范围由全局图像缩小到了极线这条直线上，而双重极线约束则是通过左相机图像和第三视角相机图像在右相机图像中构建双重极线约束关系，将所需要搜索对应匹配点的范围缩小到几个点上，再次缩小了搜索范围，提高了匹配的精度与鲁棒性；

首先构造第三视角相机图像到右相机图像的极线约束关系，通过基础矩阵F′构造全部的标志点中心在第三视角相机图像的像素坐标值(u_r′，v_r′)和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系，(a′，b′，c′)为极线约束方程参数，公式如下：

a′u_r+b′v_r+c′＝0 (12)

然后构造左相机图像到右相机图像的极线约束关系，通过基础矩阵F构造标志点中心在左相机像素坐标系下坐标(u_l，v_l)和右相机像素坐标系下坐标(u_r，v_r)的极线约束关系，(a，b，c)为极线约束方程参数，公式如下：

au_r+bv_r+c＝0 (14)

接下来将所需要搜索对应匹配点的范围缩小到几个点上，计算左图像中标志点中心在右图像中对应的极线方程(12)与第三视角相机全部标志中心点在右图像中对应的极线方程(14)的交点(u_k，v_k)，设定距离阈值D，计算右图像中全部标志中心点(u_r，v_r)与各交点距离dis：

满足dis最小且小于距离阈值D的标志点和与该极线对应的左图像标志点匹配，如果与极线对应的左图像标志点在右图像中没有满足距离阈值条件的标志点，则该特征标志点为左图像独有的非公共点，左图像全部标志中心点计算完毕后右图像剩下的标志中心点为右图像独有的非公共点。