CN109902695B - 一种面向像对直线特征匹配的线特征矫正与提纯方法 - Google Patents

Abstract

一种面向像对直线特征匹配的线特征矫正与提纯方法，首先进行直线位置的修正，而后对引力图修正直线位置进行矫正，再后提纯直线匹配结果，最后通过随机抽样的方法，确定邻域的相似性：通过该方法能够结合边缘图的梯度图和梯度矢量图构造梯度引力图，并以此为基础对直线位置进行矫正；利用点特征匹配结果，从整体角度计算摄影极线，利用极线约束与直线匹配结果共同确定直线邻域内的校验区域，通过计算区域相似性剔除误匹配结果，继而提高了匹配的准确率。

Description

一种面向像对直线特征匹配的线特征矫正与提纯方法

技术领域

本发明属于信号处理技术领域，具体涉及面向像对直线特征匹配的线特征矫正与提纯方法。

背景技术

直线特征匹配是指在不同像对上寻找同名特征线的对应关系，它在计算机视觉处理中具有重要的研究价值，目前像对直线特征匹配仪广泛应用于三维重建、摄影测量、立体匹配和目标跟踪等领域。

目前，提纯像对点特征匹配的方法较多，例如：MSLD及SMSLD,其局限于单一尺度拍摄的影像之间，对尺度变化较于敏感；而LBD则会因为同一直线在不同影像上提取结果的差异，对于复杂地物影像构建的支持域为非对应区域，匹配可靠性较弱；同时还有其他的方法，但是这些方法均不可避免的出现误匹配结果及匹配精度不够等问题，而导致这些问题的最主要因素之一则为现有直线检测结果并不位于图像真正的边缘处。

发明内容

为了解决现有技术存在的问题,本发明提供一种面向像对直线特征匹配的线特征矫正与提纯方法，本发明能够较好地对直线位置进行校正，同时对计算区域相似性剔除误匹配结果，技术方案如下：

一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤：

步骤1：获得梯度引力图及图像边缘直线位置；

步骤2：对通过引力梯度图获得的直线进行矫正；

步骤3：提纯直线匹配结果；

步骤4：通过SIFT算法匹配局部不变点特征，计算极线，通过LSD算法匹配直线获得一组线对，采用随机抽样算法确定线对的邻域相似性，以此提纯直线匹配结果。

步骤1的计算方法如下：

步骤1.1：通过Canny算子对输入的图像进行边缘检测，得到边缘图E；

步骤1.2：采用一阶差分的形式，通过边缘图E求解梯度图G，其计算形式如下：

其中，(i,j)为像素的坐标，d_x(i,j)为x方向的一阶偏导数，d_y(i,j)为y方向的一阶偏导数，通过公式(1)计算获得梯度矢量图GVF；

步骤1.3：将梯度矢量图GVF定义为最小化能量函数的矢量场：V(x,y)＝(u(x,y),y(x,y))

其中，下标分别代表沿x轴和y轴部分的导数，μ是正则化参数，μ的值取决于图像中存在的噪声水平，

是根据输入图像计算的梯度幅度；

步骤1.4：通过变分法，梯度矢量图GVF外力场通过求解下列Euler方程得到：

其中，

是拉普拉斯算子；

步骤1.5：建立矩阵A记录边缘位置信息，根据矩阵A生成矩阵B，其矩阵B为矩阵A的梯度矢量图GVF，再根据矩阵B内实线区域创建矩阵C，根据矩阵C中的点位置进行赋值，而后根据矩阵C中点的赋值，对矩阵B中的点进行指向遍历赋值，其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值，将矩阵C填满，此时获得梯度引力图。

步骤2的计算方法如下：

步骤2.1：设直线为l，其长度为D，则两个端点分别为p₁，p₂，沿直线l的端点p₁缩短d₁和d₂，缩短d₁获得新端点p₁₁，缩短d₂获得新端点p₁₂，而后沿直线l的端点p₂缩短d₃和d₄，缩短d₃获得新端点p₂₃，缩短d₄后获得p₂₄，通过梯度引力图计算p₁₁、p₁₂、p₂₃、p₂₄的修正位置p′₁₁、p′₁₂、p'₂₃、p'₂₄，再根据p′₁₁、p′₁₂、p'₂₃、p'₂₄确定新的直线：

步骤2.2：对新求得的端点进行延长，分别以p′₁₁、p′₁₂、p'₂₃、p'₂₄为起始节点，通过如下公式进行计算延长线矢量：

其中，Vector为计算矢量函数，分别获得

后即可求得修正后的直线段的新端点。

步骤3的计算方法如下：

步骤3.1：通过点特征匹配结果计算像对极线，并结合直线匹配结果确定最后的校验局部特征区域，通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果，从而对误匹配先特征进行剔除；

步骤3.2：采用归一化八点算法计算基本矩阵，而基础矩阵是对极几何的代数表示，可通过匹配点求出，基础矩阵满足如下等式：

(x')^TFx＝0 (6)

x^TF^Tx'＝0 (7)

对极几何是两个视图之间内在的摄影几何，x和x'分别是物方x在另个摄影平面上获得的同名像点，C和C'分别为摄影中心，他们之间的连线称为基线，基线所在平面为对极平面，e和e'是基线与像平面的交点，即对极点，像平面与对极平面的交线即为对极线，这些对极线满足一定的几何约束关系，直线l为对应于点x'的极线，直线l'为对应于点x的极线，极线约束是指点x'一定在对应于x的极线l'上，点x'一定在对应于x'的极线l'上；

步骤3.3：对于对极几何左相机图像平面，点x在极线l上，所以有x^Tl＝0，根据公式(7)可知：

相差一个常数因子时，对直线方程无影响，因此可以将极线l直接表示为：

l＝F^Tx' (8)

同理可得：

l'＝Fx (9)。

步骤4的计算方法如下：

步骤4.1：以极线与一对待匹配直线为参考，获取匹配直线周边小邻域，其具体方法为：将其一待匹配直线进行等分，而后获得等分点，同时获得过等分点对应极线，根据极线约束原理，可以求得该直线的等分点在另一直线所在区域获得其对应极线，再根据另一直线区域中的极线与另一直线的交点求得对应的点，通过求取两组对应的点的小邻域特征计算线条局部区域的相似性；

步骤4.2：通过确定领域大小，设半径阈值为R，保存小于半径的像素点(R<＝Radius)，并将所有的邻域重新保存在一个新的图像I_m中，而后由梯度方向判断I_m中的像素点所属邻域是左邻域还是右邻域，为保持方向的一致性，由直线梯度指向的区域表示右邻域，则另一侧即为左邻域；

步骤4.3：通过计算区域内像素颜色的相似性来确定线邻域的相似性，令对应的匹配区域分别为R与R'，区域R内像素的数量为m，区域R'内像素的数量为n，采用如下公式计算邻域相似性：

通过公式(10)进行计算，若随机抽取对应区域都具有较高相似性，则判定改端匹配直线是正确的，继而提纯直线匹配结果。

与现有技术相比，本发明的有益效果是：

(1)结合边缘图的梯度图和梯度矢量图构造梯度引力图，并以此为基础对直线位置进行矫正；

(2)利用点特征匹配结果，从整体角度计算摄影极线，利用极线约束与直线匹配结果共同确定直线邻域内的校验区域，通过计算区域相似性剔除误匹配结果，提高了匹配的准确率。

附图说明

图1为本发明梯度引力图构建过程中边缘图；

图2为本发明梯度引力图构建过程中梯度矢量图GVF；

图3为本发明梯度引力图构建过程中GVF矩阵；

图4为本发明梯度引力图构建过程中梯度引力图；

图5为本发明中边沿梯度与梯度矢量图：

左一为测试图像，左二为边缘图，右二为边缘图梯度，右一为梯度矢量图；

图6为本发明中直线矫正示意图；

图7为本发明中对极几何示意图；

图8为本发明结合极线确定小邻域示意图；

图9为本发明中宽基像对直线LSD直线检测结果示意图；

图10为本发明中宽基像对直线对比图9的矫正结果示意图；

图11为本发明中的宽基像对直线的匹配与提纯效果对比LSD检测直线效果示意图：

a：斜向视角LSD检测直线的匹配效果图；b：斜向视角直线矫正后的匹配效果图；c：斜向视角对矫正后的直线提纯匹配效果图；d：正向视角LSD检测直线的匹配效果图；e：正向视角直线矫正后的匹配效果图；f：正向视角对矫正后的直线提纯匹配效果图；

图12为本发明中视角变化像对直线LSD直线检测结果示意图；

图13为本发明中视角变化像对直线对比图12的矫正结果示意图；

图14为本发明的视角变化像对直线的匹配与提纯图效果对比LSD检测直线效果示意图：

a：正向视角LSD检测直线的匹配效果图；b：正向视角直线矫正后的匹配效果图；c：正向视角对矫正后的直线提纯匹配效果图；d：斜向视角LSD检测直线的匹配效果图；e：斜向视角直线矫正后的匹配效果图；f：斜向视角对矫正后的直线提纯匹配效果图；

图15为本发明中尺度变化像对直线LSD直线检测结果示意图；

图16为本发明中尺度变化像对直线对比图15的矫正结果示意图；

图17为本发明中尺度变化像对直线的匹配与提纯图效果对比LSD检测直线效果示意图：

a：参考尺寸LSD检测直线的匹配效果图；b：参考尺寸直线矫正后的匹配效果图；c：参考尺寸对矫正后的直线提纯匹配效果图；d：缩小尺寸LSD检测直线的匹配效果图；e：缩小尺寸直线矫正后的匹配效果图；f：缩小尺寸对矫正后的直线提纯匹配效果图。

具体实施方式

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

实施例1：

如图1、图2、图3，图4，图5，图6，图7，图8，与9、图10和图11示，一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤：

步骤1：获得梯度引力图及图像边缘直线位置；

步骤2：对通过引力梯度图获得的直线进行矫正；

步骤3：提纯直线匹配结果；

步骤4：通过SIFT算法匹配局部不变点特征，计算极线，通过LSD算法匹配直线获得一组线对，采用随机抽样算法确定线对的邻域相似性，以此提纯直线匹配结果。

对宽基像对直线进行矫正匹配和提纯匹配的效果对比，将原图通过LSD直线检测方法，获得图9中的两幅图片，而后将原图通过本发明方法如下步骤进行处理，获得图10与图11中图片。

步骤1的计算方法如下：

步骤1.1：通过Canny算子对输入的图像进行边缘检测，得到边缘图E；

步骤1.2：采用一阶差分的形式，通过边缘图E求解梯度图G，其计算形式如下：

其中，(i,j)为像素的坐标，d_x(i,j)为x方向的一阶偏导数，d_y(i,j)为y方向的一阶偏导数，通过公式(1)计算获得梯度矢量图GVF；

步骤1.3：将梯度矢量图GVF定义为最小化能量函数的矢量场：V(x,y)＝(u(x,y),y(x,y))

其中，下标分别代表沿x轴和y轴部分的导数，μ是正则化参数，μ的值取决于图像中存在的噪声水平，

是根据输入图像计算的梯度幅度；

步骤1.4：通过变分法，梯度矢量图GVF外力场可以通过求解下列Euler方程得到：

其中，

是拉普拉斯算子；

步骤1.5：建立矩阵A记录边缘位置信息，根据矩阵A生成矩阵B，其矩阵B为矩阵A的梯度矢量图GVF，再根据矩阵B内实线区域创建矩阵C，根据矩阵C中的点位置进行赋值，而后根据矩阵C中点的赋值，对矩阵B中的点进行指向遍历赋值，其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值，将矩阵C填满，此时获得梯度引力图。

步骤2的计算方法如下：

步骤2.1：设直线为l，其长度为D，则两个端点分别为p₁，p₂，沿直线l的端点p₁缩短d₁和d₂，缩短d₁获得新端点p₁₁，缩短d₂获得新端点p₁₂，而后沿直线l的端点p₂缩短d₃和d₄，缩短d₃获得新端点p₂₃，缩短d₄后获得p₂₄，通过梯度引力图计算p₁₁、p₁₂、p₂₃、p₂₄的修正位置p′₁₁、p′₁₂、p'₂₃、p'₂₄，再根据p′₁₁、p′₁₂、p'₂₃、p'₂₄确定新的直线：

步骤2.2：对新求得的端点进行延长，分别以p′₁₁、p′₁₂、p'₂₃、p'₂₄为起始节点，通过如下公式进行计算延长线矢量：

其中，Vector为计算矢量函数，分别获得

后即可求得修正后的直线段的新端点。

步骤3的计算方法如下：

步骤3.1：通过点特征匹配结果计算像对极线，并结合直线匹配结果确定最后的校验局部特征区域，通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果，从而对误匹配先特征进行剔除；

步骤3.2：采用归一化八点算法计算基本矩阵，而基础矩阵是对极几何的代数表示，可通过匹配点求出，基础矩阵满足如下等式：

(x')^TFx＝0 (6)

x^TF^Tx'＝0 (7)

对极几何是两个视图之间内在的摄影几何，x和x'分别是物方x在另个摄影平面上获得的同名像点，C和C'分别为摄影中心，他们之间的连线称为基线，基线所在平面为对极平面，e和e'是基线与像平面的交点，即对极点，像平面与对极平面的交线即为对极线，这些对极线满足一定的几何约束关系，直线l为对应于点x'的极线，直线l'为对应于点x的极线，极线约束是指点x'一定在对应于x的极线l'上，点x'一定在对应于x'的极线l'上；

步骤3.3：对于对极几何左相机图像平面，点x在极线l上，所以有x^Tl＝0，根据公式(7)可知：

相差一个常数因子时，对直线方程无影响，因此可以将极线l直接表示为：

l＝F^Tx' (8)

同理可得：

l'＝Fx (9)。

步骤4的计算方法如下：

步骤4.1：以极线与一对待匹配直线为参考，获取匹配直线周边小邻域，其具体方法为：将其一待匹配直线进行等分，而后获得等分点，同时获得过等分点对应极线，根据极线约束原理，可以求得该直线的等分点在另一直线所在区域获得其对应极线，再根据另一直线区域中的极线与另一直线的交点求得对应的点，通过求取两组对应的点的小邻域特征计算线条局部区域的相似性；

步骤4.2：通过确定领域大小，设半径阈值为R，保存小于半径的像素点(R<＝Radius)，并将所有的邻域重新保存在一个新的图像I_m中，而后由梯度方向判断I_m中的像素点所属邻域是左邻域还是右邻域，为保持方向的一致性，由直线梯度指向的区域表示右邻域，则另一侧即为左邻域；

步骤4.3：通过计算区域内像素颜色的相似性来确定线邻域的相似性，令对应的匹配区域分别为R与R'，区域R内像素的数量为m，区域R'内像素的数量为n，采用如下公式计算邻域相似性：

通过公式(10)进行计算，若随机抽取对应区域都具有较高相似性，则判定改端匹配直线是正确的，继而提纯直线匹配结果。

实施例2：

如图1、图2、图3，图4，图5，图6，图7，图8，图12、图13和图14示，一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤：

步骤1：获得梯度引力图及图像边缘直线位置；

步骤2：对通过引力梯度图获得的直线进行矫正；

步骤3：提纯直线匹配结果；

步骤4：通过SIFT算法匹配局部不变点特征，计算极线，通过LSD算法匹配直线获得一组线对，采用随机抽样算法确定线对的邻域相似性，以此提纯直线匹配结果。

对视角变化像对直线进行矫正匹配和提纯匹配的效果对比，将原图通过LSD直线检测方法，获得图12中的两幅图片，而后将原图通过本发明方法如下步骤进行处理，获得图13与图14中图片。

步骤1的计算方法如下：

步骤1.1：通过Canny算子对输入的图像进行边缘检测，得到边缘图E；

步骤1.2：采用一阶差分的形式，通过边缘图E求解梯度图G，其计算形式如下：

其中，(i,j)为像素的坐标，d_x(i,j)为x方向的一阶偏导数，d_y(i,j)为y方向的一阶偏导数，通过公式(1)计算获得梯度矢量图GVF；

步骤1.3：将梯度矢量图GVF定义为最小化能量函数的矢量场：V(x,y)＝(u(x,y),y(x,y))

其中，下标分别代表沿x轴和y轴部分的导数，μ是正则化参数，μ的值取决于图像中存在的噪声水平，

是根据输入图像计算的梯度幅度；

步骤1.4：通过变分法，梯度矢量图GVF外力场可以通过求解下列Euler方程得到：

其中，

是拉普拉斯算子；

步骤1.5：建立矩阵A记录边缘位置信息，根据矩阵A生成矩阵B，其矩阵B为矩阵A的梯度矢量图GVF，再根据矩阵B内实线区域创建矩阵C，根据矩阵C中的点位置进行赋值，而后根据矩阵C中点的赋值，对矩阵B中的点进行指向遍历赋值，其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值，将矩阵C填满，此时获得梯度引力图。

步骤2的计算方法如下：

步骤2.1：设直线为l，其长度为D，则两个端点分别为p₁，p₂，沿直线l的端点p₁缩短d₁和d₂，缩短d₁获得新端点p₁₁，缩短d₂获得新端点p₁₂，而后沿直线l的端点p₂缩短d₃和d₄，缩短d₃获得新端点p₂₃，缩短d₄后获得p₂₄，通过梯度引力图计算p₁₁、p₁₂、p₂₃、p₂₄的修正位置p′₁₁、p′₁₂、p'₂₃、p'₂₄，再根据p′₁₁、p′₁₂、p'₂₃、p'₂₄确定新的直线：

步骤2.2：对新求得的端点进行延长，分别以p′₁₁、p′₁₂、p'₂₃、p'₂₄为起始节点，通过如下公式进行计算延长线矢量：

其中，Vector为计算矢量函数，分别获得

后即可求得修正后的直线段的新端点。

步骤3的计算方法如下：

步骤3.1：通过点特征匹配结果计算像对极线，并结合直线匹配结果确定最后的校验局部特征区域，通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果，从而对误匹配先特征进行剔除；

步骤3.2：采用归一化八点算法计算基本矩阵，而基础矩阵是对极几何的代数表示，可通过匹配点求出，基础矩阵满足如下等式：

(x')^TFx＝0 (6)

x^TF^Tx'＝0 (7)

对极几何是两个视图之间内在的摄影几何，x和x'分别是物方x在另个摄影平面上获得的同名像点，C和C'分别为摄影中心，他们之间的连线称为基线，基线所在平面为对极平面，e和e'是基线与像平面的交点，即对极点，像平面与对极平面的交线即为对极线，这些对极线满足一定的几何约束关系，直线l为对应于点x'的极线，直线l'为对应于点x的极线，极线约束是指点x'一定在对应于x的极线l'上，点x'一定在对应于x'的极线l'上；

步骤3.3：对于对极几何左相机图像平面，点x在极线l上，所以有x^Tl＝0，根据公式(7)可知：

相差一个常数因子时，对直线方程无影响，因此可以将极线l直接表示为：

l＝F^Tx' (8)

同理可得：

l'＝Fx (9)。

步骤4的计算方法如下：

步骤4.1：以极线与一对待匹配直线为参考，获取匹配直线周边小邻域，其具体方法为：将其一待匹配直线进行等分，而后获得等分点，同时获得过等分点对应极线，根据极线约束原理，可以求得该直线的等分点在另一直线所在区域获得其对应极线，再根据另一直线区域中的极线与另一直线的交点求得对应的点，通过求取两组对应的点的小邻域特征计算线条局部区域的相似性；

步骤4.2：通过确定领域大小，设半径阈值为R，保存小于半径的像素点(R<＝Radius)，并将所有的邻域重新保存在一个新的图像I_m中，而后由梯度方向判断I_m中的像素点所属邻域是左邻域还是右邻域，为保持方向的一致性，由直线梯度指向的区域表示右邻域，则另一侧即为左邻域；

步骤4.3：通过计算区域内像素颜色的相似性来确定线邻域的相似性，令对应的匹配区域分别为R与R'，区域R内像素的数量为m，区域R'内像素的数量为n，采用如下公式计算邻域相似性：

通过公式(10)进行计算，若随机抽取对应区域都具有较高相似性，则判定改端匹配直线是正确的，继而提纯直线匹配结果。

实施例3：

如图1、图2、图3，图4，图5，图6，图7，图8，图15、图16和图17示，一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤：

步骤1：获得梯度引力图及图像边缘直线位置；

步骤2：对通过引力梯度图获得的直线进行矫正；

步骤3：提纯直线匹配结果；

步骤4：通过SIFT算法匹配局部不变点特征，计算极线，通过LSD算法匹配直线获得一组线对，采用随机抽样算法确定线对的邻域相似性，以此提纯直线匹配结果。

对尺度变化像对直线进行矫正匹配和提纯匹配的效果对比，将原图通过LSD直线检测方法，获得图15中的两幅图片，而后将原图通过本发明方法如下步骤进行处理，获得图16与图17中图片。

步骤1的计算方法如下：

步骤1.1：通过Canny算子对输入的图像进行边缘检测，得到边缘图E；

步骤1.2：采用一阶差分的形式，通过边缘图E求解梯度图G，其计算形式如下：

其中，(i,j)为像素的坐标，d_x(i,j)为x方向的一阶偏导数，d_y(i,j)为y方向的一阶偏导数，通过公式(1)计算获得梯度矢量图GVF；

步骤1.3：将梯度矢量图GVF定义为最小化能量函数的矢量场：V(x,y)＝(u(x,y),y(x,y))

其中，下标分别代表沿x轴和y轴部分的导数，μ是正则化参数，μ的值取决于图像中存在的噪声水平，

是根据输入图像计算的梯度幅度；

步骤1.4：通过变分法，梯度矢量图GVF外力场可以通过求解下列Euler方程得到：

其中，

是拉普拉斯算子；

步骤1.5：建立矩阵A记录边缘位置信息，根据矩阵A生成矩阵B，其矩阵B为矩阵A的梯度矢量图GVF，再根据矩阵B内实线区域创建矩阵C，根据矩阵C中的点位置进行赋值，而后根据矩阵C中点的赋值，对矩阵B中的点进行指向遍历赋值，其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值，将矩阵C填满，此时获得梯度引力图。

步骤2的计算方法如下：

步骤2.1：设直线为l，其长度为D，则两个端点分别为p₁，p₂，沿直线l的端点p₁缩短d₁和d₂，缩短d₁获得新端点p₁₁，缩短d₂获得新端点p₁₂，而后沿直线l的端点p₂缩短d₃和d₄，缩短d₃获得新端点p₂₃，缩短d₄后获得p₂₄，通过梯度引力图计算p₁₁、p₁₂、p₂₃、p₂₄的修正位置p′₁₁、p′₁₂、p'₂₃、p'₂₄，再根据p′₁₁、p′₁₂、p'₂₃、p'₂₄确定新的直线：

步骤2.2：对新求得的端点进行延长，分别以p′₁₁、p′₁₂、p'₂₃、p'₂₄为起始节点，通过如下公式进行计算延长线矢量：

其中，Vector为计算矢量函数，分别获得

后即可求得修正后的直线段的新端点。

步骤3的计算方法如下：

步骤3.1：通过点特征匹配结果计算像对极线，并结合直线匹配结果确定最后的校验局部特征区域，通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果，从而对误匹配先特征进行剔除；

步骤3.2：采用归一化八点算法计算基本矩阵，而基础矩阵是对极几何的代数表示，可通过匹配点求出，基础矩阵满足如下等式：

(x')^TFx＝0 (6)

x^TF^Tx'＝0 (7)

对极几何是两个视图之间内在的摄影几何，x和x'分别是物方x在另个摄影平面上获得的同名像点，C和C'分别为摄影中心，他们之间的连线称为基线，基线所在平面为对极平面，e和e'是基线与像平面的交点，即对极点，像平面与对极平面的交线即为对极线，这些对极线满足一定的几何约束关系，直线l为对应于点x'的极线，直线l'为对应于点x的极线，极线约束是指点x'一定在对应于x的极线l'上，点x'一定在对应于x'的极线l'上；

步骤3.3：对于对极几何左相机图像平面，点x在极线l上，所以有x^Tl＝0，根据公式(7)可知：

相差一个常数因子时，对直线方程无影响，因此可以将极线l直接表示为：

l＝F^Tx' (8)

同理可得：

l'＝Fx (9)。

步骤4的计算方法如下：

步骤4.1：以极线与一对待匹配直线为参考，获取匹配直线周边小邻域，其具体方法为：将其一待匹配直线进行等分，而后获得等分点，同时获得过等分点对应极线，根据极线约束原理，可以求得该直线的等分点在另一直线所在区域获得其对应极线，再根据另一直线区域中的极线与另一直线的交点求得对应的点，通过求取两组对应的点的小邻域特征计算线条局部区域的相似性；

步骤4.2：通过确定领域大小，设半径阈值为R，保存小于半径的像素点(R<＝Radius)，并将所有的邻域重新保存在一个新的图像I_m中，而后由梯度方向判断I_m中的像素点所属邻域是左邻域还是右邻域，为保持方向的一致性，由直线梯度指向的区域表示右邻域，则另一侧即为左邻域；

步骤4.3：通过计算区域内像素颜色的相似性来确定线邻域的相似性，令对应的匹配区域分别为R与R'，区域R内像素的数量为m，区域R'内像素的数量为n，采用如下公式计算邻域相似性：

通过公式(10)进行计算，若随机抽取对应区域都具有较高相似性，则判定改端匹配直线是正确的，继而提纯直线匹配结果。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细说明，领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本权利要求范围当中。

Claims (3)

1.一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤：

步骤1：获得梯度引力图及图像边缘直线位置；

步骤1.1：通过Canny算子对输入的图像进行边缘检测，得到边缘图E；

步骤1.2：采用一阶差分的形式，通过边缘图E求解梯度图G，其计算形式如下：

其中，(i,j)为像素的坐标，d_x(i,j)为x方向的一阶偏导数，d_y(i,j)为y方向的一阶偏导数，通过公式(1)计算获得梯度矢量图GVF；

步骤1.3：将梯度矢量图GVF定义为最小化能量函数的矢量场：V(x,y)＝(u(x,y),v(x,y))

其中，下标分别代表沿x轴和y轴部分的导数，μ是正则化参数，μ的值取决于图像中存在的噪声水平，

是根据输入图像计算的梯度幅度；

步骤1.4：通过变分法，梯度矢量图GVF外力场可以通过求解下列Euler方程得到：

其中，

是拉普拉斯算子；

步骤1.5：建立矩阵A记录边缘位置信息，根据矩阵A生成矩阵B，其矩阵B为矩阵A的梯度矢量图GVF，再根据矩阵B内实线区域创建矩阵C，根据矩阵C中的点位置进行赋值，而后根据矩阵C中点的赋值，对矩阵B中的点进行指向遍历赋值，其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值，将矩阵C填满，此时获得梯度引力图；

步骤2：对通过引力梯度图获得的直线进行矫正；

步骤3：提纯直线匹配结果；

步骤4：通过SIFT算法匹配局部不变点特征，计算极线，通过LSD算法匹配直线获得一组线对，采用随机抽样算法确定线对的邻域相似性，以此提纯直线匹配结果。

2.根据权利要求1所述的一种面向像对直线特征匹配的线特征矫正与提纯方法，其特征在于，步骤2的计算方法如下：

步骤2.1：设直线为l，其长度为D，则两个端点分别为p₁，p₂，沿直线l的端点p₁缩短d₁和d₂，缩短d₁获得新端点p₁₁，缩短d₂获得新端点p₁₂，而后沿直线l的端点p₂缩短d₃和d₄，缩短d₃获得新端点p₂₃，缩短d₄后获得p₂₄，通过梯度引力图计算p₁₁、p₁₂、p₂₃、p₂₄的修正位置p'₁'₁、p'₁₂、p'₂₃、p'₂₄，再根据p'₁₁、p'₁₂、p'₂₃、p'₂₄确定新的直线：

步骤2.2：对新求得的端点进行延长，分别以p'₁₁、p'₁₂、p'₂₃、p'₂₄为起始节点，通过如下公式进行计算延长线矢量：

其中，Vector为计算矢量函数，分别获得

后即可求得修正后的直线段的新端点。

3.根据权利要求1所述的一种面向像对直线特征匹配的线特征矫正与提纯方法，其特征在于，步骤3的计算方法如下：

步骤3.1：通过点特征匹配结果计算像对极线，

1)采用归一化八点算法计算基本矩阵，而基础矩阵是对极几何的代数表示，可通过匹配点求出，基础矩阵满足如下等式：

(x')^TFx＝0 (6)

x^TF^Tx'＝0 (7)

对极几何是两个视图之间内在的摄影几何，x和x'分别是物方x在另个摄影平面上获得的同名像点，C和C'分别为摄影中心，他们之间的连线称为基线，基线所在平面为对极平面，e和e'是基线与像平面的交点，即对极点，像平面与对极平面的交线即为对极线，这些对极线满足一定的几何约束关系，直线l为对应于点x'的极线，直线l'为对应于点x的极线，极线约束是指点x'一定在对应于x的极线l'上，点x'一定在对应于x'的极线l'上；

2)对于对极几何左相机图像平面，点x在极线l上，所以有x^Tl＝0，根据公式(7)可知：

相差一个常数因子时，对直线方程无影响，因此可以将极线l直接表示为：

l＝F^Tx' (8)

同理可得：

l'＝Fx (9)

步骤3.2：以极线与一对待匹配直线为参考，获取匹配直线周边小邻域，其具体方法为：将其一待匹配直线进行等分，而后获得等分点，同时获得过等分点对应极线，根据极线约束原理，可以求得该直线的等分点在另一直线所在区域获得其对应极线，再根据另一直线区域中的极线与另一直线的交点求得对应的点，通过求取两组对应的点的小邻域特征计算线条局部区域的相似性；

步骤3.3：通过确定领域大小，设半径阈值为R，保存小于半径的像素点(R＜＝Radius)，并将所有的邻域重新保存在一个新的图像I_m中，而后由梯度方向判断I_m中的像素点所属邻域是左邻域还是右邻域，为保持方向的一致性，由直线梯度指向的区域表示右邻域，则另一侧即为左邻域；

步骤3.4：通过计算区域内像素颜色的相似性来确定线邻域的相似性，令对应的匹配区域分别为R与R'，区域R内像素的数量为m，区域R'内像素的数量为n，采用如下公式计算邻域相似性：

通过公式(10)进行计算，若随机抽取对应区域都具有较高相似性，则判定改端匹配直线是正确的，继而提纯直线匹配结果。

Images