CN105719309A - 一种基于射影不变量的直线匹配方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，提供一种基于射影不变量的直线匹配方法，包括：步骤1、采集两幅图像；步骤2、对参考图像和待匹配图像进行直线检测，得到参考图像的直线集和待匹配图像的直线集；并进行特征点匹配，得到特征点匹配点集；步骤3、分别获得参考图像和待匹配图像中每条直线的梯度方向；步骤4、使用直线交点和梯度重新定位参考图像和待匹配图像中直线的端点；步骤5、进行参考图像和待匹配图像中的特征点分簇；步骤6、利用直线上两点和直线附近三点构成的五点射影不变量，确定参考图像和待匹配图像中对应局部点集的相似度，并确定参考点集对；步骤7、根据参考点集对及其相似度，进行直线匹配。本发明能提高直线匹配精确性和可靠性。

Description

一种基于射影不变量的直线匹配方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于射影不变量的直线匹配方法。

背景技术

图像特征匹配是计算机视觉里中的一个重要研究方向，直线特征是一类重要的图像特征，在常见的生活场景中十分丰富，如建筑图像等。因此在目标定位、导航、三维重建等诸多领域中都有着广泛应用。

目前的直线匹配方法主要有基于几何交点信息等方式，共面直线交点在视角变化前后可以保持与物体的相对位置关系稳定，可以通过一定方法进行匹配。而非共面直线交点在视角变化前后位置难以确定，因此如何处理非共面直线的匹配问题一直是直线匹配技术的一个难点。

清华学的中国发明专利，申请号201110169453.3，“基于几何关系的直线匹配方法及系统”,该直线匹配方将从两幅图像检测到的直线分别求取交点，然后进行投影变换并利用交点信息生成直线的匹配特征进行直线匹配。此法依赖直线交点，对非共面直线处理效果欠佳。

发明内容

本发明主要解决现有直线匹配方法中对实际场景中存在的大量非共面直线匹配效果不理想的问题，提出一种基于射影不变量的直线匹配方法，以精确地匹配位于不同平面上直线。

本发明提供了一种基于射影不变量的直线匹配方法，包括以下步骤：

步骤1、采集两幅图像，分别标记为参考图像和待匹配图像；

步骤2、对参考图像和待匹配图像进行直线检测，得到参考图像的直线集L＝{a₁,a₂,…,a_n}和待匹配图像的直线集L′＝{b₁,b₂,…,b_m}；并进行特征点匹配，得到特征点匹配点集C＝{(p_i,q_i),i＝1,2,…,k}，其中，(p_i,q_i)表示参考图像和待匹配图像中一一对应的匹配点；

步骤3、分别获得参考图像和待匹配图像中每条直线的梯度方向，并将梯度方向所指向的一侧标记为直线右侧，另一侧标记为直线左侧；

步骤4、使用直线交点和梯度重新定位参考图像和待匹配图像中直线的端点；

步骤5、进行参考图像和待匹配图像中的特征点分簇，对每条直线得到位于其两侧的局部点集，所述局部点集包括：参考图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集，待匹配图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集；

步骤6、利用直线上两点和直线附近三点构成的五点射影不变量，确定参考图像和待匹配图像中对应局部点集的相似度；并根据局部点集的相似度确定参考图像和待匹配图像的参考点集对；

步骤7、根据参考点集对及其相似度，进行直线匹配。

进一步的，步骤3中分别获得参考图像和待匹配图像中每条直线的梯度方向，包括以下过程：

获得直线上每个点的梯度方向和大小并取其矢量和的方向作为直线梯度方向。

进一步的，步骤5中，进行参考图像和待匹配图像中的特征点分簇，包括以下过程：

如果特征点与直线的距离小于α倍直线长度并且与该直线的垂直平分线的距离小于β倍直线长度，则该特征点位于该直线附近；

在参考图像中，对于任意直线a，确定位于直线附近且位于直线右侧的点集为和位于直线左侧的点集为在待匹配图像中，对于任意直线b，确定位于直线右侧的点集为和位于直线左侧的点集为

进一步的，步骤6中，确定参考图像和待匹配图像中对应局部点集的相似度，并根据局部点集的相似度确定参考图像和待匹配图像的参考点集对，包括以下子步骤：

步骤6-1、对于参考图像和待匹配图像中任意一对直线a和b，获得参考图像中点集和待匹配图像中点集的相似度，以及参考图像中点集和待匹配图像中点集的相似度，其中，点集相似度的计算使用直线上两点和直线附近三点构成的五点射影不变量，并根据对应点计算得到的射影不变量差别大小来描述局部点集的相似度大小；

步骤6-2、按照步骤6-1的方法，获得参考图像和待匹配图像中所有对应直线的局部点集相似度；

步骤6-3、将两幅图像中相似度互为最高的局部点集，形成参考点集对。

进一步的，步骤7中，根据参考点集对及其相似度，进行直线匹配，包括以下子步骤：

步骤7-1、建立n*m大小的全零矩阵S，其中n和m分别表示参考图像和待匹配图像中的直线数目；

步骤7-2、在步骤6中获得的所有参考点集对中，取出一组参考点集对，并利用该参考点集对中的点对，计算出单应矩阵H；

步骤7-3、利用单应矩阵H查找参考图像和待匹配图像中的所有的重叠直线；

步骤7-4、根据参考图像和待匹配图像的重叠直线，更新矩阵S对应元素；

步骤7-5、重复步骤7-2至7-4，直至所有参考点集对全部计算完毕，得到更新后的矩阵S；

步骤7-6、根据更新后的矩阵S中的值确定匹配直线。

进一步的，步骤7-3中，利用单应矩阵H查找参考图像和待匹配图像的重叠直线，包括以下过程：

将参考图像中所有直线使用H投影到带匹配图像中，并将待匹配图像中所有直线使用H^-1投影到参考图像中；

如果在参考图像中一条直线a和待匹配图像中直线b的投影直线方向和距离满足约束条件，同时待匹配图像中直线b和直线a的投影直线方向和距离满足约束条件，则直线a和b为重叠直线。

本发明提供的一种基于射影不变量的直线匹配方法，通过直线附近特征点计算射影不变量，而不是使用直线的交点进行匹配，提高对于非共面直线处理的鲁棒性，此外使用局部点集计算单应矩阵，通过单应矩阵寻找从而提高实际场景并非简单单一平面时，直线匹配的精确性和可靠性。

附图说明

图1为本发明基于射影不变量的直线匹配方法的实现流程图；

图2为射影不变量中三角形特征数构造示意图；

图3为射影不变量中五点特征数构造示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1为本发明基于射影不变量的直线匹配方法的实现流程图。如图1所示，本发明实施例提供的基于射影不变量的直线匹配方法，包括以下步骤：

步骤1、采集两幅图像，分别标记为参考图像和待匹配图像。

本发明通常通过摄像机拍摄手段来采集图像，采集的图像通常为在不同视角下针对同一目标所拍摄的图像，目标应包含有单个或多个平面，并拥有丰富的直线特征，如建筑图像等。

步骤2、对参考图像和待匹配图像进行直线检测，得到参考图像的直线集L＝{a₁,a₂,…,a_n}和待匹配图像的直线集L′＝{b₁,b₂,…,b_m}；并进行特征点匹配，得到特征点匹配点集C＝{(p_i,q_i),i＝1,2,…,k}。

其中，(p_i,q_i)表示参考图像和待匹配图像中一一对应的匹配点。本实施例中，特征点匹配采用一一对应的结果，没有匹配的特征点会被删除。例如，可以利用LSD(LineSegmentDetector,直线段检测器)等方法对参考图像和待匹配图像进行直线检测，利用SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)等方法进行特征提取和特征点匹配。

步骤3、分别获得参考图像和待匹配图像中每条直线的梯度方向。

本步骤中，获得梯度方向的方法为：计算直线上每个点的梯度方向和大小并取其矢量和的方向作为直线梯度方向，同时将梯度方向所指向的一侧标记为直线右侧，另一侧标记为直线左侧。

步骤4、使用直线交点和梯度重新定位参考图像和待匹配图像中直线的端点。

在同一图像中，如果任意两直线夹角大于θ，则计算交点与直线端点的距离。对于某一直线的所有交点，如果存在某些交点距离其中一条直线的某端点的距离小于距离阈值，即该交点与该直线的某端点距离较近，则用最近的交点替代该原始端点作为新端点。如果某端点附近不存在距离较近的交点(不满足距离阈值)，则保留直线的该端点。此步骤后得到两个新端点。规定将一从直线中点出发指向直线左侧的射线，以射线端点为轴沿顺时针方向旋转，途中先后扫过的端点依次为KP¹、KP²。

步骤5、进行参考图像和待匹配图像中的特征点分簇，对每条直线得到位于其两侧的局部点集。

其中，所述局部点集包括：参考图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集，待匹配图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集。

对于每条直线l，寻找位于其附近的特征点。规定如果特征点与直线的距离小于α倍直线长度并且与该直线的垂直平分线的距离小于β倍直线长度，则该特征点位于该直线附近。此时位于该直线l附近且位于直线右侧的点集记为位于直线附近且位于直线左侧的点集记为例如，在参考图像中，对于任意直线a，确定位于直线附近且位于直线右侧的点集为和位于直线左侧的点集为在待匹配图像中，对于任意直线b，确定位于直线右侧的点集为和位于直线左侧的点集为

步骤6、利用直线上两点和直线附近三点构成的五点射影不变量，确定参考图像和待匹配图像中对应局部点集的相似度度量；并根据局部点集的相似度确定参考图像和待匹配图像的参考点集对。

步骤6-1、对于参考图像和待匹配图像中任意一对直线a和b，获得参考图像中点集和待匹配图像中点集的相似度，以及参考图像中点集和待匹配图像中点集所有的局部点集的相似度。

其中，点集相似度的计算使用直线上两点和直线附近三点构成的五点射影不变量，并根据对应点计算得到的射影不变量差别大小来描述局部点集的相似度大小，对应不变量差别越小，相似度越高。

具体过程为：在参考图像中取一条直线a，a∈L，待匹配图像中任意直线b，b∈L′。假设点集和中的对应特征点构成点对集 $PS=\left\{(x_i,y_i)\right|x_i\∈{\mathrm{LPS}}_a^R,y_i\∈{\mathrm{LPS}}_b^{\′R},(x_i,y_i)\∈C,i=1,2,...,N\},$ 如果点对集中点对数量小于5，则认为两局部点集相似度为0；如果集合中点对数量大于等于5，则按照下列步骤计算点集和的相似度：

每次从点对集PS中取一对点(x_i,y_i)作为基准点，共有N组基准点。然后对于每对基准点，每次在其余点对中取两对点{(x_j,y_j),(x_k,y_k)}，共种选择方法，进而利用点x_i、两点{x_j,x_k}以及直线a的两端点(共5点)，计算直线a的一个不变量同理，利用点y_i、两点{y_j,y_k}以及直线b的两端点，计算直线b的一个不变量进一步的，根据下式为第i个基准点计算个相似度：

${\mathrm{sim}}_i\left(r\right)=e^{-\left|\right|{\mathrm{FCN}}_i^a\left(r\right)-{\mathrm{FCN}}_i^b\left(r\right)\left|\right|},r=1,2,...,C_{N-1}^2.$

其中，e^-||*||表示以自然常数为底数，*的绝对值的相反数为指数的计算结果。sim_i(r)表示第i对基准点的第组不变量的相似度，表示直线a的第i对基准点的第个不变量，表示直线b的第i对基准点的第个不变量。

进一步的，每个基准点对得到的个相似度，取其中值作为该基准点对的相似度，对于所有N个基准点对的相似度，取其最大值作为点集和的相似度，记为SIM^R(a,b)。

在本步骤中，使用了基于直线上两点和直线外三点的射影不变量，此处给出不变量的计算过程及其原理说明：

假设K为一个空间，P^m为K上的m维射影空间，P₁,P₂,…,P_r为r个射影空间中的独立点，设P_r+1＝P₁，则些点可以构成一个闭合回路.在直线P_iP_i+1(P_r+1＝P₁,i＝1,2,…,r)上，有n个独立点那么每个点都可以用P_i和P_i+1进行线性表示：

$Q_i^{\left(j\right)}=a_i^{\left(j\right)}{P}_i+b_i^{\left(j\right)}{P}_{i+1}---\left(1\right)$

令则相关系数的乘积可表示为：

$CN(P,Q)=\underset{i=1}{\overset{r}{\Π}}\left(\underset{j=1}{\overset{n}{\Π}}\frac{a_i^{\left(j\right)}}{b_i^{\left(j\right)}}\right)---\left(2\right)$

这个值称为特征数，已有文献证明，特征数是射影不变量。

图2为当r＝3，闭合回路为三角形，且每边上有两个独立点的三角形特征数示意图。如图2所示，设P＝{P₁,P₂,P₃}是的三个顶点，且在三角形的每条边(所在直线)上存在另外两个点，组成点集于是可根据式(2)计算特征数。

通过将图像中5个特征点进行相互连接，可以构造具有射影不变性的五点特征数：

图3为在三角形特征数基础上构造的五点特征数示意图。如图3所示，给定共面五点P₁,P₂,P₃,P₄,P₅(图中所示黑色五点)，满足任意三点不共线，与不平行，即可按图中方式构造特征数。取 $U=l_{P_1{P}_2}\×l_{P_4{P}_5},V=l_{P_1{P}_2}\×l_{P_3{P}_4},$ $W=l_{P_2{P}_3}\×l_{P_4{P}_5},T=l_{P_2{P}_5}\×l_{P_1{P}_4},M=l_{P_1{P}_5}\×l_{UT},N=l_{P_1{P}_5}\×l_{P_{3}U},$ 这里l_AB×l_CD表示通过点A、B的直线和通过点C、D直线的交点。于是可得到点集P'＝{U,P₁,P₅}，Q'＝{V,P₂,M,N,P₄,W}。进而可以使用三角形特征数的计算方法计算出基于五点的特征数，计算时P₁和P₂使用直线上两端点，其余点使用直线外特征点即可：

FCN(P₁,P₂,P₃,P₄,P₅)＝CN(P′,Q′)。

按照上述方法，获得参考图像中点集和待匹配图像中点集所有的局部点集的相似度。

步骤6-2、按照步骤6-1的方法，获得参考图像和待匹配图像中所有对应直线的局部点集相似度。

重复步骤6-1直至参考图像中的所有直线和待匹配图像中的直线两两计算完毕，得到所有对应直线的局部点集相似度。

规定参考图像中位于直线右侧的局部点集与待匹配图像中位于直线右侧的局部点集计算相似度，参考图像中位于直线左侧的局部点集与待匹配图像中位于直线左侧的局部点集计算相似度。

步骤6-3、将两幅图像中相似度互为最高的局部点集，形成参考点集对。

以右侧为例，如果与相似度最大的是，并且与相似度最大的是且相似度都不为0，则令直线a和b的右侧点集和是一对参考点集对。参考点集对由所有对应直线的相似度最高的局部点集组成。

步骤7、根据参考点集对及其相似度，进行直线匹配。

步骤7-1、建立大小为n*m的矩阵S，初始化为0。其中n和m分别表示参考图像和待匹配图像中的直线数目。

步骤7-2、在步骤6中获得的所有参考点集对中，每次取出一组参考点集对，设该对参考点集对为和使用点集中的点对，计算出单应矩阵H。

通过集合 $P=\left\{(x,y)\right|x\∈{\mathrm{LPS}}_a^R,y\∈{\mathrm{LPS}}_b^{\′R},(x,y)\∈C\}$ 中点的对应关系，使用RANSAC(RANdomSAmpleConsensus，随机抽样一致)方法计算出单应矩阵H。

步骤7-3、利用单应矩阵H查找参考图像和待匹配图像中的所有的重叠直线。

将参考图像中所有直线使用H投影到待匹配图像中，并将待匹配图像中所有直线使用H^-1投影到参考图像中。如果在参考图像中一条直线a和待匹配图像中直线b的投影直线方向和距离满足约束条件，同时待匹配图像中直线b和直线a的投影直线方向和距离满足约束条件，则直线a和b为重叠直线。

具体的，对于任意直线c∈L和d∈L'(包括a和b)使用单应矩阵H将直线c和d相互投影至另一图像中，记投影后的直线分别为c'和d'。如果对于直线c和d'，以及c'和d，都同时满足如下两个约束条件，则认为c与d在单应矩阵H下重叠。本实施例中约束条件有两个，以c'和d为例，具体的：

约束条件1：如果c'的两个端点距离d的距离都小于γ，d'的端点距离c'也都小于γ，则满足此约束。(γ取值不能过大，一般可取3像素左右)

约束条件2：如果c'与d的中点距离小于λ则满足此约束，λ一般取值(length(c')+length(d))/2。

步骤7-4、根据参考图像和待匹配图像的重叠直线，更新矩阵S对应元素。

具体的，如果根据步骤7-3计算出直线a_i与b_j重叠，则按照S_i,j＝S_i,j+SIM^R(a,b)更新矩阵S。

步骤7-5、重复步骤7-2至7-4，直至所有参考点集全部使用完毕。通过不同的参考点集可以确定不同的单应矩阵，即可以计算不同平面间的变换关系，从而可以有效匹配存在多平面的非共面直线的匹配问题。

步骤7-6、根据更新后的矩阵S中的值确定匹配直线。

其中，更新后的矩阵S为相似度矩阵，并利用相似度矩阵S中元素的值确定匹配直线。当处理完所有的参考点集之后，如果S_i,j是第i行最大值且是第j列最大值，则a_i与b_j视为一对匹配直线。

本实施例提供的基于射影不变量的直线匹配方法，在使用已有算法提取直线以及匹配图像特征点之后，首先，使用合适的交点替代直线端点；其次，将图像特征点分为簇并根据基于五点的射影不变量计算不同簇间相似度；然后，根据相似度寻找参照簇并根据参照簇中点的对应关系寻找重叠直线。最后，通过直线重叠关系寻找最终匹配的直线。该方法的特点是利用点的关系寻找直线对应关系，不需要进行基础矩阵的估算，而且可以较好适应视角变化的情况。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于射影不变量的直线匹配方法，其特征在于，包括以下步骤：

步骤1、采集两幅图像，分别标记为参考图像和待匹配图像；

步骤2、对参考图像和待匹配图像进行直线检测，得到参考图像的直线集L＝{a₁,a₂,…,a_n}和待匹配图像的直线集L′＝{b₁,b₂,…,b_m}；并进行特征点匹配，得到特征点匹配点集C＝{(p_i,q_i),i＝1,2,…,k}，其中，(p_i,q_i)表示参考图像和待匹配图像中一一对应的匹配点；

步骤3、分别获得参考图像和待匹配图像中每条直线的梯度方向，并将梯度方向所指向的一侧标记为直线右侧，另一侧标记为直线左侧；

步骤4、使用直线交点和梯度重新定位参考图像和待匹配图像中直线的端点；

步骤5、进行参考图像和待匹配图像中的特征点分簇，对每条直线得到位于其两侧的局部点集，所述局部点集包括：参考图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集，待匹配图像中位于直线附近且位于直线右侧的点集和位于直线左侧的点集；

步骤6、利用直线上两点和直线附近三点构成的五点射影不变量，确定参考图像和待匹配图像中对应局部点集的相似度；并根据局部点集的相似度确定参考图像和待匹配图像的参考点集对；

步骤7、根据参考点集对及其相似度，进行直线匹配。

2.根据权利要求1所述的基于射影不变量的直线匹配方法，其特征在于，步骤3中分别获得参考图像和待匹配图像中每条直线的梯度方向，包括以下过程：

获得直线上每个点的梯度方向和大小并取其矢量和的方向作为直线梯度方向。

3.根据权利要求1所述的基于射影不变量的直线匹配方法，其特征在于，步骤5中，进行参考图像和待匹配图像中的特征点分簇，包括以下过程：

如果特征点与直线的距离小于α倍直线长度并且与该直线的垂直平分线的距离小于β倍直线长度，则该特征点位于该直线附近；

在参考图像中，对于任意直线a，确定位于直线附近且位于直线右侧的点集为和位于直线左侧的点集为在待匹配图像中，对于任意直线b，确定位于直线右侧的点集为和位于直线左侧的点集为

4.根据权利要求3所述的基于射影不变量的直线匹配方法，其特征在于，步骤6中，确定参考图像和待匹配图像中对应局部点集的相似度，并根据局部点集的相似度确定参考图像和待匹配图像的参考点集对，包括以下子步骤：

步骤6-1、对于参考图像和待匹配图像中任意一对直线a和b，获得参考图像中点集和待匹配图像中点集的相似度，以及参考图像中点集和待匹配图像中点集的相似度，其中，点集相似度的计算使用直线上两点和直线附近三点构成的五点射影不变量，并根据对应点计算得到的射影不变量差别大小来描述局部点集的相似度大小；

步骤6-2、按照步骤6-1的方法，获得参考图像和待匹配图像中所有对应直线的局部点集相似度；

步骤6-3、将两幅图像中相似度互为最高的局部点集，形成参考点集对。

5.根据权利要求1所述的基于射影不变量的直线匹配方法，其特征在于，步骤7中，根据参考点集对及其相似度，进行直线匹配，包括以下子步骤：

步骤7-1、建立n*m大小的全零矩阵S，其中n和m分别表示参考图像和待匹配图像中的直线数目；

步骤7-2、在步骤6中获得的所有参考点集对中，取出一组参考点集对，并利用该参考点集对中的点对，计算出单应矩阵H；

步骤7-3、利用单应矩阵H查找参考图像和待匹配图像中的所有的重叠直线；

步骤7-4、根据参考图像和待匹配图像的重叠直线，更新矩阵S对应元素；

步骤7-5、重复步骤7-2至7-4，直至所有参考点集对全部计算完毕，得到更新后的矩阵S；

步骤7-6、根据更新后的矩阵S中的值确定匹配直线。

6.根据权利要求1所述的基于射影不变量的直线匹配方法，其特征在于，步骤7-3中，利用单应矩阵H查找参考图像和待匹配图像的重叠直线，包括以下过程：

将参考图像中所有直线使用H投影到带匹配图像中，并将待匹配图像中所有直线使用H^-1投影到参考图像中；

如果在参考图像中一条直线a和待匹配图像中直线b的投影直线方向和距离满足约束条件，同时待匹配图像中直线b和直线a的投影直线方向和距离满足约束条件，则直线a和b为重叠直线。