CN112183596B

CN112183596B - 结合局部网格约束和几何约束的直线段匹配方法与系统

Info

Publication number: CN112183596B
Application number: CN202010992236.3A
Authority: CN
Inventors: 张谦; 杨洋; 郭佳金
Original assignee: Hubei University
Current assignee: Hubei University
Priority date: 2020-09-21
Filing date: 2020-09-21
Publication date: 2022-10-11
Anticipated expiration: 2040-09-21
Also published as: CN112183596A

Abstract

本发明公开了结合局部网格约束和几何约束的直线段匹配方法及系统，方法包括步骤：S100提取待匹配图像对的特征点与特征直线，对特征点进行初步匹配；S200对待匹配图像对划分网格，将特征点和特征直线归属到各网格；S300从特征点初始匹配集中筛选同名点对，同名点对分别所在的网格构成同名匹配区域，分别记为第一网格和第二网格；S400求解同名点对所在同名匹配区域的单应性矩阵；S500利用单应性矩阵将第一网格中特征直线l₁变换到第二网格，得到同名直线；S600从第二网格特征直线中筛选与同名直线满足几何约束的特征直线。经实验验证，利用本发明方法进行直线段匹配，耗时不到3秒，匹配精度高达99％。

Description

结合局部网格约束和几何约束的直线段匹配方法与系统

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及结合局部网格约束和几何约束的直线段匹配方法与系统。

背景技术

特征匹配是计算机视觉领域最基础、最活跃的研究领域之一，它已被广泛应用于许多视觉应用中，如三维重建，目标检索等。现有的匹配方法多依靠特征点和特征直线，对于影像纹理信息匮乏的情况，直线特征匹配相较于点特征匹配具有更加丰富的属性信息，如方向、位置、直线之间的距离等，因此将直线特征作为匹配基元具有更高的可靠性。许多专家学者对于匹配的研究也逐渐转入了对直线的研究，因此提出了一系列较为成熟的方法，如SIFT、SURF、ORB、GMS等其他变形方法。但研究重心主要包括以下三类。第一类是基于直线自身的几何属性(如长度、梯度、邻域信息等)，该类方法通常需依靠同名点约束，核线约束，三角网约束，单应矩阵约束等约束条件完成直线匹配；如结合区域约束以及核线、单应性矩阵等多重约束实现的特征直线匹配。第二类是构建特征直线描述子，依靠相似性度量来实现特征直线的匹配。第三类是利用几何信息对特征直线对进行整体匹配，如依靠特征直线对交点与相邻同名特征点之间的几何关系来实现的特征直线匹配。

目前已有公开方法在处理视差变化较大的影像以及存在几何变形的影像时表现略有不足，主要表现为：

1)由于弱纹理、尺度变化等多重影响，易出现直线断裂、直线变形等问题；

2)未兼顾邻域直线间的相关性和点线特征的空间相关性，使得匹配结果不够理想；

3)方法多依赖深度学习，对于数据集的要求以及硬件设备要求较高。

发明内容

为了解决上述技术问题，本发明兼顾邻域直线间的相关性和点线特征的空间相关性，提供了结合局部网格约束和几何约束的直线段匹配方法与系统，该方法不仅可以大幅提高直线特征匹配的准确率，而且还具有良好的鲁棒性和普适性。

本发明提供的结合局部网格约束和几何约束的直线段匹配方法，包括：

S100提取存在重叠区域的待匹配图像对的特征点与特征直线，对特征点进行初步匹配，获得特征点的初始匹配集；

S200对待匹配图像对分别划分网格，基于位置信息将特征点和特征直线归属到各网格；

S300从特征点初始匹配集中筛选同名点对，同名点对分别所在的网格构成同名匹配区域，分别记为第一网格和第二网格；

其中，筛选同名点对具体为：依次读取初始匹配集中各匹配点对，判断匹配点对的邻域匹配点对数是否大于预设阈值，大于预设阈值的匹配点对即同名点对；匹配点对的邻域匹配点包括：匹配点对所在网格内的其他匹配点，以及匹配点对邻域网格内的匹配点对；

S400基于同名点对求解同名点对所在同名匹配区域的单应性矩阵；

S500利用单应性矩阵将第一网格中特征直线l₁变换到第二网格，得到同名直线；

S600从第二网格特征直线中筛选与同名直线满足几何约束的特征直线，若存在满足几何约束的特征直线l₂，即l₂与l₁构成匹配直线对。

作为优选，在执行步骤S100前，先对待匹配图像对进行灰度化处理。

进一步的，步骤S200中，基于位置信息将特征点归属到各网格，具体为：

将特征点的坐标与网格的坐标范围对比，当特征点坐标位于网格坐标范围内，则将特征点归属到该网格。

进一步的，步骤S200中，基于位置信息将特征直线归属到各网格，具体为：

首先，在特征直线上预选一点，记为预选点；

接着，将预选点的坐标与网格的坐标范围对比，当预选点坐标位于网格坐标范围内，则将预选点所在的特征直线归属到该网格。

进一步的，步骤S300中，设定大小为n网格*n网格的窗口，逐窗口统计窗口内各匹配点对的邻域匹配点对数。

进一步的，步骤S600中几何约束包括直线是否存在重叠、直线间距约束、直线长度比例约束中的一种或多种。

本发明提供的结合局部网格约束和几何约束的直线段匹配系统，包括：

第一模块，用来提取存在重叠区域的待匹配图像对的特征点与特征直线，对特征点进行初步匹配，获得特征点的初始匹配集；

第二模块，用来对待匹配图像对分别划分网格，基于位置信息将特征点和特征直线归属到各网格；

第三模块，用来从特征点初始匹配集中筛选同名点对，同名点对分别所在的网格构成同名匹配区域，分别记为第一网格和第二网格；

第四模块，用来基于同名点对求解同名点对所在同名匹配区域的单应性矩阵；

第五模块，用来利用单应性矩阵将第一网格中特征直线l₁变换到第二网格，得到同名直线；

第六模块，用来从第二网格特征直线中筛选与同名直线满足几何约束的特征直线，若存在满足几何约束的特征直线l₂，即l₂与l₁构成匹配直线对。

作为优选，还包括第七模块，用来对待匹配图像对进行灰度化处理，灰度化处理后的待匹配图像输入第一模块。

和现有技术相比，本发明具有如下优点和有益效果：

本发明结合了局部网格约束以及几何约束实现了图像中直线段快速匹配，该方法兼顾了邻域直线间的相关性和点线特征的空间相关性，不仅提高了直线匹配的效率，而且获取了高精度的同名直线对，具有较强的应用价值。

经实验验证，利用本发明方法完成两幅影像的直线段匹配，耗时不到3秒，对于视角变化、光照、旋转等复杂条件的影像，也达到99％以上的匹配正确率，极大地提高了特征直线匹配的效率和精度，具有良好的鲁棒性与普适性。

附图说明

图1是本发明方法的具体流程示意图；

图2是实施例中同名匹配区域示意图，该区域中网格一一对应；

图3是同名匹配区域内特征直线的单应性矩阵变换示意图；

图4是实施例中第一组待匹配图像对，两图像分别见图(a)和图(b)，皆来自网络公开数据集；

图5是实施例中第二组待匹配图像对，两图像分别见图(a)和图(b)，皆来自网络公开数据集；

图6是图4的特征直线匹配结果，其中图(a)和(b)分别为图(4)中图(a)和(b)中图像的特征直线匹配结果；

图7是图5的特征直线匹配结果，其中图(a)和(b)分别为图(5)中图(a)和(b)中图像的特征直线匹配结果；

图8是实施例中几何约束示意图。

具体实施方式

为了更清楚地说明本发明技术方案，下面将对照附图提供本发明实施例及其所产生的技术效果。显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。

本实施例利用C++开发语言编写相应的计算机程序来自动执行本发明，即利用所编写的计算机程序自动对图像组进行直线段快速匹配。

下面将结合图1对本实施例直线段的快速匹配流程进行详细描述。

在进行匹配操作之前，须确保输入的两幅待匹配图像存在重叠区域，如无重叠区域，就无法通过匹配的特征点来获取图像的变换矩阵，也就无法实现特征直线的快速匹配。

S100提取待匹配图像对的特征点与特征直线，对特征点进行初步匹配，获得特征点的初始匹配集。

特征点的提取方法有很多，例如SIFT(尺度不变特征变换匹配法)、ORB(快速尺度不变特征变换)、SuperPoints(超点)等方法。考虑到SIFT对旋转、光照、模糊等具有较强的鲁棒性，故本实施例采用SIFT来提取特征点。具体包括：首先，通过金字塔出现的构造，进行不同尺度的特征点的提取和描述子的计算；然后，利用暴力匹配完成特征点间的匹配，获取特征点的初始匹配集。

对于特征直线的提取亦存在多种方法，例如LSD(直线段检测)、MLSD(最大似然直线段检测)、canny(边缘检测)，hough(霍夫检测)等方法。由于LSD耗时更少，且提取直线的数目相比较多，故本实施例采用LSD(Line Segment Detector)来提取特征直线。

需要说明的是，上述仅仅只是举例说明，显然本发明可采用的特征点提取方法包括但不限于SIFT、ORB、SuperPoints等；同样的，可采用的特征直线提取方法包括但不限于LSD、MLSD、canny，hough等。

作为优选，为避免图像对的色彩信息干扰最终的匹配精度，在进行本步骤前，可对待匹配图像对进行灰度化处理。

S200对待匹配图像对分别进行网格划分，基于位置信息将特征点和特征直线归属到各网格。

将每幅图像划分成为Y*Y个网格，Y为10的整数倍。本实施例中，Y取20。引入网格划分的目的是提高后续特征直线的匹配效率。

对于特征点，根据特征点坐标将特征点依次归属到各网格。具体来说，将特征点的坐标与各网格的坐标范围依次对比，当特征点坐标位于某网格的坐标范围内，则将特征点归属到该网格。统计各网格内特征点信息，所述特征点信息包括但不限于特征点ID、特征点坐标及网格内特征点数目。

对于特征直线，首先在特征直线上预选一点，以点代线，根据该预选点坐标将特征直线归属到各网格。具体来说，当该预选点坐标位于某网格的坐标范围内，则将该预选点所在特征直线归属到该网格。统计各网格内特征直线信息，所述特征直线信息包括但不限于特征直线ID及网格内特征直线数目。

关于预选点，可以选特征直线的端点、中点、1/3点、2/3点等。考虑到特征直线上位于中部的点更为稳定，所以预选点优选取位于特征直线中部1/3段上的点，即将特征直线平分为3段，中间一段即中部1/3段。

S300从特征点的初始匹配集中筛选正确的匹配点对，即同名点对，同名点对分别所在的网格构成同名匹配区域，同名点对分别所在的网格分别记为第一网格和第二网格。

正确匹配点周围一定存在若干符合匹配关系的匹配点对，而错误匹配点对周围符合匹配关系的匹配点对数量较少甚至没有(一般不大于3)。基于该特性设定筛选原则：依次判断各匹配点对的邻域匹配点对数是否大于预设阈值，大于预设阈值的匹配点对即正确的匹配点对，记为同名点对。匹配点对的邻域匹配点指：匹配点对所在网格内的其他匹配点，以及匹配点对邻域网格内的匹配点对。具体实施时，设定一大小为3网格*3网格的窗口，见图2所示。逐窗口分析每一对匹配点对的邻域匹配点对数。

S400基于各同名点对分别求解各同名点对所在同名匹配区域之间的单应性矩阵。

单应性矩阵如下：

式(6)中：

(u,v)表示同名匹配区域中第一网格内特征点Point1的坐标；

f_x、f_y、μ₀、ν₀、γ表示5个相机内参；

(x_w,y_w)表示同名匹配区域中第一网格内与Point1构成同名点的特征点Point2的坐标。

通过单应性矩阵，第一网格内任何点都能在第二网格内找到对应点。

S500利用单应性矩阵将第一网格中特征直线l₁变换到第二网格中，获得其同名直线。

利用单应性矩阵将第一网格的特征直线映射到第二网格。具体来说，利用单应性矩阵将特征直线的两端点映射到第二网格，连接所映射的两端点即第一网格特征直线的同名直线。参见图3，该图示出了特征直线的变换示意。

S600基于几何约束在第二网格中获取同名直线匹配的特征直线，将获取的该特征直线记为l₂，特征直线l₁与特征直线l₂即构成匹配直线对。

本具体实施方式中，几何约束采用两条直线是否重叠、两条直线长度比例约束、两条直线间距约束。

下面将结合图8对本具体实施方式的间距约束进行详细描述。

参见图8，所示两条直线分别记为L₁和L₂，A₁，B₁是直线L₁的首末端点，A₂，B₂是直线L₂的首末端点，点A₂，B₂到直线L₁的距离分别记为d₁,d₂，点A₁，B₁到直线L₂的距离分别为d'₁，d'₂。计算距离总和

当D小于预设的距离阈值，则表示满足间距约束。

实施例

为了验证本发明方法的匹配准确性和匹配速度，本实施例利用文献1《MSLD:Arobust descriptor for line matching》(Wang Z,Wu F,Hu Z.Pattern Recognition,2009,42(5):941-953.)、文献2《多重约束条件下的LBD描述子与直线段匹配》(王竞雪，何腕营；中国图象图形学报；2019年第2期)中的方法与本发明方法，分别对图4-5所示的2组图像对进行特征直线匹配，图6和图7分别是采用本发明方法获得的图4和图5的匹配结果，其他试验结果见表1。从表中可以看出，不管是正确率，还是处理速度，本发明方法均具有显著优势。

表1实施例试验结果

本发明中所公开的具体实施方式描述的方法步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

总而言之，上述实施例是用以具体说明本发明技术方案及技术效果，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的技术人员可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。

Claims

1.结合局部网格约束和几何约束的直线段匹配方法，其特征是，包括：

S600从第二网格特征直线中筛选与同名直线满足几何约束的特征直线，若存在满足几何约束的特征直线l₂，即l₂与l₁构成匹配直线对；

步骤S200中，基于位置信息将特征直线归属到各网格，具体为：

首先，在特征直线上预选一点，记为预选点；

接着，将预选点的坐标与网格的坐标范围对比，当预选点坐标位于网格坐标范围内，则将预选点所在的特征直线归属到该网格；

步骤S600中几何约束包括直线是否存在重叠、直线间距约束、直线长度比例约束中的一种或多种。

2.如权利要求1所述的结合局部网格约束和几何约束的直线段匹配方法，其特征是：

在执行步骤S100前，先对待匹配图像对进行灰度化处理。

3.如权利要求1所述的结合局部网格约束和几何约束的直线段匹配方法，其特征是：

步骤S200中，基于位置信息将特征点归属到各网格，具体为：

4.如权利要求1所述的结合局部网格约束和几何约束的直线段匹配方法，其特征是：

步骤S300中，设定大小为n网格*n网格的窗口，逐窗口统计窗口内各匹配点对的邻域匹配点对数。