CN103353984A - 一种非几何约束多幅图像线段匹配的方法 - Google Patents

Abstract

一种非几何约束多幅图像线段匹配的方法，包括：采集图像并输入计算机；对输入图像提取特征线段；在输入图像中均匀选取若干组基础图像对；利用非几何约束匹配每组基础图像对中两幅图像之间的线段特征；以每组基础图像对的匹配线段为基础，建立多幅图像中线段特征之间的对应关系，形成匹配线段组；对形成的匹配线段组进行筛选，剔除不相容匹配线段组，保留、合并相容匹配线段组。本发明避免了利用几何约束时，需要预先知道对极几何关系等不足，并且本发明中采用的双视图匹配算法具有旋转、光照、缩放等不变性，对匹配线段组的准确性也提供了保障。

Description

一种非几何约束多幅图像线段匹配的方法

技术领域

本发明涉及三维重建的特征线段匹配技术领域，特别涉及一种非几何约束多幅图像线段匹配的方法。

背景技术

多幅图像线段匹配是在不同图像上提取到的特征线段中，寻找同一条空间线段在不同成像图像上的投影，对应于同一条空间线段的特征线段是一组匹配线段。这项技术可应用在物体识别、三维重建、机器人导航等方面。

传统的多幅图像匹配算法（如文献Baillard,C.,et al.,Automatic linematching and3D reconstruction of buildings from multiple views.ISPRSConference on Automatic Extraction of GIS Objects from Digital Imagery,Munich:Allemagne（1999））是将输入图像分成若干组三图像组，每一组中的三幅图像较为相近，在每一组中利用基础矩阵和三焦点张量匹配该组三幅图像中的特征线段，并由其估算对应的三维直线，之后将三维直线向另一组中的三幅图像进行投影，如果有至少两幅图像中的检测线段与投影线段重合，则这两组图像中的六条线段即为匹配线段；否则只有与投影线段重合的那一幅图像中的检测线段，才被认定为匹配线段。这一算法中所利用的基础矩阵与三焦点张量等都需要预先获知。

一种较新的算法（文献Tomas Werner.Matching of Line Segments AcrossMultiple View:implementation Description.http://cmp.felk.cvut.cz/cmp/software/lmatch/lmatch_memo.pdf）的匹配过程是以两幅图像间的线段匹配为基础的，所有步骤都直接在二维线段间展开，利用到的几何关系也必须提前获知。这种算法的特征如下：

a．选取基础图像对。根据图像光心之间的距离，在输入图像中均匀选取光心距离最近的若干组图像对作为基础图像对。

b．计算基础匹配线段对。在每一组基础图像对(k,l)中，利用对极几何计算所有的匹配线段对,以此作为下一步扩展匹配的基础匹配线段对。

c．扩展匹配。以上一步中产生的匹配线段为中心，利用对极几何，在未匹配图像中搜寻与已知匹配线段相对应的线段，最终得到一些匹配线段组集合。

d．筛选匹配。通过唯一性约束和顺序约束，筛选、优化这些集合得到最终的线段匹配。

以上的匹配方法都是完全利用几何知识进行线段匹配，这种做法虽然比较直观，但是需要预先获知较为准确的几何约束。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提供一种具有旋转、光照、缩放等不变性，对匹配线段组的准确性提供有利保障的非几何约束多幅图像线段匹配的方法。

为实现上述发明的目的，本发明采用的技术方案包括以下步骤：

步骤S1：采集图像并输入计算机；

步骤S2：对输入图像提取特征线段，利用已有算法，如LSD算法（von Gioi,R.G.,et al.,LSD:A Fast Line Segment Detector with a False Detection Control.Ieee Transactions on Pattern Analysis and Machine Intelligence,2010.32(4):p.722-732.）；

步骤S3：在输入图像中均匀选取若干组基础图像对，对每一组基础图像对都顺序执行步骤S4、步骤S5；；

步骤S4：两视图线段匹配：利用非几何约束的双视图匹配算法对一组基础图像对中的两幅图像进行特征线段匹配，该步骤采用已有算法，如文献Fan,B.,F.Wu,and Z.Hu.Line matching leveraged by point correspondences.Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.；

步骤S5：对于每一组基础图像对，都要在余下的、没有与之匹配过的图像中，根据光心距离搜寻与其距离较近的一幅图像，对新搜寻的图像和基础图像对中与之距离最近的图像进行两视图线段匹配，判断新得到的匹配线段与基础图像对在步骤S4中得到的匹配线段之间的关系。重复上述过程，直至每一幅图像都被搜索，最终形成匹配线段组；

步骤S6：筛选匹配线段组，剔除不相容匹配线段组，保留、合并相容匹配线段组。

所述步骤S4包括：两幅图像间的特征线段匹配采用的是，不利用对极几何约束的线段匹配算法。如此的处理可以不用提前获知对极几何约束。

所述步骤S5包括：在判断新得到的匹配线段与基础图像对在步骤S4中得到的匹配线段之间的关系时，若某一对匹配线段与已有的匹配线段相对应，则将其纳入已有的线段匹配中，形成匹配线段组；否则，其单独形成一个匹配线段组，重复上述过程，直到所有未匹配图像都经过搜寻。

所述步骤S6包括：对步骤S5得到的匹配线段组，将其关系分为相容匹配，即两组匹配包含的数据不同但互相不矛盾；完全相同匹配，即两组匹配包含的数据完全相同；不相容匹配，即两组匹配包含的数据互相矛盾。其中，相容匹配又分为无关相容匹配、交错相容匹配和包含相容匹配；

相容匹配需要合并两个匹配线段组，完全相同匹配和不相容匹配则需要删除完全相同的或不相容的匹配线段组。

与现有技术相比，本发明提出的非几何约束多幅图像线段匹配方法，避免了利用几何约束时，需要预先知道几何关系、几何约束计算不准确等不足，并且本发明中采用的双视图匹配算法具有旋转、光照、缩放等不变性，对匹配线段组的准确性也提供了保障。

附图说明

图1是本发明非几何约束多幅图像线段匹配的方法的流程图；

图2是匹配线段组关系示意图；

图3多幅图像特征线段匹配结果；

图4是另一个建筑物的多幅图像线段匹配结果。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

图1是根据本发明非几何约束多幅图像线段匹配的方法的流程图，以下对流程图中的各步骤做以描述。

步骤S1：采集图像并输入计算机。利用手持设备拍摄同一场景不同视角下的多幅图像，输入计算机。

步骤S2：提取线段。

输入为M张图像，每张图像用LSD算法提取J_m条特征线段，m=1,2,…M，则第m张图像的第j条线段记为 $l_{\mathrm{mj}}=\{\left(x_{\mathrm{mj}}^s{,y}_{\mathrm{mj}}^s\right),(x_{\mathrm{mj}}^e,y_{\mathrm{mj}}^e)\},j=\mathrm{1,2},\·\·\·J_m,(x_{\mathrm{mj}}^s,y_{\mathrm{mj}}^s)$ 和( $(x_{\mathrm{mj}}^e,y_{\mathrm{mj}}^e)$ 分别是线段l_mj的首尾坐标。

步骤S3：选取基础图像对。

在输入的M幅图像中，根据图像光心之间的距离，均匀选取光心距离最近的若干组图像对作为基础图像对。对每一组基础图像对(m_p,m_q)，p,q∈[1,M]，都重复、顺序执行步骤S4、S5。

步骤S4：两视图线段匹配。

计算(m_p,m_q)中所有的匹配线段，匹配线段集合记为S_pq，其中任一组匹配线段为s_i={l_pj,l_qb}，该组匹配的相似度为r_i=SimL(l_pj,l_qb)，i=1,2,…,I_pq，I_pq为S_pq中匹配线段组的总数。用Θ表示计算得到的所有匹配线段组的集合，Θ更新为Θ:=Θ∪S_pq。

步骤S5：匹配扩展

k(S_pq)表示基础图像对图像p,q，

表示还未与p,q进行过进一步线段匹配的图像。根据光心距离，在

中寻找与k(S_pq)中图像距离最近的图像

，记作：

$(m_p,m_{\stackrel{\‾}{p}})=\underset{({m_p}^{\′},{m_{\stackrel{\‾}{p}}}^{\′})\∈k\left(S_{\mathrm{pq}}\right)\×\stackrel{\‾}{k}\left(S_{\mathrm{pq}}\right)}{\arg \min }D({m_p}^{\′},{m_{\stackrel{\‾}{p}}}^{\′})$

计算

中所有的匹配线段，若中的一条线段

与S_pq中某一已存在的匹配线段组s_i相对应，假设与l_pj相匹配，则将纳入s_i中，s_i更新为

r_i更新为若不与S_pq中任何已存在的匹配相对应，而是与l_pc形成新的匹配线段组

则S_pq更新为S_pq:=S_pq∪s_v，该组新匹配的相似度为 $r_v=\mathrm{SimL}(l_{\stackrel{\‾}{p}a},l_{\mathrm{pc}}),$ I_pq更新为I_pq+1。同时，将

从

中剔除， $\stackrel{\‾}{k}\left(S_{\mathrm{pq}}\right):=\stackrel{\‾}{k}\left(S_{\mathrm{pq}}\right)\backslash m_{\stackrel{\‾}{p}}.$

重复该步骤中上述的各项操作，直到

中没有图像。

步骤S6：筛选匹配

步骤S3至S5完成了初始的匹配线段组的生成过程，Θ中包含了多幅图像间所有的匹配线段组，但此时Θ中各匹配线段组之间的关系还是不成熟的，两个匹配线段组之间的关系可能会有以下三种情况：相容匹配，即两组匹配包含的数据互相不矛盾；完全相同匹配；不相容匹配，即两组匹配包含的数据互相矛盾。其中，相容匹配又分为无关相容匹配、交错相容匹配和包含相容匹配。除了无关相容，其余几种情况都需要对Θ中的匹配数据进行进一步处理。以下分情况进行讨论，以六幅图像为例，图1中六幅图表示意了匹配线段组之间可能出现的六种关系，每幅图表的上下两行表示Θ中的两组匹配线段组，每一列方格表示一幅图像，方格中的内容表示对应图像中的一条线段，-1表示该幅图像在该组匹配中没有对应线段，红色、绿色和蓝色分别示意不同的线段,蓝色为可能存在项，不影响判断结果。图2中从左到右，从上到下的小图依次为(a)、(b)、(c)、(d)、(e)、(f)。

①无关相容匹配：

在两组匹配线段组共同涉及的图像中，两组匹配包含的线段是不同的，即：两组匹配线段组重叠部分对应位完全不同，如图2(a)所示。或者，两组匹配线段组包含的的线段中不涉及共同的图像，即没有重叠的匹配位，如图2(b)所示。

②交错相容匹配和包含相容匹配

两匹配线段组重叠部分对应位相同，不重叠部分，只有一个匹配线段组有匹配线段，或者两方都没有匹配线段。

交错相容是指如图2(c)所示的情况，任一个匹配线段组的匹配线段集合都不能包含另一个匹配线段组的匹配线段集合。包含匹配如图2(d)所示，其中一个匹配线段组的匹配线段集合，可以真包含另一个匹配线段组的匹配线段集合。

③完全相同匹配

完全相同匹配可以看作是包含相容匹配的一个特例，如图2(e)所示，两组匹配线段组对应位完全相同。

④不相容匹配

如图2(f)所示，两组匹配线段组重叠部分的对应位，有一部分相同，一部分不同。例如在一组匹配线段组中{l_1a,l_2b,l_3c}相互匹配，但在另一组匹配线段组中{l_1a,l_2b,l_3k}相互匹配，这样的数据显然是相互矛盾的，这两组匹配线段组即为不相容匹配。

在以上对Θ中各匹配线段组之间关系的分析基础上，需要对数据进行进一步处理，最终的数据存放在Θ^*中，步骤如下：

(1)根据各匹配线段组的相似度r_i，在Θ中选取相似度最高的匹配线段组s_i，Θ^*:=Θ^*∪s_i，Θ:=Θ\s_i。

(2)遍历Θ中的匹配线段组s_k，与s_i比较，若s_i与s_k属于无关相容匹配，则在Θ中保留s_k，继续；若s_i与s_k属于交错相容匹配或包含相容匹配，则将s_k中与s_i不同的匹配线段合并入s_i，并删除s_k，Θ:=Θ\s_k；若s_i与s_k属于完全相同匹配或不相容匹配，则直接从Θ中删除s_k，Θ:=Θ\s_k。

(3)重复上述步骤，直至Θ中没有匹配线段组。

步骤S1至S6完成后，Θ^*中为很多匹配线段组，每一个匹配线段组的内容是各幅图像中参与该组匹配的线段。将每一个匹配线段组中的线段在其对应的图像中绘制，并标注同样的序号和颜色。

图3所示为Wadham大学基准图像集中的五幅图像的特征线段匹配结果，五组图像中，上方图像为在输入原图上标注的匹配结果，图中标注有相同数字的线段为一组匹配线段组；下方中间和右侧图像为上方图像的局部放大图，以便于观察。从图中可以看到建筑物外立面中大部分的线段都能在不同的图像中找到正确的匹配，如：222、363、591、472等等。本发明还对五张西安交通大学科学馆正面图片进行实验，由于文档空间和图片清晰度的限制，图4只截取了结构相对简单的楼顶装饰部分，展示了五张图片中三张图片的效果，图4(a)为线段匹配之前的三张原始图片，图4(b)为线段匹配后，与原始图相对应的楼顶装饰部分的匹配结果。

本发明可通过多种编程语言来实现，包括但不限于C、C++等等。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (4)

1.一种非几何约束多幅图像线段匹配的方法，其特征在于包括以下步骤：

步骤S1：采集图像并输入计算机；

步骤S2：对输入图像提取特征线段；

步骤S3：在输入图像中均匀选取若干组基础图像对，对每一组基础图像对都顺序执行步骤S4、步骤S5；

步骤S4：两视图线段匹配：利用非几何约束的双视图匹配算法对一组基础图像对中的两幅图像进行特征线段匹配；

步骤S5：对于每一组基础图像对，都要在余下的、没有与之匹配过的图像中，根据光心距离搜寻与其距离较近的一幅图像，对新搜寻的图像和基础图像对中与之距离最近的图像进行两视图线段匹配，判断新得到的匹配线段与基础图像对在步骤S4中得到的匹配线段之间的关系，重复上述过程，直至每一幅图像都被搜索，最终形成匹配线段组；

步骤S6：筛选匹配线段组，剔除不相容匹配线段组，保留、合并相容匹配线段组。

2.根据权利要求1所述的非几何约束多幅图像线段匹配的方法，其特征在于：所述步骤S4包括：两幅图像间的特征线段匹配采用的是，不利用对极几何约束的线段匹配算法。

3.根据权利要求1所述的非几何约束多幅图像线段匹配的方法，其特征在于：所述步骤S5包括：在判断新得到的匹配线段与基础图像对在步骤S4中得到的匹配线段之间的关系时，若某一对匹配线段与已有的匹配线段相对应，则将其纳入已有的线段匹配中，形成匹配线段组；否则，其单独形成一个匹配线段组，重复上述过程，直到所有未匹配图像都经过搜寻。

4.根据权利要求1所述的非几何约束多幅图像线段匹配的方法，其特征在于：所述步骤S6包括：对步骤S5得到的匹配线段组，将其关系分为相容匹配，即两组匹配包含的数据不同但互相不矛盾；完全相同匹配，即两组匹配包含的数据完全相同；不相容匹配，即两组匹配包含的数据互相矛盾，其中，相容匹配又分为无关相容匹配、交错相容匹配和包含相容匹配；

相容匹配需要合并两个匹配线段组，完全相同匹配和不相容匹配则需要删除完全相同的或不相容的匹配线段组。

Images