CN106780577B - 一种基于组特征的直线匹配方法 - Google Patents

Abstract

一种基于组特征的直线匹配方法，属于图像处理技术领域；该方法包括：对目标影像和搜索影像进行直线提取；对提取的直线进行特征编组；对特征直线组进行多重约束下的特征直线组匹配，得到同名特征直线组对集合；对同名特征直线组对中对应的两对同名单直线建立一对一匹配关系，对得到初始同名直线对集合进行整合，得到直线匹配结果；本发明利用特征直线组代替传统的单一直线，能够有效解决大旋转角及视差较大情况下直线匹配的可靠性问题，同时，对存在于不同直线组合的同一直线多次匹配结果进行整合，提高匹配的可靠性；充分利用特征组内两直线交点，创造性地建立了四种约束条件，为直线匹配提供了新思路，原理简单，适用性强。

Description

一种基于组特征的直线匹配方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于组特征的直线匹配方法。

背景技术

随着全球信息化进程的加快，“智慧城市”建设成为全世界高科技发展的前沿领域，而三维数字城市建设是智慧城市信息化建设的主流。《中国中长期科学和技术发展纲要(2006-2020)》将“城市多维建模与模拟技术”列入重大专项，旨在从根本上提高我国智慧城市建设技术的自给率，建成空间信息产业链，为政府部门、企事业单位和社会公众等提供公共管理、城市规划、突发事件应急、科学决策等服务。影像匹配技术是主流的地物目标三维信息获取手段之一，是基于影像三维重建的关键核心技术。

直线特征是人类视觉信息中最显著、最直观、最具有代表性的特征。城区建筑物轮廓边缘、屋顶和立面都蕴含着大量的直线特征，包含丰富的语言信息和几何意义，能够较好地表达建筑物结构特征，因此，将直线特征作为匹配基元并实现其可靠匹配是基于影像精细三维建模的基础。目前，摄影测量和计算机视觉领域对直线匹配进行了大量的卓有成效的研究。现有的直线匹配方法可以分为单直线匹配和组直线匹配两类：

单直线匹配方法主要利用单一直线的几何信息及邻域灰度信息的特征相似性，结合强有力的几何约束对直线逐一进行匹配。该方法对倾角变化较小、视差变化较小的影像取得较好的匹配结果。但对于立体影像之间视角变化较大，不同影像之间存在几何变形、尺度不一、旋转等问题，尤其针对建筑物不同立面同时成像，该类方法难以获得可靠的匹配结果；

组直线匹配方法是对影像上提取的直线按照一定的编组原则进行编组，并将其作为匹配基元进行匹配。针对直线提取结果断裂产生的“一配多”、“多配多”问题，文贡坚在2006年提出一种基于特征编组的直线匹配全局算法，该方法依据极线几何和灰度相似约束确定目标直线与搜索直线之间所有匹配情况，并以此为依据，结合直线间的相容性对所有可能匹配的直线进行编组，最后在全局约束下挑选统一协调的匹配结果。该方法侧重对搜索影像上匹配候选直线进行编组，充分考虑直线匹配中“一配多”、“多配多”问题，但对遮挡问题较为敏感，匹配过程较为复杂。

发明内容

针对上述现有技术存在的不足，本发明提供一种基于组特征的直线匹配方法。

本发明的技术方案：

一种基于组特征的直线匹配方法，包括如下步骤：

步骤1：输入目标影像和搜索影像两张航空影像和两张航空影像的同名点坐标；

步骤2：分别对目标影像和搜索影像进行直线提取；

步骤3：分别对目标影像和搜索影像上提取的直线依次进行特征编组，分别得到目标影像和搜索影像上的特征直线组集合：

步骤3.1：在目标影像上将提取的直线l_i作为目标直线，直线l_i+1,l_i+2,…,l_I为待编组直线，其中，i＝1，2，...，I，I为目标影像上提取的直线数；

步骤3.2：以目标直线l_i为中心建立矩形窗口作为目标直线邻域窗口；

步骤3.3：依次判断待编组直线与目标直线邻域窗口关系，如果待编组直线在目标直线邻域窗口内或与邻域窗口相交，则该待编组直线为候选编组直线l_i'；

步骤3.4：依次计算候选编组直线与目标直线l_i的夹角，如果夹角在阈值范围内，则目标直线l_i与该候选编组直线l_i'组成特征直线组P^L(l_i,l_i',C^L)，其中，C^L为目标直线l_i和编组直线l_i'的交点；

步骤3.5：分别选择目标直线l_i和编组直线l_i'端点中与交点C^L距离较近的点作为l_i的起点和l_i'的起点，与交点C^L距离较远的点分别作为l_i的终点和l_i'的终点；

步骤3.6：依次将目标影像上提取的每条直线作为目标直线执行步骤3.1至步骤3.5，得到目标影像上特征直线组集合其中，为目标影像上第m个特征直线组，和为组成该特征直线组的直线，m＝1，2，…，M，M为目标影像上特征直线组数；

步骤3.7：将搜索影像上直线依次作为目标直线执行步骤3.1至步骤3.5，最终得到搜索影像上特征直线组集合其中，为搜索影像上第n个特征直线组，和为组成该特征直线组的直线，n＝1，2，...，N，N为搜索影像上特征直线组数。

步骤4：对目标影像和搜索影像上的特征直线组进行多重约束下的特征直线组匹配，得到同名特征直线组对集合：

步骤4.1：将目标影像上特征直线组作为目标特征组，对搜索影像上特征直线组进行核线约束，确定候选特征组集合：

步骤4.1.1：将目标影像上特征直线组作为目标特征组，并计算目标特征组交点在搜索影像上的核线；

步骤4.1.2：依次计算搜索影像上各特征直线组交点到核线的距离，距离小于阈值的特征直线组构成候选特征组集合；

步骤4.2：对候选特征组集合中特征直线组进行单应矩阵约束，得到单应矩阵约束后的候选特征组集合：

步骤4.2.1：以目标特征组交点为中心，以两直线和终点方向所构成扇形区域内包含的同名点计算局部单应矩阵H；

步骤4.2.2：根据局部单应矩阵H，将映射到搜索影像上，得到点

步骤4.2.3：计算搜索影像上各候选特征组交点到点的距离，如果距离大于阈值，舍弃该候选特征组，否则，保留该候选特征组。

步骤4.3：对单应矩阵约束后的候选特征组集合中特征直线组进行象限约束，得到象限约束后的候选特征组集合：

步骤4.3.1：根据局部单应矩阵H，将目标影像上目标特征组映射到搜索影像上，得到

步骤4.3.2：在搜索影像上，对建立以为原点的局部坐标系，x轴和y轴分别与像素坐标系的x轴和y轴平行，中直线和直线终点所在象限分别为Q₁和Q₂；

步骤4.3.3：对单应矩阵约束后的候选特征组集合中的候选特征组分别建立局部坐标系，判断每个候选特征组中直线r_i ^v和直线终点所在象限是否为Q₁和Q₂，是，保留该候选特征组，否则，舍弃该候选特征组。

步骤4.4：对象限约束后的候选特征组集合中特征直线组进行不规则三角形区域灰度相关约束，将满足灰度相关约束的候选特征组作为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组：

步骤4.4.1：以目标特征组交点起始边终点a和终止边终点c构成三角形所包含的区域作为灰度相关区域；并确定灰度相关区域内所包含的像素点坐标及其灰度值；

步骤4.4.2：固定目标影像上目标特征组的起始边和终止边，根据起始边和终止边所在象限Q₁和Q₂确定象限约束后的候选特征组集合中的候选特征组对应的起始边和终止边：当Q₁≠Q₂时，根据搜索影像上候选特征组两边所在象限确定起始边和为终止边；当Q₁＝Q₂时，使候选特征组起始边到终止边旋转方向与目标特征组中起始边到终止边旋转方向一致；其中，起始边到终止边旋转方向采用两直线向量叉积计算；

步骤4.4.3：分别计算目标影像上目标特征组起始边终点a、终止边终点c在搜索影像上的核线H_a、H_c，分别计算H_a、H_c与候选特征组中起始边和终止边的交点，分别记为a′和c′。搜索影像上以候选特征组交点、a′和c′构成三角形所包含的区域作为灰度相关区域；

步骤4.4.4：利用目标影像上的灰度相关区域和搜索影像上的灰度相关区域的三个顶点坐标计算两灰度相关区域间的仿射变换参数；

步骤4.4.5：根据仿射变换参数和目标影像上灰度相关区域内包含的像素点坐标计算搜索影像上灰度相关区域内对应像素点的坐标，并根据双线性插值方法计算得到对应像素点的灰度值；

步骤4.4.6：计算目标影像上的灰度相关区域和搜索影像上的灰度相关区域之间的灰度相关系数；

步骤4.4.7：对候选特征组集合中的每个候选特征组，重复步骤4.4.2到4.4.6，最终确定灰度相关系数最大且大于阈值的候选特征组为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组。

步骤4.5：依次将目标影像上每个特征直线组作为目标特征组，重复步骤4.1到4.4，得到同名特征直线组对集合。

步骤5：将同名特征直线组对集合中同名特征直线组中对应的起始边和终止边分裂为同名单直线，建立每对同名特征直线组中对应的起始边和终止边的一对一匹配关系，得到初始同名直线对集合；

步骤6：对初始同名直线对集合进行整合，对集合中一对多、多对一、多对多的匹配结果进行重组和拟合，得到最终的同名直线对集合，即直线匹配结果：

步骤6.1：删除初始同名直线对集合中匹配关系相同的同名直线对；

步骤6.2：依次核验目标影像上当前直线在搜索影像上是否有多条匹配直线，有，将目标影像上当前直线在搜索影像上的多条匹配直线合并为一组，并建立该组与目标影像上当前直线的匹配关系，更新同名直线对集合；否则，保留目标影像中当前直线与其在搜索影像上原有的同名直线匹配关系不变；

步骤6.3：依次核验搜索影像上当前直线在目标影像上是否有多个匹配直线，有，将搜索影像上当前直线在目标影像上的多条匹配直线合并为一组，并建立该组与搜索影像上当前直线或当前直线所在组的匹配关系，更新同名直线对集合；否则，保留搜索影像中当前直线或当前直线所在组与其在目标影像上原有的同名匹配关系不变。

步骤6.4：分别对每组中的多条直线进行拟合，如果拟合直线斜率与原有的多条直线斜率均一致，则用拟合直线代替原有的多条直线；否则将该组匹配结果删除；最终得到目标影像上与搜索影像上一对一的同名直线对集合，即直线匹配结果。

有益效果：一种基于组特征的直线匹配方法与现有技术相比，具有如下优势：

(1)利用满足一定条件的两条直线进行特征编组，将其作为匹配基元代替传统的单一直线进行匹配，能够有效解决大旋转角及视差较大情况下不同面片直线匹配的可靠性问题，同时，对存在于不同直线组合的同一直线多次匹配结果进行整合，提高匹配的可靠性；

(2)对同名直线匹配结果中非一对一匹配结果设计了有效的检验及整合方案，一方面，对匹配结果中错误匹配的同名直线对进行剔除，提高匹配的可靠性；另一方面通过对匹配结果中正确的同匹配直线进行重组和拟合，有效地解决了直线提取中断裂引起的同名直线匹配结果中非一对一匹配问题；

(3)充分利用特征组内两直线交点，加大匹配约束，创造性地建立了基于直线特征组匹配的核线约束、单应矩阵约束、象限约束、不规则三角形区域灰度约束四种约束条件，并将其有机结合形成一套完整的面向直线特征组匹配的匹配流程，为立体影像直线匹配提供了新思路，且原理简单，适用性强。

附图说明

图1为本发明一种实施方式的基于组特征的直线匹配方法流程图；

图2(a)为本发明一种实施方式的目标影像图；

图2(b)为本发明一种实施方式的搜索影像图；

图3为本发明一种实施方式的直线特征编组流程图；

图4为本发明一种实施方式的直线邻域窗口示意图；

图5为本发明一种实施方式的特征直线组中直线端点示意图；

图6为本发明一种实施方式的目标影像和搜索影像中特征直线组匹配流程图；

图7为本发明一种实施方式的核线约束和单应矩阵约束示意图，其中，(a)为目标影像，(b)为搜索影像；

图8为本发明一种实施方式的象限约束示意图；

图9(a)为本发明一种实施方式目标影像上灰度相关区域示意图；

图9(b)为本发明一种实施方式搜索影像上灰度相关区域示意图；

图10为本发明一种实施方式的扫描线确定灰度相关区域内像素点坐标示意图；

图11为本发明一种实施方式的同名特征直线组图，其中，(a)为目标影像上同名特征直线组图，(b)为搜索影像上同名特征直线组图，目标影像和搜索影像上相同标号的特征直线组为一对同名特征直线组对；

图12为本发明一种实施方式的初始同名直线对图，其中，(a)为目标影像上初始同名直线图，(b)搜索影像上初始同名直线图，目标影像和搜索影像上相同标号的直线为一对初始同名直线对；

图13为本发明一种实施方式的同名直线多对一匹配结果图，其中，(a)为目标影像上同名直线图，(b)搜索影像上同名直线图，目标影像和搜索影像上相同标号的直线为匹配同名直线；

图14为本发明一种实施方式的目标影像上多对一直线拟合结果图。

具体实施方式

下面结合附图对本发明的一种实施方式作详细说明。

如图1所示，本发明的一种基于组特征的直线匹配方法，包括如下步骤：

步骤1：输入目标影像和搜索影像两张航空影像和两张航空影像的同名点坐标；目标影像如图2(a)所示，搜索影像如图2(b)所示；

同名点集合为其中，和分别为目标影像和搜索影像的同名点坐标，k为同名点索引号，k＝1，2，...，K，K为同名点的数目。

步骤2：分别对目标影像和搜索影像进行直线提取；

采用直线提取算法对目标影像和搜索影像分别进行直线提取，直线集合分别为L＝{l₁,…l_i,…,l_I}，R＝{r₁,…r_j,…,r_J}，其中，l_i和r_j分别为目标影像和搜索影像上的直线，i＝1，2，...，I，j＝1，2，...，J，I和J分别为目标影像和搜索影像上直线数目。

步骤3：如图3所示，分别对目标影像和搜索影像上提取的直线依次进行特征编组，分别得到目标影像和搜索影像上的特征直线组集合；

步骤3.1：将目标影像上直线l_i作为目标直线，直线l_i+1,l_i+2,…,l_I为待编组直线；

步骤3.2：以目标直线l_i为中心建立矩形窗口作为目标直线邻域窗口。如图4所示，目标直线长度为len，以目标直线l_i为中心，向两端和垂直方向分别扩展b个像素长度，构成矩形窗口大小为(2b+1)×(len+2b)；

步骤3.3：依次判断待编组直线与目标直线邻域窗口关系，如果待编组直线在目标直线邻域窗口内或与邻域窗口相交，则该待编组直线为候选编组直线l_i'；

本实施方式中，对任一条待编组直线，将其离散化为一组离散点，依次判断离散点是否在目标直线邻域窗口内。如果某一离散点在目标直线邻域窗口内，则停止后续离散点的判断，并认为该待编组直线在目标直线邻域窗口内或与目标直线邻域窗口相交，即该待编组直线为候选编组直线；

步骤3.4：依次计算候选编组直线与目标直线l_i的夹角θ，如果夹角在阈值范围内，则l_i与该候选编组直线构成一个特征直线组，本实施方式中，θ∈[45°,135°]，该候选编组直线为l_i'，特征直线组记为P^L(l_i,l_i',C^L)，其中，C^L为特征直线组的交点；

步骤3.5：分别选择目标直线l_i和候选编组直线l_i'端点中与交点C^L距离较近的点分别作为l_i的起点和l_i'的起点，与交点C^L距离较远的点分别作为l_i的终点和l_i'的终点；如图5所示，a、b和c、d分别为l_i和l_i'的端点；根据两点距离公式计算l_i两端点与点C^L的距离，选择其中与点C^L距离较近的点b作为l_i的起点，与点C^L距离较远的点a作为l_i的终点；同理，d、c分别为l_i'的起点和终点；

步骤3.6：依次将目标影像上提取的每条直线作为目标直线执行步骤3.1至步骤3.5，得到目标影像上特征直线组集合其中，为目标影像上第m个特征直线组，和为组成该特征直线组的直线，m＝1，2，…，M，M为目标影像上特征直线组数；

步骤3.7：将搜索影像上直线依次作为目标直线进行特征编组，最终得到搜索影像上特征直线组集合其中，为第n个特征直线组，和为组成该特征直线组的直线，n＝1，2，…，N，N为搜索影像上特征直线组数。

步骤4：如图6所示，对目标影像和搜索影像上的特征直线组进行多重约束下的特征直线组匹配，得到同名特征直线组对集合；

以目标影像上每个特征直线组依次作为目标特征组，实现从左到右匹配，匹配过程中依次采用核线约束、单应矩阵约束、象限约束、不规则三角形区域灰度相关约束，搜索影像上最终满足上述四种约束条件的特征直线组为同名特征直线组。以如图7(a)所示的目标影像上任一特征直线组为例，匹配具体实现如下：

步骤4.1：将目标影像上特征直线组作为目标特征组，对搜索影像上特征直线组进行核线约束，确定候选特征组集合：

步骤4.1.1：将目标影像上特征直线组作为目标特征组，并计算目标特征组交点在搜索影像上的核线；

步骤4.1.2：依次计算搜索影像上各特征直线组交点到核线的距离，如图7(b)所示，距离小于阈值T_d的特征直线组为候选特征组，所有满足条件的特征直线组构成候选特征组集合；

步骤4.2：对候选特征组集合中特征直线组进行单应矩阵约束，得到单应矩阵约束后的候选特征组集合；

单应矩阵表示两个平面之间的可逆齐次变换，同一平面上的点，在目标影像、搜索影像上成像的同名点坐标记为u＝[x_L,y_L]^T，v＝[x_R,y_R]^T，则u点可通过式(1)变换到v点：

其中，H为单应矩阵；求解单应矩阵H包含的9个未知数需要5对同名点，当同名点数大于5时，可利用最小二乘求解单应矩阵H。对于实际影像而言，一般都存在地形起伏或者景深变换，因此全局单应矩阵不适用于整张影像。

步骤4.2.1以目标特征组交点为中心，以两直线和终点方向所构成扇形区域内包含的同名点计算局部单应矩阵H，局部单应矩阵H近似表示局部影像之间的对应关系，用于限定核线上的搜索范围。如图7(a)所示，目标影像上小三角形表示同名点，其中实心三角形表示用于计算局部单应矩阵的同名点；

步骤4.2.2：根据局部单应矩阵H和式(1)，将目标影像上目标特征组交点映射到搜索影像上，得到点如图7(b)所示；

步骤4.2.3：计算搜索影像上各候选特征组交点到点的距离，如果距离大于阈值T_h，舍弃该候选特征组，否则，保留该候选特征组，得到单应矩阵约束后的候选特征组集合。

步骤4.3：对单应矩阵约束后的候选特征组集合中特征直线组进行象限约束，得到象限约束后的候选特征组集合；

步骤4.3.1：根据局部单应矩阵H，将目标影像上目标特征组映射到搜索影像上，得到

步骤4.3.2：如图8所示，在搜索影像上，对建立以为原点的局部坐标系，x轴和y轴分别与像素坐标系的x轴和y轴平行，中直线和直线终点所在象限分别为Q₁(第二象限)和Q₂(第一象限)；

步骤4.3.3：对单应矩阵约束候选特征组集合中的候选特征组分别建立局部坐标系，判断每个候选特征组中直线r_i ^v和直线终点所在象限是否为Q₁和Q₂，是，保留该候选特征组，否则，舍弃该候选特征组，得到象限约束后的候选特征组集合。

步骤4.4：对象限约束后的候选特征组集合中特征直线组进行不规则三角形区域灰度相关约束，将满足灰度相关约束的候选特征组作为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组；

为了提高直线匹配可靠性，直线邻域的灰度信息被用于描述和匹配直线特征。常用的以直线为中心建立矩形窗口，如全窗口、半窗口、自适应移动窗口等，通过计算相关窗口的灰度相关系数确定同名直线。这种直接基于直线邻域矩形窗口内灰度信息的相关计算方法对于视角变化较小或者视差较小的影像能获得较好的匹配结果。但对于视角变化较大，建筑物成像差异较大的立体影像，同名直线矩形窗口内灰度信息一致性和对应性较弱，难以获得可靠的匹配结果。本实施方式采用不规则三角形相关窗口的灰度相关约束，以目标特征组两条直线构成的三角形建立相关区域，具体步骤如下：

步骤4.4.1：如图9(a)所示，以目标特征组交点起始边终点a和终止边终点c构成三角形所包含的区域作为灰度相关区域；并采用扫描线算法确定灰度相关区域内所包含的像素点坐标及其灰度值；像素点坐标记为G_rc＝{(r₁,c₁),…,(r_i,c_i),…,(r_Ng,c_Ng)}，对应的灰度值记为G＝{g₁,…,g_i,…,g_Ng}，Ng为区域内包含的像素点数目；

步骤4.4.2：固定目标影像上目标特征组中为起始边，为终止边。根据直线和直线所在象限Q₁和Q₂确定象限约束候选特征组集合中的候选特征组对应的起始边和终止边：

当Q₁≠Q₂时，搜索影像上候选特征组中，如果终点所在象限为Q₁，则为起始边，为终止边，反之，如果终点所在象限为Q₁，则为起始边，为终止边，候选特征组更新为

当Q₁＝Q₂时，在目标特征组中，根据向量叉积判断从和是顺时针还是逆时方向旋转，对应地，判断候选特征组中从到是否与从和的旋转方向一致，如果不一致，更新候选特征组为否则，候选特征组不变。

步骤4.4.3：如图9(b)所示，分别计算目标影像上目标特征组起始边终点a、终止边终点c在搜索影像上的核线H_a、H_c，分别计算H_a、H_c与候选特征组中起始边和终止边的交点，分别记为a′和c′。搜索影像上以候选特征组交点a′和c′构成三角形所包含的区域作为灰度相关区域；

本实施方式中，如图10所示，用水平扫描线沿Y轴自上而下扫描三角形即灰度相关区域，扫描线与三角形至多有两个交点，计算扫描线与三角形的交点坐标，根据交点所在直线端点坐标计算直线方程f(x,y)＝0，即可将扫描线对应y值代入方程求解x值。假设扫描线y＝y_k分别与三角形两条边相交于点x_i、x_j，相交两条边的直线方程为a₁x+b₁y+c₁＝0，a₂x+b₂y+c₂＝0。那么，扫描线y＝y_k经过三角形内的点分别为：x方向坐标从x_i到x_j，y方向坐标均为y_k。

当扫描线移动到y＝y_k+1时，扫描线与三角形相同边的交点坐标可由上一条扫描线交点坐标计算得到，即为：x_i+1＝x_i+1/k₁、x_j+1＝x_j+1/k₂，其中k₁和k₂分别为两条直线的斜率，即扫描线与三角形相同边的交点坐标都可以通过增加直线斜率的倒数计算得到，从而避免判断像元是否在三角形内的大量计算，提高匹配效率。

步骤4.4.4：利用目标影像和搜索影像灰度相关区域的三个顶点坐标根据式(2)计算两灰度相关区域仿射变换参数：

其中，a₀、a₁、a₂、b₀、b₁、b₂表示仿射变换的6参数，x和y表示目标影像上灰度相关区域顶点坐标，x′和y′表示搜索影像上对应的灰度相关区域对应顶点坐标。

步骤4.4.5：根据仿射变换参数和目标影像上灰度相关区域内包含的像素点坐标计算搜索影像上灰度相关区域内对应像素点的坐标，并根据双线性插值方法计算得到对应像素点的灰度值，记为F＝{f₁,…,f_i,…,f_Ng}。

步骤4.4.6：根据相关系数公式(3)计算目标影像、搜索影像灰度相关区域的灰度相关系数ρ：

其中，g_i和f_i分别为目标影像、搜索影像灰度相关区域内对应像素的灰度值，和分别为目标影像、搜索影像灰度相关区域内所有像素灰度值的平均值。

步骤4.4.7：对候选特征组集合中的每个候选特征组，重复步骤4.4.2到4.4.6，最终确定灰度相关系数最大且大于阈值的候选特征组为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组。本实施方式中，T_ρ＝0.7。

步骤4.5：依次将目标影像上每个特征直线组作为目标特征组，重复步骤4.1到4.4，得到同名特征直线组对集合，如图11(a)和图11(b)所示。

步骤5：将同名特征直线组对集合中同名特征直线组中对应的起始边和终止边分裂为同名单直线，建立每对同名特征直线组中对应的起始边和终止边的一对一匹配关系，得到初始同名直线对集合，目标影像和搜索影像上初始同名直线分别如图12(a)和图12(b)所示。

步骤6：对初始同名直线对集合进行整合，对集合中一对多、多对一、多对多的匹配结果进行重组和拟合，得到最终的同名直线对集合，即直线匹配结果；

步骤6.1：由于直线编组过程中同一直线可能出现在多个特征直线组中，参与多次匹配，会得到多次匹配结果，因此删除初始同名直线对集合中匹配关系相同的同名直线对，得到同名直线对集合；本实施方式中，同名直线对集合为RC＝{ind,I^L,I^R}，其中，ind＝1,2,…,N_c，N_c为同名直线对数，分别为目标影像、搜索影像上同名直线的直线索引集合，和分别为目标影像、搜索影像上第n对同名直线的直线索引。

步骤6.2：依次核验目标影像上当前直线在搜索影像上是否有多条匹配直线，有，将目标影像上当前直线在搜索影像上的多条匹配直线合并为一组，并建立该组与目标影像上当前直线的匹配关系，更新同名直线对集合；否则，保留目标影像中当前直线与其在搜索影像上原有的同名直线匹配关系不变；

本实施方式中，依次将中直线索引作为当前索引，判断索引到中是否存在与当前索引相同的索引值，如果存在，将该索引和当前索引对应的I^R中的同名直线索引合并为一组，并建立该组与当前索引的匹配对应关系，分别加入到集合I^R和I^L中，并删除I^R和I^L中被合并过的同名直线索引对应关系，更新集合RC；否则，保留当前索引原匹配对应关系不变；最终得到更新后集合为该集合中包含目标影像上单一直线与搜索影像单一直线的一对一匹配关系，也包含目标影像单一直线与搜索影像上多条直线的一对多匹配关系。

步骤6.3：依次核验搜索影像上当前直线在目标影像上是否有多个匹配直线，有，将搜索影像上当前直线在目标影像上的多条匹配直线合并为一组，并建立该组与搜索影像上当前直线或当前直线所在组的匹配关系，更新同名直线对集合；否则，保留搜索影像中当前直线或当前直线所在组与其在目标影像上原有的同名匹配关系不变；

本实施方式，在结果的基础上，依次将中直线索引作为当前索引，同步骤6.2中具体实施方式，最终更新集合为该集合中包含：目标影像上单一直线与搜索影像上单一直线的一对一匹配关系，如图13(a)与图13(b)中所示标号100的同名直线；目标影像上单一直线与搜索影像上多条直线的一对多匹配关系，目标影像上多条直线与搜索影像上单直线的多对一匹配关系，如图13(a)与图13(b)中所示标号133的同名直线；目标影像多条直线与搜索影像上多条直线的多对多匹配关系。

步骤6.4：分别对每组中的多条直线进行拟合，如果拟合直线斜率与原有的多条直线斜率均一致，则用拟合直线代替原有的多条直线，如图13(a)中标号133的两条直线最终被拟合为一条直线，结果如图14所示；否则将该组匹配结果删除；最终得到目标影像上与搜索影像上一对一的同名直线对集合，即直线匹配结果。

Claims (7)

1.一种基于组特征的直线匹配方法，其特征在于，包括如下步骤：

步骤1：输入目标影像和搜索影像两张航空影像和两张航空影像的同名点坐标；

步骤2：分别对目标影像和搜索影像进行直线提取；

步骤3：分别对目标影像和搜索影像上提取的直线依次进行特征编组，分别得到目标影像和搜索影像上的特征直线组集合，具体包括：

步骤3.1：在目标影像上将提取的直线l_i作为目标直线，直线l_i+1,l_i+2,…,l_I为待编组直线，其中，i＝1，2，...，I，I为目标影像上提取的直线数；

步骤3.2：以目标直线l_i为中心建立矩形窗口作为目标直线邻域窗口；

步骤3.3：依次判断待编组直线与目标直线邻域窗口关系，如果待编组直线在目标直线邻域窗口内或与邻域窗口相交，则该待编组直线为候选编组直线l_i'；

步骤3.4：依次计算候选编组直线与目标直线l_i的夹角，如果夹角在阈值范围内，则目标直线l_i与该候选编组直线l_i'组成特征直线组P^L(l_i,l_i',C^L)，其中，C^L为目标直线l_i和编组直线l_i'的交点；

步骤3.5：分别选择目标直线l_i和编组直线l_i'端点中与交点C^L距离较近的点作为l_i的起点和l_i'的起点，与交点C^L距离较远的点分别作为l_i的终点和l_i'的终点；

步骤3.6：依次将目标影像上提取的每条直线作为目标直线执行步骤3.1至步骤3.5，得到目标影像上特征直线组集合其中，为目标影像上第m个特征直线组，和为组成该特征直线组的直线，m＝1，2，...，M，M为目标影像上特征直线组数；

步骤3.7：将搜索影像上直线依次作为目标直线执行步骤3.1至步骤3.5，最终得到搜索影像上特征直线组集合其中，为搜索影像上第n个特征直线组，和为组成该特征直线组的直线，n＝1，2，…，N，N为搜索影像上特征直线组数；

步骤4：对目标影像和搜索影像上的特征直线组进行多重约束下的特征直线组匹配，得到同名特征直线组对集合；

步骤5：分别对每对同名特征直线组中对应的两对同名单直线建立一对一匹配关系，得到初始同名直线对集合；

步骤6：对初始同名直线对集合进行整合，对集合中一对多、多对一、多对多的匹配结果进行重组和拟合，得到最终的同名直线对集合，即直线匹配结果。

2.根据权利要求1所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤4包括：

步骤4.1：将目标影像上特征直线组作为目标特征组，对搜索影像上特征直线组进行核线约束，确定候选特征组集合：

步骤4.1.1：将目标影像上特征直线组作为目标特征组，并计算目标特征组交点在搜索影像上的核线；

步骤4.1.2：依次计算搜索影像上各特征直线组交点到核线的距离，距离小于阈值的特征直线组构成候选特征组集合；

步骤4.2：对候选特征组集合中特征直线组进行单应矩阵约束，得到单应矩阵约束后的候选特征组集合；

步骤4.3：对单应矩阵约束后的候选特征组集合中特征直线组进行象限约束，得到象限约束后的候选特征组集合；

步骤4.4：对象限约束后的候选特征组集合中特征直线组进行不规则三角形区域灰度相关约束，将满足灰度相关约束的候选特征组作为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组；

步骤4.5：依次将目标影像上每个特征直线组作为目标特征组，重复步骤4.1到4.4，得到同名特征直线组对集合。

3.根据权利要求1所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤5具体为：将同名特征直线组对集合中同名特征直线组中对应的起始边和终止边分裂为同名单直线，建立每对同名特征直线组中对应的起始边和终止边的一对一匹配关系，得到初始同名直线对集合。

4.根据权利要求1所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤6包括：

步骤6.1：删除初始同名直线对集合中匹配关系相同的同名直线对；

步骤6.2：依次核验目标影像上当前直线在搜索影像上是否有多条匹配直线，有，将目标影像上当前直线在搜索影像上的多条匹配直线合并为一组，并建立该组与目标影像上当前直线的匹配关系，更新同名直线对集合；否则，保留目标影像中当前直线与其在搜索影像上原有的同名直线匹配关系不变；

步骤6.3：依次核验搜索影像上当前直线在目标影像上是否有多个匹配直线，有，将搜索影像上当前直线在目标影像上的多条匹配直线合并为一组，并建立该组与搜索影像上当前直线或当前直线所在组的匹配关系，更新同名直线对集合；否则，保留搜索影像中当前直线或当前直线所在组与其在目标影像上原有的同名匹配关系不变；

步骤6.4：分别对每组中的多条直线进行拟合，如果拟合直线斜率与原有的多条直线斜率均一致，则用拟合直线代替原有的多条直线；否则将该组匹配结果删除；最终得到目标影像上与搜索影像上一对一的同名直线对集合。

5.根据权利要求2所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤4.2包括：

步骤4.2.1：以目标特征组交点为中心，以两直线和终点方向所构成扇形区域内包含的同名点计算局部单应矩阵H；

步骤4.2.2：根据局部单应矩阵H，将映射到搜索影像上，得到点

步骤4.2.3：计算搜索影像上各候选特征组交点到点的距离，如果距离大于阈值，舍弃该候选特征组，否则，保留该候选特征组。

6.根据权利要求2所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤4.3包括：

步骤4.3.1：根据局部单应矩阵H，将目标影像上目标特征组映射到搜索影像上，得到

步骤4.3.2：在搜索影像上，对建立以为原点的局部坐标系，x轴和y轴分别与像素坐标系的x轴和y轴平行，中直线和直线终点所在象限分别为Q₁和Q₂；

步骤4.3.3：对单应矩阵约束后的候选特征组集合中的候选特征组分别建立局部坐标系，判断每个候选特征组中直线r_i ^v和直线终点所在象限是否为Q₁和Q₂，是，保留该候选特征组，否则，舍弃该候选特征组。

7.根据权利要求2所述的一种基于组特征的直线匹配方法，其特征在于，所述步骤4.4包括：

步骤4.4.1：以目标特征组交点起始边终点a和终止边终点c构成三角形所包含的区域作为灰度相关区域；并确定灰度相关区域内所包含的像素点坐标及其灰度值；

步骤4.4.2：固定目标影像上目标特征组的起始边和终止边，根据起始边和终止边所在象限Q₁和Q₂确定象限约束后的候选特征组集合中的候选特征组对应的起始边和终止边：当Q₁≠Q₂时，根据搜索影像上候选特征组两边所在象限确定起始边和为终止边；当Q₁＝Q₂时，使候选特征组起始边到终止边旋转方向与目标特征组中起始边到终止边旋转方向一致；其中，起始边到终止边旋转方向采用两直线向量叉积计算；

步骤4.4.3：分别计算目标影像上目标特征组起始边终点a、终止边终点c在搜索影像上的核线H_a、H_c，分别计算H_a、H_c与候选特征组中起始边和终止边的交点，分别记为a′和c′；搜索影像上以候选特征组交点、a′和c′构成三角形所包含的区域作为灰度相关区域；

步骤4.4.4：利用目标影像上的灰度相关区域和搜索影像上的灰度相关区域的三个顶点坐标计算两灰度相关区域间的仿射变换参数；

步骤4.4.5：根据仿射变换参数和目标影像上灰度相关区域内包含的像素点坐标计算搜索影像上灰度相关区域内对应像素点的坐标，并根据双线性插值方法计算得到对应像素点的灰度值；

步骤4.4.6：计算目标影像上的灰度相关区域和搜索影像上的灰度相关区域之间的灰度相关系数；

步骤4.4.7：对候选特征组集合中的每个候选特征组，重复步骤4.4.2到4.4.6，最终确定灰度相关系数最大且大于阈值的候选特征组为目标特征组的同名特征直线组，并建立该候选特征组与目标特征组的匹配关系，得到一对同名特征直线组。