CN108305277A - 一种基于直线段的异源图像匹配方法 - Google Patents

一种基于直线段的异源图像匹配方法 Download PDF

Info

Publication number
CN108305277A
CN108305277A CN201711435566.7A CN201711435566A CN108305277A CN 108305277 A CN108305277 A CN 108305277A CN 201711435566 A CN201711435566 A CN 201711435566A CN 108305277 A CN108305277 A CN 108305277A
Authority
CN
China
Prior art keywords
line
line segment
segment
endpoint
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711435566.7A
Other languages
English (en)
Other versions
CN108305277B (zh
Inventor
冷晓旭
孙浩惠
吴国强
高伟
张秀红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Technology Research Institute Of China Aerospace
Original Assignee
Electronic Technology Research Institute Of China Aerospace
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Technology Research Institute Of China Aerospace filed Critical Electronic Technology Research Institute Of China Aerospace
Priority to CN201711435566.7A priority Critical patent/CN108305277B/zh
Publication of CN108305277A publication Critical patent/CN108305277A/zh
Application granted granted Critical
Publication of CN108305277B publication Critical patent/CN108305277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供了一种基于直线段的异源图像匹配方法，对参考图像和感知图像中的线特征分别进行提取，作为异源图像匹配的基元；分别构建线段端点与端点以及端点与线段之间的邻域关系，并将具有邻域关系的端点和线段连接起来，得到稳定性更好的直线段，构造出准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使感知图像与参考图像具有最高相似性的变换参数，实现所述感知图像和所述参考图像的匹配。本发明可有效避免从航空图像中提取道路直线时产生的双边现象，极大降低了参与匹配的线段数量，且能够用尽量少的线段表示场景的几何结构；实现简单、计算速度快、可定量分析。

Description

一种基于直线段的异源图像匹配方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于直线段的异源图像匹配方法。
背景技术
景象匹配技术在无人机自主导航领域具有重要应用。为实现无人机的全天候自主导航，一种可行的技术是利用红外相机或SAR雷达对地面成像，然后将拍摄的实时图与预先制备好的卫片基准图进行匹配，从而获得无人机的位置和朝向信息。
由于拍摄时间、角度以及成像传感器的差异，实时图与基准图上的同名点在灰度值上不具有简单一致的函数关系，因此面向同源图像的匹配方法一般不适用于异源图像。当前典型的异源图像匹配方法主要分为两大类：一种是基于区域的匹配方法，主要利用互相关、互信息以及图像矩等技术；另一种是基于特征的匹配方法，主要利用点特征和线特征进行图像匹配。
基于区域的异源图像匹配方法在医学图像处理领域应用较多，具有匹配精度高的优点，但是时间效率低，且往往只能估计平移参数，而不能估计旋转参数。
景物的线特征在不同传感器上的成像往往比较稳定，在人工建筑比较密集的区域，景物的线特征数量丰富、分布广泛，非常适合作为匹配基元参与异源图像匹配。
发明内容
本发明的目的就是克服现有技术的不足，提供一种基于直线段的异源图像匹配方法，主要解决无人机视觉导航领域红外图像和可见光图像等异源图像之间的实时匹配问题；主要包括以下三个方面：
(1)从图像中提取直线段的后处理；
(2)两个线段集之间匹配关系的估计；
(3)两个线段集之间相似性的度量。
本发明在现有的线段提取技术基础上，首先通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用最优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段；然后构造候选的线段对去计算可能的变换参数；最后选取使实时图经过变换后与基准图具有最高相似性的变换参数作为最终的变换参数，从而实现实时图与基准图的匹配。本发明所提方法可以获取实时图相对于参考图的欧氏变换参数，具有实时性好、鲁棒性高的优点，应用前景良好。
本发明的具体技术方案为：
一种基于直线段的异源图像匹配方法，参考图像和感知图像之间仅存在欧氏变换，即所述参考图像和所述感知图像之间仅存在旋转和平移关系，该方法对所述参考图像和所述感知图像中的线特征进行提取，所提取的直线段作为异源图像匹配的基元；通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段，构造出能够准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使所述感知图像与所述参考图像具有最高相似性的变换参数作为最终的变换参数，实现所述感知图像和所述参考图像的匹配。
进一步的，所述感知图像为实时图，利用红外相机或SAR雷达对地面拍摄成像；所述参考图像为卫星照片。
进一步的，具体包括如下步骤：
步骤一、线段优化：通过为线段的端点设置邻域，构造出“点-点”和“点-线”匹配关系，并利用LM算法对匹配关系进行优化，将断裂的线段连接起来，并将彼此靠近的双边线段合并成一条线段，最终构造出能够准确表示场景结构的线段集；
步骤二、线段匹配：分别从感知图像线段集和参考图像线段集中各取出一条线段构成线段对，基于该线段对构造4种几何配置，每一种所述几何配置对应一组变换参数；依此求出所有的变换参数；
步骤三、线段集相似性度量：利用相似性度量算法计算变换参数的相似性度量值，选择具有最大相似性度量值的变换参数作为图像匹配算法的变换参数。
进一步的，步骤一中，线段优化具体包括：
步骤1.1、构造“点-点”匹配关系：
如果线段li的端点p与线段lj的端点q满足dist(p,q)<t1，则构造点-点目标函数：
f1＝dist(p,q)2 (1)；
步骤1.2、构造“点-线”匹配关系：
如果线段li的端点p与线段lj满足abs(dist(p,lj))<t2，则构造点-线目标函数：
f2＝dist(p,lj)2 (2)；
假设v0和v1分别为lj的两个端点，[a b c]为lj的直线方程参数，dist(p,lj)可写成:
其中参数a,b与v0和v1的关系为：
c的计算公式为：
c＝-[a b]v0 (5)
步骤1.3、构造目标端点集：
“点-点”匹配关系涉及到的两个端点(p,q)以及“点-线”匹配关系涉及到的三个端点(p,v0,v1)由于在优化过程中其位置都会出现微小变化，因此将它们定义为目标端点；为每个目标端点构造目标函数：
f3＝dist(p,p′)2 (6)
其中p表示目标端点，p′表示p的初始位置；
步骤1.4、LM优化：
假设有N1个“点-点”匹配关系，N2个“点-线”匹配关系，N3个目标端点，需要优化的全局目标函数为：
其中λi(i＝1,2,3)表示三种目标函数的权值；优化的目标是通过微调端点的位置实现端点与端点以及端点与线段的合并，需要优化的变量为目标端点的x,y坐标，因此构造雅克比矩阵如下：
其中P表示目标端点序列的x,y坐标构成的行向量；通过多次LM迭代进行优化；
步骤1.5、线段集精化：
经过LM优化后，具有邻域关系的“点-点”以及“点-线”均被捏合在一起，被优化之后的几条近邻线段从外观上看几乎是一条线段，需要将这些线段执行合并操作，即线段集精化；
本申请采用图论中图的思想，将线段看做图的顶点，如果两条线段满足合并规则，那么它们对应的图中两个顶点之间便生成一条连通的边。基于图提取连通的顶点集，从而得到可以被合并的线段簇，利用最小二乘算法生成新的线段去取代原来的线段簇。
进一步的，步骤1.4中，LM优化的迭代次数设置为15，λi(i＝1,2,3)的值分别设置为1000、1000和0.001。
进一步的，步骤1.5中，所述线段合并规则，具体为：
对线段li和lj，如果它们可以被合并，需同时满足以下三个条件：(1)夹角小于5°；(2)线段包围盒相交；(3)li两个端点到lj支撑直线的最小距离不超过3个像素。
进一步的，步骤二中，所述线段匹配，具体为：
设表示参考图像中的线段集，表示感知图像中的线段集；在线段匹配阶段，通过从P和Q中分别选取一条线段组成假设匹配的线段对，而每个线段对都会生成四种几何配置，从而对应四组变换参数；所有的MN组假设匹配的线段对可以生成4MN组变换参数，选取相似性度量最好的变换参数作为最终的变换参数；
所述变换参数的计算方法具体为：令为的端点，为的端点，几何配置为:(1)与对应；(2)与对应；该几何配置导致的变换效果是：将平移到使得与重合，再将绕着顺时针旋转θ变换到位置处；具体步骤如下：
步骤2.1、利用式(9)计算平移向量t，利用式(10)和(11)将移动到处；
步骤2.2、计算与的夹角θ，如果和为顺时针排列，则利用式(12)计算旋转矩阵R；否则利用式(13)计算旋转矩阵R，其中R的计算假设x轴水平向右，y轴竖直向下；
步骤2.3、利用式(14)计算变换矩阵T，其中I为2阶单位矩阵：
进一步的，步骤三中，所述线段集相似性度量，具体为：
计算经过变换参数T变换的感知图像线段集QT与参考图像线段集P的相似程度，首先计算QT中每条线段到P的距离，然后将这些距离累加起来作为QT相对于P的距离同理计算P相对于QT的距离从而得到两个线段集在变换T下的相似性度量值:
进一步的，某一线段l到线段集S的距离计算方法具体为：
步骤3.1、遍历S中的线段，将那些与l的包围盒相交的线段保存到S′中，如果S′为空，转步骤3.5，否则转步骤3.2；
步骤3.2、遍历S′中的线段，将与l的夹角小于25°的线段保存到S″中，如果S″为空，转步骤3.5，否则转步骤3.3；
步骤3.3、遍历S″中的线段，将与l的中点距离最近的线段作为对应线段ls；
步骤3.4、，计算l相对于ls的距离将其作为线段l到线段集S的距离并返回；
步骤3.5、将100作为线段l到线段集S的距离并返回。
进一步的，步骤3.4中，
l相对于ls的距离的计算方法具体为：
设A、B为l的端点，C、D为ls的端点，令dA、dB分别表示A、B到ls的距离，定义其中l的端点到线段ls的距离计算方法如下：
步骤3.4.1、为l的端点vl定义矩形邻域R，其中端点vl为R的中心，端点vl距离R的四个边长均为10个像素；其中vl＝A或B；
步骤3.4.2、若ls的支撑直线穿过了R，转步骤3.4.3，否则转步骤3.4.6；
步骤3.4.3、分别判断ls的两个端点是否在R内，如果均不在R内转步骤3.4.4，如果有端点落在了R内，则将该端点与vl的距离作为并返回；
步骤3.4.4、判断线段ls是否与R相交，如果相交转步骤3.4.5，否则转步骤3.4.6；
步骤3.4.5、将vl到ls支撑直线的距离作为并返回；
步骤3.4.6、将的值设为50并返回。
本发明的有益效果为：
1、在基于组合优化的线段匹配算法中，现有技术一般从两个线段集中分别提取多条线段构造对应关系，一方面提升了搜索空间的复杂性，另一方面在线段数量一定的前提下降低了匹配的准确率。本发明仅利用具有部分对应关系的线段对，即每次在两个线段集中分别选取一条线段构造对应关系，大大提升了搜索效率和潜在的匹配成功率。
2、本发明提出的矢量线段优化算法可有效避免从航空图像中提取道路直线时产生的双边现象，从而极大地降低了参与匹配的线段数量，而且能够用尽量少的线段表示场景的几何结构。
3、本发明提出了一种新的线段集相似性快速度量方法。与现有方法相比，具有实现简单、计算速度快以及可定量分析的优点。
附图说明
图1所示为本发明实施例一种基于直线段的异源图像匹配方法的整体流程示意图。
图2a所示为感知图像LM优化前的效果图。
图2b所示为感知图像LM优化后的效果图。
图3所示为从一个对应线段对导出的4种几何配置示意图。
图4所示为变换参数计算示意图。
图5所示为线段距离计算示意图。
具体实施方式
下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。
本发明实施例主要面向航空图像和卫星图像之间的匹配问题，不失一般性，假设参考图像和感知图像为地表场景的正射图像。在实际匹配时可基于飞行器的高度数据和相机参数调整感知图像或正射图像的尺度，从而在两个图像之间仅存在欧氏变换(只有旋转和平移)，因此得到的变换参数是欧氏变换参数。
由于光照、遮挡以及场景结构的因素，现有的直线段检测算法提取的线段往往存在断裂情况；此外，从航空图像中检测的道路直线往往呈现“双边”现象。线段优化的目的是将断裂的线段连接起来，并将彼此靠近的双边线段合并成一条线段。通过为线段的端点设置邻域，构造出“点-点”和“点-线”匹配关系，并利用LM算法对匹配关系进行优化，最终构造出能够准确表示场景结构的线段集。
经过优化的线段在相同场景的不同图像之间往往具有更稳定的结构，基于这一假设设计本发明的线段匹配算法。在线段匹配阶段，分别从感知图像和参考图像中各取出一条线段构成线段对；然后基于该线段对构造四种几何配置，每一种几何配置生成一组变换参数，并利用相似性度量算法计算变换参数的相似性度量值；最终选择具有最大相似性度量值的变换参数作为图像匹配算法的变换参数。
为估计两个线段集之间的相似性，首先基于变换参数将感知图像中的线段集变换到参考图像的坐标框架下，然后分别为这些线段计算它们到参考图像线段集的距离误差，最后将这些误差累加起来作为相似性度量值。本发明利用线段包围盒快速判断两个线段的邻域关系；通过为线段端点构造矩形邻域，并基于目标线段与矩形邻域的位置关系实现线段端点与目标线段距离的度量，从而定量地实现两个线段之间相似性的度量。
本发明实施例一种基于直线段的异源图像匹配方法的算法流程如图1所示，参考图像和感知图像分别经过直线段提取、线段优化和线段匹配三个步骤实现变换参数的估计，其中线段优化和线段匹配是本发明的主要关注点(图1虚线框内的内容)。线段优化的目的是为了对初始提取的直线段执行后处理，从而连接断裂的线段或合并共线的线段。经过处理后的线段在序列图像的前后帧中具有更高的稳定性，本发明完全基于线段集执行图像匹配。为实现快速、高效的图像匹配目的，引入欧氏变换假设以及基于单个直线段对的候选几何配置，在计算线段集之间的相似性时引入包围盒等局部空间工具。
下面结合流程图图1对算法实施过程中涉及到的关键技术进行详细说明：
步骤一、线段优化
线段优化过程主要分为以下五步：
步骤1.1、构造点-点匹配关系；
步骤1.2、构造点-线匹配关系；
步骤1.3、构造目标端点集；
步骤1.4、执行LM优化；
步骤1.5、线段集精化。
接下来对线段优化涉及到的关键技术进行详细说明：
步骤1.1、构造“点-点”匹配关系
如果线段li的端点p与线段lj的端点q满足dist(p,q)<t1，则构造点-点目标函数：
f1＝dist(p,q)2 (1)
步骤1.2、构造点-线匹配关系
如果线段li的端点p与线段lj满足abs(dist(p,lj))<t2，则构造点-线目标函数：
f2＝dist(p,lj)2 (2)
假设v0和v1分别为lj的两个端点，[a b c]为lj的直线方程参数，dist(p,lj)可写成:
其中参数a,b与v0和v1的关系为：
c的计算公式为：
c＝-[a b]v0 (5)
步骤1.3、构造目标端点集
“点-点”匹配关系涉及到的两个端点(p,q)以及“点-线”匹配关系涉及到的三个端点(p,v0,v1)由于在优化过程中其位置都会出现微小变化，因此将它们定义为目标端点。为每个目标端点p构造目标函数：
f3＝dist(p,p′)2 (6)
其中p′表示p的初始位置。
步骤1.4、LM优化
假设有N1个点-点匹配关系，N2个点-线匹配关系，N3个目标端点，需要优化的全局目标函数为：
其中λi(i＝1,2,3)表示三种目标函数的权值，将它们的值分别设置为1000、1000和0.001。
优化的目标是通过微调端点的位置实现端点与端点以及端点与线段的合并，需要优化的变量为目标端点的x,y坐标，因此构造雅克比矩阵如下：
其中P表示目标端点序列的x,y坐标构成的行向量。经多次试验，发现将LM迭代的次数设置为15次较为合适。由于J的维度一般较大，因此可以构造稀疏的雅克比矩阵，从而降低运算时间与内存空间。LM对线段的优化效果如图2所示(左图为优化前的线段，右图为优化后的线段，其中不同的颜色表示不同的线段)。
步骤1.5、线段集精化
经过上述优化步骤后，具有邻域关系的点-点以及点-线均被捏合在一起，被优化之后的几条近邻线段从外观上看几乎是一条线段，因此需要将这些线段执行合并操作，即线段集精化，其核心是判断两条线段是否具有合并条件。
对线段li和lj，如果它们可以被合并需同时满足以下三个条件：(1)夹角小于5°；(2)包围盒相交；(3)li两个端点到lj支撑直线的最小距离不超过3个像素。
将线段li和lj看做图结构中的顶点，如果它们之间满足合并条件则在对应的顶点之间连一条边。基于图结构提取连通的顶点集，从而得到可以被合并的线段簇，最终利用最小二乘算法生成新的线段去取代原来的线段簇。
步骤二、线段匹配
设表示参考图像中的线段集，表示感知图像中的线段集。在线段匹配阶段，通过从P和Q中分别选取一条线段组成假设匹配的线段对，而每个线段对都会生成四种几何配置(如图3所示)，从而对应四组变换参数。因此所有的MN组假设匹配的线段对可以生成4MN组变换参数，选取相似性度量最好的变换参数作为最终的变换参数。
变换参数的计算方法如图4所示。令为的端点，为的端点，图4所示的一个几何配置为:(1)与对应；(2)与对应。该几何配置导致的变换效果是：将平移到使得与重合，再将绕着顺时针旋转θ变换到位置处。具体步骤如下：
步骤2.1、利用式(9)计算平移向量t，利用式(10)和(11)将移动到处；
步骤2.2、计算与的夹角θ，如果和为顺时针排列则利用式(12)计算旋转矩阵R，否则利用式(13)计算旋转矩阵R，其中R的计算假设x轴水平向右，y轴竖直向下；
步骤2.3、利用式(14)计算变换矩阵T，其中I为2阶单位矩阵。
步骤三、线段集相似性度量
为衡量变换参数T的优劣，需要计算经过T变换的感知图像线段集QT与参考图像线段集P的相似程度，其基本思想是首先计算QT中每条线段到P的距离，然后将这些距离累加起来作为QT相对于P的距离同理计算P相对于QT的距离从而得到两个线段集在变换T下的相似性度量值:
其中线段l到线段集S的距离计算方法如下：
步骤3.1、遍历S中的线段，将那些与l的包围盒相交的线段保存到S′中，如果S′为空，转步骤3.5，否则转步骤3.2；
步骤3.2、遍历S′中的线段，将与l的夹角小于25°的线段保存到S″中，如果S″为空，转步骤3.5，否则转步骤3.3；
步骤3.3、，遍历S″中的线段，将与l的中点距离最近的线段作为对应线段ls；
步骤3.4、计算l相对于ls的距离将其作为线段l到线段集S的距离并返回；
步骤3.5、将100作为线段l到线段集S的距离并返回。
l相对于ls的距离的计算方法如图5所示。设A、B为l的端点，C、D为ls的端点，令dA、dB分别表示A、B到ls的距离，定义其中l的端点到线段ls的距离计算方法如下：
步骤3.4.1、为l的端点vl(vl＝A或B)定义矩形邻域R，其中端点vl为R的中心，端点vl距离R的四个边长均为10个像素；
步骤3.4.2、若ls的支撑直线穿过了R，转步骤3.4.3，否则转步骤3.4.6；所述线段的支撑直线是包含该线段的直线；
步骤3.4.3、分别判断ls的两个端点是否在R内，如果均不在R内转第四步，如果有端点落在了R内，则将该端点与vl的距离作为并返回；
步骤3.4.4、判断线段ls是否与R相交，如果相交转步骤3.4.5，否则转步骤3.4.6；
步骤3.4.5、将vl到ls支撑直线的距离作为并返回；
步骤3.4.6、将的值设为50并返回。
感知图像在LM优化前和LM优化后的效果图如图2a、图2b所示。
本文虽然已经给出了本发明的几个实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。

Claims (10)

1.一种基于直线段的异源图像匹配方法，参考图像和感知图像之间仅存在欧氏变换，即所述参考图像和所述感知图像之间仅存在旋转和平移关系，其特征在于，该方法对所述参考图像和所述感知图像中的线特征进行提取，所提取的直线段作为异源图像匹配的基元；通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段，构造出能够准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使所述感知图像与所述参考图像具有最高相似性的变换参数作为最终的变换参数，实现所述感知图像和所述参考图像的匹配。
2.如权利要求1所述的基于直线段的异源图像匹配方法，其特征在于，所述感知图像为实时图，利用红外相机或SAR雷达对地面拍摄成像；所述参考图像为卫星照片。
3.如权利要求1所述的基于直线段的异源图像匹配方法，其特征在于，具体包括如下步骤：
步骤一、线段优化：通过为线段的端点设置邻域，构造出“点-点”和“点-线”匹配关系，并利用LM算法对匹配关系进行优化，将断裂的线段连接起来，并将彼此靠近的双边线段合并成一条线段，最终构造出能够准确表示场景结构的线段集；
步骤二、线段匹配：分别从感知图像线段集和参考图像线段集中各取出一条线段构成线段对，基于该线段对构造4种几何配置，每一种所述几何配置对应一组变换参数；依此求出所有的变换参数；
步骤三、线段集相似性度量：利用相似性度量算法计算变换参数的相似性度量值，选择具有最大相似性度量值的变换参数作为图像匹配算法的变换参数。
4.如权利要求3所述的基于直线段的异源图像匹配方法，其特征在于，步骤一中，线段优化具体包括：
步骤1.1、构造“点-点”匹配关系：
如果线段li的端点p与线段lj的端点q满足dist(p,q)<t1，t1＝10像素单位，则构造点-点目标函数：
f1＝dist(p,q)2 (1)；
步骤1.2、构造“点-线”匹配关系：
如果线段li的端点p与线段lj满足abs(dist(p,lj))<t2，t2＝10像素单位，则构造点-线目标函数：
f2＝dist(p,lj)2 (2)；
假设v0和v1分别为lj的两个端点，[a b c]为lj的直线方程参数，dist(p,lj)可写成:
其中参数a,b与v0和v1的关系为：
c的计算公式为：
c＝-[a b]v0 (5)
步骤1.3、构造目标端点集：
“点-点”匹配关系涉及到的两个端点(p,q)以及“点-线”匹配关系涉及到的三个端点(p,v0,v1)由于在优化过程中其位置都会出现微小变化，因此将它们定义为目标端点；为每个目标端点构造目标函数：
f3＝dist(p,p′)2 (6)
其中p为目标端点，p′表示p的初始位置；
步骤1.4、LM优化：
假设有N1个“点-点”匹配关系，N2个“点-线”匹配关系，N3个目标端点，需要优化的全局目标函数为：
其中λi(i＝1,2,3)表示三种目标函数的权值；优化的目标是通过微调端点的位置实现端点与端点以及端点与线段的合并，需要优化的变量为目标端点的x,y坐标，因此构造雅克比矩阵如下：
其中P表示目标端点序列的x,y坐标构成的行向量；通过多次LM迭代进行优化；
步骤1.5、线段集精化：
经过LM优化后，具有邻域关系的“点-点”以及“点-线”均被捏合在一起，被优化之后的几条近邻线段从外观上看几乎是一条线段，为准确表达场景的几何结构需要将这些线段执行合并操作，即线段集精化；
将线段看做图结构的顶点，如果两条线段满足线段合并规则，那么它们对应的图中两个顶点之间便生成一条连通的边；接下来在图结构中提取连通的顶点集，从而得到图像中可以被合并的线段簇，利用最小二乘算法生成新的线段去取代原来的线段簇。
5.如权利要求4所述的基于直线段的异源图像匹配方法，其特征在于，步骤1.4中，LM优化的迭代次数设置为15，λi(i＝1,2,3)的值分别设置为1000、1000和0.001。
6.如权利要求4所述的基于直线段的异源图像匹配方法，其特征在于，步骤1.5中，所述线段合并规则，具体为：
对线段li和lj，如果它们可以被合并，需同时满足以下三个条件：(1)夹角小于5°；(2)线段包围盒相交；(3)li两个端点到lj支撑直线的最小距离不超过3个像素。
7.如权利要求3所述的基于直线段的异源图像匹配方法，其特征在于，步骤二中，所述线段匹配，具体为：
设表示参考图像中的线段集，表示感知图像中的线段集；在线段匹配阶段，通过从P和Q中分别选取一条线段组成假设匹配的线段对，而每个线段对都会生成四种几何配置，从而对应四组变换参数；所有的MN组假设匹配的线段对可以生成4MN组变换参数，选取相似性度量最好的变换参数作为最终的变换参数；
所述变换参数的计算方法具体为：令为的端点，为的端点，假设四种几何配置中的一种为:(1)与对应；(2)与对应；该几何配置导致的变换效果是：将平移到使得与重合，再将绕着顺时针旋转θ变换到位置处；具体步骤如下：
步骤2.1、利用式(9)计算平移向量t，利用式(10)和(11)将移动到处；
步骤2.2、计算与的夹角θ，如果和为顺时针排列，则利用式(12)计算旋转矩阵R；否则利用式(13)计算旋转矩阵R，其中R的计算假设x轴水平向右，y轴竖直向下；
步骤2.3、利用式(14)计算变换矩阵T，其中I为2阶单位矩阵：
8.如权利要求3所述的基于直线段的异源图像匹配方法，其特征在于，步骤三中，所述线段集相似性度量，具体为：
计算经过变换参数T变换的感知图像线段集QT与参考图像线段集P的相似程度，首先计算QT中每条线段到P的距离，然后将这些距离累加起来作为QT相对于P的距离同理计算P相对于QT的距离从而得到两个线段集在变换T下的相似性度量值:
9.如权利要求8所述的基于直线段的异源图像匹配方法，其特征在于，某一线段l到线段集S的距离计算方法具体为：
步骤3.1、遍历S中的线段，将那些与l的包围盒相交的线段保存到S′中，如果S′为空，转步骤3.5，否则转步骤3.2；
步骤3.2、遍历S′中的线段，将与l的夹角小于25°的线段保存到S″中，如果S″为空，转步骤3.5，否则转步骤3.3；
步骤3.3、遍历S″中的线段，将与l的中点距离最近的线段作为对应线段ls；
步骤3.4、，计算l相对于ls的距离将其作为线段l到线段集S的距离并返回；
步骤3.5、将100作为线段l到线段集S的距离并返回。
10.如权利要求9所述的基于直线段的异源图像匹配方法，其特征在于，步骤3.4中，
l相对于ls的距离的计算方法具体为：
设A、B为l的端点，C、D为ls的端点，令dA、dB分别表示A、B到ls的距离，定义其中l的端点到线段ls的距离计算方法如下：
步骤3.4.1、为l的端点vl定义矩形邻域R，其中端点vl为R的中心，端点vl距离R的四个边长均为10个像素；其中vl＝A或B；
步骤3.4.2、若ls的支撑直线穿过了R，转步骤3.4.3，否则转步骤3.4.6；所述线段的支撑直线是包含该线段的直线；
步骤3.4.3、分别判断ls的两个端点是否在R内，如果均不在R内转步骤3.4.4，如果有端点落在了R内，则将该端点与vl的距离作为并返回；
步骤3.4.4、判断线段ls是否与R相交，如果相交转步骤3.4.5，否则转步骤3.4.6；
步骤3.4.5、将vl到ls支撑直线的距离作为并返回；
步骤3.4.6、将的值设为50并返回。
CN201711435566.7A 2017-12-26 2017-12-26 一种基于直线段的异源图像匹配方法 Active CN108305277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711435566.7A CN108305277B (zh) 2017-12-26 2017-12-26 一种基于直线段的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711435566.7A CN108305277B (zh) 2017-12-26 2017-12-26 一种基于直线段的异源图像匹配方法

Publications (2)

Publication Number Publication Date
CN108305277A true CN108305277A (zh) 2018-07-20
CN108305277B CN108305277B (zh) 2020-12-04

Family

ID=62867424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711435566.7A Active CN108305277B (zh) 2017-12-26 2017-12-26 一种基于直线段的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN108305277B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443359A (zh) * 2018-09-27 2019-03-08 北京空间机电研究所 一种地面全景影像的地理定位方法
CN110288620A (zh) * 2019-05-07 2019-09-27 南京航空航天大学 基于线段几何特征的图像匹配方法及飞行器导航方法
CN112001927A (zh) * 2020-07-14 2020-11-27 南京航空航天大学 基于线基元几何空间关系连接的电力线检测方法
CN113095384A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于直线段上下文特征的遥感图像匹配方法
CN113313707A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 原始图像处理方法、装置、设备及可读存储介质
CN113393524A (zh) * 2021-06-18 2021-09-14 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
DE102020122010A1 (de) 2020-08-24 2022-02-24 Bareways GmbH Verfahren und system zur bestimmung einer beschaffenheit einer geografischen linie

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034242A (zh) * 2010-12-24 2011-04-27 清华大学 消逝点检测的平面图像立体转换深度生成方法和装置
CN103324948A (zh) * 2013-07-01 2013-09-25 武汉大学 一种基于线特征的低空遥感影像稳健匹配方法
CN103839262A (zh) * 2014-02-24 2014-06-04 西安电子科技大学 一种基于直线和fft的sar图像配准方法
CN104992431A (zh) * 2015-06-19 2015-10-21 北京邮电大学 多光谱图像配准的方法及装置
CN105184801A (zh) * 2015-09-28 2015-12-23 武汉大学 一种基于多层次策略的光学与sar影像高精度配准方法
CN105844587A (zh) * 2016-03-17 2016-08-10 河南理工大学 一种低空无人机载高光谱遥感影像自动拼接方法
KR20170049759A (ko) * 2015-10-28 2017-05-11 성균관대학교산학협력단 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템
CN106709870A (zh) * 2017-01-11 2017-05-24 辽宁工程技术大学 一种近景影像直线段匹配方法
JP2017182564A (ja) * 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034242A (zh) * 2010-12-24 2011-04-27 清华大学 消逝点检测的平面图像立体转换深度生成方法和装置
CN103324948A (zh) * 2013-07-01 2013-09-25 武汉大学 一种基于线特征的低空遥感影像稳健匹配方法
CN103839262A (zh) * 2014-02-24 2014-06-04 西安电子科技大学 一种基于直线和fft的sar图像配准方法
CN104992431A (zh) * 2015-06-19 2015-10-21 北京邮电大学 多光谱图像配准的方法及装置
CN105184801A (zh) * 2015-09-28 2015-12-23 武汉大学 一种基于多层次策略的光学与sar影像高精度配准方法
KR20170049759A (ko) * 2015-10-28 2017-05-11 성균관대학교산학협력단 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템
CN105844587A (zh) * 2016-03-17 2016-08-10 河南理工大学 一种低空无人机载高光谱遥感影像自动拼接方法
JP2017182564A (ja) * 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN106709870A (zh) * 2017-01-11 2017-05-24 辽宁工程技术大学 一种近景影像直线段匹配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENJIN LYU ET AL.: ""Remote Sensing Image Registrarion with Line Segments and Their Intersections"", 《REMOTE SENSING》 *
CHUNYANG ZHAO ET AL.: ""Multimodal image matching based on Multimodality Robust Line Segment Descriptor"", 《NEUROCOMPUTING》 *
刘勇: ""基于点线综合特征的双目视觉SLAM方法"", 《万方数据知识服务平台》 *
王力: ""基于直线特征的异源景象匹配技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443359A (zh) * 2018-09-27 2019-03-08 北京空间机电研究所 一种地面全景影像的地理定位方法
CN110288620A (zh) * 2019-05-07 2019-09-27 南京航空航天大学 基于线段几何特征的图像匹配方法及飞行器导航方法
CN110288620B (zh) * 2019-05-07 2023-06-23 南京航空航天大学 基于线段几何特征的图像匹配方法及飞行器导航方法
CN112001927A (zh) * 2020-07-14 2020-11-27 南京航空航天大学 基于线基元几何空间关系连接的电力线检测方法
CN112001927B (zh) * 2020-07-14 2024-04-16 南京航空航天大学 基于线基元几何空间关系连接的电力线检测方法
DE102020122010A1 (de) 2020-08-24 2022-02-24 Bareways GmbH Verfahren und system zur bestimmung einer beschaffenheit einer geografischen linie
DE102020122010B4 (de) 2020-08-24 2023-05-04 Bareways GmbH Verfahren und system zur bestimmung einer beschaffenheit einer geografischen linie
CN113095384A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于直线段上下文特征的遥感图像匹配方法
CN113393524A (zh) * 2021-06-18 2021-09-14 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113393524B (zh) * 2021-06-18 2023-09-26 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113313707A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 原始图像处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN108305277B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN108305277A (zh) 一种基于直线段的异源图像匹配方法
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN106485740B (zh) 一种结合稳定点和特征点的多时相sar图像配准方法
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN110533722A (zh) 一种基于视觉词典的机器人快速重定位方法及系统
Cohen et al. Discovering and exploiting 3d symmetries in structure from motion
CN106023298B (zh) 基于局部泊松曲面重建的点云刚性配准方法
CN109960402B (zh) 一种基于点云和视觉特征融合的虚实注册方法
CN109598765A (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN108921895B (zh) 一种传感器相对位姿估计方法
CN109993800A (zh) 一种工件尺寸的检测方法、装置及存储介质
CN105069843A (zh) 一种面向城市三维建模的密集点云的快速提取方法
WO2011115143A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN108921864A (zh) 一种光条中心提取方法及装置
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
Hildebrandt et al. Imu-aided stereo visual odometry for ground-tracking auv applications
CN104268880A (zh) 基于特征和区域匹配相结合的深度信息获取方法
Lv et al. Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
Shao A Monocular SLAM System Based on the ORB Features
Liu et al. A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning
CN114565642A (zh) 基于无人机热红外影像序列的光流流速场测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant