CN114511719A - 一种图像匹配方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像匹配方法、装置、设备及存储介质。本申请实施例提供的技术方案通过获取待匹配图像和待匹配图像对应的位置数据，并根据位置数据对待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，并对于每个相邻帧的图像群，对待匹配图像进行特征点匹配得到多个匹配对，并且每个特征点对应设定数量的匹配对，并进一步筛选满足环形约束条件的匹配对，对筛选后的匹配对进行三角化得到空间点，并筛选满足运动约束条件的空间点，根据筛选后的空间点确定图像匹配结果，基于环形约束条件和运动约束条件筛除由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，提高图像匹配的准确度与匹配效果。

Description

一种图像匹配方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像匹配方法、装置、设备及存储介质。

背景技术

目前，对场景(例如农田、建筑、道路等)的测绘和重建一般是通过无人机采集现场的图像，并提取图像数据的特征点，基于图像数据间的特征点进行特征匹配，以构建图像点对点的关联关系，以基于图像数据间的关联关系构建运动约束并恢复场景对应的三维结构。

现有的图像匹配方案，一般是通过计算两张图像之间特征点进行相似性度量，例如计算两个图像之间的特征点的欧氏距离，并且基于最短欧氏距离筛选用于构建匹配对的特征点。但是由于无人机在飞行过程中会存在多种旋转和位移，导致图像之间的共视区域存在遮挡、变形等情况，容易出现正确的匹配对并不是欧式距离最小的特征点的情况，导致产生图像匹配效果较差。

发明内容

本申请实施例提供一种图像匹配方法、装置、设备及存储介质，以解决现有技术中由于无人机在飞行过程中会存在多种旋转和位移，出现正确的匹配对并不是欧式距离最小的特征点，导致产生图像匹配效果较差的技术问题，根据图像之间的约束关系筛选匹配对，提高图像匹配效果。

在第一方面，本申请实施例提供了一种图像匹配方法，包括：

获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；

在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；

基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；

对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

在第二方面，本申请实施例提供了一种图像匹配装置，包括图像聚合模块、特征匹配模块、环形约束模块和运动约束模块，其中：

所述图像聚合模块，用于获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；

所述特征匹配模块，用于在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；

所述环形约束模块，用于基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；

所述运动约束模块，用于对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

在第三方面，本申请实施例提供了一种图像匹配设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像匹配方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图像匹配方法。

本申请实施例通过获取待匹配图像和待匹配图像对应的位置数据，并根据位置数据对待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，并对于每个相邻帧的图像群，对待匹配图像进行特征点匹配得到多个匹配对，并且每个特征点对应设定数量的匹配对，并进一步筛选满足环形约束条件的匹配对，对筛选后的匹配对进行三角化得到空间点，并筛选满足运动约束条件的空间点，根据筛选后的空间点确定图像匹配结果，基于环形约束条件和运动约束条件筛除由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，提高图像匹配的准确度与匹配效果。

附图说明

图1是本申请实施例提供的一种图像匹配方法的流程图；

图2是本申请实施例提供的另一种图像匹配方法的流程图；

图3是本申请实施例提供的一种移动轨迹和聚合位置范围的示意图；

图4是本申请实施例提供的一种基于环形约束条件筛选匹配对的示意图；

图5是本申请实施例提供的一种基于运动约束条件的空间点筛选流程示意图；

图6是本申请实施例提供的一种图像匹配装置的结构示意图；

图7是本申请实施例提供的一种图像匹配设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种图像匹配方法的流程图，本申请实施例提供的图像匹配方法可以由图像匹配装置来执行，该图像匹配装置可以通过硬件和/或软件的方式实现，并集成在图像匹配设备中。

下述以图像匹配装置执行图像匹配方法为例进行描述。参考图1，该图像匹配方法包括：

S101：获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群。

本实施例提供的待匹配图像由摄像机进行拍摄得到，其中摄像机可以是搭载在移动载具中，由移动载具带动摄像机在需要需要进行图像匹配或三维重建的目标区域(例如农田、建筑、道路)移动，并在移动过程中对目标区域进行拍摄。其中摄像机可直接输出图片格式的图像数据作为待匹配图像，还可以是输出视频格式的图像数据，并从图像数据中选取图像帧作为待匹配图像。其中移动载具可以是车辆、无人机等。

进一步的，在摄像机或移动载具上还搭载有定位装置(例如RTK定位模块)，在拍摄待匹配图像(图像数据)的同时，还通过定位装置实时获取位置数据，并确定待匹配图像与位置数据的对应关系。其中，在对相邻位置(不一定是前后相邻时间的拍摄位置，还可以是在折弯后相对或相同方向移动时的拍摄位置)进行拍摄时，对应的待匹配图像之间存在共视区域，即相邻定位的待匹配图像之间存在重合或重复的区域。

可以理解的是，在通过摄像机在不同位置拍摄待匹配图像(图像数据)时，由于在移动过程中不可避免的会发生多种不同的旋转、位移等运行，相邻位置拍摄得到的待匹配图像之间的共视区域会存在遮挡、变形的情况，这种遮挡对图像之间图像特征点(描述子)的匹配影响较大，在极端情况下(例如出现重复纹理时)，对特征点匹配的影响更大。在这种情况下，正确的匹配对可能并不是欧氏距离最小的两个特征点，而可能是第二、第三或者第K小的特征，现有基于固定阈值筛选匹配对的方法，显然无法应对这样的情况，导致产生较多的错误匹配。本方案先将相邻拍摄位置的待匹配图像加入到同一个相邻帧图像群中，并在每个相邻帧图像群内基于特征点构建多图匹配约束，基于环形约束匹配和运动约束匹配确定最终准确的匹配对，获得更加稳定、准确的数据关联关系。

其中，相邻帧图像群可理解为拍摄位置相近的待匹配图像的集合。示例性的，在得到待匹配图像和待匹配图像的位置数据后，根据位置数据对全部待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，每个相邻帧图像群内的所有待匹配图像对应的位置数据均在设定的聚合位置范围内。在一个实施例中，一个待匹配图像至少与同一相邻帧图像群中的其他两个待匹配图像存在共视区域。其中，一个待匹配图像可同时存在于多个相邻帧图像群中。

本方案基于位置数据对待匹配图像进行相邻帧聚合，将相邻拍摄位置的待匹配图像聚集在同一个相邻帧图像群中，相邻帧图像群中的待匹配图像的拍摄位置以及图像空间位置较为接近，待匹配图像自之间的公式关系也更多，存在大量的匹配对之间的约束，在相邻帧图像群内进行匹配对的筛选，可有效减少计算量，提高图像匹配效率。

S102：在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对。

示例性的，在得到多个相邻帧图像群后，分别在每个相邻帧图像群中提取每个待匹配图像的特征点。例如基于SIFT(Scale-invariant feature transform，尺度不变特征变换)算法提取待匹配图像中的特征点(描述子)。一般的，一个待匹配图像中可提取到多个特征点。进一步的，在每个相邻帧图像群中进行特征点匹配得到多个匹配对，并且待匹配图像的每个特征点对应设定数量的匹配对。其中，设定数量大于1。

其中，对待匹配图像提取特征点的特征提取算法可以是LBP特征提取算法、HOG特征提取算法、Haar特征提取算子、LoG特征提取算法、Harris角点特征提取算法、SIFT特征提取算法、SURF特征提取算法等，本实施例以SIFT特征提取算法为例进行示例性描述。

在现有技术中，对于两张图像，一般是将欧氏距离最小的两个特征点构建匹配对，即一个特征点只对应一个匹配对，本方案保留最小欧氏距离之外的多个(设定数量-1)匹配点构建匹配对，再对这些匹配对进行筛选，确定正确的匹配对，减少由于移动过程中出现旋转和位移，图像之间的共视区域存在遮挡、变形等情况，导致正确的匹配对并不是欧式距离最小的特征点的情况。

在一个实施例中，可根据匹配点之间相似度的排序，将排序在设定数量内的匹配对构建匹配对，基于此，本方案在对待匹配图像进行特征点匹配得到多个匹配对时，具体包括：

S1021：确定所述待匹配图像的特征点，对同一相邻帧图像群内的待匹配图像进行特征点匹配，确定各个特征点的多个候选匹配点以及对应的相似度。

S1022：按照所述相似度对每个特征点对应的候选匹配点进行排序，并根据排序结果在设定数量之内的候选匹配点确定所述特征点对应的匹配对。

具体的，基于设定的特征提取算法提取每个待匹配图像的候选点，并在每个相邻帧图像群中进行特征点匹配，确定各个特征点的多个候选匹配点以及对应的相似度。即对于一个相邻帧图像群中的一个待匹配图像中的一个特征点，计算该特征点与同一相邻帧图像群中的全部待匹配图像中的全部特征点的相似度。其中，一个相邻帧图像群中的一个待匹配图像中的一个特征点对应的候选匹配点，为该特征点与同一相邻帧图像群中的全部待匹配图像中的全部特征点。

其中特征点与候选匹配点的相似度可以通过余弦相似度进行表示，余弦相似度越高，特征点与候选匹配点的相似度越高，另外，还可通过特征点距离(例如欧氏距离、汉明距离、哈曼顿距离等)进行表示，特征点距离越小，特征点与候选匹配点的相似度越高。

进一步的，对于每个特征点，分别针对同一相邻帧图像中其余待匹配图像，按照相似度对候选匹配点进行排序，其中，相似度越高，对应候选匹配点的排名越靠前。在完成对候选匹配点的排序后，分别针对同一相邻帧图像中其余待匹配图像，筛选出排序结果在第一预设数量之内的候选匹配点，并将筛选出的候选匹配点分别与该特征点构建匹配对，第一预设数量与同一相邻帧图像中其余待匹配图像的乘积即为设定数量，即每个特征点保留第一设定数量的匹配对。

S103：基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对。

示例性的，在得到每个特征点对应设定数量的匹配对后，基于设定的环形约束条件，在每个相邻帧图像群中筛选满足环形约束条件的匹配对。其中，在满足环形约束条件的匹配对中，从一个匹配对出发，依次经过同一相邻帧图像群中其他待匹配图像的匹配对后，形成匹配对闭环。

S104：对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

示例性的，对于每个相邻帧图像群，对筛选后的匹配对进行三角化，得到每个匹配对中两个特征点所对应的空间点。进一步的，基于设定的运动约束条件筛选空间点，得到满足运动约束条件的空间点，并且在满足所述运动约束条件的空间点中，空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离在设定偏离阈值内。

进一步的，在完成对空间点的筛选后，根据筛选后的空间点确定图像匹配结果。即筛选后剩余的所有空间点对应的匹配对即为对应待匹配图像之间最终的特征点匹配关系。该图像匹配结果可为深度学习方法估计特征提取和匹配模型提供大量准确的训练数据集，以及进行更精确的三维建模。

上述，通过获取待匹配图像和待匹配图像对应的位置数据，并根据位置数据对待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，并对于每个相邻帧的图像群，对待匹配图像进行特征点匹配得到多个匹配对，并且每个特征点对应设定数量的匹配对，并进一步筛选满足环形约束条件的匹配对，对筛选后的匹配对进行三角化得到空间点，并筛选满足运动约束条件的空间点，根据筛选后的空间点确定图像匹配结果，基于环形约束条件和运动约束条件筛除由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，提高图像匹配的准确度与匹配效果。

在上述实施例的基础上，图2给出了本申请实施例提供的另一种图像匹配方法的流程图，该图像匹配方法是对上述图像匹配方法的具体化。参考图2，该图像匹配方法包括：

S201：获取待匹配图像和所述待匹配图像对应的位置数据。

S202：根据所述位置数据以及多个设定的聚合位置范围，确定不同的待匹配图像所对应的聚合位置范围，并基于各个聚合位置范围内的待匹配图像得到多个相邻帧图像群。

具体的，预先根据目标范围设定多个聚合位置范围，在后续得到匹配图像和对应的位置数据后，将根据待匹配图像的位置数据与各个聚合位置范围的对应关系，对待匹配图像进行相邻帧聚合。其中，相邻的聚合位置范围之间存在重合区域。

进一步的，根据位置数据确定与每个待匹配图像所对应的聚合位置范围，并分别将各个聚合位置范围内的待匹配图像进行聚合，得到各个聚合位置范围内的相邻帧图像群。

在一个实施例中，待匹配图像基于设定的移动轨迹进行拍摄得到，并且聚合位置范围基于移动轨迹进行确定。示例性的，在根据需要进行图像匹配或三维重建的目标范围中设定移动轨迹，后续移动载具将按照设定的移动轨迹移动，同时摄像机在移动的过程中进行待匹配图像的拍摄。进一步的，在确定移动轨迹后，按照移动轨迹在目标范围中确定多个进行相邻帧聚合的聚合位置范围。

图3是本申请实施例提供的一种移动轨迹和聚合位置范围的示意图，如图3所示，其中L1为移动轨迹，移动轨迹L1的箭头为移动方向，其中S1和S2为其中两个聚合位置范围，聚合位置范围S1和聚合位置范围S2存在重合区域，1～20为按照移动轨迹L1移动过程中拍摄的待匹配图像。在按照移动轨迹移动并拍摄待匹配图像后，假设待匹配图像3、4、7、8对应的位置数据在聚合位置范围S1内，那么聚合位置范围S1对应的相邻帧图像群中的待匹配图像对应的标号有3、4、7、8，对应的，假设待匹配图像8、9、12、13对应的位置数据在聚合位置范围S1内，那么聚合位置范围S1对应的相邻帧图像群中的待匹配图像对应的标号有8、9、12、13，其中待匹配图像8同时存在于聚合位置范围S1和S2中。

S203：在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对。

S204：在每个相邻帧图像群中，从其中一个待匹配图像中的一个匹配对出发，依次经过同一相邻帧图像群中其他待匹配图像的匹配对，并将形成匹配闭环的匹配对确定为满足所述环形约束条件的匹配对。

具体的，对于每个相邻帧图像群中的每个待匹配图像，遍历每一个特征点对应的匹配对，分别从该特征点对应的匹配对出发，按照头尾相接的形式，依次经过同一相邻帧图像群中其他待匹配图像的匹配对，寻找可回到该特征点的匹配对线路，该匹配对线路对应的匹配对即形成匹配闭环。

在遍历每一个特征点对应的匹配对后，保留可形成匹配闭环的匹配对，并将未存在与匹配闭环的匹配对剔除。可以理解的是，对于不能形成匹配闭环的匹配对，其可能是由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，可将这些错误匹配对剔除，保证剩余的匹配对的正确性。在筛选后的匹配对中，其对应的特征点间的相似度有可能是最高相似度，也有可能是第二、第三或者第K高的特征，通过环形约束保留正确匹配的匹配对，并将大量错误的匹配对剔除，有效保证匹配对的正确性。

图4是本申请实施例提供的一种基于环形约束条件筛选匹配对的示意图，如图4所示，以一个相邻帧图像群中的4个待匹配图像为例(图中a1-a4)，假设每个特征点在相邻待匹配图像中的匹配点数量为2个，即每个特征点在相邻待匹配图像中对应的匹配对为2个，对于待匹配图像a1中的一个特征点P，从由特征点P出发，分别与待匹配图像a2的2个特征点形成匹配对，待匹配图像a2中的每个特征点分别与待匹配图像a3中的2个特征点形成匹配对，待匹配图像a3中的每个特征点分别与待匹配图像a4中的2个特征点形成匹配对，待匹配图像a4中的每个特征点分别与待匹配图像a1中的2个特征点(其中一个为特征点P)形成匹配对。因此，匹配的特征点数量的变化为：1-2-4-8-16，于是，从待匹配图像a1出发的特征点P，最终从待匹配图像a4匹配回来的特征点总共有16个，环形约束条件即是在这16个约束中找到起点，若能够在最终的16个匹配的特征点中找到构成环形匹配的起点，即形成匹配点闭环(例如图中闭环线路L2)，则保留这些匹配对，其他任何不满足环形匹配约束的匹配对都予以剔除，从而去除大量错误匹配。

S205：对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

在一个实施例中，在满足所述运动约束条件的空间点中，空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离在设定偏离阈值内，基于此，如图5提供的一种基于运动约束条件的空间点筛选流程示意图所示，本方案在基于设定的运动约束条件筛选空间点时，具体为：

S2051：根据空间点以及对应待匹配图像的摄像机参数，计算每个所述空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离。

具体的，对于每一个空间点，分别根据空间点的坐标信息以及对应待匹配图像的摄像机参数，将空间点投影到对应待匹配图像中，并确定空间点投影到待匹配图像中的投影位置。进一步的，计算空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离。

其中，摄像机参数包括摄像机的旋转参数、平移参数和内参矩阵，其可由摄像机输出得到。可以理解的是，空间点是由特征点反投影到空间坐标中得到的，若对应的匹配对是正确的匹配对，那么将空间点投影到待匹配图像中时，投影位置与对应特征点之间的偏移距离应该在设定偏离阈值内，若偏移距离超过设定偏离阈值，可认为对应的匹配对是错误的匹配对。

S2052：将偏移距离超过设定偏离阈值的空间点确定为错误空间点，并基于设定的鲁棒核函数对所述错误空间点对应的待匹配图像的摄像机参数进行调整，以将所述错误空间点对应的偏移距离约束在设定约束阈值内。

具体的，对于每一个空间点，将对应的偏移距离与设定偏离阈值进行比较，若偏移距离在设定偏离阈值之内，则认为对应匹配对是正确匹配对，对应的空间点确定为正确空间点，不对该空间点进行约束处理；若偏移距离大于设定偏离阈值，则认为对应匹配对是错误匹配对，对应的空间点为错误空间点。

进一步的，在发现错误空间点时，基于设定的鲁棒核函数对错误空间点对应的待匹配图像的摄像机参数进行调整，以将错误空间点对应的偏移距离约束在设定约束阈值内。

需要进行解释的是，本方案在发现错误空间点时，并未将错误空间点剔除，而是在运动约束优化的过程中基于设定的鲁棒核函数不断调整摄像机参数，在运动约束优化结束之后才剔除错误空间点，减少由于提前剔除错误空间点导致将错误判断空间点的情况。

S2053：从所述空间点中筛除错误空间点，以得到满足所述运动约束条件的空间点。

具体的，在完成对所有空间点的运动约束优化后，将空间点中的错误空间点筛除，剩下的空间点即为满足所述运动约束条件的空间点，可根据这些筛选后的空间点确定图像匹配结果。

在一个实施例中，在通过环形匹配约束筛除大量错误匹配对后，仍有少量不满足整体运动约束的匹配对，在将所有匹配对分别进行三角化得到空间点后，可通过SFM算法构建运动约束对空间点进行联合优化。具体的，本方案提供的空间点可基于以下运动恢复结构公式进行联合优化与筛选：

其中，P为空间点，M为空间点的数量，R和t为摄像机的旋转参数和平移参数，K为摄像机的内参矩阵，x为空间点对应的特征点x，

中的上标2表示二次型计算，下标γ表示鲁棒核函数(例如Huber鲁棒核函数)。

进一步的，本方案提供的鲁棒核函数可基于以下公式确定：

其中d＝x-K(RP+t)，δ为设定偏离阈值，2δ|d|-δ²为设定约束阈值。

需要进行解释的是，由于待匹配图像是单次全局曝光获取的，所有正确的匹配对具有与移动载具(例如无人机)相同的运动趋势，而错误的匹配对通常是无序的运动，因此在使得运动恢复结构公式的目标函数(即F(R,t,P))最小的情况下，无序运动的错误匹配对会产生非常大的代价值，使得图像匹配问题可能发散。因此，本方案设置单个残差项的最大阈值条件，即引入Huber鲁邦核函数，将这部分错误的匹配对进行剔除，从而保证图像匹配的准确性以及最终匹配对的可靠性。

上述，通过获取待匹配图像和待匹配图像对应的位置数据，并根据位置数据对待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，并对于每个相邻帧的图像群，对待匹配图像进行特征点匹配得到多个匹配对，并且每个特征点对应设定数量的匹配对，并进一步筛选满足环形约束条件的匹配对，对筛选后的匹配对进行三角化得到空间点，并筛选满足运动约束条件的空间点，根据筛选后的空间点确定图像匹配结果，基于环形约束条件和运动约束条件筛除由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，提高图像匹配的准确度与匹配效果。同时，通过环形约束保留正确匹配的匹配对，并将大量错误的匹配对剔除，有效保证匹配对的正确性。以及通过记录超出设定偏离阈值的空间点，从而过滤不满足运动约束条件的匹配对，从而得到最优的匹配对和无人机姿态以及三维场景结构。并且在发现错误空间点时，并未将错误空间点剔除，而是在运动约束优化的过程中基于设定的鲁棒核函数不断调整摄像机参数，在运动约束优化结束之后才剔除错误空间点，减少由于提前剔除错误空间点导致将错误判断空间点的情况。

图6给出了本申请实施例提供的一种图像匹配装置的结构示意图。参考图6，该图像匹配装置包括图像聚合模块61、特征匹配模块62、环形约束模块63和运动约束模块64。

其中，所述图像聚合模块61，用于获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；所述特征匹配模块62，用于在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；所述环形约束模块63，用于基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；所述运动约束模块64，用于对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

上述，通过获取待匹配图像和待匹配图像对应的位置数据，并根据位置数据对待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，并对于每个相邻帧的图像群，对待匹配图像进行特征点匹配得到多个匹配对，并且每个特征点对应设定数量的匹配对，并进一步筛选满足环形约束条件的匹配对，对筛选后的匹配对进行三角化得到空间点，并筛选满足运动约束条件的空间点，根据筛选后的空间点确定图像匹配结果，基于环形约束条件和运动约束条件筛除由于旋转和平移产生图像间共视区域的遮挡和形变导致的错误匹配对，提高图像匹配的准确度与匹配效果。

本申请实施例还提供了一种图像匹配设备，该图像匹配设备可集成本申请实施例提供的图像匹配装置。图7是本申请实施例提供的一种图像匹配设备的结构示意图。参考图7，该图像匹配设备包括：输入装置73、输出装置74、存储器72以及一个或多个处理器71；所述存储器72，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器71执行，使得所述一个或多个处理器71实现如上述实施例提供的图像匹配方法。其中输入装置73、输出装置74、存储器72和处理器71可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器72作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的图像匹配方法对应的程序指令/模块(例如，图像匹配装置中的图像聚合模块61、特征匹配模块62、环形约束模块63和运动约束模块64)。存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置73可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。

处理器71通过运行存储在存储器72中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像匹配方法。

上述提供的图像匹配装置、设备和计算机可用于执行上述任意实施例提供的图像匹配方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的图像匹配方法，该图像匹配方法包括：获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像匹配方法，还可以执行本申请任意实施例所提供的图像匹配方法中的相关操作。

上述实施例中提供的图像匹配装置、设备及存储介质可执行本申请任意实施例所提供的图像匹配方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像匹配方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (13)

1.一种图像匹配方法，其特征在于，包括：

获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；

在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；

基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；

对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

2.根据权利要求1所述的图像匹配方法，其特征在于，所述根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群，包括：

根据所述位置数据以及多个设定的聚合位置范围，确定不同的待匹配图像所对应的聚合位置范围，并基于各个聚合位置范围内的待匹配图像得到多个相邻帧图像群。

3.根据权利要求2所述的图像匹配方法，其特征在于，所述待匹配图像基于设定的移动轨迹进行拍摄得到，所述聚合位置范围基于所述移动轨迹进行确定。

4.根据权利要求1所述的图像匹配方法，其特征在于，所述对所述待匹配图像进行特征点匹配得到多个匹配对，包括：

确定所述待匹配图像的特征点，对同一相邻帧图像群内的待匹配图像进行特征点匹配，确定各个特征点的多个候选匹配点以及对应的相似度；

按照所述相似度对每个特征点对应的候选匹配点进行排序，并根据排序结果在设定数量之内的候选匹配点确定所述特征点对应的匹配对。

5.根据权利要求1所述的图像匹配方法，其特征在于，在满足所述环形约束条件的匹配对中，从一个匹配对出发，依次经过同一相邻帧图像群中其他待匹配图像的匹配对后，形成匹配对闭环。

6.根据权利要求5所述的图像匹配方法，其特征在于，所述基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对，包括：

在每个相邻帧图像群中，从其中一个待匹配图像中的一个匹配对出发，依次经过同一相邻帧图像群中其他待匹配图像的匹配对，并将形成匹配闭环的匹配对确定为满足所述环形约束条件的匹配对。

7.根据权利要求1所述的图像匹配方法，其特征在于，在满足所述运动约束条件的空间点中，所述空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离在设定偏离阈值内。

8.根据权利要求7所述的图像匹配方法，其特征在于，所述基于设定的运动约束条件筛选所述空间点，包括：

根据空间点以及对应待匹配图像的摄像机参数，计算每个所述空间点在对应待匹配图像中的投影位置与对应特征点之间的偏移距离；

将偏移距离超过设定偏离阈值的空间点确定为错误空间点，并基于设定的鲁棒核函数对所述错误空间点对应的待匹配图像的摄像机参数进行调整，以将所述错误空间点对应的偏移距离约束在设定约束阈值内；

从所述空间点中筛除错误空间点，以得到满足所述运动约束条件的空间点。

9.根据权利要求8所述的图像匹配方法，其特征在于，所述空间点基于以下运动恢复结构公式进行筛选：

其中，P为空间点，M为空间点的数量，R和t为摄像机的旋转参数和平移参数，K为摄像机的内参矩阵，x为空间点对应的特征点x，

中的上标2表示二次型计算，下标γ表示鲁棒核函数。

10.根据权利要求9所述的图像匹配方法，其特征在于，所述鲁棒核函数基于以下公式确定：

其中d＝x-K(RP+t)，δ为设定偏离阈值。

11.一种图像匹配装置，其特征在于，包括图像聚合模块、特征匹配模块、环形约束模块和运动约束模块，其中：

所述图像聚合模块，用于获取待匹配图像和所述待匹配图像对应的位置数据，根据所述位置数据对所述待匹配图像进行相邻帧聚合，得到多个相邻帧图像群；

所述特征匹配模块，用于在每个相邻帧图像群中，对所述待匹配图像进行特征点匹配得到多个匹配对，所述待匹配图像的每个特征点对应设定数量的匹配对；

所述环形约束模块，用于基于设定的环形约束条件，在每个相邻帧图像群中筛选满足所述环形约束条件的匹配对；

所述运动约束模块，用于对筛选后的匹配对进行三角化得到空间点，并基于设定的运动约束条件筛选所述空间点，并根据筛选后的空间点确定图像匹配结果。

12.一种图像匹配设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10任一项所述的图像匹配方法。

13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10任一项所述的图像匹配方法。

Images