CN113837246B

CN113837246B - 图像的匹配方法及其匹配装置、无人设备

Info

Publication number: CN113837246B
Application number: CN202111038918.1A
Authority: CN
Inventors: 叶培楚; 曾宪贤
Original assignee: Guangzhou Xaircraft Technology Co Ltd
Current assignee: Guangzhou Xaircraft Technology Co Ltd
Priority date: 2021-09-06
Filing date: 2021-09-06
Publication date: 2022-12-27
Anticipated expiration: 2041-09-06
Also published as: CN113837246A

Abstract

本申请提供了一种图像的匹配方法及其匹配装置、无人设备。该图像的匹配方法包括获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像；获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定；选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像；将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。本申请实施例能够减少特征匹配过程中待匹配图像所需匹配的特征点，且同时提高特征匹配的速度和准确率。

Description

图像的匹配方法及其匹配装置、无人设备

技术领域

本申请涉及无人技术领域，具体涉及一种图像的匹配方法及其匹配装置、无人设备。

背景技术

目前，图像的匹配方法通常将待匹配图像和待匹配图像的相邻图像中均提取尺度不变特征转换(Scale Invariant Feature Transform，SIFT)特征点，在对待匹配图像进行匹配时，会将待匹配图像上的所有SIFT特征点进行特征匹配，且针对待匹配图像上的任意一个SIFT特征点，在待匹配图像的相邻图像中所有的SIFT特征点中搜索最佳匹配点。

然而，这种将待匹配图像上的所有SIFT特征点进行特征匹配，且在待匹配图像的相邻图像中所有的SIFT特征点中搜索最佳匹配点的方式搜索范围较大，所耗费的时间较长，严重影响无人设备在特征匹配后实时三维重建的效率。且对于重复纹理场景如农业、建筑物等，这种方式造成的错误匹配出现的概率较大，不利于后续三维重建的精度。

发明内容

有鉴于此，本申请提供了一种图像的匹配方法及其匹配装置、无人设备，从而能够减少特征匹配过程中待匹配图像所需匹配的特征点，且同时提高特征匹配的速度和准确率。

本申请的第一方面提供了一种图像的匹配方法。该图像的匹配方法包括获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像；获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定；选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像；将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。

在本申请一实施例中，上述将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，包括：将第一匹配区域划分成多个子图；选择多个子图中每个子图的第一顶点的坐标作为每个子图的起始索引坐标；基于每个子图的起始索引坐标对多个子图中每个子图上的第一特征点与匹配图像上目标区域内的第二特征点执行并行化特征匹配，其中，目标区域为匹配图像上围绕与第一特征点对应的第三特征点所设定的区域。

在本申请一实施例中，在上述选择多个子图中每个子图的第一顶点的坐标作为每个子图的起始索引坐标之后，该图像的匹配方法还包括获取第一匹配区域的第二顶点的起始坐标位置；根据起始坐标位置并结合每个子图的大小校正每个子图的起始索引坐标，第一顶点在每个子图上的方位与第二顶点在第一匹配区域上的方位相同。

在本申请一实施例中，在上述获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像之前，该图像的匹配方法还包括：获取无人设备在第一轨迹上的第三拍摄位置采集的第三图像；根据第一拍摄位置和第三拍摄位置确定第一轨迹对应的第一直线；确定经由第一拍摄位置且与第一直线垂直的第二直线；实时获取绝对位置信息；在绝对位置信息与第二直线之间的最短距离小于预设值时，将绝对位置信息对应的位置确定为第二拍摄位置。

在本申请一实施例中，该图像的匹配方法还包括：在选择第二图像作为待匹配图像时，获取无人设备在第三轨迹上的第四拍摄位置采集的第四图像，其中，第四拍摄位置由绝对位置信息和第一拍摄位置确定或由绝对位置信息和第二拍摄位置确定，第三轨迹与第二轨迹平行且相邻，第一拍摄位置、第二拍摄位置和第四拍摄位置的连线垂直于第一轨迹；将待匹配图像的第二匹配区域上的第四特征点与第四图像上的第五特征点进行特征匹配，其中，第二匹配区域为待匹配图像上与第四图像相互重叠的第二重叠区域。

在本申请一实施例中，该图像的匹配方法还包括将待匹配图像的至少一个相邻图像的第三匹配区域上的第六特征点和至少一个相邻图像上的第七特征点进行特征匹配，其中，第三匹配区域为待匹配图像上与至少一个相邻图像相互重叠的第三重叠区域。

在本申请一实施例中，在上述将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配之前，该图像的匹配方法还包括：计算第一重叠区域的长度和/或宽度；根据第一重叠区域的长度和/或宽度将待匹配图像与匹配图像对齐。

在本申请一实施例中，在上述根据第一重叠区域的长度和/或宽度将待匹配图像与匹配图像对齐之后，该图像的匹配方法还包括：将待匹配图像或匹配图像进行翻转180°。

本申请的第二方面提供了一种图像的匹配装置。该图像的匹配装置包括获取模块，用于获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像，还用于获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定；选择模块，用于选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像；特征匹配模块，用于将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。

本申请的第三方面提供了一种无人设备，包括存储器和处理器，存储器上存储有计算机的可执行指令，处理器执行可执行指令时实现如本申请的第一方面提供的任一种图像的匹配方法。

本申请的第四方面提供了一种计算机可读存储介质，其上存储有计算机的可执行指令，可执行指令被处理器执行时实现如本申请的第一方面提供的任一种图像的匹配方法。

根据本申请实施例提供的技术方案，通过设置第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定，从而保证了无人设备中拍摄设备实现同步采集图像的位置(对应于第二拍摄位置)与旁向轨迹采集图像的位置(对应于第一拍摄位置)处在同一水平线上，同时保证了第二图像与第一图像之间的重叠区域尽可能最大。另外，通过将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，且设置第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域，从而无需对待匹配图像上的所有特征点进行提取和匹配，减少了待匹配图像进行特征匹配时所需提取和匹配的特征点的数量，因而可以减少部分计算资源的损耗，提高特征提取的速度，进而实现快速、准确的特征匹配。

附图说明

图1A所示为本申请的第一实施例提供的一种图像的匹配方法的流程示意图。

图1B所示为本申请一实施例提供的一种无人设备的飞行轨迹的示意图。

图2A所示为本申请的第二实施例提供的一种图像的匹配方法的流程示意图。

图2B所示为本申请一实施例提供的第一匹配区域的示意图。

图2C所示为本申请一实施例提供的计算重叠区域的大小对应的示意图。

图3A所示为本申请的第三实施例提供的一种图像的匹配方法的流程示意图。

图3B所示为本申请一实施例提供的第三匹配区域的示意图。

图3C所示为本申请另一实施例提供的计算重叠区域的大小对应的示意图。

图4所示为本申请一实施例提供的一种图像的匹配装置的结构示意图。

图5所示为本申请一实施例提供的一种无人设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1A所示为本申请的第一实施例提供的一种图像的匹配方法的流程示意图。图1B所示为本申请一实施例提供的一种无人设备的飞行轨迹的示意图。该图像的匹配方法的执行主体可以为无人设备上的控制器或处理器等，也可以为与无人设备远程连接的控制终端、手机、电脑等，本申请对此不做具体限定。以下以控制器为执行主体为例。如图1A所示，该图像的匹配方法包括以下步骤。

S110：获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像。

在一些实施例中，无人设备在沿第一轨迹I₁飞行时，可以间隔预设的时间确定拍摄位置，从而在I₁上拍摄至少一个图像。在另一些实施例中，无人设备在沿I₁飞行时，可以在固定的位置处进行拍摄以确定拍摄位置，从而在I₁上拍摄至少一个图像，至少一个图像包括第一图像，本申请对如何在I₁上进行拍摄不做具体限定。

应当理解，无人设备可以为应用于农业或建筑物等各种场景的无人机，只要具有图像拍摄功能即可，本申请对此不做具体限定。第一图像可以为在I₁上拍摄的任何一个图像，本申请对此不做具体限定。第一轨迹I₁可以是无人设备飞行的任意直线路径，例如，可以是无人设备开始飞行的第一个直线路径，也可以是无人设备开始飞行后的第二个、第三个或第四个等直线路径。

举例来说，参考图1B，以第一轨迹I₁为无人设备开始飞行的第一个直线路径为例，在I₁上采集的图像按照采集时间的顺序依次可以包括图像

图像

和图像

第二轨迹I₂上采集的图像按照采集时间的顺序依次可以包括图像

图像

和图像

第三轨迹I₃上采集的图像按照采集时间的顺序依次可以包括图像

和图像

等。应当理解，每一轨迹上可以拍摄一个或多个图像，并不局限于图1B所示的三个图像。除I₁、I₂和I₃以外，无人设备的飞行轨迹还可以包括第四轨迹、第五轨迹等，本申请对此不做具体限定。在一些实施例中，第一图像可以为图像

图像

对应的第一拍摄位置为P₁＝(x₁，y₁)。应当理解，第一拍摄位置还可以包括深度值z，由于飞机高程固定，因而可以忽略深度值z。

S120：获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定。

在一些实施例中，无人设备中装载有实时动态测量(Real-Time Kinematic，RTK)仪器和拍摄设备如相机等，RTK仪器与拍摄设备在无人设备中的位置接近。RTK仪器可以实时提供RTK仪器所在的位置信息，由于RTK仪器与拍摄设备在无人设备中的位置接近，因而RTK仪器提供的绝对位置信息S＝(x’，y’)可以反映无人设备的绝对位置信息。

应当理解，I₁与I₂可以为相互平行的两个轨迹，平行可以为绝对平行，也可以为基本上平行，第一拍摄位置P₁与第二拍摄位置P₂的连线垂直于I₁可以为绝对垂直，也可以为基本上垂直，可以允许存在一定的误差，本申请对此不做具体限定。I₁也可以称为I₂的旁向轨迹。

S130：选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像。

具体地，在选择第一图像作为待匹配图像时，则第二图像作为匹配图像，在选择第二图像作为待匹配图像时，则第一图像作为匹配图像。

S140：将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。

具体而言，可以从待匹配图像的第一匹配区域中提取SIFT特征点，从而得到待匹配图像上的第一特征点，对匹配图像的全部或部分区域提取SIFT特征点，从而得到匹配图像上的第二特征点，进而对第一特征点和第二特征点进行特征匹配。

举例来说，参考图1B，第二图像可以为图像

其中

中的下标表示第二轨迹，上标2表示第二轨迹下第2个相机位置，与图像

对应的第一图像为图像

当图像

为待匹配图像时，可以将图像

作为匹配图像进行特征匹配，具体地，可以将图像

的匹配区域上的第一特征点与图像

上的第二特征点进行特征匹配。当图像

为待匹配图像时，可以将图像

作为匹配图像进行特征匹配。

应当理解，第一特征点表示从第二图像的匹配区域上提取到的任意一个或多个特征点，第二特征点表示从至少一个第一匹配图像上提取到的任意一个或多个特征点。第一重叠区域的大小可以根据实际需求进行设定，例如可以设定为重叠度在50％以上，在一些实施例中，可以调整第一轨迹与第二轨迹之间的距离以调整第一图像与第二图像之间重叠区域的大小，本申请对此不做具体限定。

举例来说，当本申请实施例所提供的任一种图像的匹配方法应用于农田场景图像时，该匹配方法输入的可以是无人设备中拍摄设备拍摄的农田场景图像以及预设的初始轨迹(也可以称为固定轨迹)，该固定轨迹飞行的策略可以为图像的特征匹配提供非常强的先验信息。本申请实施例中的第一轨迹可以是预先设定的，第一轨迹的长度可以根据RTK仪器提供的绝对位置信息S来计算总运行距离来确定，任意相邻的轨迹之间的距离也可以通过计算RTK仪器提供的绝对位置信息S与第一轨迹之间的最短距离进行计算来确定。

根据本申请实施例提供的技术方案，通过设置第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定，从而融合绝对位置信息和第一拍摄位置调整无人设备在沿固定轨迹飞行过程中拍摄的图像位置，实现通过绝对位置信息构建无人设备飞行的运动模型中的的轨迹如第二轨迹等。通过设置第一拍摄位置与第二拍摄位置的连线垂直于第一轨迹，从而保证了无人设备中拍摄设备实现同步采集图像的位置(对应于第二拍摄位置)与旁向轨迹采集图像的位置(对应于第一拍摄位置)处在同一水平线上，同时保证了第二图像与第一图像之间的重叠区域尽可能最大。另外，通过将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，且设置第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域，从而在对待匹配图像进行特征匹配时，由于仅对第一匹配区域上的第一特征点进行提取和匹配，从而无需对待匹配图像上的所有特征点进行提取和匹配，减少了待匹配图像进行特征匹配时所需提取和匹配的特征点的数量，因而可以减少部分计算资源的损耗，提高特征提取的速度，进而实现快速、准确的特征匹配。

图2A所示为本申请的第二实施例提供的一种图像的匹配方法的流程示意图。图2B所示为本申请一实施例提供的第一匹配区域的示意图。图2C所示为本申请一实施例提供的计算重叠区域的大小对应的示意图。图2A所示实施例为图1A所示实施例的一变型例。如图2A所示，与图1A所示实施例的不同之处在于，步骤S1403、S1406和S1409对应于图1A所示实施例中的步骤S140。

S1403：将第一匹配区域划分成多个子图。

应当理解，多个子图的数量可以为2个、3个甚至更多个，多个子图的形状可以为正方形、长方形、三角形等，多个子图的形状和大小可以相同或不同，本申请对此不做具体限定。优先地，多个子图的形状可以为长方形或正方形，这是因为长方形或正方形的长和宽容易确定，从而有利于多个子图中各特征点以及各顶点的坐标的确定。

举例来说，参考图2B，假设匹配图像为第一图像，第一匹配区域为由顶点B、顶点C、顶点D和顶点E的连线所围成的区域，多个子图可以包括子图1、子图2、子图3和子图4。

S1406：选择多个子图中每个子图的第一顶点的坐标作为每个子图的起始索引坐标。

第一顶点可以为每个子图的任意一个顶点。第一顶点的坐标可以为预设的坐标，例如(0，0)，也可以为第一顶点在待匹配图像上的真实坐标。起始索引坐标也可以理解为起点坐标，基于该起始索引坐标，则可以根据各个特征点到起始索引坐标之间的横向距离(x轴上距离)和纵向距离(y轴上距离)确定各个特征点的真实坐标。

S1409：基于每个子图的起始索引坐标对多个子图中每个子图上的第一特征点与匹配图像上目标区域内的第二特征点执行并行化特征匹配，其中，目标区域为匹配图像上围绕与第一特征点对应的第三特征点所设定的区域。

举例来说，参考图2B，可以同时分别对子图1、子图2、子图3和子图4上的第一特征点与第一图像上目标区域内的第二特征点执行特征匹配。

应当理解，目标区域可以为以第三特征点为圆心构建的半径为R的区域，也可以为以第三特征点为集合中心构建的多边形如矩形或三角形等的区域，本申请对此不做具体限定。第三特征点也可以理解为将第一特征点正投影在匹配图像上时，匹配图像上与投影的第一特征点完全重合的特征点。

根据本申请实施例提供的技术方案，通过对多个子图中每个子图上的第一特征点与匹配图像上目标区域内的第二特征点执行并行化特征匹配，一方面由于并行化对多个子图进行特征匹配，因而可以节省特征匹配的时间，提高特征匹配的速度，另一方面，由于目标区域为匹配图像上围绕与第一特征点对应的第三特征点所设定的区域，因而，可以保证第一特征点对应的匹配点在目标区域内，提高特征匹配的准确率，同时，相对于对匹配图像的整个图像搜索匹配点来说，也会节省特征匹配的时间，进一步提高特征匹配的速度。

在本申请一实施例中，在步骤S1406之后，该图像的匹配方法还包括步骤S1407和S1408。

S1407：获取第一匹配区域的第二顶点的起始坐标位置。

举例来说，参考图2B，假设匹配图像为第一图像，第一图像与第二图像的第一重叠区域为由顶点B、顶点C、顶点D和顶点E的连线所围成的区域。第一匹配区域为第二图像上与第一重叠区域对应的区域，对应于图2B中阴影部分。第一匹配区域的第二顶点可以为顶点B、顶点C、顶点D和顶点E中的任何一个。

举例来说，假设第一匹配区域的第二顶点为顶点B，则获取第一匹配区域的第二顶点的起始坐标位置A₀为顶点B的坐标位置。A₀通常不在(0，0)位置处，存在一定的偏移量。在一些实施例中，可以直接将A₀设置为(0，0)，然后执行步骤S140或S1403，再根据A₀的真实坐标(x₀，y₀)校正所有特征匹配完成的第一特征点的位置。在另一些实施例中，也可以直接确定A₀的真实坐标为(x₀，y₀)，然后执行步骤S140或S1403，本申请对此不做具体限定。

S1408：根据起始坐标位置并结合每个子图的大小校正每个子图的起始索引坐标，第一顶点在每个子图上的方位与第二顶点在第一匹配区域上的方位相同。

在一些实施例中，先设置每个子图的起始索引坐标为(0，0)，然后执行步骤S1409，再执行步骤S1407和S1408，校正起始索引坐标后每个子图中的各特征点的坐标也可以相应地校正。在另一些实施例中，也可以先执行步骤S1407和S1408，再执行步骤S1409，本申请对此不做具体限定。

应当理解，每个子图的大小(w，h)可以相同或不同。当每个子图的大小(w，h)相同时，在执行步骤S1409时，可以使得针对每个子图的特征匹配的速度相同，进而保证多个子图的特征匹配的速度最快。

参考图2B，假设第一匹配区域的第二顶点为顶点B，顶点B在第一匹配区域上的方位可以理解为第一匹配区域的左上角，则第二顶点在每个子图上的方位应该为每个子图的左上角。假设第一匹配区域的第二顶点为顶点C，顶点C在第一匹配区域上的方位可以理解为第一匹配区域的右上角，则第二顶点在每个子图上的方位应该为每个子图的右上角。第一匹配区域的第二顶点为顶点D或顶点E时，第二顶点在每个子图上的方位的确定与第一匹配区域的第二顶点为顶点B或顶点C时类似，此处不再赘述。

举例来说，第一匹配区域的第二顶点为顶点B，顶点B的坐标位置即为A₀＝(x₀，y₀)，每个子图的大小均为(w，h)，在执行步骤S1409时，可以设置每个子图的起始索引坐标为(0，0)，在执行步骤S1408时，利用A₀＝(x₀，y₀)和每个子图的大小(w，h)，将子图1的第二顶点的起始索引坐标由(0，0)校正为(0+x₀，0+y₀)，将子图2的第二顶点的起始索引坐标由(0，0)校正为(0+x₀+w，0+y₀),将子图3的第二顶点的起始索引坐标由(0，0)校正为(0+x₀，0+y₀+h),将子图4的第二顶点的起始索引坐标由(0，0)校正为(0+x₀+w，0+y₀+h)。

由于每个子图的特征提取和匹配结果各自互补影响，假设每个子图的起始索引坐标为(0，0)时，(0，0)与每个子图的起始索引坐标在第二图像中的原始坐标不符，因此，在将每个子图的匹配结果进行归并时，可能会因设定的每个子图的起始索引坐标与每个子图的起始索引坐标在第二图像中的原始坐标不符而使得归并后所有轨迹的最终匹配结果造成较大的误差。

本申请实施例中，通过根据起始坐标位置并结合多个子图中每个子图的大小校正每个子图的起始索引坐标，从而将多个子图中每个子图的起始索引坐标恢复为原始坐标，进而可以将所有特征匹配结果恢复为原始坐标，实现精准地归并所有轨迹的最终匹配结果。

在本申请一实施例中，步骤S140或S1403之前还包括步骤S132和S134。

S132：计算第一重叠区域的长度和/或宽度。

举例来说，参考图2C，待匹配图像以图像

为例，匹配图像以图像

为例，假设深度值为z，深度值z也可以称之为高程，拍摄设备的视场角(Field angle Of View，FOV)为θ，第一轨迹与第二轨迹之间的距离为q，则拍摄设备拍摄的范围

那么第一重叠区域在沿与第二轨迹垂直方向上的长度可以为q，在沿与第二轨迹平行方向上的宽度可以为t-q。假设。应当理解，步骤S132计算所得的第一重叠区域的长度和/或宽度为理论值。

S134：根据第一重叠区域的长度和/或宽度将待匹配图像与匹配图像对齐。

具体而言，可以根据第一重叠区域的长度和/或宽度调整第二图像与至少一个第一匹配图像之间的重叠区域，以使调整后的重叠区域的长度和/或宽度与第一重叠区域的长度和/或宽度保持一致，从而将待匹配图像与匹配图像对齐。

应当理解，将待匹配图像与匹配图像对齐后，可以得到重叠区域对应的掩膜(mask)矩阵，该mask矩阵可以均由1表示，非重叠区域可以用0表示。步骤S1403中可以根据mask矩阵将第一匹配区域划分成多个子图。

本申请实施例中，通过根据第一重叠区域的长度和/或宽度将待匹配图像与匹配图像对齐，从而确保待匹配图像与匹配图像之间重叠区域的长度和/宽度的实际值与计算所得的重叠区域的长度和/宽度的理论值之间的一致性，实现了将待匹配图像与匹配图像的重叠区域精准对齐，有利于后续提高特征匹配的准确率。

在本申请一实施例中，步骤S134之后还包括步骤S136。

S136：将待匹配图像或匹配图像进行翻转180°。

由于拍摄第一图像和第二图像时拍摄设备的方向相反，因而第一图像和第二图像相差180°。

本申请实施例中，通过将待匹配图像或匹配图像进行翻转180°，从而实现待匹配图像和匹配图像对齐，保证了待匹配图像与匹配图像之间的重叠区域的相同场景位置的精准匹配，有利于缩小目标区域，同时提高特征匹配的准确率。

图3A所示为本申请的第三实施例提供的一种图像的匹配方法的流程示意图。图3A所示实施例为图1A所示实施例的一变型例。图3B所示为本申请一实施例提供的第三匹配区域的示意图。图3C所示为本申请另一实施例提供的计算重叠区域的大小对应的示意图。

如图3A所示，与图1A所示实施例的不同之处在于，在步骤S120之前，该图像的匹配方法还可以包括步骤S111至S115。

S111：获取无人设备在第一轨迹上的第三拍摄位置采集的第三图像。

应当理解，第三拍摄位置P₃可以在第一拍摄位置P₁之前或之后，第三拍摄位置P₃可以为无人设备在I₁上拍摄的除第一图像以外的任一图像对应的拍摄位置，本申请对此不做具体限定。步骤S111可以在步骤S110之前或之后。

举例来说，参考图1B，第一图像可以为图像

第三图像可以为图像

图像

对应的第三拍摄位置为P₃＝(x₃，y₃)。

S112：根据第一拍摄位置和第三拍摄位置确定第一轨迹对应的第一直线。

由于已知第一拍摄位置P₁和第三拍摄位置P₃，因此可以利用两点式确定第一直线，第一直线可以由第一直线方程式l₁来表示。举例来说，假设第一直线方程式l₁的表达式为ax+by+c＝0，将P₁和P₃代入两点式求解直线方程的公式中得到(x-x₁)/(x₃-x₁)＝(y-y₁)/(y₃-y₁)，则可以求解出a、b和c的值，进而确定第一直线方程式l₁。

S113：确定经由第一拍摄位置且与第一直线垂直的第二直线。

第二直线可以由第二直线方程式l₂来表示。由于l₂与l₁垂直，即l₁ ^Tl₂＝0，两条垂直相交直线的斜率相乘积为-1。假设第一直线方程式l₁的表达式为ax+by+c＝0，第二直线方程式l₂中的斜率k，则

在一些实施例中，可以利用斜截式y＝kx+d，将第一拍摄位置P₁代入斜截式中，从而求解出d的值，进而确定第二直线方程式l₂。

S114：实时获取绝对位置信息。

S115：在绝对位置信息与第二直线之间的最短距离小于预设值时，将绝对位置信息对应的位置确定为第二拍摄位置。

具体而言，在绝对位置信息S与第二直线之间的最短距离小于预设值时，则执行主体如控制器等可以向拍摄设备发出拍摄指令，拍摄设备接收到该拍摄指令后可以将S对应的位置确定为第二拍摄位置P₂，同时进行采集第二图像。

应当理解，预设值可以根据实际的要求进行设定，例如，预设值可以设置为0cm、1cm、2cm、5cm或10cm等，预设值越小，则第二拍摄位置P₂越接近于第二直线。

根据本申请实施例提供的技术方案，通过根据第一拍摄位置和第三拍摄位置确定第一轨迹对应的第一直线第一直线，再根据第二直线与第一直线之间的垂直关系确定第二直线，，进而利用实时获取的绝对位置信息与第二直线之间的最短距离来确定第二拍摄位置，从而实现拍摄设备的轨迹对齐，更能保证无人设备中拍摄设备实现同步采集图像的位置(对应于第二拍摄位置)与旁向轨迹采集图像的位置(对应于第一拍摄位置)处在同一水平线上。

在本申请一实施例中，该图像的匹配方法还包括步骤S150和S160。

S150：在选择第二图像作为待匹配图像时，获取无人设备在第三轨迹上的第四拍摄位置采集的第四图像，其中，第四拍摄位置由绝对位置信息和第一拍摄位置确定或由绝对位置信息和第二拍摄位置，第三轨迹与第二轨迹平行且相邻，第一拍摄位置、第二拍摄位置和第四拍摄位置的连线垂直于第一轨迹。

举例来说，参考图1B，第三轨迹I₃可以为I₂的旁向轨迹，假设第二图像为图像

第一拍摄位置P₁、第二拍摄位置P₂和第四拍摄位置P₄的连线AA’垂直于第一轨迹I₁。

S160：将待匹配图像的第二匹配区域上的第四特征点与第四图像上的第五特征点进行特征匹配，其中，第二匹配区域为待匹配图像上与第四图像相互重叠的第二重叠区域。

本申请实施例中，通过结合绝对位置信息和第一拍摄位置，或结合绝对位置信息和第二拍摄位置确定第四图像对应的第四拍摄位置，从而可以调整无人设备在沿固定轨迹飞行过程中拍摄的图像位置，同时实现通过绝对位置信息构建无人设备飞行的运动模型的轨迹如第二轨迹和第三轨迹等，且能够保证第四图像与第二图像、第一图像均在同一水平线上。通过将待匹配图像的第二匹配区域上的第四特征点与第四图像上的第五特征点进行特征匹配，从而无需对待匹配图像上的所有特征点进行提取和匹配，减少了待匹配图像进行特征匹配时所需提取和匹配的特征点的数量，避免了冗余匹配，因而可以减少部分计算资源的损耗，提高特征提取的速度，进而实现快速、准确的特征匹配。

在本申请一实施例中，该图像的匹配方法还包括可以包括步骤S170。

S170：将待匹配图像的至少一个相邻图像的第三匹配区域上的第六特征点与至少一个相邻图像上的第七特征点进行特征匹配，其中，第三匹配区域为待匹配图像上与至少一个相邻图像相互重叠的第三重叠区域。

举例来说，参考图1B，当待匹配图像为图像

时，待匹配图像的至少一个相邻图像可以包括图像

和图像

则可以与图像

进行特征匹配的图像还可以包括图像

和图像

针对图像

可以构建四个匹配图像对

后续的特征匹配主要是在这四个匹配图像对中进行。再举例来说，当待匹配图像为图像

时，待匹配图像的至少一个相邻图像包括图像

则可以与图像

进行特征匹配的图像还可以包括图像

针对图像

可以构建至少两个匹配图像对

后续的特征匹配可以主要是在这两个匹配图像对中进行。

举例来说，参考图3B，第三匹配区域为由顶点B’、顶点C’、顶点D’和顶点E’的连线所围成的区域，执行步骤S170时，可以采用图2A所示实施例中的步骤S1403至S1409相似的步骤对第二图像和第四图像进行特征匹配，例如，多个子图可以包括子图5、子图6和子图7，此处不再赘述。

应当理解，执行步骤S170之前，可以采用步骤S132、S134和S136相似的步骤将第二图像和第四图像对齐。参考图3C，第二图像以图像

为例，第四图像以图像

为例，假设深度值为z，深度值z也可以称之为高程，无人设备从图像

对应的拍摄位置飞行到图像

对应的拍摄位置之间的运动距离为m，拍摄设备的视场角为θ。其中，运动距离m可以根据RTK提供的绝对位置信息和第二直线计算可得。拍摄设备拍摄的范围

计算可以得到第三重叠区域在沿第二轨迹平行方向上的长度为t-m。

本申请实施例中，通过将待匹配图像的至少一个相邻图像的第三匹配区域上的第六特征点与至少一个相邻图像上的第七特征点进行特征匹配，由于第三匹配区域为待匹配图像上与至少一个相邻图像相互重叠的第三重叠区域，从而无需对待匹配图像上的所有特征点进行提取和匹配，减少了待匹配图像进行特征匹配时所需提取和匹配的特征点的数量，避免了冗余匹配，同时可以减少部分计算资源的损耗，提高特征提取的速度，进而实现快速、准确的特征匹配。

图4所示为本申请一实施例提供的一种图像的匹配装置的结构示意图。该图像的匹配装置400包括获取模块410、选择模块420和特征匹配模块430。获取模块410用于获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像，还用于获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定。选择模块420用于选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像特征匹配模块430用于将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。

应当理解，本申请实施例中的图像的匹配装置除可以实现图1A所示的图像的匹配方法外，也可以实现如图2A至图3A中任一种图像的匹配方法，还可以实现基于图1A至图3A中任一种图像的匹配方法等同替换或明显变型后的图像的匹配方法，本申请对此不做具体限定。

根据本申请实施例提供的技术方案，通过设置第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定，从而融合绝对位置信息和第一拍摄位置调整无人设备在沿固定轨迹飞行过程中拍摄的图像位置，实现通过绝对位置信息构建无人设备飞行的运动模型中的轨迹如第二轨迹等。通过设置第一拍摄位置与第二拍摄位置的连线垂直于第一轨迹，从而保证了无人设备中拍摄设备实现同步采集图像的位置(对应于第二拍摄位置)与旁向轨迹采集图像的位置(对应于第一拍摄位置)处在同一水平线上，同时保证了第二图像与第一图像之间的重叠区域最大。另外，通过将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，且设置第一匹配区域为至待匹配图像上与匹配图像相互重叠的第一重叠区域，从而在对待匹配图像进行特征匹配时，由于仅对第一匹配区域上的第一特征点进行提取和匹配，从而无需对待匹配图像上的所有特征点进行提取和匹配，减少了待匹配图像进行特征匹配时所需提取和匹配的特征点的数量，因而可以减少部分计算资源的损耗，提高特征提取的速度，进而实现快速、准确的特征匹配。

参照图5，无人设备500包括处理器510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理器510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器510被配置为执行指令，以执行上述任一种图像的匹配方法。

应当理解，无人设备500可以是无人机，也可以是与无人机远程连接的控制设备或移动终端等，只要能够执行上述任一种图像的匹配方法即可，本申请对此不做具体限定。

无人设备500还可以包括一个电源组件被配置为无人设备500的电源管理，一个有线或无线网络接口被配置为将无人设备500连接到网络，和一个输入输出(I/O)接口。无人设备500可以操作基于存储在存储器520的操作系统，例如Windows Server^TM，Mac OS X^TM，Unix^TM，Linux^TM，FreeBSD^TM或类似。

一种非临时性计算机可读存储介质，当存储介质中的指令由上述无人设备500的处理器执行时，使得上述无人设备500能够执行一种图像的匹配方法。该匹配方法由代理程序执行。该匹配方法包括获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像；获取无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，第二拍摄位置由第一拍摄位置和无人设备的绝对位置信息确定，第一拍摄位置与第二拍摄位置的连线垂直于第一轨迹；选择第一图像和第二图像之一作为待匹配图像，另一作为匹配图像；将待匹配图像的第一匹配区域上的第一特征点与匹配图像上的第二特征点进行特征匹配，其中，第一匹配区域为待匹配图像上与匹配图像相互重叠的第一重叠区域。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。

本领域的技术人员可以清楚的了解到，为了描述的方便和简洁，上述描述的装置、系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

还需要说明的是，本申请实施例中各技术特征的组合方式并不限本申请实施例中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims

1.一种图像的匹配方法，其特征在于，包括：

获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像；

获取所述无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，所述第二拍摄位置由所述第一拍摄位置和所述无人设备的实时的绝对位置信息确定，以融合所述绝对位置信息和所述第一拍摄位置调整所述无人设备在沿固定轨迹飞行过程中拍摄的图像位置，使得所述第一拍摄位置与所述第二拍摄位置的连线垂直于所述第一轨迹；

选择所述第一图像和所述第二图像之一作为待匹配图像，另一作为匹配图像；

将所述待匹配图像的第一匹配区域上的第一特征点与所述匹配图像上的第二特征点进行特征匹配，其中，所述第一匹配区域为所述待匹配图像上与所述匹配图像相互重叠的第一重叠区域。

2.根据权利要求1所述的匹配方法，其特征在于，所述将所述待匹配图像的第一匹配区域上的第一特征点与所述匹配图像上的第二特征点进行特征匹配，包括：

将所述第一匹配区域划分成多个子图；

选择所述多个子图中每个子图的第一顶点的坐标作为每个子图的起始索引坐标；

基于所述每个子图的起始索引坐标对所述多个子图中每个子图上的第一特征点与所述匹配图像上目标区域内的第二特征点执行并行化特征匹配，其中，所述目标区域为所述匹配图像上围绕与所述第一特征点对应的第三特征点所设定的区域。

3.根据权利要求2所述的匹配方法，其特征在于，在所述选择所述多个子图中每个子图的第一顶点的坐标作为每个子图的起始索引坐标之后，还包括：

获取所述第一匹配区域的第二顶点的起始坐标位置；

根据所述起始坐标位置并结合所述每个子图的大小校正所述每个子图的起始索引坐标，所述第一顶点在所述每个子图上的方位与所述第二顶点在所述第一匹配区域上的方位相同。

4.根据权利要求1所述的匹配方法，其特征在于，在所述获取所述无人设备在第二轨迹上的第二拍摄位置采集的第二图像之前，还包括：

获取所述无人设备在所述第一轨迹上的第三拍摄位置采集的第三图像；

根据所述第一拍摄位置和所述第三拍摄位置确定所述第一轨迹对应的第一直线；

确定经由所述第一拍摄位置且与所述第一直线垂直的第二直线；

实时获取所述绝对位置信息；

在所述绝对位置信息与所述第二直线之间的最短距离小于预设值时，将所述绝对位置信息对应的位置确定为所述第二拍摄位置。

5.根据权利要求1所述的匹配方法，其特征在于，还包括：

在选择所述第二图像作为所述待匹配图像时，获取所述无人设备在第三轨迹上的第四拍摄位置采集的第四图像，其中，所述第四拍摄位置由所述绝对位置信息和所述第一拍摄位置确定或由所述绝对位置信息和所述第二拍摄位置确定，所述第三轨迹与所述第二轨迹平行且相邻，所述第一拍摄位置、所述第二拍摄位置和所述第四拍摄位置的连线垂直于所述第一轨迹；

将所述待匹配图像的第二匹配区域上的第四特征点与所述第四图像上的第五特征点进行特征匹配，其中，所述第二匹配区域为所述待匹配图像上与所述第四图像相互重叠的第二重叠区域。

6.根据权利要求1所述的匹配方法，其特征在于，还包括：

将所述待匹配图像的至少一个相邻图像的第三匹配区域上的第六特征点与所述至少一个相邻图像上的第七特征点进行特征匹配，其中，所述第三匹配区域为所述待匹配图像上与所述至少一个相邻图像相互重叠的第三重叠区域。

7.根据权利要求1所述的匹配方法，其特征在于，在所述将所述待匹配图像的第一匹配区域上的第一特征点与所述匹配图像上的第二特征点进行特征匹配之前，还包括：

计算所述第一重叠区域的长度和/或宽度；

根据所述第一重叠区域的长度和/或宽度将所述待匹配图像与所述匹配图像对齐。

8.根据权利要求7所述的匹配方法，其特征在于，在所述根据所述第一重叠区域的长度和/或宽度将所述待匹配图像与所述匹配图像对齐之后，还包括：

将所述待匹配图像或所述匹配图像翻转180°。

9.一种图像的匹配装置，其特征在于，包括：

获取模块，用于获取无人设备在第一轨迹上的第一拍摄位置采集的第一图像，还用于获取所述无人设备在第二轨迹上的第二拍摄位置采集的第二图像，其中，所述第二拍摄位置由所述第一拍摄位置和所述无人设备的实时的绝对位置信息确定，以融合所述绝对位置信息和所述第一拍摄位置调整所述无人设备在沿固定轨迹飞行过程中拍摄的图像位置，使得所述第一拍摄位置与所述第二拍摄位置的连线垂直于所述第一轨迹；

选择模块，用于选择所述第一图像和所述第二图像之一作为待匹配图像，另一作为匹配图像；

特征匹配模块，用于将所述待匹配图像的第一匹配区域上的第一特征点与所述匹配图像上的第二特征点进行特征匹配，其中，所述第一匹配区域为所述待匹配图像上与所述匹配图像相互重叠的第一重叠区域。

10.一种无人设备，包括存储器和处理器，其特征在于，所述存储器上存储有计算机的可执行指令，所述处理器执行所述可执行指令时实现如权利要求1-8中任一项所述的一种图像的匹配方法。

11.一种计算机可读存储介质，其上存储有计算机的可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-8中任一项所述的一种图像的匹配方法。