CN116258753A - 一种图像的配准方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种图像的配准方法、装置、存储介质及电子设备，获取无人机采集的空中图像和无人车采集的地面图像。根据无人机与无人车的相对位姿，确定空中图像与地面图像之间的粗仿射模型。确定空间采样点，并根据初始位置对应的空中图像确定各空间采样点对应的空中图像。根据初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型。确定各空中图像中与地面图像匹配的空中图像，根据该空中图像，确定该匹配采样点对应的粗仿射模型，进而得到无人机与无人车之间的精仿射模型。在没有先验地图信息的情况下，也能实现空中图像与地面图像的配准。且不受环境的约束，即在城市低空或者室内环境中时，也可以实现空中图像与地面图像的配准。

Description

一种图像的配准方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像的配准方法、装置、存储介质及电子设备。

背景技术

随着科技的发展，人工智能飞速发展。其中，地空协作导航系统受到广泛关注。在城市低空或者室内环境中时，全球定位系统(Global Positioning System，GPS)的信号经常因被遮蔽而无法使用，因此，基于视觉的定位方法变得尤为重要。

在地空协作导航的应用中，确定地面采集图像与空中采集图像的配准方法，即建立地面采集图像的数据和空中采集图像的数据之间的关联关系，是保证地空协作导航可以实现的基础。但是，地面和空中采集图像的视角差异比较大，对实现地面采集图像与空中采集图像的配准增加了难度。因此，如何实现地面采集图像与空中采集图像的配准是一个亟待解决的问题。

基于此，本申请说明书提供了一种图像的配准方法。

发明内容

本说明书提供一种图像的配准方法、装置、介质及电子设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像的配准方法，所述方法包括：

获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿；

根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型；

根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点；

根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型；

在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像；

确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

可选地，根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，具体包括：

针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；

根据所述相对位置以及所述初始位置对应的空中图像，确定该空间采样点对应的空中图像。

可选地，根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型，具体包括：

针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；

根据所述无人机与所述无人车的相对位姿以及所述初始位置与该空间采样点的相对位置，确定所述无人机位于该空间采样点时与所述无人车的相对位姿；

根据所述无人机位于该空间采样点时与所述无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

可选地，确定与所述地面图像匹配的空中图像，具体包括：

提取各空中图像的图像特征，并提取所述地面图像的图像特征；

根据各空中图像的图像特征以及所述地面图像的图像特征，确定与所述地面图像匹配的空中图像。

可选地，根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型，具体包括：

提取所述匹配图像中各像素点的图像特征，作为各第一特征；

根据所述匹配采样点对应的粗仿射模型，确定所述各第一特征中与所述地面图像匹配的第一特征的数量；

若所述数量大于预设的阈值，则将所述匹配采样点对应的粗仿射模型确定为所述无人机与所述无人车之间的精仿射模型；

若所述数量不大于预设的阈值，则根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的所述匹配采样点对应的粗仿射模型，重新确定所述各第一特征中与所述地面图像匹配的第一特征的数量，直至所述数量大于预设的阈值为止。

可选地，确定所述各第一特征中与所述地面图像匹配的第一特征的数量，具体包括：

提取所述地面图像中的各像素点的第二特征；

针对所述匹配图像中的每个像素点，将该像素点作为空中像素点，根据所述匹配采样点对应的粗仿射模型，确定所述地面图像中与该空中像素点对应的地面像素点；

根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与所述地面图像匹配。

可选地，根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，具体包括：

在所述匹配图像中选取多个特征点，作为各选定特征点，并提取所述地面图像中的各地面像素点的第二特征；

根据所述匹配采样点对应的粗仿射模型，将所述各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征，以及确定各选定特征点对应的地面图像中的地面像素点；

以所述各仿射特征与所述各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对所述匹配采样点对应的粗仿射模型的参数进行调整。

本说明书提供了一种图像的配准装置，包括：

获取模块，用于获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿；

粗仿射确定模块，用于根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型；

采样模块，用于根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点；

扩展模块，用于根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型；

图像匹配模块，用于在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像；

精仿射确定模块，用于确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

可选地，所述扩展模块具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述相对位置以及所述初始位置对应的空中图像，确定该空间采样点对应的空中图像。

可选地，所述扩展模块具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述无人机与所述无人车的相对位姿以及所述初始位置与该空间采样点的相对位置，确定所述无人机位于该空间采样点时与所述无人车的相对位姿；根据所述无人机位于该空间采样点时与所述无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

可选地，所述图像匹配模块具体用于，提取各空中图像的图像特征，并提取所述地面图像的图像特征；根据各空中图像的图像特征以及所述地面图像的图像特征，确定与所述地面图像匹配的空中图像。

可选地，所述精仿射确定模块具体用于，提取所述匹配图像中各像素点的图像特征，作为各第一特征；根据所述匹配采样点对应的粗仿射模型，确定所述各第一特征中与所述地面图像匹配的第一特征的数量；若所述数量大于预设的阈值，则将所述匹配采样点对应的粗仿射模型确定为所述无人机与所述无人车之间的精仿射模型；若所述数量不大于预设的阈值，则根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的所述匹配采样点对应的粗仿射模型，重新确定所述各第一特征中与所述地面图像匹配的第一特征的数量，直至所述数量大于预设的阈值为止。

可选地，所述精仿射确定模块具体用于，提取所述地面图像中的各像素点的第二特征；针对所述匹配图像中的每个像素点，将该像素点作为空中像素点，根据所述匹配采样点对应的粗仿射模型，确定所述地面图像中与该空中像素点对应的地面像素点；根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与所述地面图像匹配。

可选地，所述精仿射确定模块具体用于，在所述匹配图像中选取多个特征点，作为各选定特征点，并提取所述地面图像中的各地面像素点的第二特征；根据所述匹配采样点对应的粗仿射模型，将所述各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征，以及确定各选定特征点对应的地面图像中的地面像素点；以所述各仿射特征与所述各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对所述匹配采样点对应的粗仿射模型的参数进行调整。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像的配准方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像的配准方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的图像的配准方法中，可先获取无人机采集的空中图像以及无人车采集的地面图像，并确定无人机与无人车的相对位姿，根据该相对位姿，确定空中图像与地面图像之间的粗仿射模型。然后根据无人机采集该空中图像时所在的初始位置，确定该初始位置周围的空间采样点，并根据初始位置对应的空中图像确定各空间采样点对应的空中图像，以及根据初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型。最后确定各空中图像中与地面图像匹配的空中图像，作为匹配图像，并确定与该匹配图像对应的空间采样点，作为匹配采样点，根据该匹配采样点对应的粗仿射模型，得到无人机与无人车之间的精仿射模型。

从上述方法中可以看出，通过确定无人机在初始位置时与无人车之间的粗仿射模型以及无人机在各空间采样点时与无人车之间的粗仿射模型，并根据无人机在初始位置采集的空中图像以及确定出的无人机在各空间采样点对应的空中图像，确定与地面图像匹配的空中图像。进而可基于该空中图像对应的空间采样点的粗仿射模型，得到无人机与无人车之间的精仿射模型。在没有先验地图信息的情况下，依旧能够实现空中图像与地面图像的配准。且不受环境的约束，即在城市低空或者室内环境中时，也可以实现空中图像与地面图像的配准。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附

图中：

图1为本说明书中一种图像的配准方法的流程示意图；

图2为本说明书提供的一种空间采样的示意图；

图3为本说明书提供的一种图像的配准装置示意图；

图4为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的一种图像的配准方法的流程示意图，具体可包括以下步骤：

S100：获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿。

一般的，在基于视觉特征实现地面图像与空中图像配准时，需要使用先验地图。例如：地空协作导航系统先获取导航环境的离线视觉特征地图，然后在地空协作导航系统运行时，可以将采集到的特征与离线视觉特征地图中的特征进行匹配，并通过离散贝叶斯滤波器，对无人车的位置进行估计，进而完成地面图像与空中图像的配准。然而，依赖先验地图的图像的配准方法，无法应用于室内环境以及其他的先验地图没有覆盖到的环境。不依赖先验地图的图像的配准方法，要寻找对无人车和无人机视野具有视角一致性的区域进行视觉特征提取，因此受环境约束。基于此，本申请说明书提供了一种图像的配准方法，可以在不使用先验地图的情况下，实现图像的配准，且不受环境的约束。

本申请说明书实施例的执行主体可为任何具备计算能力的设备(如：服务器、终端等)，现以服务器为执行主体进行本说明书技术方案的说明。

在本说明书的一个或多个实施例中，服务器可先获取无人机采集的空中图像以及无人车采集的地面图像，并确定无人机和无人车的相对位姿。

具体的，针对同一目标物，无人机上的拍摄设备(如：相机)可对该目标物进行拍摄，并确定拍摄该目标物时的位置，该位置可以用相机相对于地面坐标系的球坐标经度、纬度以及相机的滚转角来表示。同样的，无人车中的拍摄设备也可对该目标物进行拍摄，并确定拍摄该目标物时的位置。进而，无人机与无人车上的通信设备可与服务器建立连接，服务器可获取到无人机采集的该目标物的空中图像以及无人车采集的该目标物的地面图像，并可根据无人机拍摄该目标物时的位置以及无人车拍摄该目标物时的位置确定出无人机与无人车拍摄该目标物时的相对位姿。以在后续步骤中根据相对位姿确定空中图像与地面图像之间的粗仿射模型。

其中，在确定无人机拍摄目标物时的位置时，该位置可以来自无人机惯性导航的位姿输出，也可以来自规划器输出的规划轨迹结果等等。同样的，也可根据无人车上的惯性导航、激光雷达等确定无人车拍摄目标物时的位置。

S102：根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型。

一般的，根据一阶泰勒公式，可知任何平面的光滑形变在局部都可以用仿射映射来近似，而由相机引起的目标物表面外观形变是平面单应映射，平面单应映射属于光滑形变。因此，由相机在不同角度拍摄目标物引起的目标物外观形变，可以通过仿射映射来表示，也就是说透视变换的局部影响可以由局部仿射映射来进行建模，即u(x,y)→u(ax+by+e,cx+dy+f)，其中u(x,y)表示无人机拍摄的空中图像的各像素点的坐标，u(ax+by+e,cx+dy+f)表示无人车拍摄的地面图像的各像素点的坐标，a、b、c、d、e以及f是仿射变换的参数。

因此，在本说明书的一个或多个实施例中，服务器在得到无人机与无人车的相对位姿(也就是相机在不同角度拍摄目标物时的相对位姿)后，可通过对仿射映射进行矩阵分解得到相对位姿和仿射变换之间的转换关系：

也即得到空中图像与地面图像之间的粗仿射模型，并可将该粗仿射模型作为无人机采集所述空中图像时所在的初始位置对应的粗仿射模型。

其中，上述转换关系中的φ和

表示视觉参数，也即无人机相对于无人车的地面坐标系的球坐标经度和纬度，ψ是无人机中的相机相对于无人车中的相机的滚转角参数，λ是缩放因子，A为空中图像中的像素点与地面图像中的像素点的坐标的变换关系。

需要说明的是，由于无人机采集空中图像时的位置以及无人车采集地面图像时的位置都是粗略的一个位置，所以确定出的相对位姿也是粗略的相对位姿，并不是无人机与无人车之间精准的相对位姿，因此根据相对位姿确定出的粗仿射模型也仅仅是一个初始化的模型，也即粗仿射模型是一个精度低的仿射模型。

S104：根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点。

S106：根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型。

由于确定出的无人机与无人车之间的相对位姿是粗略的相对位姿，并不是精确的相对位姿，那么将空中图像经过无人机在初始位置对应的粗仿射模型进行转换后，得到的图像不一定与地面图像匹配，而在初始位置点的周围，存在一个最为理想的仿射模型，为了找到最为“理想”的仿射模型(即可以使得空中图像与地面图像最为匹配的仿射模型)，在本说明书的一个或多个实施例中，服务器可根据无人机的初始位置，在初始位置周围进行空间采样，得到各空间采样点。然后根据初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型。

图2为本申请说明书提供的一种空间采样的示意图，如图2所示，圆圈P1表示无人机所在的初始位置，圆圈P2表示的是无人车所在的位置，三角形1～8表示的是各空间采样点。具体的，服务器可根据无人机的初始位置，在φ和θ两个维度进行2自由度的空间采样，得到各空间采样点，例如：以无人机的初始位置为起始点，在φ维度上以0.1°为一个步长进行五次采样，在θ维度上以0.1°为一个步长进行五次采样，即可得到121个空间采样点。针对每个空间采样点，服务器可确定初始位置与该空间采样点的相对位置，以图2中的三角形1为例，也就是说确定无人机的初始位置P1与三角形1所在的位置的相对位置。并根据该相对位置以及初始位置对应的空中图像，确定该空间采样点对应的空中图像。并可根据无人机与无人车(即P1与P2)的相对位姿以及初始位置与该空间采样点(即P1与三角形1)的相对位置，确定无人机位于该空间采样点时与无人车(即三角形1与P2)的相对位姿，进而根据无人机位于该空间采样点时与无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

此外，在服务器根据初始位置与该空间采样点的相对位置以及初始位置对应的空中图像，确定空间采样点对应的空中图像的时候，同样可根据仿射映射进行建模，以得到空间采样点对应的空中图像和初始位置对应的空中图像的变换关系。也就是说可根据初始位置与该空间采样点的相对位置，确定空间采样点和初始位置之间的变换关系(也即根据相对位置，确定相机位置发生改变后所引起的仿射变换)，根据该变换关系对初始位置对应的空中图像进行转换，得到空间采样点对应的空中图像。

S108：在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像。

在本说明书的一个或多个实施例中，为了从各粗仿射模型中找到使得空中图像与地面图像最为匹配的粗仿射模型(也即确定出与“理想”的仿射模型最为接近的粗仿射模型)，服务器可先确定各空中图像中与地面图像匹配的空中图像，作为匹配图像。

具体的，由于一些视觉特征点(如：SIFT、SURF、ORB等等)对于噪声、视角变化和光照变化具有良好的鲁棒性。也就是说，在相机拍摄角度改变时，这些视觉特征点仍有较大概率可以被稳定提取，因此，在本说明书的一个或多个实施例中，可基于视觉特征点进行不同拍摄角度下的图像的相似度匹配(即进行空中图像与地面图像的匹配)。则服务器可对空中图像进行特征(视觉特征点)提取，并对地面图像也进行特征提取。也就是说，对空中图像中的至少部分像素点进行特征提取，并对地面图像中的至少部分像素点进行特征提取。然后针对各空中图像，通过该空中图像对应的空间采样点的粗仿射模型，确定该空中图像中的像素点的特征与地面图像中的像素点的特征是否匹配。

然后针对各空中图像，确定该空中图像的像素点的特征中与地面图像的像素点的特征相匹配的特征的数量。并将匹配的特征的数量最多的空中图像作为与地面图像最为匹配的图像，即将匹配的特征的数量最多的空中图像作为匹配图像。

并且，可将无人机在初始位置时采集的空中图像的特征以及各特征对应的像素坐标、无人机在各空间采样点时对应的空中图像的特征以及各特征对应的像素坐标、各空间采样点对应的空中图像的各特征与初始位置对应的空中图像的各特征之间的索引关系、各空间采样点对应的空中图像以及各空间采样点对应的粗仿射模型之间的索引关系等添加到数据库中，以方便进行空中图像的特征与地面图像的特征的匹配，且方便服务器确定各空间采样点、各空中图像、各粗仿射模型之间的对应关系。

S110：确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

为了确定出使得空中图像经过变换后与地面图像最为匹配的仿射模型，在上述步骤S108中确定出与地面图像匹配的匹配图像后，服务器可确定该匹配图像对应的空间采样点，作为匹配采样点。并根据匹配采样点对应的粗仿射模型，得到无人机与无人车之间的精仿射模型。

具体的，服务器可先提取匹配图像中各像素点的图像特征，作为各第一特征。然后根据匹配采样点对应的粗仿射模型，确定各第一特征中与地面图像匹配的第一特征的数量。若数量大于预设的阈值，则匹配采样点对应的粗仿射模型就是无人机与无人车之间的精仿射模型，若数量不大于预设的阈值，则可根据各第一特征，对匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的匹配采样点对应的粗仿射模型，重新确定各第一特征中与地面图像匹配的第一特征的数量，直至数量大于预设的阈值为止。

在本说明书的一个或多个实施例中，在确定各第一特征中与地面图像匹配的第一特征的数量时，服务器可提取地面图像中的各像素点的第二特征，并针对匹配图像中的每个像素点，将该像素点作为空中像素点。然后根据匹配采样点对应的粗仿射模型，确定地面图像中与该空中像素点对应的地面像素点。最后根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与地面图像匹配。

进一步的，在根据各第一特征，对匹配采样点对应的粗仿射模型的参数进行调整时，服务器可在匹配图像中选取多个特征点，作为各选定特征点，并提取地面图像中的各地面像素点的第二特征。然后根据匹配采样点对应的粗仿射模型，将各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征。并根据匹配采样点对应的粗仿射模型，确定各选定特征点对应的地面图像中的地面像素点。最后以各仿射特征与各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对匹配采样点对应的粗仿射模型的参数进行调整。

其中，在对匹配采样点对应的粗仿射模型的参数进行调整时，可以使用最小二乘(Least Square，LS)算法、非线性最小二乘(Gauss-Newton，GN)算法、最小二乘优化(Levenberg-Marquardt，LM)算法等等，只要可使得各仿射特征与各选定特征点对应的地面像素点的第二特征的相似度最大即可，具体本说明书不做限制。

基于图1所示本说明书提供的上述图像的配准方法中，可先基于无人机与无人车的相对位姿确定出粗仿射模型，但是由于该相对位姿是一个粗略的相对位姿，因此可在无人机的初始位置周围进行空间采样得到各空间采样点，并基于初始位置对应的粗仿射模型以及无人机在各采样点时与无人车的相对位姿，确定各空间采样点对应的粗仿射模型，以在各空间采样点对应的粗仿射模型中找到与“理想”的仿射模型最接近的粗仿射模型。进而根据该粗仿射模型确定精仿射模型。该方法可以实现无人机采集的图像与无人车采集的图像的配准。且在没有先验地图的情况下，依旧能够实现空中图像与地面图像的配准。也不受环境的约束，即在城市低空或者室内环境中时，仍可以实现空中图像与地面图像的配准。

更进一步的，在本说明书的一个或多个实施例中，在得到无人机与无人车之间的精仿射模型之后，为了使得该精仿射模型更精准，也就是说使得空中图像进过该精仿射模型的变换之后与地面图像更为匹配，服务器还可基于该精仿射模型，确定匹配图像的特征中经过该精仿射模型变换后，与地面图像的特征匹配的特征，作为待优化特征。根据各待优化特征以及虚行描述符(Virtual Line Descriptor，VLD)算法，针对各待优化特征中任两个待优化特征，对这两个待优化特征进行几何一致性检验。对于检验通过的待优化特征，生成虚拟连线，并计算描述符。并根据VLD算法对虚拟连线构成的图结构进行计算，保留满足VLD图结构约束的特征点作为内点。根据内点，对精仿射模型进行优化。

由于仿射模型是根据匹配图像中的特征点和地面图像中的特征点的匹配关系确定得到的，也就是说，得到的仿射模型中只是基于两张图像中的特征点的对应关系得到的，而不同的特征点在特征空间中是存在关系的，例如：根据仿射模型确定出匹配图像中的点i、j分别与地面图像中的特征点i’、j’对应，并根据i与j确定出点p，根据i’与j’确定出点p’，若仿射模型是准确的，则特征点i、j、p之间满足一定的几何关系，i’、j’、p’之间也应满足该几何关系，因此，可根据特征点之间的关系对仿射模型进一步优化。

具体的，可在匹配图像中选取两个特征点X和Y，可根据仿射变换模型确定出地面图像中与X和Y分别对应的特征点X1和Y1。然后可根据特征点X、Y以及X1、Y1，在匹配图像中确定点Q：

在地面图像中确定点Q1：/>

其中，s(X)、s(X1)表示特征点X与X1的描述子的尺度信息，a(X)、a(X1)表示特征点X与X1的描述子的主方向信息，R()表示方向信息对应的旋转矩阵。然后可计算X与Y之间的距离D1、X与Q之间的距离D2、Y与Q之间的距离D3，并计算X1与Y1之间的距离D4、X1与Q1之间的距离D5、Y1与Q1之间的距离D6。然后通过计算/>

并确定几何一致性指标为χ(XY，X1Y1)＝min(η，η1)，且当χ(XY，X1Y1)小于预设的χ阈值时，则可确定X与X1，Y与Y1满足几何一致性检验，也即仿射模型是准确的。则可将满足几何一致性检验的特征点作为内点，根据内点对仿射模型进行调整，使得仿射模型更加精确。

基于上述内容所述的图像的配准方法，本说明书实施例还对应的提供一种用于图像的配准装置示意图，如图3所示。

图3为本说明书实施例提供的一种用于图像的配准装置的示意图，所述装置包括：

获取模块300，用于获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿；

粗仿射确定模块302，用于根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型；

采样模块304，用于根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点；

扩展模块306，用于根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型；

图像匹配模块308，用于在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像；

精仿射确定模块310，用于确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

可选地，所述扩展模块306具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述相对位置以及所述初始位置对应的空中图像，确定该空间采样点对应的空中图像。

可选地，所述扩展模块306具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述无人机与所述无人车的相对位姿以及所述初始位置与该空间采样点的相对位置，确定所述无人机位于该空间采样点时与所述无人车的相对位姿；根据所述无人机位于该空间采样点时与所述无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

可选地，所述图像匹配模块308具体用于，提取各空中图像的图像特征，并提取所述地面图像的图像特征；根据各空中图像的图像特征以及所述地面图像的图像特征，确定与所述地面图像匹配的空中图像。

可选地，所述精仿射确定模块310具体用于，提取所述匹配图像中各像素点的图像特征，作为各第一特征；根据所述匹配采样点对应的粗仿射模型，确定所述各第一特征中与所述地面图像匹配的第一特征的数量；若所述数量大于预设的阈值，则将所述匹配采样点对应的粗仿射模型确定为所述无人机与所述无人车之间的精仿射模型；若所述数量不大于预设的阈值，则根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的所述匹配采样点对应的粗仿射模型，重新确定所述各第一特征中与所述地面图像匹配的第一特征的数量，直至所述数量大于预设的阈值为止。

可选地，所述精仿射确定模块310具体用于，提取所述地面图像中的各像素点的第二特征；针对所述匹配图像中的每个像素点，将该像素点作为空中像素点，根据所述匹配采样点对应的粗仿射模型，确定所述地面图像中与该空中像素点对应的地面像素点；根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与所述地面图像匹配。

可选地，所述精仿射确定模块310具体用于，在所述匹配图像中选取多个特征点，作为各选定特征点，并提取所述地面图像中的各地面像素点的第二特征；根据所述匹配采样点对应的粗仿射模型，将所述各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征，以及确定各选定特征点对应的地面图像中的地面像素点；以所述各仿射特征与所述各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对所述匹配采样点对应的粗仿射模型的参数进行调整。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述内容所述的图像的配准方法。

基于上述内容所述的图像的配准方法，本说明书实施例还提出了图4所示的电子设备的示意结构图。如图4，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述内容所述的图像的配准方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种图像的配准方法，其特征在于，所述方法包括：

获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿；

根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型；

根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点；

根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型；

在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像；

确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

2.如权利要求1所述的方法，其特征在于，根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，具体包括：

针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；

根据所述相对位置以及所述初始位置对应的空中图像，确定该空间采样点对应的空中图像。

3.如权利要求1所述的方法，其特征在于，根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型，具体包括：

针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；

根据所述无人机与所述无人车的相对位姿以及所述初始位置与该空间采样点的相对位置，确定所述无人机位于该空间采样点时与所述无人车的相对位姿；

根据所述无人机位于该空间采样点时与所述无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

4.如权利要求1所述的方法，其特征在于，确定与所述地面图像匹配的空中图像，具体包括：

提取各空中图像的图像特征，并提取所述地面图像的图像特征；

根据各空中图像的图像特征以及所述地面图像的图像特征，确定与所述地面图像匹配的空中图像。

5.如权利要求1所述的方法，其特征在于，根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型，具体包括：

提取所述匹配图像中各像素点的图像特征，作为各第一特征；

根据所述匹配采样点对应的粗仿射模型，确定所述各第一特征中与所述地面图像匹配的第一特征的数量；

若所述数量大于预设的阈值，则将所述匹配采样点对应的粗仿射模型确定为所述无人机与所述无人车之间的精仿射模型；

若所述数量不大于预设的阈值，则根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的所述匹配采样点对应的粗仿射模型，重新确定所述各第一特征中与所述地面图像匹配的第一特征的数量，直至所述数量大于预设的阈值为止。

6.如权利要求5所述的方法，其特征在于，确定所述各第一特征中与所述地面图像匹配的第一特征的数量，具体包括：

提取所述地面图像中的各像素点的第二特征；

针对所述匹配图像中的每个像素点，将该像素点作为空中像素点，根据所述匹配采样点对应的粗仿射模型，确定所述地面图像中与该空中像素点对应的地面像素点；

根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与所述地面图像匹配。

7.如权利要求5所述的方法，其特征在于，根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，具体包括：

在所述匹配图像中选取多个特征点，作为各选定特征点，并提取所述地面图像中的各地面像素点的第二特征；

根据所述匹配采样点对应的粗仿射模型，将所述各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征，以及确定各选定特征点对应的地面图像中的地面像素点；

以所述各仿射特征与所述各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对所述匹配采样点对应的粗仿射模型的参数进行调整。

8.一种图像的配准装置，其特征在于，所述装置具体包括：

获取模块，用于获取无人机采集的空中图像以及无人车采集的地面图像，并确定所述无人机与所述无人车的相对位姿；

粗仿射确定模块，用于根据所述相对位姿，确定所述空中图像与所述地面图像之间的粗仿射模型，作为所述无人机采集所述空中图像时所在的初始位置对应的粗仿射模型；

采样模块，用于根据无人机采集所述空中图像时所在的初始位置，确定所述初始位置周围的空间采样点；

扩展模块，用于根据所述初始位置对应的空中图像，确定各空间采样点对应的空中图像，并根据所述初始位置对应的粗仿射模型，确定各空间采样点对应的粗仿射模型；

图像匹配模块，用于在各空中图像中，确定与所述地面图像匹配的空中图像，作为匹配图像；

精仿射确定模块，用于确定与所述匹配图像对应的空间采样点，作为匹配采样点，并根据所述匹配采样点对应的粗仿射模型，得到所述无人机与所述无人车之间的精仿射模型。

9.如权利要求8所述的装置，其特征在于，所述扩展模块具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述相对位置以及所述初始位置对应的空中图像，确定该空间采样点对应的空中图像。

10.如权利要求8所述的装置，其特征在于，所述扩展模块具体用于，针对每个空间采样点，确定所述初始位置与该空间采样点的相对位置；根据所述无人机与所述无人车的相对位姿以及所述初始位置与该空间采样点的相对位置，确定所述无人机位于该空间采样点时与所述无人车的相对位姿；根据所述无人机位于该空间采样点时与所述无人车的相对位姿，确定该空间采样点对应的粗仿射模型。

11.如权利要求8所述的装置，其特征在于，所述图像匹配模块具体用于，提取各空中图像的图像特征，并提取所述地面图像的图像特征；根据各空中图像的图像特征以及所述地面图像的图像特征，确定与所述地面图像匹配的空中图像。

12.如权利要求8所述的装置，其特征在于，所述精仿射确定模块具体用于，提取所述匹配图像中各像素点的图像特征，作为各第一特征；根据所述匹配采样点对应的粗仿射模型，确定所述各第一特征中与所述地面图像匹配的第一特征的数量；若所述数量大于预设的阈值，则将所述匹配采样点对应的粗仿射模型确定为所述无人机与所述无人车之间的精仿射模型；若所述数量不大于预设的阈值，则根据所述各第一特征，对所述匹配采样点对应的粗仿射模型的参数进行调整，并根据调整后的所述匹配采样点对应的粗仿射模型，重新确定所述各第一特征中与所述地面图像匹配的第一特征的数量，直至所述数量大于预设的阈值为止。

13.如权利要求12所述的装置，其特征在于，所述精仿射确定模块具体用于，提取所述地面图像中的各像素点的第二特征；针对所述匹配图像中的每个像素点，将该像素点作为空中像素点，根据所述匹配采样点对应的粗仿射模型，确定所述地面图像中与该空中像素点对应的地面像素点；根据该空中像素点的第一特征与该空中像素点对应的地面像素点的第二特征的相似度，判断该空中像素点的第一特征是否与所述地面图像匹配。

14.如权利要求12所述的装置，其特征在于，所述精仿射确定模块具体用于，在所述匹配图像中选取多个特征点，作为各选定特征点，并提取所述地面图像中的各地面像素点的第二特征；根据所述匹配采样点对应的粗仿射模型，将所述各选定特征点进行仿射变换，得到各选定特征点对应的各仿射特征，以及确定各选定特征点对应的地面图像中的地面像素点；以所述各仿射特征与所述各选定特征点对应的地面图像中的地面像素点的第二特征的相似度最大为优化目标，对所述匹配采样点对应的粗仿射模型的参数进行调整。

15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。

16.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法。

Images