CN110197504B

CN110197504B - 图像配准方法、装置、电子设备及计算机可读存储介质

Info

Publication number: CN110197504B
Application number: CN201910485224.9A
Authority: CN
Inventors: 钟若飞; 武士勇; 彭雪丽
Original assignee: Capital Normal University
Current assignee: Capital Normal University
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2021-07-20
Anticipated expiration: 2039-06-05
Also published as: CN110197504A; WO2020244672A1

Abstract

本申请提供一种图像配准方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。该方法包括：获取初始基准图像及初始待配准图像；将初始基准图像转换为指定位深的第一基准图像，将初始待配准图像转换为指定位深的第一待配准图像；基于第一基准图像及第一待配准图像，确定第一基准图像传递到第一待配准图像的第一透视变换矩阵；将初始待配准图像根据第一透视变换矩阵进行融合配准，得到配准后图像。在本方案中，通过对初始基准图像及初始待配准图像的位深进行转换，在进行位深转换后，再对初始基准图像和初始待配准图像进行传递图像配准，有助于提高图像配准的准确性，改善无法支持高光谱图像配准处理的问题。

Description

图像配准方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像配准方法、装置、电子设备及计算机可读存储介质。

背景技术

近年来，随着高光谱传感器成像技术的不断发展，高光谱图像已经在军事、航天、医疗等领域发挥着越来越广泛的应用。不同光谱获取的同一场景下的多个图像之间具有互补的信息，目前可以通过对多张图像进行配准融合，使得多个图像中的互补的信息融合在一起。在现有技术中，受限于配准算法，无法支持高光谱图像的配准处理。

发明内容

本申请提供一种图像配准方法、装置、电子设备及计算机可读存储介质，能够改善无法支持高光谱图像配准处理的问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种图像配准方法，所述方法包括：

获取初始基准图像及初始待配准图像；将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像；基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵；将所述初始待配准图像根据所述第一透视变换矩阵进行融合配准，得到配准后图像。

在上述方案中，通过进行位深转换，有利于灵活地对初始基准图像及初始待配准图像的位深进行转换，在进行位深转换后，再对初始基准图像及初始待配准图像进行图像配准，有助于改善无法支持高光谱图像配准处理的问题。

结合第一方面，在一些可选的实施方式中，基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵，包括：

从所述第一基准图像中提取包括多个第一特征点的第一特征集，从所述第一待配准图像中提取包括多个第二特征点的第二特征集，所述第一特征点携带有与所述第一特征点对应的第一特征描述信息，所述第二特征点携带有与所述第二特征点对应的第二特征描述信息；确定所述第一特征集中的第一特征描述信息与所述第二特征集中的第二特征描述信息的相似度；将所述相似度大于或等于预设阈值的第一特征点、第二特征点进行配对关联；基于多组配对关联的所述第一特征点、第二特征点确定所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

在上述方案中，通过配对关联相似度大于或等于预设阈值的第一特征点、第二特征点，来确定第一透视变换矩阵，一方面，有助于降低配对关联的特征点的数量，降低运算量，另一方面，可以筛除相似度较低的特征点，以提高配对关联的可靠性。

结合第一方面，在一些可选的实施方式中，在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，所述方法还包括：

获取为所述指定位深且与所述至少一个波段对应的波段图像；其中，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵，包括：基于所述初始基准图像的波段到所述初始待配准图像的波段的波段顺序，将每相邻的两个波段对应的第一波段图像、第二波段图像分别确定为第二基准图像和第二待配准图像，所述第一波段图像为相邻的两个波段中靠近所述初始基准图像的波段的波段图像；基于每相邻的两个波段对应的第二基准图像及第二待配准图像确定每相邻的两个波段对应的第二透视变换矩阵，所述第二透视变换矩阵为第二基准图像到第二待配准图像的第二透视变换矩阵；沿所述波段顺序，对每相邻的两个波段对应的第二透视变换矩阵进行矩阵乘法运算，得到所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

在上述方案中，因为相邻波段之间的波段图像的信息差异较小，通过通过循环，传递配准相邻波段图像，有助于提高确定的透视变换矩阵的可靠性，从而有利于提高图像配准的精度。

结合第一方面，在一些可选的实施方式中，获取初始基准图像及初始待配准图像，包括：从图像集中获取两个波段相邻的波段图像，所述两个波段相邻的波段图像分别为所述初始基准图像及所述初始待配准图像，所述图像集中包括多个波段相邻的波段图像。

在上述方案中，因为相邻波段之间的波段图像的信息差异较小，当初始基准图像及初始待配准图像分别为波段相邻的两波段图像时，有利于提高确定的透视变换矩阵的可靠性，从而有利于提高图像配准的精度。

结合第一方面，在一些可选的实施方式中，所述方法还包括：

将所述图像集中的其他波段图像转换为所述指定位深的多个第三待配准图像，所述其他波段图像为所述图像集中除所述初始基准图像和所述初始待配准图像外的波段图像；基于所述多个第三待配准图像和所述第一基准图像，确定所述第一基准图像到每个第三待配准图像的第三透视变换矩阵；对所述初始基准图像和第三待配准图像通过与每个第三待配准图像对应的第三透视变换矩阵进行融合配准，得到所述初始基准图像与每个第三待配准图像对应的配准后图像。

在上述方案中，方法除了可以对初始基准图像、初始待配准图像进行图像配准，还可以对初始基准图像与图像集中的其他图像进行图像配准，以便于将不同波段的多个图像进行配准融合，使得配准后图像所包含的信息更丰富。

结合第一方面，在一些可选的实施方式中，所述指定位深包括8位。

在上述方案中，通过将其他位深的图像转换为8位的指定位深设置，能够改善电子设备仅支持8位的图像处理的限制。

第二方面，本申请实施例还提供一种图像配准装置，所述装置包括：

图像获取单元，用于获取初始基准图像及初始待配准图像；

图像位深转换单元，用于将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像；

确定单元，用于基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵；

图像配准单元，用于将所述初始待配准图像根据所述第一透视变换矩阵进行融合配准，得到配准后图像。

结合第二方面，在一些可选的实施方式中，所述确定单元还用于：

第三方面，本申请实施例还提供一种电子设备，所述电子设备包括：相互耦合的处理器及存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行上述的方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的方框示意图。

图2为本申请实施例提供的图像配准方法的流程示意图。

图3a为本申请实施例提供的基准图像的示意图。

图3b为本申请实施例提供的待配准图像的示意图。

图3c为本申请实施例提供的基于基准图像、待配准图像得到的配准后图像的示意图。

图4为本申请实施例提供的图像配准装置的功能框图。

图标：10-电子设备；11-处理模块；12-存储模块；100-图像配准装置；110-图像获取单元；120-图像位深转换单元；130-确定单元；140-图像配准单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

随着高光谱传感器成像的不断发展，卫星或者无人机可以搭载多种用于采集不同光谱波段的图像的传感器(当然这类传感器还可以搭载在其他飞行器上，比如，直升机)。其中，不同光谱(或波段)获取的同一场景下的图像具有互补的信息，若将这些互补的信息融合在一起，可以得到信息更完整的遥感图像。

在采集图像时，卫星可以在一较短的时段内(比如为1秒、5秒等)，通过搭载的多种传感器采集地面中不同波段对应的图像(该图像可以称为波段图像)。由于不同传感器采集图像的时间点、成像时间等有所差异，而卫星、无人机通常在持续运动。即使在较短时段内，卫星搭载的多个传感器能够完成不同波段图像的采集，但由于采集的时间点、成像时间的差异，卫星又在持续运动，因此，不同传感器采集地面的遥感图像中，在不同的传感器采集得到的波段图像中，地面上同一地物的相对位置在各波段图像中存在偏移的情况。另外，在现有技术中，受限于配准算法，无法支持高光谱图像的配准处理。

鉴于上述问题，本申请申请人经过长期研究探索，提出以下实施例以解决上述问题。下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，本申请实施例提供一种电子设备10，可以用于对图像进行配准处理，能够用于执行或实现下述的图像配准方法。其中，图像可以为卫星或者无人机通过自身搭载的多个高光谱传感器，采集地面得到的不同波段对应的波段图像。

在本实施例中，电子设备10可以是，但不限于，智能手机、个人电脑(PersonalComputer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。

在本实施例中，电子设备10可以包括处理模块11、存储模块12以及图像配准装置100，处理模块11、存储模块12以及图像配准装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以是通用处理器。例如，该处理器可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储基准图像、待配准图像、配准后图像等。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。

图像配准装置100包括至少一个可以软件或固件(firmware)的形式存储于存储模块12中或固化在电子设备10操作系统(Operating System，OS)中的软件功能模块。处理模块11用于执行存储模块12中存储的可执行模块，例如图像配准装置100所包括的软件功能模块及计算机程序等。

可以理解的是，图1所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，本申请实施例还提供一种图像配准方法，可以应用于上述的电子设备10，可以由该电子设备10执行或实现图像配准方法的各步骤。

在本实施例中，图像配准方法可以包括以下步骤：

步骤S210，获取初始基准图像及初始待配准图像；

步骤S220，将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像；

步骤S230，基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵；

步骤S240，将所述初始待配准图像根据所述第一透视变换矩阵进行融合配准，得到配准后图像。

下面将对图2所示的图像配准方法的各步骤进行详细阐述：

步骤S210，获取初始基准图像及初始待配准图像。

在本实施例中，电子设备10可以从图像集中获取初始基准图像及初始待配准图像。其中，图像集中可以包括多个高位深度的高光谱图像。该高光谱图像可以为卫星或无人机采集地表得到的遥感图像。其中，遥感图像(或高光谱图像)的位深度(位深度可以简称为位深或位)可以为16位、24位、32位等。

可理解地，在采集遥感图像时，卫星通常搭载着一个可以拍摄多个波段的相机，该相机可以采集多个波段的遥感图像(或称为波段图像)，采集的多个不同波段的遥感图像便可以作为上述的图像集。

另外，位深度是指在记录数字图像的颜色时，计算机实际上是用每个像素需要的位深度，图像的色彩层次越丰富，“位”就越多。例如，若一图像的位深度为8位，则表示该图像可以含有2⁸种颜色，或具有2⁸种灰度等级。其中，2⁸表示2的8次幂，即2⁸等于256。又例如，若一图像的位深度为16位，则表示该图像可以含有2¹⁶种颜色，或具有2¹⁶种灰度等级(其中，2¹⁶等于65536)。

在本实施例中，初始基准图像及初始待配准图像通常为图像集中波段不相同的两个图像。其中，“波段”也可以称为“谱段”，可理解为光谱的波长或波长范围。例如，对于32波段的光谱图像，各波段的中心波长可以如下：

第1谱段中心波长为466nm；第17谱段中心波长为716nm；

第2谱段中心波长为480nm；第18谱段中心波长为730nm；

第3谱段中心波长为500nm；第19谱段中心波长为746nm；

第4谱段中心波长为520nm；第20谱段中心波长为760nm；

第5谱段中心波长为536nm；第21谱段中心波长为776nm；

第6谱段中心波长为550nm；第22谱段中心波长为790nm；

第7谱段中心波长为566nm；第23谱段中心波长为806nm；

第8谱段中心波长为580nm；第24谱段中心波长为820nm；

第9谱段中心波长为596nm；第25谱段中心波长为836nm；

第10谱段中心波长为610nm；第26谱段中心波长为850nm；

第11谱段中心波长为626nm；第27谱段中心波长为866nm；

第12谱段中心波长为640nm；第28谱段中心波长为880nm；

第13谱段中心波长为656nm；第29谱段中心波长为896nm；

第14谱段中心波长为670nm；第30谱段中心波长为910nm；

第15谱段中心波长为686nm；第31谱段中心波长为926nm；

第16谱段中心波长为700nm；第32谱段中心波长为940nm。

作为一种可选的实施方式，步骤S210可以包括：从图像集中获取两个波段相邻的波段图像，所述两个波段相邻的波段图像分别为所述初始基准图像及所述初始待配准图像，所述图像集中包括多个波段相邻的波段图像。

可理解地，初始基准图像与初始待配准图像为图像集中两波段相邻的波段图像。例如，初始基准图像的波段为第15谱段的波段图像，初始待配准图像的波段可以为第14谱段或第16谱段的波段图像。

在对同一地面区域采集得到的不同波段的任意两个波段图像中，波段间隔越小(即，两个波段图像的波段越靠近)，两波段图像中的信息差异越小，而图像信息差异小的两波段图有利于提高确定的透视变换矩阵的可靠性，从而提高图像配准的精度。

作为一种可选的实施方式，初始基准图像可以为图像集中中心波段对应的图像，初始待配准图像可以为与初始基准图像的波段相邻的图像。例如，若图像集中有32种不同波段的图像，中心波段为第16波段或第17波段，那么初始基准波段图像可以为第16波段的图像，或为17波段的图像。若初始基准波段图像为第16波段的图像，初始待配准图像可以为第15波段或第17波段的图像；若初始基准波段图像为17波段的图像，初始待配准图像可以为第16波段或第18波段的图像。基于此，便于以初始基准波段图像为中心，向图像集中两边波段的其他波段图像进行传递配准。

当然，初始基准图像也可以为其他波段对应的图像，比如可以为15波段对应的图像，这里对初始基准图像的波段不作具体限定。

步骤S220，将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像。

在本实施例中，电子设备10可以将初始基准图像及初始待配准图像转换为指定位深的图像。其中，初始基准图像、初始待配准图像的位深通常高于指定位深。初始基准图像、初始待配准图像的位深可以基于高光谱传感器采集的图像精度、灵敏度等确定。指定位深可以根据实际情况进行设置。比如，高光谱传感器采集的图像的位深可以为16位、24位，指定位深可以为8位或其他位深。其中，将初始基准图像及初始待配准图像转换为8位的图像后，有利于利用OpenCV(Open Source Computer Vision Library，开源计算机视觉库)对转换后的8位图像进行配准处理。

作为一种可选的实施方式，电子设备10可以安装有OpenCV，OpenCV是一个开源的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS等操作系统上。在进行图像的位深转换时，可以将初始基准图像及初始待配准图像输入OpenCV(或者由OpenCV读取初始基准图像及初始待配准图像)，然后设置指定位深，OpenCV便可以将初始基准图像及初始待配准图像分别转换为指定位深的第一基准图像及第一待配准图像，并输出。输出后的第一基准图像及第一待配准图像可以存储在电子设备10的存储模块12中。

例如，电子设备10的处理模块11可以将位深均为16位的初始基准图像及初始待配准图像输入自身安装的OpenCV中，并设置指定位深为8位，OpenCV便可以将16位的初始基准图像及初始待配准图像分别转换为8位的第一基准图像及8位的第一待配准图像。

需要说的是，在进行图像的位深转换时，除了上述的OpenCV，还可以是其他软件工具来实现。比如，电子设备10可以通过Libtiff工具实现图像位深的转换，这里对图像位深转换所需要的软件工具不作具体限定。

步骤S230，基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵。

在本实施例中，电子设备10可以基于第一基准图像、第一待配准图像中包含的特征，来确定第一基准图像传递到第一待配准图像的第一透视变换矩阵。其中，第一基准图像、第一待配准图像包含的特征包括但不限于图像纹理、灰度值等。

可理解地，初始基准图像与初始待配准图像的位深通常高于第一基准图像及第一待配准图像。在将初始基准图像、初始待配准图像分别转换为低位深度的第一基准图像、第一待配准图像后，电子设备10对图像数据处理的信息量会减少，有利于降低运算负荷。

作为一种可选的实施方式，步骤S230可以包括：从所述第一基准图像中提取包括多个第一特征点的第一特征集，从所述第一待配准图像中提取包括多个第二特征点的第二特征集，所述第一特征点携带有与所述第一特征点对应的第一特征描述信息，所述第二特征点携带有与所述第二特征点对应的第二特征描述信息；确定所述第一特征集中的第一特征描述信息与所述第二特征集中的第二特征描述信息的相似度；将所述相似度大于或等于预设阈值的第一特征点、第二特征点进行配对关联；基于多组配对关联的所述第一特征点、第二特征点确定所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

在本实施例中，电子设备10可以采用加速稳健特征(Speed Up Robust Feature，SURF)算法，从第一基准图像及第一待配准图像中提取出相应的特征点，该特征点携带或关联有与特征点对应的特征描述信息(可以为第一特征描述信息或第二特征描述信息)。特征描述信息可以指在特征点所在像素区域的图像纹理、灰度值。或者，像素区域中可以包括一个或多个像素，这里对包括的像素数量不作具体限定。需要说明的是，特征描述信息还可以包括其他信息，比如，可以包括方向梯度直方图(Histogram of Oriented Gradient，HOG)特征，HOG特征是一种全局图像特征描述子。

在进行特征点配对关联前，可以基于第一基准图像、第一待配准图像中的一点为原点建立二维的空间坐标系，该原点通常为第一基准图像、第一待配准图像中的一边缘顶点。例如，在图3a、图3b中，原点均为图像的左上角的顶点。基于此，可以得到第一特征点在第一基准图像的第一坐标系下的坐标，以及得到第二特征点在第一待配准图像中的第二坐标系下的坐标。在进行配对关联时，可以基于配对关联的第一特征点、第二特征点的坐标建立映射关系。

在计算得到上述的第一透视变换矩阵后，可以基于第二特征点配准移动前的坐标，利用透视变换矩阵公式可计算出配准移动后的第二特征点的坐标，其表示如下：

在上式中，透视变换矩阵可记为A，表示如下：

在上式中，需要移动的点，为第二特征点，第二特征点在移动前的坐标为(u,v)，移动后的坐标为(x,y)其中，移动后的坐标具体表示如下：

公式中，[x’,y’,w’]表示透视变换后的点坐标,[u,v,w]表示透视变换前的点坐标，因为透视变换是三维的变换，基准图像与待配准图像的配准处理通常是二维图像的处理，所以在变换前点坐标和变换后点坐标中，w’和w的取值均为1，公式中x＝x’/w’,因为w’等于1，所以x＝x’；同理得y＝y’。

作为一种可选的实施方式，在进行特征点配对关联时，若一个第一特征点与第二特征集中的多个第二特征点的相似度均大于预设阈值，则选取相似度最大的第一特征点、第二特征点进行配对关联。

或者，在配对关联时，可以选取相似度最大且该相似度大于或等于预设阈值的第一特征点与第二特征点进行配对关联，已经配对关联的特征点无需再与其他特征点进行比对，也无需与其他特征点进行配对关联。其中，预设阈值可以根据实际情况进行设置，比如可以为90％，这里对预设阈值不作具体限定。

作为一种可选的实施方式，在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，所述方法还可以包括：获取为所述指定位深且与所述至少一个波段对应的波段图像。

可理解地，当初始基准图像的波段与初始待配准图像的波段之间间隔有至少一个波段时，电子设备10可以从图像集中获取与至少一个波段对应的初始图像，然后将初始图像转换为指定位深的图像，以作为与至少一个波段对应的波段图像。例如，若初始基准图像的波段为第15波段，初始待配准图像的波段为第18波段，图像集(图像集中包括初始基准图像及初始待配准图像)中的图像的位深均为16位，指定位深为8位，图像集中包括有各个波段对应的初始图像。电子设备10在获取为所述指定位深且与所述至少一个波段对应的波段图像时，可以从图像集中获取获取16位的第16波段、第17波段的初始图像，然后，对16位的第16波段、第17波段的初始图像进行位深转换，得到8位转换后的第16波段、第17波段的图像。8位转换后的第16波段、第17波段的图像，即为指定位深且为初始基准图像与初始待配准图像(或第一基准图像与第一待配准图像)之间的波段图像。

在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，步骤S230可以包括：基于所述初始基准图像的波段到所述初始待配准图像的波段的波段顺序，将每相邻的两个波段对应的第一波段图像、第二波段图像分别确定为第二基准图像和第二待配准图像，所述第一波段图像为相邻的两个波段中靠近所述初始基准图像的波段的波段图像；基于每相邻的两个波段对应的第二基准图像及第二待配准图像确定每相邻的两个波段对应的第二透视变换矩阵，所述第二透视变换矩阵为第二基准图像到第二待配准图像的第二透视变换矩阵；沿所述波段顺序，对每相邻的两个波段对应的第二透视变换矩阵进行矩阵乘法运算，得到所述第一基准图像传递到所述第一待配准图像的所述第一透视变换矩阵。

在本实施例中，图像集中通常可以包括波段连续的多个相邻的波段图像。初始基准图像的波段与初始待配准图像的波段之间，间隔有一个或多个波段时，可以以初始基准图像的波段为起点，初始待配准图像的波段为终点，依次计算初始基准图像到初始待配准图像之间的波段对应的图像在指定位深下的透视变换矩阵，最后通过传递计算得到第一基准图像到第一待配准图像的透视变换矩阵。

例如，若初始基准图像为15波段的图像，初始待配准图像为18波段的图像。在计算15波段图像到18波段图像的透视变换矩阵时，可以计算：15波段图像到16波段图像的透视变换矩阵，记为A1；16波段图像到17波段图像的透视变换矩阵，记为A2；17波段图像到18波段图像的透视变换矩阵，记为A3；然后将矩阵A1与矩阵A2相乘，可得15波段到17波段的透视变换矩阵，记为A4，然后将矩阵A4与矩阵A3相乘，便可以得到15波段图像到18波段图像的透视变换矩阵。

其中，初始基准图像的波段与初始待配准图像的波段之间，间隔有波段可理解为：比如，初始基准图像为第15波段的图像，初始待配准图像为第17波段的图像，那么该初始基准图像与该初始待配准图像之间间隔有一个波段。若初始基准图像为第15波段的图像，初始待配准图像为第16波段的图像，初始基准图像与初始待配准图像之间便不存在间隔的波段。

在本实施例中，当初始基准图像的波段与初始待配准图像的波段之间间隔有至少一个波段时，通过计算相邻波段图像之间的透视变换矩阵，再沿第一基准图像到第一待配准图像方向，将计算得到的透视变换矩阵作乘法运算，从而得到第一基准图像到第一待配准图像的透视变换矩阵。因为相邻波段之间的波段图像的信息差异较小，通过通过循环，传递配准相邻波段图像，有助于提高确定的透视变换矩阵的可靠性，从而有利于提高图像配准的精度，改善直接利用第一基准图像与第一待配准图像来计算透视变换矩阵时，因第一基准图像与第一待配准图像之间间隔的波段多而导致初第一基准图像与第一待配准图像之间信息差异大，从而导致确定的透视变换矩阵的可靠性差，配准后的图像的精度低的问题。

在进行配准融合时，可以将初始基准图像重叠融合于初始待配准图像中，在重叠融合时，在初始基准图像、初始待配准图像中配对关联的特征点相重合，对于未匹配关联的特征点(或其他像素点)，可以基于确定的透视变换矩阵，将初始基准图像中的第一特征点转换至初始待配准图像中的点，从而得到配准后图像。

在本实施例中，电子设备10在执行步骤S230、S240时，可以采用OpenCV库下的SURF(Speeded Up Robust Features，加速稳健特征)算法相关函数来实现。例如，在将16位的初始基准图像、初始待配准图像转换为位深均为8位的第一基准图像、第一待配准图像后，OpenCV读取第一基准图像及第一待配准图像，然后，采用SURF算法对第一基准图像及第一待配准图像进行图像运算，该运算包括包括空间尺度、坐标系的建立、特征点的提取、利用特征点周围邻域的信息生成特征描述信息和特征点匹配等过程。

基于此，一方面，有助于改善OpenCV中因相关函数不支持16位图像处理的限制；另一方面，以8位图像进行运算，虽然减少了图像信息，但是主要的特征点不会改变，可以在保证计算精度的基础上减少运算量，提高算法运行速度。可理解地，以8为图像计算获得透视变换矩阵，最后再用warpPerspective()函数(warpPerspective()函数为OpenCV中的一函数，用于进行透视变换)进行透视变换的时，用16位原图进行运算，这样配准后图像能保持16位不变，依然保存有原图像的信息。

请结合参照图3a、图3b、图3c，图为3a、图3b为卫星采集地面得到的遥感图像。可理解地，图3a为初始待配准图像的灰度示意图，图3b为初始基准图像的灰度示意图，图3c为图3a、图3b经过上述的图像配准后得到的配准后图像的灰度示意图。配准后图像通常有黑边，因为待配准图像与基准图像，有着公共的图像区域，也就是存在图像交集，另外，两个图像又各自有不相交的图像区域，因此以基准图像为基准，相交的区域会进行配准，而不相交的区域可以采用黑色进行填充，从而会出现黑边。其中，用户可以利用电子设备10对配准后图像中黑边进行裁剪，以去除配准后图像中的黑边。

需要说明的是，初始基准图像、初始待配准图像可以为彩色图，也可以为灰度图，配准后图像可以为灰度图或者彩图。

基于上述设计，方法通过进行位深转换，有利于灵活地对初始基准图像及初始待配准图像的位深进行转换，在进行位深转换后，再对初始基准图像和初始待配准图像进行图像配准，有助于改善无法支持高光谱图像配准处理的问题。

作为一种可选的实施方式，所述方法还包括：将所述图像集中的其他波段图像转换为所述指定位深的多个第三待配准图像，所述其他波段图像为所述图像集中除所述初始基准图像和所述初始待配准图像外的波段图像；基于所述多个第三待配准图像和所述第一基准图像，确定所述第一基准图像到每个第三待配准图像的第三透视变换矩阵；对所述初始基准图像和第三待配准图像通过与每个第三待配准图像对应的第三透视变换矩阵进行融合配准，得到所述初始基准图像与每个第三待配准图像对应的配准后图像。

可理解地，方法除了可以对初始基准图像、初始待配准图像进行图像配准，还可以将图像集中的任意两图像进行配准，比如，还可以对初始基准图像与图像集中的其他图像进行图像配准，以便于将不同波段的多个图像进行配准融合。其中，初始基准图像与图像集中的其他图像进行图像配准的处理过程，可参见上述对初始基准图像到初始待配准图像的配准处理过程，这里不再赘述。

请参照图4，本申请实施例还提供一种图像配准装置100，可以应用于上述的电子设备10中，用于执行或实现上述的图像配准方法。图像配准装置100可以包括图像获取单元110、图像位深转换单元120、确定单元130及图像配准单元140。

图像获取单元110，用于获取初始基准图像及初始待配准图像。可理解地，图像获取单元110可以用于执行图2中所示图像配准方法中的步骤S210，具体执行的操作内容可以参照对步骤S210的详细描述。

图像位深转换单元120，用于将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像。可理解地，图像位深转换单元120可以用于执行图2中所示图像配准方法中的步骤S220，具体执行的操作内容可以参照对步骤S220的详细描述。

确定单元130，用于基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵。可理解地，确定单元130可以用于执行图2中所示图像配准方法中的步骤S230，具体执行的操作内容可以参照对步骤S230的详细描述。

图像配准单元140，用于将所述初始待配准图像根据所述第一透视变换矩阵进行融合配准，得到配准后图像。可理解地，图像配准单元140可以用于执行图2中所示图像配准方法中的步骤S240，具体执行的操作内容可以参照对步骤S240的详细描述。

可选地，确定单元130还用于：从所述第一基准图像中提取包括多个第一特征点的第一特征集，从所述第一待配准图像中提取包括多个第二特征点的第二特征集，所述第一特征点携带有与所述第一特征点对应的第一特征描述信息，所述第二特征点携带有与所述第二特征点对应的第二特征描述信息；确定所述第一特征集中的第一特征描述信息与所述第二特征集中的第二特征描述信息的相似度；将所述相似度大于或等于预设阈值的第一特征点、第二特征点进行配对关联；基于多组配对关联的所述第一特征点、第二特征点确定所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

可选地，在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，图像获取单元110还可以用于：获取为所述指定位深且与所述至少一个波段对应的波段图像。

在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，确定单元130还可以用于：基于所述初始基准图像的波段到所述初始待配准图像的波段的波段顺序，将每相邻的两个波段对应的第一波段图像、第二波段图像分别确定为第二基准图像和第二待配准图像，所述第一波段图像为相邻的两个波段中靠近所述初始基准图像的波段的波段图像；基于每相邻的两个波段对应的第二基准图像及第二待配准图像确定每相邻的两个波段对应的第二透视变换矩阵，所述第二透视变换矩阵为第二基准图像到第二待配准图像的第二透视变换矩阵；沿所述波段顺序，对每相邻的两个波段对应的第二透视变换矩阵进行矩阵乘法运算，得到所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

可选地，图像获取单元110还可以用于：从图像集中获取两个波段相邻的波段图像，所述两个波段相邻的波段图像分别为所述初始基准图像及所述初始待配准图像，所述图像集中包括多个波段相邻的波段图像。

可选地，图像位深转换单元120还可以用于：将所述图像集中的其他波段图像转换为所述指定位深的多个第三待配准图像，所述其他波段图像为所述图像集中除所述初始基准图像和所述初始待配准图像外的波段图像。确定单元130还可用于：基于所述多个第三待配准图像和所述第一基准图像，确定所述第一基准图像到每个第三待配准图像的第三透视变换矩阵。图像配准单元140还可以用于：对所述初始基准图像和第三待配准图像通过与每个第三待配准图像对应的第三透视变换矩阵进行融合配准，得到所述初始基准图像与每个第三待配准图像对应的配准后图像。

可选地，指定位深可以包括8位。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像配准装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。

本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的图像配准方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

综上所述，本申请提供一种图像配准方法、装置、电子设备及计算机可读存储介质。该方法可以包括：获取初始基准图像及初始待配准图像；将初始基准图像转换为指定位深的第一基准图像，将初始待配准图像转换为指定位深的第一待配准图像；基于第一基准图像及第一待配准图像，确定第一基准图像传递到第一待配准图像的第一透视变换矩阵；将初始待配准图像根据第一透视变换矩阵进行融合配准，得到配准后图像。在本方案中，通过进行位深转换，有利于灵活地对初始基准图像及初始待配准图像的位深进行转换，在进行位深转换后，再对初始基准图像及初始待配准图像进行传递图像配准，有助于提高图像配准的准确性，改善无法支持高光谱图像配准处理的问题。

在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种图像配准方法，其特征在于，所述方法包括：

获取初始基准图像及初始待配准图像；

将所述初始基准图像转换为指定位深的第一基准图像，将所述初始待配准图像转换为所述指定位深的第一待配准图像；

基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵，包括：

在所述初始基准图像的波段与所述初始待配准图像的波段之间间隔有至少一个波段时，获取为所述指定位深且与所述至少一个波段对应的波段图像；

基于所述初始基准图像的波段到所述初始待配准图像的波段的波段顺序，将每相邻的两个波段对应的第一波段图像、第二波段图像分别确定为第二基准图像和第二待配准图像，所述第一波段图像为相邻的两个波段中靠近所述初始基准图像的波段的波段图像；

基于每相邻的两个波段对应的第二基准图像及第二待配准图像确定每相邻的两个波段对应的第二透视变换矩阵，所述第二透视变换矩阵为第二基准图像到第二待配准图像的第二透视变换矩阵；

沿所述波段顺序，对每相邻的两个波段对应的第二透视变换矩阵进行矩阵乘法运算，得到所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵；

将所述初始待配准图像根据所述第一透视变换矩阵进行融合配准，得到配准后图像。

2.根据权利要求1所述的方法，其特征在于，基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵，包括：

从所述第一基准图像中提取包括多个第一特征点的第一特征集，从所述第一待配准图像中提取包括多个第二特征点的第二特征集，所述第一特征点携带有与所述第一特征点对应的第一特征描述信息，所述第二特征点携带有与所述第二特征点对应的第二特征描述信息；

确定所述第一特征集中的第一特征描述信息与所述第二特征集中的第二特征描述信息的相似度；

将所述相似度大于或等于预设阈值的第一特征点、第二特征点进行配对关联；

基于多组配对关联的所述第一特征点、第二特征点确定所述第一基准图像到所述第一待配准图像的所述第一透视变换矩阵。

3.根据权利要求1所述的方法，其特征在于，获取初始基准图像及初始待配准图像，包括：

从图像集中获取两个波段相邻的波段图像，所述两个波段相邻的波段图像分别为所述初始基准图像及所述初始待配准图像，所述图像集中包括多个波段相邻的波段图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述图像集中的其他波段图像转换为所述指定位深的多个第三待配准图像，所述其他波段图像为所述图像集中除所述初始基准图像和所述初始待配准图像外的波段图像；

基于所述多个第三待配准图像和所述第一基准图像，确定所述第一基准图像到每个第三待配准图像的第三透视变换矩阵；

对每个第三待配准图像通过与每个第三待配准图像对应的第三透视变换矩阵进行融合配准，得到所述初始基准图像与每个第三待配准图像对应的配准后图像。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述指定位深包括8位。

6.一种图像配准装置，其特征在于，所述装置包括：

图像获取单元，用于获取初始基准图像及初始待配准图像；

确定单元，用于基于所述第一基准图像及所述第一待配准图像，确定所述第一基准图像传递到所述第一待配准图像的第一透视变换矩阵，包括：

7.根据权利要求6所述的装置，其特征在于，所述确定单元还用于：

8.一种电子设备，其特征在于，所述电子设备包括：相互耦合的处理器及存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-5中任意一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行如权利要求1-5中任意一项所述的方法。