CN116152308A

CN116152308A - 图像配准方法及装置、电子设备、存储介质

Info

Publication number: CN116152308A
Application number: CN202111396326.7A
Authority: CN
Inventors: 冯祥卫
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2021-11-23
Filing date: 2021-11-23
Publication date: 2023-05-23

Abstract

一种图像配准方法及装置、电子设备、存储介质，该方法包括：分别对第一图像以及第二图像进行特征点检测，获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集，其中，第一特征点集中包含的各个第一特征点分别与第二特征点集中包含的各个第二特征点一一对应；从上述第一特征点集中确定各个第一特征点对应的第一邻近子集，以及从上述第二特征点集中确定各个第二特征点对应的第二邻近子集；根据上述各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。实施本申请实施例，能够提升图像配准的精确性。

Description

图像配准方法及装置、电子设备、存储介质

技术领域

本申请涉及影像技术领域，尤其涉及一种图像配准方法及装置、电子设备、存储介质。

背景技术

当前，电子设备在面对多帧具有一定空间相似性的图像(例如电子设备在同一场景下连续拍摄的多张照片等)时，为了实现进一步的图像处理，往往需要先对该多帧图像进行配准，以确定各帧图像之间的空间变换关系，继而才能够将其应用于后续的图像处理步骤中。然而，在实践中发现，传统的图像配准方案准确性相对较低，不利于实现精确的图像配准。

发明内容

本申请实施例公开了一种图像配准方法及装置、电子设备、存储介质，能够提升图像配准的精确性。

本申请实施例第一方面公开一种图像配准方法，包括：

分别对第一图像以及第二图像进行特征点检测，获取所述第一图像对应的第一特征点集，以及所述第二图像对应的第二特征点集，其中，所述第一特征点集中包含的各个第一特征点分别与所述第二特征点集中包含的各个第二特征点一一对应；

从所述第一特征点集中确定各个所述第一特征点对应的第一邻近子集，以及从所述第二特征点集中确定各个所述第二特征点对应的第二邻近子集；

根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据所述空间变换参数对所述第一图像以及所述第二图像进行配准。

本申请实施例第二方面公开一种图像配准装置，包括：

特征点检测单元，用于分别对第一图像以及第二图像进行特征点检测，获取所述第一图像对应的第一特征点集，以及所述第二图像对应的第二特征点集，其中，所述第一特征点集中包含的各个第一特征点分别与所述第二特征点集中包含的各个第二特征点一一对应；

确定单元，用于从所述第一特征点集中确定各个所述第一特征点对应的第一邻近子集，以及从所述第二特征点集中确定各个所述第二特征点对应的第二邻近子集；

计算单元，用于分别根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据所述空间变换参数对所述第一图像以及所述第二图像进行配准。

本申请实施例第三方面公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面公开的任意一种图像配准方法中的全部或部分步骤。

本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现如本申请实施例第一方面公开的任意一种图像配准方法中的全部或部分步骤。

与相关技术相比，本申请实施例具有以下有益效果：

本申请实施例中，电子设备可以分别对待配准的第一图像和第二图像进行特征点检测，以获取该第一图像对应的第一特征点集，以及第二图像对应的第二特征点集。其中，上述第一特征点集中包含的各个第一特征点可以分别与第二特征点集中包含的各个第二特征点一一对应。在此基础上，电子设备可以从上述第一特征点集中确定各个第一特征点对应的第一邻近子集，以及从上述第二特征点集中确定各个第二特征点对应的第二邻近子集。根据该各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，电子设备可以进一步计算得到空间变换参数，并根据该空间变换参数来对上述第一图像和第二图像进行配准。可见，实施本申请实施例，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，分别在相应的第一特征点集和第二特征点集中确定其邻近子集，从而针对每一对特征点对中的第一特征点和第二特征点，均可结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。相对基于单个特征点进行配准的方案而言，采用邻近子集可以利用更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例公开的一种图像处理电路的结构示意图；

图2是本申请实施例公开的一种图像配准方法的流程示意图；

图3A是本申请实施例公开的第一图像和第二图像的示意图；

图3B是本申请实施例公开的第一图像对应的第一特征点集以及第二图像对应的第二特征点集的示意图；

图3C是本申请实施例公开的第一目标特征点对应的第一邻近子集以及第二目标特征点对应的第二邻近子集的示意图；

图4是本申请实施例公开的另一种图像配准方法的流程示意图；

图5是本申请实施例公开的又一种图像配准方法的流程示意图；

图6是本申请实施例公开的一种图像配准装置的模块化示意图；

图7是本申请实施例公开的一种电子设备的模块化示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，由于手机、智能可穿戴设备、平板电脑等电子设备的计算能力有限，为了实现精细度较高的某些图像处理功能，往往需要持续进行大量计算，容易导致电子设备功耗过高，同时也降低了电子设备进行图像处理的效率。例如，在对原始图像进行人像分割时，为了保留发丝细节，应用传统的人像分割方式往往耗时较长，且电子设备也极易因功耗过高而发烫。本申请实施例公开了一种图像配准方法及装置、电子设备、存储介质，能够提升图像配准的精确性。

以下将结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种图像处理电路的结构示意图，该图像处理电路可用于实现本申请实施例所公开的图像配准方法。示例性地，该图像处理电路可应用于手机、智能可穿戴设备、平板电脑等电子设备，但不限于此。如图1所示，图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(ImageSignal Processing，ISP)处理器140、控制逻辑器150以及显示器160。

其中，对于成像设备110捕捉到的图像数据，可以首先由ISP处理器140处理，例如可以通过ISP处理器140对图像数据进行分析，以获取可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(例如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(例如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(例如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于该姿态传感器120的接口类型，将原始图像数据提供给ISP处理器140，或者将该原始图像数据存储到图像存储器130中。

ISP处理器140可按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波、频域滤波等。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一些实施例中，通过成像设备(摄像头)110中的透镜112和图像传感器114可以获取连续拍摄的多帧图像，并将该多帧图像发送至ISP处理器140。由于连续拍摄的多帧图像往往具有一定的空间相似性，ISP处理器140可对上述多帧图像进行配准，以确定各帧图像之间的空间变换关系，继而可以利用配准后的图像来实现进一步的图像处理(例如图像虚化、图像融合、图像超分辨率等)。示例性地，以对两帧图像，即第一图像和第二图像进行图像配准为例，ISP处理器140可以分别对第一图像以及第二图像进行特征点检测，以获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集。其中，上述第一特征点集中包含的各个第一特征点可以分别与第二特征点集中包含的各个第二特征点一一对应。进一步地，ISP处理器140可以从上述第一特征点集中确定各个第一特征点对应的第一邻近子集，以及从上述第二特征点集中确定各个第二特征点对应的第二邻近子集。在此基础上，ISP处理器140可以根据各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。

通过实现上述图像配准方法，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数，从而可以准确地表征第一图像和第二图像之间的空间变换关系，有利于提升图像配准的精确性。

可选地，ISP处理器140还可利用配准后的第一图像和第二图像来实现进一步的图像处理。在此基础上，ISP处理器140可以将经过上述图像处理后的图像数据输出至显示器160，以供用户观看。

在另一些实施例中，当ISP处理器140从图像存储器130中获取待进行配准的第一图像和第二图像时，该第一图像和第二图像也可以是原先存储在电子设备本地的图像数据，或者通过数据传输模块从外部获取的图像数据。对于上述其它来源(即并非由成像设备110捕捉到的)的图像数据，ISP处理器140也可采用上述图像配准方法对其进行配准，不影响相应图像配准效果的实现。

请参阅图2，图2是本申请实施例公开的一种图像配准方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备。如图2所示，该图像配准方法可以包括以下步骤：

202、分别对第一图像以及第二图像进行特征点检测，获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集，其中，第一特征点集中包含的各个第一特征点分别与第二特征点集中包含的各个第二特征点一一对应。

在本申请实施例中，待进行图像配准的第一图像和第二图像可以包括通过电子设备的成像设备拍摄到的图像，也可以包括通过有线或者无线通信传输至该电子设备的图像，还可以包括存储在电子设备本地的图像，本申请实施例中不作具体限定。其中，上述第一图像和第二图像均可以包括多种不同类型的图像数据，如色彩数据(包括基于YUV颜色空间、RGB颜色空间等不同颜色空间的色彩数据)、纹理数据等。

为了对上述第一图像和第二图像进行图像配准，电子设备可以通过其图像处理电路，分别对第一图像和第二图像进行特征点检测，并根据检测结果获取第一图像和第二图像中具备对应关系的特征点。其中，第一图像中的各个第一特征点可以组成第一特征点集，而第二图像中与上述各个第一特征点一一对应的各个第二特征点可以组成第二特征点集。

具体地，电子设备在获取待配准的第一图像和第二图像后，可以基于一定的特征点检测算法，分别对第一图像和第二图像进行特征点检测，以得到包含第一图像中全部特征点的第一检测特征点集，以及包含第二图像中全部特征点的第二检测特征点集。在此基础上，电子设备可以对上述第一检测特征点集和第二检测特征点集进行初步筛选，获取其中具备对应关系的一对或多对第一特征点及第二特征点，以使筛选出的第一特征点可以组成第一特征点集，筛选出的第二特征点可以组成第二特征点集。可以理解，第一特征点集为上述第一检测特征点集的子集，而第二特征点集则为上述第二检测特征点集的子集。

示例性地，不同的特征点检测算法可以用于检测第一图像以及第二图像中的不同类型的特征点，如Harris角点、ORB(Oriented FAST and Rotated BRIEF)关键点、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征点、SURF(Speeded UpRobust Features，加速稳健特征)特征点等，本申请实施例中不作具体限定。

以检测第一图像中的SIFT特征点为例，通过对该第一图像进行尺度变换，获得其在多尺度下的空间表示，继而构建高斯金字塔及差分金字塔(DoG，Difference ofGaussian)，可以便于寻找相应的高斯差分函数(即DoG函数)在尺度空间中的极值点，并进一步确定出合适的SIFT特征点。可以理解，对第二图像中的特征点检测也与前述过程类似，采用相同的特征点检测算法，可以在第二图像中检测相同类型的特征点。

进一步地，在第一图像以及第二图像中检测到全部特征点之后，电子设备可以利用每个特征点附近的灰度信息，构建相应的灰度特征描述子，用于表征各个特征点的空间特征。仍以第一图像中的SIFT特征点为例，通过相应的SIFT描述子，可以表征第一图像中的各个SIFT特征点，且这种表征具有尺度不变性。

在此基础上，对于上述第一检测特征点集和第二检测特征点集，基于其中各个特征点对应的灰度特征描述子，可以比较各个特征点之间的相似性，从而可以分别从第一检测特征点集和第二检测特征点集中初步筛选出具有对应关系的第一特征点和第二特征点。其中，上述对应关系，可以表示第一图像中的第一特征点与第二图像中的第二特征点存在空间位置上的相似性，即通过将各个第一特征点映射为对应的各个第二特征点，或者将各个第二特征点映射为相应的各个第一特征点，可以实现对第一图像和第二图像的配准，以使该第一图像和第二图像可以相互映射而得到彼此。

对于上述初步筛选出的具备对应关系的第一特征点和第二特征点，电子设备可以进一步对其中可能存在的误匹配特征点对进行剔除。在一些实施例中，可以通过固定阈值来对第一特征点和第二特征点之间的相似性进行判断，并剔除相似性低于该固定阈值的误匹配特征点对(即从第一特征点集中剔除误匹配的第一特征点，以及从第二特征点集中相应剔除误匹配的第二特征点)。举例来说，电子设备可以将具备对应关系的第一特征点和第二特征点各自的坐标换算至同一坐标系，继而判断该第一特征点和第二特征点之间的距离是否超过固定阈值，若超过固定阈值，则确认该第一特征点和第二特征点为误匹配特征点对，并分别从上述第一特征点集和第二特征点集中剔除。又举例来说，电子设备也可以计算具备对应关系的第一特征点和第二特征点各自对应的灰度特征描述子之间的相似性参数，并判断该相似性参数是否超过固定阈值，若超过固定阈值，则确认该第一特征点和第二特征点为误匹配特征点对并将其剔除。

在另一些实施例中，还可以利用RANSAC(Random Sample Consensus，随机抽样一致性)算法，对离群的第一特征点和第二特征点进行剔除，从而可以剔除相应的误匹配特征点对。

示例性地，请一并参阅图3A以及图3B。如图3A所示，在对第一图像31和第二图像32进行特征点检测后，各个检测到的特征点可以通过空心圆圈示出。其中，第一图像31中被示出的各个特征点即组成第一检测特征点集，第二图像32中被示出的各个特征点即组成第二检测特征点集。在此基础上，通过对上述第一检测特征点集和第二检测特征点集进行初步筛选，获取其中具备对应关系的一对或多对第一特征点及第二特征点，并进一步剔除其中的误匹配特征点对之后，如图3B所示，所剩下的具备对应关系的第一特征点和第二特征点可以通过三角形在图3B中示出(为便于理解，图3B仅示出其中一部分，并通过虚线连接)。其中，第一图像31中被示出的各个第一特征点即组成第一特征点集，第二图像32中被示出的各个第二特征点即组成第二特征点集。

204、从上述第一特征点集中确定各个第一特征点对应的第一邻近子集，以及从上述第二特征点集中确定各个第二特征点对应的第二邻近子集。

在本申请实施例中，当电子设备获取第一图像对应的第一特征点集以及第二图像对应的第二特征点集之后，可以针对该第一特征点集以及第二特征点集中的每个特征点，从相应的特征点集中分别确定各自邻近的若干个特征点，以得到各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集。在后续步骤中，采用上述邻近子集可以更准确地表征各个第一特征点与对应的各个第二特征点之间的空间变换关系，从而可以更准确地获取第一图像和第二图像之间的空间变换关系，有利于提升所计算出的空间变换参数的可信度和稳健性。

示例性地，电子设备可以为每个第一特征点选取其邻近指定数量的其它第一特征点，并将该指定数量的第一特征点组成各个第一特征点对应的第一邻近子集。需要说明的是，上述第一邻近子集中的其它第一特征点均是从第一特征点集中选取的，而非从第一检测特征点集中选取的，从而可以确保每个第一特征点及其对应的第一邻近子集均通过了上述初步筛选，在第二特征点集中拥有具备对应关系的第二特征点，有利于提升后续图像配准过程的准确性和可靠性。

在一种实施例中，针对第一目标特征点，电子设备可以从第一特征点集中，按照与该第一目标特征点之间的距离从小到大的顺序，选取排列在前N(N为正整数)个的第一特征点，组成该第一目标特征点对应的第一邻近子集。其中，该第一目标特征点可以为上述第一特征点集中的任一第一特征点。示例性地，请参阅图3C，在图3C中可以通过第一图像31中标黑的三角形来表示第一目标特征点，而该第一目标特征点对应的第一邻近子集则可以通过以该第一目标特征点为中心的圆圈31a框出(即圆圈31a中除第一目标特征点以外的其它第一特征点，通过空白三角形示出)。可以理解，图3C中所示的第一邻近子集包含5个其它第一特征点，即N＝5，这仅是一种示例，不应视为对N取值的限定。

类似地，电子设备可以采用同样的方式，从上述第二特征点集中确定各个第二特征点对应的第二邻近子集。以第二目标特征点为例，针对与上述第一目标特征点具备对应关系的第二目标特征点，电子设备同样可以从第二特征点集中，按照与该第二目标特征点之间的距离从小到大的顺序，选取排列在前N个的第二特征点，组成该第二目标特征点对应的第二邻近子集。示例性地，请继续参阅图3C，在图3C中可以通过第二图像32中标黑的三角形来表示第二目标特征点，而以该第二目标特征点为中心的圆圈32a则可以框出该第二目标特征点对应的第二邻近子集(即圆圈32a中除第二目标特征点以外的其它第二特征点，通过空白三角形示出)，该第二邻近子集同样包含5个其它第二特征点。

需要说明的是，尽管上述第一目标特征点与第二目标特征点具备对应关系，在该第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集中，所包含的各个第一特征点和第二特征点不一定都具备对应关系。如图3C所示，在圆圈31a中除第一目标特征点(标黑三角形)以外的其它5个第一特征点之中，仅3个第一特征点与圆圈32a中相应的第二特征点具备对应关系。以相应的第一邻近子集和第二邻近子集中分别包含N个特征点为例，若存在N个具备对应关系的特征点对(即第一邻近子集和第二邻近子集包含的各个第一特征点和第二特征点均具备对应关系)，则可以将该第一邻近子集和第二邻近子集直接应用于后续的图像配准步骤中；若存在M(M＜N)个具备对应关系的特征点对，则可以将该M个特征点对包含的第一特征点和第二特征点分别组成新的第一邻近子集和第二邻近子集，并将更新后的第一邻近子集和第二邻近子集直接应用于后续的图像配准步骤中。

206、根据上述各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。

在本申请实施例中，电子设备在分别确定出各个第一特征点对应的第一邻近子集以及各个第二特征点对应的第二邻近子集之后，可以根据上述各个第一邻近子集和第二邻近子集，计算得到空间变换参数，该空间变换参数可以用于对上述第一图像和第二图像进行配准。

示例性地，上述空间变换参数可以包括映射参数，例如映射向量、映射矩阵、仿射变换参数等。在一些实施例中，电子设备在根据上述各个第一邻近子集和第二邻近子集计算得到相应的映射向量或映射矩阵之后，可以根据该映射向量或映射矩阵对第一图像(或第二图像)进行矩阵运算，得到配准后的第一图像(或第二图像)。在另一些实施例中，电子设备在计算得到仿射变换参数后，可以根据该仿射变换参数中的变换矩阵对待配准的第一图像(或第二图像)进行旋转，再根据该仿射变换参数中的变换向量对旋转后的第一图像(或第二图像)进行平移，得到经过仿射变换后配准的第一图像(或第二图像)。

需要说明的是，针对待配准的图像包括多帧图像的情况，电子设备可以以其中一帧基准图像作为第一图像，并依次将各帧其它图像作为第二图像，通过本申请实施例中的图像配准方法依次对上述第一图像和各帧第二图像进行配准。在一些实施例中，电子设备也可以先选取初始的第一图像和第二图像，对该第一图像和第二图像进行配准后，再以配准后的第一图像或第二图像作为基准，继续对其它图像进行配准，并重复以上过程直至对全部图像完成配准。

可选地，在本申请实施例中，电子设备在获取第一图像对应的第一特征点集以及第二图像对应的第二特征点集之后，可以并行地确定各个特征点对应的邻近子集。在根据各个第一特征点对应的第一邻近子集以及各个第二特征点对应的第二邻近子集计算空间变换参数的过程中，对于涉及各个特征点或各个邻近子集的运算，均可通过并行化实现加速，从而可以进一步提升电子设备进行图像配准的效率。

可见，实施上述实施例所描述的图像配准方法，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，分别在相应的第一特征点集和第二特征点集中确定其邻近子集，从而针对每一对特征点对中的第一特征点和第二特征点，均可结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。通过采用邻近子集，可以利用待配准图像中更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。

请参阅图4，图4是本申请实施例公开的另一种图像配准方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备。如图4所示，该图像配准方法可以包括以下步骤：

402、分别对第一图像以及第二图像进行特征点检测，获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集，其中，第一特征点集中包含的各个第一特征点分别与第二特征点集中包含的各个第二特征点一一对应。

其中，步骤402与上述步骤202类似，此处不再赘述。

404、从第一特征点集中，按照与各个第一特征点之间的距离从小到大的顺序，分别选取排列在前N个的第一特征点，组成各个第一特征点对应的第一邻近子集；以及，从第二特征点集中，按照与各个第二特征点之间的距离从小到大的顺序，分别选取排列在前N个的第二特征点，组成各个第二特征点对应的第二邻近子集，其中，N为正整数。

在本申请实施例中，当电子设备需要确定各个第一特征点对应的第一邻近子集时，可以在其所属的第一特征点集中，分别在各个第一特征点附近选取指定数量的其它第一特征点，以使得上述其它第一特征点所组成的第一邻近子集可以相较于单独的第一特征点更准确地体现其空间特征。类似地，电子设备也可以采用同样的方式，在第二特征点集中，分别在各个对应的第二特征点附近选取相同数量的其它第二特征点，以组成各个相对应的第二邻近子集。

在一些实施例中，以第一特征点集中的第一目标特征点为例，电子设备可以先计算距该第一目标特征点一定距离范围内的全部第一特征点(不含第一目标特征点自身)与该第一目标特征点之间的欧氏距离，再根据上述欧氏距离对各个第一特征点进行排序，并按照欧氏距离从小到大的顺序，选取排列在前N(N为正整数)个的第一特征点，以组成该第一目标特征点对应的第一邻近子集。可选地，若上述一定距离范围内的全部第一特征点的数量不足N个，则可以扩大该距离范围，直至确定出N个距第一目标特征点最近的其它第一特征点。可以理解，电子设备也可以通过类似的方式确定出与该第一目标特征点对应的第二目标特征点对应的第二邻近子集。

作为一种可选的实施方式，电子设备在确定出各个第一特征点对应的第一邻近子集以及各个第二特征点对应的第二邻近子集后，还可以从上述各个第一邻近子集和第二邻近子集中，剔除不具备对应关系的特征点，以更新该第一邻近子集和第二邻近子集。示例性地，电子设备可以分别判断对应的第一邻近子集和第二邻近子集中，所包含的各个第一特征点和第二特征点之间是否具有对应关系(即是否属于上述初步筛选所获取的一对或多对特征点对)，并剔除不具备对应关系的特征点，保留具备对应关系的特征点对。根据所保留的特征点对实现对第一邻近子集和第二邻近子集的更新，可以避免出现某个第一特征点属于第一邻近子集，而与其对应的第二特征点不属于相应的第二邻近子集(反之亦然)，导致后续基于该第一邻近子集和第二邻近子集计算空间变换参数时产生偏差的情况，从而能够尽可能确保图像配准的可靠性。

406、根据各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，分别获取各个特征点对对应的融合结构信息，其中，每一特征点对由第一特征点及对应的第二特征点组成。

在本申请实施例中，为了对第一图像和第二图像实现配准，可以先确定该第一图像对应的第一特征点集和第二图像对应的第二特征点集之间的空间变换关系。而根据第一特征点集中包含的各个第一特征点对应的第一邻近子集，以及第二特征点集中包含的各个第二特征点对应的第二邻近子集，可以获取各个特征点对对应的融合结构信息，进而可以基于该融合结构信息准确确定第一特征点集与第二特征点集之间的空间变换关系。

示例性地，上述融合结构信息可以包括融合距离，该融合距离可以由包括形状上下文距离、灰度描述子距离、欧氏距离等在内的各种不同距离信息融合得到。通过融合多种距离信息，可以构建更准确的相似性度量标准，使得融合后的特征描述子具有更强的描述能力，便于准确有效地判断第一特征点与第二特征点之间的对应关系及其对应精度。

408、依次根据每个特征点对对应的融合结构信息，计算每个特征点对的相似概率。

在本申请实施例中，当电子设备分别获取每个特征点对对应的融合结构信息之后，可以基于该融合结构信息，分别计算每个特征点对的相似概率，用以分别表征每对第一特征点和第二特征点之间的相似程度，同时还可以避免一对一硬判决所带来的缺陷。示例性地，以融合结构信息包括某一特征点对对应的融合距离d_m为例，电子设备可以基于以下公式1计算该特征点对相应的相似概率。

公式1：

其中，

可以表示第一特征点集X中的第m个第一特征点x_m与第二特征点集Y中相应的第m个第二特征点y_m之间的相似概率，上述融合距离d_m则可以是根据该第一特征点x_m对应的第一邻近子集/>

和第二特征点y_m对应的第二邻近子集/>

所获取的。上述σ²可以表示迭代参数，用于在后续步骤中控制迭代精度。

410、根据各个特征点对的相似概率，确定第一特征点集和第二特征点集之间的对应关系矩阵。

在本申请实施例中，第一特征点集和第二特征点集之间的对应关系矩阵P可以如以下公式2所示。

公式2：

其中，假设第一特征点集X和第二特征点集Y中分别包含M个第一特征点和第二特征点，则该对应关系矩阵P可以为M行M列矩阵P_MM。为确定出该对应关系矩阵P_MM，除了需要计算上述各个特征点对的相似概率

之外，还需进一步计算各个不具备对应关系的第一特征点和第二特征点至今的相似概率，即更具普遍性的第一特征点x_m与第二特征点y_n之间的相似概率p_mn。

在本申请实施例中，对于具备对应关系的特征点对，其第一特征点与第二特征点之间的相似概率可以通过上述公式1进行计算。对于不具备对应关系的第一特征点和第二特征点，则可以通过该第一特征点和第二特征点之间的欧氏距离以及形状上下文距离，计算该第一特征点与第二特征点之间的相似概率

其计算方式如以下公式3所示。

公式3：

其中，

表示第一特征点x_m和第二特征点y_m之间的欧氏距离，/>

则表示该第一特征点x_m和第二特征点y_m之间的形状上下文距离。上述σ²可以表示迭代参数，用于在后续步骤中控制迭代精度。

在此基础上，为了抑制离群点可能带来的影响，还可以进一步通过以下公式4计算第一特征点与第二特征点之间的相似概率p_mn。

公式4：

其中，上述τ表示离群点抑制参数。

作为一种可选的实施方式，电子设备还可以进一步判断第一特征点和第二特征点之间的对应关系是否符合相似条件，以根据判断结果确定采用上述各计算公式的准确性和合理性，并确定是否需要采用不同的计算公式进行计算。

以具备对应关系的第一目标特征点和第二目标特征点所组成的目标特征点对为例，在一些实施例中，若第一目标特征点与第二目标特征点之间的对应关系符合相似条件，则可以根据该目标特征点对对应的融合结构信息，采用上述公式1来计算该目标特征点对的相似概率。在另一些实施例中，若第一目标特征点与第二目标特征点之间的对应关系不符合相似条件，则可以根据该第一目标特征点和所述第二目标特征点之间的欧氏距离以及形状上下文距离，通过上述公式3(或公式4)计算该目标特征点对的相似概率。

其中，上述相似条件可以基于第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集来进行判断，用于表征该第一目标特征点与第二目标特征点之间的对应关系的可信度。示例性地，若在第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集中，具备对应关系的邻近特征点对的数量超过相似阈值，则可以确认该第一目标特征点与第二目标特征点之间的对应关系符合相似条件；若不超过相似阈值，则可以确认第一目标特征点与第二目标特征点之间的对应关系不符合相似条件。

具体举例来说，上述第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集可以分别包含N(例如N＝5)个特征点，且存在M(M≤N)个具备对应关系的特征点对。若具备对应关系的特征点对的数量M超过相似阈值Q(例如Q＝3)，则可以认为该第一目标特征点与第二目标特征点之间的对应关系符合相似条件；若M不超过相似阈值Q，则可以认为第一目标特征点与第二目标特征点之间的对应关系不符合相似条件。可以理解，当上述M＜N时，电子设备可以分别对该第一邻近子集和第二邻近子集进行更新，以保留具备对应关系的特征点对，但在判断上述对应关系是否符合相似条件时，可以采用更新前的第一邻近子集和第二邻近子集进行判断。

412、根据上述对应关系矩阵，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。

在本申请实施例中，电子设备在确定出上述第一特征点集和第二特征点集之间的对应关系矩阵之后，可以基于该对应关系矩阵，进一步计算出相应的空间变换参数，该空间变换参数可以用于对上述第一图像和第二图像进行配准。

示例性地，上述空间变换参数可以包括映射参数，例如映射向量、映射矩阵、仿射变换参数等。在一些实施例中，以仿射变换参数为例，电子设备可以先根据上述对应关系矩阵，确定出配准代价函数，再基于该配准代价函数计算得到第一图像和所述第二图像之间的仿射变换参数，作为对上述第一图像以及第二图像进行配准的空间变换参数。

具体地，以上述对应关系矩阵为M行M列矩阵P_MM为例，其相应的配准代价函数可以如以下公式5所示。

公式5：

其中，p_mn为第一特征点x_m与第二特征点y_n之间的相似概率，而A为表征旋转变换的变换矩阵，t为表征平移变换的变换向量，该变换矩阵A和变换向量t共同构成仿射变换参数。

通过对上述公式5中的变换矩阵A和变换向量t分别求偏导，并令其等于0，可以分别得到：

公式6：

公式7：

t＝u_x-Au_y

其中，上述公式6中的“1”表示单位向量，P为对应关系矩阵，X为第一特征点集，Y为第二特征点集，且

从而，结合上述公式6以及公式7，可以得到基于第二特征点集对第二图像进行的仿射变换，如以下公式8所示。

公式8：

通过上述变换矩阵A和变换向量t，可以对第二特征点集Y进行更新而得到

即实现对上述第二图像的仿射变换，从而可以实现对第一图像以及第二图像配准。

可见，实施上述实施例所描述的图像配准方法，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。通过采用邻近子集，可以利用待配准图像中更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。此外，通过融合多种距离信息，可以构建更准确的相似性度量标准，使得融合后的特征描述子具有更强的描述能力，便于准确有效地判断第一特征点与第二特征点之间的对应关系及其对应精度。

请参阅图5，图5是本申请实施例公开的又一种图像配准方法的流程示意图，该方法可以应用于包括上述图像处理电路的电子设备。如图5所示，该图像配准方法可以包括以下步骤：

502、分别对第一图像以及第二图像进行特征点检测，获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集，其中，第一特征点集中包含的各个第一特征点分别与第二特征点集中包含的各个第二特征点一一对应。

其中，步骤502与上述步骤202类似，此处不再赘述。

504、从第一特征点集中，按照与第一目标特征点之间的距离从小到大的顺序，选取排列在前N个的第一特征点，组成第一目标特征点对应的第一邻近子集；以及，从第二特征点集中，按照与第二目标特征点之间的距离从小到大的顺序，选取排列在前N个的第二特征点，组成第二目标特征点对应的第二邻近子集，其中，第一目标特征点为第一特征点集中的任一第一特征点，第二目标特征点为第二特征点集中与上述第一目标特征点对应的第二特征点，N为正整数。

其中，步骤504与上述步骤404类似。需要说明的是，上述步骤404是以第一特征点集和第二特征点集中包含的各个特征点为整体，从整体角度进行阐述的；而步骤504则是针对具备对应关系的第一目标特征点和第二目标特征点所组成的目标特征点对，从个体角度进行阐述的。上述表述方式的差异不影响本申请实施例中实现确定各个第一特征点和第二特征点对应的邻近子集，以供后续步骤基于上述邻近子集计算得到空间变换参数，并根据该空间变换参数对第一图像以及第二图像进行配准。

506、从上述各个第一邻近子集和第二邻近子集中，剔除不具备对应关系的特征点，以更新第一邻近子集和第二邻近子集。

其中，步骤506的主要实现方式已在上述步骤404中阐述，此处不再赘述。

508、根据第一目标特征点对应的第一邻近子集，以及第二目标特征点对应的第二邻近子集，计算目标特征点对对应的融合形状上下文距离，以及计算目标特征点对对应的融合灰度描述子距离，以及计算目标特征点对对应的融合欧氏距离，其中，上述目标特征点对由第一目标特征点和第二目标特征点组成。

在本申请实施例中，根据第一目标特征点对应的第一邻近子集，以及第二目标特征点对应的第二邻近子集，可以获取该目标特征点对对应的融合结构信息，以基于该融合结构信息准确确定第一特征点集与第二特征点集之间的空间变换关系。其中，上述融合结构信息可以包括融合距离，该融合距离可以由融合形状上下文距离、融合灰度描述子距离以及融合欧氏距离作进一步融合得到，而上述融合形状上下文距离、融合灰度描述子距离以及融合欧氏距离均可以基于第一目标特征点对应的第一邻近子集以及第二目标特征点对应的第二邻近子集计算得到。

在一些实施例中，电子设备在计算上述目标特征点对对应的融合形状上下文距离时，可以针对第一目标特征点对应的第一邻近子集，分别获取第一邻近子集中包含的各个第一特征点的第一形状上下文描述子。同时，针对第二目标特征点对应的第二邻近子集，可以分别获取第二邻近子集中包含的各个第二特征点的第二形状上下文描述子。在此基础上，电子设备可以根据上述第一形状上下文描述子以及第二形状上下文描述子，计算目标特征点对之间的目标形状上下文距离，以及第一邻近子集和第二邻近子集中具备对应关系的邻近特征点对之间的邻近形状上下文距离，并根据该目标形状上下文距离以及邻近形状上下文距离，计算目标特征点对对应的融合形状上下文距离。示例性地，上述计算融合形状上下文距离

的过程可以如以下公式9所示。

公式9：

其中，

为目标特征点对x_m和y_m之间的目标形状上下文距离，/>

则为第一邻近子集和第二邻近子集中具备对应关系的各个邻近特征点对之间的邻近形状上下文距离之和，N表示上述具备对应关系的邻近特征点对的数量，且控制参数ρ₁≤1。

在一些实施例中，电子设备在计算上述目标特征点对对应的融合灰度描述子距离时，可以根据第一目标特征点与第二目标特征点之间的配对关系，确定该目标特征点对之间的目标灰度描述子距离。以及，根据第一邻近子集中包含的各个第一特征点与第二邻近子集中包含的各个第二特征点之间的对应关系，可以确定具备对应关系的邻近特征点对之间的邻近灰度描述子距离。在此基础上，电子设备可以根据上述目标灰度描述子距离以及邻近灰度描述子距离，计算目标特征点对对应的融合灰度描述子距离。示例性地，上述计算融合灰度描述子距离

的过程可以如以下公式10所示。

公式10：

其中，

为目标特征点对x_m和y_m之间的目标灰度描述子距离，/>

则为第一邻近子集和第二邻近子集中具备对应关系的各个邻近特征点对之间的邻近灰度描述子距离之和，N表示上述具备对应关系的邻近特征点对的数量，且控制参数ρ₂≤1。需要说明的是，由于灰度描述子可以用于表征第一特征点集和第二特征点集中的各个第一特征点与第二特征点之间的对应关系，在第一特征点x_m和第二特征点y_m具备对应关系时，可以取/>

否则可以取/>

以简化计算过程，提升计算效率。

在一些实施例中，电子设备在计算上述目标特征点对对应的融合欧氏距离时，可以先计算目标特征点对之间的目标欧氏距离，以及第一邻近子集和第二邻近子集中具备对应关系的邻近特征点对之间的邻近欧氏距离。在此基础上，电子设备可以再根据上述目标欧氏距离以及邻近欧氏距离，计算目标特征点对对应的融合欧氏距离。示例性地，上述计算融合欧氏距离

的过程可以如以下公式11所示。

公式11：

其中，

为目标特征点对x_m和y_m之间的目标欧氏距离，/>

则为第一邻近子集和第二邻近子集中具备对应关系的各个邻近特征点对之间的邻近欧氏距离之和，N表示上述具备对应关系的邻近特征点对的数量，且控制参数ρ₃≤1。

可选地，上述各类距离信息的计算均可通过并行化实现加速，从而可以进一步提升电子设备进行图像配准的效率。

510、将融合形状上下文距离、融合灰度描述子距离以及融合欧氏距离进行融合，计算得到目标特征点对对应的融合距离。

电子设备在分别计算得到上述融合形状上下文距离、融合灰度描述子距离以及融合欧氏距离之后，可以基于以下公式12对上述三者进行融合：

公式12：

其中，k可以用于控制融合灰度描述子距离

在融合距离d_m中的作用。示例性地，可以取k＝1,2,3……等。

通过融合多种距离信息，可以构建更准确的相似性度量标准，使得融合后的特征描述子具有更强的描述能力，便于准确有效地判断第一特征点与第二特征点之间的对应关系及其对应精度。

512、依次根据每个特征点对对应的融合结构信息，计算每个特征点对的相似概率。

514、根据各个特征点对的相似概率，确定第一特征点集和第二特征点集之间的对应关系矩阵。

516、根据上述对应关系矩阵，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。

其中，步骤512、步骤514以及步骤516与上述步骤408、步骤410以及步骤412类似，此处不再赘述。

在一些实施例中，电子设备在计算出上述空间变换参数之后，还可以进行多次迭代计算，以得到更准确的空间变换参数。示例性地，电子设备可以基于其所计算出的空间变换参数来对第二特征点集进行调整(即如上述公式8所示的更新)，并重新执行从第二特征点集中确定各个第二特征点对应的第二邻近子集，以及根据各个第一特征点对应的第一邻近子集和各个第二特征点对应的第二邻近子集，计算得到空间变换参数的步骤，直至更新的空间变换参数满足迭代结束条件为止。示例性地，上述迭代结束条件可以包括迭代次数条件和/或迭代参数条件。

其中，上述迭代次数条件，可以包括指定的迭代次数，例如100次、150次、200次等。通过有限次数的迭代，可以在电子设备自身的算力与其计算空间变换参数的精确度之间尽可能取得平衡，以在确保所计算得到的空间变换参数达到一定精确度的前提下，尽可能节省电子设备的运算时间，从而有利于降低功耗。

上述迭代参数条件，则可以包括指定的迭代参数精度，该迭代参数可以通过公式1以及公式3中的σ²表示。基于确定性退火算法执行上述迭代计算过程，可以使得每次迭代所得到的迭代参数σ²逐渐降低，当该迭代参数σ²达到指定的迭代参数精度时(例如指定

当该迭代参数/>

时，即满足迭代参数条件)，可以停止迭代，从而可以确保电子设备所计算得到的空间变换参数达到所需精确度，提升电子设备进行图像配准的准确性和可靠性。

可见，实施上述实施例所描述的图像配准方法，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。通过采用邻近子集，可以利用待配准图像中更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。此外，通过融合多种距离信息，可以构建更准确的相似性度量标准，使得融合后的特征描述子具有更强的描述能力，便于准确有效地判断第一特征点与第二特征点之间的对应关系及其对应精度。此外，通过并行计算上述各类融合信息，可有效实现并行化加速，从而可以进一步提升电子设备进行图像配准的效率。此外，通过多次迭代计算得到空间变换参数，可以尽可能使所获取的空间变换参数更准确、更可信，有利于进一步有利于提升图像配准的精确性和可靠性。

请参阅图6，图6是本申请实施例公开的一种图像配准装置的模块化示意图，该图像配准装置可以应用于包括上述图像处理电路的电子设备。如图6所示，该图像配准装置可以包括特征点检测单元601、确定单元602以及计算单元603，其中：

特征点检测单元601，用于分别对第一图像以及第二图像进行特征点检测，获取第一图像对应的第一特征点集，以及第二图像对应的第二特征点集，其中，第一特征点集中包含的各个第一特征点分别与第二特征点集中包含的各个第二特征点一一对应；

确定单元602，用于从上述第一特征点集中确定各个第一特征点对应的第一邻近子集，以及从上述第二特征点集中确定各个第二特征点对应的第二邻近子集；

计算单元603，用于根据上述各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，计算得到空间变换参数，并根据该空间变换参数对上述第一图像以及第二图像进行配准。

可见，采用上述实施例所描述的图像配准装置，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，分别在相应的第一特征点集和第二特征点集中确定其邻近子集，从而针对每一对特征点对中的第一特征点和第二特征点，均可结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。通过采用邻近子集，可以利用待配准图像中更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。

在一种实施例中，上述确定单元602具体可以用于从第一特征点集中，按照与第一目标特征点之间的距离从小到大的顺序，分别选取排列在前N个的第一特征点，组成第一目标特征点对应的第一邻近子集；以及，从第二特征点集中，按照与第二目标特征点之间的距离从小到大的顺序，分别选取排列在前N个的第二特征点，组成第二目标特征点对应的第二邻近子集。

其中，上述第一目标特征点为第一特征点集中的任一第一特征点，第二目标特征点为第二特征点集中与第一目标特征点对应的第二特征点；上述N为正整数。

在一种实施例中，上述确定单元602还可以用于从第一邻近子集和第二邻近子集中，剔除不具备对应关系的特征点，以更新该第一邻近子集和第二邻近子集。

采用上述实施例所描述的图像配准装置，通过更新第一邻近子集和第二邻近子集，可以避免出现某个第一特征点属于第一邻近子集，而与其对应的第二特征点不属于相应的第二邻近子集(反之亦然)，导致后续基于该第一邻近子集和第二邻近子集计算空间变换参数时产生偏差的情况，从而能够尽可能确保图像配准的可靠性。

在一种实施例中，上述计算单元603可以包括未图示的融合子单元、概率计算子单元、矩阵确定子单元以及参数计算子单元，其中：

融合子单元，用于根据各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，分别获取各个特征点对对应的融合结构信息，其中，每一特征点对由第一特征点及对应的第二特征点组成；

概率计算子单元，用于依次根据每个特征点对对应的融合结构信息，计算每个特征点对的相似概率；

矩阵确定子单元，用于根据各个特征点对的相似概率，确定第一特征点集和第二特征点集之间的对应关系矩阵；

参数计算子单元，用于根据对应关系矩阵，计算得到空间变换参数。

在一种实施例中，上述融合结构信息可以包括融合距离，上述融合子单元，具体可以用于根据第一目标特征点对应的第一邻近子集，以及第二目标特征点对应的第二邻近子集，计算目标特征点对对应的融合形状上下文距离，以及计算目标特征点对对应的融合灰度描述子距离，以及计算目标特征点对对应的融合欧氏距离，其中，目标特征点对由第一目标特征点和第二目标特征点组成；

将上述融合形状上下文距离、融合灰度描述子距离以及融合欧氏距离进行融合，计算得到目标特征点对对应的融合距离。

在一些实施例中，上述融合子单元在计算目标特征点对对应的融合形状上下文距离时，具体可以包括：

针对第一目标特征点对应的第一邻近子集，分别获取第一邻近子集中包含的各个第一特征点的第一形状上下文描述子；以及

针对第二目标特征点对应的第二邻近子集，分别获取第二邻近子集中包含的各个第二特征点的第二形状上下文描述子；

根据第一形状上下文描述子以及第二形状上下文描述子，计算目标特征点对之间的目标形状上下文距离，以及第一邻近子集和第二邻近子集中具备对应关系的邻近特征点对之间的邻近形状上下文距离；

根据目标形状上下文距离以及邻近形状上下文距离，计算目标特征点对对应的融合形状上下文距离。

在一些实施例中，上述融合子单元在计算目标特征点对对应的融合灰度描述子距离时，具体可以包括：

根据第一目标特征点与第二目标特征点之间的配对关系，确定目标特征点对之间的目标灰度描述子距离；

根据第一邻近子集中包含的各个第一特征点与第二邻近子集中包含的各个第二特征点之间的对应关系，确定具备对应关系的邻近特征点对之间的邻近灰度描述子距离；

根据目标灰度描述子距离以及邻近灰度描述子距离，计算目标特征点对对应的融合灰度描述子距离。

在一些实施例中，上述融合子单元在计算目标特征点对对应的融合欧氏距离时，具体可以包括：

计算目标特征点对之间的目标欧氏距离，以及第一邻近子集和第二邻近子集中具备对应关系的邻近特征点对之间的邻近欧氏距离；

根据目标欧氏距离以及邻近欧氏距离，计算目标特征点对对应的融合欧氏距离。

采用上述实施例所描述的图像配准装置，通过融合多种距离信息，可以构建更准确的相似性度量标准，使得融合后的特征描述子具有更强的描述能力，便于准确有效地判断第一特征点与第二特征点之间的对应关系及其对应精度。

在一种实施例中，上述概率计算子单元，具体可以用于在第一目标特征点与第二目标特征点之间的对应关系符合相似条件的情况下，根据目标特征点对对应的融合结构信息，计算目标特征点对的相似概率，其中，目标特征点对由第一目标特征点和第二目标特征点组成，第一目标特征点为第一特征点集中的任一第一特征点，第二目标特征点为第二特征点集中与第一目标特征点对应的第二特征点；

在一些实施例中，该概率计算子单元，还可以用于在第一目标特征点与第二目标特征点之间的对应关系不符合相似条件的情况下，根据第一目标特征点和第二目标特征点之间的欧氏距离以及形状上下文距离，计算目标特征点对的相似概率。

在一种实施例中，上述计算单元603还可以包括未图示的对应关系确定单元，该对应关系确定单元可以用于：

若在第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集中，具备对应关系的邻近特征点对的数量超过相似阈值，则确认第一目标特征点与第二目标特征点之间的对应关系符合相似条件；

若不超过相似阈值，则确认第一目标特征点与第二目标特征点之间的对应关系不符合相似条件。

在一种实施例中，上述矩阵确定子单元，具体可以用于根据各个特征点对的相似概率，以及第一特征点集和第二特征点集中，每一对不具备对应关系的第一特征点和第二特征点之间的相似概率，生成第一特征点集和第二特征点集之间的对应关系矩阵。

在一种实施例中，上述计算单元603在根据各个第一特征点对应的第一邻近子集以及各个第二特征点对应的第二邻近子集计算得到空间变换参数之后，还可以用于：

基于空间变换参数对第二特征点集进行调整，并重新执行从第二特征点集中确定各个第二特征点对应的第二邻近子集，以及根据各个第一特征点对应的第一邻近子集，以及各个第二特征点对应的第二邻近子集，计算得到空间变换参数的步骤，直至更新的空间变换参数满足迭代结束条件为止，其中，迭代结束条件包括迭代次数条件和/或迭代参数条件。

可见，采用上述实施例所描述的图像配准装置，电子设备能够针对第一图像和第二图像中检测到的各个具备对应关系的特征点，结合其邻近的其它特征点的空间特征，共同计算出用于对第一图像和第二图像进行配准的空间变换参数。通过采用邻近子集，可以利用待配准图像中更多的空间特征，以更准确地表征第一图像和第二图像之间的空间变换关系，使得计算出的空间变换参数具有更高的可信度和稳健性，从而有利于提升图像配准的精确性。此外，通过并行计算上述各类融合信息，可有效实现并行化加速，从而可以进一步提升电子设备进行图像配准的效率。此外，通过多次迭代计算得到空间变换参数，可以尽可能使所获取的空间变换参数更准确、更可信，有利于进一步有利于提升图像配准的精确性和可靠性。

请参阅图7，图7是本申请实施例公开的一种电子设备的模块化示意图。如图7所示，该电子设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，可以执行上述实施例所描述的任意一种图像配准方法中的全部或部分步骤。

此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种图像配准方法中的全部或部分步骤。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种图像配准方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其它介质。

以上对本申请实施例公开的一种图像配准方法及装置、电子设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像配准方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从所述第一特征点集中确定各个所述第一特征点对应的第一邻近子集，以及从所述第二特征点集中确定各个所述第二特征点对应的第二邻近子集，包括：

从所述第一特征点集中，按照与第一目标特征点之间的距离从小到大的顺序，选取排列在前N个的第一特征点，组成所述第一目标特征点对应的第一邻近子集；以及

从所述第二特征点集中，按照与第二目标特征点之间的距离从小到大的顺序，选取排列在前N个的第二特征点，组成所述第二目标特征点对应的第二邻近子集；

其中，所述第一目标特征点为所述第一特征点集中的任一第一特征点，所述第二目标特征点为所述第二特征点集中与所述第一目标特征点对应的第二特征点，N为正整数。

3.根据权利要求2所述的方法，其特征在于，在所述从所述第一特征点集中确定各个所述第一特征点对应的第一邻近子集，以及从所述第二特征点集中确定各个所述第二特征点对应的第二邻近子集之后，所述方法还包括：

从所述第一邻近子集和所述第二邻近子集中，剔除不具备对应关系的特征点，以更新所述第一邻近子集和所述第二邻近子集。

4.根据权利要求1至3所述的方法，其特征在于，所述根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，计算得到空间变换参数，包括：

根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，分别获取各个特征点对对应的融合结构信息，其中，每一所述特征点对由第一特征点及对应的第二特征点组成；

依次根据每个所述特征点对对应的融合结构信息，计算每个所述特征点对的相似概率；

根据各个所述特征点对的相似概率，确定所述第一特征点集和所述第二特征点集之间的对应关系矩阵；

根据所述对应关系矩阵，计算得到空间变换参数。

5.根据权利要求4所述的方法，其特征在于，所述融合结构信息包括融合距离，所述根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，分别获取各个特征点对对应的融合结构信息，包括：

根据第一目标特征点对应的第一邻近子集，以及第二目标特征点对应的第二邻近子集，计算目标特征点对对应的融合形状上下文距离，以及计算所述目标特征点对对应的融合灰度描述子距离，以及计算所述目标特征点对对应的融合欧氏距离，其中，所述目标特征点对由所述第一目标特征点和所述第二目标特征点组成，所述第一目标特征点为所述第一特征点集中的任一第一特征点，所述第二目标特征点为所述第二特征点集中与所述第一目标特征点对应的第二特征点；

将所述融合形状上下文距离、所述融合灰度描述子距离以及所述融合欧氏距离进行融合，计算得到所述目标特征点对对应的融合距离。

6.根据权利要求5所述的方法，其特征在于，所述根据第一目标特征点对应的第一邻近子集，以及第二目标特征点对应的第二邻近子集，计算目标特征点对对应的融合形状上下文距离，包括：

针对第一目标特征点对应的第一邻近子集，分别获取所述第一邻近子集中包含的各个第一特征点的第一形状上下文描述子；以及

针对第二目标特征点对应的第二邻近子集，分别获取所述第二邻近子集中包含的各个第二特征点的第二形状上下文描述子；

根据所述第一形状上下文描述子以及所述第二形状上下文描述子，计算目标特征点对之间的目标形状上下文距离，以及所述第一邻近子集和所述第二邻近子集中具备对应关系的邻近特征点对之间的邻近形状上下文距离；

根据所述目标形状上下文距离以及所述邻近形状上下文距离，计算所述目标特征点对对应的融合形状上下文距离。

7.根据权利要求5所述的方法，其特征在于，所述计算所述目标特征点对对应的融合灰度描述子距离，包括：

根据所述第一目标特征点与所述第二目标特征点之间的配对关系，确定所述目标特征点对之间的目标灰度描述子距离；

根据所述第一邻近子集中包含的各个第一特征点与所述第二邻近子集中包含的各个第二特征点之间的对应关系，确定具备对应关系的邻近特征点对之间的邻近灰度描述子距离；

根据所述目标灰度描述子距离以及所述邻近灰度描述子距离，计算所述目标特征点对对应的融合灰度描述子距离。

8.根据权利要求5所述的方法，其特征在于，所述计算所述目标特征点对对应的融合欧氏距离，包括：

计算所述目标特征点对之间的目标欧氏距离，以及所述第一邻近子集和所述第二邻近子集中具备对应关系的邻近特征点对之间的邻近欧氏距离；

根据所述目标欧氏距离以及所述邻近欧氏距离，计算所述目标特征点对对应的融合欧氏距离。

9.根据权利要求4所述的方法，其特征在于，所述依次根据每个所述特征点对对应的融合结构信息，计算每个所述特征点对的相似概率，包括：

在第一目标特征点与第二目标特征点之间的对应关系符合相似条件的情况下，根据目标特征点对对应的融合结构信息，计算所述目标特征点对的相似概率，其中，所述目标特征点对由所述第一目标特征点和所述第二目标特征点组成，所述第一目标特征点为所述第一特征点集中的任一第一特征点，所述第二目标特征点为所述第二特征点集中与所述第一目标特征点对应的第二特征点；

所述方法还包括：

在所述第一目标特征点与所述第二目标特征点之间的对应关系不符合相似条件的情况下，根据所述第一目标特征点和所述第二目标特征点之间的欧氏距离以及形状上下文距离，计算所述目标特征点对的相似概率。

10.根据权利要求9所述的方法，其特征在于，在所述在第一目标特征点与第二目标特征点之间的对应关系符合相似条件的情况下，根据目标特征点对对应的融合结构信息，计算所述目标特征点对的相似概率之前，所述方法还包括：

若在第一目标特征点对应的第一邻近子集和第二目标特征点对应的第二邻近子集中，具备对应关系的邻近特征点对的数量超过相似阈值，则确认所述第一目标特征点与所述第二目标特征点之间的对应关系符合相似条件；若不超过所述相似阈值，则确认所述第一目标特征点与所述第二目标特征点之间的对应关系不符合相似条件。

11.根据权利要求4所述的方法，其特征在于，所述根据各个所述特征点对的相似概率，确定所述第一特征点集和所述第二特征点集之间的对应关系矩阵，包括：

根据各个所述特征点对的相似概率，以及所述第一特征点集和所述第二特征点集中，每一对不具备对应关系的第一特征点和第二特征点之间的相似概率，生成所述第一特征点集和所述第二特征点集之间的对应关系矩阵。

12.根据权利要求1至3任一项所述的方法，其特征在于，在所述根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，计算得到空间变换参数之后，所述方法还包括：

基于所述空间变换参数对所述第二特征点集进行调整，并重新执行所述从所述第二特征点集中确定各个所述第二特征点对应的第二邻近子集，以及所述根据各个所述第一特征点对应的第一邻近子集，以及各个所述第二特征点对应的第二邻近子集，计算得到空间变换参数的步骤，直至更新的空间变换参数满足迭代结束条件为止，其中，所述迭代结束条件包括迭代次数条件和/或迭代参数条件。

13.一种图像配准装置，其特征在于，包括：

14.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至12任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的方法。