CN114742866A - 图像配准方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例提供了一种图像配准方法、装置、存储介质及电子设备。本申请实施例首先获取基准图像和待配准图像；然后根据光流法确定出基准图像和待配准图像中匹配的控制点对；进而基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；从而基于第一映射关系，将待配准图像向基准图像进行配准。本申请实施例结合了光流法与薄板样条插值法，通过光流法能够得到均匀且广泛分布的控制点，通过薄板样条插值法，在前述控制点的基础上得到平滑的映射，从而，在实现图像配准的同时减少图像的形变，提高图像配准的准确度。

Description

图像配准方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、存储介质及电子设备。

背景技术

图像配准及其相关技术是图像处理研究领域的一项热点和难点技术，其目的在于比较和融合针对同一对象在不同条件(不同时间、光照、拍摄角度等)下获取的图像，具体来说，就是对于两张待配准图像，通过一系列操作，得到一种空间变换，把一副图像映射到另一幅图像上，使得两图中对于空间同一位置的点一一对应起来。图像技术在目标检测、模型重建、运动估计、特征匹配，肿瘤检测、病变定位、血管造影、地质勘探、航空侦察等领域都有广泛的应用。

图像配准是进行图像处理时重要的一个环节，若图像配准的结果不准确将会导致图像配准之后的图像拼接等操作无法有效的进行。因此，有必要提高图像配准的准确度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例提供一种图像配准方法、装置、存储介质及电子设备，能够提高图像配准的准确度。

本申请实施例提供一种图像配准方法，包括：

获取基准图像和待配准图像；

根据光流法确定出基准图像和待配准图像中匹配的控制点对；

基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；

基于第一映射关系，将待配准图像向基准图像进行配准。

本申请实施例还提供了一种图像配准装置，包括：

获取模块，用于获取基准图像和待配准图像；

确定模块，用于根据光流法确定出基准图像和待配准图像中匹配的控制点对；

映射模块，用于基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；

配准模块，用于基于第一映射关系，将待配准图像向基准图像进行配准。

本申请实施例还提供一种计算机可读的存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行，以实现本申请实施例提供的任一种图像配准方法中的步骤。

本申请实施例还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序，以实现本申请实施例提供的任一种图像配准方法中的步骤。

本申请实施例中，首先获取基准图像和待配准图像；然后根据光流法确定出基准图像和待配准图像中匹配的控制点对；进而基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；从而基于第一映射关系，将待配准图像向基准图像进行配准。本申请实施例结合了光流法与薄板样条插值法，通过光流法能够得到均匀且广泛分布的控制点，通过薄板样条插值法，在前述控制点的基础上得到平滑的映射，从而，在实现图像配准的同时减少图像的形变，提高图像配准的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像配准方法的第一种流程示意图。

图2为本申请实施例提供的一场景示意图。

图3为本申请实施例提供的光流控制点的示意图。

图4为本申请实施例提供的第一种图像拼接流程示意图。

图5为本申请实施例提供的第二种图像拼接流程示意图。

图6为本申请实施例提供的图像配准方法的第二种流程示意图。

图7为本申请实施例提供的图像配准装置的第一种结构示意图。

图8为本申请实施例提供的图像配准装置的第二种结构示意图。

图9为本申请实施例提供的电子设备的第一种结构示意图。

图10是本申请实施例提供的电子设备的第二种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的的所有实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块和单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。

图像配准，是对两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。

基于两幅图像的配准，同样可以实现多幅图像的配准。在配准时，可以取每两幅相邻图像为一组进行配准，通过实现每两幅相邻图像的配准，实现连续的多幅图像的配准。

在进行图像配准时，可以采用基于图像灰度的配准方法、基于图像特征的配准方法、光流法等。

基于图像灰度的配准方法是利用整幅图像的灰度信息建立两幅图像之间的相似性度量来对图像进行配准。该方法要求基准图和待配准图的灰度分布必须具有一定的相关性，仅能适应平移变换和较小的旋转变换，计算量较大，效率低，适合于细节较少、纹理不丰富的图像，主要应用于医学图像配准领域。

基于图像特征的配准方法通过提取两幅图像中受图像变换、亮度变换、噪声等影响较小的稳定特征，如图像中物体的边缘、角点、闭合区域中心等来对图像进行配准，因此应用更为广泛。但现有的基于图像特征的图像配准方法中利用的特征信息较少，如仅利用角点特征或仅利用轮廓线特征，图像中的信息很大程度上被压缩，仅有一小部分信息被利用，这种方法对特征提取和特征匹配的错误较为敏感，因此图像配准的质量不高。并且，该方法对控制点的分布要求很高，控制点稀少的区域将难以实现配准。

光流(Optical flow)是关于视域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。然而，光流法无法保证全部像素的光流计算正确。若图像中存在遮挡区域，这些遮挡区域更难以得出正确的光流。而若是使用错误的光流去对图像进行映射，则容易造成图像扭曲，使得映射后的图像不够平滑，配准效果不佳。

此外，光流法仅适用于两图像重叠区域的对齐，难以对非重叠的部分也做出变换。基于光流法的图像配准中，对于非重叠区域，一般不去改变，而只是在重叠区域根据光流对两幅图像进行渐变拉伸对齐。然而，对于两幅图像初始错位较大、或者重叠区域形状不规则的情形，这种仅对重叠区域进行拉伸对齐的方法，图像过渡不自然，最终实现的配准效果不佳。

图像配准作为图像处理时重要的一个环节，若图像配准的结果不理想，将会导致图像配准之后的图像拼接等操作无法有效进行。

为解决上述问题，本申请实施例提供一种图像配准方法。本申请提供的图像配准方法结合光流法和薄板样条插值法，可以实现对重叠区域和非重叠区域的同时拉伸，调整图像间整体的相对位置，使得图像过度更加自然，实现更好的配准效果。

其中，薄板样条插值(TPS)法是一种2D插值方法，根据两幅相关图像中的对应控制点集来确定一个变形函数的映射。该变形函数寻找通过所有给定点的饶度最小的光滑曲面。“薄板”这个名字的由来，就表示薄板样条是用来近似的一块金属薄片在通过相同的控制点时的行为特征。薄板样条的映射可以确定源图像到目标图像的映射变换关键系数，然后将源图像中任意一点的坐标代入公式，可得到目标图像中对应点的坐标，进而实现两幅图像的对齐。

本申请实施例提供的图像配准方法的执行主体可以是本申请实施例提供的图像配准装置，或者集成了该图像配准装置的电子设备。其中，该图像配准装置可以采用硬件或者软件的方式实现。电子设备可以是计算机设备，该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备，也可以是服务器。以下进行具体分析说明。

请参阅图1，图1为本申请实施例提供的图像配准方法的第一种流程示意图。该图像配准方法可以包括：

S110、获取基准图像和待配准图像。

本申请实施例的基准图像和待配准图像的采集可以通过红外相机、红外热像仪、高分辨率可见光相机等遥感图像采集装置实现，采集到的至少两幅图像可以针对同一拍摄场景连续拍摄或短间隔拍摄得到。

在一实施例中，可以获取多张图像，从多张图像中确定出基准图像和待配准图像。例如，基准图像和待配准图像可以是在拍摄一张全景图像的过程中，设备从后台缓存的用于合成该全景图像的一组缓存图像中选取的任意两张。

本申请实施例中，基准图像和该待配准图像可以是图像采集装置以不同角度对同一场景拍摄到的两幅图像，也即是，该基准图像和该待配准图像中包含相同场景相同部分的图像，也包含该相同场景的不同部分的图像。基准图像和待配准图像的图像内容中有所重叠但并不完全一样，因而基准图像和待配准图像中存在重叠区域，也存在非重叠区域。

请参阅图2，图2为本申请实施例提供的一场景示意图。如图2所示，图2的两张图像中，矩形框中的图像为这两张图像同一场景相同部位的图像，矩形框以外的图像为这两张图像统一场景不同部位的图像。图2中的两幅图像可以分别作为基准图像和待配准图像。当左图为基准图像，右图为待配准图像时，将右图向着左图进行配准；当左图为待配准图像，右图为基准图像时，将左图向着右图进行配准。

S120、根据光流法确定出基准图像和待配准图像中匹配的控制点对。

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

一般而言，光流是由于场景中对象本身的移动、相机的运动，或者两者的共同运动所产生的。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。

在图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场。光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像素点的瞬时运动速度矢量信息。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。

在一实施例中，利用光流法计算基准图像和待配准图像的光流场，从而确定基准图像与待配准图像间的相对运动关系。作为后面初筛光流控制点的条件，本申请实施例针对基准图像和待配准图像计算双向光流。

在计算光流时，可以采用的光流计算方法包括DIS(Dense Inverse Search-basedmethod)光流算法、RAFT(Recurrent All-Pairs Field Transforms for OpticalFlow)光流算法等。DIS光流算法的实时性更优，而RAFT光流算法的准确度更高。

本申请计算双向光流的其中一步包括，以基准图像为参考，对待配准图像进行光流计算，能够得到待配准图像的第一光流场。第一光流场中包括待配准图像中各像素点的第一光流矢量(u1,v1)。计算双向光流的另外一步包括，以待配准图像为参考，对基准图像进行光流计算，得到基准图像的第二光流场。第二光流场中包括基准图像中各像素点的第二光流矢量(u2,v2)。

得到待配准图像的第一光流场以及基准图像的第二光流场后，即确定了待配准图像中所有像素点的第一光流矢量和基准图像中所有像素点的第二光流矢量。

从而，在基准图像和待配准图像的重叠区域，可以基于第一光流场和第二光流场，对基准图像和待配准图像中的像素点进行等间隔采样，每次分别在待配准图像中确定出一个第一光流控制点，在基准图像中确定出一个第二光流控制点。对应采样得到的第一光流控制点和第二光流控制点形成一对匹配的控制点对。

在一些情况下，从基准图像和待配准图像中确定出的控制点对可能并不准确，其中存在误匹配的情况。为了得到准确的映射关系，保证图像配准的准确度。在一实施例中，基于待配准图像的第一光流场以及基准图像的第二光流场，得到目标控制点对。将目标控制点对作为后续生成映射关系的实际控制点对，误匹配控制点对则筛去不再使用。

S130、基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系。

本申请实施例中，S130中匹配的控制点对，具体可以为剔除误匹配控制点对后得到的目标控制点对。基于目标控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系。

因而，在得到基准图像和待配准图像中的控制点对之后，基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系之前，可以基于待配准图像的第一光流场以及基准图像的第二光流场，对控制点对进行筛选，剔除其中误匹配控制点对。

在一实施例中，对于每一对控制点对，可以获取该控制点对中位于待配准图像中的第一光流控制点的第一光流矢量(u1,v1)以及位于基准图像中的第二光流控制点的第二光流矢量(u2,v2)，根据(u1,v1)和(u2,v2)判断该控制点对是否为误匹配控制点对，从而决定是否要对该控制点对进行剔除。

若是第一光流矢量(u1,v1)和第二光流矢量(u2,v2)不满足预设条件，则将该控制点对确定为误匹配控制点对，并剔除该误匹配控制点对。而若是第一光流矢量(u1,v1)和第二光流矢量(u2,v2)满足预设条件，则判定该控制点对不是误匹配控制点对，将该控制点对确定为目标控制点对，并保留该目标控制点对。从而，在对待配准图像进行映射前，对待配准图像的控制点进行初步筛选，确保待配准图像中控制点的准确度，进而保证图像配准的准确度。

S130中得到的第一映射关系可以为全局映射关系。本申请在光流法的基础上结合薄板样条插值法，可以将重叠区域的映射扩展至非重叠区域，实现待配准图像与基准图像的全域对齐。

其中，获取所有目标控制点对中位于待配准图像的重叠区域的第一光流控制点，使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系。

在一实施例中，在使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系之前，可以先对所有的第一光流控制点进行筛选，以进一步提高图像配准的准确度。具体的，可以使用薄板样条插值法，确定所有第一光流控制点中的异常控制点，然后，从所有第一光流控制点中剔除异常控制点。

请参阅图3，图3为本申请实施例提供的光流控制点的示意图。如图3所示，可以在待配准图像的重叠区域，实现光流控制点的采样、匹配和筛选。

需要说明的是，本申请在使用薄板样条插值法进行插值时，插值生成的控制点的数量可以根据需求设定。筛选后留下的光流控制点越多，则进行薄板样条插值时所需的计算量就越大，计算时间就越长。

而异常控制点的判断基准可以由人为设定，为缩短计算时间，加快配准效率，在确定异常控制点时，可以将判断基准设置得较为严格，以剔除掉更多的光流控制点。但另一方面，光流控制点越多，生成的第一映射关系就更加准确。因而，若是为了提高图像配准的准确度，也可以将判断基准设置得较为宽松，以留下更多的光流控制点。具体的，用户可以按需调整异常控制点的判断基准，实现图像配准的速度和准确度的平衡。

本申请的图像配准方法在使用了薄板样条插值法后，能够对齐基准图像和待配准图像的全部区域，利用薄板样条插值法得到平滑的映射，避免重叠区域的配准引发非重叠区域变形失真的情况出现。

S140、基于第一映射关系，将待配准图像向基准图像进行配准。

基于S130中得到的第一映射关系，将待配准图像向基准图像进行配准时，可以对待配准图像中的像素点进行映射，得到与基准图像对齐的配准图像。该配准图像与基准图像中相同部位的图像，像素点之间的相对位置、灰度趋势等保持一致，可用于后续的图像拼接、图像融合等处理。

例如，基于已经对齐的配准图像和基准图像，可以在同一空间坐标系下将配准图像和基准图像进行拼接，将其中相同部位的图像实现重叠，不同部位的图像实现拼接，得到拼接图像。

在一实施例中，也可以直接将待配准图像基于第一映射关系映射到基准图像所在的空间坐标系，实现待配准图像与基准图像的配准与拼接。

在一实施例中，第一映射关系也可以为局部映射关系。请参阅图4，图4为本申请实施例提供的第一种图像拼接流程示意图。

其中，对于需要将多幅高清图像拼接成pano(全景图)的情形，可以先通过特征点或者其他方法初步完成对齐拼接，得到初步拼接姿态数据Rs后，基于在低分辨率下拼接成的低分辨率全景图，使用本申请提供的图像配准方法，可以在每两张图像间结合光流法和薄板样条插值法得到局部映射关系，在低分辨率下实现全部图像的局部对齐。

请继续参阅图5，图5为本申请实施例提供的第二种图像拼接流程示意图。其中，在低分辨率下实现全部图像的局部对齐时，基于光流法在各图像中得到均匀且广泛分布的控制点(如图5所示)，然后通过确定出的控制点，使用薄板样条插值得到配准时的局部映射关系local map。相关步骤可参见前述说明，在此不再赘述。

在低分辨率全景图中得到局部映射关系后，可以将得到的局部映射关系与初步拼接姿态数据Rs相结合，得到与每幅高清图像相对应的全局映射关系global map，基于全局映射关系实现多幅高清图像的全局映射，得到高分辨率全景图。

根据前一实施例所描述的方法，以下将举例作进一步详细说明。

请参阅图6，图6为本申请实施例提供的图像配准方法的第二种流程示意图。该图像配准方法可以包括：

S201、获取基准图像和待配准图像。

本申请实施例的基准图像和待配准图像的采集可以通过红外相机、红外热像仪、高分辨率可见光相机等遥感图像采集装置实现，采集到的至少两幅图像可以针对同一拍摄场景连续拍摄或短间隔拍摄得到。

在一实施例中，可以获取多张图像，从多张图像中确定出基准图像和待配准图像。例如，基准图像和待配准图像可以是在拍摄一张全景图像的过程中，设备从后台缓存的用于合成该全景图像的一组缓存图像中选取的任意两张。

本申请实施例中，基准图像和该待配准图像可以是图像采集装置以不同角度对同一场景拍摄到的两幅图像，也即是，该基准图像和该待配准图像中包含相同场景相同部分的图像，也包含该相同场景的不同部分的图像。基准图像和待配准图像的图像内容中有所重叠但并不完全一样，因而基准图像和待配准图像中存在重叠区域，也存在非重叠区域。

请参阅图2，图2为本申请实施例提供的一场景示意图。如图2所示，图2的两张图像中，矩形框中的图像为这两张图像同一场景相同部位的图像，矩形框以外的图像为这两张图像统一场景不同部位的图像。图2中的两幅图像可以分别作为基准图像和待配准图像。当左图为基准图像，右图为待配准图像时，将右图向着左图进行配准；当左图为待配准图像，右图为基准图像时，将左图向着右图进行配准。

S202、以基准图像为参考，对待配准图像进行光流计算，得到待配准图像的第一光流场。

其中，第一光流场包括待配准图像中各像素点的第一光流矢量。

S203、以待配准图像为参考，对基准图像进行光流计算，得到基准图像的第二光流场。

其中，第二光流场包括基准图像中各像素点的第二光流矢量。

在一实施例中，利用光流法计算基准图像和待配准图像的光流场，从而确定基准图像与待配准图像间的相对运动关系。作为后面初筛光流控制点的条件，本申请实施例针对基准图像和待配准图像计算双向光流。

在计算光流时，可以采用的光流计算方法包括DIS(Dense Inverse Search-basedmethod)光流算法、RAFT(Recurrent All-Pairs Field Transforms for OpticalFlow)光流算法等。DIS光流算法的实时性更优，而RAFT光流算法的准确度更高。

本申请计算双向光流的其中一步包括，以基准图像为参考，对待配准图像进行光流计算，能够得到待配准图像的第一光流场。第一光流场中包括待配准图像中各像素点的第一光流矢量(u1,v1)。计算双向光流的另外一步包括，以待配准图像为参考，对基准图像进行光流计算，得到基准图像的第二光流场。第二光流场中包括基准图像中各像素点的第二光流矢量(u2,v2)。

得到待配准图像的第一光流场以及基准图像的第二光流场后，即确定了待配准图像中所有像素点的第一光流矢量和基准图像中所有像素点的第二光流矢量。

S204、在基准图像与待配准图像的重叠区域，基于第一光流场和第二光流场对基准图像和待配准图像中的像素点进行等间隔采样，得到基准图像和待配准图像中匹配的控制点对。

其中，每一对控制点对包括一个位于待配准图像中的第一光流控制点以及一个位于基准图像中的第二光流控制点。

在基准图像和待配准图像的重叠区域，可以基于第一光流场和第二光流场，对基准图像和待配准图像中的像素点进行等间隔采样，每次分别在待配准图像中确定出一个第一光流控制点，在基准图像中确定出一个第二光流控制点。对应采样得到的第一光流控制点和第二光流控制点形成一对控制点对。

S205、对于每一对控制点对，获取第一光流控制点的第一光流矢量以及第二光流控制点的第二光流矢量。

在一些情况下，从基准图像和待配准图像中确定出的控制点对可能并不准确，其中存在误匹配的情况。为了得到准确的映射关系，保证图像配准的准确度。在一实施例中，基于待配准图像的第一光流场以及基准图像的第二光流场，得到目标控制点对。将目标控制点对作为后续生成映射关系的实际控制点对，误匹配控制点对则筛去不再使用。

因而，在得到基准图像和待配准图像中的控制点对之后，基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系之前，可以基于待配准图像的第一光流场以及基准图像的第二光流场，对控制点对进行筛选，剔除其中误匹配控制点对。

S206、判断第一光流矢量和第二光流矢量是否满足预设条件。若否则转入S207，若是则转入S208。

在一实施例中，对于每一对控制点对，可以获取该控制点对中位于待配准图像中的第一光流控制点的第一光流矢量(u1,v1)以及位于基准图像中的第二光流控制点的第二光流矢量(u2,v2)，根据(u1,v1)和(u2,v2)判断该控制点对是否为误匹配控制点对，从而决定是否要对该控制点对进行剔除。

在一实施例中，S206、判断第一光流矢量和第二光流矢量是否满足预设条件的步骤可以包括：

获取第一光流矢量的第一长度；获取第一光流矢量与第二光流矢量的第一矢量和，并获取第一矢量和的第二长度；根据第一长度和第二长度判断第一光流矢量和第二光流矢量是否满足预设条件。

其中，若第一长度小于第一预设阈值且第二长度小于第二预设阈值，则判定第一光流矢量和第二光流矢量满足预设条件。

在一实施例中，S206、判断第一光流矢量和第二光流矢量是否满足预设条件的步骤可以包括：

获取第一光流矢量的第一长度；根据第一光流矢量生成第二映射关系；根据第二映射关系，对第二光流矢量进行映射变换，得到第二光流矢量的映射矢量；获取第一光流矢量与映射矢量的第二矢量和，并获取第二矢量和的第三长度；根据第一长度和第三长度判断第一光流矢量和第二光流矢量是否满足预设条件。

其中，若第一长度小于第一预设阈值且第三长度小于第三预设阈值，则判定第一光流矢量和第二光流矢量满足预设条件。

其中，第一光流矢量的矢量长度(第一长度)应小于第一预设阈值。

在一实施例中，第一光流矢量可分为水平光流矢量和垂直光流矢量，第一预设阈值可以包括水平预设阈值和垂直预设阈值。上述第一光流矢量的第一长度小于第一预设阈值的条件，也可替换为：水平光流矢量在水平方向上的矢量长度小于第一预设阈值，和/或垂直光流矢量垂直方向上的矢量长度小于第一预设阈值。

在一实施例中，第一预设阈值可以是事先确定的先验值。例如，可以根据相机拍摄姿态设定水平预设阈值和垂直预设阈值。水平预设阈值可以理解为在水平方向上限制光流的解空间，垂直预设阈值可以理解为在垂直方向上限制光流的解空间。

例如，相机拍摄姿态为左右摆动拍摄，则水平预设阈值可以设置得较大，而由于相机左右摆动拍摄，拍摄高度未变，因而垂直方向上的垂直光流矢量不应太大，垂直预设阈值可以设置得较小，从而在垂直方向上限制光流的解空间，剔除掉在垂直方向上长度过大的光流矢量。

上下摆动拍摄同理。当相机拍摄姿态为上下摆动拍摄时，垂直预设阈值可以设置得较大，而由于相机上下摆动拍摄，水平方向上仅存在微小移动，因而水平方向上的水平光流矢量不应太大，水平预设阈值可以设置得较小，从而在水平方向上限制光流的解空间，剔除掉在水平方向上长度过大的光流矢量。

在一实施例中，第二预设阈值大于第三预设阈值。即，不对第二光流矢量进行映射变换时，矢量之和的长度对应的第二预设阈值要大于对第二光流矢量进行映射变幻时矢量之和的长度对应的第三预设阈值。例如，第三预设阈值可以设置为1，第二预设阈值可以设置为4。

S207、将控制点对确定为误匹配控制点对，并剔除误匹配控制点对。

对于第一光流矢量和第二光流矢量不满足预设条件的控制点对，将该控制点对确定为误匹配控制点对，并剔除误匹配控制点对。

S208、将控制点对确定为目标控制点对，并保留目标控制点对。

对于第一光流矢量和第二光流矢量满足预设条件的控制点对，将该控制点对确定为目标控制点对，并保留目标控制点对。

S209、获取所有目标控制点对中位于待配准图像的重叠区域的第一光流控制点。

本申请在光流法的基础上结合薄板样条插值法，可以将重叠区域的映射扩展至非重叠区域，实现待配准图像与基准图像的全域对齐。

首先，获取所有目标控制点对中位于待配准图像的重叠区域的第一光流控制点。然后，基于光流法获取的第一光流控制点，采取薄板样条插值法，通过对第一光流控制点进行处理，对待配准图像和基准图像进行图像配准。

S210、使用薄板样条插值法，确定所有第一光流控制点中的异常控制点。

在一实施例中，在使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系之前，可以先对所有的第一光流控制点进行筛选，以进一步提高图像配准的准确度。具体的，可以使用薄板样条插值法，确定所有第一光流控制点中的异常控制点。

为便于说明本申请使用薄板样条插值法筛选异常控制点以及插值、得到全局映射关系的过程，以下先对薄板样条插值法的原理进行介绍：

根据薄板样条插值(TPS)理论，平面内每个点的映射可以用其它控制点与它们相应的权重来表示：

其中：g(x,y)为位置x＝(x,y)处的映射，ω_i为第i个控制点对应的权重，α₁、α₂、α₃为由控制点计算出的权重，φ_i(x)为点x＝(x,y)与第i个控制点之间的径向基函数(RadialBasis Functions，RBF)：

其中：p′_i为第i个控制点的位置。

上述未知权重ω_i、α₁、α₂、α₃可由以下方程解得：

f＝(g₁,…,g_n)^T，为控制点的值(即光流)组成的矩阵。

上述非异常控制点的权重ω满足均值为0，方差σ的正态分布，则：{|ω/σ|>t}的概率为2(1-Φ(t))，其中Φ(t)为标准正态分布，例如，在确定所有第一光流控制点中的异常控制点时，具体可以为：若发生{|ω_i/σ|>t}，则可确定点i为异常点的概率大于0.5，进而将点i确定为异常控制点，并将其剔除。其中，t为一个常数，例如，t可以设置为3。可选的，根据需要，t也可以设置为其它数字。

S211、从所有第一光流控制点中剔除异常控制点。

对于第一光流控制点中的异常控制点，将异常控制点从所有第一光流控制点中剔除。

S212、使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系。

剔除掉异常控制点后，使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系。

具体的，所有目标控制点对中位于待配准图像的重叠区域的所有第一光流控制点，将各第一光流控制点代入上述式3中，得到各第一光流控制点对应的权重以及固定的第一权重α₁、第二权重α₂、第三权重α₃的数值。然后，根据上述非异常控制点满足的正态分布，在S211中剔除不满足该正态分布的异常控制点，得到剔除异常控制点后的第一光流控制点。将剔除异常控制点后的第一光流控制点及对应的权重代入上述式1，得到待配准图像相对基准图像的全局映射关系。

本申请的图像配准方法在使用了薄板样条插值法后，能够对齐基准图像和待配准图像的全部区域，利用薄板样条插值法得到平滑的映射，避免重叠区域的配准引发非重叠区域变形失真的情况出现。

S213、基于全局映射关系，对待配准图像中的像素点进行映射，得到与基准图像对齐的配准图像。

基于全局映射关系，将待配准图像向基准图像进行配准时，可以对待配准图像中的像素点进行映射，得到与基准图像对齐的配准图像。该配准图像与基准图像中相同部位的图像，像素点之间的相对位置、灰度趋势等保持一致，可用于后续的图像拼接、图像融合等处理。

S214、在同一空间坐标系下将配准图像和基准图像进行拼接，得到拼接图像。

例如，基于已经对齐的配准图像和基准图像，可以在同一空间坐标系下将配准图像和基准图像进行拼接，将其中相同部位的图像实现重叠，不同部位的图像实现拼接，得到拼接图像。

由上述可知，本申请实施例所提供的图像配准方法首先获取基准图像和待配准图像；然后根据光流法确定出基准图像和待配准图像中匹配的控制点对；进而基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；从而基于第一映射关系，将待配准图像向基准图像进行配准。本申请实施例结合了光流法与薄板样条插值法，通过光流法能够得到均匀且广泛分布的控制点，通过薄板样条插值法，在前述控制点的基础上得到平滑的映射，从而，在实现图像配准的同时减少图像的形变，提高图像配准的准确度。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等，因此实际执行的顺序有可能根据实际情况改变。

为便于更好的实施本申请实施例提供的图像配准方法，本申请实施例还提供一种基于上述图像配准方法的装置。其中名词的含义与上述图像配准方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图7，图7为本申请实施例提供的图像配准装置300的第一种结构示意图。该图像配准装置300包括获取模块301、确定模块302、映射模块303和配准模块304：

获取模块301，用于获取基准图像和待配准图像；

确定模块302，用于根据光流法确定出基准图像和待配准图像中匹配的控制点对；

映射模块303，用于基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；

配准模块304，用于基于第一映射关系，将待配准图像向基准图像进行配准。

在一实施例中，基准图像与待配准图像存在重叠区域，在根据光流法确定出基准图像和待配准图像中匹配的控制点对时，确定模块302可以用于：

分别计算待配准图像的第一光流场以及基准图像的第二光流场；

在基准图像与待配准图像的重叠区域，基于第一光流场和第二光流场对基准图像和待配准图像中的像素点进行等间隔采样，得到基准图像和待配准图像中匹配的控制点对，其中，每一对控制点对包括一个位于待配准图像中的第一光流控制点以及一个位于基准图像中的第二光流控制点。

在一实施例中，在分别计算待配准图像的第一光流场以及基准图像的第二光流场时，确定模块302可以用于：

以基准图像为参考，对待配准图像进行光流计算，得到待配准图像的第一光流场，第一光流场包括待配准图像中各像素点的第一光流矢量；

以待配准图像为参考，对基准图像进行光流计算，得到基准图像的第二光流场，第二光流场包括基准图像中各像素点的第二光流矢量。

请参阅图8，图8为本申请实施例提供的图像配准装置300的第二种结构示意图。在一实施例中，控制点对中包括误匹配控制点对和目标控制点对，图像配准装置300还包括第一剔除模块305。在得到基准图像和待配准图像中匹配的控制点对之后，第一剔除模块305可以用于：

基于待配准图像的第一光流场以及基准图像的第二光流场，得到目标控制点对；

在一实施例中，在基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系时，映射模块303可以用于：

基于目标控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系。

在一实施例中，在基于待配准图像的第一光流场以及基准图像的第二光流场，得到目标控制点对时，第一剔除模块305可以用于：

对于每一对控制点对，获取第一光流控制点的第一光流矢量以及第二光流控制点的第二光流矢量；

第一光流矢量和所述第二光流矢量不满足预设条件，则将控制点对确定为误匹配控制点对，并剔除误匹配控制点对；

若第一光流矢量和第二光流矢量满足预设条件，则将控制点对确定为目标控制点对，并保留目标控制点对。

在一实施例中，若第一光流矢量和第二光流矢量满足预设条件，则将控制点对确定为目标控制点对，并保留目标控制点对时，第一剔除模块305可以用于：

获取第一光流矢量的第一长度；

获取第一光流矢量与第二光流矢量的第一矢量和，并获取第一矢量和的第二长度；

若第一长度小于第一预设阈值且第二长度小于第二预设阈值，则判定第一光流矢量和第二光流矢量满足预设条件，将控制点对确定为目标控制点对，并保留目标控制点对。

在一实施例中，若第一光流矢量和第二光流矢量满足预设条件，则将控制点对确定为目标控制点对，并保留目标控制点对时，第一剔除模块305可以用于：

获取第一光流矢量的第一长度；

根据第一光流矢量生成第二映射关系；

根据第二映射关系，对第二光流矢量进行映射变换，得到第二光流矢量的映射矢量；

获取第一光流矢量与映射矢量的第二矢量和，并获取第二矢量和的第三长度；

若第一长度小于第一预设阈值且第三长度小于第三预设阈值，则判定第一光流矢量和第二光流矢量满足预设条件，将控制点对确定为目标控制点对，并保留目标控制点对。

在一实施例中，第一映射关系为全局映射关系，在基于目标控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系时，映射模块303可以用于：

获取所有目标控制点对中位于待配准图像的重叠区域的第一光流控制点；

使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系。

请继续参阅图8，在一实施例中，图像配准装置300还包括第二剔除模块306。在使用薄板样条插值法，将重叠区域的第一光流控制点插值至整幅待配准图像，得到基准图像和待配准图像的全局映射关系之前，第二剔除模块306可以用于：

使用薄板样条插值法，确定所有第一光流控制点中的异常控制点；

从所有第一光流控制点中剔除异常控制点。

在一实施例中，在基于第一映射关系，将待配准图像向基准图像进行配准时，配准模块304可以用于：

基于第一映射关系，对待配准图像中的像素点进行映射，得到与基准图像对齐的配准图像。

请继续参阅图8，在一实施例中，图像配准装置300还包括拼接模块307。在一实施例中，在得到与基准图像对齐的配准图像之后，拼接模块307可以用于：

在同一空间坐标系下将配准图像和基准图像进行拼接，得到拼接图像。

由上述可知，本申请实施例所提供的图像配准装置300首先获取模块301获取基准图像和待配准图像；然后确定模块302根据光流法确定出基准图像和待配准图像中匹配的控制点对；进而映射模块303基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；从而配准模块304基于第一映射关系，将待配准图像向基准图像进行配准。本申请实施例结合了光流法与薄板样条插值法，通过光流法能够得到均匀且广泛分布的控制点，通过薄板样条插值法，在前述控制点的基础上得到平滑的映射，从而，在实现图像配准的同时减少图像的形变，提高图像配准的准确度。

本申请实施例还提供一种电子设备400。请参阅图9，电子设备400包括处理器401以及存储器。其中，处理器401与存储器电性连接。

该处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及通过存储在存储器402内的数据，执行电子设备400的各种功能并处理数据，从而对电子设备400进行整体监控。

该存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将可在处理器401上执行的计算机程序存储在存储器402中，并由处理器401执行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取基准图像和待配准图像；

根据光流法确定出基准图像和待配准图像中匹配的控制点对；

基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；

基于第一映射关系，将待配准图像向基准图像进行配准。

请一并参阅图10，在某些实施方式中，电子设备400还可以包括：显示器403、射频电路404、音频电路405以及电源406。其中，其中，显示器403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。

该显示器403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器403可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。

该射频电路404可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。

该电源406可以用于给电子设备400的各个部件供电。在一些实施例中，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。

本申请实施例还提供一种计算机可读的存储介质，该计算机可读的存储介质存储有计算机程序，该计算机程序被处理器执行，以实现上述任一实施例中的图像配准方法，比如：获取基准图像和待配准图像；根据光流法确定出基准图像和待配准图像中匹配的控制点对；基于控制点对，使用薄板样条插值法得到基准图像和待配准图像的第一映射关系；基于第一映射关系，将待配准图像向基准图像进行配准。

在本申请实施例中，计算机可读的存储介质可以是磁碟、光盘、只读存储器(ReadOnly Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对本申请实施例的图像配准方法而言，本领域普通测试人员可以理解实现本申请实施例的图像配准方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读的存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像配准方法的实施例的流程。其中，该计算机可读的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的图像配准装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读的存储介质中，该计算机可读的存储介质譬如为只读存储器，磁盘或光盘等。

本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。

以上对本申请实施例所提供的一种图像配准方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像配准方法，其特征在于，包括：

获取基准图像和待配准图像；

根据光流法确定出所述基准图像和所述待配准图像中匹配的控制点对；

基于所述控制点对，使用薄板样条插值法得到所述基准图像和所述待配准图像的第一映射关系；

基于所述第一映射关系，将所述待配准图像向所述基准图像进行配准。

2.根据权利要求1所述的图像配准方法，其特征在于，所述基准图像与所述待配准图像存在重叠区域，所述根据光流法确定出所述基准图像和所述待配准图像中匹配的控制点对包括：

分别计算所述待配准图像的第一光流场以及所述基准图像的第二光流场；

在所述基准图像与所述待配准图像的重叠区域，基于第一光流场和所述第二光流场对所述基准图像和所述待配准图像中的像素点进行等间隔采样，得到所述基准图像和所述待配准图像中匹配的控制点对，其中，每一对所述控制点对包括一个位于所述待配准图像中的第一光流控制点以及一个位于所述基准图像中的第二光流控制点。

3.根据权利要求2所述的图像配准方法，其特征在于，所述分别计算所述待配准图像的第一光流场以及所述基准图像的第二光流场包括：

以所述基准图像为参考，对所述待配准图像进行光流计算，得到所述待配准图像的第一光流场，所述第一光流场包括所述待配准图像中各像素点的第一光流矢量；

以所述待配准图像为参考，对所述基准图像进行光流计算，得到所述基准图像的第二光流场，所述第二光流场包括所述基准图像中各像素点的第二光流矢量。

4.根据权利要求2所述的图像配准方法，其特征在于，所述控制点对中包括误匹配控制点对和目标控制点对，所述得到所述基准图像和所述待配准图像中匹配的控制点对之后，还包括：

基于所述待配准图像的第一光流场以及所述基准图像的第二光流场，得到目标控制点对。

5.根据权利要求4所述的图像配准方法，其特征在于，所述基于所述控制点对，使用薄板样条插值法得到所述基准图像和所述待配准图像的第一映射关系包括：

基于所述目标控制点对，使用薄板样条插值法得到所述基准图像和所述待配准图像的第一映射关系。

6.根据权利要求5所述的图像配准方法，其特征在于，所述基于所述待配准图像的第一光流场以及所述基准图像的第二光流场，得到目标控制点对包括：

对于每一对所述控制点对，获取所述第一光流控制点的第一光流矢量以及所述第二光流控制点的第二光流矢量；

若所述第一光流矢量和所述第二光流矢量不满足预设条件，则将所述控制点对确定为误匹配控制点对，并剔除所述误匹配控制点对；

若所述第一光流矢量和所述第二光流矢量满足预设条件，则将所述控制点对确定为目标控制点对，并保留所述目标控制点对。

7.根据权利要求6所述的图像配准方法，其特征在于，所述若所述第一光流矢量和所述第二光流矢量满足预设条件，则将所述控制点对确定为目标控制点对，并保留所述目标控制点对包括：

获取所述第一光流矢量的第一长度；

获取所述第一光流矢量与所述第二光流矢量的第一矢量和，并获取所述第一矢量和的第二长度；

若所述第一长度小于第一预设阈值且所述第二长度小于第二预设阈值，则判定所述第一光流矢量和所述第二光流矢量满足预设条件，将所述控制点对确定为目标控制点对，并保留所述目标控制点对。

8.根据权利要求6所述的图像配准方法，其特征在于，所述若所述第一光流矢量和所述第二光流矢量满足预设条件，则将所述控制点对确定为目标控制点对，并保留所述目标控制点对包括：

获取所述第一光流矢量的第一长度；

根据所述第一光流矢量生成第二映射关系；

根据所述第二映射关系，对所述第二光流矢量进行映射变换，得到所述第二光流矢量的映射矢量；

获取所述第一光流矢量与所述映射矢量的第二矢量和，并获取所述第二矢量和的第三长度；

若所述第一长度小于第一预设阈值且所述第三长度小于第三预设阈值，则判定所述第一光流矢量和所述第二光流矢量满足预设条件，将所述控制点对确定为目标控制点对，并保留所述目标控制点对。

9.根据权利要求4所述的图像配准方法，其特征在于，所述第一映射关系为全局映射关系，所述基于所述目标控制点对，使用薄板样条插值法得到所述基准图像和所述待配准图像的第一映射关系包括：

获取所有目标控制点对中位于所述待配准图像的重叠区域的第一光流控制点；

使用薄板样条插值法，将所述重叠区域的第一光流控制点插值至整幅待配准图像，得到所述基准图像和所述待配准图像的全局映射关系。

10.根据权利要求9所述的图像配准方法，其特征在于，所述使用薄板样条插值法，将所述重叠区域的第一光流控制点插值至整幅待配准图像，得到所述基准图像和所述待配准图像的全局映射关系之前，还包括：

使用薄板样条插值法，确定所有第一光流控制点中的异常控制点；

从所有第一光流控制点中剔除所述异常控制点。

11.根据权利要求1所述的图像配准方法，其特征在于，所述基于所述第一映射关系，将所述待配准图像向所述基准图像进行配准包括：

基于所述第一映射关系，对所述待配准图像中的像素点进行映射，得到与所述基准图像对齐的配准图像。

12.根据权利要求11所述的图像配准方法，其特征在于，所述得到与所述基准图像对齐的配准图像之后，还包括：

在同一空间坐标系下将所述配准图像和所述基准图像进行拼接，得到拼接图像。

13.一种图像配准装置，其特征在于，包括：

获取模块，用于获取基准图像和待配准图像；

确定模块，用于根据光流法确定出所述基准图像和所述待配准图像中匹配的控制点对；

映射模块，用于基于所述控制点对，使用薄板样条插值法得到所述基准图像和所述待配准图像的第一映射关系；

配准模块，用于基于所述第一映射关系，将所述待配准图像向所述基准图像进行配准。

14.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行，以实现如权利要求1至12任一项所述的图像配准方法。

15.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现如权利要求1至12任一项所述的图像配准方法。

Images