CN113409372A - 图像配准方法及相关装置、设备和存储介质 - Google Patents

图像配准方法及相关装置、设备和存储介质 Download PDF

Info

Publication number
CN113409372A
CN113409372A CN202110711211.6A CN202110711211A CN113409372A CN 113409372 A CN113409372 A CN 113409372A CN 202110711211 A CN202110711211 A CN 202110711211A CN 113409372 A CN113409372 A CN 113409372A
Authority
CN
China
Prior art keywords
image
matching point
transformation parameter
target
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110711211.6A
Other languages
English (en)
Other versions
CN113409372B (zh
Inventor
王求元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110711211.6A priority Critical patent/CN113409372B/zh
Publication of CN113409372A publication Critical patent/CN113409372A/zh
Priority to PCT/CN2021/127346 priority patent/WO2022267287A1/zh
Priority to TW110144052A priority patent/TW202301274A/zh
Application granted granted Critical
Publication of CN113409372B publication Critical patent/CN113409372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像配准方法及相关装置、设备和存储介质，其中，该方法包括：获取目标图像和待配准图像；提取目标图像的若干第一特征点和待配准图像的若干第二特征点；基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组第一匹配点对包括第一特征点和第二特征点；基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数。通过该方法，能够实现图像配准，且提高图像配准的准确性。

Description

图像配准方法及相关装置、设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像配准方法及相关装置、设备和存储介质。
背景技术
随着电子信息技术的发展，增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)等成为计算机视觉领域中的应用热点，通过相机作为输入设备，并利用图像算法处理，可以数字化周围环境，从而获取与真实环境进行交互的使用体验。图像配准是AR、VR等计算机视觉领域中的研究重点，通过图像配准技术可以获取相机拍摄到的待配准图像与目标图像之间的变换参数，从而后续可以通过变换参数，得到目标图像在待配准图像中的位置。
当前，已有的图像配准技术在目标图像在待配准图像中占比较大的情况下，得到的配准参数较为准确，而当目标图像在待配准图像中占比较小，现有的图像配准技术，往往无法准确配准。
因此，如何提高图像配准的准确性成为亟待解决的问题。
发明内容
本申请提供一种图像配准方法及相关装置、设备和存储介质。
本申请第一方面提供了一种图像配准方法，包括：获取目标图像和待配准图像；提取目标图像的若干第一特征点和待配准图像的若干第二特征点；基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组第一匹配点对包括第一特征点和第二特征点；基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数。
因此，通过获得至少一组第一匹配点对，并计算第一匹配点对的方向信息，以此来获得待配准图像相对于目标图像的旋转角度，然后就可以利用该旋转角度信息得到目标图像与待配准图像之间的最终变换参数，最终实现图像配准。而且，通过该方法，能够利用较少的特征点来进行图像配准，故配准不会受到目标图像在待配准图像中的占比影响，即使目标图像在待配准图像中的占比较小也能实现准确的图像配准，故能够提高图像配准的准确性。
其中，上述的提取目标图像的若干第一特征点，包括：对目标图像进行缩放，得到不同分辨率的至少一张缩放图像；从目标图像和至少一张缩放图像中的每张图像中分别提取至少一个第一特征点，以得到若干第一特征点；和/或，第一特征点和第二特征点之间的匹配程度是基于第一特征点和第二特征点的特征表示之间的距离得到的。
因此，通过获得不同尺度的目标图像(包括缩放后的目标图像)，可以进一步提高本申请的图像配准方法针对不同目标图像尺度情况下配准的准确率。
其中，上述的对目标图像进行缩放，得到不同分辨率的至少一张缩放图像，包括：确定目标图像与待配准图像之间的预设尺度；基于预设尺度生成至少一个衍生尺度，其中，每个衍生尺度不同，且均小于预设尺度；基于每个衍生尺度，对目标图像进行缩放，得到对应的缩放图像。
因此，通过得到至少一个小于预设尺度的衍生尺度，可以得到至少一张小尺度的目标图像，由此可以在后续的配准中，提高小尺度情况下的图像配准的准确度。
其中，上述的确定目标图像与待配准图像之间的预设尺度，包括：基于待配准图像的尺寸、目标图像的尺寸以及目标图像在待配准图像中的预设占比，得到预设尺度。
因此，通过确定预设尺度，在后续可以基于预设尺度得到一系列的尺度，并依据这些尺度来对目标图像进行缩放，可以提高本申请的图像配准方法针对不同目标图像尺度情况下配准的准确率。
其中，上述的基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数，包括：基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数。
因此，通过对第一候选变换参数进行筛选，可以得到更为准确的最终变换参数。
其中，上述的基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数，包括：选择其中一组第一匹配点对作为目标匹配点对；基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数；判断目标匹配点对所对应的第一候选变换参数是否满足预设要求；响应于所述目标匹配点对所对应的第一候选变换参数满足预设要求，将目标匹配点对所对应的第一候选变换参数作为最终变换参数。
因此，通过利用一组特征点点对，可以得到目标图像与待配准图像之间的最终变换参数，实现图像配准。
其中，上述的至少一组第一匹配点对是按照第一匹配点对的匹配程度从高到低的顺序选择作为目标匹配点对；和/或，在所述判断所述目标匹配点对所对应的第一候选变换参数是否满足预设要求之后，所述方法还包括：响应于所述目标匹配点对所对应的第一候选变换参数不满足所述预设要求，选择新的一组所述第一匹配点对作为所述目标匹配点对，并重新执行所述基于所述目标匹配点对的方向信息，得到与所述目标匹配点对相对应的第一候选变换参数及其后续步骤；响应于所述目标匹配点对所对应的第一候选变换参数预设时间内未找出满足预设要求的第一候选变换参数，确定无法得到最终变换参数。
因此，通过按照第一匹配点对的匹配程度从高到低的顺序选择目标匹配点对，可以优先计算出最有可能满足预设要求的第一匹配点对。另外，通过设定在预设时间内未找出满足预设要求的第一候选变换参数的情况下，确定无法得到最终变换参数，此时终端可以实施其他步骤，来解决延迟，无响应等情况。
其中，上述的基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，包括：在目标图像中提取包含第一匹配点的第一图像区域，并在待配准图像中提取包含第二匹配点的第二图像区域，其中，第一匹配点和第二匹配点分别为第一匹配点对中的第一特征点和第二特征点；确定第一图像区域的第一偏转角度和第二图像区域相对第二偏转角度；基于第一偏转角度和第二偏转角度，得到第一候选变换参数。
因此，通过计算第一图像区域的第一偏转角度和第二图像区域的第二偏转角度，可以利用这些第一偏转角度和第二偏转角度得到第一候选变换参数，以实现后续的图像配准。
其中，上述的基于第一偏转角度和第二偏转角度，得到第一候选变换参数，包括：基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数，其中，第一匹配点对所对应的尺度为第一匹配点对所在的图像之间的尺度。
因此，可以通过利用目标匹配点对的方向信息，目标匹配点对中的第一特征点与第二特征点的坐标信息，来得到第一候选变换参数，以实现后续的图像配准。
其中，上述的基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数，包括：获取第一偏转角度与第二偏转角度之间的角度差；基于角度差和第一匹配点对所对应的尺度，得到第一候选变换参数。
因此，通过计算第一偏转角度与第二偏转角度之间的角度差，可以得到第一候选变换参数，以实现后续的图像配准。
其中，上述的第一图像区域的中心为目标图像的中心；和/或，第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角；第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。
因此，通过计算图像区域形心与第一图像区域的中心的连线与预设方向之间的有向夹角，可以求得第一偏转角度和第二偏转角度。
其中，上述的在提取目标图像的若干第一特征点和待配准图像的若干第二特征点之前，方法还包括：在目标图像和待配准图像中选择若干组第二匹配点对；综合若干组第二匹配点对的位置信息，得到第二候选变换参数；若第二候选变换参数满足预设要求，则将第二候选变换参数作为最终变换参数；若第二候选变换参数不满足预设要求，则执行提取目标图像的若干第一特征点和待配准图像的若干第二特征点及其后续步骤。
因此，通过上述方法，可以实现先利用图像的特征点以及特征表示进行图像配准，在利用图像的特征点以及特征表示无法进行准确图像配准(例如目标图像与待配准图像之间的占比较小)的情况下，再利用特征点的方向信息进行图像配准，以减少图像配准失败的情况，提高图像配准的准确性。
其中，上述的预设要求为：相应候选变换参数所对应的目标区域与目标图像之间的相似度满足预设相似度要求，相应候选变换参数所对应的目标区域为利用相应候选变换参数在待配准图像中确定的与目标图像对应的区域。
因此，通过计算待配准图像中确定的与目标图像对应的区域与目标图像的相似度，可以以此来确定第一候选变换参数的准确程度，进而能够从中选择满足要求的第一候选变换参数作为最终变换参数。
其中，上述的在所提取目标图像的若干第一特征点和待配准图像的若干第二特征点之前，方法还包括：响应于目标图像的形状与待配准图像的形状不同，将目标图像外扩为与待配准图像形状相同。
因此，上述外扩目标图像的方法，可以在目标图像为任意形状的情况下，也能够完成图像配准，有利于提高图像配准的鲁棒性。
本申请第二方面提供了一种图像识别装置，包括：图像获取模块、特征提取模块、特征匹配模块和确定模块。图像获取模块用于获取目标图像和待配准图像；特征提取模块用于提取目标图像的若干第一特征点和待配准图像的若干第二特征点；特征匹配模块用于基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组第一匹配点对包括第一特征点和第二特征点；确定模块用于基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像配准方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像配准方法。
上述方案，通过获得至少一组第一匹配点对，并计算第一匹配点对的方向信息，以此来获得待配准图像相对于目标图像的旋转角度，然后就可以利用该旋转角度信息得到目标图像与待配准图像之间的最终变换参数，最终实现图像配准。而且，通过该方法，能够利用较少的特征点来进行图像配准，故配准不会受到目标图像在待配准图像中的占比影响，即使目标图像在待配准图像中的占比较小也能实现准确的图像配准，故能够提高图像配准的准确性。
附图说明
图1是本申请图像配准方法第一实施例的第一流程示意图；
图2是本申请图像配准方法第一实施例的第二流程示意图；
图3是本申请图像配准方法第二实施例的第二流程示意图；
图4是本申请图像配准方法第一实施例的第四流程示意图；
图5是偏转角度获取方式一实施例的示意图；
图6是对目标图像进行外扩的一实施例的示意图；
图7是本申请图像配准方法第二实施例的流程示意图；
图8是本申请图像配准装置一实施例的框架示意图；
图9是本申请电子设备一实施例的框架示意图；
图10为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像配准方法第一实施例的第一流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取目标图像和待配准图像。
在一个实施场景中，待配准图像可以是相机拍摄到的图像。例如，在AR、VR等应用场景中，待配准图像可以是诸如手机、平板电脑、智能眼镜等电子设备所拍摄到的图像；或者，在视频监控场景中，待配准图像可以是监控相机所拍摄到的图像，在此不做限定。其他场景可以以此类推，在此不再一一举例。待配准图像中可以包括目标图像。当待配准图像中包括目标图像时，可以实现目标图像和待配准图像的配准。
目标图像可以是平面上的图像，例如是在平整的地面上，平整的墙面上。目标图像可以预先获取的，也即目标图像可以在执行本申请的图像配准方法之前预先确定。目标图像可以根据实际应用情况进行设置。例如，在需要确定待配准图像中建筑物A的位置的情况下，可以预先获取建筑物A的图像；或者，在需要确定待配准图像中人物B的位置的情况下，可以预先获取人物B的图像，其他情况可以以此类推，在此不再一一举例。在另一些实施场景中，可以从已经获取的图像中，确定目标图像。例如，可以预先对建筑物的内部情况进行拍照，以得到一定数量的建筑物内部图像，然后在这些图像中，选择特定的作为目标图像，如图像中包括一幅画，则可以将这幅画作为目标图像。
步骤S12：提取目标图像的若干第一特征点和待配准图像的若干第二特征点。
得到目标图像和待配准图像以后，可以对目标图像和待配准图像进行特征提取的操作，以获得关于目标图像和待配准图像的特征信息。在一个实施场景中，可以利用一些特征提取算法进行特征提取，以获得图像的中的特征点，特征点的数量不做具体限制。特征提取算法例如是FAST(features from accelerated segment test)算法，SIFT(Scale-invariant feature transform)算法，ORB(Oriented FAST and Rotated BRIEF)算法等等。在一个具体实施场景中，特征提取算法为ORB(Oriented FAST and Rotated BRIEF)算法。另外，在得到特征点以后，还会得到与每个特征点对应的特征表示，特征表示例如是特征向量。因此，每一个特征点，均有一个与其对应的特征表示。对目标图像进行特征提取，得到的特征点定义为第一特征点。对待配准图像进行特征提取，得到的特征点定义为第二特征点。在一个具体实施场景中，在对目标图像进行特征提取时，特征提取算法是FAST算法，此时可以选择基于提取的特征点的响应值的大小排序，并按照响应值的大下排序，然后排名选择前Y的Y个第一特征点。
在一个实施场景中，以上实施例提及的通过特征提取算法进行特征提取得到的特征点，都可以认为是与目标图像位于同一平面。
步骤S13：基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组第一匹配点对包括第一特征点和第二特征点。
第一特征点和第二特征点之间的匹配程度，具体可以是第一特征点的特征表示与第二特征点的特征表示的匹配程度。在一个实施场景中，可以计算每一个第一特征点与每一个第二特征点的匹配程度，以此获得每一个第一特征点与每一个第二特征点之间的匹配程度。
在一个实施场景中，第一特征点和第二特征点之间的匹配程度是基于第一特征点和第二特征点的特征表示之间的距离得到的。由此，可以通过计算特征点的特征表示之间的距离，以获得特征点之间的匹配程度信息。例如，两个特征点(一个是第一特征点，一个是第二特征点)特征表示之间的距离的大小，即为匹配程度，距离越近则越匹配；距离最近的，则可以认为是最匹配的。在一个具体实施场景中，特征表示为特征向量，特征表示之间的距离即是特征向量之间的距离。特征向量之间的距离例如是欧氏距离、余弦相似度、标准化欧氏距离等等，此处不做限制。
基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对。每组第一匹配点对包括第一特征点和第二特征点。在选择时，可以按照匹配程度的从高到低来选择，选出一定数量的第一匹配点对。
在一个具体实施场景中，一共有N个第一特征点(对应有N个特征表示)，M个第二特征点(对应有M个特征表示)，通过计算每一个第一特征点与每一个第二特征点中每个第二特征点的距离，可以得到NM个对应的距离，即NM个第一匹配点对。在得到NM个第一匹配点对后，可以对这NM个第一匹配点对的距离按照大小进行排序，然后按照距离从小到大的顺序，选择第一匹配点对。例如，第当N＝3，M＝5时，则可以获得15组第一匹配点对，以及这些点对之间的距离，按照距离从小到大顺序，选择一定数量的第一匹配点对。
步骤S14：基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数。
在得到第一匹配点对以后，可以计算第一匹配点对的方向信息。第一匹配点对的方向信息可以根据第一匹配点对中的第一特征点和第二特征点的特征点方向来得到。在一个实施例中，第一匹配点对的方向信息可以是第一特征点的方向与第二特征点的方向的差值。例如，当特征点是通过ORB算法提取得到的，则第一特征点的方向是角点方向角，第二特征点的方向也是角点方向角，则第一匹配点对的方向信息可以为第一特征点的角点方向角与第二特征点的角点方向角的差值。通过计算第一匹配点对的方向信息，可以求得待配准图像相对于目标图像的旋转角度。
在得到第一匹配点对的方向信息以后，后续就可以利用第一匹配点对的方向信息代表的待配准图像相对于目标图像的旋转角度，来进行图像配准，最终得到目标图像与待配准图像之间的最终变换参数。最终变换参数例如是目标图像与待配准图像对应的单应性矩阵。
在一个具体实施场景中，可以利用第一匹配点对的方向信息，以及第一匹配点对中的第一特征点与第二特征点的坐标信息，例如是像素坐标信息，来到目标图像与待配准图像之间的最终变换参数。
因此，通过获得至少一组第一匹配点对，并计算第一匹配点对的方向信息，以此来获得待配准图像相对于目标图像的旋转角度，然后就可以利用该旋转角度信息得到目标图像与待配准图像之间的最终变换参数，最终实现图像配准。而且，通过该方法，能够利用较少的特征点来进行图像配准，故配准不会受到目标图像在待配准图像中的占比影响，即使目标图像在待配准图像中的占比较小也能实现准确的图像配准，故能够提高图像配准的准确性。
在一个实施场景中，上述的基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数，具体可以是：基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数。
可以理解的，当第一匹配点对的数量有多对时，可以根据该多对第一匹配点对，得到多个目标图像与待配准图像之间的变换参数，这些变换参数可以定义为第一候选变换参数。此时，可以通过判断这些第一候选变换参数能否满足预设要求，来确定是否将第一候选变换参数作为最终变换参数。在满足预设条件时，再将满足预设要求的第一候选变换参数作为最终变换参数。以此，通过对第一候选变换参数进行筛选，可以得到更为准确的最终变换参数。
在一个实施场景中，预设要求为：相应候选变换参数所对应的目标区域与目标图像之间的相似度满足预设相似度要求。相应候选变换参数所对应的目标区域是利用相应候选变换参数在待配准图像中确定的与目标图像对应的区域。
待配准图像中确定的与目标图像对应的区域，具体可以是通过在待配准图像中，确定与目标图像的边缘点对应的点来确定。例如，目标图像是四边形，其边缘点可以是四个角所对应的点，此时可以在待配准图像中确定与目标图像的边缘点对应的点，以此在待配准图像中确定与目标图像对应的区域。在一个具体实施场景中，可以在由待配准图像得到的第二特征点中，确定与由目标图像的边缘点得到第一特征点最匹配的点，来得到目标图像的边缘点在待配准图像中对应的。例如，目标图像的边缘点是A，经过计算，待配准图像中与A最匹配的点的为B，则B为边缘点A在待配准图像上对应的点。
在确定了待配准图像中与目标图像对应的区域以后，可以利用得到的每一个第一候选变换参数，对该区域进行变换，得到与多个第一候选变换参数对应的变换后的区域，然后再将这些区域与目标图像进行相似度的比较，从中选择相似度满足预设相似度要求的第一候选变换参数作为最终变换参数。在一个实施场景中，也可以是利用得到的每一个第一候选变换参数，对注册图像进行变换，然后利用变换的注册图像与待配准图像中确定的与目标图像对应的区域进行相似度比较，以此选择相似度满足预设相似度要求的第一候选变换参数作为最终变换参数。在计算相似度时，可以利用图像匹配算法来计算，例如是平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)、hadamard变换算法(SATD)等，此处不做限制。
因此，通过计算待配准图像中确定的与目标图像对应的区域与目标图像的相似度，可以以此来确定第一候选变换参数的准确程度，进而能够从中选择满足要求的第一候选变换参数作为最终变换参数。
在一个公开实施例中，在确定第一候选变换参数是否满足预设要求时，可以是一个接着一个的判断，即先判断一个第一候选变换参数是否满足要求，若满足，则不再对其他个第一候选变换参数进行判断，而直接将该第一候选变换参数作为最终变换参数；若不满足，再对另外的一个第一候选变换参数进行判断，并以此类推。以此，可以提高本申请的图像配准方法的计算速度，在得到满足预设要求的第一候选变换参数后就可以停止运算。
在一个公开实施例中，可以设定在预设时间内未找出满足预设要求的第一候选变换参数的情况下，确定无法得到最终变换参数。在某些场景中，若本申请的图像配准方法运算时间过长，可能会导致实施本申请图像配准方法的终端出现延迟，无响应等情况，因此可以设定终端能够响应于预设时间内未找出满足预设要求的第一候选变换参数，即确定无法得到最终变换参数。此时终端可以实施其他步骤，来解决延迟，无响应等情况。
请参阅图2，图2是本申请图像配准方法第一实施例的第二流程示意图。本实施例是对上述步骤提及的“提取目标图像的若干第一特征点”具体的扩展，具体而言，可以包括如下步骤：
步骤S121：对目标图像进行缩放，得到不同分辨率的至少一张缩放图像。
对目标图像进行缩放，可以是对目标图像进行放大处理或是缩小处理。对目标图像进行放大例如是进行上采样操作，对目标图像进行缩小例如是下采样操作。对目标图像进行缩放，得到不同分辨率的至少一张缩放图像，可以以此建立关于目标图像的图像金字塔。通过获得不同分辨率的至少一张缩放图像，可以提高本申请的图像配准方法针在不同尺度下的配准的准确率。
在一个实施场景中，为了提高小尺度情况下的图像配准的准确度，可以对目标图像进行缩小操作，以得到一些分辨率较小的缩小目标图像。
请参阅图3，图3是本申请图像配准方法第二实施例的第二流程示意图。“对目标图像进行缩放，得到不同分辨率的至少一张缩放图像”具体可以包括以下步骤S1211至步骤S1213。
步骤S1211：确定目标图像与待配准图像之间的预设尺度。
在对目标图像进行缩放时，可以预先确定缩放的尺度，即预设尺度，以此来对目标图像进行缩放。具体而言，可以是确定目标图像与待配准图像之间的预设尺度。
在一个实施场景中，可以基于待配准图像的尺寸、目标图像的尺寸以及目标图像在待配准图像中的预设占比，得到预设尺度。
预设占比可以理解为注册图像在待配准图像中的比例大小，预设占比例如是15％、18％等等，具体可以根据需要进行设置，此处不做限制。待配准图像的尺寸、目标图像的尺寸均可以是待配准图像的分辨率大小，例如待配准图像的尺寸是1080*2160，目标图像的尺寸是256*256等等。
在一个具体实施场景中，预设尺度可以按照以下公式(1)计算：
Figure BDA0003133834290000131
在公式(1)中，s0为预设尺度，wc×hc为待配准图像的尺寸，wr×hr为目标图像的尺寸，a0％是预先确定的预设占比。
通过确定预设尺度，在后续可以基于预设尺度得到一系列的尺度，并依据这些尺度来对目标图像进行缩放，可以提高本申请的图像配准方法在不同尺度情况下的图像配准的准确度。
步骤S1212：基于预设尺度生成至少一个衍生尺度，其中，每个衍生尺度不同，且均小于预设尺度。
在得到的预设尺度以后，可以基于预设尺度生成至少一个衍生尺度。衍生尺度可以是大于预设尺度，可以小于预设尺度。在本实施例中，每个衍生尺度不同，且均小于预设尺度。衍生尺度可以是预设尺度的缩小尺度。在另一个实施例中，每个衍生尺度不同，且可以均大于预设尺度。
在一个具体实施场景中，可以生成n-1个衍生尺度，即一共可以得到n个尺度(包括预设尺度)，s0,s1,s2,…,sn-1，其中
Figure BDA0003133834290000132
并以此类推。例如，在一个例子中，n可以为3。
步骤S1213：基于每个衍生尺度，对目标图像进行缩放，得到对应的缩放图像。
在一个实施方式中，缩放图像与待配准图像之间的尺度为对应的衍生尺度。
在得到至少一个衍生尺度，即可以基于每个衍生尺度，对目标图像进行缩放，得到对应的缩放图像，其中，缩放图像与待配准图像之间的尺度为对应的衍生尺度。例如，可以基于s1尺度对目标图像T0进行缩小，得到一缩小图像T1，缩小图像T1与待配准图像之间的尺度即为s1。
以此，通过得到至少一个小于预设尺度的衍生尺度，可以至少一张小尺度的目标图像，由此可以在后续的配准中，提高小尺度情况下的图像配准的准确度。
步骤S122：从目标图像和至少一张缩放图像中的每张图像中分别提取至少一个第一特征点，以得到若干第一特征点。
得到了至少一张缩放图像和目标图像，意味着得到了不同尺度对应的目标图像，由此可以对这些图像都进行特征提取，在每张图像中提取至少一个第一特征点，以得到至少一个第一特征点。
通过获得不同尺度的目标图像(包括缩放后的目标图像)，可以进一步提高本申请的图像配准方法针在不同尺度下的配准的准确率。
请参阅图3，图3是本申请图像配准方法第一实施例的第三流程示意图。本实施例是对上述实施例提及的“基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数”的扩展，具体包括以下步骤：
步骤S141：选择其中一组第一匹配点对作为目标匹配点对。
在上述的步骤中，已经选出了至少一组的第一匹配点对，此时可以选择其中一组第一匹配点对作为目标匹配点对，来计算第一候选变换参数。
在一个实施场景中，上述的至少一组第一匹配点对是按照第一匹配点对的匹配程度从高到低的顺序选择作为目标匹配点对。也即，从第一匹配点对中选择目标匹配点对时，按照第一匹配点对的匹配程度，从最高匹配程度开始选。在一个具体实施场景中，匹配程度是特征点之间的距离，那就是从距离最小的第一匹配点对开始选起。以此，可以优先计算出最有可能满足预设要求的第一匹配点对。
步骤S142：基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数。
在选择出一组目标匹配点对以后，可以先计算该组目标点对对应的第一候选变换参数。
请参阅图4，图4是本申请图像配准方法第一实施例的第四流程示意图。在本实施例是对上述步骤提及的“基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数”扩展，具体包括以下步骤S1421至步骤S1423。
步骤S1421：在目标图像中提取包含第一匹配点的第一图像区域，并在待配准图像中提取包含第二匹配点的第二图像区域。
第一匹配点和第二匹配点分别为第一匹配点对中的第一特征点和第二特征点。在提取第一图像区域时，可以以第一匹配点为中心点，选取一定形状的第一图像区域。例如，可以以第一匹配点为中心点，选择16x16像素点的大小区域作为第一图像区域，或者是选择半径为16个像素点的圆形区域作为第一图像区域。第二图像区域的确定与第一图像区域相同，此处不再赘述。
在一个实施场景中，可以将第一图像区域的中心确定为目标图像的中心。
步骤S1422：确定第一图像区域的第一偏转角度和第二图像区域的第二偏转角度。
在确定第一图像区域和第二图像区域以后，可以利用该区域中的每一个像素点，来获取该区域的偏转角度。利用第一图像区域求得的偏转角度为第一偏转角度，利用第二图像区域求得的偏转角度为第二偏转角度。
在一个实施场景中，第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角。第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。具体而言，有向夹角可以包括：连线以顺时针方向偏转至预设方向的夹角，或者，连线以逆时针方向偏转至预设方向的夹角，在此不做限定。例如，可以定义在以顺时针方向进行偏转时，有向夹角的符号为“-”(即负号)，或者，也可以定义在以逆时针方向进行偏转时，有向夹角的符号为“+”(即正号)，在此不做限定。
在一个具体的实施场景中，请结合参阅图5，图5是偏转角度获取方式一实施例的示意图。如图5所示，实线矩形表示目标图像，实线矩形内的虚线矩形表示第一图像区域，P为第一图像区域的形心，以第一图像区域的中心为坐标原点O建立直角坐标系，第一图像区域的形心P与第一图像区域的中心的连线为OP，预设方向具体可以为上述直角坐标系的x轴，有向夹角可以为预设方向至连线逆时针方向的夹角θ。其他情况可以以此类推，在此不再一一举例。
在另一个具体的实施场景中，请继续结合参阅图5，形心(cx,cy)可以表示为：
Figure BDA0003133834290000161
上述公式(2)中，(x,y)表示第一图像区域中某一像素点相对第一图像区域中心的偏移量，I(x,y)表示该像素点的像素值，∑表示求和符合，其求和范围为第一图像区域中的像素点。
在又一个具体的实施场景中，第一偏转角度θ可以直接通过下式得到：
θ＝arctan(∑yI(x,y),∑xI(x,y)) (3)
上述公式(3)中，(x,y)表示第一图像区域中某一像素点相对第一图像区域中心的偏移量，I(x,y)表示该像素点的像素值，∑表示求和符合，其求和范围为第一图像区域中的像素点。同理，第二偏转角度也可以按照相同的方法计算得到。
以此，可以确定第一图像区域的第一偏转角度。第二图像区域的第二偏转角度的计算方法与上述计算第一偏转角度的方法相同，此处不再赘述。
步骤S1423：基于第一偏转角度和第二偏转角度，得到第一候选变换参数。
得到第一偏转角度和第二偏转角度以后，即可以基于这两个偏转角度来确定目标匹配点对的方向信息。例如，可以将第一偏转角度与第二偏转角度的差值作为目标匹配点对的方向信息。然后，基于目标匹配点对的方向信息，以及目标匹配点对中的第一特征点与第二特征点的坐标信息，来得到第一候选变换参数。
在一个实施场景中，可以基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数。第一匹配点对所对应的尺度为第一匹配点对所在的图像之间的尺度，也就是第一匹配点的第一匹配点所属的目标图像的尺度，例如是上述的s0、s1等等。
在一个具体实施场景中，上述的“基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数”步骤，具体可以包括以下步骤1和步骤2。
步骤1：获取第一偏转角度与第二偏转角度之间的角度差。
角度差例如是第一偏转角度与第二偏转角度的差值。
在一个实施场景中，计算角度差的公式(4)如下：
Figure BDA0003133834290000171
其中，θ为角度差，
Figure BDA0003133834290000172
为第一偏转角度，T表示目标图像，
Figure BDA0003133834290000173
为第二偏转角度，F表示待配准图像。
步骤2：基于角度差和第一匹配点对所对应的尺度，得到第一候选变换参数。
第一候选变换参数例如是目标图像与待配准图像之间对应的单应性矩阵。在一个实施场景中，单应性矩阵的计算公式(5)如下：
H＝HlHsHRHr (5)
其中，H目标图像与待配准图像之间对应的单应性矩阵，即第一候选变换参数；Hr表示待配准图像相对于目标图像的平移量；Hs代表的第一匹配点对所对应的尺度；HR代表的是待配准图像相对于目标图像的旋转量，Hl代表平移之后复位的平移量。
为了利用上述的求得角度差，可以对上述的公式(5)进行变换，得到公式(6)。
Figure BDA0003133834290000174
其中，
Figure BDA0003133834290000175
为第一特征点在目标图像上的像素坐标；
Figure BDA0003133834290000176
为第二特征点在待配准图像上的像素坐标；s为第一匹配点对所对应的尺度，即点
Figure BDA0003133834290000177
对应的尺度；θ为角度差。
通过上述的方法，就可以利用一组目标匹配点对来求得目标图像与待配准图像之间对应的单应性矩阵，进而实现图像的配准。
在得到目标图像与待配准图像之间对应的单应性矩阵H，以后可以建立目标图像上的像素点与待配准图像上的像素点的对应关系。具体的计算公式(7)如下：
Figure BDA0003133834290000181
其中，H表示第一候选变换参数，(x,y)为目标图像中的像素点，(x′,′)为待配准图像中的像素点。也就是说，可以利用第一候选变换参数对目标图像中的像素点进行坐标转换，得到待配准图像中与该像素点对应的像素点。
在求得第一候选变换参数以后，可以进一步的判断第一候选变换参数能否满足预设要求。
步骤S143：判断目标匹配点对所对应的第一候选变换参数是否满足预设要求。
预设要求详细描述可以参见上述的步骤S14，此处不再赘述。
在一个实施场景中，可以先对第一候选变换参数进行优化，以得到更为准确的第一候选变换参数。可以将目标图像记为T，待配准图像记为F，第一候选变换参数记为H，优化公式(8)如下：
Score＝maxH f(T,F(H-1)) (8)
其中，F(H-1)表示待配准图像F经第一候选变换参数H变换的结果，f函数用于计算T和F(H-1)之间的相似度，即f函数用于计算目标图像与待配准图像的相似程度，具体可以为误差平方和(Sum of Squared Differences，SSD)函数，或者归一化互相关(NormalizedCross Correlation，NCC)函数等。
Figure BDA0003133834290000182
表示利用迭代优化的方法优化H，使得目标图像与待配准图像的相似程度尽可能的提高。迭代优化的方法例如是高斯—牛顿(Gauss-Newton)迭代法或是Levenberg-Marquard algorithm算法等等。Score代表的相似度得分，得分越高，代表目标图像与待配准图像越相似。
在一个具体实施场景中，SSD函数的表达式如下：
Figure BDA0003133834290000191
其中，∑x,y表示对目标图像T中像素点(x,y)以及由第一候选配准参数H在待配准图像F中确定的与其对应的像素点(x′,y′)所组成的匹配点对的像素值进行误差平方求和。由此可见，相似度SSD(T,F)越小，目标图像与待配准图像之间的相似度越高，反之，相似度SSD(T,F)越大，目标图像与待配准图像之间的相似度越低。
在一个具体实施场景中，SSD函数的表达式如下：
Figure BDA0003133834290000192
其中，∑x,y表示对目标图像F中像素点(x,y)以及由第一候选配准参数H在待配准图像F中确定的与其对应的像素点(x′,y′)所组成的匹配点对的像素值进行归一化互相关处理。此外，
Figure BDA0003133834290000193
表示目标图像中像素点(x,y)像素值的平均值，
Figure BDA0003133834290000194
表示待配准图像中像素点(x′,y′)像素值的平均值。需要说明的是，NCC(T,F)的值域范围为-1至1，且NCC(T,F)越接近于1，表示目标图像与待配准图像之间的相似度越高。
以此，可以通过利用优化后的第一候选变换参数计算得到的相似度得分，来判断第一候选变换参数是否满足预设要求。
上述的判断，若满足预设要求，可以执行步骤S144。若不满足预设要求，可以执行步骤S145。
步骤S144：响应于目标匹配点对所对应的第一候选变换参数满足预设要求，将目标匹配点对所对应的第一候选变换参数作为最终变换参数。
若第一候选变换参数满足预设要求，可以认为此时已经配准成功。因此，终端可以响应于目标匹配点对所对应的第一候选变换参数满足预设要求，将该候选参数可以作为目标图像与待配准图像之间的最终变换参数。
步骤S145：响应于目标匹配点对所对应的第一候选变换参数不满足预设要求，选择新的一组第一匹配点对作为目标匹配点对，并重新执行基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数及其后续步骤。
若第一候选变换参数不满足预设要求，可以认为此时配准没有成功，因此，终端可以响应于目标匹配点对所对应的第一候选变换参数不满足预设要求，并利用新的第一匹配点对作为目标匹配点对来计算得到新的第一候选变换参数。因此，可以重新执行基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数及其后续步骤。
在一个实施场景中，在从第一匹配点对中选择一组目标匹配点对时，是按照匹配程度从高到低的顺序来选择的，因此，再重新选择时，则是选择除了已经被选择的第一匹配点对以后的点对中，匹配程度最高的第一匹配点。
因此，通过利用一组特征点点对，可以得到目标图像与待配准图像之间的最终变换参数，实现图像配准。
在一个公开实施例中，在上述的步骤S12之前，如果目标图像的形状与待配准图像的形状不同的，可以将目标图像外扩为与待配准图像形状相同。具体而言，终端能够响应于目标图像的形状为矩形之外的任意形状，以将目标图像外扩为与待配准图像形状相同的图像，并以此图像作为新的目标图像。
请结合参阅图6，图6是对目标图像进行外扩的一实施例的示意图。如图6所示，以目标图像为圆形且待配准图像为矩形为例，可以获取圆形的外接矩形，且该外接矩形中圆形为目标图像，圆形与外接矩形之间的像素点可以为任意像素值，从而得到新的目标图像，如可以统一采用黑色填充圆形与外接矩形之间的区域，或者，也可以统一采用白色填充圆形与外接矩形之间的区域，在此不做限定。请继续结合参阅图6，在目标图像为圆形且待配准图像为矩形的情况下，也可以获取包含该圆形且不与该圆形相切的矩形，且该矩形中圆形为目标图像，圆形与该矩形之间的像素点可以为任意像素值，从而得到新的目标图像，即包含圆形的矩形，可以不限于外接矩形。在目标图像为其他形状的情况下，或者，在待配准图像为其他形状的情况下，可以以此类推，在此不再一一举例。因此，可以在目标图像为任意形状的情况下，也能够完成图像配准，有利于提高图像配准的鲁棒性。
上述的方法，通过获得至少一组第一匹配点对，并计算第一匹配点对的方向信息，以此来获得待配准图像相对于目标图像的旋转角度，然后就可以利用该旋转角度信息得到目标图像与待配准图像之间的最终变换参数，最终实现图像配准。而且，通过该方法，能够利用较少的特征点来进行图像配准，故配准不会受到目标图像在待配准图像中的占比影响，即使目标图像在待配准图像中的占比较小也能实现准确的图像配准，故能够提高图像配准的准确性。
请参阅图7，图7是本申请图像配准方法第二实施例的流程示意图。本实施例是对上述第一实施例的进一步扩展，具体而言，在执行上述实施例的步骤S12之前，还可以执行以下的步骤：
步骤S21：在目标图像和待配准图像中选择若干组第二匹配点对。
在一个实施场景中，可以从目标图像和待配准图像中选择若干组第二匹配点对。在一组第二匹配点对中，包含一个从目标图像上提取的第一特征点，和一个从第二特征图像上提取的第二特征点。
在一个具体实施场景中，目标图像可以包括基于一系列不同的尺度生成的缩放目标图像，例如是上述提及的衍生尺度。待配准图像也可以包括基于一系列不同的尺度生成的缩放待配准图像。得到的一系列不同尺度的目标图像，可以定义为目标图像金字塔，不同尺度的一系列待配准图像定义为待配准图像金字塔。也即，在对目标图像或者是待配准图像进行特征提取时，可以是对目标图像金字塔或者是待配准图像金字塔中的全部图像进行特征提取，从而得到一系列的第一特征点和第二特征点。然后，就可以选择若干组第二匹配点对。
在一个具体实施场景中，可以基于第一特征点和第二特征点之间的匹配程度，选出若干组第二匹配点对。具体的选择方法可以参见上述实施例的步骤S13，此处不再赘述。
步骤S22：综合若干组第二匹配点对的位置信息，得到第二候选变换参数。
在得到若干组第二匹配点对以后，就可以根据这些第二匹配点对的位置信息，来得到第二候选变换参数。具体的计算方法例如是随机一致性采样算法(RANSAC)来计算，以此来得到第二候选变换参数。第二候选变换参数例如是目标图像和待配准图像对应的单应性矩阵H。
步骤S23：判断第二候选变换参数是否满足预设要求。
判断第二候选参数是否满足预设要求的方法，例如是判断第二候选变换参数所对应的目标区域与目标图像之间的相似度满足预设相似度要求。其中，第二候选变换参数所对应的目标区域为利用第二候选变换参数在待配准图像中确定的与目标图像对应的区域。判断第二候选变换参数是否满足预设要求具体方法，可以参阅上述判断上述第一候选变换参数是否满足预设要求的具体描述，此处不再赘述。
若第二候选变换参数满足预设要求，可以执行步骤S24；若第二候选变换参数不满足预设要求，则可以执行步骤S25。
步骤S24：将第二候选变换参数作为最终变换参数。
若第二候选参数满足预设要求，可以认为此时已经配准成功。因此，可以将该候选参数可以作为目标图像与待配准图像之间的最终变换参数。在得到最终变换参数以后，则可以停止图像配准方法。
步骤S25：执行提取目标图像的若干第一特征点和待配准图像的若干第二特征点及其后续步骤。
若第二候选变换参数不满足预设要求，可以认为此时配准没有成功，因此，可以继续执行上述的：提取目标图像的若干第一特征点和待配准图像的若干第二特征点及其后续步骤。
在一个实施场景中，在执行步骤S21时，可能已经提取了第一特征点和第二特征点，因此在后续的步骤，可以不再执行提取特征点的步骤。如果上述的步骤还计算了第一特征点和第二特征点之间的匹配程度，则后续的步骤中也可以不再执行计算第一特征点和第二特征点之间的匹配程度的步骤。以此，可以提高本申请图像配准方法的运行速度。
因此，通过上述方法，可以实现先利用图像的特征点以及特征表示进行图像配准，在利用图像的特征点以及特征表示无法进行准确图像配准(例如目标图像与待配准图像之间的占比较小)的情况下，再利用特征点的方向信息进行图像配准，以减少图像配准失败的情况，提高图像配准的准确性。
请参阅图8，图8是本申请图像配准装置一实施例的框架示意图。图像配准装置80包括图像获取模块81、特征提取模块82、特征匹配模块83和确定模块84。图像获取模块用于执行获取目标图像和待配准图像。特征提取模块用于提取目标图像的若干第一特征点和待配准图像的若干第二特征点。特征匹配模块用于执行基于第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组第一匹配点对包括第一特征点和第二特征点。确定模块用于执行基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数。
其中，上述的特征提取模块用于执行提取目标图像的若干第一特征点，具体包括：对目标图像进行缩放，得到不同分辨率的至少一张缩放图像；从目标图像和至少一张缩放图像中的每张图像中分别提取至少一个第一特征点，以得到若干第一特征点。其中，上述的第一特征点和第二特征点之间的匹配程度是基于第一特征点和第二特征点的特征表示之间的距离得到的。
其中，上述的特征提取模块用于执行目标图像进行缩放，得到不同分辨率的至少一张缩放图像，具体包括：确定目标图像与待配准图像之间的预设尺度；基于预设尺度生成至少一个衍生尺度，其中，每个衍生尺度不同，且均小于预设尺度；基于每个衍生尺度，对目标图像进行缩放，得到对应的缩放图像。
其中，上述的特征提取模块用于执行确定目标图像与待配准图像之间的预设尺度，具体包括：基于待配准图像的尺寸、目标图像的尺寸以及目标图像在待配准图像中的预设占比，得到预设尺度。
其中，上述的确定模块用于执行基于第一匹配点对的方向信息，得到目标图像与待配准图像之间的最终变换参数，具体包括：基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数。
其中，上述的确定模块用于执行基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，并将满足预设要求的第一候选变换参数作为最终变换参数，具体包括：选择其中一组第一匹配点对作为目标匹配点对；基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数；判断目标匹配点对所对应的第一候选变换参数是否满足预设要求；响应于所述目标匹配点对所对应的第一候选变换参数满足预设要求，将目标匹配点对所对应的第一候选变换参数作为最终变换参数。
其中，上述的至少一组第一匹配点对是按照第一匹配点对的匹配程度从高到低的顺序选择作为目标匹配点对。其中，装置80还包括第二确定模块。上述的确定模块用于执行判断目标匹配点对所对应的第一候选变换参数是否满足预设要求之后，第二确定模块用于响应于不满足预设要求，则选择新的一组第一匹配点对作为目标匹配点对，并重新执行基于目标匹配点对的方向信息，得到与目标匹配点对相对应的第一候选变换参数及其后续步骤；响应于确定模块没有在预设时间内未找出满足预设要求的第一候选变换参数，第二确定模块用于确定无法得到最终变换参数。
其中，上述的确定模块用于执行基于第一匹配点对的方向信息，得到与第一匹配点对相对应的第一候选变换参数，具体包括：在目标图像中提取包含第一匹配点的第一图像区域，并在待配准图像中提取包含第二匹配点的第二图像区域，其中，第一匹配点和第二匹配点分别为第一匹配点对中的第一特征点和第二特征点；确定第一图像区域的第一偏转角度和第二图像区域相对第二偏转角度；基于第一偏转角度和第二偏转角度，得到第一候选变换参数。
其中，上述的确定模块用于执行基于第一偏转角度和第二偏转角度，得到第一候选变换参数，具体包括：基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数，其中，第一匹配点对所对应的尺度为第一匹配点对所在的图像之间的尺度。
其中，上述的确定模块用于执行基于第一匹配点对所对应的尺度、第一偏转角度和第二偏转角度，得到第一候选变换参数，具体包括：获取第一偏转角度与第二偏转角度之间的角度差；基于角度差和第一匹配点对所对应的尺度，得到第一候选变换参数。
其中，上述的第一图像区域的中心为目标图像的中心。上述的第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角；第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。
其中，装置80还包括第二配准模块，在特征提取模块用于提取目标图像的若干第一特征点和待配准图像的若干第二特征点之前，第二配准模块用于执行在目标图像和待配准图像中选择若干组第二匹配点对；综合若干组第二匹配点对的位置信息，得到第二候选变换参数；若第二候选变换参数满足预设要求，则将第二候选变换参数作为最终变换参数；若第二候选变换参数不满足预设要求，则执行提取目标图像的若干第一特征点和待配准图像的若干第二特征点及其后续步骤。
其中，装置80还包括图像外扩模块。在上述的特征提取模块，或者第二配准模块用于执行提取目标图像的若干第一特征点和待配准图像的若干第二特征点之前，且目标图像的形状与待配准图像的形状不同的情况下，图像外扩模块用于执行将目标图像外扩为与待配准图像形状相同。
请参阅图9，图9是本申请电子设备一实施例的框架示意图。电子设备90包括相互耦接的存储器91和处理器92，处理器92用于执行存储器91中存储的程序指令，以实现上述任一图像配准方法实施例的步骤。在一个具体的实施场景中，电子设备90可以包括但不限于：微型计算机、服务器，此外，电子设备90还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器92用于控制其自身以及存储器91以实现上述任一图像配准方法实施例的步骤。处理器92还可以称为CPU(Central Processing Unit，中央处理单元)。处理器92可能是一种集成电路芯片，具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器92可以由集成电路芯片共同实现。
请参阅图10，图10为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质100存储有能够被处理器运行的程序指令101，程序指令101用于实现上述任一图像配准方法实施例的步骤。
上述方案，能够有利于提高图像配准的准确性。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种图像配准方法，其特征在于，包括：
获取目标图像和待配准图像；
提取所述目标图像的若干第一特征点和所述待配准图像的若干第二特征点；
基于所述第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组所述第一匹配点对包括所述第一特征点和第二特征点；
基于所述第一匹配点对的方向信息，得到所述目标图像与所述待配准图像之间的最终变换参数。
2.根据权利要求1所述的方法，其特征在于，所述提取所述目标图像的若干第一特征点，包括：
对所述目标图像进行缩放，得到不同分辨率的至少一张缩放图像；
从所述目标图像和所述至少一张缩放图像中的每张图像中分别提取至少一个第一特征点，以得到所述若干第一特征点；
和/或，所述第一特征点和第二特征点之间的匹配程度是基于所述第一特征点和第二特征点的特征表示之间的距离得到的。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像进行缩放，得到不同分辨率的至少一张缩放图像，包括：
确定所述目标图像与所述待配准图像之间的预设尺度；
基于所述预设尺度生成至少一个衍生尺度，其中，每个所述衍生尺度不同，且均小于所述预设尺度；
基于每个所述衍生尺度，对所述目标图像进行缩放，得到对应的所述缩放图像。
4.根据权利要求3所述的方法，其特征在于，所述确定所述目标图像与所述待配准图像之间的预设尺度，包括：
基于所述待配准图像的尺寸、所述目标图像的尺寸以及所述目标图像在所述待配准图像中的预设占比，得到所述预设尺度。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述第一匹配点对的方向信息，得到所述目标图像与所述待配准图像之间的最终变换参数，包括：
基于所述第一匹配点对的方向信息，得到与所述第一匹配点对相对应的第一候选变换参数，并将满足预设要求的所述第一候选变换参数作为所述最终变换参数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一匹配点对的方向信息，得到与所述第一匹配点对相对应的第一候选变换参数，并将满足预设要求的所述第一候选变换参数作为所述最终变换参数，包括：
选择其中一组所述第一匹配点对作为目标匹配点对；
基于所述目标匹配点对的方向信息，得到与所述目标匹配点对相对应的第一候选变换参数；
判断所述目标匹配点对所对应的第一候选变换参数是否满足预设要求；
响应于所述目标匹配点对所对应的第一候选变换参数满足所述预设要求，将所述目标匹配点对所对应的第一候选变换参数作为所述最终变换参数。
7.根据权利要求6所述的方法，其特征在于，所述至少一组第一匹配点对是按照所述第一匹配点对的匹配程度从高到低的顺序选择作为所述目标匹配点对；
和/或，在所述判断所述目标匹配点对所对应的第一候选变换参数是否满足预设要求之后，所述方法还包括：
响应于所述目标匹配点对所对应的第一候选变换参数不满足所述预设要求，选择新的一组所述第一匹配点对作为所述目标匹配点对，并重新执行所述基于所述目标匹配点对的方向信息，得到与所述目标匹配点对相对应的第一候选变换参数及其后续步骤；
响应于预设时间内未找出满足所述预设要求的第一候选变换参数，确定无法得到所述最终变换参数。
8.根据权利要求5至7任一项所述的方法，其特征在于，所述基于所述第一匹配点对的方向信息，得到与所述第一匹配点对相对应的第一候选变换参数，包括：
在所述目标图像中提取包含第一匹配点的第一图像区域，并在所述待配准图像中提取包含第二匹配点的第二图像区域，其中，所述第一匹配点和第二匹配点分别为所述第一匹配点对中的第一特征点和第二特征点；
确定所述第一图像区域的第一偏转角度和所述第二图像区域的第二偏转角度；
基于所述第一偏转角度和所述第二偏转角度，得到所述第一候选变换参数。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一偏转角度和所述第二偏转角度，得到所述第一候选变换参数，包括：
基于所述第一匹配点对所对应的尺度、所述第一偏转角度和所述第二偏转角度，得到所述第一候选变换参数，其中，所述第一匹配点对所对应的尺度为所述第一匹配点对所在的图像之间的尺度。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一匹配点对所对应的尺度、所述第一偏转角度和所述第二偏转角度，得到所述第一候选变换参数，包括：
获取所述第一偏转角度与第二偏转角度之间的角度差；
基于所述角度差和所述第一匹配点对所对应的尺度，得到所述第一候选变换参数。
11.根据权利要求8至10任一项所述的方法，其特征在于，所述第一图像区域的中心为所述目标图像的中心；
和/或，所述第一偏转角度为所述第一图像区域的形心与所述第一图像区域的中心的连线与预设方向之间的有向夹角；所述第二偏转角度为所述第二图像区域的形心与所述第二图像区域的中心的连线与预设方向之间的有向夹角。
12.根据权利要求1至11任一项所述的方法，其特征在于，在所述提取所述目标图像的若干第一特征点和所述待配准图像的若干第二特征点之前，所述方法还包括：
在所述目标图像和待配准图像中选择若干组第二匹配点对；
综合所述若干组第二匹配点对的位置信息，得到第二候选变换参数；
若所述第二候选变换参数满足预设要求，则将所述第二候选变换参数作为所述最终变换参数；
若所述第二候选变换参数不满足所述预设要求，则执行所述提取所述目标图像的若干第一特征点和所述待配准图像的若干第二特征点及其后续步骤。
13.根据权利要求5至12任一项所述的方法，其特征在于，所述预设要求为：相应候选变换参数所对应的目标区域与所述目标图像之间的相似度满足预设相似度要求，所述相应候选变换参数所对应的目标区域为利用相应候选变换参数在所述待配准图像中确定的与所述目标图像对应的区域。
14.根据权利要求1至13任一项所述的方法，其特征在于，在所述提取所述目标图像的若干第一特征点和所述待配准图像的若干第二特征点之前，所述方法还包括：
响应于所述目标图像的形状与所述待配准图像的形状不同，将所述目标图像外扩为与所述待配准图像形状相同。
15.一种图像配准装置，其特征在于，包括：
图像获取模块，用于获取目标图像和待配准图像；
特征提取模块，用于提取所述目标图像的若干第一特征点和所述待配准图像的若干第二特征点；
特征匹配模块，用于基于所述第一特征点和第二特征点之间的匹配程度，选出至少一组第一匹配点对，其中，每组所述第一匹配点对包括所述第一特征点和第二特征点；
确定模块，用于基于所述第一匹配点对的方向信息，得到所述目标图像与所述待配准图像之间的最终变换参数。
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至14任一项所述的图像配准方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至14任一项所述的图像配准方法。
CN202110711211.6A 2021-06-25 2021-06-25 图像配准方法及相关装置、设备和存储介质 Active CN113409372B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110711211.6A CN113409372B (zh) 2021-06-25 2021-06-25 图像配准方法及相关装置、设备和存储介质
PCT/CN2021/127346 WO2022267287A1 (zh) 2021-06-25 2021-10-29 图像配准方法及相关装置、设备和存储介质
TW110144052A TW202301274A (zh) 2021-06-25 2021-11-25 圖像配准方法及電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110711211.6A CN113409372B (zh) 2021-06-25 2021-06-25 图像配准方法及相关装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113409372A true CN113409372A (zh) 2021-09-17
CN113409372B CN113409372B (zh) 2023-03-24

Family

ID=77679439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110711211.6A Active CN113409372B (zh) 2021-06-25 2021-06-25 图像配准方法及相关装置、设备和存储介质

Country Status (3)

Country Link
CN (1) CN113409372B (zh)
TW (1) TW202301274A (zh)
WO (1) WO2022267287A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267287A1 (zh) * 2021-06-25 2022-12-29 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备和存储介质
CN117173439A (zh) * 2023-11-01 2023-12-05 腾讯科技（深圳）有限公司 基于gpu的图像处理方法、装置、存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984341B (zh) * 2023-03-20 2023-05-23 深圳市朗诚科技股份有限公司 海洋水质微生物检测方法、装置、设备及存储介质
CN116612390B (zh) * 2023-07-21 2023-10-03 山东鑫邦建设集团有限公司 一种建筑工程用的信息管理系统
CN116625385B (zh) * 2023-07-25 2024-01-26 高德软件有限公司 路网匹配方法、高精地图构建方法、装置及设备
CN117911474B (zh) * 2024-03-20 2024-06-11 中南大学 一种在线瓦片地图渐进式动态配准方法、系统及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021229A (zh) * 2014-06-25 2014-09-03 厦门大学 一种用于商标图像检索的形状表示与匹配方法
CN104517287A (zh) * 2014-12-10 2015-04-15 广州赛意信息科技有限公司 一种图像匹配的方法及装置
CN105551012A (zh) * 2014-11-04 2016-05-04 阿里巴巴集团控股有限公司 计算机图像配准中降低错误匹配对的方法及其系统
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法
CN109118525A (zh) * 2017-06-23 2019-01-01 北京遥感设备研究所 一种双波段红外图像空域配准方法
CN109559339A (zh) * 2018-11-21 2019-04-02 上海交通大学 基于图像控制点配准的刚性表面接触过程分析方法与系统
CN111079803A (zh) * 2019-12-02 2020-04-28 易思维（杭州）科技有限公司 基于梯度信息的模板匹配方法
CN111223133A (zh) * 2020-01-07 2020-06-02 上海交通大学 一种异源图像的配准方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872475B (zh) * 2009-04-22 2012-03-28 中国科学院自动化研究所 一种扫描文档图像自动配准方法
CN103871063B (zh) * 2014-03-19 2017-04-19 中国科学院自动化研究所 一种基于点集匹配的图像配准方法
CN105513038B (zh) * 2014-10-20 2019-04-09 网易（杭州）网络有限公司 图像匹配方法及手机应用测试平台
CN105160654A (zh) * 2015-07-09 2015-12-16 浙江工商大学 基于特征点提取的毛巾标签缺陷检测方法
CN107665479A (zh) * 2017-09-05 2018-02-06 平安科技（深圳）有限公司 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质
CN111091590B (zh) * 2019-12-18 2024-04-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111598176B (zh) * 2020-05-19 2023-11-17 北京明略软件系统有限公司 一种图像匹配处理方法及装置
CN111709980A (zh) * 2020-06-10 2020-09-25 北京理工大学 基于深度学习的多尺度图像配准方法和装置
CN112102383A (zh) * 2020-09-18 2020-12-18 深圳市赛为智能股份有限公司 图像配准方法、装置、计算机设备及存储介质
CN112184783A (zh) * 2020-09-22 2021-01-05 西安交通大学 一种结合图像信息的三维点云配准方法
CN113409372B (zh) * 2021-06-25 2023-03-24 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021229A (zh) * 2014-06-25 2014-09-03 厦门大学 一种用于商标图像检索的形状表示与匹配方法
CN105551012A (zh) * 2014-11-04 2016-05-04 阿里巴巴集团控股有限公司 计算机图像配准中降低错误匹配对的方法及其系统
CN104517287A (zh) * 2014-12-10 2015-04-15 广州赛意信息科技有限公司 一种图像匹配的方法及装置
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法
CN109118525A (zh) * 2017-06-23 2019-01-01 北京遥感设备研究所 一种双波段红外图像空域配准方法
CN109559339A (zh) * 2018-11-21 2019-04-02 上海交通大学 基于图像控制点配准的刚性表面接触过程分析方法与系统
CN111079803A (zh) * 2019-12-02 2020-04-28 易思维（杭州）科技有限公司 基于梯度信息的模板匹配方法
CN111223133A (zh) * 2020-01-07 2020-06-02 上海交通大学 一种异源图像的配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267287A1 (zh) * 2021-06-25 2022-12-29 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备和存储介质
CN117173439A (zh) * 2023-11-01 2023-12-05 腾讯科技（深圳）有限公司 基于gpu的图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
TW202301274A (zh) 2023-01-01
WO2022267287A1 (zh) 2022-12-29
CN113409372B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113409372B (zh) 图像配准方法及相关装置、设备和存储介质
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN110335315B (zh) 一种图像处理方法及装置、计算机可读存储介质
CN109117846B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
Zhao et al. Spherical criteria for fast and accurate 360 object detection
CN112750085A (zh) 图像恢复方法和图像恢复设备
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN113393505B (zh) 图像配准方法、视觉定位方法及相关装置、设备
WO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
Furnari et al. Distortion adaptive Sobel filters for the gradient estimation of wide angle images
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN110660091A (zh) 一种图像配准处理方法、装置和拍照批改作业系统
CN113393506B (zh) 图像配准方法及相关装置、设备
CN111310818B (zh) 特征描述子确定方法、装置及计算机可读存储介质
KR20230030996A (ko) 객체 추적 장치 및 방법
CN113112531A (zh) 一种图像匹配方法及装置
CN113409370B (zh) 图像配准方法及相关装置、设备
CN113409371B (zh) 图像配准方法及相关装置、设备
CN113409365B (zh) 图像处理方法及相关终端、设备和存储介质
CN113409373B (zh) 图像处理方法及相关终端、设备和存储介质
Tong et al. A blur-invariant interest point detector based on moment symmetry for motion and Gaussian blurred image matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051315

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant