CN110827334B - 形变场确定方法、确定装置、终端设备及可读存储介质 - Google Patents

形变场确定方法、确定装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN110827334B
CN110827334B CN201911060305.0A CN201911060305A CN110827334B CN 110827334 B CN110827334 B CN 110827334B CN 201911060305 A CN201911060305 A CN 201911060305A CN 110827334 B CN110827334 B CN 110827334B
Authority
CN
China
Prior art keywords
feature point
deformation field
image
iteration
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911060305.0A
Other languages
English (en)
Other versions
CN110827334A (zh
Inventor
彭冬炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911060305.0A priority Critical patent/CN110827334B/zh
Publication of CN110827334A publication Critical patent/CN110827334A/zh
Application granted granted Critical
Publication of CN110827334B publication Critical patent/CN110827334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种形变场确定方法、确定装置、终端设备及可读存储介质。该方法包括：获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；将所述第一图像以及所述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，对所述形变场V进行迭代运算，以得到使目标函数F(V)最小时的形变场V，其中，所述目标函数F(V)正相关于各个||x1i+V(x1i)‑x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)‑x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离。本申请可解决当待配准的两幅图像之间形变较大时，无法准确地确定出形变场的技术问题。

Description

形变场确定方法、确定装置、终端设备及可读存储介质
技术领域
本申请属于图像配准领域，尤其涉及一种用于图像配准的形变场确定方法、形变场确定装置、终端设备及计算机可读存储介质。
背景技术
目前，图像配准的方法往往有稠密光流法和稀疏光流法，稠密光流方法需要考虑到待配准的图像的所有像素点，因此，终端设备的计算负担较大。且稠密光流法以及稀疏光流法只能对形变较小的两幅图像进行配准，当待配准的两幅图像之间形变较大时，均无法准确地确定出形变场。
发明内容
有鉴于此，本申请实施例提供了一种用于图像配准的形变场确定方法、形变场确定装置、终端设备及计算机可读存储介质，可以在保持计算量较少的前提下，当待配准的两幅图像之间形变较大时，也能够较为准确地确定出形变场。
本申请实施例的第一方面提供了一种用于图像配准的形变场确定方法，包括：
获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于上述第一图像中特征点的位置，x2i为位于上述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离。
本申请实施例的第二方面提供了一种用于图像配准的形变场确定装置，包括：
图像获取模块，用于获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
特征点匹配模块，用于将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于上述第一图像中特征点的位置，x2i为位于上述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
迭代运算模块，用于对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面上述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面上述方法的步骤。
由上可见，本申请提供了一种用于图像配准的形变场确定方法。首先，获取待配准的第一图像以及第二图像；其次，将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}；其次，基于初始化的形变场V，对该形变场V进行迭代运算(可以采用高斯-牛顿迭代法)，以得到使目标函数F(V)最小时的形变场V(即计算目标为argminVF(V))，该目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值。也即是该目标函数F(V)是被约束于各个||x1i+V(x1i)-x2i||2的，即被约束于x1i+V(x1i)和x2i的欧式距离，其中，x1i+V(x1i)为第一图像中的特征点经过形变场V修正后的点的位置，由此可见，本申请在计算形变场时，会考虑两个待配置图像的形变大小，保证最终得到的形变场V能够被约束于形变大小，因此，本申请可以在待配准的两幅图像发生较大形变时，依然可以在一定程度上得到较为合适的形变场。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1是本申请实施例一提供的一种用于图像配准的形变场确定方法的流程示意图；
图2是本申请实施例二提供的另一种用于图像配准的形变场确定方法的流程示意图；
图3是本申请实施例三提供的一种用于图像配准的形变场确定装置的结构示意图；
图4是本申请实施例四提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请实施例提供的方法可以适用于终端设备，示例性地，该终端设备包括但不限于：智能手机、平板电脑、笔记本、桌上型计算机、云端服务器等。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
实施例一
下面对本申请实施例一提供的用于图像配准的形变场确定方法进行描述，请参阅附图1，该确定方法包括：
在步骤S101中，获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
在本申请实施例中，上述第二图像是与上述第一图像存在某种映射关系的图像，比如上述第一图像与上述第二图像存在仿射变换或者射影变换关系。比如当第一图像上的图案包括一只小狗时，第二图像上的图案也包括一只小狗，但小狗在第一图像和第二图像上的位置或者大小有所不同(即存在某种映射关系)，在此，对第一图像和第二图像的具体图像内容不做具体限定。
在本申请实施例中，上述第一图像和上述第二图像可以为视频帧图像序列中间隔时长较短的两帧图像，可以是连续的两帧图像，也可以为视频帧图像序列中不连续的两帧图像。比如，当上述第一图像为视频帧图像序列中的第三帧图像时，上述第二图像可以为第四帧图像，也可以为第五帧图像或者第六帧图像，即不具体限定上述第一图像和上述第二图像在视频帧图像序列中的连续性。
此外，待确定的形变场V是一个矩阵，初始化形变场V(可以将形变场V的初始值设置为零矩阵)，以便对形变场V进行迭代运算，得到使得目标函数F(V)最小时的形变场V(对目标函数F(V)的具体描述可详见后续步骤)。通过迭代运算得到最终的形变场V后，即可根据该形变场V将上述第一图像和上述第二图像进行配准。
在步骤S102中，将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于上述第一图像中特征点的位置，x2i为位于上述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
在本申请实施例中，该步骤S102的具体实现方式可以为：首先，分别对上述第一图像以及第二图像进行特征点提取，得到位于上述第一图像中的N个第一特征点以及位于上述第二图像中的N个第二特征点，上述N为大于1的整数且N大于或等于M；其次，对上述第一图像中的N个第一特征点以及上述第二图像中的N个第二特征点进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}。其中，特征点提取方法包括但不限于加速特征点提取和描述法(oriented fast and rotated brief，ORB)、尺度不变特征变换法(Scale InvariantFeature Transform，SIFT)以及加速鲁棒特征法(Speeded Up Robust Features，SURF)。在得到N个第一特征点以及N个第二特征点后，对第一图像以及第二图像进行特征点匹配。
其中，对上述第一图像中的N个第一特征点以及上述第二图像中的N个第二特征点进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，具体可以包括：
首先，对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的特征点；
其次，对每个第一特征点分别所对应的最小描述子距离进行排序，将最小描述子距离最小的M个第一特征点确定为x1i，并将最小描述子距离最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i。
也即是，计算每个第一特征点所对应的最小描述子距离(为便于后续描述，用D1表示最小描述子距离)，从而得到N个D1，对N个D1进行排序，将最小的M个D1所对应的第一特征点确定为x1i，并将对应的准匹配的第二特征点确定为x2i。
此外，对上述第一图像中的N个第一特征点以及上述第二图像中的N个第二特征点进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，具体还可以包括：
首先，对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点。
其次，对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离，反相关于该第一特征点对应的次小描述子距离；
最后，对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i。
也即是，这里给出的确定M组匹配的特征点对的方法相比于上面直接根据最小描述子距离确定特征点对的方法，能够更加准确。在该方法中，不仅仅会确定每个第一特征点分别对应的最小描述子距离(为便于后续描述，用D1表示最小描述子距离)，还会确定每个第一特征点分别对应的次小描述子距离(为便于后续描述，用D2表示最小描述子距离)，然后可以根据|D1|/|D2|、D1 2/|D2|或者D1-D2等来计算匹配误差，并根据匹配误差确定相互匹配的特征点对。本领域技术人员容易理解，匹配误差越小，代表该第一特征点具备更好的区分度，因此，与准匹配的第二特征点是相互匹配的特征点对的可能性越高，因此，这种匹配误差确定方法相比直接根据最小描述子距离确定特征点对的方法，能够更加准确地确定出相互匹配的特征点对。
另外，对上述第一图像中的N个第一特征点以及上述第二图像中的N个第二特征点进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，具体也可以包括：
首先，对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点。
其次，对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离，该修正点为该第一特征点经过形变场V修正后得到的点；
在得到与该第一特征点准匹配的第二特征点之后，对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离(为便于后续描述，该第一特征点对应的欧式距离用D3来表示)，也即是，对于每个第一特征点来说，根据初始化的形变场V对该第一特征点进行修正，得到修正点，然后计算该修正点与准匹配的第二特征点之间的欧式距离(该修正点为该第一特征点经过上述形变场V修正后得到的点。比如，第一特征点为x1i，与第一特征点x1i准匹配的第二特征点为x2i，修正点为x1i+V(x1i)，此时该欧式距离为||x1i+V(x1i)-x2i||2)。本领域技术人员不难理解，随着后续的迭代运算，形变场V会越来越准确，因此，对于相互匹配的特征点对来说，相应的欧式距离会越来越小。
然后，对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；在得到第一特征点对应的最小描述子距离、次小描述子距离以及对应的欧式距离后，根据第一特征点对应的最小描述子距离、次小描述子距离以及第一特征点对应的欧式距离计算该第一特征点对应的匹配误差，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离。比如，该匹配误差可以为：
Figure BDA0002257757110000081
其中，D1为该第一特征点对应的最小描述子距离，D2为该第一特征点对应的次小描述子距离，D3为该第一特征点对应的欧式距离，D为匹配误差。另外，匹配误差也可以为
Figure BDA0002257757110000082
本领域技术人员应该可以理解，本申请并不对匹配误差的具体形式进行限定。
最后，对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i。
通过对匹配误差进行排序，从而得到匹配误差最小的M组匹配特征点对{x1i，x2i}，以便得到匹配更加准确的特征点对。
该匹配的特征点对的确定方法，利用了形变场V，在这种情况下，在每次迭代运算时，都需要重新确定M组匹配的特征点对，这样，随着迭代次数的增大，匹配的特征点对会越来越准确。
在步骤S103中，对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，
本领域技术人员应该能够理解，上述F(V)并不单单仅仅正相关于各个||x1i+V(x1i)-x2i||2的值，还应该正相关于能够体现经形变场V误差的函数。该函数可以根据修正后的第一图像与第二图像的相似度得到；或者，根据经形变场V修正后的第二图像与第一图像的相似度得到；或者，上述F(V)正相关于各个|A(x1i)-B(x1i+V(x1i))|的值(请本领域技术人员注意，特征“F(V)应该正相关于能够体现经形变场V误差的函数”虽未记载在步骤S103中，但应认为是步骤S103隐含记载的特征)。其中A(x1i)为上述第一图像中x1i的像素值，B(x1i+V(x1i))为上述第二图像中x1i+V(x1i)处的像素值。
该步骤S103所述的目标函数F(V)还可以正相关于上述形变场V的正则项，该正则项可以为
Figure BDA0002257757110000091
Figure BDA0002257757110000092
即是求形变场V中各个元素的平方和，并对该平方和执行开根号运算)，在目标函数中增加正则项可以约束形变场V的向量梯度，避免过拟合的情况出现，保证迭代结束后，得到的形变场V中的各个元素之间不会有太大梯度。此外，本申请并不对正则项的具体公式进行限定，现有技术中其他避免过拟合情况出现的正则项计算公式也可以应用在本申请中。
在本实施例中，迭代次数K可以预设设置。根据预设确定的迭代次数K，对形变场V进行迭代，迭代算法适用本领域现有的迭代算法，比如牛顿-高斯迭代法，在此不再赘述(本领域技术人员容易理解，本申请的计算目标为argminVF(V))。在迭代K次之后，可以执行如下步骤，来判断是否停止迭代：
判断本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值，或者，判断本次迭代目标函数F(V)的值是否小于第二阈值，或者，也可以为本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值且本次迭代目标函数F(V)的值是否小于第二阈值，若判断结果是肯定的，则可以停止迭代，否则，再次进行迭代运算，然后再继续判断是否迭代停止。
在本申请实施例中，目标函数F(V)可以为：
Figure BDA0002257757110000093
Figure BDA0002257757110000104
其中，i为M组特征点对的序号，集合I为上述的M组匹配的特征点对组成的集合。
目标函数F(V)也可以为：
Figure BDA0002257757110000101
此外，目标函数F(V)还可以正相关于各个|A(x1j)-B(x1j+V(x1j))|的值，其中，x1j为所述N个第一特征点中其中一个第一特征点在所述第一图像中的位置，A(x1j)为所述第一图像中x1j的像素值，x1j+V(x1j)为x1j经过形变场V修正后的位置，B(x1j+V(x1j))为所述第二图像中x1j+V(x1j)处的像素值，j＝1、2…N。此时，目标函数F(V)可以为：
Figure BDA0002257757110000102
其中，集合J表示上述第一图像A中所有第一特征点组成的集合，集合大小为N，i为M组特征点对的序号，集合I为上述的M组匹配的特征点对组成的集合。
目标函数F(V)也可以为：
Figure BDA0002257757110000103
本领域技术人员应该理解，上述给出的各个目标函数F(V)的具体计算方式并不用于对该目标函数F(V)进行限定，F(V)还可以由其他的表现形式。
本领域技术人员能够看出，本申请最终得到的形变场V仅仅包含有M个元素，因此，为了提高形变场V的元素个数，可以通过插值运算获得。
由此可见，在本申请中，该目标函数F(V)是被约束于各个||x1i+V(x1i)-x2i||2的，即被约束于x1i+V(x1i)和x2i的欧式距离，因此，在计算形变场时，会考虑两个待配置图像的形变大小，保证最终得到的形变场V能够被约束于形变大小，因此，本申请可以在待配准的两幅图像发生较大形变时，依然可以在一定程度上得到较为合适的形变场。
实施例二
下面对本申请实施例二提供的另一种用于图像配准的形变场确定方法进行描述，请参阅附图2，该形变场确定方法包括：
在步骤S201中，获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
在步骤S202中，分别对上述第一图像以及上述第二图像进行特征点提取，得到位于上述第一图像中的N个第一特征点以及位于上述第二图像中的N个第二特征点，该N为大于1的整数且N大于或等于M；
在步骤S203中，对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点；
在步骤S204中，对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离，该修正点为该第一特征点经过形变场V修正后得到的点；
在本申请实施例二中，上述步骤S201-S204与均在实施例一中有相关描述，具体可参见实施例一的描述，此处不再赘述。
在步骤S205中，对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及λ倍的该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
在步骤S206中，对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i。
在本申请实施例一中，已经描述了一种匹配误差的计算方法，即：匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离。本申请实施例二对实施例一描述的该匹配误差的计算方法进行了改进，即将匹配误差修正为：正相关与该第一特征点所对应的最小描述子距离以及λ倍的该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离。本领域技术人员容易理解，该λ为大于0的正数。该匹配误差计算公式可以为：
Figure BDA0002257757110000121
其中，D1为该第一特征点对应的最小描述子距离，D2为该第一特征点对应的次小描述子距离，D3为该第一特征点对应的欧式距离，D为匹配误差，λ为权重系数。另外，匹配误差也可以为
Figure BDA0002257757110000122
本领域技术人员应该可以理解，本申请并不对匹配误差的具体形式进行限定。
当刚开始迭代时，形变场V的迭代结果较差，此时将λ设置为较小的值，以便减少该第一特征点对应的欧式距离对计算匹配误差的约束力，随着迭代次数的增加，形变场V的迭代结果逐渐准确，因此，在每次迭代时，增大所述λ的值，增加该第一特征点对应的欧式距离对计算匹配误差的约束力。根据增大后的λ和当前迭代得到的形变场V得到各个第一特征点分别对应的匹配误差，对各个第一特征点分别对应的匹配误差进行排序，再根据该匹配误差重新确定M组特征点对。由此可以随着迭代次数的增加，确定出更加准确地特征点对。本申请通过设置该第一特征点对应的欧式距离在计算该第一特征点对应的匹配误差中的权重系数，从而可设置该第一特征点对应的欧式距离对计算匹配误差的约束力，当形变场V的迭代结果较准确时，增加该第一特征点对应的欧式距离对计算匹配误差的约束力，从而使得匹配的特征点对更加准确。
此外，在每次迭代时，在增大上述λ的值的同时也可增大上述M的值，以便得到更多的匹配的特征点对。在每次迭代时，根据增大后的λ和当前迭代得到的形变场V得到各个第一特征点分别对应的匹配误差，对各个第一特征点分别对应的匹配误差进行排序，再根据该匹配误差和增大后的M重新确定M组特征点对。
随着迭代的增加，该第一特征点对应的欧式距离对计算匹配误差的约束力越来越大，形变场V的迭代结果也逐渐准确，因此，此时可增大M，以便使得迭代结束后得到形变场V更加准确。
在步骤S207中，对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值，并根据增大后的λ和当前迭代得到的形变场V重新确定M组特征点对，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离；
该步骤S207所述的目标函数与实施例一中的目标函数相同，具体可参加实施例一的描述，此处不再赘述。
此外，本领域技术人员应该注意，在本申请实施例二中，每一次迭代时，都会调整λ的数值，因此，得到的M组特征点对会随之发生变化，相应地，F(V)也会发生变化，也即是每一次迭代所针对的目标函数F(V)会发生变化。
另外，在本申请实施例二中，可以对上述步骤S207所述的目标函数F(V)进行调整，即：具体地，目标函数F(V)正相关于各个λ1倍的||x1i+V(x1i)-x2i||的二范数(即欧式距离)，本领域技术人员容易理解，该λ1为大于0的正数。即，该目标函数可以为：
Figure BDA0002257757110000131
在本申请实施例二中，目标函数中增加正则项，可以约束形变场V的向量梯度，避免过拟合的情况出现，保证迭代结束后，得到的形变场V中的各个元素之间不会有太大梯度，并且还可以由于避免误匹配的特征点，导致形变场V的梯度过大的情况。
在这种情况下，在每次迭代时，不仅增大所述λ的值以及所述M的值，还进一步减小λ1的数值，即每一次迭代所针对的目标函数F(V)会发生变化。
在刚开始迭代时，各个|A(x1i)-B(x1i+V(x1i))|的值较大，因此，设置较大的λ1，以助于引导形变场V的求解，随着迭代的进行，各个|A(x1i)-B(x1i+V(x1i))|的值逐渐变小，因此，减小λ1的值以尽量避免误匹配特征点对形变场V的求解，从而可得到更加准确的形变场V。
在本实施例中，上述迭代次数K的确定方法为：根据λ的变化范围以及λ的迭代步长，根据M的变化范围以及M的迭代步长，确定第二迭代次数，根据λ1的变化范围以及λ1的迭代步长，确定第三迭代次数，将上述第一迭代次数、上述第二迭代次数以及上述第三迭代次数的最大值确定为K。
在本实施例中，λ变化范围以及λ的迭代步长、M的变化范围以及M的迭代步长和λ1的变化范围以及λ1的迭代步长可通过先验信息得到，以保证λ变化范围、M的变化范围以及λ1的变化范围能够适应不同形变的两个图像，从而使得本申请所述的形变场确定方法具有更好的鲁棒性。
在本实施例二中，除上述所述的目标函数F(V)之外，该目标函数F(V)还可以为：
Figure BDA0002257757110000141
此外，目标函数F(V)还可以正相关于各个|A(x1j)-B(x1j+V(x1j))|的值，其中，x1j为所述N个第一特征点中其中一个第一特征点在所述第一图像中的位置，A(x1j)为所述第一图像中x1j的像素值，x1j+V(x1j)为x1j经过形变场V修正后的位置，B(x1j+V(x1j))为所述第二图像中x1j+V(x1j)处的像素值，j＝1、2…N。此时，目标函数F(V)可以为：
Figure BDA0002257757110000142
其中，集合J表示上述第一图像A中所有第一特征点组成的集合，集合大小为N，i为M组特征点对的序号，集合I为上述的M组匹配的特征点对组成的集合。
目标函数F(V)也可以为：
Figure BDA0002257757110000151
本领域技术人员应该理解，上述给出的各个目标函数F(V)的具体计算方式并不用于对该目标函数F(V)进行限定，F(V)还可以由其他的表现形式。
由上可见，本申请实施例二所述的形变场确定方法，在每次迭代时，通过调整λ、M以及λ1的数值，保证本申请实施例二所述的方案相比于实施例一，能够更加准确地确定形变场V。
在计算各个第一特征点分别对应的匹配误差时，设置该第一特征点对应的欧式距离的权重，从而在每次迭代时可限定该第一特征点对应的欧式距离对匹配误的约束力。随着迭代次数的增加，增带该第一特征点对应的欧式距离对匹配误的约束力和增大特征点对的组数M，以保证得到更为准确的特征点对。此外，在每次迭代时，还减小目标函数F(V)中各个||x1i+V(x1i)-x2i||2的权重系数λ1的值，以保证减小误匹配特征点对对形变场V的影响。综上，本申请实施例二在一定程度上可以得到更加准确的形变场V。
实施例三
本申请实施例三提供了一种用于图像配准的形变场确定装置。为了便于说明，仅示出与本申请相关的部分，如图3所示，该形变场确定装置300包括：
图像获取模块301，用于获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
特征点匹配模块302，用于将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于上述第一图像中特征点的位置，x2i为位于上述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
迭代运算模块303，用于对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离。
可选地，上述特征点匹配模块302包括：
特征点提取子模块，用于分别对上述第一图像以及上述第二图像进行特征点提取，得到位于上述第一图像中的N个第一特征点以及位于上述第二图像中的N个第二特征点，上述N为大于1的整数且N大于或等于M；
描述子距离计算子模块，用于对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点；
匹配误差计算子模块，用于对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
匹配误差排序子模块，用于对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i。
可选地，上述目标函数F(V)还正相关于各个|A(x1j)-B(x1j+V(x1j))|的值，其中，x1j为所述N个第一特征点中其中一个第一特征点之外的N-M个第一特征点在上述第一图像中的位置，A(x1j)为上述第一图像中x1j的像素值，x1j+V(x1j)为x1j经过形变场V修正后的位置，B(x1j+V(x1j))为上述第二图像中x1j+V(x1j)处的像素值，j＝1、2…N。
可选地，上述特征点匹配模块302还包括：
欧式距离确定子模块，用于对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离，该修正点为该第一特征点经过形变场V修正后得到的点；
相应地，上述匹配误差计算子模块用于对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
相应地，上述迭代运算模块303用于对所述形变场V进行迭代运算，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，根据当前迭代得到的形变场V重新确定M组特征点对。
可选地，上述匹配误差计算子模块具体用于：
对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及λ倍的该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
相应地，上述迭代运算模块303具体用于：
对上述形变场V进行迭代运算，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值，并根据增大后的λ和当前迭代得到的形变场V重新确定M组特征点对。
可选地，上述迭代运算模块303具体用于：
对上述形变场V进行迭代运算，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大上述λ的值且增大上述M的值，并根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对。
可选地，上述迭代运算模块303具体用于：
所述目标函数F(V)正相关于各个λ1倍的||x1i+V(x1i)-x2i||2；
对上述形变场V进行迭代运算，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，然后根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对，并在每次迭代时，减小所述目标函数F(V)中λ1的值。
可选地，上述迭代运算模块303还包括：
迭代次数确定子模块，用于确定上述迭代次数K，相应地，确定方法为：根据λ的变化范围以及λ的迭代步长，确定第一迭代次数，根据M的变化范围以及M的迭代步长，确定第二迭代次数，根据λ1的变化范围以及λ1的迭代步长，确定第三迭代次数，将上述第一迭代次数、上述第二迭代次数以及上述第三迭代次数的最大值确定为K。
可选地，上述形变场确定装置300还包括：
判断模块，用于判断本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值，和/或，判断本次迭代目标函数F(V)的值是否小于第二阈值；
若是，则停止迭代；
若否，则再次对形变场V进行迭代运算，然后返回执行判断本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值，和/或，判断本次迭代目标函数F(V)的值是否小于第二阈值的步骤以及后续步骤。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例一以及方法实施例二基于同一构思，其具体功能及带来的技术效果，具体可参见相应方法实施例部分，此处不再赘述。
实施例四
图4是本申请实施例四提供的终端设备的示意图。如图4所示，该实施例的终端设备400包括：处理器401、存储器402以及存储在上述存储器402中并可在上述处理器401上运行的计算机程序403。上述处理器401执行上述计算机程序403时实现上述各个方法实施例中的步骤。或者，上述处理器401执行上述计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性的，上述计算机程序403可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器402中，并由上述处理器401执行，以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序403在上述终端设备400中的执行过程。例如，上述计算机程序403可以被分割成图像获取模块、特征点匹配模块以及迭代运算模块，各模块具体功能如下：
获取待配准的第一图像以及第二图像，并初始化待确定的形变场V；
将上述第一图像以及上述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于上述第一图像中特征点的位置，x2i为位于上述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
对上述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，上述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离。
上述终端设备可包括，但不仅限于，处理器401、存储器402。本领域技术人员可以理解，图4仅仅是终端设备400的示例，并不构成对终端设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如上述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器402可以是上述终端设备400的内部存储单元，例如终端设备400的硬盘或内存。上述存储器402也可以是上述终端设备400的外部存储设备，例如上述终端设备400上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器402还可以既包括上述终端设备400的内部存储单元也包括外部存储设备。上述存储器402用于存储上述计算机程序以及上述终端设备所需的其它程序和数据。上述存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述各个方法实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种用于图像配准的形变场确定方法，其特征在于，包括：
获取待配准的第一图像以及第二图像，并初始化待确定的形变场V，所述第一图像是与第二图像存在映射关系的图像；
将所述第一图像以及所述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于所述第一图像中特征点的位置，x2i为位于所述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，所述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离；
所述将所述第一图像以及所述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，包括：
分别对所述第一图像以及所述第二图像进行特征点提取，得到位于所述第一图像中的N个第一特征点以及位于所述第二图像中的N个第二特征点，所述N为大于1的整数且N大于或等于M；
对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点；
对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离，反相关于该第一特征点对应的次小描述子距离；
对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i；
在所述对于每个第一特征点，计算该第一特征点对应的匹配误差的步骤之前，还包括：
对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离，该修正点为该第一特征点经过形变场V修正后得到的点；
相应地，所述对于每个第一特征点，计算该第一特征点对应的匹配误差，包括：
对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
相应地，所述对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，包括：
对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，根据当前迭代得到的形变场V重新确定M组特征点对；
所述对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离，包括：
对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及λ倍的该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
相应地，所述对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，根据当前迭代得到的形变场V重新确定M组特征点对，包括：
对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值，并根据增大后的λ和当前迭代得到的形变场V重新确定M组特征点对；
所述对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值，并根据增大后的λ和当前迭代得到的形变场V重新确定M组特征点对，包括：
对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，并根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对；
所述目标函数F(V)正相关于各个λ1倍的||x1i+V(x1i)-x2i||2；
相应地，所述对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，并根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对，包括：
对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，然后根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对，并在每次迭代时，减小所述目标函数F(V)中λ1的值；
所述目标函数F(V)为：
Figure FDA0003848971650000031
x1i为位于第一图像中特征点的位置，x2i为位于第二图像中且与x1i相匹配的特征点的位置，A(x1i)为第一图像中x1i的像素值，x1i+V(x1i)是根据初始化的形变场V对该第一特征点进行修正，得到修正点，B(x1i+V(x1i))为第二图像中x1i+V(x1i)处的像素值，正向则
Figure FDA0003848971650000032
是形变场V中各元素的平方和，并对该平方和执行开根号运算，λ1为大于0的正数，||x1i+V(x1i)-x2i||2是修正点与准匹配的第二特征点之间的欧式距离。
2.如权利要求1所述的形变场确定方法，其特征在于，所述目标函数F(V)还正相关于各个|A(x1j)-B(x1j+V(x1j))|的值，其中，x1j为所述N个第一特征点中其中一个第一特征点在所述第一图像中的位置，A(x1j)为所述第一图像中x1j的像素值，x1j+V(x1j)为x1j经过形变场V修正后的位置，B(x1j+V(x1j))为所述第二图像中x1j+V(x1j)处的像素值，j＝1、2…N。
3.如权利要求1所述的形变场确定方法，其特征在于，所述迭代次数K的确定方法为：根据λ的变化范围以及λ的迭代步长，确定第一迭代次数，根据M的变化范围以及M的迭代步长，确定第二迭代次数，根据λ1的变化范围以及λ1的迭代步长，确定第三迭代次数，将所述第一迭代次数、所述第二迭代次数以及所述第三迭代次数的最大值确定为K。
4.如权利要求1至3中任一项所述的形变场确定方法，其特征在于，在迭代次数达到K之后，所述形变场确定方法还包括：
判断本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值，和/或，判断本次迭代目标函数F(V)的值是否小于第二阈值；
若是，则停止迭代；
若否，则再次对形变场V进行迭代运算，然后返回执行判断本次迭代得到的形变场V与前次迭代得到的形变场V的变化量是否小于第一阈值，和/或，判断本次迭代目标函数F(V)的值是否小于第二阈值的步骤以及后续步骤。
5.一种用于图像配准的形变场确定装置，其特征在于，包括：
图像获取模块，用于获取待配准的第一图像以及第二图像，并初始化待确定的形变场V，所述第一图像是与第二图像存在映射关系的图像；
特征点匹配模块，用于将所述第一图像以及所述第二图像进行特征点匹配，得到M组匹配的特征点对{x1i，x2i}，其中，x1i为位于所述第一图像中特征点的位置，x2i为位于所述第二图像中且与x1i相匹配的特征点的位置，M为大于0的整数，i＝1、2…M；
迭代运算模块，用于对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，其中，所述目标函数F(V)正相关于各个||x1i+V(x1i)-x2i||2的值，其中，x1i+V(x1i)为x1i经过形变场V修正后的位置，||x1i+V(x1i)-x2i||2为x1i经过形变场V修正后的位置与x2i的欧式距离；
所述特征点匹配模块包括：
特征点提取子模块，用于分别对所述第一图像以及所述第二图像进行特征点提取，得到位于所述第一图像中的N个第一特征点以及位于所述第二图像中的N个第二特征点，所述N为大于1的整数且N大于或等于M；
描述子距离计算子模块，用于对于每个第一特征点，计算该第一特征点与各个第二特征点之间的描述子距离，得到该第一特征点对应的最小描述子距离以及次小描述子距离，并将与该第一特征点描述子距离最小的第二特征点确定为与该第一特征点准匹配的第二特征点；
匹配误差计算子模块，用于对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离，反相关于该第一特征点对应的次小描述子距离；
匹配误差排序子模块，用于对各个第一特征点分别对应的匹配误差进行排序，将匹配误差最小的M个第一特征点确定为x1i，并将匹配误差最小的M个第一特征点分别对应的准匹配的第二特征点确定为x2i；
欧式距离确定子模块，用于对于每个第一特征点，确定该第一特征点对应的欧式距离，该欧式距离为该第一特征点准匹配的第二特征点与修正点的欧式距离，该修正点为该第一特征点经过形变场V修正后得到的点；
相应地，所述匹配误差计算子模块用于对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
相应地，迭代运算模块用于对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，根据当前迭代得到的形变场V重新确定M组特征点对；
所述匹配误差计算子模块具体用于：对于每个第一特征点，计算该第一特征点对应的匹配误差，其中，该匹配误差正相关与该第一特征点所对应的最小描述子距离以及λ倍的该第一特征点所对应的欧式距离，反相关于该第一特征点对应的次小描述子距离；
所述迭代运算模块具体用于：对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值，并根据增大后的λ和当前迭代得到的形变场V重新确定M组特征点对；
所述迭代运算模块具体用于：对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，并根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对；
所述迭代运算模块具体用于：对所述形变场V进行迭代运算，迭代次数为K，以得到使目标函数F(V)最小时的形变场V，且每次迭代时，增大所述λ的值且增大所述M的值，然后根据增大后的λ、当前迭代得到的形变场V以及增大后的M重新确定M组特征点对，并在每次迭代时，减小所述目标函数F(V)中λ1的值，所述目标函数F(V)正相关于各个λ1倍的||x1i+V(x1i)-x2i||2；
所述目标函数F(V)为：
Figure FDA0003848971650000061
x1i为位于第一图像中特征点的位置，x2i为位于第二图像中且与x1i相匹配的特征点的位置，A(x1i)为第一图像中x1i的像素值，x1i+V(x1i)是根据初始化的形变场V对该第一特征点进行修正，得到修正点，B(x1i+V(x1i))为第二图像中x1i+V(x1i)处的像素值，正向则
Figure FDA0003848971650000062
是形变场V中各元素的平方和，并对该平方和执行开根号运算，λ1为大于0的正数，||x1i+V(x1i)-x2i||2是修正点与准匹配的第二特征点之间的欧式距离。
6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述形变场确定方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所形变场确定方法的步骤。
CN201911060305.0A 2019-11-01 2019-11-01 形变场确定方法、确定装置、终端设备及可读存储介质 Active CN110827334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911060305.0A CN110827334B (zh) 2019-11-01 2019-11-01 形变场确定方法、确定装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060305.0A CN110827334B (zh) 2019-11-01 2019-11-01 形变场确定方法、确定装置、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110827334A CN110827334A (zh) 2020-02-21
CN110827334B true CN110827334B (zh) 2023-01-31

Family

ID=69551934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060305.0A Active CN110827334B (zh) 2019-11-01 2019-11-01 形变场确定方法、确定装置、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110827334B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503453B (zh) * 2023-06-21 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 图像配准方法、装置、计算机可读存储介质及电子设备
CN116563096B (zh) * 2023-07-11 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655982B (zh) * 2009-09-04 2011-06-29 上海交通大学 基于改进Harris角点的图像配准方法
CN104596519B (zh) * 2015-02-17 2017-06-13 哈尔滨工业大学 基于ransac算法的视觉定位方法
CN109887002A (zh) * 2019-02-01 2019-06-14 广州视源电子科技股份有限公司 图像特征点的匹配方法、装置、计算机设备和存储介质
CN109949350B (zh) * 2019-03-11 2021-03-02 中国矿业大学(北京) 一种基于形态不变特征的多时相点云自动配准方法
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Registration Algorithm Based on Super;Weiyi WEI et al.;《2018 Eighth International Conference on Image Processing Theory,Tools and Applications》;20190113;第1-5页 *
基于Demons 算法的图像非刚性;曹红洋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615(第06期);第I138-1367页 *

Also Published As

Publication number Publication date
CN110827334A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN111340109B (zh) 图像匹配方法、装置、设备及存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN110827334B (zh) 形变场确定方法、确定装置、终端设备及可读存储介质
CN108399025B (zh) 一种修正识别偏差的方法、装置及终端设备
WO2023124172A1 (zh) 商品结算处理方法、装置、终端设备及存储介质
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN106650568B (zh) 一种人脸识别方法及装置
CN111027412B (zh) 一种人体关键点识别方法、装置及电子设备
CN109165657A (zh) 一种基于改进sift的图像特征检测方法及装置
CN109447023B (zh) 确定图像相似度的方法、视频场景切换识别方法及装置
CN111091572A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114724133B (zh) 文字检测和模型训练方法、装置、设备及存储介质
CN113920382B (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN110210279B (zh) 目标检测方法、装置及计算机可读存储介质
CN110287943B (zh) 图像的对象识别方法、装置、电子设备及存储介质
CN113255674A (zh) 字符识别方法、装置、电子设备及计算机可读存储介质
CN111160363A (zh) 特征描述子生成方法、装置、可读存储介质及终端设备
CN115641455B (zh) 一种基于多特征融合的图像匹配方法
CN110134813A (zh) 图像检索方法、图像检索装置及终端设备
KR101853468B1 (ko) 모바일 gpu 환경에서 차 영상을 이용한 surf 알고리즘 계산 감소 방법
CN111429399A (zh) 一种直线检测方法及装置
CN117456562B (zh) 姿态估计方法及装置
CN111444932A (zh) 确定相似图像的方法和装置
CN111814869B (zh) 一种同步定位与建图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant