CN113643333A - 图像配准方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像配准方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113643333A
CN113643333A CN202110984255.6A CN202110984255A CN113643333A CN 113643333 A CN113643333 A CN 113643333A CN 202110984255 A CN202110984255 A CN 202110984255A CN 113643333 A CN113643333 A CN 113643333A
Authority
CN
China
Prior art keywords
registered
image
reference image
frame
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110984255.6A
Other languages
English (en)
Inventor
黄佳骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110984255.6A priority Critical patent/CN113643333A/zh
Publication of CN113643333A publication Critical patent/CN113643333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

图像配准方法、装置、电子设备和计算机可读存储介质。本申请涉及一种图像配准方法，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果。可以综合考虑全局配准结果及块匹配结果的配准效果，确定参考帧的目标图像配准结果。提高了将参考帧与待配准帧进行图像配准的准确性，进而也提高了将参考帧与待配准帧进行融合所得图像的降噪效果。同时，因为综合考虑全局配准结果及块匹配结果的配准效果，所以融合所得图像上不同区域边界处的降噪效果差异较小。

Description

图像配准方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像配准方法、装置、电子设备和计算机可读存储介质。
背景技术
随着图像处理技术的不断发展，出现了基于多帧图像的图像处理方法。由于受限于摄像头模组自身参数等的影响，单帧图像所采集到的信息总是有限的。因此，采用基于多帧图像的图像处理方法，可以对多帧图像进行图像处理，以合成更加清晰的图像，从而能够还原更多的图像细节。
而采用上述图像处理方法的首要环节就是将多帧图像进行图像配准。其中，图像配准是指基于多帧图像中的参考图像对非参考图像进行位置校正，计算出参考图像相对于非参考图像的位移，使得将参考图像按照该位移进行处理后能够得到与非参考图像上的图像内容比较接近的图像。
然而，采用传统的图像配准方法对多帧图像进行图像配准之后，所得到的图像上不同区域的降噪效果较差，且图像上不同区域边界处的降噪效果差异较大。
发明内容
本申请实施例提供了一种图像配准方法、装置、电子设备、计算机可读存储介质，可以提高图像的配准精确度、进而提高图像的降噪效果。
一方面，提供了一种图像配准方法，所述方法包括：
将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定所述参考图像块的全局配准结果；
将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行块匹配，确定所述参考图像块的块匹配结果；
根据所述全局配准结果及所述块匹配结果，确定所述参考帧的目标图像配准结果。
另一方面，提供了一种图像配准装置，所述装置包括：
全局配准模块，用于将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定所述参考图像块的全局配准结果；
块匹配模块，用于将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行块匹配，确定所述参考图像块的块匹配结果；
目标图像配准结果确定模块，用于根据所述全局配准结果及所述块匹配结果，确定所述参考帧的目标图像配准结果。
另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的图像配准方法的步骤。
另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像配准方法的步骤。
上述图像配准方法，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果。
由于针对静止区域采用全局配准，能够达到较好的配准效果，而针对运动区域则采用块匹配，能够达到较好的配准效果。因此，针对参考帧中的参考图像块，分别与待配准帧中的待配准图像块进行全局配准、块匹配，确定参考图像块的全局配准结果及块匹配结果。最后，根据两种配准结果，确定参考帧的目标图像配准结果。即可以综合考虑全局配准结果及块匹配结果的配准效果，确定参考帧的目标图像配准结果。提高了将参考帧与待配准帧进行图像配准的准确性，进而也提高了将参考帧与待配准帧进行融合所得图像的降噪效果。同时，因为综合考虑全局配准结果及块匹配结果的配准效果，所以融合所得图像上不同区域边界处的降噪效果差异较小。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像配准方法的应用环境图；
图2为一个实施例中图像配准方法的流程图；
图3为一个实施例中参考帧的第一图像金字塔及待配准帧的第二图像金字塔的结构示意图；
图4为图2中从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果方法的流程图；
图5为一个实施例中计算参考帧与待配准帧之间的仿射变换矩阵集合方法的流程图；
图6为为一个实施例中计算参考帧与待配准帧之间的仿射变换矩阵集合的示意图；
图7为图5中通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，得到与参考图像块的原始特征点对应的映射特征点方法的流程图；
图8为一个实施例中将第1层参考图像与第1层待配准图像进行块匹配的示意图；
图9为一个实施例中将第2层参考图像与第2层待配准图像进行块匹配的示意图；
图10为另一个实施例中图像配准方法的流程图；
图11A为再一个实施例中图像配准方法的流程图；
图11B所示，为一个实施例中将参考帧与待配准帧进行图像融合的示意图；
图12为一个具体的实施例中图像配准方法的流程图；
图13为一个实施例中经过传统多帧融合结果与采用本申请中的图像配准方法之后得到的多帧融合结果的示意图；
图14为一个实施例中图像配准装置的结构框图；
图15为另一个实施例中图像配准装置的结构框图；
图16为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像配准方法的应用场景图。如图1所示，该应用环境包括电子设备120，该电子设备120通过摄像头模组拍摄同一场景获取多帧图像。从多帧图像中确定参考帧及待配准帧，其中，参考帧为从多帧图像中确定的图像效果较好的图像，例如清晰度比较高的图像，本申请对此不做限定。其中，待配准帧为将多帧图像除去参考帧之外的部分或全部图像作为待配准帧，本申请对此不做限定。电子设备120将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果；将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果；根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果。这里，电子设备120可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、穿戴式设备(智能手表等)、智能家居等任意终端设备。
图2为一个实施例中图像配准方法的流程图。本实施例中的图像配准方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像配准方法包括步骤220至步骤260。
步骤220，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。
具体的，该电子设备120通过摄像头模组拍摄同一场景获取多帧图像，并从多帧图像中确定参考帧及待配准帧。这里，参考帧的数目一般为一个，待配准帧的数目一般为多个，当然待配准帧的数目也可以为一个。其中，参考帧为从多帧图像中确定的图像效果较好的图像，这里的图像效果可以指的是亮度或清晰度等图像参数。例如，从多帧图像中确定亮度最高的图像作为参考帧，或从多帧图像中确定清晰度最高的图像作为参考帧，本申请对此不做限定。其中，待配准帧为将多帧图像除去参考帧之外的部分或全部图像作为待配准帧，本申请对此不做限定。例如，多帧图像除去参考帧之外的所有图像中筛选出图像效果仅次于参考帧的部分图像，作为待配准帧。
在从多帧图像中确定了参考帧及待配准帧之后，按照预设大小将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块。即按照相同的划分方法将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块。
然后，将参考帧中的每个参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。其中，参考图像块的全局配准结果指的是从待配准帧中所确定的与参考图像块对应的全局配准图像块及全局配准图像块在待配准帧中的位置信息。具体的，在确定参考图像块的全局配准结果时，可以基于参考帧与待配准帧之间的仿射变换矩阵，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。
步骤240，将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。
其中，参考图像块的块匹配结果指的是从待配准帧中所确定的与参考图像块对应的块匹配图像块及块匹配图像块的位置信息。具体的，在确定参考图像块的块匹配结果时，可以将参考帧中的每个参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。例如，计算参考帧中的每个参考图像块与待配准帧中的待配准图像块之间的相似度，将相似度最高的待配准图像块作为该参考图像块的块匹配图像块，并在待配准帧中确定该块匹配图像块的位置信息。
步骤260，根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果。
针对参考帧上的每个参考图像块，经过上述配准过程在每个待配准帧上得到了每个参考图像块的全局配准结果及每个参考图像块的块匹配结果。针对每个待配准帧，基于该待配准帧上所得到的每个参考图像块的全局配准结果及每个参考图像块的块匹配结果，就可以确定参考帧的目标图像配准结果。这里，目标图像配准结果包括目标配准图像块及目标配准图像块在待配准帧中的位置信息。
基于参考帧与各待配准帧之间的目标图像配准结果，就可以将参考帧与各待配准帧进行配准，在配准之后就可以将配准后的参考帧与各待配准帧进行融合，生成融合图像。
本申请实施例中的图像配准方法，由于针对静止区域采用全局配准，能够达到较好的配准效果，而针对运动区域则采用块匹配，能够达到较好的配准效果。因此，针对参考帧中的参考图像块，分别与待配准帧中的待配准图像块进行全局配准、块匹配，确定参考图像块的全局配准结果及块匹配结果。最后，根据两种配准结果，确定参考帧的目标图像配准结果。即可以综合考虑全局配准结果及块匹配结果的配准效果，确定参考帧的目标图像配准结果。提高了将参考帧与待配准帧进行图像配准的准确性，进而也提高了将参考帧与待配准帧进行融合所得图像的降噪效果。同时，因为综合考虑了全局配准结果及块匹配结果的配准效果，所以，对配准之后的图像进行融合所得图像上不同区域边界处的降噪效果差异较小。
在一个实施例中，提供了一种图像配准方法，还包括：
分别对参考帧和待配准帧进行图像预处理，得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔；第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像；其中，第n层参考图像为参考帧原图，第n层待配准图像为待配准帧原图；第一图像金字塔中的第k层参考图像与第二图像金字塔中的第k层待配准图像之间相互对应，1≤k≤n,且k为正整数；
从第一图像金字塔中的第k层参考图像中获取参考图像块，以及从第二图像金字塔中的第k层待配准图像中获取待配准图像块。
具体的，结合图3所示，为参考帧的第一图像金字塔及待配准帧的第二图像金字塔的结构示意图。
其中，图像金字塔是以一系列以金字塔形状排列的分辨率逐步降低的图像的集合。金字塔的底部为高分辨率的待处理图像(例如待处理图像的原图)，而顶部是低分辨率的待处理图像。当金字塔从底部向顶部移动时，图像的尺寸和分辨率都会降低。结合图3所示，为将金字塔进行倒置后的示意图，第一层图像为金字塔的顶部，第n层图像为金字塔的底部(原图)，将原图进行下采样就得到了不同层的图像。
这里的图像金字塔可以是高斯金字塔，也可以是拉布拉斯金字塔，本申请对此不做限定。其中，高斯金字塔包括通过高斯平滑和亚采样获得的一系列下采样图像，也就是说第k层高斯金字塔通过平滑、亚采样就可以获得k+1层高斯图像。高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加，所以高斯金字塔可以跨越很大的频率范围。而拉普拉斯金字塔包括将原图进行先缩小后再放大所得到的一系列图像，可以将拉普拉斯金字塔理解为高斯金字塔的逆形式。
具体的，针对参考帧及各待配准帧分别进行图像预处理，可以得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔。第一图像金字塔包括n层参考图像(高斯图像或拉普拉斯图像)，从下往上依次为第一层参考图像、第二层参考图像……第n层参考图像。其中，第n层参考图像为参考帧的原图。
同理，第二图像金字塔包括n层待配准图像(高斯图像或拉普拉斯图像)，从下往上依次为第一层待配准图像、第二层待配准图像……第n层待配准图像。其中，第n层待配准图像为待配准帧的原图。且第一图像金字塔中的第k层参考图像与第二图像金字塔中的第k层待配准图像之间相互对应，1≤k≤n,且k为正整数。
在构建了参考帧的第一图像金字塔、待配准帧的第二图像金字塔之后，在进行图像配准时，可以依次从第一图像金字塔中的第k层参考图像中获取参考图像块，以及从第二图像金字塔中的第k层待配准图像中获取待配准图像块。即从第一图像金字塔、第二图像金字塔的同一层中分别获取参考图像块、待配准图像块，以便将同一层中的参考图像块、待配准图像块进行全局配准及块匹配操作。
本申请实施例中，分别对参考帧和待配准帧进行图像预处理，得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔。基于图像金字塔中的不同分辨率图像，可以捕捉到图像上不同尺度的特征。再从第一图像金字塔中的第k层参考图像中获取参考图像块，以及从第二图像金字塔中的第k层待配准图像中获取待配准图像块。那么，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准及块匹配，则就能够更好地捕捉到图像上不同尺度的特征，提高配准的精确性。
在一个实施例中，步骤220，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果，包括：
从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果；直到k＝n为止；
全局配准结果包括全局配准图像块及全局配准图像块的位置信息。
具体的，结合图3所示，构建参考帧的第一图像金字塔、各待配准帧的第二图像金字塔，且第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像，1≤k≤n,且k为正整数。因此，从k＝1开始，针对参考帧的第1层参考图像中的参考图像块A1，将该参考图像块A1与待配准帧的第1层待配准图像中的待配准图像块进行全局配准，从第1层待配准图像中确定与第1层参考图像中的参考图像块对应的全局配准结果。即从第1层待配准图像中确定与第1层参考图像中的参考图像块对应的全局配准图像块B1，并确定该全局配准图像块B1的位置信息。
然后，令k＝2，针对参考帧的第2层参考图像中的参考图像块A2，将该参考图像块A2与待配准帧的第2层待配准图像中的待配准图像块进行全局配准，从第2层待配准图像中确定与第2层参考图像中的参考图像块对应的全局配准结果。即从第2层待配准图像中确定与第2层参考图像中的参考图像块对应的全局配准图像块B2，并确定该全局配准图像块B2的位置信息。
迭代执行针对参考帧的第k层参考图像中的参考图像块Ak，将该参考图像块Ak与待配准帧的第k层待配准图像中的待配准图像块进行全局配准，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果。即从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准图像块Bk，并确定该全局配准图像块Bk的位置信息的操作，直到k＝n为止。例如，假设n＝5，则第一图像金字塔的第5层参考图像为参考帧原图，第二图像金字塔的第5层参考图像为待配准帧原图。迭代执行5次上述操作，从第二图像金字塔的每层待配准图像中分别得到第一图像金字塔中处于同一层参考图像中的参考图像块对应的全局配准结果。
本申请实施例中，构建参考帧的第一图像金字塔、各待配准帧的第二图像金字塔，且第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像。在将第k层参考图像中的参考图像块与第k层待配准图像中的待配准图像块进行全局配准时，由金字塔的顶层向金字塔的底层依次进行全局配准，实现了由低分辨率图像到高分辨率图像的配准，即实现了由粗到细的配准过程。也就是说，可以从第二图像金字塔的每层待配准图像中分别得到第一图像金字塔中处于同一层参考图像中的参考图像块对应的全局配准结果。因为金字塔中不同层的图像具有不同的分辨率，所以就实现了从不同分辨率的待配准图像中获取到参考帧的参考图像块的全局配准结果。避免了仅从待配准帧中所确定的全局配准结果遗漏了重要特征，因此提高了配准结果的准确性。
在一个实施例中，如图4所示，步骤220，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果，包括：
步骤222，计算参考帧与待配准帧之间的仿射变换矩阵集合；仿射变换矩阵集合包括参考帧中的参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵。
其中，仿射变换其实是两种变换的叠加，这两种变换分别是线性变换及平移变换。参考帧与待配准帧之间的变换可以等效为仿射变换，因此，在针对参考帧中的参考图像块，就可以基于仿射变换来确定其在待配准帧中的全局配准结果。
在计算参考帧与待配准帧之间的仿射变换矩阵集合时，具体的，第一步，计算参考帧中的各参考图像块与一个待配准帧中的待配准图像块之间的仿射变换矩阵，得到每个参考图像块的局部仿射变换矩阵。第二步，基于每个参考图像块的仿射变换矩阵，构成了该参考帧与该待配准帧的仿射变换矩阵集合。第三步，针对每个待配准帧均执行上述第一步、第二步的操作，生成该参考帧与每个待配准帧的仿射变换矩阵集合。即仿射变换矩阵集合包括参考帧中的参考图像块与各待配准帧中的待配准图像块之间的仿射变换矩阵。
步骤224，基于参考帧与待配准帧之间的仿射变换矩阵集合，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果。
预先构建了参考帧的第一图像金字塔、各待配准帧的第二图像金字塔，且第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像，1≤k≤n,且k为正整数。在得到了参考帧与待配准帧之间的仿射变换矩阵集合之后，针对第一图像金字塔的第k层参考图像中的参考图像块Ak，就可以从仿射变换矩阵集合中找到该参考图像块Ak与第二图像金字塔的第k层待配准图像中的待配准图像块之间的目标仿射变换矩阵。
基于该目标仿射变换矩阵，可以对该第k层待配准图像进行变换处理，得到变换处理后的待配准图像。这里的变换处理包括对待配准图像进行平移、旋转、缩放等处理，本申请对此不做限定。然后，将该参考图像块Ak与该变换处理后的待配准图像进行重合，从该变换处理后的待配准图像中确定与参考图像块Ak在空间位置上相互重合的待配准图像块Bk。此时，待配准图像块Bk为参考图像块Ak的全局配准图像块，待配准图像块Bk的位置信息即为参考图像块Ak的全局配准图像块的位置信息。待配准图像块Bk及待配准图像块B的位置信息，就构成了参考图像块的全局配准结果。
针对第二图像金字塔中的每层均执行上述操作，生成该第一图像金字塔中每层参考图像上各参考图像块Ak的全局配准结果，即待配准图像块Bk及待配准图像块B的位置信息。
本申请实施例中，首先，计算参考帧与待配准帧之间的仿射变换矩阵集合，从仿射变换的角度上得到参考帧与待配准帧之间的配准关系。然后，基于参考帧与待配准帧之间的仿射变换矩阵集合，将第k层待配准图像中的参考图像块与第k层参考图像中的待配准图像块进行全局配准，确定每层参考图像中参考图像块的全局配准结果。基于仿射变换矩阵集合，准确地实现了参考帧中的参考图像块与待配准帧中的待配准图像块之间的全局配准。
在一个实施例中，如图5所示，计算参考帧与待配准帧之间的仿射变换矩阵集合，包括：
步骤520，将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块。
结合图6所示，为一个实施例中计算参考帧与待配准帧之间的仿射变换矩阵集合的示意图。电子设备通过摄像头模组拍摄同一场景获取多帧图像，并从多帧图像中确定一个参考帧及多个待配准帧。按照预设大小将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块。例如，将参考帧划分为4*4个参考图像块，按照4*4像素大小将待配准帧划分为4*4个待配准图像块，本申请中并不对划分图像块的大小进行限定。当然，还可以按照参考图像块的大小进行划分，例如，按照4*4像素大小将参考帧划分为多个参考图像块，按照4*4像素大小将待配准帧划分为多个待配准图像块。
步骤540，针对各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点。
在按照预设大小将参考帧划分为参考图像块之后，针对各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点。这里，可以是采用特征点检测算法对参考图像块进行特征点检测。例如，采用Harris角点检测算法、SIFT(Scale-invariantfeature transform，尺度不变性特征变换)特征检测算法、SURF(Speeded Up RobustFeatures，加速鲁棒性特征)算法、ORB(Oriented FAST and Rotated BRIEF)算法等中的任意一种算法进行特征点检测，本申请对此不做限定。
步骤560，通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，得到与参考图像块的原始特征点对应的映射特征点。
其中，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。因此，通过光流算法将参考图像块的原始特征点映射到待配准帧上，得到与参考图像块的原始特征点对应的映射特征点。由此可知，通过光流法能够很好地捕捉到图像上的运动信息。
步骤580，针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考帧与待配准帧之间的仿射变换矩阵集合。
针对参考帧中的各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点。再通过光流算法将参考图像块的原始特征点映射到待配准帧上，得到与参考图像块的原始特征点对应的映射特征点。因此，针对各参考图像块，从参考帧中获取参考图像块的原始特征点的坐标，并从待配准帧中获取参考图像块的映射特征点的坐标。基于原始特征点的坐标、映射特征点的坐标计算坐标之间的距离，就得到了该参考图像块在参考帧与待配准帧之间的仿射变换矩阵H1。将参考帧与待配准帧在Z轴方向上重合，则通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，可以理解为将参考帧与待配准帧沿Z轴方向旋转，则此时所得到的仿射变换矩阵
Figure BDA0003230042160000071
例如，结合图6所示，此时所得到的仿射变换矩阵
Figure BDA0003230042160000072
本申请对H1的具体数值不做具体限定。假设，将参考帧划分为4*4个参考图像块，按照4*4像素大小将待配准帧划分为4*4个待配准图像块。那么，就可以得到4*4个仿射变换矩阵H1。
最后，假设有m个待配准帧，那么就可以得到参考帧与各待配准帧之间的仿射变换矩阵H1、H2、H3……Hm，也就得到了参考帧与每个待配准帧之间的仿射变换矩阵集合H＝(H1、H2、H3……Hm)。
本申请实施例中，在计算参考帧与待配准帧之间的仿射变换矩阵集合时，首先，将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块。其次，针对各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点。通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，得到与参考图像块的原始特征点对应的映射特征点。最后，针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考帧与待配准帧之间的仿射变换矩阵集合。通过光流法可以更加准确地捕捉到图像上运动区域的特征，因此，基于光流法所确定的参考帧与各待配准帧之间的仿射变换矩阵集合的准确性更高。
在一个实施例中，如图7所示，步骤560，通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，得到与参考图像块的原始特征点对应的映射特征点，包括：
步骤562，通过第一光流算法将参考图像块的原始特征点映射至待匹配帧上，得到与参考图像块的原始特征点对应的第一映射特征点。
这里的光流法，可以是LK(Lucas–Kanade)光流法，当然，本申请对此不做限定。其中，LK光流算法是一种两帧差分的光流估计算法。这里的第一光流算法是正向光流算法，正向光流算法指的是从参考帧向待匹配帧上计算正向光流的算法。通过正向光流算法将参考图像块的原始特征点映射至待匹配帧上，得到与参考图像块的原始特征点对应的第一映射特征点。
步骤564，通过第二光流算法将第一映射特征点映射至参考帧上，生成与参考图像块的原始特征点对应的第二映射特征点。
这里的第二光流算法为逆向光流算法，逆向光流算法指的是从待匹配帧向参考帧上计算逆向光流的算法。在经过正向光流算法得到了与参考图像块的原始特征点对应的第一映射特征点之后，通过逆向光流算法将第一映射特征点映射至参考帧上，生成与参考图像块的原始特征点对应的第二映射特征点。这里通过正向光流算法、逆向光流算法将参考图像块的原始特征点映射回参考图像块上得到第二映射特征点，但是第二映射特征点并非完全与原始特征点重合。
步骤566，计算参考图像块的原始特征点对应的第二映射特征点与参考图像块的原始特征点之间的距离。
第二映射特征点为通过正向光流算法、逆向光流算法将参考图像块的原始特征点映射回参考图像块上所得到的特征点。计算参考图像块的原始特征点对应的第二映射特征点与参考图像块的原始特征点之间的距离。从所计算出的距离中筛选出小于预设阈值的距离对应的原始特征点，将这些原始特征点作为可信的特征点。因为第二映射特征点与参考图像块的原始特征点之间的距离较小，即第二映射特征点与参考图像块的原始特征点之间的偏差较小，那么说明从参考帧中所检测到的特征点的准确性就较高，即可信度较高。
步骤568，根据距离从第一映射特征点中确定参考图像块的原始特征点对应的映射特征点。
同时，从所计算出的距离中筛选出小于预设阈值的距离对应的第一映射特征点，即将待匹配帧上的该第一映射特征点作为参考图像块的原始特征点对应的映射特征点。也就是将可信的特征点对应的第一映射特征点作为原始特征点对应的映射特征点。
本申请实施例中，通过正向光流算法、逆向光流算法将参考图像块的原始特征点先映射至待配准帧上，再映射回参考图像块上得到第二映射特征点。再计算参考图像块的原始特征点对应的第二映射特征点与参考图像块的原始特征点之间的距离。最后，根据距离，从第一映射特征点中确定距离符合预设条件的第一映射特征点，作为参考图像块的原始特征点对应的映射特征点。通过两次光流算法，实现了从原始特征点所对应的大量第一映射特征点中筛选出预设条件的第一映射特征点，作为参考图像块的原始特征点对应的映射特征点。进而，也提高了后续根据原始特征点、映射特征点计算出的仿射变换矩阵的准确性。
在一个实施例中，针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考帧与待配准帧之间的仿射变换矩阵集合，包括：
针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵；
基于参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵，得到参考帧与待配准帧之间的仿射变换矩阵集合。
针对参考帧中的各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点。再通过光流算法将参考图像块的原始特征点映射到待配准帧上，得到与参考图像块的原始特征点对应的映射特征点。因此，针对各参考图像块，从参考帧中获取参考图像块的原始特征点的坐标，并从待配准帧中获取参考图像块的映射特征点的坐标。基于原始特征点的坐标、映射特征点的坐标计算坐标之间的距离，就得到了该参考图像块在参考帧与待配准帧之间的仿射变换矩阵。
最后，假设有m个待配准帧，基于多个参考图像块在参考帧与各待配准帧之间的仿射变换矩阵H1、H2、H3……Hm，就得到了参考帧与每个待配准帧之间的仿射变换矩阵集合H＝(H1、H2、H3……Hm)。
本申请实施例中，首先，将参考帧划分为参考图像块，从参考图像块的粒度，能够更加准确地计算出参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵。再基于参考帧中每个参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵，就得到了参考帧与每个待配准帧之间的仿射变换矩阵集合。以便后续根据参考帧与每个待配准帧之间的仿射变换矩阵集合，能够准确地将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，得到参考图像块的全局配准结果。
在一个实施例中，将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果，包括：
从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果；块匹配结果包括块匹配图像块及块匹配图像块的位置信息；直到k＝n为止。
其中，预先分别对参考帧和待配准帧进行图像预处理，得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔。具体的，在将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配时，从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果；直到k＝n为止。其中，预设位置信息为参考图像块在该层参考图像的上一层中的配准结果，具体为，参考图像块在该层参考图像的上一层中经过全局配准及块匹配之后所得的配准结果。
其中，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果的过程，具体为：从第k层待配准图像中确定与预设位置信息相同的候选待配准图像块；再计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；最后，根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。其中，块匹配结果包括第k层待配准图像上的块匹配图像块及该块匹配图像块在第k层待配准图像上的位置信息。
本申请实施例中，在将参考图像块与第k层待配准图像中的待配准图像块进行块匹配时，由金字塔的顶层向金字塔的底层依次进行块匹配，实现了由低分辨率图像到高分辨率图像的配准，即实现了由粗到细的配准过程。且在进行块匹配的过程中，结合了前一层全局配准的结果，就能够通过全局配准的结果对本次块匹配进行校正。从而，在兼顾全局配准对静止区域较好配准效果的同时，也能够兼顾块匹配对运动区域较好的配准效果。因此，针对图像上的每个区域同时采用了多种配准方式，并非仅仅采用一种单一的配准方式，因此，经过配准后所得到的图像上不同区域的降噪效果均较好，且图像上不同区域边界处的降噪效果差异较小，即不会出现图像上不同区域边界处的噪声形态出现明显差异的情况。
在一个实施例中，若k＝1,预设位置信息为第k层参考图像中的参考图像块的位置信息，则结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果，包括：
从第k层待配准图像中确定与第k层参考图像中的参考图像块的位置信息相同的候选待配准图像块；
计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。
结合图8所示，按照8pixel*8pixel的大小将第k层参考图像划分为参考图像块，按照8pixel*8pixel的大小将第k层待配准图像划分为待配准图像块。当然，还可以按照其他像素大小分别对第k层参考图像、第k层待配准图像进行划分，本申请对此不做限定。从k＝1开始，即从金字塔的第1层开始，此时预设位置信息即为第1层参考图像中的参考图像块A1自身在第k层参考图像中的位置信息(x1,y1,z1),例如(3,3,1)。其中，z＝1表示该参考图像块A1位于第1层参考图像中。针对第1层参考图像中的参考图像块A1，结合预设位置信息(x1,y1,z1)将参考图像块A1与第1层待配准图像中的待配准图像块进行块匹配，得到与第1层参考图像中的参考图像块A1对应的块匹配结果的过程，具体为：
首先，从第1层待配准图像中确定与第1层参考图像中的参考图像块的位置信息相同的候选待配准图像块。即从第1层待配准图像中确定处于预设位置信息(x1,y1,z1),例如(3,3,1)处的待配准图像块A1`为候选待配准图像块。
其次，计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度。那么，先确定候选待配准图像块A1`的邻域，例如，可以是以待配准图像块A1`为中心，以预设尺寸确定候选待配准图像块A1`的邻域。这里，所确定的领域可以为矩形，当然，还可以是其他图形，本申请对此不做限定。结合图8所示，所确定的领域可以为5*5个图像块大小的矩形。然后，计算参考图像块A1与候选待配准图像块A1`的邻域内的每个待配准图像块之间的第一像素差异度。
最后，根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。基于参考图像块A1与候选待配准图像块A1`的邻域内的每个待配准图像块之间的第一像素差异度，从领域中确定最小的第一像素差异度所对应的待配准图像块A1``，作为参考图像块A1的块匹配图像块。并记录块匹配图像块A1``在第1层待配准图像上的位置信息。
本申请实施例中，针对金字塔的第一层，首先，从第1层待配准图像中确定与第1层参考图像中的参考图像块的位置信息相同的候选待配准图像块。其次，计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度。最后，根据第一像素差异度，从领域中确定最小的第一像素差异度所对应的待配准图像块，作为参考图像块的块匹配图像块。从参考图像块按照预设位置信息映射到待配准图像上得到候选待配准图像块之后，以取邻域的方式扩大了比较范围，进而提高了从邻域中所确定的块匹配图像块的准确性。
在一个实施例中，若k＞1,预设位置信息为第k-1层对应的中间配准图像块的位置信息，则结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果，包括：
从第k层待配准图像中确定与第k-1层对应的中间配准图像块的位置信息相同的候选待配准图像块；
计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。
结合图9所示，k＞1,即从k＝2开始，即从金字塔的第2层开始，此时预设位置信息为前一层即第1层对应的中间配准图像块的位置信息。其中，第1层对应的中间配准图像块的确定过程为：获取第1层参考图像中的参考图像块的全局配准结果(全局配准图像块B1及其位置信息(3,3,1))、第1层参考图像中的参考图像块的块匹配结果(块匹配图像块A1``及其位置信息(2,5,1))；根据全局配准图像结果及块匹配结果，确定与第1层参考图像中的参考图像块对应的中间配准结果。其中，中间配准结果包括中间配准图像块及中间配准图像块的位置信息。例如，从全局配准结果及块匹配结果，确定与第1层参考图像中的参考图像块的图像内容最接近即匹配精度最高的结果，作为与第1层参考图像中的参考图像块对应的中间配准结果。例如，将块匹配图像块A1``及其位置信息(2,5,1)作为中间配准结果。
针对金字塔的第2层，结合预设位置信息将第2层参考图像中的参考图像块A2与第2层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果，具体为：
首先，从第2层待配准图像中确定与第1层对应的中间配准图像块A1``的位置信息相同的候选待配准图像块。第1层对应的中间配准图像块A1``的位置信息为(2,5,1)，即从第2层待配准图像中确定处于预设位置信息例如(2,5,1)处的待配准图像块A2`为候选待配准图像块。
其次，计算参考图像块A2与候选待配准图像块A2`的邻域内的待配准图像块之间的第一像素差异度。那么，先确定候选待配准图像块A2`的邻域，例如，可以是以待配准图像块A2`为中心，以预设尺寸确定候选待配准图像块A2`的邻域。这里，所确定的领域可以为矩形，当然，还可以是其他图形，本申请对此不做限定。结合图9所示，所确定的领域可以为5*5个图像块大小的矩形。然后，计算参考图像块A2与候选待配准图像块A2`的邻域内的每个待配准图像块之间的第一像素差异度。
最后，根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。基于参考图像块A2与候选待配准图像块A2`的邻域内的每个待配准图像块之间的第一像素差异度，从领域中确定最小的第一像素差异度所对应的待配准图像块A2``，作为参考图像块A2的块匹配图像块。并记录块匹配图像块A2``在第2层待配准图像上的位置信息。
同时，针对金字塔的第2层，在得到了参考帧与待配准帧之间的仿射变换矩阵集合之后，针对第一图像金字塔的第2层参考图像中的参考图像块A2，就可以从仿射变换矩阵集合中找到该参考图像块A2与第二图像金字塔的第2层待配准图像中的待配准图像块之间的目标仿射变换矩阵。
基于该目标仿射变换矩阵，可以对该第2层待配准图像进行变换处理，得到变换处理后的待配准图像。然后，将该参考图像块A2与该变换处理后的待配准图像进行重合，从该变换处理后的待配准图像中确定与参考图像块A2在空间位置上相互重合的待配准图像块B2。此时，待配准图像块B2为参考图像块A2的全局配准图像块，待配准图像块B2的位置信息即为参考图像块A2的全局配准图像块的位置信息。待配准图像块B2及待配准图像块B2的位置信息，就构成了参考图像块的全局配准结果。
同理，针对金字塔的第3层，结合预设位置信息将第3层参考图像中的参考图像块A3与第3层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果。如此迭代执行上述操作，直到k＝n为止。
本申请实施例中，从金字塔的第二层开始，此时预设位置信息为前一层对应的中间配准图像块的位置信息。而前一层对应的中间配准图像块为从该前一层的全局配准结果及块匹配结果中所确定的。因此，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果，就结合了前一层全局配准的结果，实现了能够通过全局配准的结果对本次块匹配进行校正。从而，在兼顾全局配准对静止区域较好地配准效果的同时，也能够兼顾块匹配对运动区域较好的配准效果。因此，针对图像上的每个区域同时采用了多种配准方式，并非仅仅采用一种单一的配准方式，因此，经过配准后所得到的图像上不同区域的降噪效果均较好，且图像上不同区域边界处的降噪效果差异较小，即不会出现图像上不同区域边界处的噪声形态出现明显差异的情况。
在一个实施例中，如图10所示，提供了一种图像配准方法，还包括：
步骤1020，从第k-1层待配准图像中获取第k-1层参考图像中的参考图像块的全局配准结果、第k-1层参考图像中的参考图像块的块匹配结果。
步骤1040，根据全局配准结果及块匹配结果，确定与第k-1层参考图像中的参考图像块对应的中间配准结果；中间配准结果包括中间配准图像块及中间配准图像块的位置信息。
在针对金字塔的第k-1层，分别计算出了第k-1层参考图像中的参考图像块的全局配准结果、第k-1层参考图像中的参考图像块的块匹配结果之后，从该全局配准结果及该块匹配结果中，确定与第k-1层参考图像中的参考图像块对应的中间配准结果。具体为，分别计算该参考图像块与该全局配准结果及该块匹配结果之间的像素差异度，获取较小的像素差异度对应的结果，作为参考图像块对应的中间配准结果。同理，中间配准结果包括中间配准图像块及中间配准图像块的位置信息。
步骤1060，将第k-1层对应的中间配准图像块的位置信息，作为预设位置信息。
在计算出了第k-1层参考图像中的参考图像块对应的中间配准结果之后，将第k-1层对应的中间配准图像块的位置信息作为预设位置信息。就可以在k＞1时，针对第k层参考图像，从第k层待配准图像中确定与第k-1层对应的中间配准图像块的位置信息相同的候选待配准图像块。计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度。根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。从而，结合第k-1层对应的中间配准图像块的位置信息，可以计算出第k层参考图像中参考图像块的块匹配结果。
本申请实施例中，在计算第k层参考图像中参考图像块的块匹配结果时，需要结合第k-1层对应的中间配准图像块的位置信息。而第k-1层对应的中间配准图像块的位置信息，可以从第k-1层参考图像中的参考图像块的全局配准结果、第k-1层参考图像中的参考图像块的块匹配结果中来确定。因此，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到参考图像块的块匹配结果，就结合了前一层全局配准的结果，实现了能够通过全局配准的结果对本次块匹配进行校正。从而，在兼顾全局配准对静止区域较好地配准效果的同时，也能够兼顾块匹配对运动区域较好的配准效果。
在一个实施例中，根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果，包括：
若k＝n，针对第n层参考图像中的参考图像块，根据第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果，确定第n层参考图像的目标图像配准结果；
将第n层参考图像的目标图像配准结果，作为参考帧的目标图像配准结果。
具体的，从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果。针对第k层参考图像中的参考图像块，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果；块匹配结果包括块匹配图像块及块匹配图像块的位置信息；直到k＝n为止。
若k＝n，针对第n层参考图像中的参考图像块，根据第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果，确定第n层参考图像的目标图像配准结果。具体为，从第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果中，确定第n层参考图像的目标图像配准结果。将第n层参考图像的目标图像配准结果，作为参考帧的目标图像配准结果。
本申请实施例中，针对参考帧的第一图像金字塔的各层参考图像，依次与待配准帧的第二图像金字塔的各层待配准图像进行配准，直到得到第一图像金字塔的底层(参考帧原图)与第二图像金字塔的底层(待配准帧原图)之间的块匹配结果及全局配准结果。然后，从第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果中，确定第n层参考图像的目标图像配准结果。将第n层参考图像的目标图像配准结果，作为参考帧的目标图像配准结果。实现了由低分辨率图像到高分辨率图像的配准，即实现了由粗到细的配准过程，因此提高了配准结果的准确性。
在一个实施例中，针对第n层参考图像中的参考图像块，根据第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果，确定第n层参考图像的目标图像配准结果，包括：
针对第n层参考图像中的各参考图像块，计算参考图像块与参考图像块的全局配准结果之间的第二像素差异度，计算参考图像块与参考图像块的块匹配结果之间的第三像素差异度；
基于第二像素差异度及第三像素差异度，确定参考图像块的目标图像配准结果；
基于第n层参考图像中各参考图像块的目标图像配准结果，得到第n层参考图像的目标图像配准结果。
具体的，在确定第n层参考图像的目标图像配准结果时，针对第n层参考图像中的各参考图像块，计算参考图像块与参考图像块的全局配准结果之间的第二像素差异度，计算参考图像块与参考图像块的块匹配结果之间的第三像素差异度。其中，像素差异度指的是图像块中的像素之间的差值。
判断第二像素差异度、第三像素差异度之间的大小，若第二像素差异度小于第三像素差异度，则将参考图像块的全局配准结果作为参考图像块的目标图像配准结果。若第二像素差异度大于第三像素差异度，则将参考图像块的块匹配结果作为参考图像块的目标图像配准结果。若第二像素差异度等于第三像素差异度，则将参考图像块的块匹配结果或参考图像块对应的全局配准结果作为参考图像块的目标图像配准结果。
基于第n层参考图像中各参考图像块的目标图像配准结果，得到整个第n层参考图像的目标图像配准结果。
本申请实施例中，在计算出根据第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果之后，从参考图像块与述参考图像块的全局配准结果、参考图像块的块匹配结果之间的像素差异度，来筛选出参考图像块的目标图像配准结果，并最终得到第n层参考图像的目标图像配准结果。从像素差异度的角度，能够从全局配准结果及块匹配结果中筛选出实际配准效果较好的结果，作为最终的目标图像配准结果，提高了配准的准确性。
在一个实施例中，分别对参考帧和待配准帧进行图像预处理，得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔，包括：
基于参考帧的YUV分量中的目标分量，生成参考帧的第一图像金字塔；目标分量包括Y分量；
基于待配准帧的YUV分量中的目标分量，生成待配准帧的第二图像金字塔。
其中，这里的参考帧、待配准帧可以为YUV图像。其中，“Y”表示明亮度(Luminance、Luma)，“U”和“V”则是色度与浓度(Chrominance、Chroma)。当然，参考帧、待配准帧可以为RGB图像、RGBW图像等格式的图像，本申请对此不做限定。
若参考帧、待配准帧可以为YUV格式的图像，由于YUV图像相比较于其他格式的图像较好地保留了图像的亮度信息，因此，可以基于YUV格式的参考帧及待配准帧，构建参考帧的第一图像金字塔、待配准帧的第二图像金字塔，所得到的第一图像金字塔、第二图像金字塔也能够较好地保留了图像的亮度信息。
具体的，可以基于参考帧的YUV分量中的目标分量，生成参考帧的第一图像金字塔。同理，可以基于待配准帧的YUV分量中的目标分量，生成待配准帧的第二图像金字塔。其中，目标分量包括Y分量，即目标分量中只要包括Y分量即可。例如，目标分量中为Y分量，或目标分量中为Y分量、U分量，或目标分量中为Y分量、U分量及V分量，本申请对此不做限定。
本申请实施例中，若参考帧、待配准帧为YUV图像，则可以基于参考帧的YUV分量中的目标分量，生成参考帧的第一图像金字塔。同理，可以基于待配准帧的YUV分量中的目标分量，生成待配准帧的第二图像金字塔。其中，目标分量包括Y分量，即目标分量中只要包括Y分量即可。从而，在生成图像金字塔的过程中，就可以减少运算量，进而大大提高了图像配准的效率。
在一个实施例中，如图11A所示，提供了一种图像配准方法，还包括：
根据参考帧的目标图像配准结果，将参考帧中的参考图像块与待配准帧中的待配准图像块进行融合，生成融合后的图像。
如图11A所示，提供了一种图像配准方法，包括：
步骤1102，电子设备通过摄像头模组拍摄同一场景获取多帧YUV图像；
步骤1104，通过选帧算法从多帧YUV图像中选取参考帧，将除去参考帧之外的图像作为待配准帧；
步骤1106，计算参考帧与待配准帧之间的仿射变换矩阵集合；
步骤1108，基于参考帧的Y分量，构建参考帧的第一图像金字塔；
步骤1110，基于待配准帧的Y分量，构建待配准帧的第二图像金字塔；
步骤1112，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果；
步骤1114，将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果；
步骤1116，根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果；
步骤1118，根据参考帧的目标图像配准结果，将参考帧中的参考图像块与待配准帧中的待配准图像块进行融合，生成融合后的图像。
具体的，首先，将参考帧中的每个参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。在确定参考图像块的全局配准结果时，可以基于参考帧与待配准帧之间的仿射变换矩阵，将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果。
其次，将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。在确定参考图像块的块匹配结果时，可以将参考帧中的每个参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果。
最后，针对参考帧上的每个参考图像块，在每个待配准帧上在经过上述配准过程得到了每个参考图像块的全局配准结果及每个参考图像块的块匹配结果。针对每个待配准帧，基于该待配准帧上所得到的每个参考图像块的全局配准结果及每个参考图像块的块匹配结果，就可以确定参考帧的目标图像配准结果。这里，目标图像配准结果包括目标配准图像块及目标配准图像块在待配准帧中的位置信息。基于参考帧与各待配准帧之间的目标图像配准结果，就实现了将参考帧与各待配准帧进行配准。针对参考帧及多个待配准帧，就可以根据参考帧的目标图像配准结果，将参考帧中的参考图像块与每个待配准帧中的待配准图像块进行融合，生成融合后的图像。
如图11B所示，为一个实施例中将参考帧与待配准帧进行图像融合的示意图。左图为参考帧，将参考帧中的每个参考图像块与每个待配准帧进行图像配准，得到该参考图像块在待配准帧1上的目标配准图像块，得到该参考图像块在待配准帧2上的目标配准图像块，得到该参考图像块在待配准帧3上的目标配准图像块，得到该参考图像块在待配准帧4上的目标配准图像块，得到该参考图像块在待配准帧5上的目标配准图像块等等。即在每个待配准帧上都会得到与参考图像块对应的目标配准图像块。
然后，在进行图像融合时，针对每个参考图像块，将每个待配准帧上与该参考图像块对应的目标配准图像块与该参考图像块进行融合，得到与该参考图像块对应的融合结果。依次对各参考图像块进行上述融合操作，最终得到整个参考帧的融合结果，即得到融合图像。
融合后可以生成高动态范围图像(High-Dynamic Range，简称HDR)，HDR图像相比普通图像，可以提供更多的动态范围和图像细节。或者，融合后生成的融合图像的噪声水平大幅降低，提高了图像的清晰度。
本申请实施例中，由于针对静止区域采用全局配准，能够达到较好的配准效果，而针对运动区域则采用块匹配，能够达到较好的配准效果。因此，针对参考帧中的参考图像块，分别与待配准帧中的待配准图像块进行全局配准、块匹配，确定参考图像块的全局配准结果及块匹配结果。最后，根据两种配准结果，确定参考帧的目标图像配准结果。即可以综合考虑全局配准结果及块匹配结果的配准效果，确定参考帧的目标图像配准结果。提高了将参考帧与待配准帧进行图像配准的准确性，进而也提高了将参考帧与待配准帧进行融合所得图像的降噪效果、提高了图像的清晰度。同时，因为综合考虑全局配准结果及块匹配结果的配准效果，所以融合所得图像上不同区域边界处的降噪效果差异较小。
在一个具体的实施例中，如图12所示，提供了一种图像配准方法，该方法包括：
步骤1202，电子设备120通过摄像头模组拍摄同一场景获取多帧YUV图像；
步骤1204，通过选帧算法从多帧YUV图像中选取参考帧，将除去参考帧之外的图像作为待配准帧；
步骤1206，遍历所有待配准帧；若是，则进入1222；若否，则进入1208；
步骤1208，基于参考帧的Y分量，构建参考帧的第一图像金字塔；基于待配准帧的Y分量，构建待配准帧的第二图像金字塔；第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像；第一图像金字塔中的第k层参考图像与第二图像金字塔中的第k层待配准图像之间相互对应，1≤k≤n,且k为正整数；
步骤1210，从k＝1开始依次遍历金字塔的所有图像层；若是，则进入1206；若否，则进入1212；
步骤1212，将第一图像金字塔中的第k层参考图像划分为预设大小的参考图像块；将第二图像金字塔中的第k层待配准图像划分为与参考图像块大小相同的待配准图像块；
步骤1214，针对第k层参考图像中的参考图像块，逐个参考图像块进行从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果；
步骤1216，针对第k层参考图像中的参考图像块，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果；
步骤1218，从第k层参考图像中的参考图像块的全局配准结果、第k层参考图像中的参考图像块的块匹配结果中，选择像素差异度较小的结果作为第k层参考图像中的参考图像块的中间配准结果；
步骤1220，将第k层参考图像中的参考图像块的中间配准结果中的中间配准图像块的位置信息，作为下一次迭代计算的预设位置信息，循环执行步骤1214-步骤1220，直到k＝n为止；
步骤1222，将第n层k层参考图像中的参考图像块的中间配准结果，作为参考帧最终的目标图像配准结果。
如图13所示，为一个实施例中经过传统多帧融合结果与采用本申请中的图像配准方法之后得到的多帧融合结果的示意图。图13中(a1)为仅采用块匹配进行图像配准之后所得到的多帧融合结果，图13中(b1)为采用本申请图像配准方法进行图像配准之后所得到的多帧融合结果。采用块匹配进行图像配准，针对运动区域能够达到较好地配准效果，而针对静止区域则图像配准效果较差，导致多帧融合结果中的静止区域的噪声较大。
图13中(a2)为仅采用全局配准进行图像配准之后所得到的多帧融合结果，图13中(b2)为采用本申请图像配准方法进行图像配准之后所得到的多帧融合结果。(a2)中对整个图像采用全局配准的方式进行图像配准，那么针对图像中的静止区域采用全局配准，能够达到较好的配准效果，而针对图像中的运动区域(小车)则无法精确地配准，导致多帧融合结果中的运动区域的噪声较大。其中，运动区域包括刚体运动区域及非刚体运动等，本申请对此不做限定。
图13中(a3)为图(a2)中部分区域的局部放大图，图13中(b3)为图(b2)中部分区域的局部放大图。
从图13中可以看出，采用本申请图像配准方法进行图像配准之后所得到的多帧融合结果，比仅采用块匹配或特征点匹配进行图像配准之后所得到的多帧融合结果的降噪效果更好。且从图13中(a3)中的静止区域与运动区域(小车)的分界处可以明显看出噪声形态(噪声的大小)不一致的现象。即在分解除两边的降噪效果差异较明显。而在图13中(b3)中静止区域与运动区域的噪声形态未出现明显的区别。因为采用本申请中的图像配准方法，针对静止区域和运动区域均吸收了全局配准、块匹配两种配准方法的优势，所以，使得静止区域和运动区域均能够准确地配准，进而所得到的多帧融合结果中静止区域、运动区域的降噪水平是相近的，不会出现噪声形态不一致的现象。
本申请实施例中，在将参考图像块与第k层待配准图像中的待配准图像块进行块匹配时，由金字塔的顶层向金字塔的底层依次进行块匹配，实现了由低分辨率图像到高分辨率图像的配准，即实现了由粗到细的配准过程。且在进行块匹配的过程中，结合了前一层全局配准的结果，就能够通过全局配准的结果对本次块匹配进行校正。从而，在兼顾全局配准对静止区域较好地配准效果的同时，也能够兼顾块匹配对运动区域较好的配准效果。因此，针对图像上的每个区域同时采用了多种配准方式，并非仅仅采用一种单一的配准方式，因此，经过配准后所得到的图像上不同区域的降噪效果均较好，且图像上不同区域边界处的降噪效果差异较小，即不会出现图像上不同区域边界处的噪声形态出现明显差异的情况。
在一个实施例中，如图14所示，提供了一种图像配准装置1400，该装置包括：
全局配准模块1420，用于将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定参考图像块的全局配准结果；
块匹配模块1440，用于将参考帧中的参考图像块与待配准帧中的待配准图像块进行块匹配，确定参考图像块的块匹配结果；
目标图像配准结果确定模块1460，用于根据全局配准结果及块匹配结果，确定参考帧的目标图像配准结果。
在一个实施例中，如图15所示，提供了一种图像配准装置1400，该装置还包括：
图像金字塔生成模块1480，用于分别对参考帧和待配准帧进行图像预处理，得到参考帧的第一图像金字塔及待配准帧的第二图像金字塔；第一图像金字塔包括n层参考图像，第二图像金字塔包括n层待配准图像；其中，第n层参考图像为参考帧原图，第n层待配准图像为待配准帧原图；第一图像金字塔中的第k层参考图像与第二图像金字塔中的第k层待配准图像之间相互对应，1≤k≤n,且k为正整数；
参考图像块、待配准图像块获取模块1490，用于从第一图像金字塔中的第k层参考图像中获取参考图像块，以及从第二图像金字塔中的第k层待配准图像中获取待配准图像块。
在一个实施例中，全局配准模块1420，还用于从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果；直到k＝n为止；
其中，全局配准结果包括全局配准图像块及全局配准图像块的位置信息。
在一个实施例中，全局配准模块1420，包括：
仿射变换矩阵集合计算单元，用于计算参考帧与待配准帧之间的仿射变换矩阵集合；仿射变换矩阵集合包括参考帧中的参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵；
全局配准结果确定单元，用于基于参考帧与待配准帧之间的仿射变换矩阵集合，从第k层待配准图像中确定与第k层参考图像中的参考图像块对应的全局配准结果。
在一个实施例中，仿射变换矩阵集合计算单元，用于将参考帧划分为参考图像块，将待配准帧划分为与参考图像块大小相同的待配准图像块；针对各参考图像块，对参考图像块进行特征点检测得到参考图像块的原始特征点；通过光流算法将参考图像块的原始特征点在参考帧与待配准帧之间进行映射，得到与参考图像块的原始特征点对应的映射特征点；针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考帧与待配准帧之间的仿射变换矩阵集合。
在一个实施例中，仿射变换矩阵集合计算单元，用于通过第一光流算法将参考图像块的原始特征点映射至待匹配帧上，得到与参考图像块的原始特征点对应的第一映射特征点；通过第二光流算法将第一映射特征点映射至参考帧上，生成与参考图像块的原始特征点对应的第二映射特征点；计算参考图像块的原始特征点对应的第二映射特征点与参考图像块的原始特征点之间的距离；根据距离，从第一映射特征点中确定参考图像块的原始特征点对应的映射特征点。
在一个实施例中，仿射变换矩阵集合计算单元，用于针对参考帧中的各参考图像块，基于参考图像块的原始特征点及映射特征点，确定参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵；基于参考图像块与待配准帧中的待配准图像块之间的仿射变换矩阵，得到参考帧与待配准帧之间的仿射变换矩阵集合。
在一个实施例中，块匹配模块1440，用于将从k＝1开始迭代执行以下操作：针对第k层参考图像中的参考图像块，结合预设位置信息将参考图像块与第k层待配准图像中的待配准图像块进行块匹配，得到与第k层参考图像中的参考图像块对应的块匹配结果；其中，块匹配结果包括块匹配图像块及块匹配图像块的位置信息；直到k＝n为止。
在一个实施例中，若k＝1,预设位置信息为第k层参考图像中的参考图像块的位置信息，则块匹配模块1440，包括：
候选待配准图像块确定单元，用于从第k层待配准图像中确定与第k层参考图像中的参考图像块的位置信息相同的候选待配准图像块；
第一像素差异度计算单元，用于计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
块匹配结果确定单元，用于根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。
在一个实施例中，若k＞1,预设位置信息为第k-1层对应的中间配准图像块的位置信息，则块匹配模块1440，包括：
候选待配准图像块确定单元，用于从第k层待配准图像中确定与第k-1层对应的中间配准图像块的位置信息相同的候选待配准图像块；
第一像素差异度计算单元，用于计算参考图像块与候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
块匹配结果确定单元，用于根据第一像素差异度，从邻域内确定参考图像块的块匹配结果。
在一个实施例中，提供了一种图像配准装置，还包括：
预设位置信息确定模块，用于从第k-1层待配准图像中获取第k-1层参考图像中的参考图像块的全局配准结果、第k-1层参考图像中的参考图像块的块匹配结果；根据全局配准结果及块匹配结果，确定与第k-1层参考图像中的参考图像块对应的中间配准结果；中间配准结果包括中间配准图像块及中间配准图像块的位置信息；将第k-1层对应的中间配准图像块的位置信息，作为预设位置信息。
在一个实施例中，目标图像配准结果确定模块1460，用于若k＝n，针对第n层参考图像中的参考图像块，根据第n层参考图像中的参考图像块的全局配准结果及参考图像块的块匹配结果，确定第n层参考图像的目标图像配准结果；将第n层参考图像的目标图像配准结果，作为参考帧的目标图像配准结果。
在一个实施例中，目标图像配准结果确定模块1460，还用于针对第n层参考图像中的各参考图像块，计算参考图像块与参考图像块的全局配准结果之间的第二像素差异度，计算参考图像块与参考图像块的块匹配结果之间的第三像素差异度；基于第二像素差异度及第三像素差异度，确定参考图像块的目标图像配准结果；基于第n层参考图像中各参考图像块的目标图像配准结果，得到第n层参考图像的目标图像配准结果。
在一个实施例中，目标图像配准结果确定模块1460，还用于若第二像素差异度小于第三像素差异度，则将参考图像块的全局配准结果作为参考图像块的目标图像配准结果；若第二像素差异度大于第三像素差异度，则将参考图像块的块匹配结果作为参考图像块的目标图像配准结果；若第二像素差异度等于第三像素差异度，则将参考图像块的块匹配结果或参考图像块对应的全局配准结果作为参考图像块的目标图像配准结果。
在一个实施例中，参考帧、待配准帧为YUV图像。
在一个实施例中，图像金字塔生成模块1480，还用于基于参考帧的YUV分量中的目标分量，生成参考帧的第一图像金字塔；目标分量包括Y分量；基于待配准帧的YUV分量中的目标分量，生成待配准帧的第二图像金字塔。
在一个实施例中，提供了一种图像配准装置，还包括：
图像融合模块，用于根据参考帧的目标图像配准结果，将参考帧中的参考图像块与待配准帧中的待配准图像块进行融合，生成融合后的图像。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述图像配准装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像配准装置按照需要划分为不同的模块，以完成上述图像配准装置的全部或部分功能。
关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定，在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图16为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。
该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像配准方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像配准装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像配准方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像配准方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种图像配准方法，其特征在于，所述方法包括：
将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定所述参考图像块的全局配准结果；
将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行块匹配，确定所述参考图像块的块匹配结果；
根据所述全局配准结果及所述块匹配结果，确定所述参考帧的目标图像配准结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别对所述参考帧和所述待配准帧进行图像预处理，得到所述参考帧的第一图像金字塔及所述待配准帧的第二图像金字塔；所述第一图像金字塔包括n层参考图像，所述第二图像金字塔包括n层待配准图像；其中，第n层参考图像为所述参考帧原图，第n层待配准图像为所述待配准帧原图；所述第一图像金字塔中的第k层参考图像与所述第二图像金字塔中的第k层待配准图像之间相互对应，1≤k≤n,且k为正整数；
从所述第一图像金字塔中的第k层参考图像中获取所述参考图像块，以及从所述第二图像金字塔中的第k层待配准图像中获取所述待配准图像块。
3.根据权利要求2所述的方法，其特征在于，所述将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定所述参考图像块的全局配准结果，包括：
从k＝1开始迭代执行以下操作：针对所述第k层参考图像中的参考图像块，从所述第k层待配准图像中确定与所述第k层参考图像中的参考图像块对应的全局配准结果；直到k＝n为止；
所述全局配准结果包括全局配准图像块及所述全局配准图像块的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述从所述第k层待配准图像中确定与所述第k层参考图像中的参考图像块对应的全局配准结果，包括：
计算所述参考帧与所述待配准帧之间的仿射变换矩阵集合；所述仿射变换矩阵集合包括所述参考帧中的参考图像块与所述待配准帧中的待配准图像块之间的仿射变换矩阵；
基于所述参考帧与所述待配准帧之间的仿射变换矩阵集合，从所述第k层待配准图像中确定与所述第k层参考图像中的参考图像块对应的全局配准结果。
5.根据权利要求4所述的方法，其特征在于，所述计算所述参考帧与所述待配准帧之间的仿射变换矩阵集合，包括：
将所述参考帧划分为参考图像块，将所述待配准帧划分为与所述参考图像块大小相同的待配准图像块；
针对各所述参考图像块，对所述参考图像块进行特征点检测得到所述参考图像块的原始特征点；
通过光流算法将所述参考图像块的原始特征点在所述参考帧与所述待配准帧之间进行映射，得到与所述参考图像块的原始特征点对应的映射特征点；
针对所述参考帧中的各参考图像块，基于所述参考图像块的所述原始特征点及所述映射特征点，确定所述参考帧与所述待配准帧之间的仿射变换矩阵集合。
6.根据权利要求5所述的方法，其特征在于，所述通过光流算法将所述参考图像块的原始特征点在所述参考帧与所述待配准帧之间进行映射，得到与所述参考图像块的原始特征点对应的映射特征点，包括：
通过第一光流算法将所述参考图像块的原始特征点映射至所述待匹配帧上，得到与所述参考图像块的原始特征点对应的第一映射特征点；
通过第二光流算法将所述第一映射特征点映射至所述参考帧上，生成与所述参考图像块的原始特征点对应的第二映射特征点；
计算所述参考图像块的原始特征点对应的第二映射特征点与所述参考图像块的原始特征点之间的距离；
根据所述距离，从所述第一映射特征点中确定所述参考图像块的原始特征点对应的映射特征点。
7.根据权利要求5或6所述的方法，其特征在于，所述针对所述参考帧中的各参考图像块，基于所述参考图像块的所述原始特征点及所述映射特征点，确定所述参考帧与所述待配准帧之间的仿射变换矩阵集合，包括：
针对所述参考帧中的各参考图像块，基于所述参考图像块的所述原始特征点及所述映射特征点，确定所述参考图像块与所述待配准帧中的待配准图像块之间的仿射变换矩阵；
基于所述参考图像块与所述待配准帧中的待配准图像块之间的仿射变换矩阵，得到所述参考帧与所述待配准帧之间的仿射变换矩阵集合。
8.根据权利要求3所述的方法，其特征在于，所述将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行块匹配，确定所述参考图像块的块匹配结果，包括：
从k＝1开始迭代执行以下操作：针对所述第k层参考图像中的参考图像块，结合预设位置信息将所述参考图像块与所述第k层待配准图像中的待配准图像块进行块匹配，得到与所述第k层参考图像中的参考图像块对应的块匹配结果；所述块匹配结果包括块匹配图像块及所述块匹配图像块的位置信息；直到k＝n为止。
9.根据权利要求8所述的方法，其特征在于，若k＝1,所述预设位置信息为所述第k层参考图像中的参考图像块的位置信息，则所述结合预设位置信息将所述参考图像块与所述第k层待配准图像中的待配准图像块进行块匹配，得到所述参考图像块的块匹配结果，包括：
从所述第k层待配准图像中确定与所述第k层参考图像中的参考图像块的位置信息相同的候选待配准图像块；
计算所述参考图像块与所述候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
根据所述第一像素差异度，从所述邻域内确定所述参考图像块的块匹配结果。
10.根据权利要求8所述的方法，其特征在于，若k＞1,所述预设位置信息为所述第k-1层对应的中间配准图像块的位置信息，则所述结合预设位置信息将所述参考图像块与所述第k层待配准图像中的待配准图像块进行块匹配，得到所述参考图像块的块匹配结果，包括：
从所述第k层待配准图像中确定与所述第k-1层对应的中间配准图像块的位置信息相同的候选待配准图像块；
计算所述参考图像块与所述候选待配准图像块的邻域内的待配准图像块之间的第一像素差异度；
根据所述第一像素差异度，从所述邻域内确定所述参考图像块的块匹配结果。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
从所述第k-1层待配准图像中获取所述第k-1层参考图像中的参考图像块的全局配准结果、所述第k-1层参考图像中的参考图像块的块匹配结果；
根据所述全局配准结果及所述块匹配结果，确定与所述第k-1层参考图像中的参考图像块对应的中间配准结果；所述中间配准结果包括中间配准图像块及所述中间配准图像块的位置信息；
将所述第k-1层对应的中间配准图像块的位置信息，作为所述预设位置信息。
12.根据权利要求8所述的方法，其特征在于，所述根据所述全局配准结果及所述块匹配结果，确定所述参考帧的目标图像配准结果，包括：
若k＝n，针对第n层参考图像中的参考图像块，根据所述第n层参考图像中的参考图像块的全局配准结果及所述参考图像块的块匹配结果，确定所述第n层参考图像的目标图像配准结果；
将所述第n层参考图像的目标图像配准结果，作为所述参考帧的目标图像配准结果。
13.根据权利要求12所述的方法，其特征在于，所述针对第n层参考图像中的参考图像块，根据所述第n层参考图像中的参考图像块的全局配准结果及所述参考图像块的块匹配结果，确定所述第n层参考图像的目标图像配准结果，包括：
针对第n层参考图像中的各参考图像块，计算所述参考图像块与所述参考图像块的全局配准结果之间的第二像素差异度，计算所述参考图像块与所述参考图像块的块匹配结果之间的第三像素差异度；
基于所述第二像素差异度及所述第三像素差异度，确定所述参考图像块的目标图像配准结果；
基于所述第n层参考图像中各参考图像块的目标图像配准结果，得到所述第n层参考图像的目标图像配准结果。
14.根据权利要求13所述的方法，其特征在于，所述基于所述第二像素差异度及所述第三像素差异度，确定所述参考图像块的目标图像配准结果，包括：
若所述第二像素差异度小于所述第三像素差异度，则将所述参考图像块的全局配准结果作为所述参考图像块的目标图像配准结果；
若所述第二像素差异度大于所述第三像素差异度，则将所述参考图像块的块匹配结果作为所述参考图像块的目标图像配准结果；
若所述第二像素差异度等于所述第三像素差异度，则将所述参考图像块的块匹配结果或所述参考图像块对应的全局配准结果作为所述参考图像块的目标图像配准结果。
15.根据权利要求2所述的方法，其特征在于，所述参考帧、所述待配准帧为YUV图像。
16.根据权利要求15所述的方法，其特征在于，所述分别对所述参考帧和所述待配准帧进行图像预处理，得到所述参考帧的第一图像金字塔及所述待配准帧的第二图像金字塔，包括：
基于所述参考帧的YUV分量中的目标分量，生成所述参考帧的第一图像金字塔；所述目标分量包括Y分量；
基于所述待配准帧的YUV分量中的目标分量，生成所述待配准帧的第二图像金字塔。
17.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述参考帧的目标图像配准结果，将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行融合，生成融合后的图像。
18.一种图像配准装置，其特征在于，所述装置包括：
全局配准模块，用于将参考帧中的参考图像块与待配准帧中的待配准图像块进行全局配准，确定所述参考图像块的全局配准结果；
块匹配模块，用于将所述参考帧中的参考图像块与所述待配准帧中的待配准图像块进行块匹配，确定所述参考图像块的块匹配结果；
目标图像配准结果确定模块，用于根据所述全局配准结果及所述块匹配结果，确定所述参考帧的目标图像配准结果。
19.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至17中任一项所述的图像配准方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至17中任一项所述的方法的步骤。
CN202110984255.6A 2021-08-25 2021-08-25 图像配准方法、装置、电子设备和计算机可读存储介质 Pending CN113643333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984255.6A CN113643333A (zh) 2021-08-25 2021-08-25 图像配准方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984255.6A CN113643333A (zh) 2021-08-25 2021-08-25 图像配准方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113643333A true CN113643333A (zh) 2021-11-12

Family

ID=78423875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984255.6A Pending CN113643333A (zh) 2021-08-25 2021-08-25 图像配准方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113643333A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313707A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 原始图像处理方法、装置、设备及可读存储介质
CN113793283A (zh) * 2021-11-15 2021-12-14 江苏游隼微电子有限公司 一种车载影像降噪方法
CN114862735A (zh) * 2022-05-23 2022-08-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114998353A (zh) * 2022-08-05 2022-09-02 汕头大学·香港中文大学联合汕头国际眼科中心 一种自动检测玻璃体混浊斑飘动范围的系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313707A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 原始图像处理方法、装置、设备及可读存储介质
CN113793283A (zh) * 2021-11-15 2021-12-14 江苏游隼微电子有限公司 一种车载影像降噪方法
CN114862735A (zh) * 2022-05-23 2022-08-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114998353A (zh) * 2022-08-05 2022-09-02 汕头大学·香港中文大学联合汕头国际眼科中心 一种自动检测玻璃体混浊斑飘动范围的系统
CN114998353B (zh) * 2022-08-05 2022-10-25 汕头大学·香港中文大学联合汕头国际眼科中心 一种自动检测玻璃体混浊斑飘动范围的系统

Similar Documents

Publication Publication Date Title
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
US11151690B2 (en) Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
JP7164706B2 (ja) 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体
US9076234B2 (en) Super-resolution method and apparatus for video image
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US20200154129A1 (en) Motion estimation method and device
CN109005334B (zh) 一种成像方法、装置、终端和存储介质
US20090028462A1 (en) Apparatus and program for producing a panoramic image
US8098963B2 (en) Resolution conversion apparatus, method and program
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
KR101538313B1 (ko) 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
CN112215877A (zh) 图像处理方法和装置、电子设备、可读存储介质
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
CN110827336A (zh) 一种图像对齐方法、装置、设备及存储介质
CN112132769A (zh) 图像融合方法、装置以及计算机设备
CN113298187B (zh) 图像处理方法及装置、计算机可读存储介质
Jung et al. Anyflow: Arbitrary scale optical flow with implicit neural representation
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US9317903B1 (en) Self-similarity based single frame super-resolution
US9392146B2 (en) Apparatus and method for extracting object
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
Soh et al. Joint high dynamic range imaging and super-resolution from a single image
CN111932594A (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination