CN113592922A - 图像的配准处理方法及装置 - Google Patents

图像的配准处理方法及装置 Download PDF

Info

Publication number
CN113592922A
CN113592922A CN202110645691.0A CN202110645691A CN113592922A CN 113592922 A CN113592922 A CN 113592922A CN 202110645691 A CN202110645691 A CN 202110645691A CN 113592922 A CN113592922 A CN 113592922A
Authority
CN
China
Prior art keywords
image
registration processing
registration
registered
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110645691.0A
Other languages
English (en)
Inventor
彭乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Hangzhou Co Ltd
Original Assignee
Vivo Mobile Communication Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Hangzhou Co Ltd filed Critical Vivo Mobile Communication Hangzhou Co Ltd
Priority to CN202110645691.0A priority Critical patent/CN113592922A/zh
Publication of CN113592922A publication Critical patent/CN113592922A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像的配准处理方法及装置，属于图像处理技术领域。方法包括：提取参考图像的特征序列和目标图像的特征序列，目标图像为多次曝光图像序列中除参考图像之外的任一图像；基于参考图像的特征序列和目标图像的特征序列，计算目标图像与参考图像之间的全局平移向量；基于全局平移向量，对目标图像的特征序列进行更新，得到配准处理后的第一图像；基于第一图像进行至少一次配准处理，得到配准图像；其中，在至少一次配准处理的每次配准处理中，待配准图像的图像区域被划分为多个图像子区域，且待配准图像的特征序列通过多个图像子区域的局部平移向量进行更新，待配准图像为上一次配准处理后得到的图像。

Description

图像的配准处理方法及装置
技术领域
本申请属于图像处理技术领域，具体涉及一种图像的配准处理方法及装 置。
背景技术
为满足人们对于手机和平板电脑等电子设备越来越高的拍摄要求，如高动 态范围、低照度、大景深和宽视场等，多次曝光技术被应用于电子设备的拍摄 功能中。由于在多次曝光时间周期内，电子设备与目标场景容易产生相对移动， 导致多次曝光的图像之间一般不能达到像素级甚至亚像素级匹配，从而需要对 多次曝光图像序列中的图像进行配准。但是，目前对多次曝光图像序列中的图 像进行配准，通常存在配准精确度低的问题。
发明内容
本申请实施例的目的是提供一种图像的配准处理方法及装置，能够解决目 前对多次曝光图像序列中的图像进行配准，通常存在配准精确度低的问题。
第一方面，本申请实施例提供了一种图像的配准处理方法，该方法包括：
提取参考图像的特征序列和目标图像的特征序列，其中，所述目标图像为 多次曝光图像序列中除所述参考图像之外的任一图像；
基于所述参考图像的特征序列和所述目标图像的特征序列，计算所述目标 图像与所述参考图像之间的全局平移向量；
基于所述全局平移向量，对所述目标图像的特征序列进行更新，得到配准 处理后的第一图像；
基于所述第一图像进行至少一次配准处理，得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区 域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像 子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的 图像。
第二方面，本申请实施例提供了一种图像的配准处理装置，该装置包括：
特征提取模块，用于提取参考图像的特征序列和目标图像的特征序列，其 中，所述目标图像为多次曝光图像序列中除所述参考图像之外的任一图像；
全局平移向量计算模块，用于基于所述参考图像的特征序列和所述目标图 像的特征序列，计算所述目标图像与所述参考图像之间的全局平移向量；
第一配准处理模块，用于基于所述全局平移向量，对所述目标图像的特征 序列进行更新，得到配准处理后的第一图像；
第二配准处理模块，用于基于所述第一图像进行至少一次配准处理，得到 配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区 域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像 子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的 图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、 存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程 序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上 存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法 的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接 口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现 如第一方面所述的方法。
在本申请实施例中，在电子设备对多次曝光图像序列进行配准处理的过程 中，通过计算目标图像的全局平移向量，并基于全局平移向量对目标图像的特 征序列进行更新，实现得到目标图像进行第一次配准处理后的第一图像，并在 第一图像的基础上，进一步对第一次配准处理后的第一图像进行至少一次配准 处理，且每次配准处理是通过待配准图像的多个图像子区域的平移向量实现， 得到最终的配准图像。如此，通过本申请提供的图像的配准处理方法，通过多 次配准处理，且多次配准处理中兼顾整体和局部，可以有效提升对多次曝光图 像序列进行配准的精确度。
附图说明
图1是本申请实施例提供的图像的配准处理方法的流程示意图；
图2是本申请实施例提供的待保存的人物照片的示意图；
图3是本申请实施例提供的人脸特征信息的示意图；
图4是本申请实施例提供的生成的照片的示意图之一；
图5是本申请实施例提供的生成的照片的示意图之二；
图6是本申请实施例提供的图像的配准处理装置的结构示意图；
图7是本申请实施例提供的电子设备的硬件结构示意图之一；
图8是本申请实施例提供的电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施 例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都 属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类 似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在 适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那 些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限 定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及 权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前 后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图 像的配准处理方法进行详细地说明。
请参见图1，是本申请实施例提供的一种图像的配准处理方法流程示意图， 应用于电子设备，如图1所示，上述图像的配准处理方法包括如下步骤：
步骤101、提取参考图像的特征序列和目标图像的特征序列，其中，所述 目标图像为多次曝光图像序列中除所述参考图像之外的任一图像；
步骤102、基于所述参考图像的特征序列和所述目标图像的特征序列，计 算所述目标图像与所述参考图像之间的全局平移向量；
步骤103、基于所述全局平移向量，对所述目标图像的特征序列进行更新， 得到配准处理后的第一图像；
步骤104、基于所述第一图像进行至少一次配准处理，得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区 域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像 子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的 图像。
基于此，在电子设备对多次曝光图像序列进行配准处理的过程中，通过计 算目标图像的全局平移向量，并基于全局平移向量对目标图像的特征序列进行 更新，实现得到目标图像进行第一次配准处理后的第一图像，并在第一图像的 基础上，进一步对第一次配准处理后的第一图像进行至少一次配准处理，且每 次配准处理是通过待配准图像的多个图像子区域的平移向量实现，得到最终的 配准图像。如此，通过本申请提供的图像的配准处理方法，通过多次配准处理， 且多次配准处理中兼顾整体和局部，可以有效提升对多次曝光图像序列进行配 准的精确度。
在上述步骤101中，在电子设备对多次曝光图像序列进行配准的过程中， 电子设备可以提取参考图像的特征序列和目标图像的特征序列。
其中，上述多次曝光图像序列可以是包括在不同曝光参数下采集的至少两 张图像，且该曝光参数可以是包括曝光量、景深量和光谱类型等中的至少一项。
另外，上述参考图像可以是在上述多次曝光图像序列的至少两张图像中选 择的任意一张图像，且上述目标图像可以是该至少两张图像中除上述参考图像 之外的任意一张图像。
本申请实施例中，上述提取参考图像和目标图像的特征序列，可以是通过 图像特征提取算法，分别提取参考图像和目标图像的点特征或者线特征进行保 存。
例如，可以是通过点特征或者线特征提取算法对输入图像进行特征提取和 特征保存，得到特征序列{Ei}，i表示输入图像在多次曝光图像序列中的序号。
需要说明的是，该图像特征提取算法预设于电子设备中，且其可以是任意 的能够实现点特征或者线特征的提取的算法，由于本申请并不对特征提取算法 的进行改进，在此并不进行赘述。
例如，可以采用尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)等具备尺度、平移和方向不变性的特征点提取算法提取点特征；或者， 采用特征快速提取并描述(Oriented FAST and Rotated BRIEF，ORB)等不具备 尺度、平移和方向不变性的特征点提取算法，等等。
在上述步骤102中，在提取到上述参考图像的特征序列和目标图像的特征 序列之后，电子设备可以基于参考图像的特征序列和目标图像的特征序列，计 算得到目标图像与参考图像之间的全局平移向量。
本申请实施例中，上述基于参考图像的特征序列和目标图像的特征序列， 计算得到目标图像与参考图像之间的全局平移向量，可以是在参考图像和目标 图像中确定匹配的特征点或者特征线，并从参考图像的特征序列和目标图像的 特征序列提取匹配的特征点或者特征线的坐标信息，通过提取到的坐标信息计 算得到上述全局平移向量。
具体地，从目标图像的特征序列中提取第j个特征(点特征或者线特征) 的坐标信息
Figure BDA0003109099790000061
以及，从参考图像的特征序列中提取第j个特征(点特征 或者线特征)的坐标信息
Figure BDA0003109099790000062
其中，i和r分别表示目标图像和参考图像 在多次曝光图像序列中的序号，i、r和j分别为整数。通过公式(1)，可以计 算得到目标图像和参考图像之间的全局平移量(Δx,Δy)，如下：
Figure BDA0003109099790000063
其中，n表示特征的总个数。
在上述步骤103中，在计算得到上述全局平移向量之后，电子设备可以基 于全局平移向量，对目标图像的特征序列进行更新，得到配准处理后的第一图 像，即实现对目标图像的一级配准处理。
具体地，可以通过公式(2)对目标图像的特征序列进行更新，如下：
Figure BDA0003109099790000064
其中，
Figure RE-GDA0003200542320000065
表示一级配准处理后得到的特征序列(即第一图像的特征序列)； C(Ei)表示为第i幅图像的特征计算相应的坐标集合；
r表示多次曝光图像序列中的参考图像序号，i≠r则表示特征更新对除参 考图像外的其它所有图像进行。
示例性地，如图2所示，电子设备中可以设置有一级配准模块、二级配准 模块、…、K级配准模块、…，通过一级配准模块，电子设备可以对如图3中 参考图像31和目标图像32进行特征提取，分别提取到两者的特征序列；再通 过提取到的特征序列，进行全局平移估计，即计算得到待配准图片32与参考 图像31的全局平移向量；最后通过计算得到的全局平移向量，对目标图像32 的特征序列进行特征更新，实现对目标图像32的一级配准处理。
在上述步骤104中，在上述一级配准处理后得到更新的第一图像之后，电 子设备可以基于第一图像进行至少一次配准处理，得到配准图像。
需要说明的是，在电子设备基于上述第一图像进行至少一次配准处理中的 每次配准处理的过程中，待配准图像的图像区域被划分为多个图像子区域，且 待配准的图像的特征序列通过多个图像子区域的局部平移向量进行更新，上述 待配准图像包括：在至少一次配准处理的第一次配准处理中，为第一图像；在 至少一次配准处理的第K次配准处理中，为上一次配准处理后得到的图像，K 为正整数。
在一个实施例中，上述至少一次配准处理可以是仅为一次配准处理，具体 地，上述步骤104，可以包括：
获取所述第一图像的特征序列；
将所述第一图像的图像区域划分为多个图像子区域，并基于所述第一图像 的特征序列中每一所述图像子区域的特征系列，计算得到所述图像子区域的平 移向量；
基于所述第一图像的多个图像子区域的平移向量，对所述第一图像的特征 序列进行更新，得到配准处理后的第二图像；
将所述第二图像确定为所述配准图像。
基于此，通过对第一图像的图像区域划分为多个图像子区域，并基于多个 图像子区域的平移向量(即局部平移向量)，对一级更新后的第一图像的特征 序列进行更新，实现对目标图像的二级配准处理，从而不仅可以提高配准精确 度，还可以保证处理速度。
其中，上述获取第一图像的特征序列，可以是在电子设备在一级配准处理 中对目标图像的特征序列进行更新后，得到第一图像的特征序列并保存，电子 设备可以提取保存的第一图像的特征序列。
另外，上述将第一图像的图像区域划分为多个图像子区域，可以是电子设 备将第一图像的图像区域划分为任意数量的图像子区域，该任意数量大于或者 等于2。
示例性地，可以是对第一图像的特征序列
Figure BDA0003109099790000081
进行分块操作，如通过MTB 等不具备尺度、平移和方向不变性的块特征提取算法实现分块，实现在二维坐 标空间上将第一图像的图像区域划分为2×2的四个图像子区域，并得到每一 图像子区域的特征序列。
需要说明的是，上述电子设备对上述第一图像的图像区域进行划分的同 时，电子设备还将上述参考图像的图像区域划分为相同数量的图像子区域，例 如，在将上述第一图像的图像子区域划分为2×2的四个图像子区域的情况下， 电子设备还将参考图像划分为相匹配的2×2的四个图像子区域。
本申请实施例中，在电子设备得到上述多个图像子区域的特征序列之后， 电子设备可以基于该第一图像的特征序列，计算得到多个子图像区域的平移向 量。
其中，上述基于第一图像的特征序列，计算得到多个子图像区域的平移向 量，可以是通过第一图像和参考图像中匹配的图像子区域的特征序列，计算各 图像子区域在第一图像和参考图像中的平移向量，即该平移向量表征匹配的第 一图像和参考图像中相匹配的图像子区域产生的平移量。
具体地，可以是通过公式(3)得到，计算得到图像子区域的平移向量
Figure BDA0003109099790000082
如下：
Figure BDA0003109099790000083
其中，上述表示第k个分块区域(即图像子区域)；
Figure BDA0003109099790000084
和
Figure BDA0003109099790000085
分别表示第k个分块区域在参考图像和一级配准处理后的待配准 图像(即上述第一图像)中的特征序列；
L表示图像子区域的数量，例如，在划分为2×2的四个图像子区域的情 况下，L为4，等等。
本申请实施例中，在电子设备获取到上述多个图像子区域的平移向量之 后，电子设备可以基于该多个图像子区域的平移向量，对第一图像的特征序列 进行更新，得到配准处理后的第二图像。
其中，上述基于多个图像子区域的平移向量，对第一图像的特征序列进行 更新，可以是计算上述多个图像子区域的平移向量的平均量，将通过计算得到 的平均量对第一图像的特征序列进行更新。例如，将平均量作为公式(2)中 的(Δx,Δy)。
或者，上述基于所述第一图像的多个图像子区域的平移向量，对所述第一 图像的特征序列进行更新，可以包括：
基于所述第一图像的多个图像子区域的平移向量，计算得到所述第一图像 与所述参考图像之间的旋转向量和平移向量；
基于所述第一图像与所述参考图像之间的旋转向量和平移向量，对所述第 一图像的特征序列进行更新。
基于此，通过第一图像的多个图像子区域的平移向量，计算得到第一图像 与参考图像之间的旋转向量和平移向量，再通过计算得到的旋转向量和平移向 量，对第一图像的特征序列进行更新，从而使配准的精确度更高。
其中，上述基于第一图像的多个图像子区域的平移向量，计算得到第一图 像与所述参考图像之间的旋转向量和平移向量，可以是通过多个图像子区域的 平移向量，构建与图像子区域的数量相同的匹配特征点对，并根据匹配特征点 对，利用图像空间变换约束，估算第一图像和参考图像之间的旋转向量R和平 移向量T。
具体地，在上述图像子区域的数量为L的情况下，可以通过L个图像子区 域的平移向量构建L个特征点对，如下：
Figure BDA0003109099790000091
其物理意义可理解为与所述的一级配准处理后的特征序列相对应的四对 虚拟的匹配特征点对。因此，可根据所述的L对虚拟的匹配特征点对，利用图 像空间变换约束，可估算第一图像与参考图像间的旋转向量R和平移向量T。
另外，在上述电子设备计算得到第一图像与参考图像之间的旋转向量和平 移向量之后，电子设备可以计算得到的基于旋转向量和平移向量，对第一图像 的特征序列进行更新，实现对目标图像的二级配准处理。
具体地，可以是通过公式(5)对上述第一图像的特征序列进行更新，如 下：
Figure BDA0003109099790000101
其中，R和T分别为第一图像与参考图像之间的旋转向量和平移向量；
Figure BDA0003109099790000102
为二级配准处理后的特征序列。
示例性地，如图4所示，在电子设备通过一级配准模块完成对目标图像的 一级配准处理之后，电子设备还可以通过其二级配准模块对目标图像进行二级 配准处理。而在二级配准处理中，电子设备可以先进行2×2分块，即分别将 参考图像31和第一图像41的图像区域划分为2×2的图像子区域；再进行分 块平移估计，即通过参考图像31的特征序列和第一图像41的特征序列，计算 得到2×2的图像子区域的平移向量；然后进行旋转平移求解，即基于2×2的 图像子区域的平移向量，计算得到旋转向量R和平移向量T；最后进行特征更新，即通过旋转向量R和平移向量T对第一图像41的特征序列进行更新。
需要说明的是，在上述电子设备对第一图片的特征序列进行更新即完成二 级配准处理后，电子设备可以是直接将二级配准处理后得到的第二图像作为配 准图像。
或者，上述将所述第二图像确定为所述配准图像，可以包括：
在所述第一配准误差小于或者等于预设误差阈值的情况下，将所述第二图 像确定为所述配准图像，其中，所述第一配准误差为：基于所述参考图像的特 征序列和更新后的第一图像的特征序列计算得到。
基于此，通过计算得到的第一配准误差与预设误差阈值进行比较，且在第 一配准误差小于或者等于预设误差阈值的情况下，将第二图像确定为配准图 像，从而可以实现保证最终得到的配准图像的配准精度能够达到实际所需的精 度。
其中，上述基于参考图像的特征序列和更新后的第一图像的特征序列，计 算得到第一配准误差，可以是通过预设的配准误差计算算法实现。
具体地，可以是通过公式(6)计算得到上述第一配准误差，如下：
Figure BDA0003109099790000111
其中，μ(·)表示均值计算；
公式(6)的物理意义是，所述的二级配准处理后的特征序列
Figure BDA0003109099790000113
与参考 图像的特征序列Er在空间位置上的平均差值。
在另一个实施例中，上述基于第一图像进行至少一次配准处理，可以是对 目标图像进行一次配准后，继续进行多次配准处理。例如，可以是在第一图像 的基础上继续进行预设次数的配准处理，该预设次数可以是大于或者等于两 次，且该多次配准处理仅在第预设次数的配准处理完成时，将第预设次数的配 准处理得到的图像作为上述配准图像。
或者，上述将所述第二图像确定为配准图像，可以包括：
在所述第一配准误差小于或者等于预设误差阈值的情况下，将所述第一图 像更新为所述第二图像；
基于所述第二图像进行N次配准处理，得到第N次配准处理的图像，且 所述配准图像为所述第N次配准处理后得到的图像，所述N为正整数；
其中，在所述N次配准处理中的第M次配准处理包括：
提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像 为第二图像；在所述M大于1的情况下，所述待配准图像为上一次配准处理 后得到的图像；
将待配准图像的图像区域划分为多个图像子区域，并基于所述待配准图像 的特征序列，计算得到所述待配准图像的多个图像子区域的平移向量；
基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的 特征序列进行更新，得到所述第M次配准处理后的图像。
基于此，在上述二级配准处理的配准精度未达到所需即配准误差超出预设 误差阈值的情况下，可以继续对二级配准处理后的图像进行N次配准，从而进 一步提升配准处理的精度。
本申请实施例中，在上述N次配准处理的第M次配准处理中，电子设备 提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像为所 述第二图像；在所述M大于1的情况下，所述待配准图像为上一次配准处理 后得到的图像；将待配准图像的图像区域划分为多个图像子区域，并基于所述 待配准图像的特征序列，计算得到所述待配准图像的多个图像子区域的平移向 量；基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的 特征序列进行更新，得到所述第M次配准处理后的图像。
其中，在第M次配准处理中，电子设备可以提取上一次配准处理后得到 的图像的特征序列，即在M＝1的情况下，上一次配准处理为上述二级配准处 理，那么，电子设备提取上述第二图片(此时第二图片为待配准图片)的特征 序列；而在M大于1的情况下，上一次配准处理为上述N次配准处理中的第 M-1次配准处理(即M+1级配准处理)，此时，电子设备提取第M-1次配准处 理后的图片(此时为待配准图片)的特征序列。
另外，在提取到上述待配准图像的特征序列之后，电子设备可以对待配准 图像的图像区域划分为多个图像子区域，并基于待配准图像的特征序列，计算 得到待配准图像的多个图像子区域的平移向量。
需要说明的是，上述由待配准图像划分得到的图像子区域的数量，可以与 二级配准处理中由第一图像划分得到的图像子区域的数量相同；或者，也可以 与二级配准处理中由第一图像划分得到的图像子区域的数量不同。
具体地，在上述二级配准处理中可以将第一图像的图像区域划分为2×2 的图像子区域，而在上述N次配准处理的每一次配准处理中，可以将待配准图 像的图像区域划分为K×K个图像子区域，K为大于2的整数，且K等于M+2。 此时，可以通过公式(7)得到K2个图像子区域的平移向量，如下：
Figure BDA0003109099790000121
其中，
Figure BDA0003109099790000131
表示K2个图像子区域中第k个图像子区域Pk的平移向量。
本申请实施例中，在获取到待配准图像的多个图像子区域的平移向量之 后，电子设备可以直接基于待配准图像中所有图像子区域的平移向量，对待配 准图像的特征序列进行更新。
或者，由于在图像拍摄中可能存在噪声影响(如传感器在工作时受外界影 响，或者，多次曝光图像见存在运动目标，等等)，从而可能造成之前的特征 提取中产生噪声。因此，为消除噪声带来的影响，上述第M次配准处理，还 可以包括：
基于所述待配准图像的多个图像子区域的平移向量，剔除所述待配准图像 的多个图像子区域中不满足预设条件的部分图像子区域；
所述第M次配准处理后的图像为：基于剔除后所述待配准图像中被保留 的图像子区域的平移向量，对所述待配准图像的特征序列进行更新得到的图 像。
基于此，通过将待配准图像的多个图像子区域中不满足预设条件的部分图 像区域剔除，从而在对第三特征序列进行更新中，仅依赖待配准图像中被保留 的图像区域的平移向量实现，进而可以进一步提升配准精度。
其中，上述基于待配准图像的多个图像子区域的平移向量，剔除待配准图 像的多个图像子区域中不满足预设条件的部分图像子区域，可以是计算待配准 图像的多个图像子区域的平移向量的平均量，并根据每一图像子区域的平移向 量与该平均量之间的差值的绝对值，将绝对值较大的至少一个图像子区域作为 存在噪声的图像子区域并进行删除。例如，可以是将绝对值最大的图像子区域 剔除等。
另外，在电子设备将待配准图像的多个图像子区域中部分图像子区域剔除 后，电子设备可以基于剔除后被保留下来的待配准图像的所有图像子区域的平 移向量，更新待配准图像的特征序列。
本申请实施例中，上述基于待配准图像的多个图像子区域(可以是剔除后 的图像子区域)的平移向量，对待配准图像的特征序列进行更新，可以是参考 二级配准处理中，通过待配准图像的多个图像子区域的平移向量，计算得到待 配准图像与参考图像之间的旋转向量和平移向量，并通过旋转向量和平移向量 更新待配准图像的特征序列。
或者，上述第M次配准处理，还可以包括：
生成所述待配准图像的多个图像子区域的平移向量的平移向量序列，并计 算所述平移向量序列对应的空间变换矩阵；
其中，所述第M次配准处理后的图像为：基于所述空间变换矩阵，对所 述待配准图像的特征序列进行更新得到的图像。
基于此，通过生成待配准图像的多个图像子区域的平移向量的平移向量序 列，进而计算得到平移向量序列对应的空间变换矩阵，并基于计算得到的空间 变换矩阵对待配准图像的特征序列进行更新，可以进一步提升配准精度。
需要说明的是，上述计算所述平移向量序列对应的空间变换矩阵，可以是 选择最优的方法估计稳定的空间变换矩阵，即实现最优变换H*求解。所述的 选择最优的方法，指根据所述的合适的平移向量序列的数量和质量进行判断。 所述的最优变换H*，体现了待配准的多次曝光图像间的局部对应关系，当图 像分块数量H*由大变小时，逐渐加强对图像局部的配准作用力，继而达到逐 步求精的目的。具体求解方式与所述的二级配准处理中旋转平移求解步骤相 同，利用所述的合适的平移向量构建虚拟的匹配特征点对，便可估计最优变换。
另外，上述基于空间变换矩阵，对待配准图像的特征序列进行更新，可以 是通过公式(8)实现，如下：
Figure BDA0003109099790000141
其中，
Figure BDA0003109099790000142
为K(即M+2)级配准处理后(即上述N次配准处理中的第 M次配准处理)的特征序列。
示例性地，如图5所示，在K级配准处理(即K＝M+2)中，电子设备先 进行K×K分块处理，即将参考图像31和待配准图像51分别划分为K×K个 图像子区域；再进行分块平移估计，即计算K×K个图像子区域中各图像子区 域的平移向量；再进行平移向量筛选，即将K×K个图像子区域中存在噪声的 图像子区域剔除；然后进行最优变换求解，即通过去除噪声后的图像子区域的 平移向量，计算得到空间变换矩阵；最后通过空间变换矩阵对待配准图像51 的特征序列进行特征更新。
本申请实施例中，上述第M次配准处理还可以包括：
计算所述第M次配准处理后的图像的特征序列与所述参考图像的特征序 列的第二配准误差，并在所述第二配准误差小于或者等于所述预设误差阈值的 情况下，将所述第M次配准处理作为所述第N次配准处理；或者，
若确定所述M次配准处理为预设次数的配准处理，则将所述第M次配准 处理作为所述第N次配准处理。
基于此，可以通过判断每一次配准处理后的配准误差是否小于或者等于预 设误差阈值，或者判断本次配准处理是否达到预设次数的配准处理，以实现及 时对配准处理的停止，即可以保证配准精度，同时又可以保证处理速度。
其中，上述计算第二配准误差，可以通过公式(9)实现，如下：
Figure BDA0003109099790000151
其中，表示均值计算；
公式(9)的物理意义是，所述的M+2级配准模块更新后的特征序列{Ei K} 与参考图像的特征Er在空间位置上的平均差值。
那么，在上述第M次配准处理对待配准图像进行更新后，电子设备确定 计算得到的第二配准误差τi是否达到预设误差阈值，或者，第M次配准处理 是否为预设次数的配准处理，若是，则停止继续进行下一次配准处理，将第M 次配准处理后的图像作为配准图像；反之，则继续进行下一次配准处理，即如 图2所示。
需要说明的是，上述对二级配准处理后的图像进行N次配准处理中每次配 准处理，可以是参考二级配准处理的过程，将上一级配准处理得到的图像的图 像区域进行划分，计算得到划分后的图像子区域的平移向量，并基于划分后的 图像子区域的平移向量，计算得到上一级配准处理得到的图像与参考图像的旋 转向量和平移向量，最后通过计算得到的旋转向量和平移向量，得到上一级配 准处理得到的图像的特征序列进行更新。
需要说明的是，本申请实施例提供的图像的配准处理方法，执行主体可以 为图像的配准处理装置，或者该图像的配准处理装置中的用于执行图像的配准 处理方法的控制模块。本申请实施例中以图像的配准处理装置执行图像的配准 处理方法为例，说明本申请实施例提供的图像的配准处理装置。
请参见图6，是本申请实施例提供的图像的配准处理装置的结构示意图， 如图6所示，该装置600包括：
特征提取模块601，用于提取参考图像的特征序列和目标图像的特征序列， 其中，所述目标图像为多次曝光图像序列中除所述参考图像之外的任一图像；
全局平移向量计算模块602，用于基于所述参考图像的特征序列和所述目 标图像的特征序列，计算所述目标图像与所述参考图像之间的全局平移向量；
第一配准处理模块603，用于基于所述全局平移向量，对所述目标图像的 特征序列进行更新，得到配准处理后的第一图像；
第二配准处理模块604，用于基于所述第一图像进行至少一次配准处理， 得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区 域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像 子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的 图像。
基于此，在电子设备对多次曝光图像序列进行配准处理的过程中，通过计 算目标图像的全局平移向量，并基于全局平移向量对目标图像的特征序列进行 更新，实现得到目标图像进行第一次配准处理后的第一图像，并在第一图像的 基础上，进一步对第一次配准处理后的第一图像进行至少一次配准处理，且每 次配准处理是通过待配准图像的多个图像子区域的平移向量实现，得到最终的 配准图像。如此，通过本申请提供的图像的配准处理方法，通过多次配准处理， 且多次配准处理中兼顾整体和局部，可以有效提升对多次曝光图像序列进行配 准的精确度。
可选地，所述第二配准处理模块604，包括：
第一特征序列获取单元，用于获取所述第一图像的特征序列；
第一平移向量计算单元，用于将所述第一图像的图像区域划分为多个图像 子区域，并基于所述第一图像的特征序列，计算得到所述图像子区域的平移向 量；
配准处理单元，用于基于所述第一图像的多个图像子区域的平移向量，对 所述第一图像的特征序列进行更新，得到配准处理后的第二图像；
配准图像确定单元，用于将所述第二图像确定为所述配准图像。
基于此，通过对第一图像的图像区域划分为多个图像子区域，并基于多个 图像子区域的平移向量(即局部平移向量)，对一级配准处理后得到的第一图 像的特征序列进行更新，实现对目标图像的二级配准处理，从而不仅可以提高 配准精确度，还可以保证处理速度。
可选地，所述配准处理单元，包括：
旋转平移子单元，用于基于所述第一图像的多个图像子区域的平移向量， 计算得到所述第一图像与所述参考图像之间的旋转向量和平移向量；
配准处理子单元，用于基于所述第一图像与所述参考图像之间的旋转向量 和平移向量，对所述第一图像的特征序列进行更新。
基于此，通过第一图像的多个图像子区域的平移向量，计算得到第一图像 与参考图像之间的旋转向量和平移向量，再通过计算得到的旋转向量和平移向 量，对第一图像的特征序列进行更新，从而使配准的精确度更高。
可选地，所述配准图像确定单元，具体用于：
在所述第一配准误差小于或者等于预设误差阈值的情况下，将所述第二图 像确定为所述配准图像。
基于此，通过计算得到的第一配准误差与预设误差阈值进行比较，且在第 一配准误差小于或者等于预设误差阈值的情况下，将第二图像确定为配准图 像，从而可以实现保证最终得到的配准图像的配准精度能够达到实际所需的精 度。
可选地，所述配准图像确定单元，包括：
配准处理子单元，用于在第一配准误差小于或者等于预设误差阈值的情况 下，基于所述第二图像继续进行N次配准处理，得到第N次配准处理后的图 像，所述N为正整数；
配准图像确定子单元，用于将所述N次配准处理后得到的图像确定为配准 图像；
其中，在所述N次配准处理中的第M次配准处理包括：
提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像 为所述第二图像；在所述M大于1的情况下，所述待配准图像为上一次配准 处理后得到的图像；
将待配准图像的图像区域划分为多个图像子区域，并基于所述待配准图像 的特征序列，计算得到所述待配准图像的多个图像子区域的平移向量；
基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的 特征序列进行更新，得到所述第M次配准处理后的图像。
基于此，在上述二级配准处理的配准精度未达到所需即配准误差超出预设 误差阈值的情况下，可以继续对二级配准处理后的图像进行N次配准，从而进 一步提升配准处理的精度。
可选地，所述第M次配准处理还包括：
计算所述第M次配准处理后的图像的特征序列与所述参考图像的特征序 列的第二配准误差，并在所述第二配准误差小于或者等于所述预设误差阈值的 情况下，将所述第M次配准处理作为所述第N次配准处理；或者，
若确定所述M次配准处理为预设次数的配准处理，则将所述第M次配准 处理作为所述第N次配准处理。
基于此，通过判断每一次配准处理后的配准误差是否小于或者等于预设误 差阈值，或者判断本次配准处理是否达到预设次数的配准处理，以实现及时对 配准处理的停止，即可以保证配准精度，同时又可以保证处理速度。
可选地，所述第M次配准处理还包括：
生成所述待配准图像的多个图像子区域的平移向量的平移向量序列，并计 算所述平移向量序列对应的空间变换矩阵；
其中，所述第M次配准处理后的图像为：基于所述空间变换矩阵，对所 述待配准图像的特征序列进行更新得到的图像。
基于此，通过生成待配准图像的多个图像子区域的平移向量的平移向量序 列，进而计算得到平移向量序列对应的空间变换矩阵，并基于计算得到的空间 变换矩阵对待配准图像的特征序列进行更新，可以进一步提升配准精度。
可选地，所述第M次配准处理，还包括：
基于所述待配准图像的多个图像子区域的平移向量，剔除所述待配准图像 的多个图像子区域中不满足预设条件的部分图像子区域；
所述第M次配准处理后的图像为：基于剔除后所述待配准图像中被保留 的图像子区域的平移向量，对所述待配准图像的特征序列进行更新得到的图 像。
基于此，通过将待配准图像的多个图像子区域中不满足预设条件的部分图 像区域剔除，从而在对第三特征序列进行更新中，仅依赖待配准图像中被保留 的图像区域的平移向量实现，进而可以进一步提升配准精度。
本申请实施例中的图像的配准处理装置可以是装置，也可以是终端中的部 件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设 备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、 车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA) 等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage， NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜 员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像的配准处理装置可以为具有操作系统的装置。该操 作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他 可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像的配准处理装置能够实现图1至图5的方法实施 例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理 器701，存储器702，存储在存储器702上并可在所述处理器701上运行的程 序或指令，该程序或指令被处理器701执行时实现上述图像的配准处理方法实 施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备 和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出 单元803、输入单元804、传感器805、显示单元806、用户输入单元807、 接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电 源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通 过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电 子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少 的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器810，用于：
提取参考图像的特征序列和目标图像的特征序列，其中，所述目标图像为 多次曝光图像序列中除所述参考图像之外的任一图像；
基于所述参考图像的特征序列和所述目标图像的特征序列，计算所述目标 图像与所述参考图像之间的全局平移向量；
基于所述全局平移向量，对所述目标图像的特征序列进行更新，得到配准 处理后的第一图像；
基于所述第一图像进行至少一次配准处理，得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区 域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像 子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的 图像。
基于此，在电子设备对多次曝光图像序列进行配准处理的过程中，通过计 算目标图像的全局平移向量，并基于全局平移向量对目标图像的特征序列进行 更新，实现得到目标图像进行第一次配准处理后的第一图像，并在第一图像的 基础上，进一步对第一次配准处理后的第一图像进行至少一次配准处理，且每 次配准处理是通过待配准图像的多个图像子区域的平移向量实现，得到最终的 配准图像。如此，通过本申请提供的图像的配准处理方法，通过多次配准处理， 且多次配准处理中兼顾整体和局部，可以有效提升对多次曝光图像序列进行配 准的精确度。
可选地，处理器810，还用于：
获取所述第一图像的特征序列；
将所述第一图像的图像区域划分为多个图像子区域，并基于所述第一图像 的特征序列，计算得到所述图像子区域的平移向量；
基于所述第一图像的多个图像子区域的平移向量，对所述第一图像的特征 序列进行更新，得到配准处理后的第二图像；
将所述第二图像确定为所述配准图像。
基于此，通过对第一图像的图像区域划分为多个图像子区域，并基于多个 图像子区域的平移向量(即局部平移向量)，对一级更新后的第一图像的特征 序列进行更新，实现对目标图像的二级配准处理，从而不仅可以提高配准精确 度，还可以保证处理速度。
可选地，处理器810，还用于：
基于所述第一图像的多个图像子区域的平移向量，计算得到所述第一图像 与所述参考图像之间的旋转向量和平移向量；
基于所述第一图像与所述参考图像之间的旋转向量和平移向量，对所述第 一图像的特征序列进行更新。
基于此，通过第一图像的多个图像子区域的平移向量，计算得到第一图像 与参考图像之间的旋转向量和平移向量，再通过计算得到的旋转向量和平移向 量，对第一图像的特征序列进行更新，从而使配准的精确度更高。
可选地，处理器810，还用于：
在所述第一配准误差小于或者等于预设误差阈值的情况下，将所述第二图 像确定为所述配准图像，其中，所述第一配准误差为：基于所述参考图像的特 征序列和更新后的第一图像的特征序列计算得到。
基于此，通过计算得到的第一配准误差与预设误差阈值进行比较，且在第 一配准误差小于或者等于预设误差阈值的情况下，将第二图像确定为配准图 像，从而可以实现保证最终得到的配准图像的配准精度能够达到实际所需的精 度。
可选地，处理器810，还用于：
在第一配准误差小于或者等于预设误差阈值的情况下，基于所述第二图像 继续进行N次配准处理，得到第N次配准处理后的图像，所述N为正整数；
将所述N次配准处理后得到的图像确定为配准图像；
其中，在所述N次配准处理中的第M次配准处理包括：
提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像 为所述第二图像；
在所述M大于1的情况下，所述待配准图像为上一次配准处理后得到的 图像；将待配准图像的图像区域划分为多个图像子区域，并基于所述待配准图 像的特征序列，计算得到所述待配准图像的多个图像子区域的平移向量；
基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的 特征序列进行更新，得到所述第M次配准处理后的图像。
基于此，在上述二级配准处理的配准精度未达到所需即配准误差超出预设 误差阈值的情况下，可以继续对二级配准处理后的图像进行N次配准，从而进 一步提升配准处理的精度。
可选地，所述第M次配准处理还包括：
计算所述第M次配准处理后的图像的特征序列与所述参考图像的特征序 列的第二配准误差，并在所述第二配准误差小于或者等于所述预设误差阈值的 情况下，将所述第M次配准处理作为所述第N次配准处理；或者，
若确定所述M次配准处理为预设次数的配准处理，则将所述第M次配准 处理作为所述第N次配准处理。
基于此，通过判断每一次配准处理后的配准误差是否小于或者等于预设误 差阈值，或者判断本次配准处理是否达到预设次数的配准处理，以实现及时对 配准处理的停止，即可以保证配准精度，同时又可以保证处理速度。
可选地，所述第M次配准处理，还包括：
生成所述待配准图像的多个图像子区域的平移向量的平移向量序列，并计 算所述平移向量序列对应的空间变换矩阵；
其中，所述第M次配准处理后的图像为：基于所述空间变换矩阵，对所 述待配准图像的特征序列进行更新得到的图像。
基于此，通过生成待配准图像的多个图像子区域的平移向量的平移向量序 列，进而计算得到平移向量序列对应的空间变换矩阵，并基于计算得到的空间 变换矩阵对待配准图像的特征序列进行更新，可以进一步提升配准精度。
可选地，所述第M次配准处理，还包括：
基于所述待配准图像的多个图像子区域的平移向量，剔除所述待配准图像 的多个图像子区域中不满足预设条件的部分图像子区域；
所述第M次配准处理后的图像为：基于剔除后所述待配准图像中被保留 的图像子区域的平移向量，对所述待配准图像的特征序列进行更新得到的图 像。
基于此，通过将待配准图像的多个图像子区域中不满足预设条件的部分图 像区域剔除，从而在对第三特征序列进行更新中，仅依赖待配准图像中被保留 的图像区域的平移向量实现，进而可以进一步提升配准精度。
应理解的是，本申请实施例中，输入单元804可以包括图形处理器 (GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在 视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片 或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液 晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807 包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。 触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、 轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及 各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器 和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程 序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理 器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序 或指令，该程序或指令被处理器执行时实现上述图像的配准处理方法实施例的 各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读 存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟 或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述 通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像 的配准处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复， 这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯 片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为 这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由 语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式 中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所 涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同 于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步 骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方 案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网 络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保 护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (16)

1.一种图像的配准处理方法，其特征在于，包括：
提取参考图像的特征序列和目标图像的特征序列，其中，所述目标图像为多次曝光图像序列中除所述参考图像之外的任一图像；
基于所述参考图像的特征序列和所述目标图像的特征序列，计算所述目标图像与所述参考图像之间的全局平移向量；
基于所述全局平移向量，对所述目标图像的特征序列进行更新，得到配准处理后的第一图像；
基于所述第一图像进行至少一次配准处理，得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像进行至少一次配准处理，得到配准图像，包括：
获取所述第一图像的特征序列；
将所述第一图像的图像区域划分为多个图像子区域，并基于所述第一图像的特征序列，计算得到所述图像子区域的平移向量；
基于所述第一图像的多个图像子区域的平移向量，对所述第一图像的特征序列进行更新，得到配准处理后的第二图像；
将所述第二图像确定为配准图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像的多个图像子区域的平移向量，对所述第一图像的特征序列进行更新，包括：
基于所述第一图像的多个图像子区域的平移向量，计算得到所述第一图像与所述参考图像之间的旋转向量和平移向量；
基于所述第一图像与所述参考图像之间的旋转向量和平移向量，对所述第一图像的特征序列进行更新。
4.根据权利要求2所述的方法，其特征在于，所述将所述第二图像确定为配准图像，包括：
在第一配准误差小于或者等于预设误差阈值的情况下，将所述第二图像确定为配准图像，其中，所述第一配准误差为：基于所述参考图像的特征序列和更新后的第一图像的特征序列计算得到。
5.根据权利要求2所述的方法，其特征在于，所述将所述第二图像确定为配准图像，包括：
在第一配准误差小于或者等于预设误差阈值的情况下，基于所述第二图像继续进行N次配准处理，得到第N次配准处理后的图像，所述N为正整数；
将所述N次配准处理后得到的图像确定为配准图像；
其中，在所述N次配准处理中的第M次配准处理包括：
提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像为所述第二图像；在所述M大于1的情况下，所述待配准图像为上一次配准处理后得到的图像；
将待配准图像的图像区域划分为多个图像子区域，并基于所述待配准图像的特征序列，计算得到所述待配准图像的多个图像子区域的平移向量；
基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的特征序列进行更新，得到所述第M次配准处理后的图像。
6.根据权利要求5所述的方法，其特征在于，所述第M次配准处理还包括：
计算所述第M次配准处理后的图像的特征序列与所述参考图像的特征序列的第二配准误差，并在所述第二配准误差小于或者等于所述预设误差阈值的情况下，将所述第M次配准处理作为所述第N次配准处理；或者，
若确定所述M次配准处理为预设次数的配准处理，则将所述第M次配准处理作为所述第N次配准处理。
7.根据权利要求5所述的方法，其特征在于，所述第M次配准处理，还包括：
生成所述待配准图像的多个图像子区域的平移向量的平移向量序列，并计算所述平移向量序列对应的空间变换矩阵；
其中，所述第M次配准处理后的图像为：基于所述空间变换矩阵，对所述待配准图像的特征序列进行更新得到的图像。
8.根据权利要求5所述的方法，其特征在于，所述第M次配准处理，还包括：
基于所述待配准图像的多个图像子区域的平移向量，剔除所述待配准图像的多个图像子区域中不满足预设条件的部分图像子区域；
所述第M次配准处理后的图像为：基于剔除后所述待配准图像中被保留的图像子区域的平移向量，对所述待配准图像的特征序列进行更新得到的图像。
9.一种图像的配准处理装置，其特征在于，包括：
特征提取模块，用于提取参考图像的特征序列和目标图像的特征序列，其中，所述目标图像为多次曝光图像序列中除所述参考图像之外的任一图像；
全局平移向量计算模块，用于基于所述参考图像的特征序列和所述目标图像的特征序列，计算所述目标图像与所述参考图像之间的全局平移向量；
第一配准处理模块，用于基于所述全局平移向量，对所述目标图像的特征序列进行更新，得到配准处理后的第一图像；
第二配准处理模块，用于基于所述第一图像进行至少一次配准处理，得到配准图像；
其中，在所述至少一次配准处理的每次配准处理中，待配准图像的图像区域被划分为多个图像子区域，且所述待配准图像的特征序列通过所述多个图像子区域的局部平移向量进行更新，所述待配准图像为上一次配准处理后得到的图像。
10.根据权利要求9所述的装置，其特征在于，所述第二配准处理模块，包括：
第一特征序列获取单元，用于获取所述第一图像的特征序列；
第一平移向量计算单元，用于将所述第一图像的图像区域划分为多个图像子区域，并基于所述第一图像的特征序列，计算得到所述图像子区域的平移向量；
配准处理单元，用于基于所述第一图像的多个图像子区域的平移向量，对所述第一图像的特征序列进行更新，得到配准处理后的第二图像；
配准图像确定单元，用于将所述第二图像确定为所述配准图像。
11.根据权利要求10所述的装置，其特征在于，所述配准处理单元，包括：
旋转平移子单元，用于基于所述第一图像的多个图像子区域的平移向量，计算得到所述第一图像与所述参考图像之间的旋转向量和平移向量；
配准处理子单元，用于基于所述第一图像与所述参考图像之间的旋转向量和平移向量，对所述第一图像的特征序列进行更新。
12.根据权利要求10所述的装置，其特征在于，所述配准图像确定单元，具体用于：
在第一配准误差小于或者等于预设误差阈值的情况下，将所述第二图像确定为所述配准图像，其中，所述第一配准误差为：基于所述参考图像的特征序列和更新后的第一图像的特征序列计算得到。
13.根据权利要求12所述的装置，其特征在于，所述配准图像确定单元，包括：
配准处理子单元，用于在第一配准误差小于或者等于预设误差阈值的情况下，基于所述第二图像继续进行N次配准处理，得到第N次配准处理后的图像，所述N为正整数；
配准图像确定子单元，用于将所述N次配准处理后得到的图像确定为配准图像；
其中，在所述N次配准处理中的第M次配准处理包括：
提取待配准图像的特征序列，在所述M为1的情况下，所述待配准图像为所述第二图像；在所述M大于1的情况下，所述待配准图像为上一次配准处理后得到的图像；
将待配准图像的图像区域划分为多个图像子区域，并基于所述待配准图像的特征序列，计算得到所述待配准图像的多个图像子区域的平移向量；
基于所述待配准图像的多个图像子区域的平移向量，对所述待配准图像的特征序列进行更新，得到所述第M次配准处理后的图像。
14.根据权利要求13所述的装置，其特征在于，所述第M次配准处理还包括：
计算所述待配准图像的特征序列与所述参考图像的特征序列的第二配准误差，并在所述第二配准误差小于或者等于所述预设误差阈值的情况下，将所述第M次配准处理作为所述第N次配准处理；或者，
若确定所述M次配准处理为预设次数的配准处理，则将所述第M次配准处理作为所述第N次配准处理。
15.根据权利要求13所述的装置，其特征在于，所述第M次配准处理还包括：
生成所述待配准图像的多个图像子区域的平移向量的平移向量序列，并计算所述平移向量序列对应的空间变换矩阵；
其中，所述第M次配准处理后的图像为：基于所述空间变换矩阵，对所述待配准图像的特征序列进行更新得到的图像。
16.根据权利要求13所述的装置，其特征在于，所述第M次配准处理，还包括：
基于所述待配准图像的多个图像子区域的平移向量，剔除所述待配准图像的多个图像子区域中不满足预设条件的部分图像子区域；
所述第M次配准处理后的图像为：基于剔除后所述待配准图像中被保留的图像子区域的平移向量，对所述待配准图像的特征序列进行更新得到的图像。
CN202110645691.0A 2021-06-09 2021-06-09 图像的配准处理方法及装置 Pending CN113592922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645691.0A CN113592922A (zh) 2021-06-09 2021-06-09 图像的配准处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645691.0A CN113592922A (zh) 2021-06-09 2021-06-09 图像的配准处理方法及装置

Publications (1)

Publication Number Publication Date
CN113592922A true CN113592922A (zh) 2021-11-02

Family

ID=78243624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645691.0A Pending CN113592922A (zh) 2021-06-09 2021-06-09 图像的配准处理方法及装置

Country Status (1)

Country Link
CN (1) CN113592922A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095517A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 虚化方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN105701820A (zh) * 2016-01-14 2016-06-22 上海大学 一种基于匹配区域的点云配准方法
GB201701383D0 (en) * 2017-01-27 2017-03-15 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
CN107705246A (zh) * 2017-10-16 2018-02-16 南京亘瑞医疗科技有限公司 图像配准方法和图像拼接方法及装置
CN108537832A (zh) * 2018-04-10 2018-09-14 安徽大学 基于局部不变灰度特征的图像配准方法、图像处理系统
US20180308245A1 (en) * 2016-11-02 2018-10-25 Shenzhen United Imaging Healthcare Co., Ltd. System and method for registering multi-modality images
US20190050999A1 (en) * 2017-08-14 2019-02-14 Siemens Healthcare Gmbh Dilated Fully Convolutional Network for Multi-Agent 2D/3D Medical Image Registration
CN110874827A (zh) * 2020-01-19 2020-03-10 长沙超创电子科技有限公司 湍流图像复原方法、装置、终端设备及计算机可读介质
CN112188082A (zh) * 2020-08-28 2021-01-05 努比亚技术有限公司 高动态范围图像拍摄方法、拍摄装置、终端及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN105701820A (zh) * 2016-01-14 2016-06-22 上海大学 一种基于匹配区域的点云配准方法
US20180308245A1 (en) * 2016-11-02 2018-10-25 Shenzhen United Imaging Healthcare Co., Ltd. System and method for registering multi-modality images
GB201701383D0 (en) * 2017-01-27 2017-03-15 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US20190050999A1 (en) * 2017-08-14 2019-02-14 Siemens Healthcare Gmbh Dilated Fully Convolutional Network for Multi-Agent 2D/3D Medical Image Registration
CN107705246A (zh) * 2017-10-16 2018-02-16 南京亘瑞医疗科技有限公司 图像配准方法和图像拼接方法及装置
CN108537832A (zh) * 2018-04-10 2018-09-14 安徽大学 基于局部不变灰度特征的图像配准方法、图像处理系统
CN110874827A (zh) * 2020-01-19 2020-03-10 长沙超创电子科技有限公司 湍流图像复原方法、装置、终端设备及计算机可读介质
CN112188082A (zh) * 2020-08-28 2021-01-05 努比亚技术有限公司 高动态范围图像拍摄方法、拍摄装置、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095517A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 虚化方法和装置
CN116095517B (zh) * 2022-08-31 2024-04-09 荣耀终端有限公司 虚化方法、终端设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN105913453A (zh) 一种目标跟踪方法和装置
CN112669381B (zh) 一种位姿确定方法、装置、电子设备及存储介质
CN113194253B (zh) 去除图像反光的拍摄方法、装置和电子设备
CN114445315A (zh) 图像质量增强方法和电子设备
CN114390201A (zh) 对焦方法及其装置
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN111199169A (zh) 图像处理方法和装置
CN113489909B (zh) 拍摄参数的确定方法、装置及电子设备
CN107133361A (zh) 手势识别方法、装置和终端设备
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN113628259A (zh) 图像的配准处理方法及装置
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN113592922A (zh) 图像的配准处理方法及装置
EP3146502B1 (en) Accelerated image processing
CN110135329B (zh) 从视频中提取姿势的方法、装置、设备及存储介质
CN115690845A (zh) 一种运动轨迹预测方法及装置
CN112702528B (zh) 视频防抖方法、装置及电子设备
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN113473012A (zh) 虚化处理方法、装置和电子设备
CN112333388B (zh) 图像显示方法、装置和电子设备
Chen et al. Video stabilisation using local salient feature in particle filter framework
CN112367470B (zh) 图像处理方法、装置及电子设备
CN116342992A (zh) 图像处理方法和电子设备
CN115604585A (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination