CN116503448A - 一种自适应分块估算位移的多曝光图像配准方法、装置及设备 - Google Patents

Abstract

本发明涉及一种自适应分块估算位移的多曝光图像配准方法、装置及设备，该方法属于计算机视觉领域；所述方法包括获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。本发明能恰当地把控局部位移的粒度，提高运算效率。本发明从最大类间方差二值化映射到像素值排序二值化，利用两个方向上的双向位移检验，进一步提升了局部位移向量的鲁棒性。本发明具有计算量小，速度快、易实施等优点。

Description

一种自适应分块估算位移的多曝光图像配准方法、装置及 设备

技术领域

本发明涉及一种自适应分块估算位移的多曝光图像配准方法、装置及设备，属于计算机视觉领域。

背景技术

现有成像设备往往无法直接捕获自然场景中的高动态范围亮度信息，受计算机视觉技术的发展，高动态范围成像技术通过多曝光的方式一定程度可解决成像设备在动态范围上的限制，当前广泛应用在手机摄像、安防监控、智能汽车等领域。高动态范围成像技术的一种主要实现手段是将多张低动态范围图像融合为一张包含足够多高动态范围信息的低动态范围图像，即多曝光图像融合。在多曝光图像序列拍摄过程中，拍摄设备和场景间往往会存在一定的相对移动，直接实施图像融合将不可避免地产生伪影，因此需对多曝光图像序列进行配准操作。

图像配准方法大致可分为两类：基于图像块的方法和基于特征点的方法。前者利用图像块之间的空间域相似度或变换域相似度进行估计，因直接依赖图像块的像素值，而受光照、噪声、形变等影响较大，在复杂应用情况下易造成配准失败；后者通过从图像提取稳定的、鲁棒的特征点，再基于特征点坐标建立图像间的空间变换关系，能够较稳定地实现复杂应用情况下的图像配准，然而其时间复杂度较高。

基于图像块的配准方法，由于其本质是相似度的衡量，当受到光照、噪声等干扰时，容易产生估计误差。此外，当图像块间存在较大的形变时，基于图像块的配准方法在局部也不能获得较好的效果，例如MTB算法(Ward G.Fast,robust image registration forcompositing high dynamic range photographs from hand-held exposures[J].Journal of graphics tools,2003,8(2):17-30.)就无法解决局部位移下的多曝光图像配准问题。基于特征点的方法包括特征点提取、特征描述符估计和特征点的匹配等步骤，其中特征点的检测和匹配搜索过程往往需要较大的时间消耗，对于终端设备来说难以承受。并且，由于终端设备在高动态范围成像应用中，往往在多曝光图像拍摄期间的移动较小，直接使用基于特征点的配准也不是最好的选择。

发明内容

本发明的目的在于，面向移动终端应用，提供一种自适应分块估算位移的多曝光图像配准方法、装置及设备。考虑如手机等移动终端在实现高动态范围成像时，一方面多曝光图像间的位移和形变量相对较小，另一方面计算资源和用户体验要求时间消耗要低。本发明为尽可能从局部较好地较快地配准多曝光图像，提出一种自适应分块估算位移的多曝光图像配准方法、装置及设备。

本发明的改进点主要包括：提出一种利用自适应分块来计算图像间局部位移的方法。其中，自适应分块利用图像分块内梯度的方差来判别，使梯度方差较小的区域分块较大，梯度方差较大的区域分块较小；图像间局部位移通过比较分块间的二值图来判别，并利用分块内的图像梯度值大小筛选分块，同时使用一种双向检验的方法来保证位移的有效性。

在本发明的第一方面，本发明提供了一种自适应分块估算位移的多曝光图像配准方法，所述方法包括：

获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；

根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

在本发明的第二方面，本发明还提供了一种自适应分块估算位移的多曝光图像配准装置，所述装置包括：

获取模块，用于获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

划分模块，用于将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

估计模块，用于按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；

配准模块，用于根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

在本发明的第三方面，本发明还提供了一种自适应分块估算位移的多曝光图像配准，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行如本发明第一方面所述的图像配准方法。

本发明的有益效果：

本发明面向移动终端应用，提出了一种自适应分块估算位移的多曝光图像配准方法、装置及设备。核心思想是，根据待配准图像的目标内容，将图像自适应地进行分块，接着利用快速的MTB算法为每个分块并行地估算局部位移向量，能够快速地实现多曝光图像配准，且能够应对比传统的全局位移更复杂的空间变换。所述的自适应分块，一方面能够恰当地把控局部位移的粒度，当图像纹理信息较多时，可进行较细粒度的局部分块，反之局部分块较大，另一方面当某分块内的图像像素值变化较小时，标记该分块无效，不参与位移向量计算。对于局部位移向量的计算，本发明从最大类间方差二值化映射到像素值排序二值化，利用两个方向上的双向位移检验，进一步提升了局部位移向量的鲁棒性。本发明相比于基于特征点的配准方法，具有计算量小，速度快、易实施等优点，能广泛应用于移动终端的配准场景中。

附图说明

图1是本发明实施例的一种自适应分块估算位移的多曝光图像配准方法流程图；

图2是本发明实施例的自适应分块流程图；

图3是本发明实施例的一种自适应分块示意图；

图4是本发明实施例的局部匹配流程图；

图5是本发明实施例的一种自适应分块估算位移的多曝光图像配准装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本发明的目的、技术方案及优点更加清楚明白，结合附图对本发明实施例进一步详细说明。

图像配准可以理解为将不同时间、不同传感器(成像设备，如摄像机)或不同条件下(如天气、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。在图像配准过程中，可以根据参考图像和待配准图像之间的映射关系，将待配准图像进行透视变化处理，以将待配准图像映射至参考图像对应的图像空间，实现待配准图像与参考图像的配准。

相关技术可知，在进行图像配准的过程中，往往多曝光图像间的位移和形变量相对较小，而计算资源和用户体验要求时间消耗较低，但却无法较好地较快地配准多曝光图像，为了解决MTB算法仅能处理全局位移下的多曝光图像配准问题，本发明提供一种自适应分块估算位移的多曝光图像配准备方法，提出利用自适应分块来计算图像间局部位移的方法，从而获取空间变换参数。如图1所示，本发明主要包括输入待配准图像、自适应分块、匹配点集建立和输出配准图像等四个步骤，以下进行详细说明。

101、获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

在一种实施例中，获取至少两幅不同曝光量图像。其中，至少两幅不同曝光量图像可以是拍摄同一场景或同一目标对象的多帧图像。进一步地，可以在多帧图像中确定参考图像。在一示例中，参考图像可以是清晰度最高的图像。在另一示例中，待配准图像可以是多帧图像中除参考图像之外的其他图像。

本发明在技术方案说明中，以两幅不同曝光量图像为例进行配准说明，并在颜色空间中提取图像的亮度通道，且记正常曝光区域较大的图像亮度通道为参考图像I_ref，正常曝光区域较小的图像亮度通道为源图像I_ref，将源图像作为待配准图像，利用参考图像和待配准图像之间的映射关系，将待配准图像进行透视变化处理，以将待配准图像映射至参考图像对应的图像空间，实现待配准图像与参考图像的配准。

102、将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

在本发明实施例中，考虑到虽然待配准图像之间的场景基本相同，但由于曝光时间差异可能造成不同图像间的有效信息不一致，因此为减少不必要的计算、提升时间效率，本发明选择利用正常曝光区域较少的图像即源图像实施自适应分块操作。

自适应分块的技术流程如图2所示，具体可以包括：

211、将所述源图像进行均匀分块，划分为尺度一定的多个分块图像；

在本发明实施例中，首先可以对源图像按照一定尺寸进行均匀分块，假设以2×2的大小，将所述源图像分为四个分块图像，其中每个分块图像的尺寸一致，例如，源图像的大小为256×256，将其以2×2的大小划分后，则每个分块图像的尺寸即为128×128，这四个分块图像分别代表源图像在上下左右方位的四个子图像。

212、计算出每个所述分块图像的梯度强度以及梯度强度方差；

在本发明实施例中，梯度强度的计算，可使用水平、垂直或对角的卷积核，图像分块内梯度方差可使用快速算法，且由于各图像分块独立互不影响，可通过并行计算的方式进行以进一步提升时间效率。

213、判断每个所述分块图像的梯度强度方差是否大于第一阈值，

在本发明实施例中，通过计算每个分块图像的梯度强度的方差可以衡量分块图像的纹理信息的丰富情况，因此本实施例通过判断分块图像的梯度强度方差与第一阈值的大小，来确定分块图像的纹理情况；其中，所述第一阈值可以根据本领域技术人员的经验进行设置，本发明对此不作具体的限定。

214、若小于第一阈值，则保留所述分块图像；

215、若不小于第一阈值，则继续将所述分块图像划分为尺寸更小的分块图像，直至达到最小分块尺寸，结束自适应迭代过程。

可以理解的是，本发明认为当图像纹理信息较丰富时，图像分块越小越能体现局部信息，而当纹理信息较稀少时，图像分块越大则更能保证每个图像分块内的信息是有效的，而图像梯度强度和方差一定程度可表征纹理信息的丰富程度，因此本发明基于梯度信息迭代地得到分块结果。本发明通过判断分块图像的梯度强度方差与第一阈值的大小关系，来判断是否继续分块，从而对包含更多纹理信息的图像划分为更细粒度的分块图像，对包含较少纹理信息的图像划分为相对于粗粒度的分块图像，以不同粒度的分块图像来显示源图像的纹理信息。

在本发明优选实施例中，结合具体数据对上述步骤作进一步详述：

首先对源图像I_src进行均匀分块，将其划分为2×2个分块，可记为{Paⁱ}，其中i＝1,2,3,4。分块操作仅是在图像的坐标空间进行坐标划分，不实际对图像进行分割。接着，对每个分块内的图像计算其梯度强度，记为并在每个分块内计算梯度强度的方差其中i＝1,2,3,4。

对于所述的个分块{Paⁱ}，逐一判断每个分块内图像的梯度方差是否大于某一阈值σ_t。若某分块Paⁱ满足该条件，则继续对该分块进行均匀分块，将其划分为个分块，可记为{Pa^ij}，其中j＝1,2,3,4，并继续计算每个分块内图像的梯度强度/>和梯度方差再逐一判断梯度方差/>是否大于某一阈值σ_t，并重复执行这样的操作。若某分块Paⁱ不满足该条件，则保留当前分块。在实际操作过程中，为防止该循环陷入无效地分块细分，设置最小分块大小来提前结束迭代过程。

如图3所示，以源图像尺寸为256×256为例，将源图像进行自适应分块后，每个分块图像由于其自身蕴含的纹理信息的不同，该分块图像有可能再被细分，也有可能不需要再被细分，因此，源图像可以呈现为多种尺寸的分块图像，例如左下角的分块图像就被划分过一次，其大小即为128×128，而其他分块图像可能被多次划分，例如左上角的分块图像则被划分过两次，其大小即为64×64，右下角的分块图像则被划分过三次，其大小即为32×32；这种划分方式不仅能够保证每个分块图像内的信息是有效的，还能够尽可能地体现局部信息，且具有相对较小的计算资源消耗和时间消耗，有利于移动终端的图像配准场景。

在本发明优选实施例中，所述自适应分块的技术流程还包括步骤216：

216、对分块图像进行筛选；计算出所有图像分块内的梯度强度的平均值和标准差；提取梯度强度小于平均值与标准差之间的差值的图像分块。

在上述迭代操作后，根据图像内容可自适应地获得大小不一的分块结果，为进一步提高鲁棒性，本发明继续实施分块筛选操作，进一步剔除梯度变化较少的分块。记所述的自适应分块后得到的分块为{Pa^k}，其中k＝1,2,…,K，共K个分块，每个分块内图像的梯度强度记为计算所有分块内图像梯度强度的平均值μ_Gsrc和标准差σ_Gsrc，接着直接剔除其内图像梯度强度值小于μ_Gsrc-σ_Gsrc的分块，得到最终的有效自适应分块{Pa^m}，其中m＝1,2,…,M，共M个分块。

103、按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；在本发明实施例中，如图4所示，所述局部匹配包括：以所述的自适应分块{Pa^m}为单位，分别在参考图像I_ref和源图像I_src上进行最大类间方差二值化、灰度值排序二值化、双向位移检验等操作，并根据所得的匹配点集估计参考图像与源图像间的空间变换参数，具体描述如下。

311、分别对参考图像和源图像进行最大类间方差二值化，计算出参考图像和源图像在所有分块中的二值化图像以及二值化分割阈值；

在本发明实施例中，所述最大类间方差二值化，即Otsu算法(Otsu N.A thresholdselection method from gray-level histograms[J].IEEE transactions on systems,man,and cybernetics,1979,9(1):62-66.)是一种常见的图像快速二值化方法，其核心是寻找一个使得类间方差最大的二分阈值。本发明直接使用Otsu算法计算参考图像I_ref和源图像I_ref在所有分块{Pa^m}中的二值化图像和/>即分别为参考图像I_ref和源图像I_src的最大类间方差二值化图像，以及二值化分割阈值/>和/>其中m＝1,2,…,M。

312、分别对参考图像和源图像进行像素值排序二值化，以对应的二值化分割阈值确定出所有分块的像素值排序二值化图像；

在本发明实施例中，针对参考图像I_ref，统计所有分块中的二值化分割阈值在对应分块中图像像素值正序中的第一位置比例/>若某二值化分割阈值/>在图像中对应多个相同像素值，则在计算正序中的位置比例时取平均值。在获得第一位置比例/>后，在源图像I_src的所有分块中，寻找该比例所对应的图像像素值正序中的值/>并以此为二值化分割阈值得到源图像I_src的像素值排序二值化图像/>

在本发明实施例中，针对源图像I_src，统计所有分块中的二值化分割阈值在对应分块中图像像素值正序中的第二位置比例/>若某二值化分割阈值/>在图像中对应多个相同像素值，则在计算正序中的位置比例时取平均值。在获得第二位置比例/>后，在参考图像I_ref的所有分块中，寻找该比例所对应的图像像素值正序中的值/>并以此为二值化分割阈值得到参考图像I_ref的像素值排序二值化图像/>

313、利用最大类间方差二值化图像和像素值排序二值化图像进行双向位移检验，确定出多个有效的位移向量；

在本发明实施例中，利用所述的最大类间方差二值化图像和像素值排序二值化图像/>实施MTB算法获得M对位移向量/>再利用所述的像素值排序二值化图像/>和最大类间方差二值化图像/>实施MTB算法获得M对位移向量其中m＝1,2,…,M。分别表示，从参考图像I_ref的最大类间方差二值化阈值映射到源图像I_src上形成的二值化图像间的，在M个分块{Pa^m}上的M个位移向量，以及从源图像I_src的最大类间方差二值化阈值映射到参考图像I_ref上形成的二值化图像间的，在M个分块{Pa^m}上的M个位移向量。

在本发明优选实施例中，为提升位移向量的鲁棒性，本发明对所述的两种情况下的位移向量进行双向检验，具体操作方法是：遍历计算第m个位移向量和间的角度，当其小于第二阈值θ_t时，计算当前两个位移向量的平均值并保留，否则剔除当前位移向量。最终，得到Z个有效的位移向量/>以及对应的Z个分块{Pa^z}，其中z＝1,2,…,Z。

314、按照有效的位移向量，估计得到空间变换参数。

在本发明实施例中，在图像空间上，最终保留了Z个不同大小的分块{Pa^z}，并为在每个分块内保留了参考图像I_ref和源图像I_src间的位移向量它表征了待配准图像在局部的对齐关系，并且基于此可进行空间变换参数的估计。典型地，可使用多单应性矩阵法、光流法、网格优化法等经典技术，或配合深度学习方法使用。

可以理解的是，所述步骤311和步骤312的顺序可以交换，这里为了方便叙述，以步骤311在前，步骤312在后，实际过程中，两者的顺序可以任意。104、根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

在本发明实施例中，根据步骤103估计的所述的空间变换参数，将源图像I_src映射到参考图像I_ref空间，得到配准后的源图像I′_src。

图5是本发明实施例的一种自适应分块估算位移的多曝光图像配准装置结构示意图，如图5所示，所述装置包括：

获取模块，用于获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

划分模块，用于将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

估计模块，用于按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；

配准模块，用于根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

在本发明还一实施例中，本发明还提出了一种自适应分块估算位移的多曝光图像配准设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行如本发明所述的图像配准方法。

可以理解的是，本公开实施例提供的图像配准设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述方法包括：

获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；

根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

2.根据权利要求1所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述自适应分块包括：

将所述源图像进行均匀分块，划分为尺度一定的多个分块图像；

计算出每个所述分块图像的梯度强度以及梯度强度方差；

判断每个所述分块图像的梯度强度方差是否大于第一阈值，

若小于第一阈值，则保留所述分块图像；

若不小于第一阈值，则继续将所述分块图像划分为尺寸更小的分块图像，直至达到最小分块尺寸，结束自适应迭代过程。

3.根据权利要求1或2所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述自适应分块还包括对分块图像进行筛选；计算出所有图像分块内的梯度强度的平均值和标准差；提取梯度强度小于平均值与标准差之间的差值的图像分块。

4.根据权利要求1所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述局部匹配包括：

分别对参考图像和源图像进行最大类间方差二值化，计算出参考图像和源图像在所有分块中的二值化图像以及二值化分割阈值；

分别对参考图像和源图像进行像素值排序二值化，以对应的二值化分割阈值确定出所有分块的像素值排序二值化图像；

利用最大类间方差二值化图像和像素值排序二值化图像进行双向位移检验，确定出多个有效的位移向量；

按照有效的位移向量，估计得到空间变换参数。

5.根据权利要求4所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述像素值排序二值化包括：

针对参考图像，统计所有图像分块中的二值化分割阈值在对应图像分块中图像像素值正序中的第一位置比例；

在源图像的所有分块中，寻找所述第一位置比例所对应的图像像素值正序中的值，并以此为二值化分割阈值得到源图像的像素值排序二值化图像；

针对源图像，统计所有图像分块中的二值化分割阈值在对应图像分块中图像像素值正序中的第二位置比例；

在参考图像的所有分块中，寻找所述第二位置比例所对应的图像像素值正序中的值，并以此为二值化分割阈值得到参考图像的像素值排序二值化图像。

6.根据权利要求5所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，若某二值化分割阈值对应多个相同像素值，则在计算正序中的位置比例时取平均值。

7.根据权利要求4所述的一种自适应分块估算位移的多曝光图像配准方法，其特征在于，所述双向位移检验包括：

利用参考图像的最大类间方差二值化图像和源图像的像素值排序二值化图像，获得多对第一位移向量；

利用参考图像的像素值排序二值化图像和源图像的最大类间方差二值化图像，获得多对第二位移向量；

遍历计算多对第一位移向量和多对第二位移遍历向量间的角度，当角度小于第二阈值时，计算当前两个位移向量的平均值并保留，否则剔除当前位移向量；直至确定出多个有效的位移向量。

8.一种自适应分块估算位移的多曝光图像配准装置，其特征在于，所述装置包括：

获取模块，用于获取至少两幅不同曝光量图像，并从中确定出参考图像和源图像；

划分模块，用于将所述源图像按照梯度强度方差进行自适应分块，划分为多个分块图像；

估计模块，用于按照所述源图像的自适应分块和所述参考图像进行局部匹配，估计出空间变换参数；

配准模块，用于根据所述空间变换参数，将所述源图像映射到参考图像的空间，得到配准后的源图像。

9.一种自适应分块估算位移的多曝光图像配准设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行如权利要求1～7任一项所述的图像配准方法。