CN114155285A

CN114155285A - 基于灰度直方图的图像配准方法

Info

Publication number: CN114155285A
Application number: CN202111270142.6A
Authority: CN
Inventors: 王冠; 吉贝贝; 李强; 徐小泉
Original assignee: Shanghai Hailichuang Technology Co ltd
Current assignee: Shanghai Hailichuang Technology Co ltd
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2022-03-08
Anticipated expiration: 2041-10-29
Also published as: CN114155285B

Abstract

本申请公开了基于灰度直方图的图像配准方法，结合灰度统计信息以及尺度不变信息，对不同曝光图像进行配准。为了提高全局匹配时检测的特征点的准确性和可靠性，首先将图像进行灰度图匹配，使不同曝光图像色调一致；然后进行全局对齐，在计算两幅图像之间的单应矩阵时，在现有的算法基础上进一步剔除可能存在的错误匹配点并对矩阵进行评估，保证在全局对齐时，去除因运动物体或者旋转抖动过大造成的误差，进一步提高对齐的准确性；最后将阈值图与块匹配进行结合，更加简单快速准确地检测出运动区域并进行匹配，大大减少了匹配时间。

Description

基于灰度直方图的图像配准方法

技术领域

本发明属于图像处理技术领域，涉及一种基于灰度直方图的图像配准方法。

背景技术

现有的图像配准方式主要分为两种：一种基于图像灰度统计进行配准，这种方式通常统计图像信息特征，生成灰度特征函数，计算图像间的变换信息。但由于该方法需要搜索全图非常耗费时间，并且因为亮度变化导致配准效果不稳定；另一种方法基以尺度不变特征变换算法为基础加以改进，用于描述图像局部特征，进行曝光度不同图像之间的配准，但往往会忽略局部运动区域，造成鬼影。

发明内容

本发明的目的在于提供一种基于灰度直方图的图像配准方法，简单快速准确地检测出运动区域并进行匹配，大大减少匹配时间。

本申请一实施例中公开了一种基于灰度直方图的图像配准方法，包括：

采集同一场景不同曝光时间的多组图像；

选取中间曝光时间的图像作为参考图像并统计该参考图像的累积直方图以及其他不同曝光时间的图像的累积直方图，计算其他不同曝光时间的图像的累积直方图的各个灰度阶与参考图像的累积直方图的各个灰度阶的差的绝对值，取各个绝对值中的最小值对应的灰度阶为映射后的值，根据映射值求出其他不同曝光时间的图像变换后的图像；

提取参考图像的特征点并提取经变换后的其他不同曝光时间的图像的对应特征点，根据对应特征点计算单应性矩阵并对其他不同曝光时间的图像进行透视变化操作得到全局对齐的多组曝光时间不同的图像；

对全局对齐的多组曝光时间不同的图像进行中值阈值化得到每幅图像的中值，将每幅图像的中值相加得到阈值图像；

对阈值图像进行腐蚀膨胀处理并计算连通域，求出连通域的矩阵区域作为块匹配的掩膜区域；

随机建立一个全局对齐的其他曝光时间不同的图像的掩膜区域的块到参考图像的掩膜区域的块映射，遍历全局对齐的其他曝光时间不同的图像的掩膜区域的块并计算其与参考图像的掩膜区域的块以及相邻四个块之间的相似度，找到最相似的块并记录两个块之间的映射；

多次迭代后得到每个块对应的映射关系，将全局对齐的其他曝光时间不同的图像的掩膜区域的块进行平移匹配得到与参考图像最相似的图像。

优选的，所述采集同一场景不同曝光时间的多组图像的步骤，包括：采集同一场景过曝、正常曝光、欠曝的三组图像。

优选的，提取参考图像的特征点并提取经变换后的其他不同曝光时间的图像的对应特征点的步骤，包括：使用ORB方法进行参考图像的特征点的提取；使用光流跟踪计算出经变换后的其他不同曝光时间的图像中对应的特征点。

优选的，根据对应特征点计算单应性矩阵的步骤，包括：将参考图像和经变换后的其他不同曝光时间的图像分为8个区域，在每个对应区域计算对应的特征点时，仅计算当前对应区域内的特征点。

优选的，将每幅图像的中值相加得到阈值图像的步骤之后，还包括：去除阈值图像中像素为0或为最大值的点。

优选的，所述块的大小为3x3。

本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。

相对于现有技术，本申请的方法具有以下有益效果：

本发明结合灰度统计信息以及尺度不变信息，对不同曝光图像进行配准。为了提高全局匹配时检测的特征点的准确性和可靠性，首先将图像进行灰度图匹配，使不同曝光图像色调一致；然后进行全局对齐，在计算两幅图像之间的单应矩阵时，在现有的算法基础上进一步剔除可能存在的错误匹配点并对矩阵进行评估，保证在全局对齐时，去除因运动物体或者旋转抖动过大造成的误差，进一步提高对齐的准确性；最后将阈值图与块匹配进行结合，更加简单快速准确地检测出运动区域并进行匹配，大大减少了匹配时间。

附图说明

图1是本发明一个实施例中基于灰度直方图的图像配准方法的流程图。

图2是本发明一个实施例中采集的三组图像的示意图。

图3是本发明一个实施例中三组图像进行匹配后的示意图。

图4是本发明一个实施例中对局部图像消除运动检测后的结果示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各项权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本申请一实施例中公开了一种基于灰度直方图的图像配准方法，图1示出了该配准方法的流程图。该方法包括：

步骤101，采集同一场景不同曝光时间的多组图像。例如，可以设置一系列不同的曝光时间拍摄多组图像。在一实施例中，所述采集同一场景不同曝光时间的多组图像的步骤，包括：采集同一场景过曝、正常曝光、欠曝的三组图像。

步骤102，选取中间曝光时间的的图像作为参考图像并统计该参考图像的累积直方图以及其他不同曝光时间的图像的累积直方图，计算其他不同曝光时间的图像的累积直方图的各个灰度阶与参考图像的累积直方图的各个灰度阶的差的绝对值，取各个绝对值中的最小值对应的灰度阶为映射后的值，根据映射值求出其他不同曝光时间的图像变换后的图像。其中，中间曝光时间的（曝光时间合适）应当理解为该场景中的各个元素可以清楚显示和分辨，不会出现大片白色或黑色，导致不能分辨。例如，合适的曝光时间可以根据场景设置在某个阈值范围内。

步骤103，提取参考图像的特征点并提取经变换后的其他不同曝光时间的图像的对应特征点，根据对应特征点计算单应性矩阵并对其他不同曝光时间的图像进行透视变化操作得到全局对齐的多组曝光时间不同的图像。

步骤104，对全局对齐的多组曝光时间不同的图像进行中值阈值化得到每幅图像的中值，将每幅图像的中值相加得到阈值图像。优选的，将每幅图像的中值相加得到阈值图像的步骤之后，还包括：去除阈值图像中像素为0或为最大值的点。

步骤105，对阈值图像进行腐蚀膨胀处理并计算连通域，求出连通域的矩阵区域作为块匹配的掩膜区域。

步骤106，随机建立一个全局对齐的其他曝光时间不同的图像的掩膜区域的块到参考图像的掩膜区域的块映射，遍历全局对齐的其他曝光时间不同的图像的掩膜区域的块并计算其与参考图像的掩膜区域的块以及相邻四个块之间的相似度，找到最相似的块并记录两个块之间的映射。；

步骤107，多次迭代后得到每个块对应的映射关系，将全局对齐的其他曝光时间不同的图像的掩膜区域的块进行平移匹配得到与参考图像最相似的图像。

为了说明本发明的技术方案，下面以具体的实施例进行说明。本发明涉及一种基于灰度直方图匹配的高动态范围图像配准方式。包括以下步骤：

步骤1，采集同一个场景下的短曝光（欠曝），长曝光（过曝）以及正常曝光的照片，正常曝光时间取决于对当前场景的测光结果。本发明每个曝光下采集一张图像，共采集3张不同曝光时间的图像，如图2所示。

步骤2，选取正常曝光图像作为参考图，计算参考图的累积直方图概率分布。在离散变量中，每个变量可能取值为x_i（i=1,2，…，n），对其分布进行统计得到：

其中

表示每个变量值的概率;

则其累积概率分布为：F(X)=P{X≤x}，0≤F(X)≤1，其中X为随机变量，x为任意实数。

本发明在大小为M×N（M行N列）图像中，设最大灰度级为L-1，则图像对应的灰度直方图有具有灰度级

的像素个数。则图像的累积概率分布f(t)表示灰度级的前k(k < t)项之和：

其中t为图像灰度级，C表示为小于t像素个数。

步骤3，根据参考图累积直方图，建立直方图匹配变换的映射表。

设参考图的累积直方f(t)，待对齐图像的概率分布为f₁(t₁)，要求为f(t)= f₁(t₁)，则根据步骤2可以求出两幅图像间的映射关系，需要满足两幅图像的累积概率最相近。

步骤4，根据步骤3计算其他图像累计直方图各个灰度阶到参考图累计直方图各个灰度阶的差的绝对值，求出各个灰度阶中绝对值对应的最小值，则该最小值对应的灰度阶为映射后的值，根据映射值求出变换后的图像。三幅不同曝光图片调整后变换后图像如图3所示。

步骤5，使用透视变换进行全局对齐。

1) 提取特征点：使用orb方法进行特征点检测，检测出参考图的特征点后，使用光流跟踪计算出直方图匹配后的欠曝和过曝图中对应的特征点；

2）根据对应特征点，计算单应矩阵H：假设参考图和待对齐的图像中的对应点的齐次坐标为(x,y,1)和(x',y',1)，则单应矩阵H为:

特征点之间的关系为：

如果在对应点中存在错误的匹配点，会导致求解出来的单应矩阵误差较大。因此在计算前，对多组点进行错误剔除。本发明在RANSAC算法基础上增加了图像特征点区域的限制，即将图像分为8个部分，在每个对应区域计算对应的匹配点，只计算当前对应区域内的特征点，防止当运动物体过大或者过快时特征点位于运动物体上导致的误差。

在计算出单应矩阵后，对单应矩阵进行评估，可以得到：

其中

表示x到x'水平方向的角度变化系数，

表示x到x'垂直方向的角度变化系数，

表示y到y'水平方向的角度变化系数，

表示y到y'垂直方向的角度变化系数，

表示x到x'的平移量，

表示y到y'的平移量。

设置变换系数阈值，当系数变换很大，我们认为该图像被错误估计或者图像有着剧烈的角度变化或者平移变化，从而剔除该图重新获取一张新的图像重新进行匹配。

在得到合适的单应性矩阵后，对原图进行透视变化操作，得到全局对齐的I张曝光不同的图像。

步骤6，在全局对齐后的对图像进行中值阈值化，计算每幅图的中值m，设点p(x,y)的灰度值为

，则有：

将阈值图进行相加，假设一共有a幅图，则有：

其中

表示对应的最终计算出的阈值图的灰度值。

步骤7，在步骤6中得到阈值图后，去除值为0和a的像素点：

对该图进行腐蚀膨胀处理，去除噪声的影响，并计算连通域，求出连通域的矩阵区域作为块匹配的掩膜。

步骤8，使用patchMatch对运动区域进行块匹配。对阈值图像的掩膜进行分块匹配，当对应像素块最相似时，记录相应的偏移量，对该像素块进行平移。

本发明中选择大小为3×3的像素块进行匹配, 设参考图中块某个像素点p(x,y)灰度值为

，待匹配图像块中的对应像素点p(x,y)灰度值为

定义像素块相似度S为

其中sum=9。

步骤9，将对齐图掩膜区域中某块左上角坐标为(x,y)，记做patch(x,y)，则对应的参考图中的左上角坐标为match(x,y)，随机建立一个对齐图到参考图的映射，则初始化映射为f:patch(x,y)->match(x,y)。遍历掩膜区域中的块，计算patch(x,y)与match(x,y)以及相邻四个块match(x,y-1)，match(x,y+1)，match(x-1,y)，match(x+1,y)之间的相似度，找到最相似的patch后，记录两个块之间的映射f[x][y]=f[x'][y']：对该过程进行迭代，为了防止局部最优，同时在掩膜区域中随机选择某块，如果随机块的相似度更高，则更新为该点的映射关系。

迭代多次后可以得到每个块对应的映射关系，将对齐图中块进行平移匹配，得到与参考图最相似的图像，消除局部运动，结果如图4所示。

相应地，本申请的其他实施方式还可以提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。

在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims

1.一种基于灰度直方图的图像配准方法，其特征在于，包括：

采集同一场景不同曝光时间的多组图像；

2.如权利要求1所述的基于灰度直方图的图像配准方法，其特征在于，所述采集同一场景不同曝光时间的多组图像的步骤，包括：采集同一场景过曝、正常曝光、欠曝的三组图像。

3.如权利要求1所述的基于灰度直方图的图像配准方法，其特征在于，提取参考图像的特征点并提取经变换后的其他不同曝光时间的图像的对应特征点的步骤，包括：

使用ORB方法进行参考图像的特征点的提取；

使用光流跟踪计算出经变换后的其他不同曝光时间的图像中对应的特征点。

4.如权利要求1所述的基于灰度直方图的图像配准方法，其特征在于，根据对应特征点计算单应性矩阵的步骤，包括：将参考图像和经变换后的其他不同曝光时间的图像分为8个区域，在每个对应区域计算对应的特征点时，仅计算当前对应区域内的特征点。

5.如权利要求1所述的基于灰度直方图的图像配准方法，其特征在于，将每幅图像的中值相加得到阈值图像的步骤之后，还包括：去除阈值图像中像素为0或为最大值的点。

6.如权利要求1所述的基于灰度直方图的图像配准方法，其特征在于，所述块的大小为3x3。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。