CN111127353B - 一种基于块配准和匹配的高动态图像去鬼影方法 - Google Patents

Abstract

本发明属于视频图像处理技术领域，具体涉及一种基于块配准和匹配的高动态图像去鬼影方法，包括以下步骤：输入图像，选择曝光良好的图像作为参考图像，选择参考图像之前和之后的一帧作为原始输入图像；将参考图像、原始输入图像分别处理成大小为N×N的图像块；采用尺度不变特征变换SIFT和互信息MI算法对图像块进行块配准；构建基于结构相似度SSIM的块匹配能量函数对图像块进行块匹配；采用融合权重方法获得中间融合图像，将中间融合图像作为参考图像，进行更新迭代，获得最终融合图像；输出最终融合图像。本发明能够解决带有复杂运动目标或是拍摄角度变化较大的鬼影问题，实现图像结构、纹理和细节的提升。

Description

一种基于块配准和匹配的高动态图像去鬼影方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种基于块配准和匹配的高动态图像去鬼影方法。

背景技术

随着5G时代的到来和人工智能的快速发展，对网络视频或图像的质量要求越来越高，通常利用图像融合技术来提高图像的分辨率，获得高质量图像，在图像融合技术中，根据不同采集源和不同的场景需求采取不同的融合策略。然而，当原始图像拍摄角度发生存在一定位移，或者是拍摄场景中存在运动目标的情况下，图像在融合的环节容易产生鬼影，静态或动态的多曝光图融合时也容易出现鬼影现象，影响图像融合质量。

在图像融合过程中，基于图形几何结构的优化方案和基于MEF算法的方案均取得较好的融合结果，但是如何去除鬼影是图像融合中的一个难点，如果图像中存在运动物体，特别是运动物体变化角度或位移较大，去鬼影效果不够理想。

发明内容

为了解决上述问题，本发明提供一种基于块配准和匹配的高动态图像去鬼影方法。

本发明的一种基于块配准和匹配的高动态图像去鬼影方法，包括以下步骤：

S1、输入图像，选择曝光良好的图像作为参考图像I^R，选择参考图像I^R之前和I^R之后的一帧作为原始输入图像I^S；将参考图像I^R、原始输入图像I^S分别处理成N×N大小的图像块P_i ^S、P_i ^R；

S2、采用尺度不变特征变换SIFT和互信息MI方法对图像块P_i ^S、P_i ^R进行块配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再通过MI方法确定主方向点，将MI方法确定的主方向点作为最终匹配点，根据最终匹配点确定图像块P_i ^S与P_i ^R尺度映射关系，将I^S映射到I^R坐标系中；

其中，(x,y)为P_i ^S与P_i ^R图像块中的一个像素点坐标，I^S(x,y)表示旋转后的采样点坐标，I^R(x,y)表示旋转前的采样点坐标，表示旋转矩阵，θ表示旋转角度，T＝(I_x ^T,I_y ^T)表示平移向量，I_x ^T、I_y ^T分别表示平移向量的横坐标和纵坐标，η是尺度参数，根据经验值选定为1；

S3、块配准完成后，进行块匹配，首先基于结构相似度SSIM，构建图像块P_i ^S与P_i ^R匹配的块匹配能量函数E_P，优化匹配能量函数E_P，通过优化的块匹配能量函数E_P在I^S中搜索与P_i ^R的最佳匹配块，采用融合权重方法对图像块P_i ^S和P_i ^R的进行融合，获得中间融合图像I^F；

S4、更新获得新的图像块P_i ^R，将中间融合图像I^F作为新的参考图像I^R，重复步骤S1-S4，块配准和块匹配通过迭代进行更新，对参考图像I^R中的所有的图像块完成配准和匹配后停止迭代，获得最终融合图像；

S5、输出最终融合图像。

本发明的有益效果：

1.本发明采用尺度不变特征变换SIFT和互信息MI算法对图像块进行配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再采用MI算法进行细配准，这种由粗到细的块匹配处理，能够很好的解决带有复杂运动目标或是拍摄角度变化较大的鬼影问题；

2.本发明将初步融合的中间融合图像作为参考图像进行更新迭代，直至对参考图像中的所有的图像块完成配准和匹配后停止迭代，获得最终融合图像，能够实现图像结构、纹理和细节的提升。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1为本发明实施例的一种基于块配准和匹配的高动态图像去鬼影方法的总体框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本申请实施例的一种基于块配准和匹配的高动态图像去鬼影方法，该方法可以解决带有复杂运动目标或拍摄角度变化较大的鬼影问题，该方法包括但不限于如下步骤：

S1、输入图像，选择曝光良好的图像作为参考图像I^R，选择参考图像I^R之前和I^R之后的一帧作为原始输入图像I^S；将参考图像I^R、原始输入图像I^S分别处理成大小为N×N的图像块P_i ^S、P_i ^R；

S2、采用尺度不变特征变换(Scale-invariant feature transform,SIFT)和互信息(Mutual Information,MI)方法对图像块P_i ^S、P_i ^R进行块配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再通过MI方法确定主方向点，将MI方法确定的主方向点作为最终匹配点，根据最终匹配点确定图像块P_i ^S与P_i ^R尺度映射关系，将I^S映射到I^R坐标系中；

其中，(x,y)为P_i ^S与P_i ^R图像块中的一个像素点坐标，I^S(x,y)表示旋转后的采样点坐标，I^R(x,y)表示旋转前的采样点坐标，表示旋转矩阵，θ表示旋转角度，T＝(I_x ^T,I_y ^T)表示平移向量，I_x ^T、I_y ^T分别表示平移向量的横坐标和纵坐标，η是尺度参数，根据经验值选定为1；

S3、块配准完成后，进行块匹配，首先基于结构相似度SSIM，构建图像块P_i ^S与P_i ^R匹配的块匹配能量函数E_P，优化E_P，通过优化的块匹配能量函数E_P在I^S中搜索与P_i ^R的最佳匹配块，采用融合权重方法对图像块P_i ^S和P_i ^R的进行融合，获得中间融合图像I^F；

S4、更新获得新的图像块P_i ^R，将中间融合图像I^F作为新的参考图像I^R，重复步骤S1-S4，块配准和块匹配通过迭代进行更新，对参考图像I^R中的所有的图像块完成配准和匹配后停止迭代，获得最终融合图像；

S5、输出最终融合图像。

为使本发明实施例更加清楚、完整，接下来将对本发明方法的各个步骤进行详细描述：

输入图像，选择曝光良好的图像作为参考图像I^R，然后将参考图像I^R之前和之后的图像，或参考图像I^R之前和之后的一帧作为原始输入图像I^S，将参考图像I^R和原始输入图像I^S分割成N×N大小的图像块。

图像块配准过程：采用尺度不变特征变换SIFT和互信息MI算法对图像块P_i ^S与P_i ^R进行块配准，主要包括粗配准和细配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再通过MI方法确定主方向点，在粗配准的结果之上进行进一步的细配准，具体步骤如下：

首先通过尺度不变特征变换SIFT算法对图像块进行粗配准，SIFT算法进行粗配准主要包括以下5个步骤：尺度空间极值检测，关键点定位，方向分配，关键点描述符和关键点匹配。

尺度空间极值检测L：通过对图像进行模糊处理模拟多尺度下的图像，图像的模糊程度逐渐变大，模拟了人在距离目标由近到远时目标在视网膜上的形成过程。具体模拟过程包括：将参考图像I^R、原始输入图像I^S分别与高斯核进行卷积操作，模糊图像，其中，高斯拉普拉斯算子为：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

其中，*表示卷积运算，L(x,y,σ)为高斯拉普拉斯算子，G(x,y,σ)表示可变尺度的二维高斯函数，I(x,y)为原始图像，x表示原始图像的横坐标，y表示原始图像的纵坐标，σ是高斯正态分布的标准偏差，表示尺度空间因子，反映图像模糊的程度，其值越大，图像越模糊，相应的比例越大。

使用L(x,y,σ)虽然能较好的检测到图像中的特征点，但是其运算量过大，本发明使用差分高斯D(x,y,σ)(Difference of Gaussina，Dog)来近似计算：首先根据G(x,y,σ)和L(x,y,σ)计算D(x,y,σ)，再通过检测D(x,y,σ)的局部最大值和局部最小值来实现尺度空间极值检测，其中，D(x,y,σ)如下：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (3)

其中，D(x,y,σ)表示差分高斯，k是两个附近层之间的乘法因子。

将检测到的每个极值点与其相同层的八个邻点和上下相邻层的九个邻点进行比较，如果检测到的极值点大于或小于所有这些邻点，则将其选择为关键点候选者。

关键点定位：通过离群值删除处理对错误的匹配点进行消除，从而保证预配准结果更加接近期待结果。

方向分配：根据(x,y)的相邻点，模数m(x,y)和每个点L(x,y)的梯度方向角θ(x,y)可以通过以下公式获得：

其中，m(x,y)表示阶梯斜边长，L(x-1,y+1)、L(x,y+1)、L(x+1,y+1)、L(x-1,y)、L(x+1,y)、L(x-1,y-1)、L(x,y-1)和L(x+1,y-1)为点L(x,y)的8个邻点，θ(x,y)表示梯度方向角度。

SIFT算法基于补丁匹配工具在多个尺度上进行粗配准，能够更好的提高配准精度，有效去除重影，特别是对于运动场景或捕获角度变大的图像，处理效果尤为突出。

关键点描述符：特征描述符由三个步骤组成：旋转主方向的校正，描述符的生成和归一化。主旋转方向是将坐标轴的旋转作为关键点的方向，以确保旋转的不变性，由于此步骤的内容不属于本发明的创新之处，不是本发明的重点，故在此不多做赘述。

关键点匹配：获得关键点描述符后，根据关键点描述符对图像块进行匹配准。

尺度不变特征变换SIFT算法对图像块进行粗配准后，粗配准后的配准结果接近真实场景，为了提高配准精度，通过计算P_i ^S与P_i ^R的互信息MI，当关键点的互信息max(MI)≥80％时，选取作为细配准环节的阈值，80％的方向确定SIFT匹配点的主方向，对SIFT的匹配点的主方向进行筛选，对粗配准的结果进行细配准。

引入图像互信息MI搜索和确定最终匹配点，图像互信息MI的计算方式包括：

MI(I^R,I^S)＝H(I^R)+H(I^S)-H(I^R,I^S) (6)

其中，MI(I^R,I^S)表示参考图像和原始输入图像的互信息，H(I^R)表示参考图像I^R的信息熵，H(I^S)表示原始输入图像I^S的信息熵，H(I^R,I^S)表示I^R和I^S的交叉熵。

当关键点的互信息max(MI)≥80％时，选取作为细配准环节的阈值，80％的方向确定SIFT匹配点的主方向，将MI方法确定的主方向点作为最终匹配点，所获得的关键点(x,y,θ)即为最终匹配点，根据最终匹配点确定图像块P_i ^S与P_i ^R尺度映射关系，将I^S映射到I^R坐标系中，映射关系包括：

其中，(x,y)为P_i ^S与P_i ^R图像块中的一个像素点坐标，I^S(x,y)表示旋转后的采样点坐标，表示旋转后的采样点横坐标，/>表示旋转后的采样点纵坐标，I^R(x,y)表示旋转前的采样点坐标，/>表示旋转前的采样点横坐标，/>表示旋转前的采样点纵坐标，/>表示旋转矩阵，θ表示旋转角度，T＝(I_x ^T,I_y ^T)表示平移向量，I_x ^T、I_y ^T分别表示平移向量的横坐标和纵坐标，η是尺度参数，根据经验值一般选定为1。

进一步的，H(I^R)、H(I^S)、H(I^R,I^S)的表达式如下：

其中，MI(I^R,I^S)表示参考图像和原始输入图像的互信息，H(I^R)表示参考图像I^R的信息熵，H(I^S)表示原始输入图像I^S的信息熵，H(I^R,I^S)表示I^R和I^S的交叉熵，P(·)表示概率函数，(x,y)为P_i ^S与P_i ^R图像块中的一个像素点坐标，N表示图像块像素数。

互信息MI方法的基本原理是根据局部图像的梯度方向为每个保留的关键点分配一致的方向，它基于方向直方图执行，该方向直方图由关键点周围区域内的采样点的梯度方向形成，方向直方图有36个方向，覆盖360°的方向范围，方向直方图中的峰值表示局部梯度的主导方向，并分配给相应的关键点。

在经过由粗到细的块配准过程后，能够很好的解决带有复杂运动目标或是拍摄角度变化较大造成的鬼影问题。

图像块的块配准完成以后，进行块匹配，基于结构相似度SSIM构建图像块P_i ^S和P_i ^R的块匹配能量函数E_P，优化块匹配能量函数E_P，通过优化的块匹配能量函数E_P在I^S中搜索与P_i ^R的最佳匹配块，采用融合权重方法对图像块P_i ^S和P_i ^R的进行融合，获得中间融合图像I^F。

首先，结合对结构、纹理和色彩等参考因素，构建基于结构相似度SSIM的目标优化函数。考虑到图像的结构、亮度和对比度，SSIM指标在综合评价图像方面优于其他指标，因此，本发明选择SSIM作为块匹配能量函数构建的基础。

进一步的，红色通道的SSIM目标优化函数SSIM_{red_p}的计算方式包括：

其中，N×N表示图像块的大小，N表示图像块像素数，(i,j)表示图像块上的点，且(i,j)∈N×N，P^R、P^S分别表示参考图像和原始输入图像的图像块，μ_R和μ_S分别表示图像块P_i ^S和P_i ^R的均值，σ_R和σ_S分别表示图像块_Pi ^S和P_i ^R的方差，σ_RS表示P_i ^S和P_i ^R的协方差，分别表示图像块P_i ^S和P_i ^R的标准差，C₁、C₂为常数，且C₁＜＜1，C₂＜＜1。

同理，采用上述相同的方法计算绿色通道的SSIM目标函数SSIM_{green_p}和蓝色通道的SSIM目标函数SSIM_{blue_p}，由于与上述计算方法相同，故在此不再赘述。

然后，根据红色通道、绿色通道和蓝色通道的SSIM目标函数SSIM_{red_p}、SSIM_{green_p}和SSIM_{blue_p}，改进传统的结构相似函数，得到图像块P_i ^S与P_i ^R匹配的块匹配能量函数E_P，最大可能得减少计算复杂度，提升图像融合的效果。

进一步的，块匹配能量函数E_P的计算方式包括：

其中，η是尺度参数，根据经验值一般选定为1，R^θ表示旋转矩阵，T＝(X_T,Y_T)表示平移向量，SSIM_{red_p}表示红色通道的SSIM目标函数，SSIM_{green_p}表示绿色通道的SSIM目标函数，SSIM_{blue_p}表示蓝色通道的SSIM目标函数。

得到块匹配能量函数E_P后，优化块匹配能量函数E_P，通过对E_P的优化，在I^S中搜索与P_i ^R的最佳匹配块。

进一步的，优化块匹配能量函数E_P包括：将块配准和块匹配通过迭代进行更新，针对于每次迭代，配准的块通过公式(17)和(18)获得：

P^S＝η^RR^R(p^R+T^R) (17)

其中，P^S表示原始输入图像的图像块，p^R表示参考图像的图像块，η^R表示参考图像块的尺度参数，R^R表示参考图像块的旋转矩阵，/>表示每次迭代更新后的参考图像块，/>和T^R表示左右右对比块的初始值。

根据p^R、的欧式空间距离计算块匹配信度，计算方式如下：

其中，代表p^R和/>的欧式距离，Rel^R表示块匹配信度，ρ表示最大搜索范围的参数。

在这个过程中，与P^S相一致的匹配块可能在滑动窗的任意位置，当p^R和的欧式空间距离缩小时，说明搜索的匹配块信度在提升，当p^R和/>的位置完全一致时，达到精确匹配，获得最佳的匹配块。

搜索到最佳匹配块后，采用融合权重方法对图像块P_i ^S和P_i ^R的进行融合，获得中间融合图像I^F；

其中，W_i ^R(x,y)、W_i ^S(x,y)分别为图像块P_i ^R和P_i ^S的融合权重，P_i ^R(x,y)和P_i ^S(x,y)为图像块像素强度。

使用迭代方法更新图像块P_i ^R，将中间融合图像I^F作为新的参考图像I^R，重复进行块配准、块匹配和融合过程，进行迭代更新图像块，直至参考图像I^R中的所有的图像块完成配准和匹配后停止迭代，获得最终融合图像，输出最终融合图像。本发明将初步融合的中间融合图像作为参考图像进行迭代，以迭代的方式执行图像块的更新可以获得最佳匹配结果，从而获得较好的融合结果，不仅可以有效的去除重影，还能够实现图像结构、纹理和细节的提升。

本发明的去鬼影方法采用尺度不变特征变换SIFT和互信息MI算法对图像块进行配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再采用MI算法进行细配准，这种由粗到细的配准方法可以有效的解决存在一定角度位移或有不规则运动目标的场景下多曝光融合的鬼影问题；且本发明的方法在实现静态或动态的多曝光图融合时均可以取得显著的融合结果，特别是在处理动态场景下存在鬼影的图像融合问题，效果更为突出。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，包括以下步骤：

S1、输入图像，选择曝光良好的图像作为参考图像I^R，选择参考图像I^R之前和I^R之后的一帧作为原始输入图像I^S；将参考图像I^R、原始输入图像I^S分别处理成N×N大小的图像块P_i ^S、P_i ^R；

S2、采用尺度不变特征变换SIFT和互信息MI方法对图像块P_i ^S、P_i ^R进行块配准，先用SIFT方法对图像块P_i ^S与P_i ^R进行粗配准，再通过MI方法确定主方向点，将MI方法确定的主方向点作为最终匹配点，根据最终匹配点确定图像块P_i ^S与P_i ^R尺度映射关系，将I^S映射到I^R坐标系中；

其中，表示旋转后的采样点横坐标，/>表示旋转后的采样点纵坐标，/>表示旋转前的采样点横坐标，/>表示旋转前的采样点纵坐标，/>表示旋转矩阵，θ表示旋转角度，T＝(I_x ^T,I_y ^T)表示平移向量，I_x ^T、I_y ^T分别表示平移向量的横坐标和纵坐标，η是尺度参数；

S3、块配准完成后，进行块匹配，首先基于结构相似度SSIM构建图像块P_i ^S与P_i ^R匹配的块匹配能量函数E_P，优化块匹配能量函数E_P通过优化的块匹配能量函数E_P在I^S中搜索与P_i ^R的最佳匹配块，采用融合权重方法对图像块P_i ^S和P_i ^R的进行融合，获得中间融合图像I^F；

S4、更新获得新的图像块P_i ^R，将中间融合图像I^F作为新的参考图像I^R，返回步骤S1-S4，块配准和块匹配通过迭代进行更新，对参考图像I^R中的所有的图像块完成配准和匹配后停止迭代，获得最终融合图像；

S5、输出最终融合图像。

2.根据权利要求1所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，所述通过MI方法确定主方向点，具体包括：计算P_i ^S与P_i ^R的互信息MI，当关键点的互信息max(MI)≥80％时，选取作为细配准环节的阈值，对SIFT匹配点的主方向进行筛选，对粗配准的结果进行细配准。

3.根据权利要求2所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，互信息MI的计算方式包括：

MI(I^R,I^S)＝H(I^R)+H(I^S)-H(I^R,I^S)

其中，MI(I^R,I^S)表示参考图像I^R和原始输入图像I^S的互信息，H(I^R)表示参考图像I^R的信息熵，H(I^S)表示原始输入图像I^S的信息熵，H(I^R,I^S)表示I^R和I^S的交叉熵，P(·)表示概率函数，(x,y)为P_i ^S与P_i ^R图像块中的一个像素点坐标，N表示图像块像素数，

当关键点的互信息max(MI)≥80％时，MI(I^R,I^S)≥max(MI)×80％作为阈值，所获得的关键点(x,y,θ)即为最终匹配点，其中，θ表示旋转角度。

4.根据权利要求1所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，所述基于结构相似度SSIM，构建图像块P_i ^S与P_i ^R匹配的块匹配能量函数E_P，具体包括以下步骤：

S31、分别计算红色通道、绿色通道和蓝色通道的SSIM目标优化函数SSIM_{red_p}、SSIM_{green_p}和SSIM_{blue_p}；

S32、根据SSIM_{red_p}、SSIM_{green_p}和SSIM_{blue_p}，改进传统的结构相似函数，得到块匹配能量函数E_P。

5.根据权利要求4所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，在N×N大小的图像块中，红色通道_{red_p}的SSIM目标优化函数SSIM_{red_p}的计算方式包括：

其中，N×N表示图像块的大小，N表示图像块像素数，(i,j)表示图像块上的点，且(i,j)∈N×N，P^R、P^S分别表示参考图像和原始输入图像的图像块，μ_R和μ_S分别表示图像块P_i ^S和P_i ^R的均值，σ_R和σ_S分别表示图像块P_i ^S和P_i ^R的方差，σ_RS表示图像块P_i ^S和P_i ^R的协方差，分别表示图像块P_i ^S和P_i ^R的标准差，C₁、C₂为常数，且C₁＜＜1，C₂＜＜1。

6.根据权利要求4所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，块匹配能量函数E_P的计算方式包括：

其中，η是尺度参数，R^θ表示旋转矩阵，T＝(X_T,Y_T)表示平移向量，SSIM_{red_p}表示红色通道的SSIM目标优化函数，SSIM_{green_p}表示绿色通道的SSIM目标优化函数，SSIM_{blue_p}表示蓝色通道的SSIM目标优化函数。

7.根据权利要求1所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，块配准和块匹配的每次迭代，配准的图像块通过下式获得：

P^S＝η^RR^R(p^R+T^R)

其中，P^S表示原始输入图像的图像块，p^R表示参考图像的图像块，η^R表示参考图像块的尺度参数，R^R表示参考图像块的旋转矩阵，/>表示每次迭代更新后的参考图像块，/>和T^R表示左右对比块的初始值。

8.根据权利要求1所述的一种基于块配准和匹配的高动态图像去鬼影方法，其特征在于，最佳匹配块的搜索采用以下公式：

其中，Rel^R表示块匹配信度，表示p^R和/>的欧式距离，/>p^R表示原始输入图像的图像块，ρ表示最大搜索范围的参数。