CN115731146B - 基于色彩梯度直方图特征光流估计多曝光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：S100：从多曝光图像序列中提取色彩方向梯度直方图特征；S200：进行基于色彩方向梯度特征的光流估计；S300：构建亮度评价因子、颜色评价因子和结构评价因子；S400：获取改进权重融合函数；S500：获取高动态范围图像。本发明引入图像颜色信息结合像素空间邻域信息提高了算法对亮度变化的鲁棒性；同时在多曝光图像序列融合过程中，充分考虑多曝光图像亮度信息、局部结构信息和颜色信息多方面因素对融合图像质量的影响，提高了融合图像成像质量。

Description

基于色彩梯度直方图特征光流估计多曝光图像融合方法

技术领域

本发明涉及图像处理技术领域，具体为一种基于色彩梯度直方图特征光流估计多曝光图像融合方法。

背景技术

现实世界光强存在丰富的亮度信息，然而传统的消费级相机对于图像的每个颜色通道只有8位离散强度级别，无法显示真实场景全部的亮度变化。现有获得高动态范围图像的方法分为基于硬件的实现方法和基于软件的实现方法。在硬件实现的方法中，高动态范围图像是通过专业高动态成像相机获取的，然而基于硬件的实现方法往往需要大量特殊辅助设备，并不适用实际设备应用。针对实际拍摄过程往往存在相机抖动和场景中目标运动的情况，近年来研究者提出了不少解决思路，包括快速多尺度补丁融合算法、基于深度强化学习的多曝光图像融合算法、利用单张图像的人工映射算法。但快速多尺度补丁融合算法采用大小固定的图像块会导致引入异常值；基于深度学习的融合算法受到训练样本的影响，需要在模型训练过程中对图像进行改进和增强；而人工映射算法输入图像仅包含目标场景部分亮度信息，不能扩展场景所有亮度信息。

已有技术仍存在许多问题如：多曝光图像运动估计时没有充分考虑图像颜色信息对亮度变化的鲁棒性，无法准确地完成多曝光图像运动配准，导致欠曝光区域存在鬼影问题；融合过程中没有考虑多方面因素对融合图像质量的影响，无法保留图像特征信息，降低成像质量。

基于此，特提出本发明。

发明内容

针对现有技术存在的上述不足，本发明提供了一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，引入图像颜色信息结合像素空间邻域信息提高了算法对亮度变化的鲁棒性；同时在多曝光图像序列融合过程中，充分考虑多曝光图像亮度信息、局部结构信息和颜色信息多方面因素对融合图像质量的影响，提高了融合图像成像质量。

本发明的技术方案为：一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：

S100：从多曝光图像序列中提取色彩方向梯度直方图特征；

S200：进行基于色彩方向梯度特征的光流估计；

S300：构建亮度评价因子、颜色评价因子和结构评价因子；

S400：获取改进权重融合函数；

S500：获取高动态范围图像。

进一步地，在步骤S100中，将像素点周围的局部邻域等距划分为4Χ4个图像块，根据颜色梯度角度值将图像块离散为9个角度区间，对邻域内颜色梯度值进行数值统计得到图像块的颜色梯度直方图特征，最终串联得到像素点的色彩方向梯度直方图特征。

进一步地，在步骤S200中，采用改进特征光流模型：

，其中

，， E表示算法代价函数， E ₁ 表示代价函数中的数据项，其要求图像特征的差距要尽可能小， E ₂ 表示代价函数中的小位移项，其要求图像运动矢量尽可能小且相邻运动矢量尽可能相似， p表示图像像素坐标，表示L1范数，即向量各个元素绝对值之和，表示对矢量做偏导数， H ₁ 和 H ₂ 表示特征域图像，t、d表示阈值参数，α、β表示模型权重系数；采用由粗到细的迭代策略，参照欧拉-拉格朗日方程对改进特征光流模型进行求解，计算图像光流。

进一步地，在步骤S300中，所述亮度评价因子为，所述颜色评价因子为，所述结构评价因子为， 其中 p表示图像像素坐标， i表示第 i幅曝光图像， I(.)表示曝光图像的亮度信息， F(.)表示曝光图像的颜色梯度信息，ε、 C表示阈值参数， w( p)表示图像像素点 p处的像素运动矢量，分别表示进行运动矢量配准后图像的颜色梯度值的标准差、参考图像的颜色梯度值标准差以及配准图像与参考图像间的协方差。

进一步地，在步骤S400中，权重融合函数为。

进一步地，在步骤S500中，构建高动态范围图像融合公式，获取最终高动态范围图像。

进一步地，所述高动态范围图像融合公式为，其中 ω(.)表示权重融合函数， p表示图像像素坐标， I ⁱ表示第 i张曝光图像的亮度信息， w( p)表示图像像素点 p处的像素运动矢量， D表示逆相机响应函数，Δ t为图像曝光时间。

本发明的优点：

1、本发明充分考虑了图像颜色信息对亮度变化的鲁棒性，提出了一种对亮度变化具有鲁棒性的色彩方向直方图特征。

2、本发明结合颜色信息和像素邻域信息，构建一种改进特征光流估计算法，能够提高对多曝光图像亮度变化的抗干扰能力，有效去除多曝光图像融合中的鬼影问题。

3、本发明充分考虑亮度信息、结构信息和颜色信息，提出了一种多源权重曝光融合函数，提高了融合图像的成像质量。

附图说明

图1为本发明的算法流程示意图。

图2为输入图像序列，其中图2(a)为局部运动图像序列，图2(b)为刚体运动图像序列。

图3为局部运动图像处理结果对比，其中图3(a) 为Superpixel算法处理的结果，图3(b) 为DASC算法处理的结果，图3(c) 为MAP_HDR算法处理的结果，图3(d) 为本发明算法处理的结果。

图4为局部运动图像处理结果放大图，其中图4(a) 为Superpixel算法处理的结果，图4(b) 为DASC算法处理的结果，图4(c) 为MAP_HDR算法处理的结果，图4(d) 为本发明算法处理的结果。

图5为刚体运动图像处理结果对比，其中图5(a) 为Superpixel算法处理的结果，图5(b) 为DASC算法处理的结果，图5(c) 为MAP_HDR算法处理的结果，图5(d) 为本发明算法处理的结果。

图6为刚体运动图像处理结果放大图，其中图6(a) 为Superpixel算法处理的结果，图6(b) 为DASC算法处理的结果，图6(c)为MAP_HDR算法处理的结果，图6(d)为本发明算法处理的结果。

具体实施方式

为方便理解本发明的技术方案，采用具体实施例对本发明的技术方案做进一步地说明。显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本方案中的实施例及实施例中的特征可以相互组合。

如图1所示，本发明的一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：

S100：从多曝光图像序列中提取色彩方向梯度直方图特征；

S200：进行基于色彩方向梯度特征的光流估计；

S300：构建亮度评价因子、颜色评价因子和结构评价因子；

S400：获取改进权重融合函数；

S500：获取高动态范围图像。

本发明的一个具体实施例的各步骤重点介绍如下。

一、提取色彩方向梯度直方图特征

利用彩色图像RGB三通道颜色信息，计算图像的颜色梯度，计算公式如下：

结合高斯加权函数，获取高斯窗口内像素点的平均平方梯度

。

利用求解的平均平方梯度计算像素点p的颜色梯度模值和颜色梯度方向，如下：

将像素点周围的局部邻域等距划分为4Χ4个图像块，根据颜色梯度角度值将图像块离散为9个角度区间，对邻域内颜色梯度值进行数值统计得到图像块的颜色梯度直方图特征，最终串联得到像素点的色彩方向梯度直方图特征。

二、进行基于色彩方向梯度特征的光流估计

将色彩方向梯度直方图特征作为曝光图像光流估计的基本约束条件，构建能量泛函数：

其中 H ₁和 H ₂表示特征域图像，t为阈值参数。

通常情况下连续多帧图像中物体运动速度很小，且像素邻域内各点运动速度相同。因此我们假设光流为小位移矢量，且是平滑变化的。为此构建光流约束条件：

 ,

综合上述两种约束条件得到改进特征光流模型：

 。

采用由粗到细的迭代策略，参照欧拉-拉格朗日方程对改进特征光流模型进行求解。构建曝光图像的图像金字塔，提取各层图像的色彩方向梯度直方图特征，根据迭代策略计算图像光流。

三、构建亮度评价因子、颜色评价因子和结构评价因子

3.1  图像质量评价因子

像素点的灰度信息可以反映图像成像质量，为强化曝光量合适的图像区域，弱化欠曝光和弱曝光区域，选择高斯函数评价像素点的灰度信息质量。同时为了更好反映图像细节纹理信息，采用颜色梯度值作为评价标准，赋予颜色梯度值高的区域更大的权重，具体亮度评价因子、颜色评价因子的公式如下：

  。

3.2  图像相似度评价因子

图像相似度评价因子是结构评价因子。多曝光图像由于曝光时间不同，导致同一位置处像素点的灰度值各不相同，不能作为图像相似性评价指标。因此采用上文计算的颜色梯度信息作为特征图，将结构相似性作为图像间局部相似性的评价指标，

，

 其中分别表示局部邻域内第 i帧多曝光图像的颜色梯度图和参考图像的颜色梯度图的标准差和协方差， C为常数系数。

四、获取改进权重融合函数

多曝光图像融合，综合图像灰度信息、颜色梯度信息和结构相似性三方面因素的影响，构建融合权重函数为：

 。

五、获取高动态范围图像

结合光流估计的多曝光图像序列和改进融合权重函数，构建高动态范围图像融合公式，获取最终高动态范围图像 M，具体公式如下：

 ，其中 ω(.)表示权重融合函数， p表示图像像素坐标， I ⁱ表示第 i张曝光图像的亮度信息， w( p)表示图像像素点 p处的像素运动矢量， D表示逆相机响应函数，Δ t为图像曝光时间。

六、与其他算法对比结果

为了客观评估各种算法的高动态图像融合结果，我们采用三种不同的质量评价指标包括log_psnr、pu_psnr和pu_ssim。log_psnr、pu_psnr实现对PSNR的扩展，表示像素融合的质量，反映了融合图像对源图像细节信息的保留程度，其值越高，表示融合图像保留源图像的细节信息越多。pu_ssim客观评价模型则对参考图像和目标图像间的差异进行客观评估，其数值越高，表示融合图像成像质量越高。下面的表1~表3所列即为本发明的算法与Superpixel算法、MAP_HDR算法和DASC算法在三种不同的质量评价指标中的表现。

表1 pu_psnr指标对比

表2 log_psnr指标对比

表3 pu_ssim指标对比

图2给出了两组多曝光图像测量数据，图2(a)表示局部复杂运动运动的多曝光图像序列，图2(b)表示刚体运动的多曝光图像序列。图3显示了各种算法对局部复杂运动的估计效果，可以看出本发明算法对目标大范围运动问题上明显优于DASC算法和MAP_HDR算法，能够很好的抑制图像鬼影现象。同时针对细节信息的处理问题，从图4可以看出与Superpixel算法相比，本发明算法很好地保留了图像边缘位置的颜色信息。综合图3和图4的处理效果来看，在多曝光图像序列的局部复杂运动估计问题上，本发明算法相比其他算法具有一定的优越性。

图5显示了四种算法对刚体运动的估计效果，可以看出Superpixel算法在进行运动估计的同时会导致图像颜色信息的缺失，而本发明算法并不会出现上述问题。从局部细节融合结果图6上可以明显看出，MAP_HDR算法产生了明显的鬼影现象，而DASC算法对图像过曝光区域的匹配精度较差。上述结果表明，本发明算法在处理多曝光图像序列的刚体运动问题上处理效果相比其它算法具有一定优势。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，包括如下的步骤：

S100：从多曝光图像序列中提取色彩方向梯度直方图特征；

S200：进行基于色彩方向梯度特征的光流估计；

S300：构建亮度评价因子、颜色评价因子和结构评价因子；

所述亮度评价因子为，所述颜色评价因子为，所述结构评价因子为，

其中表示图像像素坐标，表示第幅曝光图像，表示曝光图像的亮度信息，表示曝光图像的颜色梯度信息，、表示阈值参数，表示图像像素点处的像素运动矢量，分别表示进行运动矢量配准后图像的颜色梯度值的标准差、参考图像的颜色梯度值标准差以及配准图像与参考图像间的协方差；

S400：获取改进权重融合函数，；

S500：获取高动态范围图像。

2.如权利要求1所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，在步骤S100中，将像素点周围的局部邻域等距划分为4X4个图像块，根据颜色梯度角度值将图像块离散为9个角度区间，对邻域内颜色梯度值进行数值统计得到图像块的颜色梯度直方图特征，最终串联得到像素点的色彩方向梯度直方图特征。

3.如权利要求1所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，在步骤S200中，采用改进特征光流模型：

，其中

，

，表示算法代价函数，表示代价函数中的数据项，其要求图像特征的差距要尽可能小，表示代价函数中的小位移项，其要求图像运动矢量尽可能小且相邻运动矢量尽可能相似，表示图像像素坐标，表示L1范数，即向量各个元素绝对值之和，表示对矢量做偏导数，和表示特征域图像，、表示阈值参数，、表示模型权重系数；采用由粗到细的迭代策略，参照欧拉-拉格朗日方程对改进特征光流模型进行求解，计算图像光流。

4.如权利要求1所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，在步骤S500中，构建高动态范围图像融合公式，获取最终高动态范围图像。

5.如权利要求4所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，所述高动态范围图像融合公式为，其中表示权重融合函数，表示图像像素坐标，表示第张曝光图像的亮度信息，表示图像像素点处的像素运动矢量，表示逆相机响应函数，为图像曝光时间。

Images