CN109671044B - 一种基于可变图像分解的多曝光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于可变图像分解的多曝光图像融合方法，该方法围绕多曝光融合图像的细节保存和高动态图像的视觉质量需求，利用纹理‑卡通分解得到图像纹理分量,并通过计算图像纹理熵来实现图像块尺寸参数的动态选择；使用动态步长的移动窗口从源序列中提取图像块,并利用结构图像块分解方法实现图像块融合；通过整合融合图像块获得融合图像。将可变图像分解算法与图像块结构分解算法结合，实现图像块尺寸大小的自动选取和图像块融合，不仅利于图像纹理、结构细节信息的保存，同时融合图像获得更真实的色彩外观，提高HDR的视觉质量。

Description

一种基于可变图像分解的多曝光图像融合方法

技术领域

本发明属于图像融合领域，尤其涉及一种基于可变图像分解的多曝光图像融合方法。

背景技术

在人民群众对日常影像记录需求的驱动下，具有数字成像与图像处理功能消费电子产品已成为国民生活、工作中必不可少的“日用品”。但是，现有成像设备拍摄数字图像时，受成像设备“动态范围”的限制，成像设备无法通过一次曝光成像采集到场景中所有的细节信息，其严重影响图像的视觉效果与关键信息的记录。而且，由于人眼视觉系统的动态范围与电子成像设备不匹配，会丢失暗部\亮部信息，图像呈现曝光过度\曝光不足。针对现有成像、显示设备与人眼视觉系统之间动态范围不匹配问题，引入多曝光融合技术，克服高动态范围成像与低动态范围显示之间的差距。多曝光图像融合以不同曝光量级的源图像序列作为输入，通过综合其中的光照强度较符合人眼观察习惯的信息，生成一幅更具信息性和感知性的高动态范围图。融合后的图像能够捕获更丰富的场景光照、颜色与细节信息，使照片效果更加接近人眼所观察到的真实场景，为后续图像处理提供更丰富的信息。本专利通过图像纹理卡通分解方法，并结合图像块结构分解算法提出基于参数动态选择的多曝光图像融合技术，利用纹理熵值实现参数的动态选择，解决高动态图像获取中由图像块尺寸固定引起的细节丢失问题。

发明内容

发明目的：针对以上现有技术存在的问题，本发明提出一种基于可变图像分解的多曝光图像融合方法，该方法采用纹理熵值实现图像块尺寸参数的自动化选择，并采用结构分解算法实现图像块的融合，保留更多的场景细节信息以获得高质量的HDR图像，以获得细节信息丰富的HDR图像。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于可变图像分解的多曝光图像融合方法，该方法包括以下步骤：

(1)采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解；

(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像，并利用灰度差分统计方法获得图像纹理特征的熵值；

(3)根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列x_k,i，其中，x_k,i表示第k张图像的第i个图像块，1≤k≤K,1≤i≤n，K是不同曝光级源图像的张数，n是每一张图像分割得到的图像块数量；

(4)每一个x_k,i采用图像块结构分解算法将其分解为三个独立组件：信号强度c_k,i、信号结构s_k,i和平均亮度l_k,i，对上述三个组件进行处理获得融合图像块的期望组件

(5)根据和计算对应的融合图像块

(6)对所有图像块x_k,i执行步骤(4)-(5)得到新的融合图像块然后依据图像块的空间结构信息对融合图像块进行重组以融合图像。

进一步的，步骤(1)中，采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解方法如下：

(1.1)对于一组不同曝光级源图像，采用变分图像分解模型VO对图像进行纹理-卡通分解，VO模型的定义如下：

其中，TV表示全变分，表示g的L_P范数，其中，P＝1，g＝(g₁,g₂)是在G空间中由g₁,g₂确定的输入图像f的数字向量，其中 和分别表示u在x方向和y方向上的变化率，u_x表示u在x方向上的偏导，u_y表示u在y方向上的偏导，u是图像f的卡通分量，▽u是图像卡通分量的变化量，λ和μ是正则化参数；

(1.2)通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化获得欧拉-拉格朗日方程，如公式(2)所示：

其中，表示u的水平线的曲率，使用半隐式有限差分迭代算法将公式(2)中的u离散化，得到图像卡通分量u；

(1.3)计算出图像卡通分量u后，利用公式(1)所表示的VO模型，图像的纹理分量v则可以通过v＝f-u求出。

进一步的，步骤(2)中，将由步骤(1)求出的图像纹理分量v转换成灰度图像，并利用灰度差分统计方法获得图像纹理特征的熵值，方法如下：

(2.1)设(x,y)是图像中的任意一点，该点与其距离σ＝(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为：g_Δ(x,y)＝g(x,y)-g(x+Δx,y+Δy)，其中g(x,y)表示点(x,y)的灰度值，g_Δ是灰度差分，Δx和Δy有3种取值，分别为Δx＝-1,0,1和Δy＝-1,0,1，除去(Δx,Δy)＝(0,0)的像素点，σ＝(Δx,Δy)有八种取值，即每一个(x,y)的像素点相邻像素点最多有8个，分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1)，以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1)；

(2.2)设灰度差分值的所有可能取值共有m种，其中m≤511，遍历像素点(x,y)，统计出g_Δ取m种取值中取各个数值的次数，由此获得g_Δ的直方图，由直方图统计得到的每一个灰度差分值的概率为p(i)，图像纹理的熵值表示；

(2.3)对于一组不同曝光级源图像纹理分量重复以上步骤，获得每组图像中所有图像纹理特征熵值{ent₁,ent₂,...,ent_K}；

(2.4)计算每一组源图像纹理分量的平均纹理熵值采用下面的公式实现图像块尺寸大小的动态选取：

其中，wSize作为预先设置的图像块尺寸大小，并且wSize可以根据实际需要设定初始值。

进一步的，步骤(3)中，根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列x_k,i的方法如下：利用公式(3)得到的图像块尺寸，将每一组源图像序列分成n个wSize×wSize大小的图像块，以获得每一组彩色图像块序列{x_k,i}＝{x_k,i|1≤k≤K,1≤i≤n}，n是每一张图像的图像块数量，x_k,i表示第k张图像的第i个图像块。

进一步的，步骤(4)中，每一个图像块x_k,i采用图像块结构分解算法将其分解为三个独立组件：信号强度c_k,i、信号结构s_k,i和平均亮度l_k,i，对上述三个组件进行处理获得融合图像块的期望组件方法如下：

(4.1)利用计算图像块的平均亮度其中wSize表示图像块x_k,i的尺寸，C表示图像颜色(R,G,B)通道数，1表示一个所有元素都等于1的CwSize²维向量；去除平均亮度的图像块的2范数获得图像块信号强度c_k,i；利用获得的具有特定方向的单位向量即为图像块信号结构s_k,i；

(4.2)将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示：

(4.3)采用将图像块对比度作为权值对输入的结构向量进行加权平均处理，则融合图像块期望信号结构可以表示为其中，权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度；

(4.3)对于平均亮度组件，将当前源图像X_k的平均亮度和当前图像块x_k,i的平均亮度l_k,i作为输入，构建二维高斯函数度量图像块在源图像中的曝光质量，其中C是图像颜色(R,G,B)通道数，H×W表示图像X_k的尺寸，σ_g和σ_l是构建的二维高斯函数中的高斯标准差，分别控制μ_k轮廓沿和l_k,i尺寸的扩展，则融合图像块的期望平均亮度表示为：

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

本发明公开了一种基于可变图像分解的多曝光图像融合方法，在多曝光图像融合的图像块分解，融合图像的结构保存、颜色外观、视觉质量等方面，与其他方法相比，本专利结合可变图像分解算法与图像块结构分解算法，解决现有成像、显示设备与人眼视觉系统之间动态范围不匹配的问题，并保留源场景更多的结构和纹理细节信息，此外本专利联合处理源图像的三个颜色通道的结构、对比度和曝光度信息，能获得颜色外观更加真实生动的高动态范围图像。

附图说明

图1为：本发明采用的基于可变图像分解的多曝光图像融合流程图；

图2为：本发明采用的基于可变图像分解的多曝光图像融合技术路线图；

图3为：本发明采用的融合图像块重组示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

图1为本发明采用基于参数动态选择的多曝光图像融合流程图。以多曝光源图像序列作为输入，通过计算纹理熵值特征对图像块尺寸参数进行自动选取。应用图像块结构分解算法实现图像块的融合获得HDR图像。下面结合附图1给出一个基于参数动态选择的多曝光图像融合的实施例以对本发明作进一步的阐述。如图1所示，本发明各部分具体实施细节如下：

(1)输入一组不同曝光级源图像，然后采用变分图像分解模型VO对图像进行纹理-卡通分解。VO模型的定义如下：

其中，TV表示全变分，表示g的L_P范数，在发明中P＝1，g＝(g₁,g₂)是在G空间中由g₁,g₂确定的输入图像f的数字向量，其中 和分别表示u在x方向和y方向上的变化率，u_x表示u在x方向上的偏导，u_y表示u在y方向上的偏导，u是图像f的卡通分量，▽u是图像卡通分量的变化量。λ和μ是正则化参数，在公式(1)中，第一项|u|_TV是正则化项，确保图像的卡通部分u是有界变分；公式(1)的第二项和第三项一起确保f-u≈div(g)，div(g)表示图像去除卡通的剩余部分，当λ→∞和P→∞时，对于g几乎处处存在极限f-u＝div(g)，使得公式(1)的中间项不存在，第三项将变成||f-u||，表示图像的纹理分量。

通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化可获得欧拉-拉格朗日方程，如公式(2)所示：

其中，表示u的水平线的曲率。使用半隐式有限差分迭代算法将公式(2)中的u离散化，得到图像卡通分量u。计算出图像卡通分量u后，利用公式(1)所表示的VO模型，图像的纹理分量v则可以通过v＝f-u求出。

(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像，并利用灰度差分统计方法获得图像纹理特征的熵值，以实现图像块尺寸参数的动态选择。

(2.1)设(x,y)是图像中的任意一点，该点与其距离σ＝(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为：g_Δ(x,y)＝g(x,y)-g(x+Δx,y+Δy)。其中，g(x,y)表示点(x,y)的灰度值，g_Δ是灰度差分，Δx和Δy都有3种取值，分别为Δx＝-1,0,1和Δy＝-1,0,1，除去(Δx,Δy)＝(0,0)的像素点，σ＝(Δx,Δy)有八种取值，即每一个(x,y)的像素点相邻像素点最多有8个，分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1)，以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1)。

(2.2)设灰度差分值的所有可能取值共有m种，其中m≤511。令像素点(x,y)遍历整个图像，统计出g_Δ取m种取值中取各个数值的次数，由此获得g_Δ的直方图，由直方图统计得到的每一个灰度差分值的概率为p(i)。图像纹理的熵值可以用表示。

(2.3)对输入的每一组图像纹理分量重复以上步骤，获得每组图像中所有图像纹理特征熵值{ent₁,ent₂,...,ent_K}。

(2.4)计算每一组源图像纹理分量的平均纹理熵值然后采用下面的公式实现图像块尺寸大小的动态选取：

其中，为保持融合图像性能和计算复杂度平衡，本发明中初始值wSize＝21作为预先设置的图像块尺寸大小，并且wSize可以根据实际需要设定初始值。

(3)利用公式(3)得到的图像块尺寸，将每一组源图像序列分成n个wSize×wSize大小的图像块，以获得每一组彩色图像块序列{x_k,i}＝{x_k,i|1≤k≤K,1≤i≤n}，n是每一张图像的图像块数量，x_k,i表示第k张图像的第i个图像块。

(4)每一个x_k,i都采用图像块结构分解算法将其分解为三个独立组件：信号强度c_k,i、信号结构s_k,i和平均亮度l_k,i。图像块结构分解算法是首先通过滑动窗口取出图像块，利用计算图像块的平均亮度其中wSize表示图像块x_k,i的尺寸，C表示图像颜色(R,G,B)通道数,1表示一个所有元素都等于1的CwSize²维向量；然后利用去除平均亮度的图像块的2范数获得图像块信号强度c_k,i；去除平均亮度的图像块包含图像块结构和对比度信息，利用获得的具有特定方向的单位向量即为图像块信号结构s_k,i，每一个图像块结构分解形式如公式(4)所示。

对于每一个图像块，通过结构分解算法都只会获得一个信号强度、一个信号结构和一个平均亮度组件，并且图像块结构分解是可逆的，任意三个信号强度、信号结构和平均亮度都可以通过重组获得一个新的图像块，所以在图像块融合中，一旦通过计算获得期望信号强度、信号结构和平均亮度组件，则融合图像块就可以通过重组获得，图像块分解和重组形式如公式(4)所示。

在通过图像块结构分解算法获得信号强度、信号结构和平均亮度三个组件后，分别对三个组件进行处理获得融合图像块的期望组件，其中三个组件的处理方法如步骤(4.1)，(4.2)和(4.3)所示，最后通过对三个组件重组获得融合图像块，如步骤(5)所示。图像块结构分解形式如公式(4)所示：

此处||·||表示向量的l₂范数，表示图像块的平均亮度；表示去除平均亮度的图像块，其包含图像块的结构和对比度信息。表示信号强度，单位长度向量表示信号结构，表示图像块平均亮度。

(4.1)对于信号强度分量，将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示：

(4.2)在信号结构处理中，为了让融合后的图像块的期望信号结构能够更好地代表所有源图像块的结构，因此采用将图像块对比度作为权值对输入的结构向量进行加权平均处理，则融合图像块期望信号结构可以表示为

其中，权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度。

(4.3)对于平均亮度组件，将当前源图像X_k的平均亮度和当前图像块x_k,i的平均亮度l_k,i作为输入，构建二维高斯函数度量图像块在源图像中的曝光质量，其中C是图像颜色(R,G,B)通道数，H×W表示图像X_k的尺寸，σ_g和σ_l是构建的二维高斯函数中的高斯标准差，分别控制μ_k轮廓沿和l_k,i尺寸的扩展，考虑融合图像与源图像的结构一致性，在本发明中将两个高斯标准差σ_g和σ_l分别设置为0.2和0.5，可以按照实际需要设置不同标准差的值。则融合图像块的期望平均亮度可以表示为：

(5)当计算获得图像块的三个分量和一个全新的向量将通过被定义，表示融合图像块。

(6)使用具有固定步长的移动窗口从每一组多曝光源图像序列的同一空间位置上提取图像块，对重叠的图像块中的像素进行平均处理，重复以上图像块结构分解、三个期望组件计算和融合图像块期望组件重组三个步骤，获得融合图像块。在对每组源图像序列的所有源图像块序列进行结构分解和重构后，获得所有的融合图像块，然后依据图像块的空间结构信息对融合图像块进行重组以融合图像，如图3所示。

图2为本发明采用的基于可变图像分解的多曝光图像融合技术路线图。该基于可变图像分解的多曝光图像融合技术路线图由图像块尺寸大小自动选择、图像块分解、图像块结构分解三个模块组成，主要实现下面六个目标：

(1)图像纹理卡通分解；

(2)图像纹理分量熵值求取；

(3)图像块尺寸参数自适应选择；

(4)图像块结构分解，分别处理信号强度、信号结构和平均亮度组件；

(5)图像块融合；

(6)整合融合图像块获得融合图像。

图3为本发明采用的融合图像块重组示意图。该融合图像块重组示意图利用图像块空间结构信息将融合图像块序列进行重组获得融合图像，对于重叠的图像块中的像素进行平均处理。

Claims (5)

1.一种基于可变图像分解的多曝光图像融合方法，其特征在于，该方法包括以下步骤：

(1)采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解；

(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像，并利用灰度差分统计方法获得图像纹理特征的熵值；

(3)根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列x_k,i，其中，x_k,i表示第k张图像的第i个图像块，1≤k≤K,1≤i≤n，K是不同曝光级源图像的张数，n是每一张图像分割得到的图像块数量；

(4)每一个x_k,i采用图像块结构分解算法将其分解为三个独立组件：信号强度c_k,i、信号结构s_k,i和平均亮度l_k,i，对上述三个组件进行处理获得融合图像块的期望组件

(5)根据和计算对应的融合图像块

(6)对所有图像块x_k,i执行步骤(4)-(5)得到新的融合图像块然后依据图像块的空间结构信息对融合图像块进行重组以获得融合图像。

2.根据权利要求1所述的一种基于可变图像分解的多曝光图像融合方法，其特征在于，步骤(1)中，采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解方法如下：

(1.1)对于一组不同曝光级源图像，采用变分图像分解模型VO对图像进行纹理-卡通分解，VO模型的定义如下：

其中，TV表示全变分，表示g的L_P范数，其中，P＝1，g＝(g₁,g₂)是在G空间中由g₁,g₂确定的输入图像f的数字向量，其中 和分别表示u在x方向和y方向上的变化率，u_x表示u在x方向上的偏导，u_y表示u在y方向上的偏导，u是图像f的卡通分量，是图像卡通分量的变化量，λ和μ是正则化参数；

(1.2)通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化获得欧拉-拉格朗日方程，如公式(2)所示：

其中，表示u的水平线的曲率，使用半隐式有限差分迭代算法将公式(2)中的u离散化，得到图像卡通分量u；

(1.3)计算出图像卡通分量u后，利用公式(1)所表示的VO模型，图像的纹理分量v则可以通过v＝f-u求出。

3.根据权利要求1或2所述的一种基于可变图像分解的多曝光图像融合方法，其特征在于，步骤(2)中，将由步骤(1)求出的图像纹理分量v转换成灰度图像，并利用灰度差分统计方法获得图像纹理特征的熵值，方法如下：

(2.1)设(x,y)是图像中的任意一点，该点与其距离σ＝(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为：g_Δ(x,y)＝g(x,y)-g(x+Δx,y+Δy)，其中g(x,y)表示点(x,y)的灰度值，g_Δ是灰度差分，Δx和Δy有3种取值，分别为Δx＝-1,0,1和Δy＝-1,0,1，除去(Δx,Δy)＝(0,0)的像素点，σ＝(Δx,Δy)有八种取值，即每一个(x,y)的像素点相邻像素点最多有8个，分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1)，以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1)；

(2.2)设灰度差分值的所有可能取值共有m种，其中m≤511，遍历像素点(x,y)，统计出g_Δ取m种取值中取各个数值的次数，由此获得g_Δ的直方图，由直方图统计得到的每一个灰度差分值的概率为p(i)，图像纹理的熵值表示；

(2.3)对于一组不同曝光级源图像纹理分量重复以上步骤，获得每组图像中所有图像纹理特征熵值{ent₁,ent₂,...,ent_K}；

(2.4)计算每一组源图像纹理分量的平均纹理熵值采用下面的公式实现图像块尺寸大小的动态选取：

其中，wSize作为预先设置的图像块尺寸大小，并且wSize可以根据实际需要设定初始值。

4.根据权利要求3所述的一种基于可变图像分解的多曝光图像融合方法，其特征在于，步骤(3)中，根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列x_k,i的方法如下：利用公式(3)得到的图像块尺寸，将每一组源图像序列分成n个wSize×wSize大小的图像块，以获得每一组彩色图像块序列{x_k,i}＝{x_k,i|1≤k≤K,1≤i≤n}，n是每一张图像的图像块数量，x_k,i表示第k张图像的第i个图像块。

5.根据权利要求3所述的一种基于可变图像分解的多曝光图像融合方法，其特征在于，步骤(4)中，每一个图像块x_k,i采用图像块结构分解算法将其分解为三个独立组件：信号强度c_k,i、信号结构s_k,i和平均亮度l_k,i，对上述三个组件进行处理获得融合图像块的期望组件方法如下：

(4.1)利用计算图像块的平均亮度其中wSize表示图像块x_k,i的尺寸，C表示图像颜色(R,G,B)通道数，1表示一个所有元素都等于1的CwSize²维向量；去除平均亮度的图像块的2范数获得图像块信号强度c_k,i；利用获得的具有特定方向的单位向量即为图像块信号结构s_k,i；

(4.2)将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示：

(4.3)采用将图像块对比度作为权值对输入的结构向量进行加权平均处理，则融合图像块期望信号结构可以表示为其中，权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度；

(4.4 )对于平均亮度组件，将当前源图像X_k的平均亮度和当前图像块x_k,i的平均亮度l_k,i作为输入，构建二维高斯函数度量图像块在源图像中的曝光质量，其中C是图像颜色(R,G,B)通道数，H×W表示图像X_k的尺寸，σ_g和σ_l是构建的二维高斯函数中的高斯标准差，分别控制μ_k轮廓沿和l_k,i尺寸的扩展，则融合图像块的期望平均亮度表示为：