CN104299213A - 一种基于低动态图像的细节特征合成高动态图像的方法 - Google Patents

Abstract

本发明公开一种基于低动态图像的细节特征合成高动态图像的方法，首先输入多幅低动态范围图像，接着在时间域提取多幅不同曝光度的低动态范围图像的细节特征，然后基于细节特征构造加权系数，细节特征丰富的像素赋予较大的权值，细节特征不明显的像素赋予较小的权值，将含有丰富细节特征的像素提取到最终的合成图像中，从而获得含有较丰富细节特征、动态范围较广的高动态范围图像。本发明避免了求解相机响应曲线，降低了计算复杂度，合成后的高动态范围图像可以在低动态范围的显示器上得到较好的视觉显示效果。

Description

一种基于低动态图像的细节特征合成高动态图像的方法

技术领域

本发明涉及摄影、安防和文化传播等领域的高动态图像的获取方法，具体的说是一种基于低动态图像的细节特征合成高动态图像的方法。

背景技术

在日常生活中，我们用传统相机拍照时会遇到这样的情况：1、在室内面向有阳光入射的窗户拍摄(即，背光情况)，不能同时将窗外强光下的蓝天白云和室内弱光的场景拍摄清晰；2、正月十五花灯旁的人物和背后璀璨的花灯也不能同时拍摄清晰；3、夜晚霓虹闪烁的美丽天桥和天桥上的车辆、行人也不能同时拍摄清晰。诸如此类，多种场景，无论怎样调整相机参数，都不会将所有场景的细节信息展现清晰。这是因为现实世界的真实场景展现的亮度范围超出了相机本身所能显示的动态范围，在曝光度较大的场景中出现了某些亮处的过曝现象，在曝光度较小的场景中出现了某些暗处的欠曝现象。现实场景的亮度范围非常宽广，从夜空中的星光到耀眼的太阳，场景亮度变化涵盖了约九个数量级(10⁹)的动态范围，人眼所能感受到的动态范围大约为10⁶，但是，目前普通的显示/输出设备受到软硬件水平的限制，使得数字图像的存储、传输、处理、显示等都是基于8bit整数来进行的，只能表示256(约10²)个深度等级，图像的亮度级别十分有限，导致人眼所能感知到的动态范围在图像上不能真正体现，由于动态范围的不匹配，导致部分图像的细节信息丢失。因此，需要提出一种可以在普通显示设备上显示高动态图像的方法，从而解决真实场景的动态范围与普通显示设备动态范围的不匹配问题，同时节约硬件成本。

发明内容

为解决上述现有的缺点，本发明的主要目的在于提供一种基于低动态图像的细节特征合成高动态图像的方法，利用普通图像采集设备采集到多幅低动态图像，依据人眼的视觉特性，细节特征丰富的区域为“清晰”区域，因此，将细节特征是否丰富作为图像提取与合成的权值，分别将多幅图像的“清晰”区域或者像素提取到一幅图像中，从而合成一幅高动态图像，并且可以在普通显示设备上显示高动态图像，从而解决真实场景的动态范围与普通显示设备动态范围的不匹配问题。

为达成以上所述的目的，本发明的一种基于低动态图像的细节特征合成高动态图像的方法，采取如下技术方案：

一种基于低动态图像的细节特征合成高动态图像的方法，其特征在于，利用多幅低动态图像的细节特征构造加权系数并合成以获得高动态范围图像。

包括低动态图像中无运动目标，并且图像经过人工配准。

包括细节特征为方差、均值、梯度和熵的任意一个或其任意组合。

包括多幅为至少3幅。

其进一步的，包括以下步骤：

A：获取多幅输入的低动态图像X_LDR1,X_LDR2,X_LDR3,…,X_LDRn；

B：提取每幅图像的细节特征C_l(i,j)；

C：依据公式 $w_l=\frac{\left|C_l(i,j)\right|}{\underset{l=1}{\overset{p}{\mathrm{\Σ}}}\left|C_l(i,j)\right|}(l=\mathrm{1,2},...,p)$ 确定多幅低动态图像被提取到目标合成图像中的加权系数w_l；

D：依据公式 ${\hat{w}}_l(i,j)=\frac{1}{d}\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}\left|w_l(m,n)\right|$ 修正步骤C所述加权系数w_l；

E：依据公式获得目标高动态图像X_HDR。

包括步骤D的修正是对每个加权系数w_l用正方形掩模进行平均滤波，每个加权系数w_l修正为以此为中心的正方形掩模区域内的平均值其中，正方形掩模的尺寸为d＝(2k+1)×(2k+1)。

其更进一步的，包括以上至少任意一项所述的方法，以及细节特征变化而功能相同的高动态图像。

采用如上技术方案的本发明，具有如下有益效果：

算法理论简单易懂，运算复杂度较低，对图像采集设备要求较低(普通的图像采集设备均可)。图像合成在普通的计算机上处理即可，获取的高动态图像属于软件合成，非硬件生成，能够更好的服务于摄影领域、安保领域以及数字传媒领域高动态图像的获取，为社会发展带来一定的经济效益。

附图说明

图1为本发明的流程框图。

图2为本发明实施例1的三幅不同曝光度的低动态图像。

图3为本发明实施例1的初步合成的高动态图像。

图4为本发明实施例1的修正加权系数合成的高动态图像。

图5为本发明实施例2的六幅不同曝光度的低动态图像。

图6为本发明实施例2的初步合成的高动态图像。

图7为本发明实施例2的修正加权系数合成的高动态图像。

具体实施方式

为了进一步说明本发明，下面结合附图进一步进行说明：

如图1所示，本发明的一种基于低动态图像的细节特征合成高动态图像的方法，首先采集输入的多幅低动态图像，接着在时间域提取多幅不同曝光的低动态图像的细节特征，然后基于细节特征构造加权系数，细节特征丰富的像素赋予较大的权值，其他像素赋予较小的权值，将含有丰富细节特征的像素提取到最终的合成图像中，从而获得含有较丰富细节特征、动态范围较广的图像。本发明包括低动态图像采集、图像细节特征提取、确定局部加权系数、修正加权系数和合成高动态图像五个步骤，以下分别描述。

1.低动态图像采集：获取多幅输入图像，其图像来源于相机、监控摄像头、电脑等普通图像采集设备，本发明的多幅输入图像经过人工配准，并且图像中无运动目标。在低动态图像采集单元中，图像可以是灰度图像，也可以是彩色图像，通过调整曝光时间或者感光度ISO来调整图像不同的曝光度。比如，将单反相机固定在三角架上，手动调整曝光时间，对无运动目标的固定场景拍摄多幅图像。如图2所示图像，“原始图像1”的曝光时间为1/30秒，“原始图像2”的曝光时间为1/80秒，“原始图像3”的曝光时间为1/500秒。再比如，将单反相机固定在三角架上，手动调节感光度ISO，获取六幅不同动态范围的图像(图5)，其ISO分别为100、200、400、800、1600、3200。在图2和图5的系列图像中，各图像序列首先经过人工配准(即，在图像采集的过程中，相机固定在三脚架上，则，获取的多幅图片中各物体均配准)。那么，在曝光度较强的图像(例如，图2的“原始图像1”)中，亮处细节过曝光，细节信息丢失，而暗处细节较丰富；在曝光度较小的图像(例如，图2的“原始图像3”)中，暗处细节欠曝光，漆黑一片，细节信息丢失，而亮处细节较丰富。本发明提出的方法就是将这多幅图像中的清晰细节信息提取到一幅图像中，再现现实世界较宽的动态范围。

2.图像细节特征提取：提取每幅图像的局部细节特征，本发明的细节特征规定为方差、均值、梯度、熵等，但不局限于此细节特征，从而确定图像提取的权值，该部分是合成的关键部分之一。图像的细节特征丰富，说明图像的灰度变化明显，含有的信息量较丰富，因此，选用方差、均值、梯度、熵等作为描述细节特征的量。为了避免分块融合中的边界效应，采取基于像素的融合方式，因此，本发明中的细节特征是某像素的细节特征，通常以该像素为中心的某个区域的区域特征来描述这个局部特征。当区域特征较大时，图像含有较多的细节信息，该像素作为优质资源被提取到最终的融合图像中；否则，认为是劣质资源，被舍弃。

某像素X(i,j)的局部特征描述为：以X(i,j)为中心的某个区域的特征。通常选取(2k+1)×(2k+1)的正方形区域，那么，该点X(i,j)的区域方差、区域均值、区域梯度、熵分别定义如下：

$\mathrm{Var}(i,j)=\frac{1}{d}\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}{[X(m,n)-\stackrel{\‾}{X}]}^2$

$\mathrm{Mean}(i,j)=\frac{1}{d}\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}|X(m,n)-\stackrel{\‾}{X}|$

$\mathrm{Grad}(i,j)=\frac{1}{d}\underset{m=i-k}{\overset{i+k-1}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k-1}{\mathrm{\Σ}}}|X(m+1,n+1)-X(m,n)|+|X(m,n+1)-X(m+1,n)|$

$\mathrm{Entr}(i,j)=\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}-p\left(X(m,n)\right){\log }_{2}p\left(X(m,n)\right)$

其中d＝(2k+1)×(2k+1)，即正方形区域内的像素个数，X(m,n)为图像在(m,n)点的亮度值。为区域内的像素平均值，即下式：

$\stackrel{\‾}{X}=\frac{1}{d}\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}X(m,n)$

某像素的区域均值表示为，在以该像素为中心的某个区域中，每个像素点与平均值之间的绝对差值之和，和越大，说明该点与周围像素的差异越大，即图像的细节信息越丰富。同样，某像素的区域方差表示，在以该像素为中心的某个区域中，每个像素点与平均值之间差值的平方和，平方和越大，说明该点周围图像的细节特征就越多。梯度反映的是图像的边缘、纹理信息，梯度越大，说明边缘、纹理信息越丰富，图像也就越清晰。熵反映图像的平均信息量，熵越大，图像的平均信息量就越大。

本发明中首先采用原始图像的方差特征C(i,j)，作为低动态图像各像素点的特征，以此来衡量图像的细节特征。

如果输入为灰度图像，则直接在亮度空间域提取细节特征，如果输入为彩色图像，则分别在R、G、B三通道提取细节特征，并分别在三通道进行合成。

3.确定局部加权系数：该部分的功能在于确定多幅图像被提取到目标合成图像中的权重，是合成的关键部分之一。其中，w_l(i,j)为第l幅图像的加权系数。记p幅多曝光图像的某像素(i,j)处的局部细节特征为[C₁(i,j),C₂(i,j),…,C_p(i,j)]，那么权系数定义为：

$w_l=\frac{\left|C_l(i,j)\right|}{\underset{l=1}{\overset{p}{\mathrm{\Σ}}}\left|C_l(i,j)\right|}(l=\mathrm{1,2},...,p)$

在p幅低动态图像中，某像素点处的细节特征较大，就认为该点处质量较好，因此，在合成的目标图像中占得的权重较大，这样就会提取每幅图像中细节较多的部分到合成目标图像中。

4.修正加权系数：该部分对上述加权系数单元的权系数继续修正，使得合成后的图像更加自然、流畅，符合人类视觉特性。由于每幅图像曝光度的不同，在不同幅图像中同一位置的像素点与其周围像素的亮度差异不同，即A幅图像中区域特征较丰富的像素a与B幅图像中区域特性较丰富的相邻像素b提取在一起，会出现明显的亮度差异，因此，直接按照上述公式合成会出现明显的色彩斑块，如图3和图6所示。尽管合成图像中细节特征显著，但是不够平滑，相邻像素之间的过渡较为激烈，因此，本发明继续对加权系数的公式w_l修正。

利用公式 ${\hat{w}}_l(i,j)=\frac{1}{d}\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}\left|w_l(m,n)\right|$ 对每个加权系数w_l用正方形掩模进行平均滤波，每个加权系数修正为以此为中心的正方形掩模区域内的平均值，从而消除相邻像素加权系数的差异，得到最终的加权权系数。

5.合成高动态图像：该部分将生成最终的高动态图像，利用多幅低动态图像和修正后的加权系数，将多幅低动态图像中的清晰区域提取到目标合成图像中，从而获得高动态图像。该高动态图像集合了多幅低动态图像的清晰细节，能够同时展现强光处的场景和暗光处的场景。最后，合成的目标图像为：

以下结合实施例做进一步的说明。

实施例一

如图2选取三幅输入的低动态图像，选取均值作为细节特征，经过加权形成如图3的图像，再经过修正加权，最后合成如图4的高动态图像。

实施例二

如图5选取六幅输入的低动态图像，选取方差为细节特征，经过加权形成如图6的图像，再经过加权修正，最后合成如图7的高动态图像。

需要说明的是，以上实施例所描述的一种基于低动态图像的细节特征合成高动态图像的方法，不仅局限于实施例，所有包括本方案中任一描述的方法以及细节特征变化而功能相同的高动态图像均在本发明保护范围之内。

Claims (7)

1.一种基于低动态图像的细节特征合成高动态图像的方法，其特征在于，利用多幅低动态图像的细节特征构造加权系数并合成以获得高动态范围图像。

2.如权利要求1所述的方法，其特征在于，所述低动态图像中无运动目标，并且图像经过人工配准。

3.如权利要求1所述的方法，其特征在于，所述细节特征为方差、均值、梯度和熵的任意一个或其任意组合。

4.如权利要求1所述的方法，其特征在于，所述多幅为至少3幅。

5.如权利要求1所述的方法，其特征在于，包括以下步骤：

A：获取多幅输入的低动态图像X_LDR1,X_LDR2,X_LDR3,…,X_LDRn；

B：提取每幅图像的细节特征C_l(i,j)；

C：依据公式 $w_l=\frac{{|C}_l(i,j)|}{\underset{l=1}{\overset{p}{\mathrm{\Σ}}}\left|C_l(i,j)\right|},(l=\mathrm{1,2},...,p),$ 确定多幅低动态图像被提取到目标合成图像中的加权系数w_l；

D：依据公式修正步骤C所述加权系数w_l；

E：依据公式获得目标高动态图像X_HDR。

6.如权利要求5所述的方法，其特征在于，所述步骤D的修正是对每个加权系数w_l用正方形掩模进行平均滤波，每个加权系数w_l修正为以此为中心的正方形掩模区域内的平均值其中，正方形掩模的尺寸为d＝(2k+1)×(2k+1)。

7.一种高动态范围图像，其特征在于，包括权利要求1-6中至少任意一项所述的方法，以及细节特征变化而功能相同的高动态图像。