CN106920221A - 兼顾亮度分布和细节呈现的曝光融合方法 - Google Patents

Abstract

本发明涉及计算机图像高动态范围成像技术领域，提供兼顾亮度分布和细节呈现的曝光融合方法，将低动态范围多曝光图像序列分解在Lab颜色空间，得到亮度序列和颜色序列；根据亮度序列计算亮度全局权重函数；将亮度序列在行数列数平面上分割为多个超像素计算单元，获得亮度细节权重函数，将颜色序列在行数列数平面上分割为多个超像素计算单元，获得颜色细节权重函数；利用亮度全局权重函数和亮度细节权重函数对亮度序列进行加权求和得到融合亮度分量；利用颜色细节权重函数对颜色序列进行加权求和得到融合颜色分量；本发明实现从多张低动态范围图像直接合成单张低动态范围的高动态范围快速成像，并满足在亮度分布和细节呈现的需求。

Description

兼顾亮度分布和细节呈现的曝光融合方法

技术领域

本发明涉及计算机图像高动态范围成像技术领域，特别涉及一种兼顾亮度分布和细节呈现的曝光融合方法。

背景技术

在数字成像系统中，成像器件将接收到的光信号转化为电信号，再经过数字量化形成数字图像。然而由于自然场景的辐照度范围远大于成像器件的动态范围，因此发展了高动态范围成像技术，使得高动态范围的自然场景能够被有效纪录。

高动态范围成像技术可通过两个技术途径实现：成像器件以及数字图像。前者基于数字电路技术，拓宽成像器件的光电响应范围，以更高位的数字信号输出目标辐照度，然而该方法需要更高的工艺和成本，并且必须配置昂贵的高位数显示器才能推广应用。然后数字图像技术却没有这么高的要求，因而基于数字图像技术的高动态范围成像得到了广泛的应用，诸如在手机摄像、工业监测、安防监控和生物成像等领域。

基于数字图像技术的高动态范围成像的主流技术方案包括：

(1)色调映射，基于目标场景的多曝光图像序列，估计成像器件的响应曲线，得到目标场景辐照度的估计值，再利用映射函数将高动态范围(HDR)辐照度映射到低动态范围(LDR)像素值，使之可直接在常规显示器上显示和使用。但是色调映射需要较多的LDR图像才能较准确地估计目标场景的HDR辐照度，同时需要设计合理的色调映射函数，以符合人眼视觉为目标将HDR压缩到LDR；现有色调映射技术在多曝光图像数量过少时，会造成相机响应曲线的估计误差甚至失败，而过多的曝光图像数量又会引入较大的时间代价，较难实时应用在诸如手机、汽车及工业检测等领域。

(2)曝光融合，将目标场景的多张LDR图像直接融合为一张LDR图像，无需色调映射中的HDR辐照度估计这一步骤，相比色调映射具有更好的实时性和灵活性。曝光融合的关键是权重函数的设计，它的作用是合理选择多曝光图像序列中的有用信息，并整合在一张LDR图像中以呈现目标HDR场景。

现有曝光融合技术采用多分辨率框架实现不同权重的图像融合，而诸如哈尔小波框架会造成图像中的方块效应，复杂小波框架及拉普拉斯金字塔又造成过多的时间和内存的消耗，在曝光融合效果上，常存在过曝和欠曝区域的细节丢失，场景中亮度反转等缺陷。

发明内容

为解决以上技术问题，本发明提供兼顾亮度分布和细节呈现的曝光融合方法。基于多曝光和图像融合技术，有效解决LDR成像器件和显示设备无法捕获和呈现HDR目标的问题，实现从多张LDR图像直接合成单张LDR的HDR快速成像。

本发明的一种兼顾亮度分布和细节呈现的曝光融合方法，包括：

将低动态范围LDR多曝光图像序列分解在Lab颜色空间，得到亮度序列和颜色序列；

根据所述亮度序列计算亮度全局权重函数；

根据多曝光图像序列的总行数、总列数和总张数建立虚拟坐标系，基于所述虚拟坐标系对所述亮度序列进行超像素分割，建立多曝光图像的超像素分割结构，基于所述的超像素分割结构，将亮度序列在行数列数平面上分割为多个超像素计算单元，获得亮度细节权重函数，将颜色序列在行数列数平面上分割为多个超像素计算单元，获得颜色细节权重函数；

利用所述亮度全局权重函数和亮度细节权重函数对所述亮度序列进行加权求和得到融合亮度分量；利用所述颜色细节权重函数对颜色序列进行加权求和得到融合颜色分量。

采用所述融合亮度分量和融合颜色分量进行曝光融合

本发明从时间轴角度构建亮度全局权重函数，确保曝光融合图像的亮度分布与真实HDR场景相符合，从图像平面角度构建细节权重函数，并结合亮度颜色分离的方法提取目标细节，实现了一种兼顾亮度分布和细节呈现的曝光融合技术；同时利用超像素以计算单元构建局部常量的细节权重函数，可充分提取局部细节信息，避免了过曝和欠曝区域的细节丢失以及亮度反转缺陷，且无需多分辨率等复杂融合过程，操作简单，时间代价小。

附图说明

图1为本发明兼顾亮度分布和细节呈现的曝光融合方法优选实施例流程示意图；

图2为本发明的亮度全局权重函数与细节权重函数示意图；

图3为本发明的亮度颜色分离特征示意图；

图4为本发明的兼顾亮度分布和细节呈现的直接曝光融合流程图；

图5为本发明的超像素网格计算单元示意图；

图6为本发明的曝光融合方法与传统方法对比结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例进一步详细说明。

本发明提出的一种兼顾亮度分布和细节呈现的曝光融合方法，遵循曝光融合技术的一般路线，例如，Mertens T,Kautz J,Reeth F V.Exposure Fusion[C]//Conference onComputer Graphics&Applications.IEEEComputer Society,2007:382-390)，首先根据多张LDR图像计算权重函数，用于衡量输入图像中的特征以怎样的比例整合至输出图像，然后根据权重函数对输入图像序列实施直接加权相加，输出一张符合人眼视觉的、呈现HDR目标场景的LDR图像，能够用于后续计算机视觉和模式识别等操作，并能够直接在传统的LDR显示设备上使用。

本发明提出的一种兼顾亮度分布和细节呈现的直接曝光融合方法，如图1所示，包括以下步骤：

S1、图像序列分解

设输入的低动态范围LDR多曝光图像序列为{I_i}，其中i＝1,2,...n指图像序列编号，总共n幅LDR多曝光图像，所述多曝光图像序列就是不同曝光时间t1,t2,t3…下获得的图像。

将n幅LDR多曝光图像在Lab颜色空间进行分解，得到亮度序列{l_i}，颜色序列{a_i}与{b_i}，即每幅LDR多曝光图像经过分解得到亮度分量和颜色分量。

Lab颜色空间分解就指把彩色图像信号经分色、分别放大校正，再经过矩阵变换电路得到亮度信号和两个色差信号。

S2、亮度全局权重函数设计

首先，根据亮度序列在对数域计算有效亮度{L_i}：

其中log(·)是自然对数函数，l_min和l_max指有效亮度范围，分别优选取值2％和98％

然后，计算每幅图像的平均有效亮度{m_i}：

其中N_i是有效亮度L_i中非零元素的个数。

再次，假设LDR多曝光图像序列{I_i}的平均有效亮度的中值为m_j，于是设计如下亮度全局权重函数

其中，表示第i幅LDR多曝光图像的亮度全局权重函数，exp(·)是自然指数函数。

本发明亮度全局权重函数ω_h从亮度角度分析了输入LDR图像序列的亮度特征，当平均有效亮度m_i较小时，说明图像中包含了较多的欠曝区域，反之则包含了较多的过曝区域。而中间有效亮度m_j则能较真实地反映高动态范围HDR目标场景的亮度分布，于是以m_j为参考设计亮度全局权重函数ω_h，为输入LDR图像序列赋予全局权重值，以便可在融合图像中保全HDR目标场景的亮度分布特征。

S3、细节权重函数设计

记输入低动态范围LDR多曝光图像序列{I_i}的维度是r×c×n，r、c、n分别表示图像的总行数、总列数和总张数，并建立如下虚拟坐标系，即行数轴U、列数轴V、张数轴T虚拟坐标系：

其中u,v,t分别表示图像序列{I_i}的行数、列数和张数，于是第t幅图像的第r行第c列处的亮度值可表示为l(r,c,t)。

基于所述的虚拟坐标系，对亮度序列{l_i}进行超像素分割，包括：

首先，在UV平面(行数轴-列数轴平面)上均匀放置M个种子点，设某种子点为p(r₀,c₀)，其邻域内的点为p(r₁,c₁)，于是针对多曝光图像亮度序列{l_i}设计如下亮度距离判据D_l：

其意义是衡量种子点与其邻域内各像素点间的亮度距离，对低动态范围LDR多曝光图像序列{I_i}而言，计算不同曝光图像中的所有亮度距离的平均值。

同理可设计如下空间距离判据D_s：

它衡量了种子点与其邻域内各像素点间的欧式距离。

因此，根据所述的亮度距离判据D_l和空间距离判据D_s，以均匀放置在UV平面上的M个种子点为基准，采用分割算法，例如SLIC(Achanta R,Shaji A,Smith K,et al.SLICSuperpixels Compared to State-of-the-Art Superpixel Methods[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2012,34(11):2274-82)等分割算法，可将多曝光图像亮度序列{l_i}在UV平面上分割为多个超像素区域R_ij，其中i＝1,2,...n，j＝1,2,...M，表示第i幅图像的第j个超像素区域，然后以单个超像素区域为计算单元，设计如下的亮度细节权重函数和颜色细节权重函数

其中，表示第i幅LDR多曝光图像的亮度细节权重函数，表示第i幅LDR多曝光图像的颜色细节权重函数，函数mean(·)和std(·)分别表示求平均值和求标准差，表示超像素区域R_ij的亮度，和表示超像素区域R_ij的颜色分量，由上述Lab颜色空间分解得到，R_X是归一化亮度值，其值是0-1之间取值的常量，优选取0.5。

细节权重函数从细节角度诠释了多曝光图像序列的权重大小，对每一幅LDR图像而言，以超像素区域R_ij为计算单元，从有效亮度ω_v1和颜色饱和度ω_v2两方面分析了图像中哪些区域包含了较多的细节，进而为其分配较大的权重值。

本发明以超像素区域为计算单元的好处包括：(1)超像素区域内不存在缝隙、光晕等鬼影；(2)以超像素区域为计算单元的操作方式能够尽可能地提取到局部区域的细节；(3)超像素分割后可降低权重函数的计算时间。

S4、融合方法设计

作为一种可实现方式，设计如下曝光融合策略：

利用所述亮度全局权重函数和亮度细节权重函数对所述亮度序列进行加权求和得到融合亮度分量

利用所述颜色细节权重函数对颜色序列进行加权求和得到融合颜色分量

上述公式中，l_f表示融合亮度分量，a_f和b_f表示融合颜色分量，整个融合过程直接在空域内完成，无须多分辨率分解框架，操作简单。

本发明以超像素为计算单元，有效保障了融合图像的局部连续性，但是以上方案在相邻超像素边界可能存在不连续性，在融合图像上表现为块状效应，本发明为进一步消除块状效应，对细节权重函数实施如下优化：

其中和指优化的细节权重函数，GF(·)是导向滤波器，导向滤波器不是本发明重点，具体技术细节参见He K,Sun J,Tang X.Guided imagefiltering.[J].IEEE Transactions on Software Engineering,2013,35(6):1397-1409，导向滤波器使得优化的细节权重函数满足：

其中∝代表线性关系，代表图像的梯度。

优化操作为细节权重函数提供了与图像亮度相似的梯度特征，一方面有效解决超像素区域间的不连续性，消除块状效应，另一方面为直接曝光融合提供更优化的条件。

因此，作为一种优选实现方式，设计如下直接曝光融合策略

本发明提出的一种兼顾亮度分布和细节呈现的直接曝光融合方法，其多曝光图像序列可视为三维空间中的数据点，如图2所示，维度u和v衡量了图像的二维平面空间，分别代表图像的行数和列数，而维度t衡量了图像序列的时间，代表图像序列的张数。曝光融合则将三维空间的图像数据融合至二维空间，形成一张二维的图像，基于此思想，本发明从三维空间出发，设计了亮度全局权重函数和细节权重函数。

如图2所示，所述的亮度全局权重函数ω_h在维度t方向上为图像序列{I_i}分配全局权重值，它衡量了图像序列在时间维度上的亮度变化，以中间有效亮度为参考，保障了目标场景亮度分布在融合图像中的体现。所述的细节权重函数ω_v在维度u和v组成的平面上，衡量了单幅图像上的局部细节变化，分别利用亮度和颜色信息充分提取了目标场景的细节。综上所述，本发明从u-v-t三维空间出发，构建了亮度全局权重函数确保了所述的曝光融合方法的亮度分布特征，构建了细节权重函数确保了所述的曝光融合方法的细节呈现特征。

亮度全局权重函数和细节权重函数的具体实施如图3、图4所示，将输入的RGB图像在Lab空间分解得到l分量、a分量和b分量，接着利用l分量计算所述的亮度全局权重函数ω_h和细节权重函数ω_v1，利用a分量和b分量计算所述的细节权重函数ω_v2。同理在图像融合阶段，分别在l分量、a分量和b分量进行重构，再合成RGB图像并得到最终的融合图像。因此，本发明基于亮度颜色分离的特征，构建了融合权重函数并分离地实现了图像融合。

若仅使用所述的亮度全局权重函数实施直接曝光融合，融合图像虽能呈现目标细节，但对比度低下；若仅使用所述的细节权重函数实施直接曝光融合，融合图像将存在非常严重的鬼影。导致该现象的原因是：亮度全局权重函数是一个全局常量，虽无鬼影亦无法体现细节，而细节权重函数的特点是局部不连续，虽体现细节但存在严重鬼影。基于该现象，本发明提出使用超像素思想构建一个局部常量的权重函数，即以超像素为计算单元，如图5示意，能够有效保证局部区域的连续性，又能充分体现目标细节。而后，借助边缘保持的导向滤波消除超像素操作造成的块状效应，避免了复杂的多分辨多尺度图像融合框架而直接实现融合。

最终将Lab空间的融合图像转换到RGB颜色空间，得到一张兼顾亮度分布和细节呈现的曝光融合图像，如图6所示，对比了本发明比较于传统方法的有益之处，如第一行图像所示，传统方法的实线椭圆区域P₁对比本发明方法的虚线椭圆区域P₂，前者无法清晰呈现铁塔的较暗细节，而本发明更能体现HDR场景的各处细节；又如第二行图像所示，传统方法的直方图R₁对比本发明方法的直方图R₂，前者的两个峰值更集中向中间靠拢，与真实HDR场景亮度分布相违背，而本发明则能较好地呈现HDR场景的亮暗对比，因此兼顾了HDR场景的亮度分布和细节呈现。

本发明提出的一种兼顾亮度分布和细节呈现的曝光融合方法，具有四大特征：(1)亮度分布特征，充分考虑HDR目标场景的亮度分布在融合图像中的体现，并设计了亮度全局权重函数保全亮度分布特征；(2)细节呈现特征，充分提取HDR目标场景的局部细节，利用超像素思想设计了细节权重函数；(3)亮度颜色分离特征，在Lab空间分别对亮度和颜色通道赋予不同的权重函数，充分提取目标的细节与颜色特征；(4)直接融合特征，仅利用边缘保持滤波器消除超像素块效应，无须多分辨多频带等复杂操作直接实现图像融合。

本发明基于多曝光和图像融合技术，有效解决LDR成像器件和显示设备无法捕获和呈现HDR目标的问题，实现从多张LDR图像直接合成单张LDR的HDR成像，满足HDR目标在亮度分布和细节呈现两方面的需求，本发明可为LDR成像系统提供一种灵活的快速的HDR成像功能，可广泛应用于工业成像、安全监控、全景相机和手机摄像头等存在高动态或宽动态辐照度的场合。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种兼顾亮度分布和细节呈现的曝光融合方法，其特征在于：包括：

将低动态范围LDR多曝光图像序列分解在Lab颜色空间，得到亮度序列和颜色序列；

根据所述亮度序列计算亮度全局权重函数；

根据多曝光图像序列的总行数、总列数和总张数建立虚拟坐标系，基于所述虚拟坐标系对所述亮度序列进行超像素分割，建立多曝光图像的超像素分割结构，基于所述的超像素分割结构，将亮度序列在行数列数平面上分割为多个超像素计算单元，获得亮度细节权重函数，将颜色序列在行数列数平面上分割为多个超像素计算单元，获得颜色细节权重函数；

利用所述亮度全局权重函数和亮度细节权重函数对所述亮度序列进行加权求和得到融合亮度分量；利用所述颜色细节权重函数对颜色序列进行加权求和得到融合颜色分量；

采用所述融合亮度分量和融合颜色分量进行曝光融合。

2.根据权利要求1所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于，所述根据所述亮度序列计算亮度全局权重函数，包括：

$m_i=\frac{{\mathrm{\ΣL}}_i}{N_i}$

其中，表示第i幅LDR多曝光图像的亮度全局权重函数，exp(·)是自然指数函数，m_i是每幅图像的平均有效亮度，m_j是多曝光图像序列的平均有效亮度的中值，L_i是有效亮度，N_i是有效亮度L_i中非零元素的个数，log(·)是自然对数函数，l_i表示亮度序列中的值，l_min和l_max指有效亮度范围。

3.根据权利要求1所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于：所述亮度细节权重函数为：

${\mathrm{\ω}}_{v1}^{\left(i\right)}=mean\left(\right|l_{R_{ij}}-R_X\left|\right)$

其中，表示第i幅LDR多曝光图像的亮度细节权重函数，mean(·)和std(·)分别表示求平均值和求标准差，表示超像素区域R_ij的亮度，和表示超像素区域R_ij的颜色分量，R_X是归一化亮度值。

4.根据权利要求1所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于：所述颜色细节权重函数为：

${\mathrm{\ω}}_{v2}^{\left(i\right)}=std\left(\sqrt{a_{R_{ij}}^2+b_{R_{ij}}^2}\right)$

其中，表示第i幅LDR多曝光图像的颜色细节权重函数，mean(·)和std(·)分别表示求平均值和求标准差，表示超像素区域R_ij的亮度，和表示超像素区域R_ij的颜色分量，R_X是归一化亮度值。

5.根据权利要求1所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于，在利用所述亮度全局权重函数和亮度细节权重函数对所述亮度序列进行加权求和得到融合亮度分量之前，利用亮度序列对细节权重函数进行优化。

6.根据权利要求5所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于：所述利用亮度序列对细节权重函数进行优化采用导向滤波器，包括利用导向滤波利用亮度序列对亮度细节权重函数进行优化：

${\stackrel{\‾}{\mathrm{\ω}}}_{v1}^{\left(i\right)}=GF({\mathrm{\ω}}_{v1}^{\left(i\right)},l_i)$

其中，表示第i幅LDR多曝光图像经优化的亮度细节权重函数，GF(·)是导向滤波器，是第i幅LDR多曝光图像的亮度细节权重函数，l_i表示亮度序列中第i幅LDR多曝光图像的值。

7.根据权利要求5所述兼顾亮度分布和细节呈现的曝光融合方法，其特征在于：所述利用亮度序列对细节权重函数进行优化采用导向滤波器，包括利用导向滤波利用亮度序列对颜色细节权重函数进行优化：

${\stackrel{\‾}{\mathrm{\ω}}}_{v2}^{\left(i\right)}=GF({\mathrm{\ω}}_{v2}^{\left(i\right)},l_i)$

其中，表示第i幅LDR多曝光图像经优化的颜色细节权重函数，GF(·)是导向滤波器，是第i幅LDR多曝光图像的颜色细节权重函数，l_i表示亮度序列中第i幅LDR多曝光图像的值。