CN106506983A - 一种适用于ldr视频的hdr视频生成方法 - Google Patents

Abstract

本发明公开了一种适用于LDR视频的HDR视频生成方法，步骤(1)、将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，求出对于LDR视频的第一帧LDR图像的HDR图像；步骤(2)、输入向量x和向量y，通过判别均方误差的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线；对生成拟合曲线进行修正，从而找到一条最优化拟合曲线，作为LDR图像和HDR图像之间的曲线拟合结果；步骤(3)、利用最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。与现有技术相比，本发明复杂度低，更能够实现实时的LDR视频向HDR视频的转换；所生成的HDR视频的色彩信息更符合人眼视觉特性，细节更加清晰，包含信息更丰富。

Description

一种适用于LDR视频的HDR视频生成方法

技术领域

本发明涉及视频监控领域，特别是涉及一种HDR视频生成方法。

背景技术

高动态范围(High Dynamic Range，简称HDR)视频与低动态范围(Low DynamicRange，简称LDR)视频相比，能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受，能更好地匹配人眼对现实世界场景的认知特性。正因为如此，HDR技术可以被应用于对图像质量要求较高的领域，如医学影像、视频监控、卫星遥感和计算机视觉等领域中。

目前生成HDR视频的方法主要分为两类：一类是硬件方法，使用配有改进传感器的专用HDR摄相机一次曝光直接生成HDR，这种特殊的HDR摄相机系统需要有特殊的定制的硬件，不仅价格昂贵而且市场应用性不广泛。另一类是软件方法，包括：(1)使用普通的摄相机拍摄交替循环曝光的低动态范围(Low Dynamic Range，简称LDR)视频，然后利用多幅LDR相邻帧的图像生成HDR相应帧的图像，该方法获取视频源比较繁琐；(2)每一帧都利用单幅图像生成HDR图像的方法，从而生成HDR视频；该方法获取视频源较之简单，但是每一帧都采用相同的方法生成HDR，导致会有冗余的操作。但是，与硬件的方法相比较，软件的生成方法，细节信息更为细腻，而且对设备的要求较低。因此，实际应用中大多使用软件方法生成HDR视频。

发明内容

基于现有技术，本发明提出了一种基于LDR视频的HDR视频生成方法，在单幅图像生成HDR图像方法的基础上，实现适用于LDR视频的HDR视频生成方案。

本发明提出了一种适用于LDR视频的HDR视频生成方法，该方法包括以下步骤：

步骤1、将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，建模如下：

其中，L_wk表示第k个伪曝光HDR图像在坐标(i,j)点处的亮度，P_k表示相邻伪曝光之间的亮度差异的控制参数，L_d(i,j)表示在像素(i,j)点处的输入LDR图像的归一化的亮度控制参数，L_max,k表示生成的第k个伪曝光图像的最大亮度值。L_smax的值为382.5，L_ad,k表示第k幅伪曝光图像的平均亮度控制参数：

L_ad,k＝1+exp(μEV_k)

其中，EV_k表示第k幅图像的曝光值，μ的值设为0.85；对于给定不同的(EV_k，P_k)，得到LDR视频第一帧图像的多幅不同曝光的图像；

根据图像的对比度、饱和度以及曝光度，计算图像的权重图，并且得到N个多曝光图像序列中第k个图像(i,j)处的像素点的归一化权重为：

图像的权重图W_ij,k计算公式如下：

其中，ij,k表示多曝光图像序列中第k个图像(i,j)处的像素点；ω_C、ω_S、ω_E分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，ω_C＝ω_S＝ω_E＝1；

将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，得到关于不同分辨率的图像和权重图的金字塔融合公式如下：

式中，N表示输入的图像总数，即生成的伪曝光图像数，I_ij,k表示第k个输入的图像在坐标(i,j)处的值，即第一步生成的L_wk，i,j表示像素点坐标(i,j)，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示第k个输入图像在像素点坐标为(i,j)处的归一化的权重图；表示对第k个输入图像在像素点坐标为(i,j)处的归一化权重图进行高斯金字塔分解，得到的第l层高斯金字塔；表示坐标为(i,j)处的融合后图像R的第l层拉普拉斯金字塔；表示对像素点坐标为(i,j)处的第k个输入图像进行拉普拉斯金字塔分解，得到的第l层拉普拉斯金字塔；

最后，将金字塔L{R}^l进行拉普拉斯逆变换得到融合后的图像R；至此，求出对于LDR视频的第一帧LDR图像的HDR图像；

步骤2、将输入的第一帧LDR图像的R,G和B通道所有像素值存放到一个行向量x里，将第一帧合成的HDR图像的R,G和B通道所有像素值存放到行向量y里；

通过CFTOOL工具，输入向量x和向量y，通过判别均方误差的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线；

通过HDR图像的平均亮度值的差异来对生成的曲线进行修正，从而得到最优拟合曲线；具体处理包括：

定义灰度图像的一元灰度熵为：

其中p_i表示图像中灰度值为i的像素在该图像中出现的概率；

通过人眼对生成的HDR图像进行感知，再参考信息熵的大小，对生成拟合曲线进行修正，从而找到一条最优化拟合曲线，作为LDR图像和HDR图像之间的曲线拟合结果；

步骤3、利用步骤2得到的最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。

与现有技术相比，本发明实现的获取视频源的方法复杂度低、减少了冗余的操作，更能够实现实时的LDR视频向HDR视频的转换；由于采用单曝光视频，所生成的HDR视频的色彩信息更符合人眼视觉特性，细节更加清晰，包含信息更丰富。

附图说明

图1为本发明的HDR图像合成示意图；

图2为LDR视频第一帧以及合成的HDR图像，(a)LDR视频第一帧；(b)伪曝光金字塔合成LDR视频；(c)利用较优曲线合成LDR视频。

图3为利用最优曲线生成的HDR视频，(a)LDR视频第一帧图像，(b)LDR视频第一帧图像合成的HDR图像，(c)LDR视频第二帧图像，(d)LDR视频第二帧图像合成的HDR图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

HDR视频生成方法，具体步骤如下：

第一步、将LDR视频第一帧图像合成HDR图像：将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，从而可以获取更多的信息，建模如下：

其中，L_wk表示第k个伪曝光HDR图像在坐标(i,j)点处的亮度，P_k表示相邻伪曝光之间的亮度差异的控制参数，L_d(i,j)表示在像素(i,j)点处的输入LDR图像的归一化的亮度控制参数，L_max,k表示生成的第k个伪曝光图像的最大亮度值。L_smax的值被设置为382.5，L_ad,k表示第k幅伪曝光图像的平均亮度控制参数，而其是通过以下方程进行调整：

L_ad,k＝1+exp(μEV_k) (2)

其中，EV_k表示第k幅图像的曝光值，μ被设置为0.85。

因此该逆色调映射函数受EV_k、P_k控制，对于给定不同的(EV_k，P_k)，就会产生不同的伪曝光图像。

在得到LDR视频第一帧图像的多幅不同曝光的图像后，利用金字塔融合的方法，最终生成LDR视频第一帧图像对应的HDR图像。对于同一场景，由于生成的图像有的曝光过度或者曝光不足，因此会形成平滑区域和不饱和区域，这些区域包含的信息较少，应给予较小的权重，而感兴趣的区域应给予较大的权重。因此，根据图像的对比度、饱和度以及曝光度，计算图像的权重图。

图像的权重图W如下：

其中，ij,k表示多曝光图像序列中第k个图像(i,j)处的像素点；ω_C、ω_S、ω_E分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，该算法中取ω_C＝ω_S＝ω_E＝1。将公式(3)进行归一化，得到N个多曝光图像序列中第k个图像(i,j)处的像素点的权重为：

由于传统的塔融合公式(5)合成效果不好，因此该算法使用金字塔来分解图像，以多分辨率的方式来融合图像。首先，将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，将N幅权重图分别进行高斯金字塔分解，得到不同分辨率的图像和权重图，并记图像A的第l层拉普拉斯金字塔分解为L{A}^l，记图像B的第l层高斯金字塔分解为G{B}^l。然后，类似公式(5)，得到金字塔融合公式如下：

式中，N表示输入的图像总数，即生成的伪曝光图像数，I表示输入的伪曝光HDR图像，即第一步生成的L_wk，i,j表示像素点(i,j)处，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示归一化的权重图。

最后，将金字塔L{R}^l进行拉普拉斯逆变换得到融合后的图像R。至此，就求出了对于LDR视频的第一帧LDR图像的HDR图像。

第二步：生成LDR图像和HDR图像之间的曲线拟合

首先，将输入的第一帧LDR图像的R,G和B通道所有像素值存放到一个行向量x里，

将第一帧合成的HDR图像的R,G和B通道所有像素值存放到行向量y里；

1)、通过CFTOOL工具，输入向量x和向量y，通过判别均方误差(Mean SquaredError,MSE)的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线，即为较优的拟合曲线。

2)、由于该曲线是近似曲线，存在着误差，因此需要对该曲线进行修正。本文采用HDR图像信息熵最大准则的方法，同时参考人眼对生成图像的视觉感知差异，通过图像的平均亮度值的差异来对1)生成的曲线进行修正，从而得到最优拟合曲线。其中：

图像信息熵：图像信息熵是一种特征的统计形式，它反映了图像中平均信息量的多少。

令p_i表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：

其中p_i是某个灰度在该图像中出现的概率，可由灰度直方图获得。

本发明通过人眼对生成的HDR图像进行感知，再参考信息熵的大小，对1)生成的较优的拟合曲线进行修正，从而找到一条最优的拟合曲线。

第三步：利用拟合曲线将LDR视频转换为HDR视频

利用第二步得到的最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。

本发明仅在图像RGB空间对LDR视频向HDR视频转换的方法进行了详细阐述，但是该方法也同样适用于在图像YUV或者HSV空间的LDR视频向HDR视频的转换。

首先，寻找第一帧LDR图像和基于单幅图像生成的HDR图像之间的对应关系曲线，然后利用该曲线将LDR视频映射生成HDR视频。

1)采用生成5幅伪曝光的图像，即：k＝0～4；L_smax＝382.5，EV_k＝(-1,-0.5,0,0.5,1)，P_k＝(1.3,1,0.8,0.6,0.4)，其余系数在技术方案中给出。

2)利用CFTOOL生成的较优曲线为：

y＝1.173×x-0.1486 (8)

如图2所示，图(a)是输入的LDR视频第一帧图像，图(b)为LDR视频第一帧图像通过逆色调映射和金字塔融合生成的HDR图像，图(c)为利用CFTOOL生成的较优曲线来生成的HDR图像，其信息熵分别为图(a)是7.5410、图(b)是7.6978、图(c)是7.5803，虽然图(b)和图(c)的信息熵都提高，但是两者图像之间还存在着差异，因此需要对较优的曲线进行修正，通过调整截距来找到一个最优的曲线，使之生成的HDR图像视觉效果好，而且信息熵提高的大。

从图2中的图(b)和图(c)可以观测出图(b)和图(c)的亮度存在差异，因此通过图(b)和图(c)的平均亮度的差异对曲线进行调整，图(b)和图(c)的平均亮度差为32，因此在范围为0～32之间通过二分法找到一个数值来调整截距，从而找到视觉上生成HDR图像效果好而且信息熵大的最优的HDR图像的拟合曲线。

本文中最优拟合曲线为：

y＝1.173×x-24.1486 (9)

其中，x是输入图像的每点的像素值，y是对应生成的HDR图像的每点的像素值。

3)然后按照公式(9)，可以求出来每帧输入的视频所对应的HDR视频。

4)LDR视频第一帧和第二帧的利用最优曲线合成效果如图3所示：

图3中的图(a)表示LDR视频第一帧图像，图(b)表示LDR视频第一帧图像合成的HDR图像，图(c)表示LDR视频第二帧图像，图(d)表示LDR视频第二帧图像合成的HDR图像。

表1是输入的LDR视频与合成的HDR视频的信息熵对比图(以5帧为例)，如下所示：

表1、信息熵对比图

从图3可以看出，合成的HDR图像比输入的图像色彩更鲜明，对比度更高，而且对于挂历上的细节，发现合成的HDR图像中更清晰，更加符合人眼视觉特性。通过表1可以看出，合成HDR视频的信息熵要明显高于LDR视频的信息熵，大约提高了0.125，这就表明合成的HDR视频包含的信息更丰富。

另外，由于该方法只对LDR视频第一帧利用伪曝光和金字塔融合的方法进行HDR图像的合成，然后利用LDR和HDR图像之间的相关性曲线进行LDR视频到HDR视频的低复杂度转换。该方法仅仅利用了一次复杂度较高的融合生成HDR，相比于传统的交替循环曝光的LDR视频生成HDR视频方法或者是LDR视频每一帧都利用单幅图像生成HDR方法来说，计算复杂度较低，可以适用于LDR视频到HDR视频的实时的转换，而有利于视频序列色彩的一致性。

由于交替循环曝光生成HDR视频的方法，在获取视频上比较繁琐，没有单曝光生成HDR视频方法中的视频获取简单，因此本发明是针对单曝光视频生成高动态范围视频，并且在以往的基础上减少了冗余的操作。本发明首先利用伪曝光技术和金字塔融合方法将LDR视频第一帧生成HDR图像；然后拟合出LDR视频第一帧与其生成出来的HDR图像的对应关系曲线，通过该曲线，将LDR视频转换为HDR视频。

Claims (1)

1.一种适用于LDR视频的HDR视频生成方法，其特征在于，该方法包括以下步骤：

步骤(1)、将一幅正常曝光的图像转化为有着不同亮度的伪曝光图像，建模如下：

其中，L_wk表示第k个伪曝光HDR图像在坐标(i,j)点处的亮度，P_k表示相邻伪曝光之间的亮度差异的控制参数，L_d(i,j)表示在像素(i,j)点处的输入LDR图像的归一化的亮度控制参数，L_max,k表示生成的第k个伪曝光图像的最大亮度值；L_smax的值为382.5，L_ad,k表示第k幅伪曝光图像的平均亮度控制参数，公式如下：

L_ad,k＝1+exp(μEV_k)

其中，EV_k表示第k幅图像的曝光值，μ的值设为0.85；对于给定不同的(EV_k，P_k)，得到LDR视频第一帧图像的多幅不同曝光的图像；

根据图像的对比度、饱和度以及曝光度，计算图像的权重图，并且得到N个多曝光图像序列中第k个图像(i,j)处的像素点的归一化权重为：

${\hat{W}}_{ij,k}={\[\underset{k^{\′}=1}{\overset{N}{\Σ}}{W}_{ij,k^{\′}}\]}^{-1}{W}_{ij,k}$

图像的权重图W_ij,k计算公式如下：

$W_{ij,k}={\left(C_{ij,k}\right)}^{{\mathrm{\ω}}_C}\×{\left(S_{ij,k}\right)}^{{\mathrm{\ω}}_S}\×{\left(E_{ij,k}\right)}^{{\mathrm{\ω}}_E}$

其中，ij,k表示多曝光图像序列中第k个图像(i,j)处的像素点；ω_C、ω_S、ω_E分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，ω_C＝ω_S＝ω_E＝1；

将N幅多曝光图像序列和权重图分别进行拉普拉斯金字塔分解和高斯金字塔分解，得到关于不同分辨率的图像和权重图的金字塔融合公式如下：

$L{\left\{R\right\}}_{ij}^l=\underset{k=1}{\overset{N}{\Σ}}G{\left\{\hat{W}\right\}}_{ij,k}^{l}L{\left\{I\right\}}_{ij,k}^l$

式中，N表示输入的图像总数，即生成的伪曝光图像数，I_ij,k表示第k个输入的图像在坐标(i,j)处的值，即第一步生成的L_wk，i,j表示像素点坐标(i,j)，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示第k个输入图像在像素点坐标为(i,j)处的归一化的权重图；表示对第k个输入图像在像素点坐标为(i,j)处的归一化权重图进行高斯金字塔分解，得到的第l层高斯金字塔；表示坐标为(i,j)处的融合后图像R的第l层拉普拉斯金字塔；表示对像素点坐标为(i,j)处的第k个输入图像进行拉普拉斯金字塔分解，得到的第l层拉普拉斯金字塔；

最后，将金字塔L{R}^l进行拉普拉斯逆变换得到融合后的图像R；至此，求出对于LDR视频的第一帧LDR图像的HDR图像；

步骤(2)、将输入的第一帧LDR图像的R,G和B通道所有像素值存放到一个行向量x里，将第一帧合成的HDR图像的R,G和B通道所有像素值存放到行向量y里；通过CFTOOL工具，输入向量x和向量y，通过判别均方误差的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线；

通过HDR图像的平均亮度值的差异来对生成的曲线进行修正，从而得到最优拟合曲线；具体处理包括：

定义灰度图像的一元灰度熵为：

$H=\underset{i=0}{\overset{255}{\Σ}}{p}_i\log p_i$

其中p_i表示图像中灰度值为i的像素在该图像中出现的概率；

通过人眼对生成的HDR图像进行感知，再参考信息熵的大小，对生成拟合曲线进行修正，从而找到一条最优化拟合曲线，作为LDR图像和HDR图像之间的曲线拟合结果；

步骤(3)、利用步骤(2)得到的最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。