CN111311524A - 一种基于msr的高动态范围视频生成方法 - Google Patents

Abstract

本发明公开了一种基于MSR的高动态范围视频生成方法，该方法首先对连续帧进行场景切换检测，若当前帧与前一帧发生场景切换，则后续不再进行闪烁检测；然后基于MSR算法将图像分解为细节层和基础层，增强亮区域的细节层并全局扩展基础层，再将增强后的两层融合，然后根据原始图像、原始图像的亮度和融合得到的亮度图像经过颜色校正产生高动态范围图像；最后，根据当前帧和前一帧的亮度的对数几何均值差对产生的连续的高动态范围图像进行闪烁检测，若发生闪烁现象，则对当前帧的亮度进行处理，得到去除闪烁后的高动态范围视频帧。本发明能够更好的扩展图像细节，使得在曝光不好的区域得到了更好的表现；同时保证了视频帧的时间一致性。

Description

一种基于MSR的高动态范围视频生成方法

技术领域

本发明属于高动态范围视频生成技术领域，具体涉及一种基于MSR的高动态范围视频生成方法。

背景技术

由于高动态范围视频能比低动态范围视频显示更好的颜色细节，市场上高动态范围显示设备在逐渐普及，而可以直接捕获高动态范围视频的设备对于普通消费者还过于昂贵，代替直接捕获的适用于普通拍摄设备上的高动态范围视频生成方法则受到了不少研究人员的关注。

现有的高动态范围视频生成方法可以分为两类，一类是基于单帧的反色调映射方法，另一类是基于多帧的多帧图像融合方法。基于单帧的方法根据当前帧的数学统计特征确定反色调映射算子的参数，由反色调映射算子扩展图像的动态范围。其对输入的图像有较高的质量要求。在用于视频中连续帧的动态范围扩展时，没有考虑到相邻帧的时间一致性，结果视频中可能会产生闪烁现象。基于多帧的方法根据相邻曝光不同的帧，在经过运动估计与补偿后将相邻帧融合，得到高动态范围图像。但是因为根据不同曝光的图像进行了图像融合，得到的相邻结果帧可能会出现闪烁，运动区域也可能出现伪影。对于单张图像，基于单帧的方法生成的高动态范围图像的细节没有基于多帧的方法好，因为基于多帧的方法因为曝光不同，捕获到的细节比单曝光的更多。但是基于单帧的方法的运行速度比基于多帧的方法更快。

为了对高动态范围视频生成方法的质量和复杂度有更好的折衷，以及将高动态范围图像生成方法应用到视频，需要研究一种能更好的扩展图像细节和考虑视频连续帧的时间一致性的高动态范围视频生成的方法。

发明内容

针对现有技术中存在的以上问题，本发明提供了一种基于MSR的高动态范围视频生成方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于MSR的高动态范围视频生成方法，包括以下步骤：

S1、采用MSR算法对低动态范围视频帧图像进行图像分解；

S2、分别对分解图像进行图像增强；

S3、将增强后的分解图像合成得到高动态范围视频帧图像。

进一步地，所述步骤S1具体包括：

采用MSR算法将低动态范围视频帧图像S(x,y)分解为反射图像R(x,y)和亮度图像B(x,y)，所述反射图像表示为

所述亮度图像表示为

log(B(x,y))＝log(S(x，y))-log(R(x,y))

其中，

表示高斯低通滤波器。

进一步地，所述步骤S2具体包括：

采用拉伸函数对反射图像进行增强，表示为

采用逆Schlick色调映射算子对反射图像进行增强，表示为

其中，R′(x,y)为增强后的反射图像，m和γ均为拉伸参数，B′(x,y)为增强后的亮度图像。

进一步地，所述步骤S3将增强后的分解图像合成得到高动态范围图像，具体包括：

将增强后的反射图像R′(x,y)和增强后的亮度图像B′(x,y)合成得到高动态范围视频帧图像S′(x,y)，表示为

S′(x,y)＝R′(x,y)·B′(x,y)。

进一步地，所述步骤S3还包括对合成的高动态范围视频帧图像进行颜色校正，具体包括：

对合成的高动态范围视频帧图像S′(x,y)在RGB颜色空间上进行颜色校正，表示为

其中，C_HDR为经过颜色校正后的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，C_LDR为合成的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，S为低动态范围视频帧图像的亮度，S′为合成的高动态范围视频帧图像的亮度，a为颜色校正参数。

进一步地，所述步骤S1之前还包括对低动态范围视频帧图像进行场景切换检测，具体包括：

比较低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和，判断该亮度差值绝对值和是否大于设定阈值，若是则判定出现场景切换，并且对步骤S3得到的高动态范围视频帧图像不进行闪烁检测和闪烁去除处理，否则判断未出现场景切换，对步骤S3得到的高动态范围视频帧图像进行闪烁检测和闪烁去除处理。

进一步地，所述低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和具体为：

其中，ΔS为亮度差值绝对值和，S(x,y)为当前帧图像在(x,y)处的亮度值，S₀(x,y)为前一帧图像在(x,y)处的亮度值，size(S)为当前帧图像的像素总数量。

进一步地，所述对步骤S3处理后的高动态范围视频帧图像进行闪烁检测及处理，具体包括：

比较步骤S3处理后的当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值，判断该差值是否大于最小可觉差，若是则判定出现闪烁，并调整当前帧高动态范围图像亮度去除闪烁，否则判定未出现闪烁。

进一步地，所述最小可觉差具体为：

JND＝1.21*L^0.33

其中，JND为最小可觉差，L为当前帧高动态范围图像的亮度对数均值，I(x,y)为高动态范围视频帧图像中坐标(x,y)处的亮度值。

进一步地，所述调整当前帧高动态范围图像亮度去除闪烁具体为：

调整当前帧高动态范围图像亮度对数均值L为L′，至当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值小于JND，表示为

diff＝L-L0

ratio＝L′/L

I′＝I*ratio

其中，L0为前一帧高动态范围图像的亮度对数均值，I′为去除闪烁的当前帧高动态范围图像亮度。

本发明具有以下有益效果：

(1)本发明采用MSR算法将图像分解为细节层和基础层，对它们分别进行扩展后再融合，从而产生高动态范围图像，能够更好的扩展图像细节，使得在曝光不好的区域得到了更好的表现；

(2)本发明对连续帧进行场景切换检测和闪烁检测与去除处理，保证了视频帧的时间一致性，能够去除因连续帧曝光不同而融合时曝光没有调整一致产生的高动态范围帧的闪烁。

附图说明

图1是本发明基于MSR的高动态范围视频生成方法流程框图；

图2是本发明实施例中图像分解示意图；

图3是本发明实施例中细节层增强示意图；

图4是本发明实施例中基础层增强示意图；

图5是本发明实施例中图像合成示意图；

图6是本发明实施例中场景切换测试视频序列图；

图7是本发明实施例中当前帧与前一帧的亮度差值计算结果图；

图8是本发明实施例中场景切换检测结果土；

图9是本发明实施例中得到的低动态范围视频序列图；

图10是本发明实施例中得到的高动态范围视频序列的色调映射序列；

图11是本发明实施例中闪烁检测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明实施例提供了一种基于MSR的高动态范围视频生成方法，包括以下步骤S1至S3：

S1、采用MSR算法对低动态范围视频帧图像进行图像分解；

在本实施例中，本发明基于retinex理论的图像增强方法，将图像分解为细节层和基础层。Retinex理论的基本思想是人感知到某点的亮度由该点进入人眼的绝对光线和其周围的颜色和亮度有关。MSR(Multi-Scale Retinex)算法是一种基于retinex理论的图像增强算法，其具体是将一个给定的图像S(x,y)可以分解为两个不同的图像：反射图像R(x,y)和亮度图像B(x,y)，也称为细节层和基础层。

本发明采用MSR算法将低动态范围视频帧图像S(x,y)分解为反射图像R(x,y)和亮度图像B(x,y)，两个图像之间的关系为：

S(x,y)＝R(x,y)·B(x，y)

其中反射图像表示为

亮度图像表示为

log(B(x,y))＝log(S(x，y))-log(R(x,y))

其中，

表示高斯低通滤波器，i＝1,2,3，σ_i分别取15,80,250，“·”表示两个矩阵的每个元素与对应位置的元素相乘。对于σ_i的不同的取值和个数，分解得到的图像也不一样。如图2所示，图2(a)为原始亮度图像，图2(b)和(c)分别为分解得到的初始细节层图像和初始基础层图像。

S2、分别对分解图像进行图像增强；

在本实施例中，为了增强图像在相关区域的细节，本发明对图像局部亮区域的细节层进行增强，具体为采用一个拉伸函数增强细节层，表示为

其中，R′(x，y)为增强后的反射图像，m和γ均为拉伸参数，具体可以由实验确定；为了获得较好的拉伸结果，本发明设置m为源图像亮度均值，γ设置为0.5。如图3所示，图3(a)为初始细节层图像，图3(b)为增强后的细节层图像。

本发明对基础层进行全局拓展，具体为采用逆Schlick色调映射算子对基础层进行增强，表示为

其中，B′(x,y)为增强后的亮度图像，B(x，y)为初始基础层。如图4所示，图4(a)为初始基础层图像，图4(b)为增强后的基础层图像，图4(c)为将增强后的基础层的值放大十倍后的图像。因为此时增强后基础层图像值较小没有办法明显的观察到，所以这里将增强后的基础层的值放大十倍后观察。

S3、将增强后的分解图像合成得到高动态范围视频帧图像。

在本实施例中，将增强后的反射图像R′(x,y)和增强后的亮度图像B′(x,y)合成得到高动态范围视频帧图像S′(x,y)，表示为

S′(x,y)＝R′(x,y)·B′(x,y)。

由于合并得到的是高动态范围图像的亮度信息，为了得到RGB颜色空间的高动态范围图像，且在变换时有更好的颜色表现，需要对其进行颜色校正，具体包括：

对合成的高动态范围视频帧图像S′(x,y)在RGB颜色空间上进行颜色校正，表示为

其中，C_HDR为经过颜色校正后的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，C_LDR为合成的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，S为低动态范围视频帧图像的亮度，S′为合成的高动态范围视频帧图像的亮度，a为颜色校正参数。这里本发明设置a＝1.25以获得良好的颜色校正效果。如图5所示，图5(a)为原输入低动态范围图像，图5(b)为生成的高动态范围图像经过色调映射后的图像。由图可以看出，本发明在扩展图像动态范围方面具有良好的效果。

实施例2

本实施例与实施例1提供的基于MSR的高动态范围视频生成方法相类似，不同之处在于，为了将高动态范围图像生成方法应用到高动态范围视频生成中，本发明使用了场景切换检测和闪烁检测与处理方法来去除在方法移植时可能出现的闪烁问题。

为了防止因为场景切换产生的变化导致闪烁检测时判定为出现闪烁，在检测闪烁前，本发明先使用输入视频的当前帧与前一帧的图像数学统计特征变化来进行场景切换检测。

具体而言，本发明通过比较低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和，判断该亮度差值绝对值和是否大于设定阈值，若是则判定出现场景切换，并且对步骤S3得到的高动态范围视频帧图像不进行闪烁检测和闪烁去除处理，否则判断未出现场景切换，对步骤S3得到的高动态范围视频帧图像进行闪烁检测和闪烁去除处理。

上述低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和具体为：

其中，ΔS为亮度差值绝对值和，S(x,y)为当前帧图像在(x,y)处的亮度值，S₀(x,y)为前一帧图像在(x,y)处的亮度值，size(S)为当前帧图像的像素总数量。

为了准确的判断是否发生场景切换，本发明设置阈值为0.11，从而可以检测出常见的场景切换。如图6所示，图(a)-(c)为出现闪烁的视频帧，图(d)为与之场景不同的图像，用这四张图作为场景切换的测试视频序列，得到图7和图8所示的结果图。图7为当前帧与前一帧的亮度差值绝对值和，图8为场景切换检测的结果，其纵坐标为1时表示出现场景切换，为0时则表示没有出现场景切换。可以看出这个方法可以检测出场景切换且不会因为有闪烁而误判为场景切换。

由于视频获取设备在拍摄时的曝光的变化，或者是因为生成高动态范围图像时扩展了图像亮度导致原本亮度差距不大的相邻帧出现了较大的差距，这都会导致最后生成的高动态范围视频出现闪烁。为了去除闪烁，首先对当前帧生成的高动态范围图像与前一帧生成的高动态范围图像进行比较。

具体而言，本发明比较步骤S3处理后的当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值，判断该差值是否大于最小可觉差，若是则判定出现闪烁，并调整当前帧高动态范围图像亮度去除闪烁，否则判定未出现闪烁。

其中最小可觉差具体为：

JND＝1.21*L^0.33

其中，JND为最小可觉差，L为当前帧高动态范围图像的亮度对数均值，I为高动态范围视频帧图像的亮度，I(x,y)为高动态范围视频帧图像中坐标(x,y)处的亮度值。

本发明调整当前帧高动态范围图像亮度去除闪烁具体为：

调整当前帧高动态范围图像亮度对数均值L为L′，至当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值小于JND，表示为

diff＝L-L0

ratio＝L′/L

I′＝I*ratio

其中，L0为前一帧高动态范围图像的亮度对数均值，I′为去除闪烁的当前帧高动态范围图像亮度。根据亮度I′与原图像机械牛转换从而得到去除与前一帧产生的闪烁的高动态范围视频帧。

如图9所示，为输入的高动态范围视频序列经色调映射后得到的低动态范围视频序列；如图10所示，为经过去闪烁处理后的高动态范围视频序列的色调映射序列；图11是闪烁检测的结果，纵坐标为1时表示检测到闪烁，为0时表示未检测到闪烁。由图9至图11可以看出，本发明可以检测和去除高动态范围视频帧出现的闪烁。

本发明可以用于基于单帧的高动态范围图像生成方法，以弥补其没有考虑连续帧的时间一致性的问题，也可以用于基于多帧的高动态范围视频生成方法中，以去除因连续帧曝光不同而融合时曝光没有调整一致产生的高动态范围帧的闪烁。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于MSR的高动态范围视频生成方法，其特征在于，包括以下步骤：

S1、采用MSR算法对低动态范围视频帧图像进行图像分解；

S2、分别对分解图像进行图像增强；

S3、将增强后的分解图像合成得到高动态范围视频帧图像。

2.如权利要求1所述的基于MSR的高动态范围视频生成方法，其特征在于，所述步骤S1具体包括：

采用MSR算法将低动态范围视频帧图像S(x,y)分解为反射图像R(x,y)和亮度图像B(x,y)，所述反射图像表示为

所述亮度图像表示为

log(B(x,y))＝log(S(x,y))-log(R(x,y))

其中，

表示高斯低通滤波器。

3.如权利要求2所述的基于MSR的高动态范围视频生成方法，其特征在于，所述步骤S2具体包括：

采用拉伸函数对反射图像进行增强，表示为

采用逆Schlick色调映射算子对反射图像进行增强，表示为

其中，R′(x,y)为增强后的反射图像，m和γ均为拉伸参数，B′(x,y)为增强后的亮度图像。

4.如权利要求3所述的基于MSR的高动态范围视频生成方法，其特征在于，所述步骤S3将增强后的分解图像合成得到高动态范围图像，具体包括：

将增强后的反射图像R′(x,y)和增强后的亮度图像B′(x,y)合成得到高动态范围视频帧图像S′(x,y)，表示为

S′(x,y)＝R′(x,y)·B′(x,y)。

5.如权利要求4所述的基于MSR的高动态范围视频生成方法，其特征在于，所述步骤S3还包括对合成的高动态范围视频帧图像进行颜色校正，具体包括：

对合成的高动态范围视频帧图像S′(x,y)在RGB颜色空间上进行颜色校正，表示为

其中，C_HDR为经过颜色校正后的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，C_LDR为合成的高动态范围视频帧图像在RGB颜色空间上的每个颜色通道的值，S为低动态范围视频帧图像的亮度，S′为合成的高动态范围视频帧图像的亮度，a为颜色校正参数。

6.如权利要求1-5任一所述的基于MSR的高动态范围视频生成方法，其特征在于，所述步骤S1之前还包括对低动态范围视频帧图像进行场景切换检测，具体包括：

比较低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和，判断该亮度差值绝对值和是否大于设定阈值，若是则判定出现场景切换，并且对步骤S3得到的高动态范围视频帧图像不进行闪烁检测和闪烁去除处理，否则判断未出现场景切换，对步骤S3得到的高动态范围视频帧图像进行闪烁检测和闪烁去除处理。

7.如权利要求6所述的基于MSR的高动态范围视频生成方法，其特征在于，所述低动态范围视频连续帧中当前帧图像与前一帧图像之间亮度差值绝对值和具体为：

其中，ΔS为亮度差值绝对值和，S(x,y)为当前帧图像在(x,y)处的亮度值，S₀(x,y)为前一帧图像在(x,y)处的亮度值，size(S)为当前帧图像的像素总数量。

8.如权利要求7所述的基于MSR的高动态范围视频生成方法，其特征在于，所述对步骤S3处理后的高动态范围视频帧图像进行闪烁检测及处理，具体包括：

比较步骤S3处理后的当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值，判断该差值是否大于最小可觉差，若是则判定出现闪烁，并调整当前帧高动态范围图像亮度去除闪烁，否则判定未出现闪烁。

9.如权利要求8所述的基于MSR的高动态范围视频生成方法，其特征在于，所述最小可觉差具体为：

JND＝1.21*L^0.33

其中，JND为最小可觉差，L为当前帧高动态范围图像的亮度对数均值，I(x,y)为高动态范围视频帧图像中坐标(x,y)处的亮度值。

10.如权利要求9所述的基于MSR的高动态范围视频生成方法，其特征在于，所述调整当前帧高动态范围图像亮度去除闪烁具体为：

调整当前帧高动态范围图像亮度对数均值L为L′，至当前帧高动态范围图像与前一帧高动态范围图像之间亮度差值小于JND，表示为

diff＝L-L0

ratio＝L′/L

I′＝I*ratio

其中，L0为前一帧高动态范围图像的亮度对数均值，I′为去除闪烁的当前帧高动态范围图像亮度。

Images