CN105393280A - 对视频序列进行色调映射的方法 - Google Patents

Abstract

本发明一般涉及对视频序列进行色调映射的方法和设备，其中在要被进行色调映射的视频序列的每个帧上应用局部色调映射算子。该方法的特征在于，在要被进行色调映射的帧(F0)的经时间滤波的版本(L_TF)上确定由所述局部色调映射算子使用的空间邻域。

Description

对视频序列进行色调映射的方法

技术领域

本发明一般涉及视频色调映射(tone-mapping)。具体地，本发明的技术领域涉及视频序列的局部色调映射。

背景技术

这部分旨在向读者介绍技术的各种方面，其可能涉及在下面描述和/或要求保护的本发明的各个方面。相信该论述有助于向读者提供背景信息以便于更好地理解本发明的各个方面的方面。因此，应当理解，这些陈述要从这个角度来阅读，而不是作为对现有技术的承认。

高动态范围(HighDynamicRange，HDR)影像在计算机图形学和图像处理这些领域中正变得广泛已知，并且由于色调映射算子(ToneMappingOperator，TMO)，已经可以意识到使用HDR技术带来的益处。实际上，TMO在LDR显示器(低动态范围)上再现在HDR图像中可得到的宽范围的值。注意，LDR帧具有比HDR图像的动态范围更低的动态范围。

存在两种主要类型的TMO：全局(global)算子和局部(local)算子。

全局算子使用HDR帧的特性来针对整体图像计算单调递增的色调映射曲线。因此，这些算子确保空间亮度相干性(coherency)。然而，它们通常不能再现在HDR帧中包含的更精细的细节。

相反地，局部算子基于其空间邻域对每个像素进行色调映射。这些技术增加局部空间对比度，从而提供更详细的帧。

众所周知的局部TMO对每个像素的空间邻域进行滤波。经滤波的图像被用于对每个颜色通道进行缩放(scale)以获得LDR帧(ChiuK.，HerfM.，ShirleyP.，SwamyS.，WangC.，ZimmermanK.：SpatiallyNonuniformScalingFunctionsforHighContrastImagesf.Interface，5月(1993年))。

更复杂的解决方案使用金字塔形方法，金字塔(pyramid)的每个级别与空间邻域的不同大小相对应，使用金字塔的每个级别对每个颜色通道进行压缩，并且混合所有级别的所有结果提供经色调映射的帧。(RahmanZ.，JobsonD.：Amultiscaleretinexforcolorrenditionanddynamicrangecompression，(1996年)SPIE国际研讨会)。

一些其他的通常的解决方案使用频率子带分解以保留更精细的细节。子带被分开地处理，然后被组合以获得经色调映射的帧(TumblinJ.：LCIS：Aboundaryhierarchyfordetail-preservingcontrastreduction。(1999年)第26届年会的会议记录)。

摄影色调再现(PTR)[RSSF02]算子依赖于拉普拉斯(Laplacian)金字塔分解(ReinhardE.，StarkM.，ShirleyP.，FerwerdaJ.：Photographictonereproductionfordigitalimages。ACMTrans.Graph.21，3(2002年7月)，267{276)。阈值允许选择最佳的邻域的大小以用于每个像素而不是混合。

其他众所周知的解决方案是使用梯度域压缩(GradientDomainCompression，GDC)以便在梯度域中执行色调映射(FattalR.，LischinskiD.：Gradientdomainhighdynamicrangecompression。ACMTransactionsonGraphics(2002年))。根据高斯金字塔(gaussianpyramid)的每个级别的像素周围的空间邻域来计算出梯度。基于梯度的量级对每个像素确定缩放因子。以全分辨率组合所有梯度场，以获得经压缩的梯度场。因为该梯度场不总是可积分的(integrable)，所以使用接近的近似来计算经色调映射的帧。

将TMO单独地应用于输入的视频序列的每个帧通常导致时间不相干性。存在两种主要类型的时间不相干性：闪烁伪像(flickeringartifact)和时间亮度不相干性(temporalbrightnessincoherency)。

闪烁伪像是由于TMO或者场景。实际上，由于TMO的闪烁伪像由连续帧中的色调映射曲线的快速改变而引起。因此，类似的HDR辉度值被映射到不同的LDR值。由于场景的闪烁与照明条件的快速改变相对应。应用TMO而不考虑在时间上接近的帧导致映射到类似的LDR值的不同的HDR值。关于时间亮度不相干性，其在色调映射处理的过程期间没有保留相关的HDR帧的亮度时发生。因此，在HDR序列中被感知为最亮的帧未必在LDR序列中是最亮的。和闪烁伪像不同，亮度不相干性未必沿着连续帧而出现。

总之，将全局的或局部的TMO单独地应用于HDR视频序列的每个帧导致时间不相干性。

已经设计出基于色调映射曲线的时间滤波的解决方案(BoitardR.，ThoreauD.，BouatouchK.，CozotR.：TemporalCoherencyinVideoToneMapping,aSurvey。HDRi2013即FirstInternationalConferenceandSMEWorkshoponHDRimaging(2013年)，第1号，1-6页)。然而，这些技术仅对全局TMO起作用，因为局部TMO具有非线性的且在空间上变化的色调映射曲线。

对于局部TMO，保留时间相干性在于防止色调映射在时间和空间上的大的变化。基于GDC算子的解决方案已经由Lee等人提出(LeeC.，KimC.-S.：GradientDomainToneMappingofHighDynamicRangeVideos。2007IEEEInternationalConferenceonImageProcessing(2007年)，第2号，IEEE，III-461-III464页。)。

首先，该技术对连续的HDR帧的每个对执行逐像素(pixel-wise)的运动估计，然后将得到的运动场用作对应的LDR帧的时间相干性的约束。该约束确保通过运动矢量相关联的两个像素被进行相似的色调映射。

尽管由该技术带来了可见的改进，但是仍然存在若干缺点。首先，该解决方案仅保留连续帧的对之间的时间相干性。第二，其取决于运动估计的稳健性。当该估计失败时，时间相干性约束被应用于属于不同对象的像素。该运动估计问题将被称作不相干的运动矢量。而且，该技术仅对一种局部TMO即GDC算子而设计，无法扩展到其他TMO。

发明内容

为了解决现有技术的上述缺点的至少一个，并且尤其为了使局部TMO的空间邻域的计算一直稳定，在要被进行色调映射的帧的经时间滤波的版本上确定被用于对视频序列进行色调映射的局部TMO的空间邻域。

使用要被进行色调映射的帧的经时间滤波的版本而不是(像往常一样)帧的原始辉度来确定经色调映射的算子的空间邻域，允许保留空间邻域的时间相干性，并且因此限制经色调映射的帧中的闪烁伪像。

根据实施例，方法包含：

-获得要被进行色调映射的帧的每个像素的运动矢量；以及

-使用所估计的运动矢量对视频序列的一些帧进行运动补偿，并且对经运动补偿的帧进行时间滤波，以获得要被进行色调映射的帧的经时间滤波的版本。

根据实施例，方法还包括：

-检测不相干的运动矢量，并且只有在所估计的运动矢量是相干的情况下才使用该运动矢量对要被进行色调映射的帧的每个像素进行时间滤波。

根据实施例，运动矢量在要被进行色调映射的帧与对应于该运动矢量的经运动补偿的帧之间的误差大于阈值时被检测为不相干。

根据本发明的另一个方面，本发明涉及一种包括局部色调映射算子的对视频序列进行色调映射的设备。该设备的特征在于，它还包括用于获得要被进行色调映射的视频序列的帧的经时间滤波的版本的部件以及用于确定由所述局部色调映射算子使用的空间邻域的部件。

根据对优选实施例的下面的描述以及附图，本发明的具体性质以及本发明的其他目标、优点、特征和使用将变得显而易见。

附图说明

将参考以下附图来描述实施例：

图1a示出对视频序列进行色调映射的方法的步骤的图；

图1b示出计算视频序列的要被进行色调映射的帧的经时间滤波的版本的方法的步骤的图。

图1c示出计算视频序列的要被进行色调映射的帧的经时间滤波的版本的方法的变型的步骤的图。

图2例示方法的步骤100和200的实施例。

图3和4例示方法的步骤100和200的另外的实施例。

图5示出包含被配置为实现对视频序列进行色调映射的方法的部件的设备的架构的示例。

具体实施方式

帧(也称作图像)包括像素或帧点，其每一个与至少一项帧数据相关联。一项帧数据例如是一项辉度数据或者一项色度数据。

一般来说，对视频序列进行色调映射的方法在于将局部色调映射逐帧地应用于视频序列的每个帧。

该方法的特征在于，在要被进行色调映射的帧的经时间滤波的版本上确定由所述局部色调映射算子使用的空间邻域。

于是，局部TMO的空间邻域的定义遵循时间相干性，亦即它们具有帧到帧的更稳定的定义，防止在要被进行色调映射的帧的经色调映射的版本上的闪烁伪像。

该方法的一个优点是，可以使用任何现有技术的局部色调映射算子，因为要被进行色调映射的帧的经时间滤波的版本仅被用于确定它们的空间邻域。

图1a示出对视频序列进行色调映射的方法的步骤的图，其中，对要被进行色调映射的每个帧F0，获得经时间滤波的版本。

例如，输入的视频序列可以是高动态范围序列(HDR)，并且经色调映射的视频序列V’可以是低动态范围(LDR)，亦即具有比输入的视频序列V更低的动态范围的视频序列。TMO指任何现有技术的局部色调映射算子。下面将要被进行色调映射的帧的经时间滤波的版本称作经时间滤波的帧L_TF。

根据本发明的实施例，从存储器或者经由通信网络从远程装备获得经时间滤波的帧L_TF。

图1b示出根据视频序列的要被进行色调映射的帧F0来计算经时间滤波的帧L_TF的方法的步骤的图。

在步骤100，获得帧F0的每个元素的运动矢量。

根据实施例，从存储器或者经由通信网络从远程装备获得帧F0的每个像素的运动矢量。

根据运动估计步骤100的实施例，定义运动矢量(δ_x，δ_y)以便最小化当前块与所估计的匹配块之间的误差度量。

例如，在运动估计中使用的最常见的度量是由下式给出的绝对差值的求和(SumofAbsoluteDifference，SAD)：

$SAD=\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}|A(x,y)-B(x+{\mathrm{\δ}}_x,y+{\mathrm{\δ}}_y)|$

其中Ω表示所使用的方形块的所有像素位置(x，y)。

在步骤200，使用所估计的运动矢量对视频序列V的一些帧进行运动补偿，并且对经运动补偿的帧进行时间滤波，以获得经时间滤波的帧L_TF。

步骤100和200一起对应于通常的经运动补偿的时间滤波(MotionCompensatedTemporalFiltering，MCTF)技术。

根据在图1c中例示的步骤200的变型，检测不相干的运动矢量，然后，只有在所估计的运动矢量是相干的情况下才使用该运动矢量对要被进行色调映射的帧的每个像素进行时间滤波。

这解决不相干的运动矢量问题，因为它避免属于帧F0的不同对象的像素的运动补偿，其在帧F0的经色调映射的版本中引起一些重影伪像。

根据步骤100和200的实施例，获得时间滤波器的长度N，由于所估计的运动矢量，通过关于帧F0的当前帧的运动补偿获得(N-1)个经运动补偿的帧，然后，使用所述时间滤波器，由所述经运动补偿的帧的时间滤波产生经时间滤波的帧L_TF。

如图2所示，时间滤波器的长度N等于5(N＝5)，并且(N-1)个运动矢量MVn被估计(ME)：一个针对先前的两个帧F-2和F-1中的每个，并且一个针对随后的两个帧F1和F2中的每个。然后，获得经时间滤波的帧L_TF作为长度N的时间滤波器的输出，时间滤波器具有由于所估计的运动矢量MVn的通过关于帧F0的当前帧的运动补偿而获得的(N-1)个经运动补偿的帧CF-n作为输入。这样的输入是由于运动矢量MV-2而获得的经运动补偿的帧CF-2、由于运动矢量MV-1而获得的经运动补偿的帧CF-1、由于运动矢量MV1而获得的经运动补偿的帧CF1以及由于运动矢量MV2而获得的经运动补偿的帧CF2。因此，根据该示例获得四个经运动补偿的帧。

可以使用许多类型的时间滤波，简单的一个是由下式给出的平均：

$L_{TF}(x,y)=\frac{(F_0+{\mathrm{\Σ}}_{n=-\frac{N}{2},n\≠0}^{N/2}{\mathrm{CF}}_n(x,y\left)\right)}{N}---\left(1\right)$

其中CFn表示第n个经运动补偿的帧。

本发明不局限于任何类型的时间滤波，并且也可以使用通常在信号处理中使用的任何其他时间滤波。时间滤波器的长度的具体值不是对本发明的范围的限制。

根据参照图2描述的步骤100和200的实施例的图1c中例示的变型的实施例，当帧F0与对应于该运动矢量的经运动补偿的帧CFn之间的误差ε_n(x，y)大于阈值时，运动矢量被检测为不相干。

根据实施例，误差ε_n(x，y)由下式给出：

${\mathrm{\ϵ}}_n(x,y)=\frac{|F_0(x,y)-{\mathrm{CF}}_n(x,y)|}{F_0(x,y)}$

根据实施例，阈值与当前帧F0的像素的值成比例。

例如，在如下情况下，运动矢量被检测为不相干

ε_n(x，y)＞T

其中T是用户定义的阈值，(x,y)是像素位置。

在时间滤波中使用经运动补偿的帧CFn中的与相干的像素相对应的每个像素，以便获得帧L_TF。如果在给定的位置处不存在相干的运动矢量，则仅使用帧F0的像素值(不进行时间滤波)。

根据图3和4中例示的步骤100和200的另一个实施例，对帧F0应用与双值小波分解结合的向后和向前的运动补偿，以便获得若干低频子带。对于帧F0的每个像素，选择分解的后向部分的至少一个低频子带，并且选择分解的前向部分的至少一个低频子带，并且帧L_TF的像素是属于两个所选择的低频子带的两个像素的混合。

通常的双值小波分解建立金字塔，其中每个级别对应于时间频率。如图3所示，使用预测和更新步骤来计算每个级别。为了执行经运动补偿的分解，在预测步骤中使用由运动估计所产生的运动矢量。根据帧F_t+1与帧F_t的经运动补偿的版本(MC)之间的差异来获得帧H_t+1。在更新步骤的过程中，通过帧F_t与帧H_t+1的经逆运动补偿的版本相加来获得低频帧L_t。那可能导致低频子带L_t中的不连通的像素(图3中的暗点)或者多连通的像素(图3中的灰点)。不连通或多连通的像素分别是在运动矢量被反转(revert)时不具有相关联的像素和具有多连通的像素的像素。

为了避免这个缺点，在2级分解的情况下，如图4所示，对帧F0应用用于分解成多个级别的具体结构。

帧F0的这样的分解使用正交变换，其使用后向和前向运动矢量：

$H_{t+1}\left(n\right)=\frac{F_{t+1}\left(n\right)-F_t(n+v_b)}{2}$

L_t(p)＝F_t(p)-H_t(p+v_f)

其中H_t和L_t分别是高频子带和低频子带，v_b和v_f分别是后向和前向运动矢量，同时n是帧F_t+1中的像素位置，并且p对应于n+v_b。

分解的这样的具体结构确保时间滤波以帧F0为中心。

应用这种正交变换在图4中示出的2级分解的情况下提供两个低频子带。

根据实施例的变型，对帧F0的每个像素自适应地选择时间滤波器的长度。

因为它提供更稳健的运动估计并且因此提供TMO的邻域的更稳定的定义，所以这是有利的。

根据参照图4描述的步骤100和200的实施例的在图1b中例示的变型的实施例，当帧F0与分解的后向部分(相应地，分解的前向部分)的低频子带之间的误差ε_b，n(x，y)(相应地，ε_f，n(x，y))大于阈值时，后向运动矢量v_b(相应地，前向运动矢量v_f)被检测为不相干。

根据实施例，误差由下式给出：

${\mathrm{\ϵ}}_{b,n}(x,y)=\frac{|F_0(x,y)-L_{b,n}(x,y)|}{F_0(x,y)}$

${\mathrm{\ϵ}}_{f,n}(x,y)=\frac{|F_0(x,y)-L_{f,n}(x,y)|}{F_0(x,y)}$

其中L_b,n(x,y)和L_f,n(x,y)分别是分解的后向和前向部分的低频子带(图4中L-0、L0、LL-0、LL0)。

根据实施例，阈值与当前帧F0的像素的值成比例。

例如，在如下情况下，后向运动矢量被检测为不相干，

ε_b，n(x，y)＞T

其中，T是用户定义的阈值，(x,y)是像素位置。相同的示例可以用于前向运动矢量。

根据实施例，从分解的后向和前向部分的最低频子带开始，考虑分解的所有低频子带，并且当相应的运动矢量是相干时，对要被进行色调映射的帧的每个像素选择单个低频子带。

然后，经时间滤波的帧L_TF中的像素可以与两个低频子带有关。在该情况下，像素是属于两个所选择的低频子带的两个像素的混合(双取向滤波)。可以使用许多类型的混合，诸如两个所选择的低频子带的平均或加权平均。

如果仅可以选择两个低频子带中的一个，经时间滤波的帧L_TF中的像素值等于所选择的低频子带的像素值的值(单取向滤波)。

两个低频子带中没有一个可以被选择，经时间滤波的帧L_TF中的像素值等于帧F0的值(不进行时间滤波)。

在图1a、1b、2-4上，模块是功能单元，其可以与可区别的物理单元相关或者不相关。例如，这些模块或者它们中的一些可以一起在唯一的组件或电路中，或者促成软件的功能性。相反，一些模块可能潜在地由分开的物理实体组成。与本发明兼容的装置使用纯硬件，例如使用诸如ASIC或FPGA或VLSI(分别为“专用集成电路”、“现场可编程门阵列”、“超大规模集成电路”)这样的专用硬件，或者由嵌入在设备中的若干集成的电子组件或者由硬件和软件组件的混合来实现。

图5示出可以在实现本发明的方法的系统中使用的设备500。设备包括由数字数据和地址总线50互连的下面的组件：

-处理单元53(或者CPU，即中央处理单元)；

-存储器55；

-网络接口54，用于设备500经由连接51的与在网络中连接的其他设备的互连。

处理单元53可以实现为微处理器、定制芯片、专用(微)控制器等。存储器55可以用诸如RAM(随机存取存储器)、硬盘驱动器、非易失性随机存取存储器、EPROM(可擦可编程ROM)等任何形式的易失性和/或非易失性存储器实现。设备500适合于实现根据本发明的方法的数据处理设备。处理单元53和存储器55一起工作，用于获得要被进行色调映射的帧的经时间滤波的版本。存储器55也可以被配置为存储要被进行色调映射的帧的经时间滤波的版本。这样的要被进行色调映射的帧的经时间滤波的版本也可以从网络接口54获得。处理单元54和存储器55也一起工作，用于在要被进行色调映射的视频序列的帧的经时间滤波的版本上确定局部色调映射算子的空间邻域以及可能用于在要被进行色调映射的帧上应用这样的算子。

设备500的处理单元和存储器也被配置为实现参照图1a、1b、2-4描述的方法的任何实施例和/或变型。

在本文中所提及的“一个实施例”或“实施例”表示结合实施例描述的具体的特征、结构或特性可以包括在本发明的至少一种实现方式中。在说明书中的各处出现的短语“在一个实施例中”未必全部指相同的实施例，单独的或替代的实施例也未必与其他实施例相互排斥。

在权利要求书中出现的标号仅作为例示，而对于权利要求书的范围将不具有限制作用。

虽然没有明确地描述，所述实施例和变型可以以任何组合或子组合来使用。

Claims (9)

1.一种对视频序列进行色调映射的方法，其中在要被进行色调映射的视频序列的每个帧上应用局部色调映射算子，其特征在于，在要被进行色调映射的帧(F0)的经时间滤波的版本(L_TF)上确定由所述局部色调映射算子所使用的空间邻域。

2.根据权利要求1所述的方法，其中该方法包括

-获得(100)要被进行色调映射的帧的每个像素的运动矢量；以及

-使用所估计的运动矢量对视频序列的一些帧进行运动补偿(200)，并且对经运动补偿的帧进行时间滤波，以获得要被进行色调映射的帧(F0)的经时间滤波的版本(L_TF)。

3.根据权利要求2所述的方法，其中该方法还包括

-检测不相干的运动矢量，并且只有在所估计的运动矢量是相干的情况下才使用该运动矢量对要被进行色调映射的帧的每个像素进行时间滤波。

4.根据权利要求3所述的方法，其中当要被进行色调映射的帧(F0)与对应于该运动矢量的经运动补偿的帧之间的误差(ε_n(x，y)，ε_b，n(x，y)，ε_f，n(x，y))大于阈值时，运动矢量被检测为不相干。

5.根据权利要求2至4中的一项所述的方法，其中获得时间滤波器的长度N，借助于估计的运动矢量通过关于要被进行色调映射的帧(F0)的当前帧的运动补偿来获得(N-1)个经运动补偿的帧，然后，使用所述时间滤波器由所述经运动补偿的帧的时间滤波来产生要被进行色调映射的帧(F0)的经时间滤波的版本(L_TF)。

6.根据权利要求2至4中的一项所述的方法，其中在要被进行色调映射的帧(F0)上应用与双值小波分解结合的向后和向前的运动补偿，以便获得若干低频子带，并且针对要被进行色调映射的帧的每个像素，选择分解的后向部分的至少一个低频子带，并且选择分解的前向部分的至少一个低频子带，并且要被进行色调映射的帧的经时间滤波的版本(L_TF)的像素是属于所选择的两个低频子带的两个像素的混合。

7.根据权利要求6所述的方法，当权利要求6引用权利要求3至4中的一项时，其中从分解的后向和前向部分的最低频子带开始，考虑分解的所有低频子带，并且当对应的运动矢量是相干的时，针对要被进行色调映射的帧的每个像素选择单个低频子带。

8.一种对视频序列进行色调映射的设备，其包括局部色调映射算子，其特征在于，其还包括用于获得要被进行色调映射的视频序列的帧的经时间滤波的版本的部件以及用于确定由所述局部色调映射算子使用的空间邻域的部件。

9.根据权利要求8所述的设备，其中，其还包括被配置为实现根据权利要求1至7中的一项所述的方法中的一种的部件。