CN114363702B - Sdr视频转换为hdr视频的方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种SDR视频转换为HDR视频的方法、装置、设备及存储介质，针对现有的视频转换方法，采用固定3DLUT的算法不能很好适应于多个场景，不具有通用性的问题，通过构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；将多帧HDR图像进行编码，得到HDR视频。基于自适应3D LUT算法，适用于多种场景，提高视频转换的鲁棒性。

Description

SDR视频转换为HDR视频的方法、装置、设备及存储介质

技术领域

本发明属于视频转换的技术领域，尤其涉及一种SDR视频转换为HDR视频的方法、装置、设备及存储介质。

背景技术

对于SDR视频转换为HDR视频的算法，目前有基于生成模型的算法、基于3DLUT转换的算法。

其中，基于生成模型的算法所用的网络结构复杂，计算量大，处理速度一般都比较慢，在解决SDR视频转换为HDR视频有着不错的表现。如Deep SR-ITM算法是处理多任务，即超分辨和SDR转换为HDR，超分辨率使得视频分辨率提升以及细节更加丰富，SDR转换为HDR的任务也利用深度残差网络，其实质上也是输入SDR解码后的图像，通过Deep SR-ITM算法处理，得到ffmpeg(BT.2020)编码前的图像。

基于3DLUT转换的算法使用固定的3DLUT表，通过三次样条插值，实现SDR视频转换为HDR视频，算法处理速度快；由于使用的固定的3DLUT表，很难适应实际应用过程中多种多样的场景。请看图1，(x,y,z)位置的三次样条插值Vxyz计算如下：

V_xyz＝V₀₀₀(1-x)(1-y)(1-z)+

V₁₀₀x(1-y)(1-z)+

V₀₁₀(1-x)y(1-z)+

V₀₀₁(1-x)(1-y)z+

V₁₀₁x(1-y)z+

V₀₁₁(1-x)yz+

V₁₁₀xy(1-z)+

V₁₁₁xyz

对于3DLUT的三次样条插值：

shift＝dim·dim·dim

hdr[0]＝w000·lut[d000]+w100·lut[d100]+

w010·lut[d010]+w110·lut[d110]+

w001·lut[d001]+w101·lut[d101]+

w011·lut[d011]+w111·lut[d111]

hdr[1]＝w000·lut[d000+shift]+w100·lut[d100+shift]+

w010·lut[d010+shift]+w110·lut[d110+shift]+

w001·lut[d001+shift]+w101·lut[d101+shift]+

w011·lut[d011+shift]+w111·lut[d111+shift]

hdr[2]＝w000·lut[d000+2·shift]+w100·lut[d100+2·shift]+

w010·lut[d010+2·shift]+w110·lut[d110+2·shift]+

w001·lut[d001+2·shift]+w101·lut[d101+2·shift]+

w011·lut[d011+2·shift]+w111·lut[d111+2·shift]

其中dim＝33；r、g、b分别是SDR图像的r、g、b通道像素值；[r_i,g_i,b_i]和分别是r、g、b与dim相除的整数部分和小数部分；lut是维度为[3,dim,dim,dim]的3DLUT表的值；hdr[0]、hdr[1]、hdr[2]分别是三次样条插值后的r、g、b通道的像素值。

基于3DLUT转换的算法有着很快的处理速度，在一些特定的场景下，SDR视频转换为HDR视频也有着不错的效果。但是，其固定3DLUT的算法不能很好适应于多个场景，不具有通用性。

发明内容

本发明的目的是提供一种SDR视频转换为HDR视频的方法、装置、设备及存储介质，基于自适应3D LUT算法，适用于多种场景，提高视频转换的鲁棒性。

为解决上述问题，本发明的技术方案为：

一种SDR视频转换为HDR视频的方法，包括：

获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

将多帧HDR图像进行编码，得到HDR视频。

根据本发明一实施例，所述构建自适应3D LUT映射表进一步包括：

构建取值范围在[-1,1]的3D LUT映射表，所述映射表为三维结构，包含三个坐标分量，将所述三个坐标分量网格化，得到初步的视频转换模型；对视频转换模型进行训练，调整多元线性方程的回归参数，得到自适应3D LUT映射表。

根据本发明一实施例，所述对视频转换模型进行训练进一步包括：

通过公式：

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

根据本发明一实施例，所述自适应3D LUT模型的算法公式为：

lut＝regressLUT(x)

y＝trilinear(x,lut)

其中，x为SDR视频解码后的RGB图像，lut为输入图像x的多元线性回归拟合，y为输入图像x通过三线性插值后得到的图像。

一种SDR视频转换为HDR视频的装置，包括：

SDR模块，用于获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

转换模块，用于构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

HDR模块，用于将多帧HDR图像进行编码，得到HDR视频。

根据本发明一实施例，所述转换模块包括映射表构建单元及模型训练单元；

所述映射表构建单元用于构建取值范围在[-1,1]的3D LUT映射表，所述映射表为三维结构，包含三个坐标分量，将所述三个坐标分量网格化，得到初步的视频转换模型；对视频转换模型进行训练，调整多元线性方程的回归参数，得到自适应3D LUT映射表；

所述模型训练单元用于根据公式：

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

一种SDR视频转换为HDR视频的设备，包括：

存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；

所述处理器调用所述存储器中的所述指令，实现本发明一实施例中的SDR视频转换为HDR视频的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的SDR视频转换为HDR视频的方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

本发明一实施例中的SDR视频转换为HDR视频的方法，针对现有的视频转换方法，采用固定3DLUT的算法不能很好适应于多个场景，不具有通用性的问题，通过构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；将多帧HDR图像进行编码，得到HDR视频。基于自适应3DLUT算法，适用于多种场景，提高视频转换的鲁棒性。

附图说明

图1为本发明现有技术中的3D坐标体积示意图；

图2为本发明一实施例中的SDR视频转换为HDR视频的方法流图；

图3为本发明一实施例中的视频转换模型示意图；

图4为本发明一实施例中的回归参数获取代码图；

图5为本发明一实施例中的SDR视频转换为HDR视频的装置框图；

图6为本发明一实施例中的SDR视频转换为HDR视频的设备示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种SDR视频转换为HDR视频的方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例一

针对现有的视频转换方法，采用固定3DLUT的算法不能很好适应于多个场景，不具有通用性的问题，提供了一种基于自适应3DLUT算法的SDR视频转换为HDR视频的方法，适用于多种场景，提高视频转换的鲁棒性。

请参看图2，该SDR视频转换为HDR视频的方法包括以下步骤：

S1：获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

S2：构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

S3：将多帧HDR图像进行编码，得到HDR视频。

在步骤S1中，获取SDR视频，将SDR视频解码，得到若干一帧SDR图像。SDR视频可从视频网站上下载，采用ffmpeg抽帧解码得到一帧帧SDR图像。

为了便于后续的模型训练，可在视频网站上下载SDR-HDR视频对，并利用ffmpeg抽帧解码得到训练的图片对。

在步骤S2中，构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性样条插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像。

其中，自适应3DLUT的算法原理为：构建取值范围在[-1,1]的3D LUT映射表，该映射表为三维结构，有着三个坐标分量，将三个坐标分量网格化，通过网络模型的训练将原始图像和真值图像不断进行多元线性回归曲线的拟合，回归20个参数，得到最终自适应3DLUT映射表。

该自适应3DLUT算法具体为：lut＝regressLUT(x),y＝trilinear(x,lut)。其中，lut＝regressLUT(x)即为多元线性回归方程，公式拟合的为图像x的空间曲线，通过调整多元线性方程的回归参数，得到自适应的3DLUT映射表。y＝trilinear(x,lut)即为通过三线性样条插值法(具体见背景技术中的详细介绍)得到的图像。基于该自适应3DLUT算法，构建视频转换模型，视频转换模型通过不断计算图像gt与图像y之间的loss值，对回归参数进行调整，进行回归曲线的拟合。

在实际应用中，请参看图3，该视频转换模型中，x是SDR视频由ffmpeg解码后的RGB图像；y是自适应3DLUT算法预测得到的RGB图像，经过ffmpeg编码可以得到HDR视频；gt是HDR视频由ffmpeg解码后的RGB图像。在视频转换模块的训练过程中，本实施例采用logL₁loss的监督学习对模型参数进行更新。该自适应3DLUT算法回归20个参数，通过加权得到3DLUT表：

lut＝(A·gridx+B·gridy+C·gridz+T)³

展开可以得到关于gridx,gridy,gridz的20项的表达式，其中，

这里的x,y,z是在[-1,1]区间上均匀等分，得到长度为33的数组，具体代码实现见图4。

上述3DLUT表中的T为常数项，A、B、C分别为gridx、gridy、gridz的权重系数。以x,y,z作为空间坐标轴，gridx、gridy、gridz为该空间坐标轴的三维网格矩阵分量。

在训练过程中利用logL₁loss的监督对模型参数进行更新。其中

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

通过logL₁loss的监督学习可提升图像的低亮度区域对比度。其原理如下：

log以10为底的函数是增函数，且随着取值的增加增速越来约小，即导数越来越小，梯度变化越来越小。log₁₀(x)在取值较小的范围内梯度变化较大。当输入一个较小的数值，log₁₀(x)的输出值较大，图像中的低亮度区域的值输入后的梯度相对于输入值变化强烈，因此提升了低亮度区域的对比度。

监督学习在网络模型的训练中要求必须有训练集，通过训练集中真值图像的监督，模型输出的图像色彩与真值图像色彩会越来越贴近，即loss值越来越小，当loss值逐渐趋于某一值后会自动返回训练好的模型和权重。

通过训练好的视频转换模型，可得到一帧帧HDR图像。

在步骤S3中，将多帧HDR图像进行编码，得到HDR视频。根据步骤S2中输出的图像顺序，采用ffmpeg进行编码，得到HDR视频。

本实施例中的SDR视频转换为HDR视频的方法，将自适应3D LUT映射表通过大量的数据的训练，对每一个色彩分量进行了相应的调整，解决了固定3D LUT表统一的调整模板导致图像画面颜色有偏差的问题，具有颜色丰富、画面自然生动的优点；改善了固定的3DLUT表在多种多样的场景下鲁棒性不好的问题。与现有的基于生成模型的算法相比，具有消耗资源少，处理速度快的优势。

实施例二

本实施例提供了一种SDR视频转换为HDR视频的装置，请参看图5，该装置包括：

SDR模块1，用于获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

转换模块2，用于构建自适应3DLUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

HDR模块3，用于将多帧HDR图像进行编码，得到HDR视频。

其中，转换模块2包括映射表构建单元及模型训练单元。该映射表构建单元用于构建取值范围在[-1,1]的3D LUT映射表，所述映射表为三维结构，包含三个坐标分量，将所述三个坐标分量网格化，得到初步的视频转换模型；对视频转换模型进行训练，调整多元线性方程的回归参数，得到自适应3D LUT映射表。

模型训练单元则用于根据公式：

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

该SDR视频转换为HDR视频的装置是与上述实施例一中SDR视频转换为HDR视频的方法相对应的虚拟装置，其SDR模块1、转换模块2及HDR模块3的功能及实现方式均如上述实施例一所示，在此不再赘述。

实施例三

本实施例提供了一种SDR视频转换为HDR视频的设备。请参看图6，该SDR视频转换为HDR视频的设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对SDR视频转换为HDR视频的设备500中的一系列指令操作。

进一步地，处理器510可以设置为与存储介质530通信，在SDR视频转换为HDR视频的设备500上执行存储介质530中的一系列指令操作。

SDR视频转换为HDR视频的设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。

本领域技术人员可以理解，图6示出的SDR视频转换为HDR视频的设备结构并不构成对SDR视频转换为HDR视频的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的SDR视频转换为HDR视频的方法的步骤。

实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (6)

1.一种SDR视频转换为HDR视频的方法，其特征在于，包括：

获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

构建自适应3D LUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

将多帧HDR图像进行编码，得到HDR视频；

其中，构建自适应3D LUT映射表进一步包括：

构建取值范围在[-1,1]的3D LUT映射表，所述映射表为三维结构，包含三个坐标分量，将所述三个坐标分量网格化，得到初步的视频转换模型；对视频转换模型进行训练，调整多元线性方程的回归参数，得到自适应3D LUT映射表；

所述对视频转换模型进行训练进一步包括：

通过公式：

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

2.如权利要求1所述的SDR视频转换为HDR视频的方法，其特征在于，所述自适应3D LUT模型的算法公式为：

lut＝regressLUT(x)

y＝trilinear(x,lut)

其中，x为SDR视频解码后的RGB图像，lut为输入图像x的多元线性回归拟合，y为输入图像x通过三线性插值后得到的图像。

3.一种SDR视频转换为HDR视频的装置，实现如权利要求1或2所述的SDR视频转换为HDR视频的方法，其特征在于，包括：

SDR模块，用于获取SDR视频，将SDR视频解码，得到若干一帧SDR图像；

转换模块，用于构建自适应3D LUT映射表，将每帧SDR图像输入自适应3D LUT模型，采用三线性插值法将SDR图像转换为HDR图像，得到多个一帧HDR图像；

HDR模块，用于将多帧HDR图像进行编码，得到HDR视频。

4.如权利要求3所述的SDR视频转换为HDR视频的装置，其特征在于，所述转换模块包括映射表构建单元及模型训练单元；

所述映射表构建单元用于构建取值范围在[-1,1]的3D LUT映射表，所述映射表为三维结构，包含三个坐标分量，将所述三个坐标分量网格化，得到初步的视频转换模型；对视频转换模型进行训练，调整多元线性方程的回归参数，得到自适应3D LUT映射表；

所述模型训练单元用于根据公式：

对视频转换模型进行监督学习，不断计算图像gt与图像y的loss值，对多元线性方程的回归参数进行调整，实现输入SDR图像回归曲线的拟合；其中，N为输入SDR图像的像素个数，图像gt为模型训练集中HDR视频解码后的图像，图像y为视频转换模型输出的图像。

5.一种SDR视频转换为HDR视频的设备，其特征在于，包括：

存储器和处理器，所述存储器中存储有指令，所述存储器和所述处理器通过线路互连；

所述处理器调用所述存储器中的所述指令，实现如权利要求1或2所述的SDR视频转换为HDR视频的方法。

6.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述的SDR视频转换为HDR视频的方法。