CN114051126B - 视频处理方法和视频处理装置 - Google Patents

Abstract

提供一种视频处理方法和视频处理装置。所述视频处理方法可包括以下步骤：获取低动态范围SDR视频帧的色彩统计信息以及对所述SDR视频帧进行处理后得到的高动态范围HDR数据；基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整；并且基于调整后的HDR数据来获得HDR视频帧。本公开有效地解决了SDR视频内容转为HDR格式后画面过亮的情况和在各场景下颜色退化的问题。

Description

视频处理方法和视频处理装置

技术领域

本公开涉及视频图像处理技术领域，尤其涉及一种用于将低动态范围SDR视频转换为高动态范围HDR视频的视频处理方法和视频处理装置。

背景技术

数字视频是当今时代人们获取信息的重要载体，其简便、直观、完整的信息记录特点使其在生活、军事、航天、医疗等众多领域都起到了至关重要的作用。目前，视频应用占据了互联网大部分的流量，并且还在不断增长。随着数字视频技术的不断完善与提高，人们对于视频质量的要求也在不断增加，更大的分辨率、更高的帧率均可有效地提高了人们的观看体验。此外，受制于传统视频格式下低动态范围SDR的限制，人们在观看视频时，很多场景的画面内容与真实观看场景存在较大出入，因此，高动态范围HDR视频格式应运而生。

HDR视频在于使拍摄的视频内容更加贴近自然界中人眼观察到的情况，因此在保留更多画面内容的同时，需要减少画面内颜色、亮度等信息的偏差。由于SDR视频因其动态范围有限，即在同一幅画面内能够展现的亮度范围有限，因此在SDR画面中，经常会出现场景中部分区域因过曝或过暗导致画面细节丢失。此外，在传统电视系统架构中，画面的色域采用BT.709，导致画面对于色彩的表现有限，因此需要进一步扩大色域范围，来达到更好的视频内容展示效果。然而，目前并没有一套标准的SDR视频转HDR视频的流程规范。

发明内容

本公开提供一种用于将低动态范围SDR视频转换为高动态范围HDR视频的视频处理方法和视频处理装置，以至少解决上述问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法可包括：获取低动态范围SDR视频帧的色彩统计信息以及对所述SDR视频帧进行处理后得到的高动态范围HDR数据；基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整；并且基于调整后的HDR数据获得HDR视频帧。

可选地，在所述色彩统计信息包括画面中各亮度等级占比的情况下，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，可包括：根据所述各亮度等级占比对所述HDR数据中的各像素的亮度进行调整，其中，所述各亮度等级基于对灰度值的划分获得。

可选地，在所述色彩统计信息包括画面中各像素饱和度的情况下，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，可包括：根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整。

可选地，获取低动态范围SDR视频帧的色彩统计信息，可包括：确定所述SDR视频帧中的每个像素的灰度值；按照不同的亮度等级对所述灰度值进行分级，并且确定每个亮度等级的灰度值在所述SDR视频帧中的占比，其中，亮度等级包括第一亮度等级至第四亮度等级，第一亮度等级至第四亮度等级具有不同的灰度值范围，从第一亮度等级到第四亮度等级的灰度值逐级递增。

可选地，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，可包括：根据所述SDR视频帧的第一亮度等级至第三亮度等级的占比来调整所述HDR数据的第一亮度等级至第三亮度等级的占比。

可选地，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，可包括：根据所述SDR视频帧的第四亮度等级的占比来调整所述HDR数据的最大亮度。

可选地，调整所述HDR数据的第一亮度等级至第三亮度等级的占比，可包括：当所述SDR视频帧的第三亮度等级的占比分别大于所述SDR视频帧的第一亮度等级和第二亮度等级的占比时，减少所述HDR数据的第一亮度等级的灰度数量并且增加所述HDR数据的第三亮度等级的灰度数量；当所述SDR视频帧的第一亮度等级的占比分别大于所述SDR视频帧的第二亮度等级和第三亮度等级的占比时，增加所述HDR数据的第一亮度等级的灰度数量并且降低所述HDR数据的最小亮度。

可选地，调整所述HDR数据的最大亮度，可包括：根据所述SDR视频帧的第四亮度等级的占比确定所述HDR数据的最大亮度将被降低的亮度值；并且将所述HDR数据的最大亮度降低所述确定的亮度值。

可选地，根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整，可包括：确定用于调整所述HDR数据中的每个像素的饱和度的权重；当所述SDR视频帧中的像素的饱和度大于第一阈值时，不对所述HDR数据的所述像素的饱和度进行调整；当所述SDR视频帧中的像素的饱和度小于或等于第一阈值时，将所述HDR数据的所述像素的饱和度乘以相应的权重。

可选地，确定用于调整所述HDR数据中的每个像素的饱和度的权重，可包括：通过将所述HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定所述每个像素的饱和度的权重，其中，所述饱和度变换表被配置为基于色度值确定饱和度的权重。

根据本公开实施例的第二方面，提供一种视频处理装置，所述视频处理装置可包括：数据统计模块，被配置为：获取低动态范围SDR视频帧的色彩统计信息以及对所述SDR视频帧进行处理后得到的高动态范围HDR数据；数据调整模块，被配置为：基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整；并且编码模块，被配置为：基于调整后的HDR数据获得HDR视频帧。

可选地，在所述色彩统计信息包括画面中各亮度等级占比的情况下，数据调整模块可被配置为：根据所述各亮度等级占比对所述HDR数据中的各像素的亮度进行调整，其中，所述各亮度等级基于对灰度值的划分获得。

可选地，在所述色彩统计信息包括画面中各像素饱和度的情况下，数据调整模块可被配置为：根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整。

可选地，数据统计模块可被配置为：确定所述SDR视频帧中的每个像素的灰度值；按照不同的亮度等级对所述灰度值进行分级，并且确定每个亮度等级的灰度值在所述SDR视频帧中的占比，其中，亮度等级包括第一亮度等级至第四亮度等级，第一亮度等级至第四亮度等级具有不同的灰度值范围，从第一亮度等级到第四亮度等级的灰度值逐级递增。

可选地，数据调整模块可被配置为：根据所述SDR视频帧的第一亮度等级至第三亮度等级的占比来调整所述HDR数据的第一亮度等级至第三亮度等级的占比。

可选地，数据调整模块可被配置为：根据所述SDR视频帧的第四亮度等级的占比来调整所述HDR数据的最大亮度。

可选地，数据调整模块可被配置为：当所述SDR视频帧的第三亮度等级的占比分别大于所述SDR视频帧的第一亮度等级和第二亮度等级的占比时，减少所述HDR数据的第一亮度等级的灰度数量并且增加所述HDR数据的第三亮度等级的灰度数量；当所述SDR视频帧的第一亮度等级的占比分别大于所述SDR视频帧的第二亮度等级和第三亮度等级的占比时，增加所述HDR数据的第一亮度等级的灰度数量并且降低所述HDR数据的最小亮度。

可选地，数据调整模块可被配置为：根据所述SDR视频帧的第四亮度等级的占比确定所述HDR数据的最大亮度将被降低的亮度值；并且将所述HDR数据的最大亮度降低所述确定的亮度值。

可选地，数据调整模块可被配置为：确定用于调整所述HDR数据中的每个像素的饱和度的权重；当所述SDR视频帧中的像素的饱和度大于第一阈值时，不对所述HDR数据的所述像素的饱和度进行调整；当所述SDR视频帧中的像素的饱和度小于或等于第一阈值时，将所述HDR数据的所述像素的饱和度乘以相应的权重。

可选地，数据调整模块可被配置为：通过将所述HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定所述每个像素的饱和度的权重，其中，所述饱和度变换表被配置为基于色度值确定饱和度的权重。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备可包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。

根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令被电子装置中的至少一个处理器运行以执行如上所述的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开的视频处理方法和装置能够充分利用HDR格式具有的更大动态范围，通过对转换后的HDR数据进行亮度和色度的调整，避免转换后的HDR视频内容的整个过亮以及饱和度不足、肤色违和等问题，提高了用户的观看体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出将SDR视频转换为HDR视频的参考流程示意图。

图2是根据一示例性实施例示出的将SDR视频转换为HDR视频的流程示意图。

图3是根据一示例性实施例示出的视频处理方法的流程图。

图4是根据一示例性实施例示出的对转换的HDR数据进行调整的示意图；

图5是根据一示例性实施例示出的对亮度进行调整的示意图；

图6是根据一示例性实施例示出的饱和度变换表的示意图；

图7是根据一示例性实施例示出的视频处理设备的结构示意图；

图8是根据一示例性实施例示出的视频处理装置的框图；

图9是根据一示例性实施例示出的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的实施例的全面理解。包括各种特定细节以帮助理解，但这些细节仅被视为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本公开的范围和精神的情况下，可对描述于此的实施例进行各种改变和修改。此外，为了清楚和简洁，省略对公知的功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由发明人用来实现本公开的清楚且一致的理解。因此，本领域的技术人员应清楚，本公开的各种实施例的以下描述仅被提供用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

国际电信联盟ITU根据不同标准的设计特点提供了将SDR视频转换为HDR视频的参考转换流程，如图1所示。在图1中，以SDR视频转换为HDR 10格式视频为例进行描述。

参照图1，首先将8bit SDR视频进行解码(DeCode)，获得色域为BT.709的非线性光线数据，例如，非线性RGB颜色值。这里之所以称光线为非线性，是因为在传统电视系统架构的编码中，考虑到人眼对不同亮度的内容的敏感度不同，需要对收集到的线性光线数据进行非线性变换(诸如Gamma变换)，来达到用更多的灰阶来表示人眼更为敏感的画面内容。在HDR 10标准的系统中，变换曲线(即PQ曲线)是一条将自然光亮度与电信号一一标定的绝对曲线，因此，需要对非线性光线数据进行逆变换来获得线性光线数据。如图1所示，将色域为BT.709的非线性光线数据利用Gamma曲线变换为色域为BT.709的线性光线数据。

为了符合HDR 10标准的需求，可将获得的线性光进行色域空间转换，即从BT.709色域向BT.2020色域进行转换，并将此处得到的线性光线数据近似认为是自然界中相机所捕获的自然光并对其进行编码(即将线性光线数据利用PO曲线变换为非线性数据)，获得满足HDR 10标准所需求的非线性光线数据(即图1中示出的非线性BT.2020RGB数据)，并通过添加元数据Metadata指导显示端进行播放，从而完成SDR视频格式向HDR10视频格式的转换。

图1所示的方法是针对传统SDR格式和HDR 10格式自身拥有的变换属性和参数特点进行的变换流程，虽然可以将传统SDR视频成功转换至目标的HDR 10格式下，但是该方法对于HDR 10格式拥有的更大动态范围并没有充分利用，而是硬性地将原先的8bit数据直接编码为10bit的内容，这会导致视频内容的整体过亮发灰，观看体验下降。同时，在直接进行色域转换的情况下，虽然满足了HDR 10格式的要求，但是这种不再进行进一步处理的视频的颜色存在明显的饱和度不足、肤色违和等问题。

此外，图1所示的方法也没有考虑到视频内容的变化对视频亮度的影响，这会导致室内场景与室外场景的亮度相同。这种情况既不符合我们的常识，又会导致例如室内墙壁或屏幕上的反光点出现刺眼的亮光，让观众在观看时产生强烈的不适。

鉴于目前视频的显示设备拥有越来越强的高动态范围播放能力以及现有方案所存在的诸多问题，本公开的目的在于通过一种以SDR视频内容为基础的可自适应调节方案，使得SDR视频在转换为HDR视频后拥有更加自然的观看效果，并将SDR视频的灰阶进行扩展，更好地利用HDR标准所提供的高动态范围。

在下文中，根据本公开的各种实施例，将参照附图对本公开的方法、装置进行详细描述。

图2是根据另一示例性实施例示出的将SDR视频转换为HDR视频的流程示意图。图2所示的方法以图1的方法为基础，通过对SDR视频内容信息进行统计来进一步指导经过HDR系统的非线性变换后的内容。如图2所示，在图1中的非线性BT.2020RGB数据后，在添加元数据Metadata之前再进行一次基于画面内容的非线性变换。

图2的方法可在任何具有视频/图像处理功能的电子设备中实现。电子设备可以是包括如下中的至少一个，例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book reader)、桌上型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、相机和可穿戴装置等。

如图2所示，在获得HDR非线性光线数据(诸如非线性BT.2020RGB数据)后，可根据SDR视频的色彩统计信息(诸如灰度信息和饱和度信息)对HDR非线性光线数据(诸如亮度和色度)进行调整。

根据本公开的实施例，通过针对SDR画面内容进行自适应的亮度和色度变换，使得转换后的HDR视频内容更加自然。同时，由于HDR视频针对SDR画面内容进行动态变化，因此有效地解决了SDR视频内容转换为HDR格式后画面过亮的情况和各场景下颜色退化的问题。

图3是根据一示例性实施例示出的视频处理方法的流程图。

参照图3，在步骤S301，获取低动态范围SDR视频帧的色彩统计信息以及对SDR视频帧进行处理后得到的高动态范围HDR数据。这里，高动态范围HDR数据可指在将要执行编码处理前所得到的数据。

可通过对低动态范围SDR视频帧进行解码来获得SDR数据。例如，参照图2，将8bitSDR视频进行解码来得到非线性BT.709RGB数据。通过对SDR数据进行色域空间转换来获得高动态范围HDR数据。例如，参照图2，将线性BT.709RGB数据进行色域空间转换来得到线性BT.2020RGB数据，然后将线性BT.2020RGB数据经由PQ曲线来得到待调整的非线性BT.2020RGB数据。虽然图2是以SDR格式转换为HDR 10格式为例进行解释，但是本公开可根据不同的HDR视频格式标准进行适应性地改变。

色彩统计信息可包括画面中各亮度等级占比和/或画面中各像素饱和度中，其中，预先将灰度值划分为多个亮度等级。亮度等级也被成为亮度区域或亮度范围。每个亮度等级的取值范围可根据用户需求进行不同的设置。例如，可将灰度值划分为四个等级/范围，诸如第一亮度等级(也可称为低等级)、第二亮度等级(也可称为中等级)、第三亮度等级(也可称为亮等级)和第四亮度等级(也可称为高亮等级)。暗等级、中等级、亮等级和高亮等级的灰度值可逐级递增。例如，针对8bit图像数据，灰度的最大值为255，可将灰度值范围为0至60的亮度等级定义为第一亮度等级，将灰度值范围为60至150的亮度等级定义为第二亮度等级，将灰度值范围为150至170的亮度等级定义为第三亮度等级，将灰度值范围为170至255的亮度等级定义为第四亮度等级。上述亮度等级的数量以及不同亮度等级的灰度值范围仅是示例性的，本公开不限于此。

在设置完每个亮度等级的范围后，可确定SDR视频帧中的每个像素的灰度值，将SDR视频帧中的灰度值按照确定的范围进行分级，然后确定每个亮度等级的灰度值在SDR视频帧中的占比。

此外，可确地SDR视频帧中的各个像素的饱和度，并且基于各个像素的饱和度值生成一张与SDR视频帧等大小的掩模Mask，以用于后面的饱和度调整。

在步骤S302，基于SDR视频帧的色彩统计信息对HDR数据中的色彩信息进行调整。

在色彩统计信息包括画面中各亮度等级占比的情况下，可根据SDR视频帧的各亮度等级占比对HDR数据中的各像素的亮度进行调整。

作为示例，可根据SDR视频帧的暗等级、中等级和亮等级的占比来调整HDR数据的暗等级、中等级和亮等级的占比。这里，HDR数据的暗等级、中等级和亮等级的范围阈值可通过对SDR数据的暗等级、中等级和亮等级的范围阈值放大若干倍(诸如4倍)来得到，或者可将SDR数据的暗等级、中等级和亮等级的范围阈值按照比例带入PQ曲线来得到HDR数据的暗等级、中等级和亮等级的范围阈值。

例如，当SDR视频帧的亮等级的占比分别大于SDR视频帧的暗等级和中等级的占比时，可减少HDR数据的暗等级的灰度数量并且增加HDR数据的亮等级的灰度数量。当SDR视频帧的暗等级的占比分别大于SDR视频帧的亮等级和中等级的占比时，可增加HDR数据的暗等级的灰度数量并且降低HDR数据的最小亮度。

可根据SDR视频帧的高亮等级的占比来调整HDR数据的最大亮度。例如，可根据SDR视频帧的高亮等级的占比确定HDR数据的最大亮度将被降低的亮度值；并且将HDR数据的最大亮度值降低相应的亮度值。下面将参照图5来详细描述如何调整亮度。

在色彩统计信息包括画面中各像素饱和度的情况下，可根据SDR视频帧的各像素饱和度对HDR数据中的各像素的饱和度进行调整。可根据SDR视频帧中的各个像素的饱和度来确定是否对HDR数据中的对应像素的饱和度进行调整，当确定对HDR数据中的对应像素的饱和度进行调整，使用由HDR数据中的该像素的色度值所确定的权重，对该像素的饱和度进行调整。

可确定用于调整HDR数据中的每个像素的饱和度的权重，当SDR视频帧中的像素的饱和度大于第一阈值时，可不对HDR数据的相应像素的饱和度进行调整。当SDR视频帧中的像素的饱和度小于或等于第一阈值时，可将HDR数据的相应像素的饱和度乘以相应的权重。可通过将HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定相应像素的饱和度的权重，其中，饱和度变换表被配置为基于色度值确定饱和度的权重。下面将参照图6来详细描述如何调整色度。

在SDR格式向HDR格式转换的过程中，可通过对原视频内容的色彩统计信息来指导HDR格式视频在生成过程中的映射函数的变化。

并且，通过对不同颜色进行划分，利用SDR格式视频中对应像素的原饱和度，来共同指导生成的HDR格式视频相应像素的饱和度变化。

在步骤S303，基于调整后的HDR数据来获得HDR视频帧。可通过对调整后的HDR数据进行编码来获得HDR视频帧。

作为示例，在对调整后的HDR数据进行编码时，可通过添加元数据来执行显示端进行播放。下面将参照图4，以在YUV色彩空间中对HDR数据进行调整为例进行解释。

图4是根据一示例性实施例示出的对转换的HDR数据进行调整的示意图。

参照图4，当一帧SDR视频帧被解码后，可在RGB色彩空间计算当前帧的每个像素的饱和度，并将该帧的各像素的饱和度值生成一张与该帧等大小的掩模Mask，用于对转换后的HDR数据的饱和度进行指导。

将当前帧视频内容转换至YUV色彩空间中，并统计不同亮度等级的灰度在整帧图像中的占比。可将亮度等级分为暗区、中区、亮区和高亮区。

对YUV色彩空间中的灰度通道(即Y通道)和色度通道(即UV通道)分别进行处理，以此独立解决在SDR视频转换为HDR格式视频时所存在的亮度和颜色问题。

可根据暗、中、亮三个区域(即三个亮度等级)的占比，对亮度映射曲线(Y通道)进行自适应地调整，以适应不同画面内容带来的亮度差异。

如上所述，在不进行任何亮度变换的情况下，生成的HDR格式视频存在画面发灰、亮度过高的问题，这是由于在直接将原本的8bit数据提升至10bit数据时，灰阶统一被平移至较高的亮度区域所导致。因此，本公开的自适应亮度变换曲线需要将其亮度整体压低，即在相同输入的情况下，亮度变换曲线的输出应小于或等于输入值。另一方面，为了充分利用HDR格式所提供的高动态范围，本公开可拉伸画面的对比度，这样使得亮度变换曲线整体样式呈“S”型。同时由于不同画面的暗、中、亮三区占比不同，即画面的主要展示场景不同，分配不同区域的灰阶数量也不同，基于这种思想，本公开提供了一种亮度变换曲线的自适应变化方式。

图5是根据一示例性实施例示出的对亮度进行调整的示意图。如图5所示，根据SDR视频帧的暗区、中区、亮区和高亮区的占比来进行自适应的亮度变换，以得到更加自然的HDR视频帧。在图5的自适应亮度变换曲线的所在的坐标系中，横坐标表示SDR的灰度值/亮度值，纵坐标表示HDR的灰度值/亮度值。

当亮区占比较大时(如图5中第三行)，可认为当前帧画面主要展示HDR视频的高亮度表达能力，此时，可相应地压缩暗区的灰度分配数量，分配亮区更多的灰度，使画面更加明亮。当暗区占比较大时(如图5中第二行)，可以认为当前帧画面主要展示HDR视频的暗部细节的表达能力，此时，可向暗区分配更多灰阶，同时适当地压低最暗处的输出值，这样可以对暗区的局部对比度有较大的提升，使视频可以充分展现暗区细节。

高亮区占比是与亮、中、暗三区统计独立计算的，其主要作用是判定视频内是否存在墙壁、镜面等易反光区域。在自然状态下，高亮区域在大多数情况中都只占整幅画面的一小部分区域，而在SDR格式视频中，由于较低动态范围的限制，室内场景中墙壁、镜面等物件都容易因反光达到SDR格式的亮度表达上限，如果直接将这些内容转为HDR格式，则HDR格式的高动态范围的上限将在画面展示时产生大面积高亮区，严重影响观看体验。因此，本公开可根据设定高亮区占比来规范整个视频的最高亮度。

如图5中的第一行和第二行所示，第一行和第二行的亮、中、暗三区占比相近，但是第一行的高亮区占比大于第二行的高亮区占比，此时，可以认为第一行中的SDR内容可能会出现在转换为HDR格式后画面过亮的情况，因此在进行曲线调整时可降低其可输出的最大亮度。

这里，需要注意的是，上述对于亮、中、暗三区的灰度调整与高亮区的灰度调整是独立进行的，输出最大亮度的调整仅与高亮区占比有关，与亮、中、暗三区占比无直接联系。

此外，可根据SDR视频帧的饱和度信息对转换后的色度信息进行自适应地调整。针对SDR格式转HDR格式输出的视频饱和度不足的问题，可对HDR视频内容进行饱和度增强处理，但是统一的饱和度增强又会引入肤色不自然、蓝色和绿色过饱和而导致其呈现较为严重的塑料感。因此，本公开提供了在UV通道上的饱和度变换表，通过分割易错区域的饱和度提升程度，来实现画面更加自然的变化。图6是以肤色区为例，上述所述的蓝色区与绿色区的饱和度变换表与图6类似。

图6是根据一示例性实施例示出的饱和度变换表的示意图。在图6中，x轴可表示Cr值，y轴可表示Cb值，可根据Cr值和Cb值来确定饱和度的权重。在低饱和度区域上可使用第一权重，在高饱和度区域上可使用第二权重，第一权重与第二权重不同，在过渡区间上可使用在第一权重与第二权重之间的权重值。例如，过渡区间上的权重可由从第一权重过渡到第二权重的一条曲线或直线表示，该曲线与坐标(Cb，Cr)相关，可根据曲线或直线和(Cb，Cr)值来确定相应的权重。

图4所示的饱和度全局调整是指根据转换后的HDR数据的色度值来确定HDR数据中的每个像素的饱和度的权重。例如，如图6所示，当通过查表确定某一色度值属于低饱和度区域，可确定与该色度值对应的权重为第一权重，当通过查表确定某一色度值属于高饱和度区域，可确定与该色度值对应的权重为第二权重。对于属于过渡区间的色度值，权重的变化可以认为是缓慢变换，并不是突变。在过渡区间中可设置一条关于权重与色度值之间的关系的曲线或直线，然后可根据色度值来确定调整饱和度的权重。

图4所示的饱和度精细调整是指根据SDR视频帧的饱和度对HDR数据的各个像素的饱和度进行调整。在进行饱和度调整时，可利用上述生成的掩模Mask，当SDR画面中像素的饱和度过高(例如大于第一阈值)时，可保留该像素的饱和度，即不对HDR数据中的相应像素做处理；当SDR画面中像素饱和度较低(例如小于第一阈值)时，可采用图6的变换方式，进行饱和度的提升。

在YCbCr(YUV)空间中提升饱和度时，可将Cb和Cr值同时乘以一个权重。例如，某个颜色表示为(Y，Cb，Cr)，提升其饱和度之后可以表示为(Y，Cb xα，Cr xα)，其中α为权重。参照图6，通过建立饱和度转换表，首先划分出需要饱和度调整的区域，诸如图6中的大量肤色存在的颜色的Cb、Cr范围为淡蓝色区域，可将这个范围内的饱和度调整的权重设置为α1。

返回参照图4，可将自适应调整后的Y通道与UV通道结合，然后进行编码阶段以生成最终的HDR视频。

相比于现有的SDR格式转HDR格式流程，本公开的方法通过自适应亮度调节和自适应色度调节，改善了在直接转换的情况下画面色彩退化、饱和度不足、画面过亮等问题，并且生成的HDR格式视频在画面冲击力和整体观感上明显优于SDR视频。另一方面，本公开可实现更高清的视频实时编码，为之后HDR格式视频在更多领域上的运用打下了基础。

虽然本公开以在YUV色彩空间中进行调整为例进行解释，但是本公开不限于此，也可在不同的颜色空间进行变化，例如在ICtCp色彩空间中进行调整。

此外，本公开还可利用相同的输入信息，重新设计不同的亮度和色度的映射曲线，来得到HDR格式视频。

图7是本公开实施例的硬件运行环境的视频处理设备的结构示意图。

如图7所示，视频处理设备700可包括：处理组件701、通信总线702、网络接口703、输入输出接口704、存储器705以及电源组件706。其中，通信总线702用于实现这些组件之间的连接通信号。输入输出接口704可以包括视频显示器(诸如，液晶显示器)、麦克风和扬声器以及用户交互接口(诸如，键盘、鼠标、触摸输入装置等)，可选地，输入输出接口704还可包括标准的有线接口、无线接口。网络接口703可选的可包括标准的有线接口、无线接口(如无线保真接口)。存储器705可以是高速的随机存取存储器，也可以是稳定的非易失性存储器。存储器705可选的还可以是独立于前述处理组件701的存储装置。

本领域技术人员可以理解，图7中示出的结构并不构成对视频处理设备700的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图7所示，作为一种存储介质的存储器705中可包括操作系统(诸如MAC操作系统)、数据存储模块、网络通信模块、用户接口模块、视频处理程序以及数据库。

在图7所示的视频处理设备700中，网络接口703主要用于与外部设备/终端进行数据通信；输入输出接口704主要用于与用户进行数据交互；视频处理设备700中的处理组件701、存储器705可被设置在视频处理设备700中，视频处理设备700通过处理组件701调用存储器705中存储的视频处理程序以及由操作系统提供的各种API，执行本公开实施例提供的视频处理方法。

处理组件701可以包括至少一个处理器，存储器705中存储有计算机可以执行指令集合，当计算机可以执行指令集合被至少一个处理器执行时，执行根据本公开实施例的视频处理方法。此外，处理组件701可执行编码操作和解码操作等。然而，上述示例仅是示例性的，本公开不限于此。

作为示例，视频处理设备700可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，视频处理设备700并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。视频处理设备700还可以是集成控制系统或系统管理器的一部分，或者可以被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在视频处理设备700中，处理组件701可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理组件701还可以包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理组件701可运行存储在存储器中的指令或代码，其中，存储器705还可以存储数据。指令和数据还可以经由网络接口703而通过网络被发送和接收，其中，网络接口703可以采用任何已知的传输协议。

存储器705可以与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器705可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可以使用的其他存储装置。存储器和处理器可以在操作上进行耦合，或者可以例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。

图8是根据一示例性实施例示出的一种视频处理装置的框图。

视频处理装置可针对画面内容进行自适应亮度、色度变换，使得转换后的视频内容更加自然，同时由于针对画面内容进行动态变化，因此有效地解决了SDR视频内容转为HDR格式后画面过亮的情况和各场景下颜色退化的问题。

参照图8，视频处理装置800可包括数据统计模块801、数据调整模块802和编码模块803。视频处理装置800中的每个模块可由一个或多个模块来实现，并且对应模块的名称可根据模块的类型而变化。在各种实施例中，可省略视频处理装置800中的一些模块，或者还可包括另外的模块。此外，根据本公开的各种实施例的模块/元件可被组合以形成单个实体，并且因此可等效地执行相应模块/元件在组合之前的功能。

参照图8，数据统计模块801可获取低动态范围SDR视频帧的色彩统计信息以及对SDR视频帧进行处理后得到的高动态范围HDR数据。

可选地，色彩统计信息可包括画面中各亮度等级占比和/或画面中各像素饱和度，其中，预先将灰度值划分为多个亮度等级。

可选地，数据统计模块801可确定SDR视频帧中的每个像素的灰度值，按照不同的亮度等级对灰度值进行分级，并且确定每个亮度等级的灰度值在SDR视频帧中的占比，其中，亮度等级可包括第一亮度等级至第四亮度等级，第一亮度等级至第四亮度等级具有不同的灰度值范围，从第一亮度等级到第四亮度等级的灰度值逐级递增。

可选地，数据统计模块801可基于画面中各像素饱和度生成一张与SDR视频帧等大小的掩模。

数据调整模块802可基于SDR视频帧的色彩统计信息对HDR数据进行调整。

可选地，在色彩统计信息包括画面中各亮度等级占比的情况下，数据调整模块802可根据SDR视频帧的各亮度等级占比对HDR数据中的各像素的亮度进行调整。

可选地，在色彩统计信息包括画面中各像素饱和度的情况下，数据调整模块802可根据SDR视频帧的各像素饱和度对HDR数据中的各像素的饱和度进行调整。

可选地，数据调整模块802可根据SDR视频帧的第一亮度等级至第三亮度等级的占比来调整HDR数据的第一亮度等级至第三亮度等级的占比。

可选地，数据调整模块802可根据SDR视频帧的第四亮度等级的占比来调整HDR数据的最大亮度。

可选地，当SDR视频帧的第三亮度等级的占比分别大于SDR视频帧的第一亮度等级和第二亮度等级的占比时，数据调整模块802可减少HDR数据的第一亮度等级的灰度数量并且增加HDR数据的第三亮度等级的灰度数量；当SDR视频帧的第一亮度等级的占比分别大于SDR视频帧的第二亮度等级和第三亮度等级的占比时，数据调整模块802可增加HDR数据的第一亮度等级的灰度数量并且降低HDR数据的最小亮度。

可选地，数据调整模块802可根据SDR视频帧的第四亮度等级的占比确定HDR数据的最大亮度将被降低的亮度值，并且将HDR数据的最大亮度值降低相应的亮度值(即确定的将被降低的亮度值)。

可选地，数据调整模块802可确定用于调整HDR数据中的每个像素的饱和度的权重，当SDR视频帧中的像素的饱和度大于第一阈值时，可不对HDR数据的相应像素的饱和度进行调整；当SDR视频帧中的像素的饱和度小于或等于第一阈值时，可将HDR数据的相应像素的饱和度乘以相应的权重。

可选地，数据调整模块802可通过将HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定相应像素的饱和度的权重，其中，饱和度变换表被配置为基于色度值确定饱和度的权重。

编码模块803可通过对调整后的HDR数据进行编码来获得HDR视频帧。

根据本公开的实施例，可提供一种电子设备。图9是根据本公开实施例的电子设备的框图，该电子设备1000可包括至少一个存储器1002和至少一个处理器1001，所述至少一个存储器1002存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器1001执行时，执行根据本公开实施例的视频处理方法。

处理器1001可包括中央处理器(CPU)、音频处理器、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器1001还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

作为一种存储介质的存储器1002可包括操作系统(例如MAC操作系统)、数据存储模块、网络通信模块、用户接口模块、视频处理程序以及数据库。

存储器1002可与处理器1001集成为一体，例如，可将RAM或闪存布置在集成电路微处理器等之内。此外，存储器1002可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器1002和处理器1001可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器1001能够读取存储在存储器1002中的文件。

此外，电子设备1000还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备1000的所有组件可经由总线和/或网络而彼此连接。

作为示例，电子设备1000可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备1000并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备1000还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

本领域技术人员可理解，图9中示出的结构并不构成对的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：

获取低动态范围SDR视频帧的色彩统计信息以及对所述SDR视频帧进行处理后得到的高动态范围HDR数据；

基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整；并且

基于调整后的HDR数据获得HDR视频帧，

其中，获取低动态范围SDR视频帧的色彩统计信息，包括：确定所述SDR视频帧中的每个像素的灰度值；按照不同的亮度等级对所述灰度值进行分级，并且确定每个亮度等级的灰度值在所述SDR视频帧中的占比。

2.如权利要求1所述的方法，其特征在于，在所述色彩统计信息包括画面中各亮度等级占比的情况下，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，包括：

根据所述各亮度等级占比对所述HDR数据中的各像素的亮度进行调整，

其中，所述各亮度等级基于对灰度值的划分获得。

3.如权利要求1所述的方法，其特征在于，在所述色彩统计信息包括画面中各像素饱和度的情况下，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，包括：

根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整。

4.如权利要求1所述的方法，其特征在于，亮度等级包括第一亮度等级至第四亮度等级，第一亮度等级至第四亮度等级具有不同的灰度值范围，从第一亮度等级到第四亮度等级的灰度值逐级递增。

5.如权利要求4所述的方法，其特征在于，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，包括：

根据所述SDR视频帧的第一亮度等级至第三亮度等级的占比来调整所述HDR数据的第一亮度等级至第三亮度等级的占比。

6.如权利要求4所述的方法，其特征在于，基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整，包括：

根据所述SDR视频帧的第四亮度等级的占比来调整所述HDR数据的最大亮度。

7.如权利要求5所述的方法，其特征在于，调整所述HDR数据的第一亮度等级至第三亮度等级的占比，包括：

当所述SDR视频帧的第三亮度等级的占比分别大于所述SDR视频帧的第一亮度等级和第二亮度等级的占比时，减少所述HDR数据的第一亮度等级的灰度数量并且增加所述HDR数据的第三亮度等级的灰度数量；

当所述SDR视频帧的第一亮度等级的占比分别大于所述SDR视频帧的第二亮度等级和第三亮度等级的占比时，增加所述HDR数据的第一亮度等级的灰度数量并且降低所述HDR数据的最小亮度。

8.如权利要求6所述的方法，其特征在于，调整所述HDR数据的最大亮度，包括：

根据所述SDR视频帧的第四亮度等级的占比确定所述HDR数据的最大亮度将被降低的亮度值；并且

将所述HDR数据的最大亮度降低所述确定的亮度值。

9.如权利要求3所述的方法，其特征在于，根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整，包括：

确定用于调整所述HDR数据中的每个像素的饱和度的权重；

当所述SDR视频帧中的像素的饱和度大于第一阈值时，不对所述HDR数据的所述像素的饱和度进行调整；

当所述SDR视频帧中的像素的饱和度小于或等于第一阈值时，将所述HDR数据的所述像素的饱和度乘以相应的权重。

10.如权利要求9所述的方法，其特征在于，确定用于调整所述HDR数据中的每个像素的饱和度的权重，包括：

通过将所述HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定所述每个像素的饱和度的权重，

其中，所述饱和度变换表被配置为基于色度值确定饱和度的权重。

11.一种视频处理装置，其特征在于，所述视频处理装置包括：

数据统计模块，被配置为：获取低动态范围SDR视频帧的色彩统计信息以及对所述SDR视频帧进行处理后得到的高动态范围HDR数据；

数据调整模块，被配置为：基于所述SDR视频帧的色彩统计信息对所述HDR数据中的色彩信息进行调整；并且

编码模块，被配置为：基于调整后的HDR数据获得HDR视频帧，

其中，数据统计模块被配置为：确定所述SDR视频帧中的每个像素的灰度值；按照不同的亮度等级对所述灰度值进行分级，并且确定每个亮度等级的灰度值在所述SDR视频帧中的占比。

12.如权利要求11所述的装置，其特征在于，在所述色彩统计信息包括画面中各亮度等级占比的情况下，数据调整模块被配置为：

根据所述各亮度等级占比对所述HDR数据中的各像素的亮度进行调整，

其中，所述各亮度等级基于对灰度值的划分获得。

13.如权利要求11所述的装置，其特征在于，在所述色彩统计信息包括画面中各像素饱和度的情况下，数据调整模块被配置为：

根据所述各像素饱和度对所述HDR数据中的各像素的饱和度进行调整。

14.如权利要求11所述的装置，其特征在于，亮度等级包括第一亮度等级至第四亮度等级，第一亮度等级至第四亮度等级具有不同的灰度值范围，从第一亮度等级到第四亮度等级的灰度值逐级递增。

15.如权利要求14所述的装置，其特征在于，数据调整模块被配置为：

根据所述SDR视频帧的第一亮度等级至第三亮度等级的占比来调整所述HDR数据的第一亮度等级至第三亮度等级的占比。

16.如权利要求14所述的装置，其特征在于，数据调整模块被配置为：

根据所述SDR视频帧的第四亮度等级的占比来调整所述HDR数据的最大亮度。

17.如权利要求15所述的装置，其特征在于，数据调整模块被配置为：

当所述SDR视频帧的第三亮度等级的占比分别大于所述SDR视频帧的第一亮度等级和第二亮度等级的占比时，减少所述HDR数据的第一亮度等级的灰度数量并且增加所述HDR数据的第三亮度等级的灰度数量；

当所述SDR视频帧的第一亮度等级的占比分别大于所述SDR视频帧的第二亮度等级和第三亮度等级的占比时，增加所述HDR数据的第一亮度等级的灰度数量并且降低所述HDR数据的最小亮度。

18.如权利要求16所述的装置，其特征在于，数据调整模块被配置为：

根据所述SDR视频帧的第四亮度等级的占比确定所述HDR数据的最大亮度将被降低的亮度值；并且

将所述HDR数据的最大亮度降低所述确定的亮度值。

19.如权利要求13所述的装置，其特征在于，数据调整模块被配置为：

确定用于调整所述HDR数据中的每个像素的饱和度的权重；

当所述SDR视频帧中的像素的饱和度大于第一阈值时，不对所述HDR数据的所述像素的饱和度进行调整；

当所述SDR视频帧中的像素的饱和度小于或等于第一阈值时，将所述HDR数据的所述像素的饱和度乘以相应的权重。

20.如权利要求19所述的装置，其特征在于，数据调整模块被配置为：

通过将所述HDR数据中的每个像素的色度值与预先设置的饱和度变换表进行匹配来确定所述每个像素的饱和度的权重，

其中，所述饱和度变换表被配置为基于色度值确定饱和度的权重。

21.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器，

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至10中任一项所述的视频处理方法。

22.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至10中任一项所述的视频处理方法。