CN115567694A - 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 - Google Patents
视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115567694A CN115567694A CN202211404651.8A CN202211404651A CN115567694A CN 115567694 A CN115567694 A CN 115567694A CN 202211404651 A CN202211404651 A CN 202211404651A CN 115567694 A CN115567694 A CN 115567694A
- Authority
- CN
- China
- Prior art keywords
- video image
- value
- electric signal
- brightness
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 218
- 230000006870 function Effects 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 239000000047 product Substances 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000012769 display material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质，该方法通过编码端计算的信息损失量值，修正解码端动态生成的色调映射曲线，由于信息损失量值考虑了待显示的视频图像帧在终端设备显示时的色调损失量，故通过该信息损失量值修正后的色调映射曲线映射后的视频图像，可以减少因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
Description
技术领域
本发明涉及图像显示技术领域，具体涉及一种视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质。
背景技术
近十年来视频相关的软硬件技术发展迅猛。一方面，视频制作播放技术有了重大更新，视频开始从标准动态范围(SDR，standard Dynamic Range)视频全面向高动态范围(HDR，HighDynamicRange)视频迈进。另一方面，显示材料技术也有了重大进展，LCD(LiquidCrystal Display，
液晶显示器)、OLED(Organic Light Emitting Display，有机发光二极管显示器)全面占领各类终端产品。
但是，硬件的发展还是稍逊于软件技术的发展，目前主流的LCD、OLED显示设备的峰值亮度只能达到500nit，与HDR标准的上限亮度10000nit还有较大差距。为了能在现有硬件上呈现完美的HDR效果，现有技术发展出图像色调映射技术，该技术可以解决高动态与低动态之间的适配问题。
色调映射技术有两类：静态色调映射与动态色调映射。静态色调映射是指对某一视频序列来说映射曲线的形态是固定的，而动态色调映射则会根据视频场景以及终端设备的显示性能动态生成映射曲线。因此，一般来说动态色调映射的效果会显著优于静态色调映射。目前，国际主流的动态色调映射标准有ST2094-20、ST2094-40、T/UWA005.1-2022等。但是这些标准对应的映射曲线在大规模应用中仍然存在问题。在某些场景下，如整体明暗差别较大，并且暗部细节较为丰富的画面，经过这些色调映射曲线的处理，暗部细节在一定程度上会被抹平，从而导致画面信息的损失，视觉效果欠佳。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本发明提供一种视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质，以解决现有技术中动态色调映射曲线对待显示的视频图像进行映射时，存在画面信息损失，导致视觉效果欠佳的问题。
根据本发明实施例的第一方面，提供一种视频数据处理方法，适用于解码端，包括：
接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
获取终端设备的显示特征；
根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
根据本发明实施例的第二方面，提供一种视频数据处理方法，适用于编码端，包括：
对待发送的视频，计算每帧视频图像的亮度特征；
确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
对所述元数据及每帧视频图像进行编码，形成视频流；
将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
根据本发明实施例的第三方面，提供一种视频显示方法，适用于解码端，包括：
从编码端发送的视频流中提取出每帧视频图像的YUV电信号，并将所述YUV电信号转换为原始RGB电信号；
根据色调映射曲线，将所述原始RGB电信号转换为修正后的RGB电信号，所述映射曲线根据上述的视频数据处理方法生成；
根据预设的电光转换函数，将修正后的RGB电信号转换为RGB光信号在终端设备上进行显示。
根据本发明实施例的第四方面，提供一种视频数据处理装置，设置于解码端，包括：
解码模块，用于接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
获取模块，用于获取终端设备的显示特征；
生成模块，用于根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
修正模块，用于根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
根据本发明实施例的第五方面，提供一种视频数据处理装置，设置于编码端，包括：
计算模块，用于对待发送的视频，计算每帧视频图像的亮度特征；
还用于确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
读写模块，用于将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
编码模块，用于对所述元数据及每帧视频图像进行编码，形成视频流；
发送模块，用于将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
根据本发明实施例的第六方面，提供一种视频显示系统，包括：
设置在编码端的上述的视频数据处理装置，及，设置在解码端的上述的视频数据处理装置。
根据本发明实施例的第七方面，提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
根据本发明实施例的第八方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。
根据本发明实施例的第九方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
通过编码端计算的信息损失量值，修正解码端动态生成的色调映射曲线，由于信息损失量值考虑了待显示的视频图像帧在终端设备显示时的色调损失量，故通过该信息损失量值修正后的色调映射曲线映射后的视频图像，可以减少因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
另外，本发明提供的一种视频显示方法，由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种视频数据处理方法的流程图；
图2是根据一示例性实施例示出的一种S型映射曲线的示意图；
图3是根据另一示例性实施例示出的一种S型映射曲线的示意图；
图4是根据一示例性实施例示出的映射曲线的示意图；
图5是根据一示例性实施例示出的编码端发送的视频流的码流格式示意图；
图6是根据另一示例性实施例示出的一种视频数据处理方法的流程图；
图7是根据一示例性实施例示出的一种视频显示方法的流程图；
图8是根据一示例性实施例示出的一种视频数据处理装置的示意框图；
图9是根据另一示例性实施例示出的一种视频数据处理装置的示意框图；
图10是根据一示例性实施例示出的一种视频显示系统的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如背景技术所述，现有技术中直接使用动态色调映射曲线进行视频图像映射时，在某些场景下，如整体明暗差别较大，并且暗部细节较为丰富的画面，经过这些色调映射曲线的处理，暗部细节在一定程度上会被抹平，从而导致画面信息的损失，视觉效果欠佳。
为了解决这一技术问题，本发明提供了以下几个示例性实施例，需要说明的是：
1、本发明各实施例所提及的“最小屏幕亮度”是指终端设备未实施本发明提供的技术方案时，播放SDR视频时最小屏幕亮度；“最大屏幕亮度”是指终端设备未实施本发明提供的技术方案时，播放SDR视频时所能达到的最大屏幕亮度；“屏幕分辨率”是指终端设备出厂自带的屏幕分辨率。
2、本发明各实施例所提及的“预设的”是指被目前主流电视、显示器所接受的REC.709标准。
图1是根据一示例性实施例示出的一种视频数据处理方法的流程图，该方法适用于编码端，参见图1，该方法包括：
步骤S11、对待发送的视频，计算每帧视频图像的亮度特征；
步骤S12、确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
步骤S13、将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
步骤S14、对所述元数据及每帧视频图像进行编码，形成视频流；
步骤S15、将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
需要说明的是，本实施例提供的技术方案，适用于编码端，所述编码端为带有图像采集设备的终端设备，包括但不限于：手机、平板电脑、笔记本电脑、计算器及电话手表等，适用的场景包括但不限于：
1、编码端的SDR视频映射到解码端的CRT显示器进行显示；
2、编码端的SDR/HDR视频映射到解码端的LCD显示器进行显示；
3、编码端的SDR/HDR视频映射到解码端的OLED显示器进行显示；
4、编码端的SDR/HDR视频映射到解码端的minLED显示器进行显示。
可以理解的是，目前，SDR/HDR视频的播放技术离不开色调映射曲线，本实施例提供的技术方案，可自适应修正色调映射曲线，避免映射过程中细节信息的损失，从而保证SDR/HDR视频的播放效果。
在具体实践中，所述亮度特征至少包括亮度强度StrengthL、平均亮度AvergLuma、亮部区域和暗部区域的分界值RegionD，所述显示特征至少包括：最大屏幕亮度MaxDisplay、最小屏幕亮度MinDisplay及屏幕分辨率RES。
步骤S11中“对待发送的视频，计算每帧视频图像的亮度特征”，至少包括：
步骤1)计算每帧视频图像的亮度强度，包括：
计算每帧视频图像的亮度分量Y的直方图分布HistY，并确定所述直方图分布HistY的中灰值MildGray，包括：
1)将直方图分布HistY的中灰值取为固定值，例如，取MildGray＝118；
2)将所述直方图分布HistY中亮度最大值和亮度最小值两者乘积的平方根确定为所述直方图分布HistY的中灰值，例如，取
；
其中，maxY为直方图分布HistY中亮度最大值(即横轴上的坐标最大值)，minY为直方图分布HistY中亮度最小值(即横轴上的坐标最小值)。
计算所述直方图分布HistY中，亮度值i大于所述中灰值MildGray的像素点的期望，记为所述亮度强度StrengthL，具体为：
StrengthL＝∑i＞MildGrayHistY[i]*i/∑i＞MildGrayHistY[i]。
步骤2)计算每帧视频图像的平均亮度，包括：
根据预设的电光转换函数，将视频图像的电信号转换为光信号；
Luma[i]＝EOTF709(i/255)；i/255表示归一化后的电信号的像素值，Luma[i]表示转换为光信号后的像素值；函数EOTF709()表示REC.709标准规定的电光转换函数，具体为：
遍历所述光信号的所有亮度值，计算各亮度值Luma[i]与其对应在所述直方图分布HistY中的像素数量HistY[i]的乘积之和；
将所述乘积之和与终端设备的屏幕分辨率RES的比值，确定为所述平均亮度AvergLuma，具体为：
AvergLuma＝∑HistY[i]*Luma[i]/RES。
步骤3)计算每帧视频图像的亮部区域和暗部区域两者之间的分界值，包括：
计算所述直方图分布HistY中，亮度值i介于零和中灰值之间[0～MildGray]的像素点的期望，记为平均暗度MeanDark；
MeanDark＝∑i∈[0,MildGray]HistY[i]*i/∑i∈[0,MildGray]HistY[i]
计算平均暗度与中灰值的平均值，并将所述平均值确定为所述分界值RegionD，具体为：
步骤S12中“确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值”，包括：
步骤1)将每帧视频图像的YUV电信号转换为RGB电信号，包括：
根据如下的YUV电信号转换为RGB电信号的转换公式(1)，将YUV电信号转换成原始RGB信号：
根据如下的YUV电信号转换为RGB电信号的转换公式(2)，将YUV电信号转换成原始RGB信号：
步骤2)获取终端设备的显示特征的默认值，此处显示特征的默认值可以取最大屏幕亮度MaxDisplay的默认值：
对于HDR视频，该默认值预设为500nit；对于SDR视频，该默认值预设为300nit。
步骤3)根据所述亮度特征及显示特征的默认值，生成色调映射曲线，包括：
根据所述显示特征的默认值和当前视频图像帧归一化后的亮度特征，确定当前视频图像帧的亮度区域的S型映射曲线的函数表达式，及，当前视频图像帧的暗部区域的线性映射直线的函数表达式；
将所述线性映射直线及S型映射曲线组成的分段函数，确定为当前视频图像帧的色调映射曲线。
其中，所述根据所述显示特征和当前帧视频图像归一化后的亮度特征，确定当前帧视频图像的亮度区域的S型映射曲线的函数表达式，包括：
从预设的多条标准S型映射曲线中任选一条曲线；
根据预先生成的参数计算公式，计算该曲线的参数值，包括：
(1)参见图2(图2中横轴的1代表像素值255，横轴中的0.2代表像素值为0.2*255，以此类推；纵轴的1代表像素值255，纵轴中的0.1代表0.1*255，以此类推)，若选取的标准S型映射曲线的函数表达式为：
F(L)＝((mp*L)/((mp-1)*L+1))3.2+deltaM(3)，L表示原始RGB电信号归一化后的像素值，L＝i/255，F(L)表示修正后的RGB电信号归一化后的像素值；根据如下公式(4)求解参数mp的上限值：
根据如下公式(5)求解参数mp的具体值：
strengthL’表示归一化后的亮度强度，mpMax表示mp的上限值；
根据如下公式(6)更新参数mp的具体值：
根据如下公式(7)求解参数deltaM：
MinDisplay表示最小屏幕亮度的默认值，RegionD’表示归一化后的亮部区域和暗部区域的分界值，EOTF709()表示REC.709标准规定的电光转换函数。
参见图3(图3中横轴的1代表像素值255，横轴中的0.2代表像素值为0.2*255，以此类推；纵轴的1代表像素值255，纵轴中的0.1代表0.1*255，以此类推)，若选取的标准S型映射曲线的函数表达式为：
F(L)＝(3+deltaP)*L2*(1-L)2+p*L3*(1-L)+L4(8)，L表示原始RGB电信号归一化后的像素值，L＝i/255，F(L)表示修正后的RGB电信号归一化后的像素值；根据如下公式(9)求解参数p的上限值：
根据如下公式(10)求解参数p的具体值：
根据如下公式(11)更新参数p的具体值：
(11)，AvergLuma’表示归一化后的平均亮度；
根据如下公式(12)求解参数deltaP：
MinDisplay表示最小屏幕亮度的默认值，RegionD’表示归一化后的亮部区域和暗部区域的分界值，EOTF709()表示REC.709标准规定的电光转换函数。
在具体实践中，根据所述显示特征的默认值和当前视频图像帧归一化后的亮度特征，确定当前视频图像帧的暗部区域的线性映射直线的函数表达式，包括：
计算所述最大屏幕亮度MaxDisplay的默认值的倒数，与，预设固定常数(例如100)的乘积；
求所述乘积的预设次幂，例如，C0次幂，并将所得结果确定为所述线性映射直线的斜率的极限值SlopeLimit，所述预设次幂C0与所述最小屏幕亮度的默认值相关，具体为：
确定所述亮部S型映射曲线上，归一化后的分界值所对应的纵坐标，具体为：
将RegionD’代入上述公式(3)或公式(8)所得的数值F(RegionD’)。
将所述纵坐标与归一化后的分界值的比值F(RegionD’)/(RegionD’)确定为参考斜率。
比较所述斜率的极限值与参考斜率的大小，将两者的最小值确定为所述暗部线性映射直线的斜率Slope，具体为：
根据所述斜率，及，归一化后的所述分界值，确定当前帧视频图像的暗部区域的线性映射直线的函数表达式，具体为：
TM(L)＝Slope*L,L≤RegionD′。
参见图4(图4中横轴的1代表像素值255，横轴中的0.2代表像素值为0.2*255，以此类推；纵轴的1代表像素值255，纵轴中的0.1代表0.1*255，以此类推。图4中所示例的色调映射曲线在横坐标为0.2时出现拐点，在横坐标小于等于0.2时所对应的直线为暗部区域的线性映射直线，在横坐标大于0.2时所对应的曲线为亮部区域的S型映射曲线)，将所述线性映射直线及S型映射曲线组成的分段函数，确定为当前帧视频图像的色调映射曲线TM(L)，具体为：
步骤4)根据所述色调映射曲线，对所述YUV电信号及RGB电信号进行修正，包括：
根据所述色调映射曲线，将所述YUV电信号的亮度分量Y，映射为亮度分量Y’(具体地，查找图4中横坐标等于归一化的亮度分量Y/255的点所对应的纵坐标，该纵坐标*255，就为映射后的亮度分量Y’)；
根据所述色调映射曲线，将所述RGB电信号的红色分量R，映射为红色分量R’；将所述RGB电信号的绿色分量G，映射为绿色分量G’；将所述RGB电信号的蓝色分量B，映射为蓝色分量B’(具体地，查找图4中横坐标等于归一化的绿色分量G/255的点所对应的纵坐标，该纵坐标*255，就为映射后的绿色分量G’，其他红色分量R’、蓝色分量B’获取方法同绿色分量G’的获取方法，此处不再赘述)。
步骤5)根据修正前后的YUV电信号，计算亮度的信息熵损失值，包括：
分别计算亮度分量Y的直方图分布HistY的信息熵，及，亮度分量Y’的直方图分布HistYtm的信息熵；
将HistY的信息熵与HistYtm的信息熵两者的差值的绝对值，记为亮度的信息熵损失值。
步骤6)根据修正前后的RGB电信号，计算色度的信息熵损失值，包括：
分别计算红色分量R的直方图分布HistR的信息熵，及，红色分量R’的直方图分布HistRtm的信息熵，并将HistR的信息熵与HistRtm的信息熵两者的差值的绝对值记为红色分量R的信息熵损失值；
分别计算绿色分量G的直方图分布HistG的信息熵，及，绿色分量G’的直方图分布HistGtm的信息熵，并将HistG的信息熵与HistGtm的信息熵两者的差值的绝对值记为绿色分量G的信息熵损失值；
分别计算蓝色分量B的直方图分布HistB的信息熵，及，蓝色分量B’的直方图分布HistBtm的信息熵，并将HistB的信息熵与HistBtm的信息熵两者的差值的绝对值记为蓝色分量B的信息熵损失值；
将红色分量R的信息熵损失值、绿色分量G的信息熵损失值、蓝色分量B的信息熵损失值三者之和，记为色度的信息熵损失值。
步骤7)根据所述信息熵损失值，确定每帧视频图像的信息损失量值，包括：
对每帧视频图像，将该帧视频图像的亮度的信息熵损失值和色度的信息熵损失值求和，并将求和结果与预设损失系数(所述预设损失系数根据经验值或者实验数据设置，例如设置为0.1)
相乘，将乘积结果确定为该帧视频图像的信息损失量值。
上述步骤5)～7)可以用数学表达式表示为：
其中，deltaInfo表示信息损失量值；
步骤S13中“将所述亮度特征和信息损失量值写入每帧视频图像的元数据中”，具体为：
将亮度特征和信息损失量值转换为int16型整数，然后写入元数据中。
步骤S14中“对所述元数据及每帧视频图像进行编码，形成视频流”。
参见图5，图5给出了编码端发送的视频流的一个示例，在该段视频码流中，第一个码元SPS保存了视频图像编码后的全局参数；第二个码元PPS保存了整体图像相关的参数，PPS通常与SPS一起，保存在视频文件的文件头中；第三个码元IDR用于保存解码参数集合；第四个码元SLICE用于保存帧编码信息；第五个码元SEI用于保存视频码流的补充信息，即本实施例提及的元数据；......后续码元就是SLICE和SEI的重复了，不再赘述。
编码端计算出亮度特征后，写入到图5所示的第五个码元SEI中，然后后与其他码元中的数据一起编码为视频流。
可以理解的是，本实施例提供的技术方案，由于编码端的视频图像是未经压缩未被传输的无损视频图像，通过在编码端计算每帧视频图像的色调损失量预估值，可以保证最大化贴合每帧视频图像的真实状态，减少计算误差，为解码端修正色调映射曲线提供精准的数据支撑。同时，由于色调损失量预估值的计算步骤转移到了编码端，也减轻了解码端的计算压力，使得解码端能够更快地构建出动态色调映射曲线，更快地显示出色调无损的高质量视频图像画面。
图6是根据另一示例性实施例示出的一种视频数据处理方法的流程图，该方法适用于解码端，参见图6，该方法包括：
步骤S21、接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
步骤S22、获取终端设备的显示特征；
步骤S23、根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
步骤S24、根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
需要说明的是，本实施例提供的技术方案，适用于解码端中。所述解码端包括：电脑端(包括服务器)，和/或，移动终端(包括但不限于：智能手机、平板电脑、VR头盔、VR眼镜等)，适用的场景包括但不限于：
1、编码端的SDR视频映射到解码端的CRT显示器进行显示；
2、编码端的SDR/HDR视频映射到解码端的LCD显示器进行显示；
3、编码端的SDR/HDR视频映射到解码端的OLED显示器进行显示；
4、编码端的SDR/HDR视频映射到解码端的minLED显示器进行显示。
可以理解的是，目前，SDR/HDR视频的播放技术离不开色调映射曲线，本实施例提供的技术方案，可自适应修正色调映射曲线，避免映射过程中细节信息的损失，从而保证SDR/HDR视频的播放效果。
在具体实践中，所述亮度特征至少包括亮度强度StrengthL、平均亮度AvergLuma、亮部区域和暗部区域的分界值RegionD，所述显示特征至少包括：最大屏幕亮度MaxDisplay、最小屏幕亮度MinDisplay及屏幕分辨率RES。
步骤S23中“所述根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线”，包括：
根据所述显示特征和当前视频图像帧归一化后的亮度特征，确定当前视频图像帧的亮度区域的S型映射曲线的函数表达式，及，当前视频图像帧的暗部区域的线性映射直线的函数表达式；
将所述线性映射直线及S型映射曲线组成的分段函数，确定为当前视频图像帧的色调映射曲线。
需要说明的是，解码端色调映射曲线生成方法和编码端色调映射曲线生成方法相同，唯一不同的地方在于：编码端用的是终端设备的显示特征的默认值，而解码端用的是终端设备的显示特征的实际值，其他步骤皆相同，在此不再赘述。
步骤S24中“所述根据所述信息损失量值，对所述色调映射曲线进行修正”，包括：
步骤1)根据所述信息损失量值，对当前视频图像帧的暗部区域的线性映射直线的斜率进行修正，包括：
若所述最大屏幕亮度等于最大屏幕亮度的默认值，用所述信息损失量值补偿所述线性映射直线的斜率，将补偿后的斜率更新为当前视频图像帧的暗部区域的线性映射直线的斜率；
若所述最大屏幕亮度不等于最大屏幕亮度的默认值，根据所述最大屏幕亮度对所述信息损失量值进行调整(通过预设调整函数，对所述信息损失量值进行调整，所述预设调整函数是以所述信息损失量化值和最大屏幕亮度为自变量，调整后的信息损失量值为因变量的线性函数或非线性函数)，用调整后的信息损失量补偿所述线性映射直线的斜率，将补偿后的斜率更新为当前视频图像帧的暗部区域的线性映射直线的斜率。
如图5所示，若解码端接收到的视频流中的第一个码元SPS的VUI参数值等于16或18，解码端就默认当前接收到的视频流为HDR视频流，最大屏幕亮度的默认值为500；若解码端接收到的视频流中的第一个码元SPS的VUI参数值等于1或为空，解码端就默认当前接收到的视频流为SDR视频流，最大屏幕亮度的默认值为300。
若HDR视频下，MaxDisplay＝500；SDR视频下，MaxDisplay＝300，SlopeN＝Slope+deltaInfoN，其中，SlopeN为更新后的暗部区域的线性映射直线的斜率，Slope为更新前的暗部区域的线性映射直线的斜率，deltaInfoN为信息损失量值，deltaInfo＜1；
若HDR视频下，MaxDisplay≠500；SDR视频下，MaxDisplay≠300，SlopeN＝Slope+deltaInfoN’，其中，SlopeN为更新后的暗部区域的线性映射直线的斜率，Slope为更新前的暗部区域的线性映射直线的斜率，deltaInfoN’为调整后的信息损失量值；
F’()预设调整函数为预设调整函数，HDR视频下，Y＝500；SDR视频下，Y＝300。
步骤2)根据修正后的斜率，更新当前视频图像帧的亮部区域和暗部区域两者之间的分界值，包括：
在所述S型映射曲线上找到一个点，使该点与原点连线的斜率等于修正后的斜率，即满足：
F()为步骤S23中生成的色调映射曲线中的S型映射曲线的函数表达式；
将该点的横坐标RegionDnew更新为当前视频图像帧的亮部区域和暗部区域两者之间的分界值；
根据修正后的斜率SlopeN，及，更新后的亮部区域和暗部区域两者之间的分界值RegionDnew，更新所述线性映射直线的函数表达式，即：
TM(L)＝SlopeN*L,L≤RegionDnew，L表示原始RGB电信号归一化后的像素值，L＝i/255。
可以理解的是，本实施例提供的技术方案，通过编码端计算的信息损失量值，修正解码端动态生成的色调映射曲线，由于信息损失量值考虑了待显示的视频图像帧在终端设备显示时的色调损失量，故通过该信息损失量值修正后的色调映射曲线映射后的视频图像，可以减少因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
图7是根据一示例性实施例示出的一种视频显示方法的流程图，该方法适用于解码端，参见图7，该方法包括：
步骤S31、从编码端发送的视频流中提取出每帧视频图像的YUV电信号，并将所述YUV电信号转换为原始RGB电信号；
步骤S32、根据色调映射曲线，将所述原始RGB电信号转换为修正后的RGB电信号，所述映射曲线根据上述的视频数据处理方法生成；
步骤S33、根据预设的电光转换函数，将修正后的RGB电信号转换为RGB光信号在终端设备上进行显示。
需要说明的是，本实施例提供的技术方案，适用于解码端中。所述解码端包括：电脑端(包括服务器)，和/或，移动终端(包括但不限于：智能手机、平板电脑、VR头盔、VR眼镜等)，适用的场景包括但不限于：
1、编码端的SDR视频映射到解码端的CRT显示器进行显示；
2、编码端的SDR/HDR视频映射到解码端的LCD显示器进行显示；
3、编码端的SDR/HDR视频映射到解码端的OLED显示器进行显示；
4、编码端的SDR/HDR视频映射到解码端的minLED显示器进行显示。
可以理解的是，目前，SDR/HDR视频的播放技术离不开色调映射曲线，本实施例提供的技术方案，可自适应修正色调映射曲线，避免映射过程中细节信息的损失，从而保证SDR/HDR视频的播放效果。
可以理解的是，本实施例提供的技术方案，由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
图8是根据一示例性实施例示出的一种视频数据处理装置100的示意框图，如图8所示，该装置100设置于编码端，该装置100包括：
计算模块101，用于对待发送的视频，计算每帧视频图像的亮度特征；
还用于确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
读写模块102，用于将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
编码模块103，用于对所述元数据及每帧视频图像进行编码，形成视频流；
发送模块104，用于将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
需要说明的是，本实施例提供的技术方案，适用于编码端，所述编码端为带有图像采集设备的终端设备，包括但不限于：手机、平板电脑、笔记本电脑、计算器及电话手表等，适用的场景包括但不限于：
1、编码端的SDR视频映射到解码端的CRT显示器进行显示；
2、编码端的SDR/HDR视频映射到解码端的LCD显示器进行显示；
3、编码端的SDR/HDR视频映射到解码端的OLED显示器进行显示；
4、编码端的SDR/HDR视频映射到解码端的minLED显示器进行显示。
可以理解的是，目前，SDR/HDR视频的播放技术离不开色调映射曲线，本实施例提供的技术方案，可自适应修正色调映射曲线，避免映射过程中细节信息的损失，从而保证SDR/HDR视频的播放效果。
可以理解的是，本实施例提供的技术方案，由于编码端的视频图像是未经压缩未被传输的无损视频图像，通过在编码端计算每帧视频图像的色调损失量预估值，可以保证最大化贴合每帧视频图像的真实状态，减少计算误差，为解码端修正色调映射曲线提供精准的数据支撑。同时，由于色调损失量预估值的计算步骤转移到了编码端，也减轻了解码端的计算压力，使得解码端能够更快地构建出动态色调映射曲线，更快地显示出色调无损的高质量视频图像画面。
图9是根据一示例性实施例示出的一种视频数据处理装置200的示意框图，如图9所示，该装置200设置于解码端，该装置200包括：
解码模块201，用于接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
获取模块202，用于获取终端设备的显示特征；
生成模块203，用于根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
修正模块204，用于根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
需要说明的是，本实施例提供的技术方案，适用于解码端中。所述解码端包括：电脑端(包括服务器)，和/或，移动终端(包括但不限于：智能手机、平板电脑、VR头盔、VR眼镜等)，适用的场景包括但不限于：
1、编码端的SDR视频映射到解码端的CRT显示器进行显示；
2、编码端的SDR/HDR视频映射到解码端的LCD显示器进行显示；
3、编码端的SDR/HDR视频映射到解码端的OLED显示器进行显示；
4、编码端的SDR/HDR视频映射到解码端的minLED显示器进行显示。
可以理解的是，目前，SDR/HDR视频的播放技术离不开色调映射曲线，本实施例提供的技术方案，可自适应修正色调映射曲线，避免映射过程中细节信息的损失，从而保证SDR/HDR视频的播放效果。
可以理解的是，本实施例提供的技术方案，由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
图10是根据一示例性实施例示出的一种端到端视频显示系统300的示意框图，如图10所示，该系统300包括：
设置在编码端301的上述的视频数据处理装置，及，
设置在解码端302的上述的视频数据处理装置。
可以理解的是，本实施例提供的技术方案，由于编码端的视频图像是未经压缩未被传输的无损视频图像，通过在编码端计算每帧视频图像的色调损失量预估值，可以保证最大化贴合每帧视频图像的真实状态，减少计算误差，为解码端修正色调映射曲线提供精准的数据支撑。同时，由于色调损失量预估值的计算步骤转移到了编码端，也减轻了解码端的计算压力，使得解码端能够更快地构建出动态色调映射曲线，更快地显示出色调无损的高质量视频图像画面。
解码端由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
根据一示例性实施例示出的一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
需要说明的是，电子设备包括但不限于：智能终端(例如，手机、平板电脑、智能手表等)和计算机设备。
所述处理器包括但不限于：CPU、单片机、PLC控制器、FPGA控制器等。
所述存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器；还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
可以理解的是，本实施例提供的技术方案，由于编码端的视频图像是未经压缩未被传输的无损视频图像，通过在编码端计算每帧视频图像的色调损失量预估值，可以保证最大化贴合每帧视频图像的真实状态，减少计算误差，为解码端修正色调映射曲线提供精准的数据支撑。同时，由于色调损失量预估值的计算步骤转移到了编码端，也减轻了解码端的计算压力，使得解码端能够更快地构建出动态色调映射曲线，更快地显示出色调无损的高质量视频图像画面。
解码端由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
根据一示例性实施例示出的一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。
根据一示例性实施例示出的一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以理解的是，本实施例提供的技术方案，由于编码端的视频图像是未经压缩未被传输的无损视频图像，通过在编码端计算每帧视频图像的色调损失量预估值，可以保证最大化贴合每帧视频图像的真实状态，减少计算误差，为解码端修正色调映射曲线提供精准的数据支撑。同时，由于色调损失量预估值的计算步骤转移到了编码端，也减轻了解码端的计算压力，使得解码端能够更快地构建出动态色调映射曲线，更快地显示出色调无损的高质量视频图像画面。
解码端由于是通过修正后的色调映射曲线对原始RGB电信号进行色调修正，而该色调映射曲线在生成时兼顾了待显示的视频图像帧在终端设备显示时的色调损失量，所以再通过预设的电光转换函数将修正后的RGB电信号转换为光信号后，转换后的光信号可以适配于终端设备的显示特征，减少了因视频图像帧的上限亮度与终端设备的峰值亮度不匹配，造成的视频图像帧在终端设备显示时存在画面信息损失，导致视觉效果欠佳的问题。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (20)
1.一种视频数据处理方法，适用于解码端，其特征在于，包括：
接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
获取终端设备的显示特征；
根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
2.根据权利要求1所述的方法，其特征在于，所述根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线，包括：
根据所述显示特征和当前视频图像帧归一化后的亮度特征，确定当前视频图像帧的亮度区域的S型映射曲线的函数表达式，及，当前视频图像帧的暗部区域的线性映射直线的函数表达式；
将所述线性映射直线及S型映射曲线组成的分段函数，确定为当前视频图像帧的色调映射曲线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述信息损失量值，对所述色调映射曲线进行修正，包括：
根据所述信息损失量值，对当前视频图像帧的暗部区域的线性映射直线的斜率进行修正；
根据修正后的斜率，更新当前视频图像帧的亮部区域和暗部区域两者之间的分界值。
4.根据权利要求3所述的方法，其特征在于，所述显示特征包括：终端设备的最大屏幕亮度，所述根据所述信息损失量值，对当前视频图像帧的暗部区域的线性映射直线的斜率进行修正，包括：
若所述最大屏幕亮度等于最大屏幕亮度的默认值，用所述信息损失量值补偿所述线性映射直线的斜率，将补偿后的斜率更新为当前视频图像帧的暗部区域的线性映射直线的斜率；
若所述最大屏幕亮度不等于最大屏幕亮度的默认值，根据所述最大屏幕亮度对所述信息损失量值进行调整，用调整后的信息损失量补偿所述线性映射直线的斜率，将补偿后的斜率更新为当前视频图像帧的暗部区域的线性映射直线的斜率。
5.根据权利要求3所述的方法，其特征在于，所述根据修正后的斜率，更新当前视频图像帧的亮部区域和暗部区域两者之间的分界值，包括：
在所述S型映射曲线上找到一个点，使该点与原点连线的斜率等于修正后的斜率；
将该点的横坐标更新为当前视频图像帧的亮部区域和暗部区域两者之间的分界值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述最大屏幕亮度对所述信息损失量值进行调整，具体为：
通过预设调整函数，对所述信息损失量值进行调整，所述预设调整函数是以所述信息损失量化值和最大屏幕亮度为自变量，调整后的信息损失量值为因变量的线性函数或非线性函数。
7.一种视频数据处理方法，适用于编码端，其特征在于，包括：
对待发送的视频，计算每帧视频图像的亮度特征；
确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
对所述元数据及每帧视频图像进行编码，形成视频流；
将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
8.根据权利要求7所述的方法，其特征在于，所述确定每帧视频图像的信息损失量值，包括：
将每帧视频图像的YUV电信号转换为RGB电信号；
获取终端设备的显示特征的默认值；
根据所述亮度特征及显示特征的默认值，生成色调映射曲线；
根据所述色调映射曲线，对所述YUV电信号及RGB电信号进行修正；
根据修正前后的YUV电信号，计算亮度的信息熵损失值；
根据修正前后的RGB电信号，计算色度的信息熵损失值；
根据所述信息熵损失值，确定每帧视频图像的信息损失量值。
9.根据权利要求8所述的方法，其特征在于，所述根据所述亮度特征及显示特征的默认值，生成色调映射曲线，包括：
根据所述显示特征的默认值和当前视频图像帧归一化后的亮度特征，确定当前视频图像帧的亮度区域的S型映射曲线的函数表达式，及，当前视频图像帧的暗部区域的线性映射直线的函数表达式；
将所述线性映射直线及S型映射曲线组成的分段函数，确定为当前视频图像帧的色调映射曲线。
10.根据权利要求8所述的方法，其特征在于，所述根据所述色调映射曲线，对所述YUV电信号及RGB电信号进行修正，包括：
根据所述色调映射曲线，将所述YUV电信号的亮度分量Y，映射为亮度分量Y’；
根据所述色调映射曲线，将所述RGB电信号的红色分量R，映射为红色分量R’；将所述RGB电信号的绿色分量G，映射为绿色分量G’；将所述RGB电信号的蓝色分量B，映射为蓝色分量B’。
11.根据权利要求10所述的方法，其特征在于，所述根据修正前后的YUV电信号，计算亮度的信息熵损失值，包括：
分别计算亮度分量Y的直方图分布HistY的信息熵，及，亮度分量Y’的直方图分布HistYtm的信息熵；
将HistY的信息熵与HistYtm的信息熵两者的差值的绝对值，记为亮度的信息熵损失值。
12.根据权利要求10所述的方法，其特征在于，所述根据修正前后的RGB电信号，计算色度的信息熵损失值，包括：
分别计算红色分量R的直方图分布HistR的信息熵，及，红色分量R’的直方图分布HistRtm的信息熵，并将HistR的信息熵与HistRtm的信息熵两者的差值的绝对值记为红色分量R的信息熵损失值；
分别计算绿色分量G的直方图分布HistG的信息熵，及，绿色分量G’的直方图分布HistGtm的信息熵，并将HistG的信息熵与HistGtm的信息熵两者的差值的绝对值记为绿色分量G的信息熵损失值；
分别计算蓝色分量B的直方图分布HistB的信息熵，及，蓝色分量B’的直方图分布HistBtm的信息熵，并将HistB的信息熵与HistBtm的信息熵两者的差值的绝对值记为蓝色分量B的信息熵损失值；
将红色分量R的信息熵损失值、绿色分量G的信息熵损失值、蓝色分量B的信息熵损失值三者之和，记为色度的信息熵损失值。
13.根据权利要求8所述的方法，其特征在于，所述根据所述信息熵损失值，确定每帧视频图像的信息损失量值，包括：
对每帧视频图像，将该帧视频图像的亮度的信息熵损失值和色度的信息熵损失值求和，并将求和结果与预设损失系数相乘，将乘积结果确定为该帧视频图像的信息损失量值。
14.一种视频显示方法，适用于解码端，其特征在于，包括：
从编码端发送的视频流中提取出每帧视频图像的YUV电信号，并将所述YUV电信号转换为原始RGB电信号；
根据色调映射曲线，将所述原始RGB电信号转换为修正后的RGB电信号，所述映射曲线根据权利要求1～13任一项所述的视频数据处理方法生成；
根据预设的电光转换函数，将修正后的RGB电信号转换为RGB光信号在终端设备上进行显示。
15.一种视频数据处理装置，设置于解码端，其特征在于，包括：
解码模块，用于接收编码端发送的视频流，并从所述视频流中解码出视频图像帧，及每帧视频图像的亮度特征和信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
获取模块，用于获取终端设备的显示特征；
生成模块，用于根据所述亮度特征及显示特征，生成当前视频图像帧的色调映射曲线；
修正模块，用于根据所述信息损失量值，对所述色调映射曲线进行修正，得到修正后的色调映射曲线，所述修正后的色映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
16.一种视频数据处理装置，设置于编码端，其特征在于，包括：
计算模块，用于对待发送的视频，计算每帧视频图像的亮度特征；
还用于确定每帧视频图像的信息损失量值，所述信息损失量值为视频图像帧在终端设备显示时的色调损失量预估值；
读写模块，用于将所述亮度特征和信息损失量值写入每帧视频图像的元数据中；
编码模块，用于对所述元数据及每帧视频图像进行编码，形成视频流；
发送模块，用于将所述视频流发送给解码端，以使所述解码端根据所述亮度特征及色调损失量预估值，修正当前视频图像帧的色调映射曲线，修正后的色调映射曲线用于表征原始RGB电信号与修正后的RGB电信号之间的映射关系；所述原始RGB电信号为待显示的视频图像帧的YUV电信号转换得到的RGB电信号，所述修正后的RGB电信号为适配于终端设备的显示特征的RGB电信号。
17.一种端到端视频显示系统，其特征在于，包括：
设置在编码端的如权利要求15所述的视频数据处理装置，及，设置在解码端的如权利要求16所述的视频数据处理装置。
18.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～14中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1～14中任一项所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1～14中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211404651.8A CN115567694A (zh) | 2022-11-10 | 2022-11-10 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
| PCT/CN2023/130712 WO2024099388A1 (zh) | 2022-11-10 | 2023-11-09 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211404651.8A CN115567694A (zh) | 2022-11-10 | 2022-11-10 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115567694A true CN115567694A (zh) | 2023-01-03 |
Family
ID=84770468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211404651.8A Pending CN115567694A (zh) | 2022-11-10 | 2022-11-10 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115567694A (zh) |
| WO (1) | WO2024099388A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024099388A1 (zh) * | 2022-11-10 | 2024-05-16 | 北京奇艺世纪科技有限公司 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102711913B1 (ko) * | 2015-08-28 | 2024-09-27 | 앤드류 와이어리스 시스템스 유케이 리미티드 | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 |
| KR20170033471A (ko) * | 2015-09-16 | 2017-03-27 | 광운대학교 산학협력단 | Hdr과 sdr 출력 영상을 복호화하기 위한 톤매핑 관련 부가 정보의 전송 방법 및 장치 |
| CN112449169B (zh) * | 2021-01-28 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 色调映射的方法和装置 |
| CN113099201B (zh) * | 2021-03-30 | 2022-12-02 | 北京奇艺世纪科技有限公司 | 视频信号处理方法、装置及电子设备 |
| CN115567694A (zh) * | 2022-11-10 | 2023-01-03 | 北京奇艺世纪科技有限公司 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
-
2022
- 2022-11-10 CN CN202211404651.8A patent/CN115567694A/zh active Pending
-
2023
- 2023-11-09 WO PCT/CN2023/130712 patent/WO2024099388A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024099388A1 (zh) * | 2022-11-10 | 2024-05-16 | 北京奇艺世纪科技有限公司 | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024099388A1 (zh) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7568182B2 (ja) | 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法 | |
| CN108141508B (zh) | 一种成像装置及在其显示面板前面产生光的方法 | |
| KR102358368B1 (ko) | 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스 | |
| KR102523233B1 (ko) | 컬러 픽처를 디코딩하는 방법 및 디바이스 | |
| KR102509504B1 (ko) | 코딩 및 디코딩 방법과 대응하는 디바이스 | |
| JP2018525883A (ja) | カラー・ピクチャを符号化および復号する方法およびデバイス | |
| JP2018507619A (ja) | カラー・ピクチャを符号化および復号する方法および装置 | |
| JP2014519221A (ja) | 映像符号化信号を発生する方法及び装置 | |
| CN115643385A (zh) | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 | |
| US11006152B2 (en) | Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream | |
| WO2024099388A1 (zh) | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 | |
| CN115801969A (zh) | 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质 | |
| CN114467298B (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
| CN115761015A (zh) | 色调映射方法、装置及相关设备 | |
| CN111434113A (zh) | 用于高动态范围重建的饱和控制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |