CN112261442A - 一种用于视频hdr与sdr实时转码的方法及系统 - Google Patents
一种用于视频hdr与sdr实时转码的方法及系统 Download PDFInfo
- Publication number
- CN112261442A CN112261442A CN202011119224.6A CN202011119224A CN112261442A CN 112261442 A CN112261442 A CN 112261442A CN 202011119224 A CN202011119224 A CN 202011119224A CN 112261442 A CN112261442 A CN 112261442A
- Authority
- CN
- China
- Prior art keywords
- video
- hdr
- rgb
- sdr
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000004806 packaging method and process Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims description 80
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000010606 normalization Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 9
- 238000005538 encapsulation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013467 fragmentation Methods 0.000 claims description 3
- 238000006062 fragmentation reaction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 241000023320 Luma <angiosperm> Species 0.000 claims 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及视频转码的技术领域，提供了一种用于视频HDR与SDR实时转码的方法及系统，其方法包括：S1：接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；S2：视频解码模块将所述视频码流解码为YUV数据，进而通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据；S3：将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流，后对编码后的所述视频码流进行封装后输出。能够在保留源视频色彩的同时进行4K HDR与SDR的实时相互转换。
Description
技术领域
本发明涉及视频转码的技术领域，尤其涉及对4K HDR、SDR视频实时互转的技术领域，具体涉及一种用于视频HDR与SDR实时转码的方法及系统。
背景技术
当前市面的播放终端中部分解码芯片及显示设备相对老旧，只能播放低动态范围的4K SDR的视频，不能支持4K HDR高动态范围视频的播放。当将4K HDR视频直接在不支持4K HDR的播放终端上进行播放时，不能保留图像原有的图像细节和颜色明暗等，图像质量明显降低。
另外，对于支持4K HDR视频的播放终端，需要使用4K HDR视频进行播放时，由于目前4K HDR视频资源也相对缺乏，制作4K HDR视频需要耗费大量的时间。
终上所述，在现有技术中存在以下问题：
视频分别HDR与SDR两种类型，对于不支持HDR视频播放的播放终端，当强行播放HDR视频时，不能保留原有的图像细节和颜色明暗等，图像质量降低，对于支持HDR视频的播放终端，由于目前HDR的视频资源太少，制作HDR视频需要耗费大量的时间，导致HDR视频播放终端不能很好的发挥出自己的优势。
发明内容
针对上述问题，本发明的目的在于提供一种用于视频HDR与SDR实时转码的方法及系统，在保留源视频色彩信息的同时，进行4K HDR与SDR的实时相互转换。
本发明的上述发明目的是通过以下技术方案得以实现的：
一种用于视频HDR与SDR实时转码的方法，包括以下步骤：
S1：接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；
S2：视频解码模块将所述视频码流解码为YUV数据，进而通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据；
S3：将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流，后对编码后的所述视频码流进行封装后输出。
进一步地，在步骤S2中，通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据，具体为：
S21：将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换；
S22：对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据；
S23：使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据；
S24：对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据；
S25：对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
进一步地，在步骤S1中，还包括：
通过所述解封装模块，解封装出音频码流；
将所述音频码流进一步解码为PCM数据，将所述PCM数据发送给音频编码模块进行编码，形成编码后的所述音频码流，与编码后的所述视频码流共同封装后输出。
进一步地，在步骤S23中，使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据时，还包括：对易发生过曝现象的高亮度视频块进行处理，具体为：
使用分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象。
进一步地，使用分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象，具体的可通过以下公式进行运算：
y＝X*l(x)*f(x)；
其中，y为处理后的RGB值，X为调色之前的RGB值，l(x)为x值对应的亮度，即原始YUV使用转换矩阵转RGB之前的Y分量值，f(x)为对x调整的分段函数，对于x小于0.72的值不做处理，对于x大于等于0.72小于等于1的值做缩小处理即用原始值x减去以10为底x/0.72的对数除以0.4327。
进一步地，本发明的方法，还包括：采用图像分片处理的方式实现视频转码，具体为：
获取用于转码的机器的CPU总数N，将CPU进行划分，将N1数量的CPU用于调色处理，将N-N1数量的CPU用于包括解封装、视频解码、音频解码、视频编码、音频编码、封装在内的处理；
对于调色处理模块，创建包含N1个线程的线程池，将每一个线程绑定到一个CPU中，进而将原始的一帧图像分成N1片，放到线程池中并行处理，待所有的分片处理完成后，转换完成的视频帧送入视频编码模块进行编码，调色处理模块继续处理下一帧图像。
一种执行上述的用于视频HDR与SDR实时转码的方法对应的用于视频HDR与SDR实时转码的系统，其特征在于，包括：
解封装模块，用于接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；
解码模块，用于将所述视频码流解码为YUV数据；
调色处理模块，用于通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据
编码模块，用于将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流；
封装模块，用于对编码后的所述视频码流进行封装后输出。
进一步地，所述调色处理模块，还包括：
YUV到RGB矩阵转换模块，用于将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换；
归一化处理模块，用于对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据；
文件调色模块，用于使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据；
反归一化处理模块，用于对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据；
RGB到YUV矩阵转换模块，用于对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述的用于视频HDR与SDR实时转码的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的用于视频HDR与SDR实时转码的方法。
与现有技术相比，本发明包括以下至少一种有益效果是：
(1)通过提供一种用于视频HDR与SDR实时转码的方法，具体包括步骤：S1：接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；S2：视频解码模块将所述视频码流解码为YUV数据，进而通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据；S3：将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流，后对编码后的所述视频码流进行封装后输出。上述技术分案实现了在保留源视频色彩信息的同时，HDR与SDR能够进行实时的相互的转换。包括HDR与SDR在内的任意一种视频，通过本发明的方法进行转换后，能够在任何一种视频播放终端上进行播放。同时对于HDR的播放设备，通过本发明的方法，很简单的就可以获取到HDR高清的视频，弥补了市场上制作HDR视频需要耗费大量的时间，导致HDR视频播放终端不能很好的发挥出自己的优势的技术问题。
(2)通过分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象。
(3)通过采用图像分片处理的方式实现视频的转码，提高了转码的速度，大大提高了转码性能。
附图说明
图1为本发明一种用于视频HDR与SDR实时转码的方法的整体流程图；
图2为本发明对YUV数据进行处理的流程图；
图3为本发明采用图片分片处理的方式实现视频转码的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
传统转码引擎的流程为：输入视频流解封装、解码、图像处理、编码、封装为输出视频流，循环重复此过程，直至任务结束。
本发明在传统转码流程的基础上，设计了一种4K HDR与4K SDR实时转码的方法，在转码引擎接收到输入视频流或者文件后，解封装并解码为YUV数据，并将该YUV数据转换为RGB数据，经过LUT3D调色转出调色后的RGB数据，然后将该调色后的RGB数据转出YUV数据，转出的YUV数据送给编码器进行编码，编码器编码完成后封装成视频流或文件供用户观看。
采用本发明的方法之后，可以实现实施转码4K超高清HDR、SDR视频，使用户在不同的播放设备上实时观看和源视频色彩、亮度一致的视频。
第一实施例
如图1所示，本实施例提供了一种用于视频HDR与SDR实时转码的方法，包括以下步骤：
S1：接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流。
具体地，与传统的方式一样，对输入的任何一种视频流或文件，进行解封装，解封出视频码流和音频码流。
S2：视频解码模块将所述视频码流解码为YUV数据，进而通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据。
进一步地，如图2所示，在步骤S2中，通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据，具体为：
S21：将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
S22：对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据。
S23：使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据。
S24：对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据。
S25：对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
需要说明的是，对于转换矩阵也有Full Range和Limit Range之分，需要根据需要使用对应的转换矩阵，以免影响转换后的色彩。
S3：将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流，后对编码后的所述视频码流进行封装后输出。
进一步，在步骤S1中，还包括：
通过所述解封装模块，解封装出音频码流；
将所述音频码流进一步解码为PCM数据，将所述PCM数据发送给音频编码模块进行编码，形成编码后的所述音频码流，与编码后的所述视频码流共同封装后输出。
进一步地，在步骤S23中，使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据时，还包括：对易发生过曝现象的高亮度视频块进行处理，具体为：
使用分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象，具体的可通过以下公式进行运算：
y＝X*l(x)*f(x)；
其中，y为处理后的RGB值，X为调色之前的RGB值，l(x)为x值对应的亮度，即原始YUV使用转换矩阵转RGB之前的Y分量值，f(x)为对x调整的分段函数，对于x小于0.72的值不做处理，对于x大于等于0.72小于等于1的值做缩小处理即用原始值x减去以10为底x/0.72的对数除以0.4327。
使用上述方法可减小高亮度区域的亮度，避免出现过曝现象。需要说明的是，以上公式中列举的数字，仅是一种优选的方案，可以根据实际的情况对数值进行调整，调整到最优的亮度。
进一步地，如图3所示，为了加快转码的速度，提高转码效率，本实例还采用图像分片处理的方式实现视频转码，具体为：
获取用于转码的机器的CPU总数N，将CPU进行划分，将N1数量的CPU用于调色处理，将N-N1数量的CPU用于包括解封装、视频解码、音频解码、视频编码、音频编码、封装在内的处理；
对于调色处理模块，创建包含N1个线程的线程池，将每一个线程绑定到一个CPU中，进而将原始的一帧图像分成N1片，放到线程池中并行处理，待所有的分片处理完成后，转换完成的视频帧送入视频编码模块进行编码，调色处理模块继续处理下一帧图像。
经实验证明，原始FFmpeg处理4K HDR与4K SDR互转的倍速为0.08，使用此方案可达到1倍速，性能是原始FFmpeg流程的12.5倍，大大提升了转码性能。对于解封装、视频解码、音频解码、视频编码、音频编码、封装模块内部未做优化，只是将这些模块通过设置CPU亲和性绑定到剩余的N-N1个CPU，目的是与LUT3D调色处理模块使用不同的CPU分别处理，以免相互竞争CPU资源，相互影响性能。
第二实施例
本实施例提供了一种执行第一实施例中的用于视频HDR与SDR实时转码的方法对应的用于视频HDR与SDR实时转码的系统，包括：
解封装模块1，用于接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；
解码模块2，用于将所述视频码流解码为YUV数据；
调色处理模块3，用于通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据
编码模块4，用于将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流；
封装模块5，用于对编码后的所述视频码流进行封装后输出。
进一步地，所述调色处理模块3，还包括：
YUV到RGB矩阵转换模块31，用于将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换；
归一化处理模块32，用于对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据；
文件调色模块33，用于使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据；
反归一化处理模块34，用于对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据；
RGB到YUV矩阵转换模块35，用于对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种用于视频HDR与SDR实时转码的方法，其特征在于，包括以下步骤：
S1：接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；
S2：视频解码模块将所述视频码流解码为YUV数据，进而通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据；
S3：将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流，后对编码后的所述视频码流进行封装后输出。
2.根据权利要求1所述的用于视频HDR与SDR实时转码的方法，其特征在于，在步骤S2中，通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据，具体为：
S21：将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换；
S22：对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据；
S23：使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据；
S24：对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据；
S25：对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
3.根据权利要求1所述的用于视频HDR与SDR实时转码的方法，其特征在于，在步骤S1中，还包括：
通过所述解封装模块，解封装出音频码流；
将所述音频码流进一步解码为PCM数据，将所述PCM数据发送给音频编码模块进行编码，形成编码后的所述音频码流，与编码后的所述视频码流共同封装后输出。
4.根据权利要求2所述的用于视频HDR与SDR实时转码的方法，其特征在于，在步骤S23中，使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据时，还包括：对易发生过曝现象的高亮度视频块进行处理，具体为：
使用分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象。
5.根据权利要求4所述的用于视频HDR与SDR实时转码的方法，其特征在于，使用分段函数，对原始的所述RGB数据对应的RGB值的亮度大于预设阀值的数据做亮度缩小处理，减小高亮度区域的亮度，避免发生过曝现象，具体的可通过以下公式进行运算：
y＝X*l(x)*f(x)；
其中，y为处理后的RGB值，X为调色之前的RGB值，l(x)为x值对应的亮度，即原始YUV使用转换矩阵转RGB之前的Y分量值，f(x)为对x调整的分段函数，对于x小于0.72的值不做处理，对于x大于等于0.72小于等于1的值做缩小处理即用原始值x减去以10为底x/0.72的对数除以0.4327。
6.根据权利要求1所述的用于视频HDR与SDR实时转码的方法，其特征在于，还包括：采用图像分片处理的方式实现视频转码，具体为：
获取用于转码的机器的CPU总数N，将CPU进行划分，将N1数量的CPU用于调色处理，将N-N1数量的CPU用于包括解封装、视频解码、音频解码、视频编码、音频编码、封装在内的处理；
对于调色处理模块，创建包含N1个线程的线程池，将每一个线程绑定到一个CPU中，进而将原始的一帧图像分成N1片，放到线程池中并行处理，待所有的分片处理完成后，转换完成的视频帧送入视频编码模块进行编码，调色处理模块继续处理下一帧图像。
7.一种执行如权利要求1-6所述的用于视频HDR与SDR实时转码的方法对应的用于视频HDR与SDR实时转码的系统，其特征在于，包括：
解封装模块，用于接收输入的包括HDR或SDR在内的任意一种源视频流或文件，经过解封装模块对源视频流或文件进行解封装，解封出视频码流；
解码模块，用于将所述视频码流解码为YUV数据；
调色处理模块，用于通过调色处理模块对所述YUV数据进行处理，转出为包括SDR或HDR在内的任意一种经调色处理后的所述YUV数据
编码模块，用于将所述处理后的所述YUV数据进行编码，形成编码后的所述视频码流；
封装模块，用于对编码后的所述视频码流进行封装后输出。
8.根据权利要求7所述的用于视频HDR与SDR实时转码的系统，其特征在于，所述调色处理模块，还包括：
YUV到RGB矩阵转换模块，用于将接收到的所述YUV数据通过YUV转RGB的转换矩阵，转出对应的RGB数据，其中，所述YUV转RGB的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换；
归一化处理模块，用于对所述RGB数据进行归一化处理，归一化为[0,1]的对应的归一化后的所述RGB数据；
文件调色模块，用于使用调色文件对归一化后的所述RGB数据进行调色，形成调色后的所述RGB数据；
反归一化处理模块，用于对调色后的所述RGB数据进行反归一化处理，形成反归一化后的所述RGB数据；
RGB到YUV矩阵转换模块，用于对反归一化后的所述RGB数据，通过RGB转YUV的转换矩阵，输出对应的经调色处理后的所述YUV数据，其中，所述RGB转YUV的转换矩阵，包括针对于HDR的输入源视频的BT2020色域转换矩阵以及针对于SDR的输入源视频的BT709色域转换矩阵在内的任意一种转换矩阵，针对于不同类型的源视频选择对应的转换矩阵进行转换。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至6中任一项所述的用于视频HDR与SDR实时转码的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的用于视频HDR与SDR实时转码的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119224.6A CN112261442B (zh) | 2020-10-19 | 2020-10-19 | 一种用于视频hdr与sdr实时转码的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119224.6A CN112261442B (zh) | 2020-10-19 | 2020-10-19 | 一种用于视频hdr与sdr实时转码的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112261442A true CN112261442A (zh) | 2021-01-22 |
| CN112261442B CN112261442B (zh) | 2022-11-11 |
Family
ID=74243871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011119224.6A Active CN112261442B (zh) | 2020-10-19 | 2020-10-19 | 一种用于视频hdr与sdr实时转码的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112261442B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095733A (zh) * | 2021-08-23 | 2022-02-25 | 镕铭微电子(济南)有限公司 | 视频转码中元数据的处理方法、视频转码设备及电子设备 |
| CN114222187A (zh) * | 2021-08-12 | 2022-03-22 | 荣耀终端有限公司 | 视频编辑方法和电子设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104811747A (zh) * | 2015-04-27 | 2015-07-29 | 无锡天脉聚源传媒科技有限公司 | 一种视频转码方法及装置 |
| CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
| CN107154059A (zh) * | 2017-06-26 | 2017-09-12 | 杭州当虹科技有限公司 | 一种高动态范围视频处理方法 |
| CN107439013A (zh) * | 2015-04-17 | 2017-12-05 | 高通股份有限公司 | 用于高动态范围和宽色域视频译码的动态范围调整 |
| CN107852511A (zh) * | 2015-07-16 | 2018-03-27 | 杜比实验室特许公司 | 用于hdr和宽色域信号的信号整形和编码 |
| CN108337516A (zh) * | 2018-01-31 | 2018-07-27 | 宁波大学 | 一种面向多用户的hdr视频动态范围可分级编码方法 |
| US20180242006A1 (en) * | 2015-07-28 | 2018-08-23 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
| EP3367684A1 (en) * | 2017-02-24 | 2018-08-29 | Thomson Licensing | Method and device for decoding a high-dynamic range image |
| CN108769804A (zh) * | 2018-04-25 | 2018-11-06 | 杭州当虹科技股份有限公司 | 一种高动态范围视频的格式转换方法 |
| CN109274985A (zh) * | 2018-10-12 | 2019-01-25 | 腾讯科技（深圳）有限公司 | 视频转码方法、装置、计算机设备和存储介质 |
| CN109600605A (zh) * | 2019-01-18 | 2019-04-09 | 中央电视台 | 4k超高清视频的检测方法、电子设备及计算机程序产品 |
| CN110248177A (zh) * | 2019-05-29 | 2019-09-17 | 深圳英飞拓智能技术有限公司 | 一种图像数据的处理方法及装置 |
| CN110545413A (zh) * | 2017-07-13 | 2019-12-06 | 联发科技股份有限公司 | 用于执行高动态范围视频的色调映射的方法及装置 |
| CN110730339A (zh) * | 2019-11-05 | 2020-01-24 | 上海网仕科技有限公司 | 一种sdr视频信号处理方法、装置和视频编码设备 |
-
2020
- 2020-10-19 CN CN202011119224.6A patent/CN112261442B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107439013A (zh) * | 2015-04-17 | 2017-12-05 | 高通股份有限公司 | 用于高动态范围和宽色域视频译码的动态范围调整 |
| CN104811747A (zh) * | 2015-04-27 | 2015-07-29 | 无锡天脉聚源传媒科技有限公司 | 一种视频转码方法及装置 |
| CN107852511A (zh) * | 2015-07-16 | 2018-03-27 | 杜比实验室特许公司 | 用于hdr和宽色域信号的信号整形和编码 |
| US20180242006A1 (en) * | 2015-07-28 | 2018-08-23 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
| CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
| EP3367684A1 (en) * | 2017-02-24 | 2018-08-29 | Thomson Licensing | Method and device for decoding a high-dynamic range image |
| CN107154059A (zh) * | 2017-06-26 | 2017-09-12 | 杭州当虹科技有限公司 | 一种高动态范围视频处理方法 |
| CN110545413A (zh) * | 2017-07-13 | 2019-12-06 | 联发科技股份有限公司 | 用于执行高动态范围视频的色调映射的方法及装置 |
| CN108337516A (zh) * | 2018-01-31 | 2018-07-27 | 宁波大学 | 一种面向多用户的hdr视频动态范围可分级编码方法 |
| CN108769804A (zh) * | 2018-04-25 | 2018-11-06 | 杭州当虹科技股份有限公司 | 一种高动态范围视频的格式转换方法 |
| CN109274985A (zh) * | 2018-10-12 | 2019-01-25 | 腾讯科技（深圳）有限公司 | 视频转码方法、装置、计算机设备和存储介质 |
| CN109600605A (zh) * | 2019-01-18 | 2019-04-09 | 中央电视台 | 4k超高清视频的检测方法、电子设备及计算机程序产品 |
| CN110248177A (zh) * | 2019-05-29 | 2019-09-17 | 深圳英飞拓智能技术有限公司 | 一种图像数据的处理方法及装置 |
| CN110730339A (zh) * | 2019-11-05 | 2020-01-24 | 上海网仕科技有限公司 | 一种sdr视频信号处理方法、装置和视频编码设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114222187A (zh) * | 2021-08-12 | 2022-03-22 | 荣耀终端有限公司 | 视频编辑方法和电子设备 |
| CN114222187B (zh) * | 2021-08-12 | 2023-08-29 | 荣耀终端有限公司 | 视频编辑方法和电子设备 |
| CN114095733A (zh) * | 2021-08-23 | 2022-02-25 | 镕铭微电子(济南)有限公司 | 视频转码中元数据的处理方法、视频转码设备及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112261442B (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11012489B2 (en) | Picture file processing method, picture file processing device, and storage medium | |
| CN107203974B (zh) | 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统 | |
| RU2737507C2 (ru) | Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования | |
| CN112261442B (zh) | 一种用于视频hdr与sdr实时转码的方法及系统 | |
| EP3962085A2 (en) | Image encoding and decoding method, encoding and decoding device, encoder and decoder | |
| EP3493150A1 (en) | Tone mapping adaptation for saturation control | |
| JP7086587B2 (ja) | 復号された画像データから画像データを再構成する方法および装置 | |
| CN110741623B (zh) | 用于色域映射的方法和设备 | |
| CN110785989A (zh) | 用于色域映射的方法和设备 | |
| US20210042892A1 (en) | Processing an image | |
| JP2020145707A (ja) | 画像データを処理する方法および装置 | |
| CN109756777B (zh) | 处理影像序列的多种格式的传送端、接收端及方法 | |
| WO2019203973A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
| CN114648447A (zh) | 一种色调映射方法及装置 | |
| US10423587B2 (en) | Systems and methods for rendering graphical assets | |
| EP3718305A1 (en) | Saturation control for high-dynamic range reconstruction | |
| US11575944B2 (en) | Method and apparatus for encoding an image | |
| TW202420806A (zh) | 用於降低應用於視訊內容之色域修改程序中之量化效應的方法 | |
| US20230394636A1 (en) | Method, device and apparatus for avoiding chroma clipping in a tone mapper while maintaining saturation and preserving hue | |
| WO2024023008A1 (en) | Method for preventing clipping in sl-hdrx systems | |
| KR20230019250A (ko) | Sl-hdrx 시스템용 신호에 조정되는 sdr 및 hdr 디스플레이상에서의 크로마 부스트 | |
| US20220086507A1 (en) | Decoding an image | |
| WO2024078887A1 (en) | Method for reducing a quantization effect in a color gamut modification process applied to a video content | |
| Ramachandran et al. | A programmable pruning level control based MPEG video encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |