CN115811616A - 一种视频编码、解码方法及装置 - Google Patents

一种视频编码、解码方法及装置 Download PDF

Info

Publication number
CN115811616A
CN115811616A CN202111082879.5A CN202111082879A CN115811616A CN 115811616 A CN115811616 A CN 115811616A CN 202111082879 A CN202111082879 A CN 202111082879A CN 115811616 A CN115811616 A CN 115811616A
Authority
CN
China
Prior art keywords
value
data
residual
residual value
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111082879.5A
Other languages
English (en)
Inventor
徐巍炜
周建同
余全合
文锦松
胡宇彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111082879.5A priority Critical patent/CN115811616A/zh
Priority to TW111133827A priority patent/TWI847256B/zh
Priority to EP22869122.6A priority patent/EP4391546A1/en
Priority to PCT/CN2022/117938 priority patent/WO2023040753A1/zh
Priority to KR1020247011327A priority patent/KR20240055819A/ko
Publication of CN115811616A publication Critical patent/CN115811616A/zh
Priority to US18/604,710 priority patent/US20240223818A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供一种视频编码、解码方法及装置，涉及图像处理技术领域。视频编码装置可获取源数据，源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；根据第一SDR码流的重构数据与第一HDR数据对应关系，将第一SDR码流的重构数据映射成第二HDR数据；确定第二HDR数据与第一HDR数据的目标残差值；目标残差值的位宽小于或等于第一位宽；第一位宽为第一SDR视频编码成第一SDR码流采用的数据位宽；将对应关系以及目标残差值进行编码处理，确定预设数据；传输添加预设数据的第一SDR码流。本申请通过使用预设数据和SDR码流可保证SDR视频解码设备和HDR视频解码设备的良好处理。

Description

一种视频编码、解码方法及装置
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种视频编码、解码方法及装置。
背景技术
在数字图像中，动态范围(dynamic range)可表示在图像可显示的范围内最大灰度值和最小灰度值之间的比率。动态范围在10-3到106范围内为高动态范围(high dynamicrange，HDR)，普通图片的动态范围为标准动态范围(standard dynamic range，SDR)。数码相机的成像过程实际上就是高动态范围到相片标准动态范围的映射。
动态范围的映射主要应用于前端HDR信号和后端HDR的终端显示设备，例如，前端是采集到4000nit(尼特)的光照信号，而后端HDR的终端显示设备(电视机)的HDR显示能力只有500nit，将4000nit信号映射到500nit的设备上，是一种从高到低的动态范围映射。另外，前端是采集到100nit的SDR信号，而显示端是2000nit的电视信号，将100nit信号显示在2000nit的设备上，一种是从低到高的动态范围映射。
目前大量设备不支持HDR，HDR信号在这些设备上的显示效果较差，相关技术提出采用分层编码进行视频处理也即针对同一视频分成多个不同分辨率的视频进行分别编码处理，但是很多硬件设备并不支持分层编码，且分层编码的数据计算量大，会浪费大量的处理器资源。
发明内容
本申请提供一种视频编码、解码方法及装置，以在保证HDR显示效果的情况下，提高视频编码的效率。
第一方面，本申请提供一种视频编码方法，该方法可通过视频编码装置来执行，通常视频编码装置可以为摄像机、手机、平板电脑、笔记本电脑、电视等携带摄像头或处理器的设备，本申请在此不具体限定。
视频编码装置可获取源数据，源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；根据第一SDR码流的重构数据与第一HDR数据对应关系，将第一SDR码流的重构数据映射成第二HDR数据；确定第二HDR数据与第一HDR数据的目标残差值；目标残差值的位宽小于或等于第一位宽；第一位宽为第一SDR视频编码成第一SDR码流采用的数据位宽；将对应关系以及目标残差值进行编码处理，确定预设数据；传输添加预设数据的第一SDR码流。
需要说明的是，源数据中的第一HDR数据可以为视频编码装置从与其通信连接的设备接收的，也可以为视频编码装置针对同一视频数据进行数据处理后得到的，本申请在此不作具体限定。通常视频数据较大，会占用大量的带宽资源，将视频数据编码后得到视频码流，传输视频码流不会占用大量的带宽资源，还可以保证数据的传输效率，因此视频编码装置不会直接传输视频数据，需要将视频数据进行编码后得到视频码流进行传输。此外，视频编码装置通常会获取HDR数据和SDR数据，对SDR数据编码处理可以得到SDR码流(也即第一SDR码流)。通常视频编码时，将视频数据转换成视频码流，需要符合设备或视频数据的数据位宽要求。数据位宽越大，视频码流展示的视频数据DR越高，图像的像素越高，数据位宽越小，视频码流展示的视频数据DR越低，图像的像素越低。通常SDR数据经过编码处理的到SDR码流采用的数据位宽为8bit，HDR数据经过编码处理的到HDR码流采用的数据位宽为10bit、12bit。此外，本申请不对SDR数据采用的编码算法进行限制，可以是MPEG1、MPEG2、MPEG4、H.263、H.264、H.265、JPEG等任意编解码算法。
上述的重构数据为对第一SDR码流进行解码得到的SDR数据，将重构数据与第一HDR数据进行比对，确定重构数据与第一HDR数据的对应关系，在实际应用时，可通过比对视频图像的灰度值、RGB值或YUV值来确定对应关系，本申请在此不具体限定。
需要说明的是，HDR数据和SDR数据对应的数据位宽的大小通常是不同的，如，HDR数据对应的数据位宽为10bit，SDR数据对应的数据位宽为8bit。视频编码装置可根据相减运算、归一化运算等将第一HDR数据和第二HDR数据的目标残差值转化为满足第一SDR码流传输需求的数据位宽，基于上述SDR数据对应的数据位宽为8bit，那么目标残差值的数据位宽也为8bit或者小于8bit。
本申请通过使用预设数据和SDR码流实现了对于SDR视频解码设备和HDR视频解码设备的良好支持。对于SDR视频解码设备，码流为SDR码流，会显式识别为SDR码流，从而保证SDR的效果。对于HDR设备，预设数据和SDR码流均会被正确的识别和解码，从而保证了HDR的效果。需要说明的是，目前高位宽的编码并不被所有编解码标准支持，如JPEG只支持8bit，目标残差和SDR都是8bit可以保证视频编码装置和视频解码装置可使用同一级别的编解码器，通常帧级切换硬件编码器或者硬件解码器复杂度比较高，设备处理能力要求高，通过将目标残差值调整为小于或等于SDR码流编码时的位宽，可避免编码和解码端在帧级切换硬件编码器或者硬件解码器。
在一种可选的方式中，对应关系可通过如下方式确定：确定重构数据与第一HDR数据的第一平均值；第一平均值为根据重构数据与第一HDR数据的第一位置的像素点的预设参数确定；将重构数据与第一HDR数据分成多个图像块；图像块的个数和位置相同；确定重构数据与第一HDR数据的各图像块对应的第二平均值；根据第一平均值或第二平均值确定对应关系。通过该方式确定的对应关系，准确度更高，确定的第二HDR数据更加可靠。
在一种可选的方式中，预设参数为灰度值，或RGB值，或YUV值。还可以为YUV中的Y，或Lab中的L，本申请并不具体限定。
在一种可选的方式中，视频编码装置可将第二HDR数据与第一HDR数据相减，确定初始残差值；根据初始残差值的取值范围的分布确定残差映射方式以及钳位方式；根据残差映射方式以及钳位方式将初始残差值映射成位宽小于或等于第一位宽的目标残差值。
需要说明的是，上述初始残差值，是将第二HDR数据和第一HDR数据的相同位置的灰度值，或者RGB值，或者YUV值相减得到的。相减后的值大小可能是不同的，可对初始残差值进行统计分析，得到直方图，通过直方图展示初始残差值的取值范围的分布，在实际应用时，也可通过对不提供初始残差值进行描点获取曲线图来展示初始残差值的取值范围的分布，本申请在此不具体限定展示初始残差值的取值范围的分布的方式。
此外，在将初始残差值转换为目标残差值时，中间计算过程中某些误差较大的值可能会影响计算结果，可通过钳位方式去除误差较大的初始残差值在计算时带来的影响。之后，视频编码装置可根据初始残差值的取值范围的分布确定的残差映射方式以及钳位方式将初始残差值映射成目标残差值。
在一种可选的方式中，视频编码装置可根据初始残差值的取值确定直方图；确定直方图中心位置对应的残差值的取值；根据直方图中心位置对应的残差值的取值、第一位宽确定第一取值范围；根据初始残差值的取值范围的分布，确定位于第一取值范围的初始残差的目标比例值；将位于第一取值范围的初始残差进行残差映射，不位于第一取值范围的初始残差进行钳位处理。
需要说明的是，视频编码装置确定初始残差值取值范围的分布情况后，可根据第一位宽的取值，确定第一取值范围，该第一取值范围内的初始残差值可以映射为小于或等于第一位宽的目标残差值。
在一种可选的方式中，视频编码装置可根据目标比例值以及直方图中心位置对应的残差值的取值，确定第一残差值和第二残差值；第一残差值小于直方图中心位置对应的残差值；第二残值大于直方图中心位置对应的残差值；第一残差值至少为1个；第二残差值至少为1个；第一残差值与直方图中心位置对应的残差值对应第一比例值；第二残差值与直方图中心位置对应的残差值对应第二比例值；第一比例值与第二比例值的和为目标比例值；将位于第一残差值和第二残差值之间的初始残差值映射成目标残差值，将不位于第一残差值和第二残差值之间的初始残差值钳位处理成预设值。
其中，第一残差值小于直方图中心位置对应的残差值；第二残值大于直方图中心位置对应的残差值；第一残差值至少为1个；第二残差值至少为1个；第一残差值与直方图中心位置对应的残差值对应第一比例值；第二残差值与直方图中心位置对应的残差值对应第二比例值；第一比例值与第二比例值的和为目标比例值。
需要说明的是，目前高位宽的编码并不被所有编解码标准支持，如JPEG只支持8bit，目标残差和SDR都是8bit可以保证视频编码装置和视频解码装置可使用同一级别的编解码器，通常帧级切换硬件编码器或者硬件解码器复杂度比较高，设备处理能力要求高，通过将目标残差值调整为小于或等于SDR码流编码时的位宽，可避免编码和解码端在帧级切换硬件编码器或者硬件解码器。
第二方面，本申请提供一种视频解码方法，该方法可通过视频解码装置来执行，通常视频解码装置可为手机、平板电脑、笔记本电脑、电视等携带显示屏或处理器的设备，本申请在此不具体限定。
视频解码装置可接收第一SDR码流；第一SDR码流中包括预设数据；预设数据是通过对应关系和目标残差值编码处理得到的；根据对应关系将第一SDR码流的重构数据映射成第二HDR数据；根据目标残差值和第二HDR数据，确定第一HDR数据。
在一种可选的方式中，预设数据还包括：残差映射方式以及钳位方式。
在一种可选的方式中，视频解码装置可根据残差映射方式、钳位方式、目标残差值以及第一位宽，确定第一残差值和第二残差值；根据第一残差值、第二残差值以及钳位方式确定初始残差值；初始残差值的位宽大于或等于第一位宽；根据初始残差值以及第二HDR数据，确定第一HDR数据。
第三方面，本申请提供一种视频编码装置，包括：
处理单元，用于获取源数据，源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；以及根据第一SDR码流的重构数据与第一HDR数据对应关系，将第一SDR码流的重构数据映射成第二HDR数据；确定第二HDR数据与第一HDR数据的目标残差值；目标残差值的位宽小于或等于第一位宽；第一位宽为第一SDR视频编码成第一SDR码流采用的数据位宽；将对应关系以及目标残差值进行编码处理，确定预设数据；输入输出单元，用于传输添加预设数据的第一SDR码流。
第四方面，本申请提供一种视频解码装置，包括：
输入输出单元，用于接收第一SDR码流；第一SDR码流中包括预设数据；预设数据是通过对应关系和目标残差值编码处理得到的；处理单元，用于根据对应关系将第一SDR码流的重构数据映射成第二HDR数据；根据目标残差值和第二HDR数据，确定第一HDR数据。
第五方面，本申请实施例提供一种视频编码装置包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行第一方面或者第一方面的任一设计所述的方法。
第六方面，本申请实施例提供一种视频解码装置包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行第二方面或者第二方面的任一设计所述的方法。需要说明的是，处理器不执行编码操作。
第七方面，本申请实施例提供一种图像处理系统，包括第五方面所述的视频编码装置和第六方面所述的视频解码装置。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面或第二方面的任意一种方法的部分或全部步骤的指令。
第九方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面或第二方面的任意一种方法的部分或全部步骤。
应当理解的是，本申请的第二至九方面的有益效果可以参见第一方面的相关描述，不再赘述。
附图说明
图1示出了本申请实施例提供的一种图像处理系统的示意图；
图2示出了本申请实施例提供的一种视频编码、解码方法的流程示意图；
图3示出了本申请实施例提供的一种重构数据和第一HDR数据的示意图；
图4示出了本申请实施例提供的另一重构数据和第一HDR数据的示意图；
图5示出了本申请实施例提供的一种图像处理装置的结构示意图；
图6示出了本申请实施例提供的一种图像处理装置的结构示意图；
图7示出了本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。其中，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。因此装置与方法的实施可以相互参见，重复之处不再赘述。
本申请中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。以及，除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
图1示出了本申请实施例可以应用的一种图像处理系统，该系统中包括：视频编码装置、HDR视频解码装置以及SDR视频解码装置。其中，视频编码装置和视频解码装置的可以为多个，本申请在此不作具体限制。其中，视频编码装置可以用于采集视频数据，并对视频数据进行编码处理得到HDR视频码流和SDR视频码流；HDR视频解码装置可以接收HDR视频码流，和/或，SDR视频码流，并将HDR视频码流，和/或，SDR视频码流解码成视频数据；SDR视频解码装置可以接收SDR视频码流，并将SDR视频码流解码成视频数据。其中，视频编码装置可以为摄像机、手机、平板电脑、笔记本电脑、电视等携带摄像头或处理器的设备；视频解码装置可为手机、平板电脑、笔记本电脑、电视等携带显示屏或处理器的设备。针对同一图像，视频编码装置通过调整图像的采集方式可以获取不同DR的图像，如通过拍摄参数1(4曝光值(exposure value，EV)～12EV)确定SDR(其中，SDR图像的DR一般在1nit到100nit之间)图像1，通过拍摄参数2(8EV～16EV)确定SDR图像2，根据图像1和图像2可以确定HDR(其中，HDR图像的DR一般在0.001nit到10000nit之间)图像，该HDR图像对应的拍摄参数可以为4EV～16EV。同理，由于视频是由多帧连续的图像构成的，视频采集装置可针对同一视频，确定HDR视频和SDR视频。此外，视频编码装置还可以通过其他方式确定HDR视频和SDR视频，如：基于人工智能的方法等，本申请在此不具体限定。图1中，以视频编码装置可以获取SDR数据(视频或图像)和HDR数据为例来说明。
其中，EV是反映曝光量多少的单位，当感光度为100、光圈系数为F1、曝光时间为1秒时，曝光量定义为0，在这个曝光量的基础上，曝光量减少一档(曝光时间减少一半或者光圈缩小一档)，EV值增加1。
曝光方程1如下：
2AV*2TV＝2BV*2SV
AV+TV＝BV+SV 方程1
其中，镜头光圈数是A，快门时间是T秒，景物亮度是B，胶片感光度是S。在摄影学里用EV来表示AV+TV或BV+SV的和。EV值就是“曝光值”，是一个抽象的概念，代表了光圈和快门的一种组合，光圈和快门的速度可以自由选择，光圈大快门时间就要缩短，光圈小快门时间就要放长，但只要光圈与快门的组合满足某些条件使EV值一定，则最终的曝光量一定是相同的。EV值每增加1.0，相当于摄入的光线量增加一倍。
需要说明的是，在H.265标准中视频编码支持的对位宽为10bit(比特)的HDR数据进行编码处理，并显示。但是大量的设备是不支持HDR的，软件应用不能识别HDR数据，在软件应用的客户端不能显示出HDR数据良好地效果。另外，在MPEG-2、MPEG-4、H.264、H.265的标准中，有分层编码相关的方案，也即针对同一视频分成多个不同分辨率的视频进行分别编码处理，但是很多硬件设备并不支持分层编码，且分层编码的数据计算量大，会浪费大量的处理器资源。
考虑到上述情况，本申请提出一种视频编码、解码方法，以提高视频编码的效率，并提高用户的体验度。可参见图2，该方法是通过视频编码装置和视频解码装置来执行的，其中，视频编码装置可执行视频编码的方法，视频解码装置可执行视频解码方法。具体执行如下：
步骤201，视频编码装置获取源数据，源数据包括针对同一视频数据的第一HDR数据和第一SDR码流。
需要说明的是，源数据中的第一HDR数据可以为视频编码装置从与其通信连接的设备接收的，也可以为视频编码装置针对同一视频数据进行数据处理后得到的，本申请在此不做具体限定。通常视频数据较大，会占用大量的带宽资源，将视频数据编码后得到视频码流，传输视频码流不会占用大量的带宽资源，还可以保证数据的传输效率，因此视频编码装置不会直接传输视频数据，需要将视频数据进行编码后得到视频码流进行传输。此外，视频编码装置通常会获取HDR数据和SDR数据，对SDR数据编码处理可以得到SDR码流(也即第一SDR码流)。通常视频编码时，将视频数据转换成视频码流，需要符合设备或视频数据的数据位宽要求。数据位宽越大，视频码流展示的视频数据DR越高，图像的像素越高，数据位宽越小，视频码流展示的视频数据DR越低，图像的像素越低。通常SDR数据经过编码处理的到SDR码流采用的数据位宽为8bit，HDR数据经过编码处理的到HDR码流采用的数据位宽为10bit、12bit。此外，本申请不对SDR数据采用的编码算法进行限制，可以是MPEG1、MPEG2、MPEG4、H.263、H.264、H.265、JPEG等任意编解码算法。
步骤202，视频编码装置根据第一SDR码流的重构数据与第一HDR数据对应关系，将第一SDR码流的重构数据映射成第二HDR数据。
上述的重构数据为对第一SDR码流进行解码得到的SDR数据，将重构数据与第一HDR数据进行比对，确定重构数据与第一HDR数据的对应关系，在实际应用时，可通过比对视频图像的灰度值、RGB值或YUV值来确定对应关系，本申请在此不具体限定。
在一种可选的实施例中，对应关系可通过如下方式确定：
视频编码装置可确定重构数据与第一HDR数据的第一平均值；第一平均值为根据重构数据与第一HDR数据的第一位置的像素点的预设参数确定；视频编码装置可将重构数据与第一HDR数据分成多个图像块；图像块的个数和位置相同；确定重构数据与第一HDR数据的各图像块对应的第二平均值；根据第一平均值或第二平均值确定对应关系。通过该方式确定的对应关系，准确度更高，确定的第二HDR数据更加可靠。
该预设参数可以为灰度值，或RGB值，或YUV中的Y，或Lab中的L，本申请并不具体限定，在此仅以灰度值为例进行示意。在实际执行时，视频编码装置可统计重构数据某一位置的灰度值I对应第一HDR数据中对应位置的像素点的灰度值的统计直方图His[i]以及灰度值的平均值avg[i]和方差var[i]，在实际应用中，重构数据和第一HDR数据对应位置的图像元素是相同的，仅像素或DR不同，如图3所示，重构数据和第一HDR数据的在位置A对应的图像元素均包括数字1，在计算时，可确定位置A对应的灰度值的平均值也即第一平均值。例如灰度值I在重构数据出现在位置1、2、3、4、5、6、7等7个位置，则查找第一HDR数据(或第一HDR数据的某个图像块)在位置1、2、3、4、5、6、7处的灰度值1、灰度值2……、灰度值7，则第一HDR数据(或第一HDR数据的某个图像块)对应灰度值I的灰度值的平均值就是(灰度值1+灰度值2+……+灰度值7)/7。图3中通过阴影示意第一HDR数据，无阴影示意SDR数据。
此外，若各个位置计算的方差小于总的方差(也即整帧图像的方差)，且各个位置计算的方差大于第一预设值，视频编码装置可将重构数据和第一HDR数据对应的图像分成多个图像块，分别各个图像块的统计直方图subHis[i]以及灰度值的平均值subAvg[i]和方差subVar[i]。其中，第一预设值的大小可根据实际应用的需求设置，本申请在此不作具体限定，如：考虑到SDR数据的位宽为8bit，目标残差应限制在8bit，第一预设值为128。
例如，重构数据分成4*4个图像块，那么第一HDR数据也要分成4*4个图像块，且两个数据对应图像块的大小是相同的，如图4所示，重构数据对应的图像被分成4个图像块，第一HDR数据对应的图像也被分成4个图像块，且重构数据的图像块1和第一HDR数据的图像块1中的图像元素是相同的。在实际应用时，图像块也可以不均匀分配，也即重构数据的图像块1可与其他重构数据的图像块大小不同，只要保证重构数据的图像块1与第一HDR数据的图像块1的大小相同，且图像元素相同即可。
在实际应用时，可根据avg[i]或subAvg[i]获取局部的灰度/颜色映射关系；之后根据预设规则对于局部的灰度/颜色映射关系进行处理，得到近似全局的灰度/颜色映射关系也即对应关系。其中预设规则可以为针对局部的映射关系进行加权计算确定对应关系，也可以其他方法，本申请在此不作具体限定。例如，预设规则为将局部直方图和全局直方图的差异值为权重，对于局部的灰度/颜色映射值进行加权得到全局的灰度/颜色映射值。此外，灰度/颜色映射关系可通过任意曲线或矩阵参数指示，本申请在此不具体限定。
步骤203，视频编码装置确定第二HDR数据与第一HDR数据的目标残差值；目标残差值的位宽小于或等于第一位宽；第一位宽为第一SDR视频编码成第一SDR码流采用的数据位宽。
需要说明的是，HDR数据和SDR数据对应的数据位宽的大小通常是不同的，如，HDR数据对应的数据位宽为10bit，SDR数据对应的数据位宽为8bit。视频编码装置可根据相减运算、归一化运算等将第一HDR数据和第二HDR数据的目标残差值转化为满足第一SDR码流传输需求的数据位宽，基于上述SDR数据对应的数据位宽为8bit，那么目标残差值的数据位宽也为8bit或者小于8bit。
在一种可选的实施例中，视频编码装置可将第二HDR数据与第一HDR数据相减，确定初始残差值；根据初始残差值的取值范围的分布确定残差映射方式以及钳位方式；根据残差映射方式以及钳位方式将初始残差值映射成位宽小于或等于第一位宽的目标残差值。
需要说明的是，上述初始残差值，是将第二HDR数据和第一HDR数据的相同位置的灰度值，或者RGB值，或者YUV值相减得到的。相减后的值大小可能是不同的，可对初始残差值进行统计分析，得到直方图，通过直方图展示初始残差值的取值范围的分布，在实际应用时，也可通过对不提供初始残差值进行描点获取曲线图来展示初始残差值的取值范围的分布，本申请在此不具体限定展示初始残差值的取值范围的分布的方式。
此外，在将初始残差值转换为目标残差值时，中间计算过程中某些误差较大的值可能会影响计算结果，可通过钳位方式去除误差较大的初始残差值在计算时带来的影响。之后，视频编码装置可根据初始残差值的取值范围的分布确定的残差映射方式以及钳位方式将初始残差值映射成目标残差值。
在一种可选的实施例中，视频编码装置可根据初始残差值的取值确定直方图；确定直方图中心位置对应的残差值的取值；根据直方图中心位置对应的残差值的取值、第一位宽确定第一取值范围；根据初始残差值的取值范围的分布，确定位于第一取值范围的初始残差的目标比例值；将位于第一取值范围的初始残差进行残差映射，不位于第一取值范围的初始残差进行钳位处理。
需要说明的是，视频编码装置确定初始残差值取值范围的分布情况后，可根据第一位宽的取值，确定第一取值范围，该第一取值范围内的初始残差值可以映射为小于或等于第一位宽的目标残差值。在实际执行时，可参照如下流程：
A、统计初始残差值的直方图。
B、确定直方图的中心位置对应的残差值的取值Y。
C、确定第一取值范围。通过中心位置的残差值Y向残差值小于Y的方向找到一个临界值Ylow，向残差值大于Y的方向找到另一个临界值Yhigh，两个临界值之间的初始残差值可映射为目标残差值，两个临界值可以界定为第一取值范围。在确定第一取值范围是可通过将取值Y减去或者加上第一位宽的移位值来确定，例如，第一位宽为8bit，对应28(0～255)，1左移8减去1位后，得到128，也即第一取值范围的一个临界值为Y-128，相应地另一临界值为Y+128-1。
D、确定落在第一取值范围内的初始残差的比例值。如，确定落在第一取值范围内的初始残差值的比例为99％，可确定直方图1％对应的初始残差值是否在第一取值范围内，若在，确定直方图100％对应的初始残差中是否在第一取值范围内，那么可将1％～100％的初始残差进映射成目标残差值。也可以在确定比例值为99％在残值Y之前选择A％处对应的初始残差值，在残差值A之后选择B％处对应的初始残差值，A％到B％等于99％即可，如，A％为0％，B％为99％；A％为0.5％，B为99.5％等，其中，A％处对应的初始残差值和B％处对应的初始残差值均在第一取值范围内，本申请在此不具体限定。
E、将第一取值范围内的初始残差值映射成目标残差值。
在一种可选的实施例中，视频编码装置可根据目标比例值以及直方图中心位置对应的残差值的取值，确定第一残差值和第二残差值(可以理解为上述的两个临界值)；将位于第一残差值和第二残差值之间的初始残差值映射成目标残差值，将不位于第一残差值和第二残差值之间的初始残差值钳位处理成预设值。
其中，第一残差值小于直方图中心位置对应的残差值；第二残值大于直方图中心位置对应的残差值；第一残差值至少为1个；第二残差值至少为1个；第一残差值与直方图中心位置对应的残差值对应第一比例值；第二残差值与直方图中心位置对应的残差值对应第二比例值；第一比例值与第二比例值的和为目标比例值。接下来通过具体示例来说明，若第一残差值为2个，那么第二残差值也为2个，第一残差值分别为Ylow、Ylow1，第二残差值分别为Yhigh、Yhigh1。假定目标比例值为98％，那么Ylow1可以选择直方图分布K％的位置，如1％；Yhigh1可以选择直方图分布N％的位置，如99％。若目标比例值大于90％，Ylow可以选择直方图分布L％的位置，如5％；Yhigh可以选择直方图分布M％的位置，如95％。
在进行残差映射时，可参照如下方法：
方法一：
将位于(Ylow，Yhigh)之间的初始残差值等于原值+(1<<(Bitdepth-1))-Y；位于(Ylow1，Ylow)之间的残差映射到(0，Ylow+(1<<(Bitdepth-1))-Y)；位于(Yhigh，Yhigh1)之间的残差映射到(Yhigh+(1<<(Bitdepth-1))-Y)，(1<<Bitdepth)-1)；小于Ylow1的钳位到0，大于Yhigh1的钳位到(1<<Bitdepth)-1。
方法二：
将位于(Y-(1<<(Bitdepth-1))，Y+(1<<(Bitdepth-1))-1)之间的残差等于原值+(1<<(Bitdepth-1))-Y；小于Y-(1<<(Bitdepth-1))的残差钳位到0；大于Y+(1<<(Bitdepth-1))-1的残差，钳位到(1<<Bitdepth)-1。
其中，上述Bitdepth指示第一位宽的值，如第一位宽为8bit，对应的Bitdepth为8，Y的值为0，Ylow为-100，Yhigh为90，在采用方法一时，可将(Ylow，Yhigh)之间的初始残差值如90，在进行映射时，可将90+(1<<(Bitdepth-1))-0，确定218(90+128-0)为90映射的目标残差值；可将(Ylow，Yhigh)之间的初始残差值如-100，在进行映射时，可将-100+(1<<(Bitdepth-1))-0，确定28(-100+128-0)为-100映射的目标残差值。如Ylow1为-300,将(Ylow，Ylow1)之间的初始残差值如(-300，-100)映射成(0，28)，可将(Yhigh，Yhigh1)之间的初始残差值如(90，400)映射成(218，255)，小于Ylow1的钳位到0，大于Yhigh1的钳位到255。
在采用方法二时，可将位于(Y-128，Y+127)之间的初始残差值直接加上128-Y得到目标残差值，可将小于Y-128的初始残差值直接钳位到0，将大于Y+127的初始残差值直接钳位到255。
需要说明的是，目前高位宽的编码并不被所有编解码标准支持，如JPEG只支持8bit，目标残差和SDR都是8bit可以保证视频编码装置和视频解码装置可使用同一级别的编解码器，通常帧级切换硬件编码器或者硬件解码器复杂度比较高，设备处理能力要求高，通过将目标残差值调整为小于或等于SDR码流编码时的位宽，可避免编码和解码端在帧级切换硬件编码器或者硬件解码器。
步骤204，视频编码装置将对应关系以及目标残差值进行编码处理，确定预设数据。
需要说明的是，预设数据可以理解为用户自定义数据，视频解码装置获取预设数据后可在码流解码时，将SDR数据转换成HDR数据。
步骤205，视频编码装置传输添加预设数据的第一SDR码流。相应地，视频解码装置会接收第一SDR码流。
步骤206，视频解码装置根据对应关系将第一SDR码流的重构数据映射成第二HDR数据。
步骤207，视频解码装置根据目标残差值和第二HDR数据，确定第一HDR数据。
在一种可选的实施例中，预设数据还包括：残差映射方式以及钳位方式；视频解码装置可根据残差映射方式、钳位方式、目标残差值以及第一位宽，确定第一残差值和第二残差值；根据第一残差值、第二残差值以及钳位方式确定初始残差值；初始残差值的位宽大于或等于第一位宽；根据初始残差值以及第二HDR数据，确定第一HDR数据。
在具体执行时，可参照如下方法将目标残差值恢复成初始残差值，也即上述视频编码装置残差映射的逆运算：
方法一：
将位于(0，Ylow+(1<<(Bitdepth-1))-Y)的残差值映射到(Ylow1，Ylow)之间；位于(Yhigh+(1<<(Bitdepth-1))-Y)，(1<<Bitdepth)-1)之间的残差映射到(Yhigh，Yhigh1)之间；位于(Ylow+(1<<(Bitdepth-1))-Y，Yhigh+(1<<(Bitdepth-1))-Y))之间的残差加上Y-(1<<(Bitdepth-1))。
方法二：
将所有目标残差值加上Y-(1<<(Bitdepth-1))。
其中，上述Bitdepth指示第一位宽的值，如第一位宽为8bit，对应的Bitdepth为8，Y的值为0，Ylow为-100，Yhigh为90，在采用方法一时，可将(0，28)之间的目标残差值映射到(-300，-100)之间，可将(90+128，255)之间的目标残差值映射到(90，400)之间，可将(-100+128，90+128)之间的目标残差值减去128确定初始残差值。
在采用方法二时，可将位于目标残差值加上Y-128得到初始残差值，也即位宽为10bit的初始位宽。
本申请通过使用预设数据和SDR码流实现了对于SDR视频解码设备和HDR视频解码设备的良好支持。对于SDR视频解码设备，码流为SDR码流，会显式识别为SDR码流，从而保证SDR的效果。对于HDR设备，预设数据和SDR码流均会被正确的识别和解码，从而保证了HDR的效果。
此外，如图5所示，为本申请还提供的一种图像处理装置，该装置可以为视频编码装置也可以为视频解码装置，本申请在此不具体限定，图像处理装置可包括输入输出单元501和处理单元502。
在图像处理装置为视频编码装置时，处理单元502，用于获取源数据，源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；以及根据第一SDR码流的重构数据与第一HDR数据对应关系，将第一SDR码流的重构数据映射成第二HDR数据；确定第二HDR数据与第一HDR数据的目标残差值；目标残差值的位宽小于或等于第一位宽；第一位宽为第一SDR视频编码成第一SDR码流采用的数据位宽；将对应关系以及目标残差值进行编码处理，确定预设数据；输入输出单元501，用于传输添加预设数据的第一SDR码流。
需要说明的是，源数据中的第一HDR数据可以为视频编码装置从与其通信连接的设备接收的，也可以为视频编码装置针对同一视频数据进行数据处理后得到的，本申请在此不作具体限定。通常视频数据较大，会占用大量的带宽资源，将视频数据编码后得到视频码流，传输视频码流不会占用大量的带宽资源，还可以保证数据的传输效率，因此视频编码装置不会直接传输视频数据，需要将视频数据进行编码后得到视频码流进行传输。此外，视频编码装置通常会获取HDR数据和SDR数据，对SDR数据编码处理可以得到SDR码流(也即第一SDR码流)。通常视频编码时，将视频数据转换成视频码流，需要符合设备或视频数据的数据位宽要求。数据位宽越大，视频码流展示的视频数据DR越高，图像的像素越高，数据位宽越小，视频码流展示的视频数据DR越低，图像的像素越低。通常SDR数据经过编码处理的到SDR码流采用的数据位宽为8bit，HDR数据经过编码处理的到HDR码流采用的数据位宽为10bit、12bit。此外，本申请不对SDR数据采用的编码算法进行限制，可以是MPEG1、MPEG2、MPEG4、H.263、H.264、H.265、JPEG等任意编解码算法。
上述的重构数据为对第一SDR码流进行解码得到的SDR数据，将重构数据与第一HDR数据进行比对，确定重构数据与第一HDR数据的对应关系，在实际应用时，可通过比对视频图像的灰度值、RGB值或YUV值来确定对应关系，本申请在此不具体限定。
需要说明的是，HDR数据和SDR数据对应的数据位宽的大小通常是不同的，如，HDR数据对应的数据位宽为10bit，SDR数据对应的数据位宽为8bit。视频编码装置可根据相减运算、归一化运算等将第一HDR数据和第二HDR数据的目标残差值转化为满足第一SDR码流传输需求的数据位宽，基于上述SDR数据对应的数据位宽为8bit，那么目标残差值的数据位宽也为8bit或者小于8bit。
本申请通过使用预设数据和SDR码流实现了对于SDR视频解码设备和HDR视频解码设备的良好支持。对于SDR视频解码设备，码流为SDR码流，会显式识别为SDR码流，从而保证SDR的效果。对于HDR设备，预设数据和SDR码流均会被正确的识别和解码，从而保证了HDR的效果。需要说明的是，目前高位宽的编码并不被所有编解码标准支持，如JPEG只支持8bit，目标残差和SDR都是8bit可以保证视频编码装置和视频解码装置可使用同一级别的编解码器，通常帧级切换硬件编码器或者硬件解码器复杂度比较高，设备处理能力要求高，通过将目标残差值调整为小于或等于SDR码流编码时的位宽，可避免编码和解码端在帧级切换硬件编码器或者硬件解码器。
在一种可选的方式中，对应关系可通过如下方式确定：
确定重构数据与第一HDR数据的第一平均值；第一平均值为根据重构数据与第一HDR数据的第一位置的像素点的预设参数确定；将重构数据与第一HDR数据分成多个图像块；图像块的个数和位置相同；确定重构数据与第一HDR数据的各图像块对应的第二平均值；根据第一平均值或第二平均值确定对应关系。通过该方式确定的对应关系，准确度更高，确定的第二HDR数据更加可靠。
在一种可选的方式中，预设参数为灰度值，或RGB值，或YUV值。
在一种可选的方式中，处理单元502，具体用于：
将第二HDR数据与第一HDR数据相减，确定初始残差值；根据初始残差值的取值范围的分布确定残差映射方式以及钳位方式；根据残差映射方式以及钳位方式将初始残差值映射成位宽小于或等于第一位宽的目标残差值。
需要说明的是，上述初始残差值，是将第二HDR数据和第一HDR数据的相同位置的灰度值，或者RGB值，或者YUV值相减得到的。相减后的值大小可能是不同的，可对初始残差值进行统计分析，得到直方图，通过直方图展示初始残差值的取值范围的分布，在实际应用时，也可通过对不提供初始残差值进行描点获取曲线图来展示初始残差值的取值范围的分布，本申请在此不具体限定展示初始残差值的取值范围的分布的方式。
此外，在将初始残差值转换为目标残差值时，中间计算过程中某些误差较大的值可能会影响计算结果，可通过钳位方式去除误差较大的初始残差值在计算时带来的影响。之后，视频编码装置可根据初始残差值的取值范围的分布确定的残差映射方式以及钳位方式将初始残差值映射成目标残差值。
在一种可选的方式中，处理单元502，具体用于：
根据初始残差值的取值确定直方图；确定直方图中心位置对应的残差值的取值；根据直方图中心位置对应的残差值的取值、第一位宽确定第一取值范围；根据初始残差值的取值范围的分布，确定位于第一取值范围的初始残差的目标比例值；将位于第一取值范围的初始残差进行残差映射，不位于第一取值范围的初始残差进行钳位处理。
需要说明的是，视频编码装置确定初始残差值取值范围的分布情况后，可根据第一位宽的取值，确定第一取值范围，该第一取值范围内的初始残差值可以映射为小于或等于第一位宽的目标残差值。
在一种可选的方式中，处理单元502，具体用于：
根据目标比例值以及直方图中心位置对应的残差值的取值，确定第一残差值和第二残差值；第一残差值小于直方图中心位置对应的残差值；第二残值大于直方图中心位置对应的残差值；第一残差值至少为1个；第二残差值至少为1个；第一残差值与直方图中心位置对应的残差值对应第一比例值；第二残差值与直方图中心位置对应的残差值对应第二比例值；第一比例值与第二比例值的和为目标比例值；将位于第一残差值和第二残差值之间的初始残差值映射成目标残差值，将不位于第一残差值和第二残差值之间的初始残差值钳位处理成预设值。
其中，第一残差值小于直方图中心位置对应的残差值；第二残值大于直方图中心位置对应的残差值；第一残差值至少为1个；第二残差值至少为1个；第一残差值与直方图中心位置对应的残差值对应第一比例值；第二残差值与直方图中心位置对应的残差值对应第二比例值；第一比例值与第二比例值的和为目标比例值。
需要说明的是，目前高位宽的编码并不被所有编解码标准支持，如JPEG只支持8bit，目标残差和SDR都是8bit可以保证视频编码装置和视频解码装置可使用同一级别的编解码器，通常帧级切换硬件编码器或者硬件解码器复杂度比较高，设备处理能力要求高，通过将目标残差值调整为小于或等于SDR码流编码时的位宽，可避免编码和解码端在帧级切换硬件编码器或者硬件解码器。
在图像处理装置为视频解码装置时，输入输出单元501，可用于接收第一SDR码流；第一SDR码流中包括预设数据；预设数据是通过对应关系和目标残差值编码处理得到的；处理单元502，可用于根据对应关系将第一SDR码流的重构数据映射成第二HDR数据；根据目标残差值和第二HDR数据，确定第一HDR数据。
在一种可选的方式中，预设数据还包括：残差映射方式以及钳位方式。
在一种可选的方式中，处理单元502，具体用于：根据残差映射方式、钳位方式、目标残差值以及第一位宽，确定第一残差值和第二残差值；根据第一残差值、第二残差值以及钳位方式确定初始残差值；初始残差值的位宽大于或等于第一位宽；根据初始残差值以及第二HDR数据，确定第一HDR数据。
此外，如图6所示，为本申请还提供的一种图像处理装置600。示例性地，图像处理装置600可以是芯片或芯片系统。可选的，在本申请实施例中芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
图像处理装置600可以包括至少一个处理器610，图像处理装置600还可以包括至少一个存储器620，用于存储计算机程序、程序指令和/或数据。存储器620和处理器610耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器610可能和存储器620协同操作。处理器610可能执行存储器620中存储的计算机程序。可选的，所述至少一个存储器620也可与处理器610集成在一起。
可选的，在实际应用中，图像处理装置600中可以包括收发器630也可不包括收发器630，图中以虚线框来示意，图像处理装置600可以通过收发器630和其它设备进行信息交互。收发器630可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。
在一种可能的实施方式中，该图像处理装置600可以应用于前述的视频编码装置，也可以是前述的视频解码装置。存储器620保存实施上述任一实施例中的视频编码装置或视频解码装置的功能的必要计算机程序、程序指令和/或数据。所述处理器610可执行所述存储器620存储的计算机程序，完成上述任一实施例中的方法。
本申请实施例中不限定上述收发器630、处理器610以及存储器620之间的具体连接介质。本申请实施例在图6中以存储器620、处理器610以及收发器630之间通过总线连接，总线在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实施或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中，存储器可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实施存储功能的装置，用于存储计算机程序、程序指令和/或数据。
基于以上实施例，参见图7，本申请实施例还提供另一种图像处理装置700，包括：接口电路710和逻辑电路720；接口电路710，可以理解为输入输出接口，可用于执行与上述图5示意的输入输出单元或如图6示意的收发器同样的操作步骤，本申请在此不再赘述。逻辑电路720可用于运行所述代码指令以执行上述任一实施例中的方法，可以理解成上述图5中的处理单元或图6中的处理器，可以实现处理单元或处理器同样的功能，本申请在此不再赘述。
基于以上实施例，本申请实施例还提供一种可读存储介质，该可读存储介质存储有指令，当所述指令被执行时，使上述任一实施例中安全检测方法执行的方法被实施。该可读存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (21)

1.一种视频编码方法，其特征在于，包括：
获取源数据，所述源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；
根据所述第一SDR码流的重构数据与所述第一HDR数据对应关系，将所述第一SDR码流的重构数据映射成第二HDR数据；
确定所述第二HDR数据与所述第一HDR数据的目标残差值，其中，所述目标残差值的位宽小于或等于第一位宽，所述第一位宽为第一SDR视频编码成所述第一SDR码流采用的数据位宽；
将所述对应关系以及所述目标残差值进行编码处理，确定预设数据；
传输添加所述预设数据的所述第一SDR码流。
2.根据权利要求1所述的方法，其特征在于，所述对应关系，通过如下方式确定：
确定所述重构数据与所述第一HDR数据的第一平均值；所述第一平均值为根据所述重构数据与所述第一HDR数据的第一位置的像素点的预设参数确定；
将所述重构数据与所述第一HDR数据分成多个图像块；所述图像块的个数和位置相同；
确定所述重构数据与所述第一HDR数据的各图像块对应的第二平均值；
根据所述第一平均值或所述第二平均值确定所述对应关系。
3.根据权利要求2所述的方法，其特征在于，所述预设参数为灰度值，或RGB值，或YUV值。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述确定所述第二HDR数据与所述第一HDR数据的目标残差值，包括：
将所述第二HDR数据与所述第一HDR数据相减，确定初始残差值；
根据所述初始残差值的取值范围的分布确定残差映射方式以及钳位方式；
根据所述残差映射方式以及所述钳位方式将所述初始残差值映射成位宽小于或等于所述第一位宽的目标残差值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述初始残差值的取值范围的分布确定残差映射方式以及钳位方式，包括：
根据所述初始残差值的取值确定直方图；
确定所述直方图中心位置对应的残差值的取值；
根据所述直方图中心位置对应的残差值的取值、所述第一位宽确定第一取值范围；
根据所述初始残差值的取值范围的分布，确定位于所述第一取值范围的初始残差的目标比例值；
将位于所述第一取值范围的初始残差进行残差映射，不位于所述第一取值范围的初始残差进行钳位处理。
6.根据权利要求5所述的方法，其特征在于，所述根据所述残差映射方式以及所述钳位方式将所述初始残差值映射成位宽小于或等于所述第一位宽的目标残差值，包括：
根据所述目标比例值以及所述直方图中心位置对应的残差值的取值，确定第一残差值和第二残差值；所述第一残差值小于所述直方图中心位置对应的残差值；所述第二残值大于所述直方图中心位置对应的残差值；所述第一残差值至少为1个；所述第二残差值至少为1个；所述第一残差值与所述直方图中心位置对应的残差值对应第一比例值；所述第二残差值与所述直方图中心位置对应的残差值对应第二比例值；所述第一比例值与所述第二比例值的和为所述目标比例值；
将所述位于所述第一残差值和所述第二残差值之间的初始残差值映射成目标残差值，将不位于所述第一残差值和所述第二残差值之间的初始残差值钳位处理成预设值。
7.一种视频解码方法，其特征在于，包括：
接收第一SDR码流；所述第一SDR码流中包括预设数据；所述预设数据是通过对应关系和目标残差值编码处理得到的；
根据所述对应关系将所述第一SDR码流的重构数据映射成第二HDR数据；
根据所述目标残差值和所述第二HDR数据，确定第一HDR数据。
8.根据权利要求7所述的方法，其特征在于，所述预设数据还包括：残差映射方式以及钳位方式。
9.根据权利要8所述的方法，其特征在于，所述根据所述目标残差值和所述第二HDR数据，确定第一HDR数据，包括：
根据所述残差映射方式、所述钳位方式、所述目标残差值以及第一位宽，确定第一残差值和第二残差值；
根据所述第一残差值、所述第二残差值以及所述钳位方式确定初始残差值；所述初始残差值的位宽大于或等于所述第一位宽；
根据所述初始残差值以及所述第二HDR数据，确定所述第一HDR数据。
10.一种视频编码装置，其特征在于，包括：
处理单元，用于获取源数据，所述源数据包括针对同一视频数据的第一高动态范围HDR数据和第一标准动态范围SDR码流；以及根据所述第一SDR码流的重构数据与所述第一HDR数据对应关系，将所述第一SDR码流的重构数据映射成第二HDR数据；确定所述第二HDR数据与所述第一HDR数据的目标残差值；所述目标残差值的位宽小于或等于第一位宽；所述第一位宽为第一SDR视频编码成所述第一SDR码流采用的数据位宽；将所述对应关系以及所述目标残差值进行编码处理，确定预设数据；
输入输出单元，用于传输添加所述预设数据的所述第一SDR码流。
11.根据权利要求10所述的装置，其特征在于，所述对应关系，通过如下方式确定：
确定所述重构数据与所述第一HDR数据的第一平均值；所述第一平均值为根据所述重构数据与所述第一HDR数据的第一位置的像素点的预设参数确定；
将所述重构数据与所述第一HDR数据分成多个图像块；所述图像块的个数和位置相同；
确定所述重构数据与所述第一HDR数据的各图像块对应的第二平均值；
根据所述第一平均值或所述第二平均值确定所述对应关系。
12.根据权利要求11所述的装置，其特征在于，所述预设参数为灰度值，或RGB值，或YUV值。
13.根据权利要求10-12中任一所述的装置，其特征在于，所述处理单元，具体用于：
将所述第二HDR数据与所述第一HDR数据相减，确定初始残差值；
根据所述初始残差值的取值范围的分布确定残差映射方式以及钳位方式；
根据所述残差映射方式以及所述钳位方式将所述初始残差值映射成位宽小于或等于所述第一位宽的目标残差值。
14.根据权利要求13所述的装置，其特征在于，所述处理单元，具体用于：
根据所述初始残差值的取值确定直方图；
确定所述直方图中心位置对应的残差值的取值；
根据所述直方图中心位置对应的残差值的取值、所述第一位宽确定第一取值范围；
根据所述初始残差值的取值范围的分布，确定位于所述第一取值范围的初始残差的目标比例值；
将位于所述第一取值范围的初始残差进行残差映射，不位于所述第一取值范围的初始残差进行钳位处理。
15.根据权利要求14所述的装置，其特征在于，所述处理单元，具体用于：
根据所述目标比例值以及所述直方图中心位置对应的残差值的取值，确定第一残差值和第二残差值；所述第一残差值小于所述直方图中心位置对应的残差值；所述第二残值大于所述直方图中心位置对应的残差值；所述第一残差值至少为1个；所述第二残差值至少为1个；所述第一残差值与所述直方图中心位置对应的残差值对应第一比例值；所述第二残差值与所述直方图中心位置对应的残差值对应第二比例值；所述第一比例值与所述第二比例值的和为所述目标比例值；
将所述位于所述第一残差值和所述第二残差值之间的初始残差值映射成目标残差值，将不位于所述第一残差值和所述第二残差值之间的初始残差值钳位处理成预设值。
16.一种视频解码装置，其特征在于，包括：
输入输出单元，用于接收第一SDR码流；所述第一SDR码流中包括预设数据；所述预设数据是通过对应关系和目标残差值编码处理得到的；
处理单元，用于根据所述对应关系将所述第一SDR码流的重构数据映射成第二HDR数据；根据所述目标残差值和所述第二HDR数据，确定第一HDR数据。
17.根据权利要求16所述的装置，其特征在于，所述预设数据还包括：残差映射方式以及钳位方式。
18.根据权利要16所述的装置，其特征在于，所述处理单元，具体用于：
根据所述残差映射方式、所述钳位方式、所述目标残差值以及第一位宽，确定第一残差值和第二残差值；
根据所述第一残差值、所述第二残差值以及所述钳位方式确定初始残差值；所述初始残差值的位宽大于或等于所述第一位宽；
根据所述初始残差值以及所述第二HDR数据，确定所述第一HDR数据。
19.一种视频编码装置，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1-6任一项所述的方法。
20.一种视频解码装置，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求7-9任一项所述的方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码包括用于处理器执行如权利要求1-9任一项所述方法的指令。
CN202111082879.5A 2021-09-15 2021-09-15 一种视频编码、解码方法及装置 Pending CN115811616A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202111082879.5A CN115811616A (zh) 2021-09-15 2021-09-15 一种视频编码、解码方法及装置
TW111133827A TWI847256B (zh) 2021-09-15 2022-09-07 一種視訊編碼、解碼方法及裝置
EP22869122.6A EP4391546A1 (en) 2021-09-15 2022-09-08 Video encoding method and apparatus, and video decoding method and apparatus
PCT/CN2022/117938 WO2023040753A1 (zh) 2021-09-15 2022-09-08 一种视频编码、解码方法及装置
KR1020247011327A KR20240055819A (ko) 2021-09-15 2022-09-08 비디오 인코딩 방법과 장치, 및 비디오 디코딩 방법과 장치
US18/604,710 US20240223818A1 (en) 2021-09-15 2024-03-14 Video encoding method, video decoding method, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082879.5A CN115811616A (zh) 2021-09-15 2021-09-15 一种视频编码、解码方法及装置

Publications (1)

Publication Number Publication Date
CN115811616A true CN115811616A (zh) 2023-03-17

Family

ID=85482097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082879.5A Pending CN115811616A (zh) 2021-09-15 2021-09-15 一种视频编码、解码方法及装置

Country Status (5)

Country Link
US (1) US20240223818A1 (zh)
EP (1) EP4391546A1 (zh)
KR (1) KR20240055819A (zh)
CN (1) CN115811616A (zh)
WO (1) WO2023040753A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118093493B (zh) * 2024-04-23 2024-08-13 北京集创北方科技股份有限公司 数据处理装置、处理方法、处理系统、显示装置及芯片

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2988499B1 (en) * 2006-01-23 2017-03-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
EP3070934A4 (en) * 2013-11-13 2017-03-29 LG Electronics Inc. Broadcast signal transmission method and apparatus for providing hdr broadcast service
JP6710970B2 (ja) * 2015-12-28 2020-06-17 ソニー株式会社 送信装置および送信方法
US20190080440A1 (en) * 2017-09-08 2019-03-14 Interdigital Vc Holdings, Inc. Apparatus and method to convert image data
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Also Published As

Publication number Publication date
WO2023040753A1 (zh) 2023-03-23
TW202315399A (zh) 2023-04-01
EP4391546A1 (en) 2024-06-26
KR20240055819A (ko) 2024-04-29
US20240223818A1 (en) 2024-07-04

Similar Documents

Publication Publication Date Title
US9729818B2 (en) Adaptive post-processing for mobile video calling system
US20090219985A1 (en) Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
KR101336127B1 (ko) 이미지를 회전시키기 위한 장치 및 방법
US8675984B2 (en) Merging multiple exposed images in transform domain
GB2586484A (en) A filter
RU2726290C2 (ru) Способ и устройство для тонального отображения изображения посредством использования параметрической функции тональной регулировки
US10616498B2 (en) High dynamic range video capture control for video transmission
CN111327903A (zh) 色度块的预测方法和装置
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
CN112351280B (zh) 视频编码方法、装置、电子设备及可读存储介质
EP2920970A1 (en) Method and apparatus for prediction value derivation in intra coding
US20240223818A1 (en) Video encoding method, video decoding method, and apparatus
CN116711317A (zh) 用于图像处理的高动态范围技术选择
WO2014166423A1 (en) Method and apparatus for direct simplified depth coding
CN106412595B (zh) 用于编码高动态范围帧以及施加的低动态范围帧的方法和设备
WO2016197323A1 (zh) 视频编解码方法和视频编解码器
CN113489993A (zh) 编码方法、装置、编码器、设备及计算机可读存储介质
TWI847256B (zh) 一種視訊編碼、解碼方法及裝置
US10652538B2 (en) Video encoding method and system
JP2024531676A (ja) ビデオエンコーディング方法、ビデオデコーディング方法、ビデオエンコーディング装置、ビデオデコーディング装置、及びコンピュータプログラム
US11076167B2 (en) Device and method for coding video data
WO2024051331A1 (zh) 图像编解码方法、装置、编码器、解码器和系统
WO2024051329A1 (zh) 图像编解码方法、装置、编码器、解码器和系统
WO2024051328A1 (zh) 图像编解码方法、装置、编码器、解码器和系统
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination