CN113170218B - 具有多级增强和可调编码格式的视频信号增强解码器 - Google Patents

具有多级增强和可调编码格式的视频信号增强解码器 Download PDF

Info

Publication number
CN113170218B
CN113170218B CN201980081088.5A CN201980081088A CN113170218B CN 113170218 B CN113170218 B CN 113170218B CN 201980081088 A CN201980081088 A CN 201980081088A CN 113170218 B CN113170218 B CN 113170218B
Authority
CN
China
Prior art keywords
signal
decoder
enhancement
data
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980081088.5A
Other languages
English (en)
Other versions
CN113170218A (zh
Inventor
西蒙妮·费拉拉
圭多·梅尔迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V Nova International Ltd
Original Assignee
V Nova International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1816469.9A external-priority patent/GB201816469D0/en
Priority claimed from GBGB1820473.5A external-priority patent/GB201820473D0/en
Priority claimed from GBGB1900511.5A external-priority patent/GB201900511D0/en
Priority claimed from GBGB1902008.0A external-priority patent/GB201902008D0/en
Application filed by V Nova International Ltd filed Critical V Nova International Ltd
Priority to CN202310865288.8A priority Critical patent/CN116668742A/zh
Publication of CN113170218A publication Critical patent/CN113170218A/zh
Application granted granted Critical
Publication of CN113170218B publication Critical patent/CN113170218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Color Television Systems (AREA)

Abstract

一种用于视频信号的增强解码器，包括：利用来自标准解码器的第一信号元素编码格式来接收第一视频流(1150)的接口；用于接收增强数据流的接口；用于将增强数据流分解为第一组增强数据、第二组增强数据和范围数据的解复用器(200)。第一增强器利用第一组增强数据来增强从第一视频流导出的第一分辨率的第一解码器视频流。上采样器将从第一增强器的输出导出的第二解码器视频流转换到第二分辨率，第二分辨率高于第一分辨率。第二增强器利用第二组增强数据来增强从上采样器的输出导出的第二分辨率的第三解码器视频流。编码格式调整模块利用范围数据将第一至第三解码器视频流中的一个从第一信号元素编码格式转换到第二信号元素编码格式。

Description

具有多级增强和可调编码格式的视频信号增强解码器
技术领域
本发明涉及用于处理信号的方法，特别是处理视频信号的方法。对信号的处理可以包括但不限于获取、导出、输出、接收和重构数据，例如用于增加视频信号中的动态颜色范围的数据。
背景技术
技术进步意味着有众多不同的处理信号的技术和方法，尤其是用于信号的压缩、存储和传输。例如，多年来，已经开发了许多编码图片和视频信号以压缩信息的方法。这有益于减少借助无线地面广播、有线广播、卫星广播或借助因特网或其它数据网络的任何传输路径的存储需求和带宽需求。随着技术的进步，已经开发了更复杂的压缩和传输方法。人们需要更高质量的信号，例如，需要具有更高的视频分辨率的信号(表现为每帧更多的像素点或每秒更高的帧数)。因此，存在多种信号格式，并且众多类型的信号编码器和解码器也许能够或也许不能够使用那些格式的信号。这给内容创建者和发行者带来了问题，因为他们希望确保其内容能提供给最广泛的受众。因此，创建者和发行者必需以许多不同的编码格式提供其内容，例如，使用MPEG-2、MPEG-4Part 10、高效视频编码(HEVC)等标准编码技术进行编码。另外，标准和非标准的广播和流媒体技术也促进了编码信号的分流。总之，这造成了复杂状况，增加了内容发行者的成本，并且由于仍然很普遍旧的技术(例如，传统的解码器和机顶盒)缺乏兼容性，采用更新更好的技术会更加困难。
高动态范围(HDR)视频展示了通过增加一个维度的质量改进来传输更高质量视频的潜力，即除了提高分辨率(即每帧更多像素点)和提高运动保真度(即每秒更多帧)之外，运营商还可以增加动态范围(即更大的亮度范围和更多的色调，从而使对比度和颜色更生动)。HDR显示器的广泛使用使HDR视频变得越来越重要。
高动态范围(HDR)通常指的是比标准动态范围(SDR)更高的亮度和/或颜色范围，后者使用常规的伽玛曲线来代表各种颜色。HDR通常通过更改最亮和最暗颜色的值以及使用不同的颜色平面(通常从标准颜色平面扩展到更宽的色域平面)来工作。
当前市场上存在多种HDR实施方式，通常需要颜色分量(例如亮度Y和色度Cb和Cr)的10位(甚至更高的位深度)表示，以具有足够大的可用值范围。该类HDR实施方式的其中一种是HDR10，它利用视频信号中的静态元数据调整视频流中表示的亮度和颜色的范围。这样，单个HDR设置将被应用于整个视频序列。使用动态元数据的不同实施方式具有不同的商业名称，例如HDR10+或Vision。通过动态元数据，可以逐帧地更改HDR设置，从而允许更大的粒度和对场景变化更好的适应性。
然而，HDR视频的传输目前需要能够解码本地10位视频格式的解码器，例如HEVC。这需要经常重复视频工作流程，因为大多数运营商需要继续为他们的大部分客户群提供服务，而这些客户群仅拥有能够解码8位AVC/H.264视频的传统设备。同样，这也阻止了运营商使用8位格式的HDR，例如VP9。此外，HDR所需的色调映射不一定是优化压缩效率的最佳选择。有关这方面的更多信息，请参考以下论文：A.Banitalebi-Dehkordi、M.Azimi，M.T.Pourazad和P.Nasiopoulos，“利用HEVC和H.264/AVC标准压缩高动态范围视频”，关于异构网络质量、可靠性、安全性和鲁棒性的第十届国际会议，罗得岛，2014年，第8-12页。
较新的编码标准，尤其是与HDR相关的标准或技术，与无法轻易替换或升级的传统解码设备不兼容是一个普遍的问题。另一个普遍问题是传输信号的可用带宽有限。还有一个普遍问题是，内容发行者在创建和维护以不同方式编码的相同内容的多个版本时，会产生处理和存储的开销，并且这一问题由于引入了几种互相竞争的和广泛不兼容的HDR类型信号(即那些可能具有更大亮度范围和对比度的信号，和/或那些包含表示较宽色域信息的信号)的编码技术而变得更加严重。
本公开旨在解决上述一个或多个问题。
发明内容
在本公开中，描述了如何以分层编码方案组合HDR类型的信息，以解决上述一个或多个问题。特别地，本发明的目的是提供这样的编码和解码方案，其允许分层信号被编码、传输和解码，从而使HDR类型的信号能够通过与HDR兼容的显示设备呈现给用户；或者当一个或多个解码器技术或相关的显示设备无法处理HDR类型的信息时，能够向用户呈现非HDR的等效信号。特别地，本发明的目的是提供更简洁更有效的方法。本发明的目的是在可能的情况下提供包括HDR类型解码和SDR类型编码所需的所有信息的复合编码视频流；以及在以下方面提供灵活性，即HDR类型解码所需的信息是否流向解码器；或是否在解码器上使用HDR类型解码所需的信息(例如，可以忽略或丢弃该信息)。
提供了根据所附权利要求所述的装置、方法、计算机程序和计算机可读存储介质或数据载体。
根据本发明的一个方面，提供了一种用于视频信号的增强解码器。所述增强解码器包括用于从标准解码器接收第一视频流的接口，其中所述第一视频流使用第一信号元素编码格式。所述增强解码器还包括用于接收增强数据流的接口，以及用于将增强数据流分解为第一组增强数据、第二组增强数据和范围数据的解复用器。通过此方式，提供了向后兼容性。
所述增强解码器包括第一增强器，其利用所述第一组增强数据增强第一分辨率的第一解码器视频流，其中所述第一解码器视频流导出自所述第一视频流；以及上采样器，其将从所述第一增强器的输出导出的第二解码器视频流转换为第二分辨率，所述第二分辨率高于所述第一分辨率。
所述增强解码器还包括第二增强器，其利用所述第二组增强数据增强所述第二分辨率的第三解码器视频流，其中所述第三解码器视频流导出自所述上采样器的输出。
所述增强解码器还包括编码格式调整模块，其利用范围数据将所述第一至第三解码器视频流中之一从所述第一信号元素编码格式转换到第二信号元素编码格式。通过此方法可以提供更高质量的信号。
从标准解码器接收的所述第一视频流处于第一质量等级，所述第二信号元素编码格式可以提供第二质量等级，其中所述第二质量等级高于所述第一质量等级。
所述第一信号元素编码格式可以是标准动态范围SDR格式，所述第二信号元素格式可以是高动态范围HDR格式。所述HDR格式可以具有比所述SDR格式更高的亮度和/或更宽的颜色范围。
优选地，其中，所述编码格式调整模块被配置为：响应于在所述增强数据流中不存在范围数据，输出没有转换成所述第二信号元素编码格式的视频流。通过此方式，提供了向后兼容性。
可选地，所述编码格式调整模块可被配置为接收所述第一视频流并输出所述第一解码器视频流。
可选地，所述编码格式调整模块可被配置为接收所述第一增强器的输出并输出所述第二解码器视频流。
可选地，所述编码格式调整模块可被配置为接收所述上采样器的输出并输出所述第三解码器视频流。
所述第一信号元素编码格式可以使用第一比特长度，所述第二信号元素编码格式可以使用第二比特长度，所述第二比特长度可以长于所述第一比特长度。
所述上采样器可以包括编码格式调整模块。
所述上采样器可以将上采样操作与编码格式转换操作相结合。
可选地，所述第一组增强数据和所述第二组增强数据中的一个或多个可以包括残差数据，所述残差数据表示两个相应视频信号之间的差。
可选地，所述第一增强器和所述第二增强器中的一个或多个可以被配置为对所述第一组增强数据和所述第二组增强数据的各自数据组内的残差数据进行解码，并将所述残差数据与相应的输入解码器视频流相结合以输出增强的视频流。
所述标准解码器可以解码第一数据流以输出所述第一视频流，其中所述标准解码器实施符合标准的第一解码方案，所述第一解码方案不同于所述增强解码器实施的第二解码方案。
所述第一视频流可以包括视频片段中的所有帧。
所述第一增强器、所述第一上采样器、所述第二增强器和所述编码格式调整模块均可以在每一帧上进行操作。
从所述第一信号元素编码格式转换到所述第二信号元素编码格式的步骤可以是非线性的。
从所述第一信号元素编码格式转换到所述第二信号元素编码格式的步骤可以是非预测性的。
还提供了一种方法，所述方法实现了以上详述的增强解码器的功能。
优选地，其中利用范围数据将所述第一至第三解码器视频流中之一从所述第一信号元素编码格式转换到第二信号元素编码格式的步骤包括将所述第二解码器视频流转换到所述第三解码器视频流，并且所述步骤在上采样时执行。
还提供了一种计算机程序，适于执行如上详述的增强解码方法。
还提供了一种计算机可读存储介质或数据载体，包括适于执行如上详述的增强解码方法的计算机程序。
附图说明
现在将参考附图仅以示例的方式描述本发明，其中：
图1示出了用于对信号进行编码及解码的示例性系统；
图2示出了根据第一示例的解码系统的示例；
图3示出了根据第一示例的第一变型的解码器的示例；
图4示出了根据第一示例的第二变型的解码器的示例；
图5示出了根据第一示例的第三变型的解码器的示例；
图6示出了计算机系统的示例；
图7示出了根据第二示例的编码系统及方法的示例；
图8示出了根据第二示例的解码系统及方法的示例；
图9示出了根据第三示例的编码系统的示例；
图10示出了根据第三示例的解码系统的示例；
图11示出了根据第一示例的编码系统的示例；
图12示出了根据第四示例的编码系统的示例；
图13示出了根据第四示例的第一变型的编码系统的示例；并且
图14示出了对应于第一变型的解码系统的示例。
具体实施方式
下面给出了一些定义，以帮助读者理解本文中所使用的术语。
作为非限制性示例，信号可以为图像、音频信号、多信道音频信号、视频信号、多视角视频信号(如3D视频)、体积信号(如医学成像、科学成像、全息成像等)、体积视频信号，或甚至多于四个维度的信号。
广义而言，视频被定义为移动图像的记录、再现或广播。视频信号由一系列单帧组成，每一帧可以通过编码/解码方法被单独压缩。
编码是一个过程，涉及将信息从一种格式转换为另一种格式，以便将信息有效地从一个源传输到另一个源，或存储该信息。待编码信息可以为原始视频，其中通常包含大量无法以原始形式传输的数据。因此，将原始视频进行编码或压缩，以使原始视频内容在传输时需要的空间更少。解码是编码的逆过程，包括将编码信息转换(解压缩)为原始的传输前的格式。编码和解码可以是无损的或有损的。
对于视频信号，特别是与HDR视频相关的信号，具有有限色彩容量(即，不提供相关HDR标准所需的峰值亮度/对比度和色域)的消费类显示器，SMPTE定义了元数据，用于描述元数据在母版显示器上出现时的场景。SMPTE ST 2086“支持高亮度和宽色域图像的母版显示器色彩容量元数据”描述了静态数据，如MaxFALL(最大帧平均亮度水平)和MaxCLL(最大内容亮度水平)。SMPTE ST 2094“用于高亮度和宽色域图像的色彩容量变换的内容相关元数据”包括可随场景变化的动态元数据。这包括ST 2094-10(杜比视觉格式)、色彩容量重构信息(CVRI)、SMPTE ST 2094-20(飞利浦格式)和ST 2094-30(彩色印片格式)中定义的颜色重映射信息(CRI)以及HDR10+ST 2094-40(三星格式)。辅助数据可以包含或包括这里描述的元数据，并且附加增强信息(例如残差信息)可以是任何辅助数据的一部分。
视频内容可以以规定的一个(或多个)质量等级进行传输，视频质量等级例如可以通过特定的空间分辨率或帧率或峰值信噪比(PSNR)定义。质量等级可能受到承载视频内容的传输通道的限制。例如，现有的解码硬件可以将信号解码至给定的分辨率和/或帧速率(第一质量等级)。可以使用计算解码方法来重构至少一个附加质量等级。无法被更新以执行高于第一质量等级的解码的传统解码设备，将简单地以第一质量等级对信号进行解码，并忽略附加增强数据。
信号的位深度与用于传送特定值的位数有关。在视频中，位深度(有时称为颜色深度)与表示图像内像素的颜色分量(例如亮度Y和色度Cb和Cr)相关，具体来说，定义了图像中可存储的亮度级别的数量和颜色的数量。位深度小于或等于8位的图像被视为标准动态范围的图像，位深度大于8位的图像可被视为高动态范围或增强动态范围的图像。
图像分辨率可视为对可用信息量的度量。视频分辨率本质上是对某一特定图像可见信息量的基本度量。空间视频分辨率通常由显示设备的每个维度可显示的像素数来定义，并且通常提供为显示设备的宽度与显示设备的高度相对照。例如，全高清信号表示为1920x 1080像素，或者更常见地是简单的1080p。UHD信号通常可以具有3840×2160像素的帧分辨率，通常更简单地称为4K分辨率。UHD信号也可以具有8K分辨率(例如7680×4320像素)。同样地，视频信号中可能存在额外的时间分辨率，例如，视频信号可以有多种帧率，例如每秒25、30、50、60、100和120帧。
上采样过程包括将信号或信号序列的较低分辨率版本转换为信号的较高分辨率版本，以提高信号质量。上采样生成序列的近似值，这是通过以较高速率对信号进行采样而获得的，并且通常由解码器对编码数据执行上采样。可以在空间上(即在像素分辨率上)或时间上(即在帧率上)执行上采样。
相反，下采样生成序列的近似值，这是通过以较低速率对信号进行采样而获得的，从而得到信号的较低分辨率版本。
颜色空间可以定义为一组颜色的数学表示，其允许再现特定的颜色。数字图像和视频表示中最常用的两种颜色空间是RGB(红/绿/蓝)和YCrCb(亮度/红色度/蓝色度)。可以将颜色空间更广泛地定义为由推荐标准ITU-R BT 709、2020、2100、2390中的一个或更多个来定义，这些推荐标准提供了颜色定义的更多细节，包括如何在视频中表示诸如像素的图像元素的规范，并且在一些情况下还包括和定义信号的以下属性参数：采样模式(例如4：4：4到4：2：2)；位深度；亮度分量的动态范围；色域；使用的电光传递函数模型；最低亮度级别(例如黑色级别)；以及最高亮度级别(例如白色级别)。
应该注意的是，以下示例是在具有视频内容的信号上执行的。该视频内容包括帧，可以在每个视频片段内的每个帧上(即，在连续帧上)执行任何处理。在一些示例中，可以以不同的方式处理部分帧，以相同方式处理所有帧的优点在于减少了对帧计数和信令的需求，并且大大减少了管理帧内编码参考帧的需求。
图1示出了本专利申请中描述的用于对信号进行编码及解码的示例性系统。特别地，原始信号100由编码器1100编码。数据流1150由该编码器生成，并被发送至解码器1200-0至1200-N。该数据流可被分割，并且数据流1150的各部分被发送至解码器。每个解码器解码其各自的数据流部分，并获得#0级别至#N级别的重构信号。通过处理并组合不同级别的重构信号以获得单一的信号，从而得到最终信号。不同解码器可以接收数据流的不同部分，并以不同的质量级别重构信号。解码器可以解码并输出不同的质量级别。
图2示出了本专利申请中描述的解码系统的示例。特别地，由多个解码器1200-0至1200-1接收数据流1150。数据流1150可以由符合标准的数据流(例如，符合诸如AVC、HEVC、VVC等标准的编解码器和非标准编解码器)以及辅助数据流形成。将第一子流馈送至第一解码器1200-1，第一解码器1200-1将数据流分割成数据流220，数据流220被馈送至标准解码器230以生成较低质量视频240。增强解码器270将较低质量视频240与数据流210一起进行处理，以生成输出视频SDR 280，即具有SDR的视频输出。在这种情况下，输出视频SDR可以对应于处理(例如，上采样)后的较低质量视频240，但是没有由数据流210添加的任何附加信息(例如，在解码器1200-1不能解读数据流210的情况下)，或者对应于用来自数据流210的附加信息处理之后的较低质量视频240(例如，组合流)，然后将组合流按顺序下采样至SDR分辨率，以适应例如仅能够显示SDR视频的电视或显示器。将第二子流馈送至第二解码器1200-0，第二解码器1200-0将数据流分割成数据流220，数据流220被馈送至标准解码器230以生成较低质量视频240。增强解码器250将较低质量视频240与数据流210一起进行处理，以生成输出视频HDR 260。
在图1和图2中，在解码模块1200-0、1200-N处接收数据流。数据流可以是包括与诸如协议标准(例如，DASH、HLS等)和/或编码标准(例如，诸如AVC、HEVC、VVC等的MPEG标准，或诸如VP9、AV1、VC-6等的其他编解码器格式)兼容的数据的流。然后，通过解复用模块将数据流分割为两个(或多个)独立的流。将第一流传递至解码模块，该解码模块基于第一解码方案进行解码，例如基于标准的方案(例如，AVC、HEVC、VVC、VC-6等)或基于非标准的方案(例如，VP9、AV1等)。将第一解码模块的输出(例如，第一解码视频信号)传递至第二解码模块，该第二解码模块根据第二解码方案进行解码。第二解码模块还接收某些辅助数据流，该辅助数据流在与第一解码模块的输出一起处理时，会生成一个增强解码视频信号。
在一个示例中，第一解码方案与第二解码方案相同。
在另一个示例中，第一解码方案不同于第二解码方案。第二解码方案还可以包括诸如上采样、残差去量化、残差变换、添加来自运动补偿帧缓冲器的残差、后处理等操作。从下面的进一步描述中可以明显看出，残差信息例如是通过将参考信号与参考信号的重构版本进行比较而生成的差信号。
在一些示例中，辅助数据流还包含某些元数据(静态或动态)，例如重构HDR信号所需的元数据。该元数据可以与第一解码模块的输出和辅助数据流中的其他数据一起由第二解码模块处理，以便生成增强HDR解码视频信号。元数据可以包括用于指定HDR信息的范围的范围信息，并且可以包含用于确保HDR信号在显示器上以逐标题、逐场景或逐帧方式正确再现的信息。辅助数据流也可以包含残差信息。
在一些示例中，第一解码模块重构较低位深度(例如，8位)的信号，第二解码模块将该信号转换为较高位深度(例如，10位)的信号，这适合于HDR。在一个示例中，第二解码模块能够感测解码设备是否不能显示较高位深度(例如，10位)的HDR图片，在不能的情况下，其解码并显示较低位深度(例如，8位)的信号。
在一些示例中，第二解码模块将调整值范围所必须的处理与从第一(较低)质量级别对输出信号进行重构所需的其他处理相结合。在一个示例中，上采样操作与范围调整相结合，以避免多次接触内存缓冲区，从而内存访问以及必要的内存带宽都会减少。例如，其他处理包括上采样和/或添加残差数据，以从上采样后的较低质量级别转换至较高质量级别。
在一些示例中，第一解码模块重构信号的较低分辨率再现。然后，第二解码模块将HDR调整应用于信号的较低分辨率重构。在HDR调整之后，第二编码模块进一步处理信号和其他辅助数据，以便获得更高分辨率和/或更高质量的信号。
在一些示例中，编码器接收高位深度(例如，10位)的HDR源信号，对源信号进行下采样，并调整下采样后的再现，以便获得低位深度(例如，8位)的SDR信号。用第一编解码器处理SDR信号，以获得第一编码数据集。将第一编解码器的解码输出转换为更高位深度的HDR信号，然后由第二编码器模块处理该信号，以生成第二编码数据集。第二编码数据集包含附加辅助数据，该附加辅助数据用于重构原始源信号的全分辨率重构再现。
在一些示例中，编码器在下采样操作之前或之后处理高位深度HDR信号。例如，高位深度HDR信号可以在颜色空间中表示，例如推荐标准ITU-R BT.2020、推荐标准ITU-RBT.2100或类似标准中定义的颜色空间，它们通过引用并入本文。通过背景介绍，推荐标准2100包括可用于HDR信号的两个传递函数定义，即：感知量化器(PQ)，其先前被标准化为SMPTE ST 2084(通过引用并入本文)；以及混合对数型伽玛(HLG)，其先前被标准化为ARIBSTD-B67(通过引用并入本文)。具有10位颜色位深度的PQ方案也称为HDR10。(https://en.wikipedia.org/wiki/Rec._2020-cite_note-HDRCompatibleCEA2015-49)同样地，具有10位颜色位深度的HLG方案也称为HLG10。
可以在下采样之前或之后处理HDR信号，以将其转换至不同颜色空间，例如在推荐标准ITU-R 709或类似标准中定义的颜色空间(通过引用并入本文)。例如，这种转换可以使生成的信号是低位深度(例如，8位)的SDR信号。然后，该信号可以由上述的第一编码模块使用。
相反，在上采样操作之前或之后，第一编解码器的解码输出从第一颜色空间(例如，BT.709)转换至第二颜色空间(例如，BT.2020或BT.2100)，以生成高位深度HDR信号(例如，10位)。然后，可以由上述的第二编码器模块对该信号进行处理。
在一些示例中，第一解码模块接收第一编码信号并重构该信号的较低分辨率再现，例如该信号也是低位深度(例如，8位)的SDR信号。SDR信号可以在第一颜色空间(例如，BT.709)中表示，并且在上采样操作之前或之后转换至第二颜色空间(例如，BT.2020或BT.2100)以得到更高分辨率再现，从而以更高分辨率生成例如高位深度(例如，10位)的HDR信号。第二编码信号由第二解码模块解码以生成调整信号或残差信号。然后，第二解码模块可以进一步利用调整信号处理HDR信号，以生成调整后的HDR信号。在调整之后，第二编码模块进一步处理信号和其他辅助数据，以便获得更高分辨率和/或更高质量的信号。
可以使用本领域已知的方法进行转换，例如包含在推荐标准ITU-R BT.2407和ITU-R BT.2087中的方法，这些方法通过引用并入本文。还使用了查找表(LUTs)和/或其他已知方法(例如，ITU-R BT.2408-0报告或BBR R&D许可的HLG查找表，均通过引用并入本文)支持颜色空间之间的转换。
在另一个例子中，在进行下采样过程之前，例如通过执行颜色转换，将源信号调整并转换为较低位深度的SDR信号。
图3示出了根据第一示例的解码器的示例。解复用器300将数据流210分割为三个不同的流，即HDR流或范围数据310、第一组增强数据330以及第二组增强数据360。将HDR范围数据310馈送至HDR调整模块320，并与较低质量视频240相结合，以生成第一输出流。将第一输出流馈送至第一增强器340，并与第一组增强数据330一起进行处理，以生成第二输出流。最终，将第二输出流馈送至上采样器350，并且由第二增强器370使用第二组增强数据360处理上采样流，以输出视频HDR输出260。注意，如果第一组增强数据330不存在，则直接将第一输出流馈送至上采样器350，而其他步骤保持不变。
图4示出了根据第二示例的解码器的示例。第二示例可视为第一示例的替代示例。解复用器300将数据流210分割为三个不同的流，即HDR流310、第一组增强数据330以及第二组增强数据360。将第一组增强数据330馈送至第一增强器400，并与较低质量视频240相结合以生成第一输出流。将第一输出流馈送至上采样器410，以生成上采样版本，然后将上采样版本与HDR流数据310一起馈送至HDR调整模块420，以生成第二输出流。由第二增强器370使用第二组增强数据360处理第二输出流，以输出视频HDR输出260。注意，如果第一组增强数据330不存在，则将较低质量视频240直接馈送至上采样器410，而其他步骤保持不变。
图5示出了根据第三示例的解码器的示例。第三示例也可作为第一和第二示例中的至少一个的替代示例。解复用器300将数据流210分割为三个不同的流，即HDR流310、第一组增强数据330以及第二组增强数据360。将第一组增强数据330馈送至第一增强器500，并与较低质量视频240相结合，以生成第一输出流。将第一输出流馈送至上采样器510，并与HDR范围数据310一起进行处理，以生成第二输出流。由第二增强器520使用第二组增强数据360处理第二输出流，以输出视频输出280。在这种情况下，将上采样和HDR调整合并在一个操作中。
在图3、4和5的示例中，如果HDR范围数据310、第一组增强数据330和第二组增强数据360中的至少一个不存在于数据流210中，则可以省略使用该数据的相应增强或调整操作。在这些情况下，如果解复用数据流的一部分不存在，则接收处理实体(例如，增强器或HDR调整模块之一)可被配置为通过接收到的视频流。在某些情况下，增强解码器可被配置为通过省略HDR调整操作来输出SDR视频，例如，如果显示设备不能够再现HDR视频。如果需要较低分辨率的输出视频，则可以禁用上采样器和第二增强器。可以通过选择性地控制增强解码器250的组件的操作来配置不同的视频输出。
图6示出了如本专利申请中描述的计算机系统600的例子。如图所示，计算机系统600包括可以在其上实现上述解码器的多个处理器。该计算机系统包括系统总线611、计算机可读存储介质612、至少一个处理器613、输入/输出接口614以及通信接口615。图6示出了通信耦合于输入/输出接口614的输入设备670和存储设备680，以及通过通信接口615通信耦合于至少一个网络690的计算机系统600。计算机可读存储介质612存储有可以至少实现上述增强解码器的信号处理器应用640-1。信号处理器应用640-1可以由至少一个处理器613作为至少一个信号处理器进程640-2来执行。特别有利的是，能够在多个处理器上分发解码以实现并行处理。本文描述的编解码系统及方法能够有效地使用并行处理。
图7示出了本专利申请中描述的编码系统及方法的示例。在编码系统处接收输入信号700，例如高位深度(例如10位或12位，或其他，例如16位或甚至更高)的HDR型信号。然后通过第一颜色转换模块701将输入信号从第一颜色空间(例如，BT.2020或BT.2100)转换至第二颜色空间(例如，BT.709)。其中第一颜色空间不同于第二颜色空间。在转换过程中，可以将信号从原始的高位深度减小至低位深度(例如，8位)的SDR信号。然后，由下采样器对SDR信号进行处理，以从较高分辨率传递至较低分辨率。而后，由第一编码器703对输出信号进行处理。在一个示例中，第一编码器703是基于MPEG标准或类似标准的已知编码模块，并且在一个示例中，该标准是被广泛使用的编码标准，大部分的终端用户解码器将与之兼容，以实现该技术的广泛向后兼容性。
在某些其他示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器703。在这种最基本的情况下，当未进行下采样操作时，分辨率无变化。
第一编码器703的输出是第一编码流710。第一编码流710也可被认为是前面提及的可广泛解码的基层输出，并且可以在与输入信号700不同的颜色空间(并且可选地以较低分辨率)向用户呈现输入信号的再现。不同的颜色空间可以是多种不同格式中的任何一种或多种，也可以由信号的任何一种或多种其他约束条件来定义。在一个示例中，颜色空间可以从RGB颜色空间变为YUV颜色空间，或者从HDR型颜色空间变为SDR型颜色空间。
由第一解码器704对第一编码器703的输出进行进一步解码，然后将输出的解码信号传递至第二颜色转换模块705，以将解码信号从第二颜色空间转换回第一颜色空间。第二颜色转换模块705可以使用与第一颜色空间转换模块701的处理相反的逆处理。使用逆处理或其他处理的优点在于，没有任何信息从第一颜色转换模块701流向第二颜色转换模块705，因为不需要元数据或关于如何执行颜色空间转换705的其他指示。显而易见地，更高级别的编码处理提供了一种可以纠正颜色空间转换中任何错误的方式。接下来，由于采用了更高级别的编码，因此没有必要试图在第一颜色空间中准确或完全预测信号。
另外，在第二颜色转换模块705执行转换期间，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位、12位或更高)，以生成HDR型信号。然后，由706对HDR型信号或经过简单颜色转换的信号进行上采样，并且由第二编码器707对所得上采样HDR型信号与原始输入信号一起进行处理，以生成第二编码流720。
第二编码器707所执行的处理可以生成残差信号，该残差信号表示作为参考信号的输入信号700与作为原始信号700的重构的上采样HDR型信号之间的差。残差信号可用于在解码器处调整相应的上采样HDR型信号，以在解码器处重建原始输入信号700或其近似值。在这种情况下，残差信号解决了由第一编码器703及第一解码器704引入的任何伪像或其他信号差异的问题，换句话说，残差信号对编解码器类型的不准确之处进行了校正。另外，残差信号还校正了由第一和第二颜色空间转换模块701和705执行的颜色空间转换所引入的任何伪像或信号差异。最后，当使用时，残差信号对由下采样器702和上采样器706引入的任何差异也进行了校正。这样，可以做出设计决策以使用上述更简单或更有效的版本。还可使用已知技术对残差信号进行编码。
在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第二编码器707。其中第二编码器707以与以前相同的方式生成残差信号，但是这一次分辨率没有改变。
从图7中可以看出，编码器及相关的编码方法生成第一编码流710。该第一编码流710可以使用符合标准的或其他编码方式进行编码，并且代表第一或基本质量等级的信号。编码器及相关编码方法还生成第二编码流720或增强流，其可以包括用于调整或校正在基本质量等级上的信号的颜色转换版本的残差信息，该残差信息是在解码器处由第一编码流710导出的。除了颜色变化之外，分辨率也可能有变化。所有这些特征单独地和/或共同地生成一个复合信号，该复合信号可以允许颜色空间转换(例如但不限于HDR至SDR转换)，在编码输入信号的可广泛解码版本之上进行编码和解码，从而可以改善信号、降低带宽潜在需求和实现向后兼容中的一项或多项。该架构和结构可以达到优于现有技术的效率。
图8示出了本专利申请中描述的解码系统及方法的示例。第一解码器801接收第一编码流710并对其进行解码，以在第二颜色空间中生成解码信号820，该解码信号820可以是低位深度(例如8位)的SDR型信号。然后，将解码信号820传递至颜色转换模块802，以将其从第二颜色空间转换回第一颜色空间。在转换过程中，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位、12位或更高位)，以生成HDR型信号，该信号是原始HDR型信号在较低分辨率下的重构。然后，上采样器803对转换后的信号(第一颜色空间和/或HDR型)进行上采样，并由第二解码器804对所得到的上采样信号及第二编码流720一起进行处理，以生成最终解码信号810(例如，校正后处于第一颜色空间的信号和/或HDR型信号)。这里，第二编码流720可以包含残差信息，该残差信息可以与上采样HDR型信号相结合(例如相加)以重构原始输入信号700(例如，在编码器处接收的信号)或其近似值。或者，在另一个示例中，可以以相反的顺序进行颜色转换和上采样，即先进行上采样，然后再进行颜色转换。在另一个示例中，由于未进行上采样操作803，因此转换后的信号直接被传递至第二解码器804，这种情况会在分辨率没有变化时发生。
图8的解码系统生成第一解码信号820，该第一解码信号820处于第二颜色空间中，可以是SDR型信号。可以将第一解码信号820输出至显示器，尤其有利于输出至当第一解码信号820被转换至第二颜色空间时无法利用有用信息的显示器。图8的解码系统还生成最终解码信号810，该最终解码信号810处于第一颜色空间中，可以是HDR型信号，并且由第二编码流720中的残差信号校正。最终解码信号810可用于输出至与第一颜色空间兼容的显示器。相比于第一解码信号820，最终解码信号810可以处于另一质量级别(例如，增强后的颜色和/或分辨率)。解码系统可以确定相连的任何显示器所具有的能力，并且相应地选择是否创建最终解码信号810、是否使用第一解码信号820和/或是否将最终解码信号转换回兼容格式。
图9示出了本专利申请中描述的编码系统的示例。图9的示例可视为图7示例的变体。为了简洁起见，不再详细公开图7所公开的共同特征。具体而言，图9示出了一个示例，其中有三个编码层和两个独立的输入信号，这两个输入信号可具有相同的分辨率，但在颜色空间和/或SDR/HDR特性方面可能不同。
在该示例中，在编码系统处接收SDR输入信号900，例如低位深度(例如，8位)的SDR信号。该信号可以是原始信号(例如，直接从诸如照相机或视频馈送的视频源获得的信号)或已经从HDR颜色空间(例如，BT.2020或BT.2100)转换至SDR颜色空间(例如，BT.709)的HDR信号(例如，HDR输入信号960)。下采样器902对SDR信号900进行处理，以从较高分辨率传递至较低分辨率。然后，由第一编码器903对输出信号进行处理。第一编码器903的输出是第一编码流910。第一解码器904解码第一编码器903的输出，上采样器906对所输出的解码信号进行上采样，并且第二编码器907对所得到的上采样后的SDR信号及原始SDR输入信号900一起进行处理，以生成第二编码流920。如图7所示，第二编码流920可以包括残差信号，以校正下采样/上采样过程902和906以及编码/解码过程903和904中的任何缺陷。
然后，将第二编码流920及第一编码流910传递至SDR解码器930——后者可以是类似于图10中方框区域所示的SDR解码器。SDR解码器930解码第一编码流910并对其进行上采样，以创建SDR输入信号900的重构版本。然后，在某些情况下，使用第二编码流920中的残差信息将SDR输入信号900的重构版本修饰或调整为SDR输入信号或与之更接近的表达。应当注意，到此，该信号的颜色空间与SDR输入信号900的颜色空间相同。
而后，将SDR解码器930的输出传递至颜色转换模块940，以将解码信号从SDR颜色空间转换至HDR颜色空间。在转换过程中，信号的位深度可从低位深度(例如8位)增加至高位深度(例如10位或12位)，以生成HDR信号(例如具有更大动态亮度范围和/或更宽色域的信号)。将所得的HDR信号与HDR输入信号960一起馈送至第三编码器950，以生成第三编码流970。该第三编码流970可以包含可用于在解码器处重构HDR信号的附加编码信息。
第三编码流970可以包括残差信号，其主要校正颜色转换过程中的任意缺陷。残差信号表示作为参考信号的HDR输入信号960与所得的HDR信号之间的差。第三编码流970的残差信号可以校正下采样/上采样过程902和906以及编码/解码过程903和904产生的任何问题，而这些问题还未被第二编码流920的残差处理。残差信号可用于在解码器处调整相应的颜色空间转换的HDR信号，以重构HDR输入信号960或其近似值。例如，第三编码器950生成的残差信号可以校正转换成HDR格式后的SDR解码器930的输出与HDR输入信号960之间的差异。
图10示出了一种解码系统的示例。图10所示解码系统被设计为接收图9所示的编码器输出的编码流。第一解码器1001接收第一编码流910，并对其进行解码以生成第一解码信号。然后，上采样器1003对第一解码信号进行上采样，并且所得到的上采样信号与第二编码流920一起由第二解码器1004处理，例如通过使用其中的残差信号，以生成SDR解码信号1010。随后，将SDR解码信号1010传递至颜色转换模块1002，以将解码信号从SDR颜色空间转换至HDR颜色空间。在转换期间，信号的位深度可从低位深度增加至高位深度，以生成HDR重构信号。之后，将HDR重构信号与第三编码流970一起传递至第三解码器1020，例如通过使用其中的残差信号以生成HDR解码信号1030。例如，第三编码流970中的残差信号可以与颜色转换模块1002的输出相结合(例如求和)。
图9和图10的编解码系统为信号的编解码提供了一种灵活有效的方法，特别地，但非唯一地，提供了在两个分辨率和两个颜色空间中可用的视频信号。将两个独立信号输入编码器，其中一个所处的颜色空间比另一个更高或更复杂。例如，一个信号可以处于高动态范围颜色空间(包括例如更大亮度范围及更高对比度和/或更宽的色域)，而另一个信号可以处于非高动态范围或标准动态范围。在解码器处可获得与这两个独立输入信号相关的多个编码流。
此外，编解码系统还提供了在较低或不太复杂的颜色空间的信号的下采样版本，例如低位深度SDR信号的下采样版本。该信号由第一编码器903编码，并形成从编码器系统输出的信号的基层。基层的分辨率低于输入信号900、960的分辨率。因此，提供了一种编解码系统，其在确保向后兼容性方面更为有效，因为大多传统解码器能够以较低分辨率解码第一编码流910(例如，基层)。例如，第一编码流910可以是标准分辨率，而第二编码流920和第三编码流970可以是高清或1080p分辨率。或者，第一编码流910可以是高清或1080p分辨率，而第二编码流920和第三编码流970可以是UHD或4K分辨率。能够处理更高分辨率的解码器将能够利用第二编码流920(特别是第二编码流920中包含的残差信息)，以更高的分辨率(例如UHD或4K分辨率)进行上采样和校正上采样的再现，并将其作为SDR解码信号1010输出。在某些情况下，可以通过能够显示较高分辨率但不适于显示第一或HDR颜色空间内的视频数据的显示设备来观看SDR解码信号1010。可以用软件来执行第二解码器1004处的上采样1003和校正，并且可以向现有传统解码器提供软件更新来应用该技术。当然，如果解码器具有这种能力，并且所连接的显示器具有相应显示这种信号的能力，则这种经过上采样和校正的再现可以作为由颜色空间转换模块1002和第三编码流970提供的进一步信号改进的基础。可以看出，内容提供者可以提供一个或两个内容信号，并且编解码系统可以根据需要适当地提供第一、第二及第三编码流，以在各种解码器/显示器组合中以三种格式再现信号。如果第二编码流920和第三编码流970是以残差信号为基础的，则可以对残差信号进行有效编码(因为与第一编码器903输出的密集或结构化的数据相比，残差信号代表稀疏或非结构化的数据)。例如，残差信号可以近似为零均值，并且可以包括许多零值(在相比较的两个信号没有差别的区域中)。这种形式的信号可以被有效地压缩。
图11示出了本专利申请中描述的编码系统的示例。在编码系统处接收SDR输入信号900，例如低位深度(例如，8位)的SDR信号。该信号可以是原始信号(例如，直接从诸如照相机或视频馈送的视频源获得的信号)，或已从HDR颜色空间(例如，BT.2020或BT.2100)转换至SDR颜色空间(例如，BT.709)的HDR输入信号(例如，HDR输入信号960)。然后，第一编码器1103处理SDR输入信号900。第一编码器1103的输出是第一编码流910。第一编码器1103的输出由第一解码器1104进一步解码，并且将输出的解码信号传递至颜色转换模块1105，以将解码信号从SDR颜色空间转换回HDR颜色空间。在转换过程中，信号的位深度可从低位深度增加至高位深度，以生成HDR信号。之后，上采样器1106对HDR信号进行上采样，第二编码器1107将得到的上采样HDR信号与HDR原始输入信号960一起进行处理，生成第二编码流920。
在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第二编码器1107。在一种情况下，在上采样之前执行颜色转换可能是有益的，因为可以在较低分辨率下更快地进行颜色转换。如果第二编码器1107生成残差信号，则可以校正HDR输入信号960与上采样器1106的输出之间的任何差异。
然后，将第一编码流910和第二编码流920发送至如图8所示的解码器(例如，代替图11中对应的第一编码流710和第二编码流720)，并相应地对其进行解码以生成解码后的SDR信号820和解码后的HDR信号810。
图12示出了本专利申请中描述的编码系统的示例。在编码系统处接收输入信号1000，例如高位深度(例如，10位或12位)的HDR信号。该输入信号由下采样器1002进行处理，以从较高分辨率转化为较低分辨率。然后可以通过色调映射转换器1003将下采样信号转换为色调映射转换后的下采样信号。色调映射转换器1003使用传统和/或已知的色调映射算子和算法(仅作为背景资料，读者可以参考专利出版物US20150078661、US20170070719或US9437171，它们通过引用并入本文)导出输入信号的色调映射1016。该转换可以包括调整与下采样信号相关联的各种参数，例如，亮度和色度值；亮度、对比度及颜色；伽马逻辑；色度抽取、缩放、色度降噪等非限制性的示例。在转换过程中，色调映射转换器1003可以进一步将下采样信号从高位深度(例如，10位或12位)的HDR信号转换为低位深度(例如，8位)的SDR信号。例如，当第一编码器1004仅能够处理8位信号而不是10位或更高位深信号时，这可能是最有益的。可以以压缩或未压缩的方式将色调映射1016传输(例如，以元数据的方式)至解码系统。然后，由第一编码器1004对色调映射后的下采样信号进行处理。在一个示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器1004。
由第一解码器1005对第一编码器1004的输出、即第一编码流1012，进行进一步解码以生成第一解码信号。可选地，由第二编码器1006对第一解码信号和色调映射后的下采样信号一起进行处理，以生成第二编码流1014。可选地，第二编码流由第二解码器1007解码，并添加(未示出)至第一解码信号，以生成第二解码信号。然后，由色调映射逆转换器1008对第二解码信号(或者，在不使用第二编码器和第二解码器的情况下，为第一解码信号)进行处理，该逆转换器1008使用色调映射转换器1003生成的色调映射1016来生成色调映射调整后的信号。通过使用常规和/或已知的逆色调映射算子和算法(仅作为背景资料，读者可以参考前面提及的专利公开文献)重新调整由色调映射所指示的信号，色调映射逆转换器1008可以以与色调映射转换器相反的方式工作。如果第二解码信号是低位深度1(例如，8位)的SDR信号，则色调映射逆转换器可以进一步将第二解码信号从低位深度(例如，8位)的SDR信号转换成高位深度(例如，10位或12位)的HDR信号。然后，通过上采样器1009对该信号进行上采样，并且由第三编码器1010对所得到的上采样信号与原始输入信号一起进行处理，以生成第三编码流1020。在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号直接被传递至第三编码器1010。
可选的，第二编码器1006能够校正第一解码器的输出与色调映射后的下采样信号之间的差异。例如可以通过导出第一解码器的输出与色调映射后的下采样信号之间的差(例如，残差)并以有效的方式编码该残差来实现。然后，可选的第二解码器1007能够逆处理编码后的残差，以对其进行解码，并将其添加至第一解码信号中，从而生成第二解码信号，该第二解码信号实际上是第一解码信号的校正版本。
同样地，第三编码器1010能够校正原始输入信号1000与上采样HDR信号(例如，上采样器1009的输出)之间的差异。例如，这可以通过导出原始输入信号与上采样HDR信号之间的差异(例如残差)并以有效的方式编码所述残差来实现。然后，编码后的残差可以由解码系统进行逆处理，并添加至上采样HDR信号中。
可选的，第二编码器/解码器和第三编码器/解码器可以例如以类似于专利公开文献WO2014/170819、WO2013/011466、WO2013/011492或WO2017/089839中描述的方式操作，所有这些专利公开文献均通过引用并入本文。
通过在较低分辨率信号上(例如下采样后的信号)导出色调映射，大大减少了色调映射的处理，因为是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，如果再进行压缩，效率会更高。此外，如果在处理过程中使用了可选的第二编码器/解码器，则可以以较低的分辨率校正第一编码器/解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正的伪像相比，这些伪像可以得到有效校正。此外，第三编码器将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近HDR输入信号。
图13示出了本专利申请中描述的编码系统的示例。在编码系统处接收输入信号1000，例如高位深度(例如，10位或12位)的HDR信号。然后，由下采样器1002对输入信号进行处理，以从较高分辨率转化为较低分辨率。然后可以通过使用色调映射转换器1003将下采样信号转换为色调映射转换后的下采样信号。色调映射转换器1003使用常规和/或已知的色调映射算子和算法(例如，如上所述)导出输入信号的色调映射1016。该转换可以包括调整与下采样信号相关联的各种参数，例如，亮度和色度值；亮度、对比度及颜色；伽马逻辑；色度抽取、缩放、色度降噪等非限制性的示例。在转换过程中，色调映射转换器1003可以进一步将下采样信号从高位深度(例如，10位或12位)的HDR信号转换为低位深度(例如，8位)的SDR信号。例如，当第一编码器1004仅能够处理8位信号而不是10位或更高位深信号时，这可能是最有益的。可以将色调映射1016以压缩或未压缩的方式传输(例如，以元数据的方式)至解码系统。然后，由第一编码器1004对色调映射后的下采样信号进行处理。在一个示例中，可以以相反的顺序进行转换和下采样，即先进行下采样，然后再进行转换。在另一个示例中，由于未进行下采样操作，因此转换后的信号直接被传递至第一编码器1004。由第一解码器1005对第一编码器1004的输出、即第一编码流1012，进行进一步解码以生成第一解码信号。然后，由色调映射逆转换器1008处理第一解码信号，该色调映射逆转换器1008使用由色调映射转换器1003生成的色调映射1016来生成色调映射调整后的信号。色调映射逆转换器1008可以以与色调映射转换器相反的方式工作，通过使用常规和/或已知的逆色调映射算子和算法(例如，如上所述)按照色调映射的指示重新调整信号。如果第二解码信号是低位深度1(例如，8位)的SDR信号，则色调映射逆转换器可以进一步将第二解码信号从低位深度(例如，8位)的SDR信号转换成高位深度(例如，10位或12位)的HDR信号。可选地，由第二编码器1006对色调映射后的校正信号和下采样信号一起进行处理，以生成第二编码流1014。可选地，第二编码流由第二解码器1007解码，并且添加(未示出)至第一解码信号中，以生成第二解码信号。然后，通过上采样器1009对第二解码信号(或者，在不使用第二编码器和第二解码器的情况下，对第一解码信号)进行上采样，并且由第三编码器1010对所得到的上采样信号与原始输入信号一起进行处理，以生成第三编码流1020。在一个示例中，可以以相反的顺序进行转换和上采样，即先进行上采样，然后再进行转换。在另一个示例中，由于未进行上采样操作，因此转换后的信号被直接传递至第三编码器1010。
可选的第二编码器1006能够校正第一解码器的输出与下采样信号之间的差异。例如，可以通过导出第一解码器的输出与下采样信号之间的差异(例如，残差)并以有效的方式编码该残差来实现。然后，可以由可选的第二解码器1007处理编码后的残差，以对其进行解码，并将其添加至第一解码信号中，从而生成第二解码信号，该第二解码信号实际上是第一解码信号的校正版本。
同样地，第三编码器1010能够校正原始输入信号与上采样HDR信号之间的差异。例如，可以通过导出原始输入信号与上采样HDR信号之间的差异(例如残差)并以有效的方式编码所述残差来实现。然后，可以由解码系统逆处理编码后的残差，并将其添加至上采样后的HDR信号中。
可选的第二编码器/解码器和第三编码器/解码器可以例如以类似于上述专利公开文献中描述的方式运行。
通过在较低分辨率信号上(例如下采样后的信号)导出色调映射，大大减少了色调映射的处理，这是由于是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，如果再进行压缩的话，效率会更高。此外，如果在处理过程中使用了可选的第二编码器/解码器，则可以以较低分辨率校正第一编码器/解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正伪像相比，可以更有效率地校正这些伪像。此外，第三编码器将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近HDR输入信号。
图14示出了本专利申请中描述的解码系统的示例。第一解码器1101接收第一编码流1010，并对其进行解码以生成第一解码信号1120。然后由色调映射逆转换器1108对第一解码信号1120进行处理，该逆转换器1108使用接收到的色调映射元数据1016生成色调映射调整后的信号。色调映射逆转换器1108可以以与色调映射转换器相反的方式工作，通过使用常规和/或已知的逆色调映射算子和算法(例如，如上所述)按照色调映射的指示重新调整信号。如果第一解码信号是低位深度1(例如，8位)的SDR信号，则色调映射逆转换器可以进一步将第一解码信号从低位深度(例如，8位)的SDR信号转换成高位深度(例如，10位或12位)的HDR信号。可选地，第二解码器1201解码第二编码流101，以生成解码后的第一残差流。此外，可选地，由第二解码器1201对色调映射调整后的信号和解码后的第一残差流一起进行处理，以生成第二解码信号。然后，由上采样器1103对第二解码信号(或者，在没有接收到第二编码流1014，并因此没有使用第二解码器1201的情况下，对色调映射调整后的信号)进行上采样，以生成色调映射校正后的上采样信号。在一个示例中，可以以相反的顺序进行色调映射转换和上采样，即先进行上采样，然后进行转换。在另一个示例中，由于未进行上采样操作，因此色调映射信号直接被传递至上采样器1103。第三解码器1104解码第三编码流1020，以生成解码后的第二残差流。由第三解码器1104进一步处理色调映射校正后的上采样信号以及解码后的第二残差流，以生成第三解码信号。第三解码信号可以是HDR信号。
通过在较低分辨率信号上(例如，上采样前的信号)处理色调映射，大大减少了色调映射的处理，因为是对较少数量的像素进行处理，因此可以更快地完成。此外，与全分辨率色调映射相比，色调映射的尺寸会减小，解压可以更为有效。此外，如果在处理过程中使用了可选的第二解码器，则可以以较低分辨率校正第一解码器引入的任何伪像(例如，色带，块等)。因此，与以较高分辨率校正伪像相比，可以更有效率地校正这些伪像。此外，第三编码流将通过添加更多残差来进一步增强信号，以使编码信号尽可能接近HDR输入信号。
当实现动态色调映射时，可以应用图12至14的示例，例如，其中色调映射参数基于被处理的帧而变化。由于本实施例可以很容易地应用于连续帧，例如，以独立的方式处理每个帧，所以可以在编解码系统中高效且轻易地实现这些实施例。
这里所描述的示例允许将10位或12位的HDR视频有效地转换成数据集，该数据集包括8位较低分辨率视频、用于局部重建10位或12位HDR的信息的色调映射以及用于重建全分辨率全质量图片的校正元数据。在基于层的编码方法中以较低分辨率执行色调映射转换产生了一系列独特的好处，例如允许最小化这种操作所需的处理能力(在编码和解码时，这对于直播视频以及低功率解码器设备尤其重要)。例如，校正元数据的可用性允许校正可能在“10位至8位至10位”转换过程中引入的任何条带效应。最后，可以校准10位或12位至8位转换，以提供可查看的向后兼容的8位标准动态范围(SDR)的较低分辨率视频，或者通过智能分配本地图像直方图以实现最大压缩来最大化压缩效率。
在上述示例所讨论的转换中，可在解码器或者在编码器模拟解码器动作的情况下使用所谓的“盲”转换。这意味着转换可以以独立的方式执行，便于转换功能的模块化替换。这适用于上采样、下采样、颜色空间转换、HDR至SDR转换(反之亦然)、信号元素编码格式改变等。例如，不同的转换方法可以应用于不同帧或不同视频流。可以在编码器与解码器之间发信号以协调编码和解码。然而，不需要改变系统架构或处理流程来适应这些改变。可以通过使用与处理无关的残差信号来实现，例如，残差信号校正两个相比较信号(参考信号和重构信号)之间的差异，但是重构信号可以以多种方式生成。本实施例还能够并行处理一小部分视频数据，例如2×2或4×4像素的编码单元或块。这是因为处理流程的某些实现方式没有在一帧视频数据的各个部分中引入空间依赖性。这使得对帧的不同部分进行有效的并行处理成为可能，例如，这些示例可以并行地应用于帧的不同部分，然后组成最终输出，以生成一个或多个质量级别的输出信号。
本文描述的某些示例提出了一种易于实现的低复杂度方案，该方案可以处理不同的颜色表示，其中这些颜色表示可以表示不同级别的颜色质量。在某些示例中，由于各个转换组件或模块并不试图预测信号，因此以独立方式运行。然后，使用残差的增强信号可以提供适当的调整。这种方法还使得对这些转换组件或模块可以采取更模块化的方法，并在必要时改变它们，而无需考虑元数据的传输流变化。
可以执行几种类型的颜色空间转换。特别地，可以使用非线性颜色空间转换。
当从相对低复杂度的信号改变至相对高复杂度的信号时，通过使用残差信息(即，仅改变信号)来编码颜色空间、HDR或信号元素编码格式信息，可提高额外的效率。
在所有上述示例中，第一编码模块/编码器(以及相应的第一解码模块/解码器)可以对应于任何类型的编码标准，例如标准的MPEG编解码器(例如，AVC、HEVC等)，非标准编解码器(如VP9、AV1等)或等分层编解码器。
以上描述是以非限制性示例的方式提供的，并且以上的任何变化或组合均包括在本描述中。

Claims (26)

1.一种用于视频信号的增强解码器，包括：
一个或多个处理器；和
一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质存储的指令由所述一个或多个处理器执行，使所述增强解码器：
从标准解码器接收第一视频流，其中所述第一视频流使用第一信号元素编码格式；
接收增强数据流；
使解复用器将所述增强数据流分解为：
第一组增强数据，
第二组增强数据，以及
范围数据，使得所述范围数据首先与所述第一和第二组增强数据一起包括在所述增强数据流中，并随后使用去所述解复用器将除所述第一和第二组增强数据之外的所述范围数据从所述增强数据流中分解出来；
利用所述第一组增强数据增强第一分辨率的第一解码器视频流，所述第一解码器视频流导出自所述第一视频流；
在增强所述第一解码视频以产生增强的视频流后，将从所述第一增强器的输出导出的第二解码器视频流转换为第二分辨率，所述第二分辨率高于所述第一分辨率；其中，
所述转换包括空间上采样操作和涉及调整所述范围数据的操作，包括对高动态范围HDR值范围的调整；
在转换所述增强的视频流以产生转换后的增强的视频流之后，使用所述第二组增强数据增强所述转换后的增强的视频流，所述转换后的增强的视频流为第二分辨率。
2.根据权利要求1所述的增强解码器，其中，所述增强解码器还被配置为执行以下操作中的至少一个：
将所述第一视频流从所述第一信号元素编码格式转换为第二信号元素编码格式，以生成所述第一解码器视频流；
接收所述增强的视频流，并将所述增强的视频流从所述第一信号元素编码格式转换为所述第二信号元素编码格式；以及
接收所述转换后的增强的视频流，并将所述转换后的增强视频流从所述第一信号元素编码格式转换为所述第二信号元素编码格式。
3.根据权利要求2所述的增强解码器，其中，来自所述标准解码器的所述第一视频流处于第一质量等级，所述第二信号元素编码格式提供了第二质量等级，所述第二质量等级高于所述第一质量等级。
4.根据权利要求2或3所述的增强解码器，其中，所述第一信号元素编码格式是标准动态范围SDR格式，所述第二信号元素编码格式是高动态范围HDR格式，所述HDR格式具有比所述SDR格式更高的亮度和/或更宽的颜色范围。
5.根据权利要求1至4中任一项所述的增强解码器，其中，
第二解复用器位于所述解复用器的上游，
所述第二解复用器的第一输出被作为输入送入所述标准解码器，以生成所述第一视频流，以及
所述第二解复用器的第二输出为所述增强数据流。
6.根据权利要求2至4中任一项所述的增强解码器，其中，所述第一信号元素编码格式使用第一比特长度，所述第二信号元素编码格式使用第二比特长度，所述第二比特长度长于所述第一比特长度。
7.根据权利要求1至6中任一项所述的增强解码器，其中，所述第一组增强数据包括残差数据。
8.根据权利要求1至7中任一项所述的增强解码器，其中，所述第二组增强数据包括残差数据。
9.根据权利要求1至8中任一项所述的增强解码器，其中：
所述第一组增强数据和所述第二组增强数据中的一个或多个包括残差数据，所述残差数据表示两个相应视频信号之间的差，并且
所述增强解码器还被配置为：解码所述第一组增强数据和所述第二组增强数据的各自数据组内的所述残差数据，并将所述残差数据与相应的输入解码器视频流相结合以输出增强的视频流。
10.根据权利要求1至9中任一项所述的增强解码器，其中，所述标准解码器解码第一数据流以输出所述第一视频流，所述标准解码器实施符合标准的第一解码方案，所述第一解码方案不同于所述增强解码器实施的第二解码方案。
11.根据前述权利要求中任一项所述的增强解码器，其中，所述第一视频流包括视频片段中的所有帧。
12.根据权利要求11所述的增强解码器，其中，所述视频片段中的所有帧由所述增强解码器进行操作。
13.根据权利要求2、3、4、11中任一项所述的增强解码器，其中，从所述第一信号元素编码格式转换到所述第二信号元素编码格式是非线性的。
14.根据权利要求2、3、4、11、13中任一项所述的增强解码器，其中，从所述第一信号元素编码格式转换到所述第二信号元素编码格式是非预测性的。
15.一种解码视频信号的方法，所述方法由增强解码器执行，包括：
接收来自标准解码器的第一视频流，所述第一视频流使用第一信号元素编码格式；
接收增强数据流；
利用解复用器将所述增强数据流解复用为：
第一组增强数据；
第二组增强数据；
范围数据，使得所述范围数据首先与所述第一和第二组增强数据一起包括在所述增强数据流中，并随后使用去所述解复用器将除所述第一和第二组增强数据之外的所述范围数据从所述增强数据流中分解出来；
利用所述第一组增强数据增强第一分辨率的第一解码器视频流，所述第一解码器视频流导出自所述第一视频流；
在增强所述第一解码视频以产生增强的视频流后，上采样所述增强的视频流至第二分辨率，所述第二分辨率高于所述第一分辨率，其中所述上采样与范围调整操作相结合，所述范围调整操作涉及对所述范围数据的调整，包括对高动态范围HDR值范围的调整；以及
在上采样所述增强的视频流以产生上采样后的增强的视频流后，利用所述第二组增强数据增强所述上采样后的增强的视频流，所述上采样后的增强的视频流为所述第二分辨率。
16.根据权利要求15所述的方法，其中所述方法还包括：利用所述范围数据将所述第一解码器视频流从所述第一信号元素编码格式转换到第二信号元素编码格式。
17.根据权利要求16所述的方法，其中来自标准解码器的所述第一视频流处于第一质量等级，所述第二信号元素编码格式提供了第二质量等级，所述第二质量等级高于所述第一等级质量。
18.根据权利要求16或17所述的方法，其中所述第一信号元素编码格式是标准动态范围SDR格式，所述第二信号元素编码格式是高动态范围HDR格式，所述HDR格式具有比所述SDR格式更高的亮度和/或更宽的颜色范围。
19.根据权利要求15至18中任一项所述的方法，其中第二解复用器位于所述解复用器的上游，所述第二解复用器的第一输出被作为输入送入所述标准解码器，以生成所述第一视频流，以及其中所述第二解复用器的第二输出为所述增强数据流。
20.根据权利要求16至18中任一项所述的方法，其中，所述第一信号元素编码格式使用第一比特长度，所述第二信号元素编码格式使用第二比特长度，所述第二比特长度长于所述第一比特长度。
21.根据权利要求15至20中任一项所述的方法，其中，所述第一视频流包括视频片段中的所有帧。
22.根据权利要求16、17、18、20中任一项所述的方法，其中，从所述第一信号元素编码格式转换到所述第二信号元素编码格式的步骤是非线性的。
23.根据权利要求16、17、18、20、22中任一项所述的方法，其中，从所述第一信号元素编码格式转换到所述第二信号元素编码格式的步骤是非预测性的。
24.根据权利要求15至23中任一项所述的方法，其中，所述上采样是通过在时间上调整帧率进行的。
25.根据权利要求15至24中任一项所述的方法，其中，所述上采样是通过在空间上调整分辨率进行的。
26.一种计算机可读存储介质或数据载体，包括计算机程序，所述计算机程序适于执行权利要求15-25任一项所述的方法。
CN201980081088.5A 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器 Active CN113170218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310865288.8A CN116668742A (zh) 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
GB1816469.9 2018-10-09
GBGB1816469.9A GB201816469D0 (en) 2018-10-09 2018-10-09 Encoding and decoding methods
GBGB1820473.5A GB201820473D0 (en) 2018-12-14 2018-12-14 Encoding and decoding methods
GB1820473.5 2018-12-14
GBGB1900511.5A GB201900511D0 (en) 2019-01-14 2019-01-14 Encoding and decoding methods
GB1900511.5 2019-01-14
GB1902008.0 2019-02-13
GBGB1902008.0A GB201902008D0 (en) 2019-02-13 2019-02-13 HDR bit-depth conversion in tiered hierarchical coding
PCT/GB2019/052870 WO2020074898A1 (en) 2018-10-09 2019-10-09 Enhancement decoder for video signals with multi-level enhancement and coding format adjustment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310865288.8A Division CN116668742A (zh) 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器

Publications (2)

Publication Number Publication Date
CN113170218A CN113170218A (zh) 2021-07-23
CN113170218B true CN113170218B (zh) 2023-08-01

Family

ID=68296520

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980081089.XA Pending CN113170156A (zh) 2018-10-09 2019-10-09 利用多个分辨率的分层编码方案中的信号元素编码格式兼容性
CN201980081132.2A Pending CN113170157A (zh) 2018-10-09 2019-10-09 分层编码方案中的颜色转换
CN202310865288.8A Pending CN116668742A (zh) 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器
CN201980081088.5A Active CN113170218B (zh) 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201980081089.XA Pending CN113170156A (zh) 2018-10-09 2019-10-09 利用多个分辨率的分层编码方案中的信号元素编码格式兼容性
CN201980081132.2A Pending CN113170157A (zh) 2018-10-09 2019-10-09 分层编码方案中的颜色转换
CN202310865288.8A Pending CN116668742A (zh) 2018-10-09 2019-10-09 具有多级增强和可调编码格式的视频信号增强解码器

Country Status (8)

Country Link
US (5) US11677989B2 (zh)
EP (2) EP3864844A1 (zh)
JP (1) JP2022508741A (zh)
KR (2) KR20210069717A (zh)
CN (4) CN113170156A (zh)
BR (1) BR112021006706A2 (zh)
GB (5) GB2616980B (zh)
WO (4) WO2020074898A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX367832B (es) * 2014-01-24 2019-09-09 Sony Corp Dispositivo de transmisión, método de transmisión, dispositivo de recepción y método de recepción.
US11617010B1 (en) * 2020-09-30 2023-03-28 Amazon Technologies, Inc. High dynamic range video content stitching
WO2022198383A1 (en) * 2021-03-22 2022-09-29 Qualcomm Incorporated Methods and apparatus for saliency based frame color enhancement
CN113076050B (zh) * 2021-04-25 2022-05-20 深圳创维－Rgb电子有限公司 基于内存拷贝的人机交互方法、装置、电视机及存储介质
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
US11606605B1 (en) 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+
US20230171512A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated High precision color processing for wide dynamic range sensors
US11838513B2 (en) * 2022-01-14 2023-12-05 Meta Platforms Technologies, Llc Progressive transmission of detailed image data via video compression of successive subsampled frames
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB2619096A (en) 2022-05-27 2023-11-29 V Nova Int Ltd Enhancement interlacing
GB2620994B (en) 2022-08-22 2024-07-24 V Nova Int Ltd Encoding and decoding of pre-processing renditions of input videos
CN116170592B (zh) * 2023-04-21 2023-08-15 深圳市微智体技术有限公司 高分辨率视频的传输方法、装置、设备及介质
CN117544782A (zh) * 2023-11-09 2024-02-09 四川新视创伟超高清科技有限公司 一种无人机8k视频中目标增强的编码方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
CN102342105A (zh) * 2009-03-03 2012-02-01 三星电子株式会社 用于对多层视频进行编码和解码的设备及方法
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
CN104956675A (zh) * 2014-01-08 2015-09-30 索尼公司 图像处理装置和图像处理方法
CN105580369A (zh) * 2013-03-11 2016-05-11 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行分布
WO2017066580A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Hdr and wcg coding architecture with sdr backwards compatibility in a single bitstream for video coding

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
KR100954290B1 (ko) * 2007-12-10 2010-04-26 한국전자통신연구원 Ｄｍｂ 방송 시스템에서 고품질 미디어 데이터 처리 방법및 장치
US9167246B2 (en) * 2008-03-06 2015-10-20 Arris Technology, Inc. Method and apparatus for decoding an enhanced video stream
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2406959B1 (en) * 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US20130156113A1 (en) * 2010-08-17 2013-06-20 Streamworks International, S.A. Video signal processing
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US8977065B2 (en) 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
US9420302B2 (en) * 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US9437171B2 (en) 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
ES2702614T3 (es) * 2013-01-02 2019-03-04 Dolby Laboratories Licensing Corp Codificación retrocompatible para señales de vídeo de ultra alta definición con dominio dinámico aumentado
EP3410715A1 (en) * 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US9503732B2 (en) * 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
BR112015026244B1 (pt) 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido
JP6351313B2 (ja) * 2013-07-11 2018-07-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法
US9948690B2 (en) * 2013-08-15 2018-04-17 Comcast Cable Communications, Llc Caching media in a media fling system
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US10027963B2 (en) * 2013-11-12 2018-07-17 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
CA2943216A1 (en) * 2014-03-19 2015-09-24 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
WO2015175549A1 (en) * 2014-05-12 2015-11-19 Apple Inc. Techniques for hdr/wcr video coding
ES2744795T3 (es) * 2014-05-28 2020-02-26 Koninklijke Philips Nv Métodos y aparatos para codificar unas imágenes HDR, y métodos y aparatos para usar tales imágenes codificadas
US20150373350A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Temporal motion vector prediction (tmvp) indication in multi-layer codecs
US10264286B2 (en) * 2014-06-26 2019-04-16 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
JP6617142B2 (ja) * 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
WO2016154336A1 (en) * 2015-03-25 2016-09-29 Dolby Laboratories Licensing Corporation Chroma subsampling and gamut reshaping
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
WO2016172395A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10037592B2 (en) * 2015-06-05 2018-07-31 Mindaptiv LLC Digital quaternion logarithm signal processing system and method for images and other data types
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
WO2017015397A1 (en) * 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
EP3308541B1 (en) * 2015-07-22 2021-12-29 ARRIS Enterprises LLC System for coding high dynamic range and wide color gamut sequences
US10277904B2 (en) * 2015-08-28 2019-04-30 Qualcomm Incorporated Channel line buffer data packing scheme for video codecs
US9979895B2 (en) 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
EP3338243B1 (en) * 2015-09-23 2022-04-20 ARRIS Enterprises LLC High dynamic range adaptation operations at a video decoder
GB2544800A (en) 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
CN111567048A (zh) * 2017-11-08 2020-08-21 交互数字Vc控股公司 对图像进行处理

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
CN102342105A (zh) * 2009-03-03 2012-02-01 三星电子株式会社 用于对多层视频进行编码和解码的设备及方法
CN105580369A (zh) * 2013-03-11 2016-05-11 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行分布
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
CN104956675A (zh) * 2014-01-08 2015-09-30 索尼公司 图像处理装置和图像处理方法
WO2017066580A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Hdr and wcg coding architecture with sdr backwards compatibility in a single bitstream for video coding

Also Published As

Publication number Publication date
US20230156195A1 (en) 2023-05-18
CN113170157A (zh) 2021-07-23
US20210392350A1 (en) 2021-12-16
BR112021006706A2 (pt) 2021-07-27
JP2022508741A (ja) 2022-01-19
GB2592536A (en) 2021-09-01
KR20210072079A (ko) 2021-06-16
GB2593328B (en) 2023-02-01
EP3864845A1 (en) 2021-08-18
GB2592536B (en) 2023-02-01
WO2020089583A1 (en) 2020-05-07
WO2020074897A1 (en) 2020-04-16
GB202219204D0 (en) 2023-02-01
US11509902B2 (en) 2022-11-22
GB2613262B (en) 2023-11-15
GB2613262A (en) 2023-05-31
US11653034B2 (en) 2023-05-16
WO2020074898A1 (en) 2020-04-16
US11677989B2 (en) 2023-06-13
GB2616980B (en) 2023-12-13
US20210360253A1 (en) 2021-11-18
US11523118B2 (en) 2022-12-06
US20210377573A1 (en) 2021-12-02
EP3864844A1 (en) 2021-08-18
CN116668742A (zh) 2023-08-29
KR20210069717A (ko) 2021-06-11
US20210377549A1 (en) 2021-12-02
GB2593328A (en) 2021-09-22
GB2593327A (en) 2021-09-22
GB2616980A (en) 2023-09-27
CN113170218A (zh) 2021-07-23
CN113170156A (zh) 2021-07-23
WO2020074896A1 (en) 2020-04-16
US12120305B2 (en) 2024-10-15
GB202304694D0 (en) 2023-05-17
GB2593327B (en) 2023-02-08

Similar Documents

Publication Publication Date Title
CN113170218B (zh) 具有多级增强和可调编码格式的视频信号增强解码器
US11070809B2 (en) System and method for reshaping and adaptation of high dynamic range video data
US10432955B2 (en) High dynamic range adaptation operations at a video decoder
US11146803B2 (en) Distribution of multi-format high dynamic range video using layered coding
EP3329673A1 (en) Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
CN111434114A (zh) 处理图像
WO2019108899A1 (en) Saturation control for high-dynamic range reconstruction
US20230412813A1 (en) Enhancement decoder for video signals with multi-level enhancement and coding format adjustment
CN108027978B (zh) 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定
JP2019097013A (ja) ディスプレイ適合ｈｄｒ画像を再構成する方法およびデバイス
CN112425168B (zh) 编码图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant