CN110933431B - 针对视频译码处理高动态范围及广色域视频数据 - Google Patents

针对视频译码处理高动态范围及广色域视频数据 Download PDF

Info

Publication number
CN110933431B
CN110933431B CN201910859786.5A CN201910859786A CN110933431B CN 110933431 B CN110933431 B CN 110933431B CN 201910859786 A CN201910859786 A CN 201910859786A CN 110933431 B CN110933431 B CN 110933431B
Authority
CN
China
Prior art keywords
video data
video
component
inversely
chrominance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910859786.5A
Other languages
English (en)
Other versions
CN110933431A (zh
Inventor
李圣远
霍埃尔·索赖·罗哈斯
阿达许·克里许纳·瑞玛苏布雷蒙尼安
德米特罗·鲁萨诺夫斯基
德内·布达伊哲·桑斯利
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201910859786.5A priority Critical patent/CN110933431B/zh
Publication of CN110933431A publication Critical patent/CN110933431A/zh
Application granted granted Critical
Publication of CN110933431B publication Critical patent/CN110933431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本申请涉及针对视频译码处理高动态范围及广色域视频数据。本发明描述用于针对视频译码处理高动态范围HDR及广色域WCG视频数据的技术。包括存储器及处理器的装置可执行所述技术。存储器可存储经压紧分数色度坐标FCC格式化视频数据。处理器可使用一或多个反向自适应转移函数TF来反压紧经压紧FCC格式化视频数据以获得经解压FCC格式化视频数据。处理器可随后基于经解压FCC格式化视频数据的对应明度分量而反向调整经解压FCC格式化视频数据的色度分量以获得经反向调整FCC格式化视频数据。处理器可将经反向调整FCC格式化视频数据的色度分量从FCC格式转换成色彩表示格式以获得高动态范围HDR及广色域WCG视频数据。

Description

针对视频译码处理高动态范围及广色域视频数据
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2016年06月08日、申请号为201680031281.4、发明名称为“针对视频译码处理高动态范围及广色域视频数据”的发明专利申请案。
本申请案要求2015年6月8日申请的题为“针对高动态范围及广色域视频数据的分数色度坐标的色彩噪声减少及自适应转移函数(COLOR NOISE REDUCTION AND ADAPTIVETRANSFER FUNCTIONS FOR FRACTIONAL CHROMATICITY COORDINATES FOR HIGH DYNAMICRANGE AND WIDE COLOR GAMUT VIDEO DATA)”的美国临时申请案第62/172,724号的权益，所述美国临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更具体地说涉及高动态范围(HDR)及广色域(WCG)视频数据的视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字照相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话、所谓“智能型电话”、视频电话会议装置、视频流式传输装置及其类似装置。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265高效率视频译码(HEVC)所定义的标准及此些标准的扩展中所描述的那些技术。视频装置可通过实施此类视频译码技术而更高效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着经量化的残余变换系数。最初布置在二维阵列中的经量化变换系数可经扫描以便产生变换系数的一维向量，且熵译码可经应用以达成甚至更多压缩。
发明内容
本发明涉及具有高动态范围(HDR)及广色域(WCG)表示的视频信号的编码及解码。更具体地说，本发明的技术包含应用于某些色彩空间中的视频数据以实现HDR及WCG视频数据的更高效压缩的传讯及操作。所提出的技术可改进用于译码HDR及WCG视频数据的混合式(hybrid-based)视频译码系统(例如，基于HEVC的视频译码器)的压缩效率。
在一个方面中，一种处理视频数据的方法包括：使用一或多个反向自适应转移函数(TF)来反压紧经压紧分数色度坐标(FCC)格式化视频数据以获得经解压FCC格式化视频数据；基于所述经解压FCC格式化视频数据的对应明度分量而反向调整所述经解压FCC格式化视频数据的色度分量以获得经反向调整FCC格式化视频数据；及将所述经反向调整FCC格式化视频数据的所述色度分量从所述FCC格式转换成色彩表示格式以获得高动态范围(HDR)及广色域(WCG)视频数据。
在另一方面中，一种处理视频数据的方法包括：使高动态范围(HDR)及广色域(WCG)视频数据的色度分量在色彩表示格式与分数色度坐标(FCC)格式之间转换；基于所述FCC格式化视频数据的对应明度分量调整所述FCC格式化视频数据的色度分量以获得经调整FCC格式化视频数据；及使用一或多个自适应转移函数(TF)来压紧所述FCC格式化视频数据以获得经压紧FCC格式化视频数据。
在另一方面中，一种经配置以处理视频数据的装置包括经配置以存储经压紧分数色度坐标(FCC)格式化视频数据的存储器。所述装置还包括处理器，所述处理器经配置以：使用一或多个反向自适应转移函数(TF)来反压紧所述经压紧FCC格式化视频数据以获得经解压FCC格式化视频数据；基于所述经解压FCC格式化视频数据的对应明度分量而反向调整所述经解压FCC格式化视频数据的色度分量以获得经反向调整FCC格式化视频数据；且将所述经反向调整FCC格式化视频数据的所述色度分量从所述FCC格式转换成色彩表示格式以获得高动态范围(HDR)及广色域(WCG)视频数据。
在另一方面中，一种经配置以处理视频数据的装置包括经配置以存储高动态范围(HDR)及广色域(WCG)视频数据的存储器。所述装置还包括处理器，所述处理器经配置以：使HDR及WCG视频数据的色度分量在色彩表示格式与分数色度坐标(FCC)格式之间转换；基于所述FCC格式化视频数据的对应明度分量调整所述FCC格式化视频数据的色度分量以获得经调整FCC格式化视频数据；且使用一或多个自适应转移函数(TF)来压紧所述FCC格式化视频数据以获得经压紧FCC格式化视频数据。
在附图及以下描述中阐述所述技术的一或多个方面的细节。此些技术的其它特征、目标及优点将从所述描述及所述图式以及权利要求书而显而易见。
附图说明
图1为说明经配置以实施本发明的技术的实例视频编码及解码系统的框图。
图2为更详细地说明图1的视频预处理单元的框图。
图3为更详细地说明图1的视频后处理单元的框图。
图4为说明展示根据本发明中所描述的技术的各种方面应用的线性转移函数的相对于明度的自适应斜率的曲线图的图式。
图5A到5C为说明展示具有偏移的自适应转移函数相对于无偏移的自适应转移函数的曲线图的图式。
图6为说明图1的视频预处理单元的根据本发明中所描述的技术的各种方面的实例操作的流程图。
图7为说明在执行本发明中所描述的技术的各种方面时图3的视频后处理单元的实例操作的流程图。
图8为说明可实施本发明的技术以编码经预处理视频数据的视频编码器的实例的框图。
图9为说明可实施本发明的技术以在后处理视频数据之前解码视频数据的视频解码器的实例的框图。
具体实施方式
本发明涉及具有高动态范围(HDR)及广色域(WCG)表示的视频信号的编码及解码。更具体地说，本发明的技术包含应用于某些色彩空间中的视频数据以实现HDR及WCG视频数据的更高效压缩的传讯及操作。所提出的技术可改进用于译码HDR及WCG视频数据的混合式视频译码系统(例如，基于HEVC的视频译码器)的压缩效率。
包含混合式视频译码标准的视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)完成新的视频译码标准(即，HEVC)的设计。在下文中被称作“HEVC版本1”的所完成HEVC标准被公开为“ITU-T H.265,SERIES H:视听及多媒体系统视听服务基础架构-移动视频的译码-高效率视频译码(ITU-T H.265,SERIES H:AUDIOVISUAL ANDMULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of movingvideo-High efficiency video coding)”，国际电信联盟(ITU)的电信标准化部门，2013年4月，且另一版本在2014年10月公开。
图1为说明可利用本发明的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，源装置12提供稍后将由目的地装置14解码的经编码视频数据。特别地，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”手机的电话手机、所谓“智能型”平板计算机、电视、照相机、显示装置、数字媒体播放器、视频游戏主机、视频流式传输装置或其类似装置。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议的通信标准调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可用以促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一个，例如硬盘驱动器、Blu-ray光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将那经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、具有视频预处理单元19及视频编码器20的视频编码单元21及输出接口22。目的地装置14包含输入接口28、具有视频解码器30及视频后处理单元31的视频解码单元29及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于并行地处理视频数据的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部照相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于并行地处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术通常由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常被称为“CODEC”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一个包含视频编码及解码组件。因此，系统10可支持视频装置12与14之间的单向或双向视频发射，(例如)以用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含例如摄像机的视频俘获装置、含有先前所俘获的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈入接口。作为另一替代，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓照相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一情况下，可由视频编码器20编码经俘获、经预俘获或计算机产生的视频。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体(例如，无线广播或有线网络发射)或存储媒体(即，非暂时性存储媒体)，例如硬盘、随身碟、紧密光盘、数字视频光盘、Blu-ray光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(其还由视频解码器30使用)，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
包含视频预处理单元19及视频编码器20的视频编码单元21以及包含视频解码器30及视频后处理单元31的视频解码单元29可被实施为多种合适编码器电路中的任一个，包含固定功能及/或可编程处理电路，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地在软件中实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一个可包含在一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
在一些实例中，视频预处理单元19及视频后处理单元31可根据本发明中所描述的技术操作。举例来说，视频预处理单元19可操作以将HDR/WCG视频数据从高精确度且在数学上几乎无损的表示转换成更适合于视频压缩及编码的较紧密或稳固的色彩空间，例如，从RGB转换成YUV或YCbCr。此色彩转换可发生在由视频编码器20执行的视频压缩及编码之前。在其它实例中，视频编码器20自身可操作以将HDR/WCG视频数据从高精确度表示转换成用于视频压缩及编码的较紧密或稳固的色彩空间。
相反，视频后处理单元31可操作以将经解码视频数据从较紧密或稳固的色彩空间转换回到原始HDR/WCG视频数据的高精确度表示，例如，从YUV或YCbCr转换到RGB。此反向色彩转换程序可发生在由视频解码器30执行的视频解压缩及解码之后。在其它实例中，视频解码器30自身可操作以将经解码视频数据从较紧密或稳固的色彩空间转换回到原始HDR/WCG视频数据的高精确度表示。
在一些实例中，视频编码器20及视频解码器30根据例如以下的视频压缩标准操作：ISO/IEC MPEG-4 Visual及ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)，包含其可调式视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的三维视频(3DV)扩展。在一些情况下，符合基于MVC的3DV的任何位流始终含有与MVC配置文件(例如，立体高配置文件)相容的子位流。此外，存在持续努力以产生H.264/AVC的3DV译码扩展，即基于AVC的3DV。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IECMPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264、ISO/IEC Visual。在其它实例中，视频编码器20及视频解码器30可经配置以根据HEVC标准操作。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片还可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本在本文中还可被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
视频编码器20可产生一组译码树型单元(CTU)。CTU中的每一个可包括明度样本的译码树型块、色度样本的两个对应译码树型块及用于译码译码树型块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用于译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它视频译码标准的宏块。然而，CTU未必限于特定大小且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”来指样本的一或多个块，及用于译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准中的宏块、宏块分割区等等。
为了产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应译码块，及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块、色度样本的两个对应预测块及用于预测预测块样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用于预测预测块样本的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本而产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。
参考图片列表中的每一个可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1中的任一个或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本而产生PU的预测性样本块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量，且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
当使用双向预测来编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置及RefPicList1中的参考图片中的第二参考位置。视频编码器20可接着至少部分地基于对应于第一及第二参考位置的样本而产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动，及指示PU的预测块与第二参考位置之间的空间位移的第二运动。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块可为经应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用于变换变换块样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于变换变换块样本的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常指变换系数经量化以可能减少用于表示变换系数的数据的量从而提供进一步压缩的程序。此外，视频编码器20可反量化变换系数且将反变换应用于变换系数，以便重构建图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构建变换块及CU的PU的预测性块来重构建CU的译码块。通过重构建图片的每一CU的译码块，视频编码器20可重构建图片。视频编码器20可将经重构建图片存储在经解码图片缓冲器(DPB)中。视频编码器20可将DPB中的经重构建图片用于帧间预测及帧内预测。
在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含形成经译码图片的表示的位序列及相关联数据的位流。位流可包括一连串网络抽象层(NAL)单元。NAL单元中的每一个包含NAL单元标头，且囊封原始位组序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封经译码切片的RBSP，第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP，等等。PPS为可含有适用于零或多于零个完整经译码图片的语法元素的语法结构。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称作视频译码层(VCL)NAL单元。囊封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。用于经译码切片的RBSP可包含切片标头及切片数据。
视频解码器30可接收位流。另外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素而重构建视频数据的图片。重构建视频数据的程序可大体上与由视频编码器20执行的程序互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。
另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构建与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出及/或用于在解码其它图片时使用。
预期下一代视频应用对表示所俘获场景的具有高动态范围(HDR)及广色域(WCG)的视频数据操作。所利用动态范围及色域的参数为视频内容的两个独立属性。出于数字电视及多媒体服务的目的的所利用动态范围及色域的参数的规范是由若干国际标准定义。举例来说，ITU-R Rec.709定义高清晰度电视(HDTV)的参数，例如标准动态范围(SDR)及标准色域，且ITU-R Rec.2020指定HDR及WCG的超高清晰度电视(UHDTV)参数。还存在指定其它系统中的动态范围及色域属性的其它标准发展组织(SDO)文件。举例来说，P3色域在电影与电视工程师协会中(SMPTE-231-2)被定义，且HDR的一些参数在STMPTE-2084中被定义，其在2014年公开为SMPTE ST 2084:2014，“主控参考显示器的高动态范围电光转移函数(HighDynamic Range Electro-Optical Transfer Function of Mastering ReferenceDisplays)”。以下提供视频数据的动态范围及色域的简单描述。
动态范围可被定义为视频信号的最小亮度与最大亮度之间的比率。还可以“f光阑”为单位测量动态范围，其中一个f光阑对应于信号动态范围的加倍。MPEG将HDR内容定义为以具有多于16个f光阑的亮度变化为特征的内容。在一些标准中，在10个f光阑与16个f光阑之间的动态范围等级可被称作中间动态范围，而在其它标准中，在10个f光阑与16个f光阑之间的动态范围等级可被视为HDR。尽管被称作HDR，但人类视觉系统(HVS)能够感知大得多的动态范围。然而，HVS包含用以窄化所谓同时范围的调适机制。由此，HDR指比标准动态范围(SDR)更高的动态范围。
当前视频应用及服务是由ITU-R Rec.709管控，且提供通常支持约0.1烛光(cd)每m2(通常被称作“尼特”)到100烛光每m2的亮度(或明度)范围的SDR，从而产生小于10f光阑(假设0.1到0.2为第一f光阑，0.2到0.4为第二f光阑，…，25.6到51.2为第九f光阑且51.2到102.4为第十f光阑)。预期下一代视频服务提供具有多达16f光阑的动态范围的HDR。举例来说，尽管当前正在开发详细规范，但SMPTE-2084及Rec.2020中已指定HDR的一些初始参数。
除HDR以外更真实的视频体验的另一方面为色彩维度，其常规地由色域定义。SDR色域可表示为基于BT.709红色、绿色及蓝色原色的三角形。较宽UHDTV色域可表示为基于BT.2020红色、绿色及蓝色原色的三角形。从BT.709到BT.2020原色的移动旨在提供色彩多约70％的UHDTV服务。D65为给定规范指定白色。
如上文所提及，通常在每分量极高精确度(例如，使用32位浮点表示)下以4:4:4色度格式及极广色彩空间(例如，XYZ)俘获且存储HDR/WCG视频数据。举例来说，视频源18可输出具有高精确度、呈4:4:4色度格式且使用极广色彩空间的HDR/WCG视频数据17。HDR/WCG视频数据17可为高精确度且在数学上几乎无损的。然而，HDR/WGC视频数据17可包含许多冗余，出于压缩目的，冗余可不为最优选的。
根据本发明中所描述的技术，视频预处理单元19可将HDR/WCG视频数据17从高精确度冗余表示转换成相对较低精确度格式。较低精确度格式的编制可以基于HVS的假设为前提，以便减少相对较高精确度格式的冗余，同时可能维持HDR/WCG视频数据17的准确表示。举例来说，视频预处理单元19可使HDR/WCG视频数据的色度分量在色彩表示格式与分数色度坐标(FCC)格式之间转换。
视频预处理单元19可接收呈色彩表示格式(例如，红色、绿色、蓝色(RGB)色彩空间或其它加色色彩空间)的HDR/WCG视频数据17。视频源18可(例如)包含经配置以在俘获HDR/WCG视频数据17时使用色彩表示格式的视频俘获或图像俘获传感器。视频预处理单元19可将HDR/WCG视频数据17从色彩表示格式转换成任何数目个FCC格式中的一个，例如国际照明委员会(或，在法语中为Commission Internationale de l'éclairage，其通常缩写为“CIE”)Yu'v'格式。CIE-Yu'v'色彩空间包含表示为“Y”的明度分量及表示为“u'”及“v'”的两个色度分量。尽管本文中关于CIE-Yu'v'色彩空间加以描述，但视频预处理单元19可将HDR/WCG视频数据转换成任何FCC格式，从而产生FCC格式化视频数据。
在将HDR/WCG视频数据17转换成FCC格式之后，视频预处理单元19可基于FCC格式化视频数据的对应明度分量Y而调整FCC格式化视频数据的色度分量中的一或多个。当FCC格式化视频数据的对应明度分量作为一个实例指示低相对明度(例如，低于如下文更详细地论述的某一阈值明度)时，视频预处理单元19可调整FCC格式化视频数据的色度分量。当FCC格式化视频数据的对应明度分量指示高相对明度时，视频预处理单元19可不调整FCC格式化视频数据的色度分量。
视频预处理单元19可调整对应低明度像素的色度分量以减少色度分量中可发生在低明度环境中的噪声。视频预处理单元19可设置具有相对低明度的像素的色度分量，以指示色彩黑色或灰色(其可有效地将像素的量值减少到零或低于某一低阈值)而不影响图片质量，因为HVS对低明度环境中的色度不敏感。
以此方式，已知可在后续视频编码期间较佳地压缩色度分量的减小值或零值，本发明中所描述的技术可利用基于HVS的假设来促进位速率减少。即，视频编码经由比较图片的部分且连续压缩由比较图片的部分产生的残余数据来操作。作为低明度的结果的色度噪声可致使残余数据量增加(已知噪声通常随机且因此不可在时间上预测)。减少色度分量中的色度噪声量可借此允许连续视频编码较佳地压缩图片。
视频预处理单元19还可使用一或多个转移函数(TF)来压紧FCC格式化视频数据的经调整色度分量。TF可表示借以减少表示相对较高明度像素的位数目以允许较多位用于表示较低明度像素的方式。实例TF可包含由电影与电视工程师协会(SMPTE)在日期为2014年8月29日的ST 2084:2014-SMPTE标准-“主控参考显示器的高动态范围电光转移函数(HighDynamic Range Electro-Optical Transfer Function of Mastering ReferenceDisplays)”中阐述的感知量化器(PQ)电光转移函数(EOTF)。PQ EOTF可表示已经开发以利用HVS在量化用于表示色度分量的位方面的限制的转移函数的一个实例。尽管关于PQ EOTF加以描述，但所述技术可使用TF的任何形式来执行。
在应用转移函数之后，视频预处理单元19可量化经压紧FCC格式化视频数据。视频预处理单元19可(例如)识别仍按浮点格式定义的任何像素值且量化32位浮点像素值，以产生具有经减少位深度的整数值像素值(例如，从32位降到12位与10位之间)。视频预处理单元19还可关于经量化FCC格式化视频数据的色度分量执行色度次采样。视频预处理单元19可执行色度次采样以将经量化FCC格式化视频数据的4:4:4采样速率减少到针对经量化FCC格式化视频数据的色度分量的4:2:0或某另一较低采样速率，借此产生经次采样FCC格式化视频数据25。视频预处理单元19可将经次采样FCC格式化视频数据25输出到视频编码器20。
视频编码器20可执行上文所论述的视频编码处理以形成表示经次采样FCC格式化视频数据的经压缩版本的位流23。作为冗余信息减少、色彩噪声抑制(或换句话说，减少)、量化及色度次采样的结果，经次采样FCC视频数据的经压缩版本可具有比HDR/WCG视频数据17(未经历此预处理)的经压缩版本更小的大小(就位来说)，此部分地归因于由上文所论述的视频预处理单元19执行的预处理。已知预处理操作经设计以利用HVS的限制，尽管有例如量化及色度次采样的有损操作，各种预处理操作可不致使视频数据的质量降低。视频编码器20可将位流23提供到输出接口22，输出接口22可经由计算机可读媒体16将位流23输出到目的地装置14的输入接口28。
在接收到位流23之后，目的地装置14的输入接口28可将位流23输出到视频解码器30。视频解码器30可执行与由视频编码器20执行的编码操作互逆的解码操作。举例来说，视频编码器20可执行将先前经译码图片的块识别为当前图片的块的参考块且产生残余数据作为参考块与当前图片的块之间的差。视频编码器20可将残余数据从空间域变换成频域，经由量化消除低频系数，且执行统计无损编码(其通常被称作“熵编码”)以产生经压缩残余数据。视频解码器30可在执行熵解码、反量化及反变换时执行互逆操作以恢复经压缩残余数据的经解码版本。在解码位流23之后或在解码位流23时，视频解码器30可将经解码的经次采样FCC格式化视频数据25'输出到视频后处理单元31。已知在编码经次采样FCC格式化视频数据25期间执行有损操作，经解码的经次采样FCC格式化视频数据25'可类似(但不同)于经次采样FCC格式化视频数据25。
视频后处理单元31可执行与由视频预处理单元19执行的那些操作互逆的操作，以后处理经解码的经次采样FCC格式化视频数据25'。举例来说，视频后处理单元31可执行色度增加采样以将经次采样FCC格式化视频数据25'的色度分量的分辨率从4:2:0增加到4:4:4，借此产生经量化FCC格式化视频数据。视频后处理单元31可随后关于经量化FCC格式化视频数据执行反量化以获得经压紧FCC格式化视频数据。
继续执行与由视频预处理单元19执行的那些操作互逆的后处理操作，视频后处理单元31可将反TF(例如，感知反量化电光转移函数)应用于经压紧FCC格式化视频数据以获得经调整FCC格式化视频数据。视频后处理单元31可将反色度调整应用于经调整FCC格式化视频数据以获得FCC格式化视频数据。视频后处理单元31可将FCC格式化视频数据的色度分量从FCC格式转换成色彩表示格式，借此获得HDR/WCG视频数据17的经解码版本，其表示为HDR/WCG视频数据17'(归因于在编码期间执行的有损操作，其同样可类似(但不同)于HDR/WCG视频数据17)。视频后处理单元31可将HDR/WCG视频数据17'输出到目的地装置14的显示装置32，显示装置32可呈现HDR/WCG视频数据17'以供检视者消费。
图2为更详细地说明图1的视频预处理单元19的框图。在图2的实例中，视频预处理单元19包含格式转换单元100、色度调整单元102、压紧单元104、量化单元106及次采样单元108。格式转换单元100表示经配置以将HDR/WCG视频数据17的色度分量从RGB色彩空间(或其它色彩表示格式)转换成FCC格式的单元。格式转换单元100可接收在RGB色彩空间中的HDR/WCG视频数据17，RGB色彩空间具有在ITU-R BT.709或ITU-R BT.2020中定义的色彩空间。在正下方的表1中提供关于此些色彩空间的色域参数的较多信息。
表1.色域参数
格式转换单元100可首先将HDR/WCG视频数据17从RGB色彩空间转换成CIE-XYZ色彩空间。从RGB色彩空间转换成CIE-XYZ色彩空间为线性操作。格式转换单元100可将HDR/WCG视频数据17从RGB色彩空间转换成CIE-XYZ色彩空间，因为RGB(或其它常用色彩空间，YCbCr)不具有色度的感知均一性。格式转换单元100可借此产生XYZ格式化HDR/WCG视频数据99。
格式转换单元100可随后将XYZ格式化HDR/WCG视频数据99从CIE-XYZ色彩空间转换成FCC色彩空间，例如CIE-Yu'v'(其还可被称作“FCC格式”或“FCC色彩格式”)。在CIE-XYZ色彩空间与CIE-Yu'v'色彩空间之间的转换可根据以下方程式(1)到(3)发生：
Y＝Y (1)
在一些情况下，格式转换单元100可贯穿所有类型的经输入HDR信号固定单组FCC系数，其中格式转换单元100可将Yu'v'色彩空间用于所有类型的HDR/WCG视频数据17。在此些情况下，格式转换单元100可利用方程式(1)到(3)而不管HDR/WCG视频数据17的类型如何。
在其它情况下，格式转换单元100可基于HDR/WCG视频数据17的类型在不同类型的FCC系数之间切换，或换句话说，自适应性地选择一种类型的FCC系数。FCC系数的一般定义由以下方程式(4)到(6)提供：
Y＝Y (4)
在方程式(5)及(6)中，α′及β′表示FCC格式化视频数据101的色度分量，且a1-a4及b1-b4表示基于XYZ格式化HDR/WCG视频数据99而调适的变量。
在一些实例中，格式转换单元100可截割FCC格式化视频数据101以防止FCC格式化视频数据101超出范围。换句话说，格式转换单元100可执行“例行性检查”以确保FCC格式化视频数据101不超出所指定信号范围。在任何情况下，格式转换单元100可将Yu'v'格式化HDR/WCG视频数据作为FCC格式化视频数据101输出到色度调整单元102。
色度调整单元102可表示经配置以基于FCC格式化视频数据101的对应明度分量调整FCC格式化视频数据101的色度分量的单元。色度调整单元102可调整色度分量(例如，FCC格式化视频数据101的u'及v')以抑制在低明度水平期间发生的噪声。如上文所提及，当样本(即，此实例中的像素)的对应明度低于固定阈值(其可被设置成对应于阴影的明度的某一值或更低(例如)0尼特与1尼特之间)时，色度调整单元102可将色度分量设置成对应于黑色或灰色(其中灰色被定义为(u',v')＝(0.19783,0.46832))的值。
或者，色度调整单元102可基于图片的某一部分(例如，切片)、图片整体或包含当前图片的图片群组(GOP)的明度而自适应性地确定阈值。举例来说，色度调整单元102可分析图片中的所有像素的明度且设置阈值以使得阈值适用于5％的最暗像素。色度调整单元102还可基于图片的场景总体上是明亮场景还是黑暗场景而调适5％阈值。换句话说，当最暗像素仍相对明亮(例如，高于1尼特)时，色度调整单元102可降低阈值以使得阈值适用于2％的最暗像素。当最暗像素相对暗(例如，低于1尼特)时，色度调整单元102可增加阈值以使得阈值适用于5％或更多的最暗像素。
就调整色度分量来说，当目标像素的对应明度低于固定或自适应阈值时，色度调整单元102可作为一个实例将目标像素的色度分量设置为某一范围内的相邻像素的色度分量的平均值。在此实例中，色度调整单元102可将平均滤波器应用于满足以下两个条件的相邻像素而非截割成灰色：1)驻留在中心位于目标像素处的某一大小的窗内；且2)具有低于固定(或换句话说，预定)或自适应阈值的明度分量。
此外，在一些实例中，色度调整单元102可将同一调整应用于色度分量中的每一个，例如u'及v'。在其它实例中，色度调整单元102可关于色度分量中的每一个执行不同调整。即，色度调整单元102可分别将不同噪声减少应用于色度分量中的每一个。
色度调整单元102可经由将调整应用于FCC格式化视频数据而获得经调整FCC格式化视频数据103。色度调整单元102将经调整FCC格式化视频数据103输出到压紧单元104。
压紧单元104可表示经配置以使用一或多个自适应转移函数(TF)110来压紧经调整FCC格式化视频数据103的经调整色度分量的单元。在一些实例中，压紧单元104可独立地将单一TF(例如，SMPTE-2084中所指定的上文所参考PQ EOTF)应用于每一色度分量。在数学上，将同一TF应用于经调整FCC格式化视频数据103的三个分量中的每一个可由以下方程式(7)到(9)表示：
Y′＝TF(Y) (7)
α″＝TF(α′) (8)
β″＝TF(β′) (9)
在方程式(7)到(9)中，Y、α′及β′表示在以上方程式(4)到(6)中产生的信号，其中TF()表示转移函数。
以此方式，压紧单元104可将TF 110中的同一个应用于经调整FCC格式化视频数据103的Y、u'及v'分量中的每一个。在其它实例中，压紧单元104可分别将不同TF 110应用于三个分量中的每一个。TF 110可包含对数似然(log-like)TF，其中对数似然TF的一个实例可包含SMPTE-2084中所指定的上文所参考PQ EOTF。
当应用TF 110中的对数似然TF时，压紧单元104可将TF 110中的对数似然TF应用于色彩空间的每一分量，(例如)独立地应用于Y、u'及v'。在其它情况下，压紧单元104可仅将TF 110中的对数似然TF应用于经调整FCC格式化视频数据103的明度分量Y。压紧单元104可随后取决于经调整FCC格式化视频数据103的对应明度分量Y的水平而将TF 110中的自适应线性TF应用于经调整FCC格式化视频数据103的色度分量u'及v'。
TF 110中的自适应线性TF可由以下方程式(10)到(12)在数学上表示：
Y′＝TF(Y) (10)
α″＝aα(Y)α′+bα (11)
β″＝aβ(Y)β′+bβ (12)
在方程式(10)到(12)中，TF表示TF 110中仅经选择用于明度分量的非线性(例如，对数似然)TF，aα及aβ表示TF 110中的线性TF的斜率，且bα及bβ表示压紧单元104可基于FCC系数确定的偏移。在一些情况下，压紧单元104可分别设置α”及β”分量的斜率及偏移。在一些情况下，压紧单元104可选择对于α”及β”分量二者产生相同(或几乎相同)偏移及/或相同斜率的FCC系数。
为了说明，考虑展示相对于明度的自适应斜率的图4。图4为说明展示根据本发明中所描述的技术的各种方面应用的线性TF 110的相对于明度的自适应斜率的曲线图200的图式。压紧单元104可确定斜率以在一或多个明度区中保持HVS的均匀色度感知，但在其它明度范围中抑制HVS的均匀色度感知。在图4的实例中，在斜率随着明度增加而从0.25变化到1.0的情况下，压紧单元104可抑制较低明度中的色度信息(包含噪声)但维持较高明度中的色度信息。此设计还可允许压紧单元104能够通过在某一明度范围内采用大于1.0的斜率而增强色度信息。由此，一个实例设计可确定何时增强(抑制)色度信息及在各种明度范围下允许多少增强(抑制)。区(其中的每一个可与斜率及范围相关联)的数目可取决于目标应用、HDR/WCG视频数据17的输入特性及此预处理的各种目标(例如，SNR、感知质量等)。
压紧单元104可经配置有偏移，所述偏移经导出以在应用TF 110之后在每一明度下保持类似灰色色度值。如上文所提及，压紧单元104可基于所使用的FCC格式类型(其还可被称作“FCC系数”)确定偏移。在Yu'v'色彩空间的实例中，压紧单元104可根据以下方程式(13)及(14)确定偏移：
bu'＝0.19783*(1-au') (13)
bv'＝0.46832*(1-av') (14)
在一些实例中，压紧单元104可贯穿所有经输入HDR/WCG视频数据17保持相同斜率及偏移。在其它实例中，压紧单元104可取决于不同粒度等级(例如，切片、图片及GOP)下的输入特性及FCC系数而调整斜率及偏移。在图5A到5C中可看到自适应TF 110对Yu'v'的效应。
图5A到5C为说明展示具有偏移的自适应TF 110相对于无偏移的自适应TF的曲线图210A到210C的图式。图5A的曲线图210A展示呈在Yu'v'坐标中含有BT.2020色域的三方柱形式的原始FCC格式化视频数据101，其中明度范围为[0,10]。三角形212表示低明度的样本像素(假设三角形212的Y低于2)。图5B的曲线图210B展示在已使用不包含偏移的自适应线性TF来压紧之后的同一三角形212，其被表示为212'。已知三角形212'已被压紧，三角形212'比三角形212小得多，其中斜率可确定三角形的大小相对于明度的变化变化了多少。然而，三角形212已经移位到左方且向下移动，从而指示无偏移的自适应线性TF 110不保持色度，此可产生可见伪影。图5C的曲线图210C展示已经偏移以使得在3D空间中三角形的质心在每一明度下正确地对准的同一三角形212'，其被表示为三角形212”。偏移的施加借此有助于保持均匀色度。
无论应用TF 110的前述方面如何，压紧单元104可导出TF 110中的一或多个且接着针对所有类型的HDR/WCG视频数据17修正TF 110。或者，压紧单元104可针对每一类型的HDR/WCG视频数据17或针对HDR/WCG视频数据17的每一图片(其还可被称作“帧”)导出TF110。
压紧单元104可将TF 110应用于经调整FCC格式化视频数据103以获得经压紧FCC格式化视频数据105。压紧单元104可将经压紧FCC格式化视频数据105输出到量化单元106。
量化单元106可表示经配置以量化经压紧FCC格式化视频数据105以获得经量化FCC格式化视频数据107的单元。量化单元106可例如将经压紧FCC格式化视频数据105的色度及/或明度分量的位深度减少到10位。量化单元106可将经量化FCC格式化视频数据107输出到次采样单元108。
次采样单元108可表示经配置以次采样经量化FCC格式化视频数据107以获得经预处理视频数据25的单元。次采样单元108可次采样经量化FCC格式化视频数据107以将色度分量从4:4:4格式缩减到4:2:0格式。次采样单元108可将预处理视频数据25输出到视频编码器20。
视频预处理单元19还可产生旁频带信息111，旁频带信息111可包含与预处理HDR/WCG视频数据17相关的视频后处理单元31可不能够独立地导出且执行互逆操作可能需要的信息。举例来说，视频预处理单元19可在旁频带信息111中指定在编码器侧处估计的用于噪声减少及自适应TF 110的FCC系数以及相关联参数。
视频预处理单元19可将旁频带信息111提供到视频编码器20，视频编码器20可在位流23中将旁频带信息111传讯为一或多个视频可用性信息(VUI)消息、一或多个补充增强信息(SEI)消息及/或一或多个SEI更新消息。在一些实例中，视频编码器20还可在译码树型单元(CTU)标头、切片标头及/或图片参数集(PPS)中指定旁频带信息111。在一些情况下，视频编码器20可利用旁频带信息111来促进适用于译码经预处理视频数据25的基于加权预测的程序。
图3为更详细地说明图1的视频后处理单元31的框图。在图3的实例中，视频后处理单元31包含增加采样单元150、反量化单元152、反压紧单元154、反向调整单元156及反格式转换单元158。增加采样单元150表示经配置以执行与上文关于视频预处理单元19的次采样单元108描述的操作互逆的操作的单元。增加采样单元150可因此作为一个实例增加采样经解码的经压紧FCC格式化视频数据25'以获得经增加采样的经压紧FCC格式化视频数据107'(其还可被称作经解码的经预处理视频数据107')。增加采样单元150可将经增加采样的经压紧FCC格式化视频数据107'输出到反量化单元152。
反量化单元152可表示经配置以执行与上文关于视频预处理单元19的量化单元106描述的操作互逆的操作的单元。由此，反量化单元152可反量化经增加采样的经压紧FCC格式化视频数据107'以获得经解量化的经压紧FCC格式化视频数据105'。解量化可涉及扩展用于表示经增加采样的经压紧FCC格式化视频数据107'的明度及色度分量中的每一个的位的数目。反量化单元152可将经解量化的经压紧FCC格式化视频数据105'输出到反压紧单元154。
反压紧单元154可表示经配置以执行与上文关于视频预处理单元19的压紧单元104描述的操作互逆的操作的单元。由此，反压紧单元154可将反向自适应TF 160(例如，反向自适应线性TF或反对数似然TF)应用于经解量化的经压紧FCC格式化视频数据105'以获得经解压FCC格式化视频数据103'。反向自适应TF 160可包含感知解量化(PD)光电转移函数(OETF)，其为上文所描述的PQ EOTF的反函数。反压紧单元154可作为一个实例基于经由位流23传讯的旁信道(sidechannel)信息111确定或以其它方式获得反向自适应TF 160。
反压紧单元154可以上文关于压紧单元104描述的各种方式自适应性地将反向自适应TF 160应用于经解量化的经压紧FCC格式化视频数据105'的明度及色度分量。换句话说，反压紧单元154可作为一个实例执行以下操作中的一个：将反向自适应TF 160中的同一个应用于经解量化的经压紧FCC格式化视频数据105'的第一及第二色度分量(即，图3的实例中的u'及v')中的每一个，或将反向自适应TF 160中的不同TF应用于经解量化的经压紧FCC格式化视频数据105'的第一及第二色度分量中的每一个。
作为另一实例，反压紧单元154可将反向自适应TF 160中的反对数似然TF应用于经解量化的经压紧FCC格式化视频数据105'的第一及第二色度分量中的每一个。或者，反压紧单元154可仅将反向自适应TF 160中的反对数似然TF应用于经压紧FCC格式化视频数据的明度分量，且取决于经解压明度分量的水平而将反向自适应TF 160中的反向自适应线性TF应用于经解量化的经压紧FCC格式化视频数据105'的第一及第二色度分量。
以此方式，反压紧单元154可关于经解量化的经压紧FCC格式化视频数据105'执行反压紧以获得经解压FCC格式化视频数据103'。反压紧单元154可将经解压FCC格式化视频数据103'输出到反向调整单元156。
反向调整单元156可表示经配置以执行与上文关于视频预处理单元19的调整单元102描述的操作互逆的操作的单元。由此，反向调整单元156可将反向调整应用于经解压FCC格式化视频数据103'以获得经反向调整FCC格式化视频数据101'。
举例来说，当经解压FCC格式化视频数据103'的样本的明度分量低于阈值时，反向调整单元156可通过将经解压FCC格式化视频数据103'的样本的色度分量设置成在与经解压FCC格式化视频数据103'相关联的位流23中传讯(例如，指定为旁信道信息111，其还可被称作“旁频带信息111”)的值而反向调整经解压FCC格式化视频数据103'的样本的对应色度分量。阈值可为固定的，或反向调整单元156可基于HDR及WCG视频数据17'的统计数据导出阈值。
作为另一实例，反向调整单元156可一同反向调整第一及第二色度分量二者。或者，反向调整单元156可分别反向调整第一及第二色度分量中的每一个。
以此方式，反向调整单元156可关于经解压FCC格式化视频数据103'执行反向调整以获得经反向调整FCC格式化视频数据101'。反向调整单元156可将经反向调整FCC格式化视频数据101'输出到反格式转换单元158。
反格式转换单元158可表示经配置以执行与上文关于视频预处理单元19的格式转换单元100描述的操作互逆的操作的单元。由此，反格式转换单元158可关于经反向调整FCC格式化视频数据101'应用反格式转换以获得HDR/WCG视频数据17'。
举例来说，反格式转换单元158可将经反向调整FCC格式化视频数据101'的色度分量转换成第二色彩表示格式(例如，从Yu'v'色彩空间转换成XYZ色彩空间，XYZ色彩空间可表示第二色彩表示格式的一个实例)。反格式转换单元158可随后将呈第二色彩表示格式的色度分量转换成第一色彩表示格式(例如，从XYZ色彩空间转换成RGB色彩空间，其中RGB色彩空间表示第一色彩表示格式的一个实例)以获得HDR/WCG视频数据17'。反格式转换单元158可基于在与经反向调整FCC格式化视频数据101'相关联的位流23中传讯的旁信道信息111而确定色彩表示格式。
以此方式，反格式转换单元158可关于经反向调整FCC格式化视频数据101'执行反格式转换以获得HDR/WCG视频数据17'。反格式转换单元158可将HDR/WCG视频数据17'输出为经后处理视频数据17'以供经由显示装置32显示。
图6为说明图1的视频预处理单元19的根据本发明中所描述的技术的各种方面的实例操作的流程图。最初，视频预处理单元19的格式转换单元100可接收HDR/WCG视频数据17。格式转换单元100可随后将HDR/WCG视频数据17的色度分量从RGB色彩空间(或其它色彩表示格式)转换成FCC格式，借此以上文所描述的方式获得FCC格式化视频数据101(200)。
色度调整单元102可随后基于FCC格式化视频数据101的对应明度分量而调整FCC格式化视频数据101的色度分量(202)。色度调整单元102可以上文所描述的多种方式中的任一方式调整色度分量(例如，FCC格式化视频数据101的u'及v')以抑制在低明度水平期间发生的噪声。色度调整单元102可经由将调整应用于FCC格式化视频数据而获得经调整FCC格式化视频数据103。色度调整单元102将经调整FCC格式化视频数据103输出到压紧单元104。
压紧单元104可以上文所描述的方式使用一或多个自适应转移函数(TF)110来压紧经调整FCC格式化视频数据103(204)。压紧单元104可将TF 110应用于经调整FCC格式化视频数据103以获得经压紧FCC格式化视频数据105。压紧单元104可将经压紧FCC格式化视频数据105输出到量化单元106。
量化单元106可量化经压紧FCC格式化视频数据105以获得经量化FCC格式化视频数据107(206)。量化单元106可例如将经压紧FCC格式化视频数据105的色度及/或明度分量的位深度减少到10位。量化单元106可将经量化FCC格式化视频数据107输出到次采样单元108。
次采样单元108可表示经配置以次采样经量化FCC格式化视频数据107以获得经预处理视频数据25(208)的单元。次采样单元108可次采样经量化FCC格式化视频数据107以将色度分量从4:4:4格式缩减到4:2:0格式。次采样单元108可将预处理视频数据25输出到视频编码器20。就预处理来说，量化及次采样二者可为任选的，且因而使用虚线来表示。
图7为说明在执行本发明中所描述的技术的各种方面时图3的视频后处理单元31的实例操作的流程图。最初，增加采样单元150可接收经解码的经压紧FCC格式化视频数据25'。增加采样单元150可增加采样经解码的经压紧FCC格式化视频数据25'以获得经增加采样的经压紧FCC格式化视频数据107'(其还可被称作经解码的经预处理视频数据107')(250)。增加采样单元150可将经增加采样的经压紧FCC格式化视频数据107'输出到反量化单元152。
反量化单元152可反量化经增加采样的经压紧FCC格式化视频数据107'以获得经解量化的经压紧FCC格式化视频数据105'(252)。反量化可涉及扩展用于表示经增加采样的经压紧FCC格式化视频数据107'的明度及色度分量中的每一个的位的数目。反量化单元152可将经解量化的经压紧FCC格式化视频数据105'输出到反压紧单元154。就后处理来说，反量化及增加采样二者可为任选的，且因而使用虚线来表示。
反压紧单元154可将反向自适应TF 160应用于经解量化的经压紧FCC格式化视频数据105'以获得经解压FCC格式化视频数据103'(254)。反压紧单元154可作为一个实例基于经由位流23传讯的旁信道信息111确定或以其它方式获得反向自适应TF 160。反压紧单元154可将经解压FCC格式化视频数据103'输出到反向调整单元156。
反向调整单元156可将反向调整应用于经解压FCC格式化视频数据103'，从而以上文所描述的方式获得经反向调整FCC格式化视频数据101'。反向调整单元156可将经反向调整FCC格式化视频数据101'输出到反格式转换单元158。
反格式转换单元158可关于经反向调整FCC格式化视频数据101'应用反格式转换以获得如上文更详细地描述的HDR及WCG视频数据17'。反格式转换单元158可将HDR及WCG视频数据17'输出为经后处理视频数据25'以供经由显示装置32显示。
图8为说明可实施本发明的技术以编码经预处理视频数据的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一个。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一个。
如图8中所展示，视频编码器20接收待编码的视频帧内的当前视频块。当前块已经历本发明中所描述的预处理技术以实现当前块的更高效视频编码/压缩。在图8的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46及分割单元48。为了视频块重构建，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器，以对块边界进行滤波以从经重构建视频去除块效应伪影。如果需要，解块滤波器将通常对求和器62的输出进行滤波。还可使用除解块滤波器以外的额外滤波器(回路内或回路后)。为简洁起见未展示此类滤波器，但如果需要，此类滤波器可对求和器50的输出进行滤波(作为回路内滤波器)。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为存储用于由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器41及经解码图片缓冲器64可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器41及经解码图片缓冲器64。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码程序期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测处理单元46可替代地执行所接收视频块相对于在与待译码的块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。举例来说，分割单元48可最初将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一个分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一个，且将所得经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构建用作参考帧的经编码块。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割区信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但为了概念目的而分开说明。由运动估计单元42执行的运动估计为产生运动向量的程序，运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于与在当前图片(或其它经译码单元)内正经译码的当前块有关的参考图片(或其它经译码单元)内的预测性块的位移。预测性块为就像素差来说被发现与待译码的块紧密匹配的块，所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储在经解码图片缓冲器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过将PU的位置与参考图片的预测性块的位置比较而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一个识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而提取或产生预测性块。再一次，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，且运动补偿单元44将基于所述明度分量计算的运动向量用于色度分量与明度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代，帧内预测处理单元46可对当前块进行帧内预测。特别地，帧内预测处理单元46可确定帧内预测模式以用于编码当前块。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测处理单元46(或在一些实例中为模式选择单元40)可从所测试模式选择适当帧内预测模式来使用。
举例来说，帧内预测处理单元46可使用针对各种所测试帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试模式间选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始、未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用于产生经编码块的位速率(即，位的数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现块的最优选速率-失真值。
在选择块的帧内预测模式之后，帧内预测处理单元46可将指示块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选择帧内预测模式的信息。视频编码器20可在经发射位流中包含以下：配置数据，其可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一个的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
视频编码器20通过从正经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。
量化单元54量化变换系数以进一步减少位速率。量化程序可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行扫描。
在量化之后，熵编码单元56熵译码经量化变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块添加到经解码图片缓冲器64的帧中的一个的预测性块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构建残余块以计算次整数像素值以用于运动估计。求和器62将经重构建残余块添加到由运动补偿单元44产生的运动补偿预测块，以产生用于存储在经解码图片缓冲器64中的经重构建视频块。经重构建视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
图9为说明可实施本发明的技术以在后处理视频数据之前解码视频数据的视频解码器30的实例的框图。在图9的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、经解码图片缓冲器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图9)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)从计算机可读媒体16(例如，从例如照相机的本地视频源)、经由视频数据的有线或无线网络通信或者通过存取物理数据存储媒体而获得存储在视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为存储由视频解码器30在解码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器71及经解码图片缓冲器82可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器71及经解码图片缓冲器82。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码程序期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级下的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可基于经传讯帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一个内的参考图片中的一个产生。视频解码器30可基于存储在经解码图片缓冲器82中的参考图片使用默认构建技术来构建参考图片列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息产生正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些来确定用于译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、所述切片的参考图片列表中的一或多个的构建信息、所述切片的每一经帧间编码视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的次整数像素的内插值。在此情况下，运动补偿单元72可从所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76反量化(即，解量化)位流中所提供且由熵解码单元70解码的经量化变换系数。反量化程序可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY来确定应应用的量化程度及(同样地)反量化程度。反变换处理单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换程序)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素而产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的组件。如果需要，还可应用解块滤波器以对经解码块进行滤波以便去除块效应伪影。还可使用其它回路滤波器(在译码回路内抑或在译码回路之后)以使像素转变平滑，或以其它方式改进视频质量。
接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置32)上呈现。经解码图片缓冲器82还可输出经解码视频块以用于根据本发明中所描述的技术的各种方面的后处理。
为了说明的目的，已关于HEVC标准的扩展而描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码程序，包含尚未开发的其它标准或专有视频译码程序。
如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可按不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践都是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体或包含促进将计算机程序从一处传达到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。另外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为关于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软碟及Blu-ray光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上组合还应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的积体或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可提供在经配置以用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编码解码器中。另外，所述技术可完全实施在一或多个电路或逻辑元件中。
本发明的技术可实施在广泛多种装置或设备中，包含无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。实际上，如上文所描述，各种单元可组合在编码解码器硬件单元中或由结合合适的软件及/或固件的互操作硬件单元(包含如上文所描述的一或多个处理器)的集合提供。
已描述各种实例。此些及其它实例是在以下权利要求书的范围内。

Claims (23)

1.一种处理视频数据的方法，所述方法包括：
仅将反向非线性转移函数TF应用于视频数据的明度分量以获得所述视频数据的反向变换的明度分量；
取决于所述视频数据的所述明度分量的水平而将反向自适应线性TF应用于所述视频数据的色度分量而反向缩放所述色度分量，以反向地应用自适应线性TF而获得所述视频数据的反向缩放的色度分量；以及
基于所述视频数据的所述反向变换的明度分量和所述视频数据的所述反向缩放的色度分量而处理所述视频数据。
2.根据权利要求1所述的方法，其中处理所述视频数据包括在视频解码所述视频数据之后的后处理所述视频数据。
3.根据权利要求1所述的方法，其进一步包括将所述视频数据从经压紧格式转换为色彩表示格式。
4.根据权利要求3所述的方法，其进一步包括将所述色彩表示格式中的所述色度分量转换成第二色彩表示格式以获得高动态范围HDR和广色域WCG视频数据。
5.根据权利要求3所述的方法，其中所述色彩表示格式包括RGB色彩空间或XYZ色彩空间中的一者。
6.根据权利要求1所述的方法，其中反向缩放所述视频数据的所述色度分量包括，当所述明度分量低于阈值时，通过将所述色度分量设置为在与所述视频数据相关联的位流中传讯的值，而反向缩放所述视频数据的对应色度分量。
7.根据权利要求6所述的方法，其中所述阈值是固定的或基于所述视频数据的统计数据导出的。
8.根据权利要求1所述的方法，其中所述视频数据的所述色度分量包括第一色度分量，
其中所述视频数据包括第二色度分量，且
其中反向缩放所述视频数据的所述色度分量包括以下两者中的一者：一同反向缩放所述第一色度分量和所述第二色度分量两者，或者分别反向缩放所述第一色度分量和所述第二色度分量中的每一者。
9.根据权利要求1所述的方法，其中所述视频数据的所述色度分量包括第一色度分量，
其中所述视频数据包括第二色度分量，且
其中取决于所述视频数据的所述明度分量的水平而将反向自适应线性TF应用于所述色度分量包括以下两者中的一者：将同一个反向自适应线性TF应用于所述视频数据的所述第一色度分量和所述第二色度分量的每一者，或者将不同的反向自适应线性TF应用于所述视频数据的所述第一色度分量和所述第二色度分量的每一者。
10.根据权利要求1所述的方法，其中所述反向自适应线性TF包括基于所述视频数据的所述明度分量的所述水平而自适应的斜率。
11.根据权利要求1所述的方法，其中所述视频数据的所述明度分量为所述视频数据的经解压的明度分量。
12.一种经配置以处理视频数据的装置，所述装置包括：
存储器，其经配置以存储视频数据；以及
处理器，其经配置以：
仅将反向非线性转移函数TF应用于视频数据的明度分量以获得所述视频数据的反向变换的明度分量；
取决于所述视频数据的所述明度分量的水平而将反向自适应线性TF应用于所述视频数据的色度分量而反向缩放所述色度分量，以反向地应用自适应线性TF而获得所述视频数据的反向缩放的色度分量；以及
基于所述视频数据的所述反向变换的明度分量和所述视频数据的所述反向缩放的色度分量而处理所述视频数据。
13.根据权利要求12所述的装置，其中处理所述视频数据包括在视频解码所述视频数据之后的后处理所述视频数据。
14.根据权利要求12所述的装置，所述处理器进一步经配置以将所述视频数据从经压紧格式转换为色彩表示格式。
15.根据权利要求14所述的装置，所述处理器进一步经配置以将所述色彩表示格式的所述色度分量转换成第二色彩表示格式以获得高动态范围HDR和广色域WCG视频数据。
16.根据权利要求14所述的装置，其中所述色彩表示格式包括RGB色彩空间或XYZ色彩空间中的一者。
17.根据权利要求12所述的装置，其中反向缩放所述视频数据的所述色度分量包括，当所述明度分量低于阈值时，通过将所述色度分量设置为在与所述视频数据相关联的位流中传讯的值，而反向缩放所述视频数据的对应色度分量。
18.根据权利要求17所述的装置，其中所述阈值是固定的或基于所述视频数据的统计数据导出的。
19.根据权利要求12所述的装置，其中所述视频数据的所述色度分量包括第一色度分量，
其中所述视频数据包括第二色度分量，且
其中反向缩放所述视频数据的所述色度分量包括以下两者中的一者：一同反向缩放所述第一色度分量和所述第二色度分量两者，或者分别反向缩放所述第一色度分量和所述第二色度分量中的每一者。
20.根据权利要求12所述的装置，其中所述视频数据的所述色度分量包括第一色度分量，
其中所述视频数据包括第二色度分量，且
其中取决于所述视频数据的所述明度分量的水平而将反向自适应线性TF应用于所述色度分量包括以下两者中的一者：将同一个反向自适应线性TF应用于所述视频数据的所述第一色度分量和所述第二色度分量的每一者，或者将不同的反向自适应线性TF应用于所述视频数据的所述第一色度分量和所述第二色度分量的每一者。
21.根据权利要求12所述的装置，其中所述反向自适应线性TF包括基于所述视频数据的所述明度分量的所述水平而自适应的斜率。
22.根据权利要求12所述的装置，其中所述视频数据的所述明度分量为所述视频数据的经解压的明度分量。
23.一种用于处理视频数据的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储包含指令的程序，当所述指令由装置的处理器执行时致使所述装置执行包括以下步骤的方法：
仅将反向非线性转移函数TF应用于视频数据的明度分量以获得所述视频数据的反向变换的明度分量；
取决于所述视频数据的所述明度分量的水平而将反向自适应线性TF应用于所述视频数据的色度分量而反向缩放所述色度分量，以反向地应用自适应线性TF而获得所述视频数据的反向缩放的色度分量；以及
基于所述视频数据的所述反向变换的明度分量和所述视频数据的所述反向缩放的色度分量而处理所述视频数据。
CN201910859786.5A 2015-06-08 2016-06-08 针对视频译码处理高动态范围及广色域视频数据 Active CN110933431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910859786.5A CN110933431B (zh) 2015-06-08 2016-06-08 针对视频译码处理高动态范围及广色域视频数据

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562172724P 2015-06-08 2015-06-08
US62/172,724 2015-06-08
US15/176,014 2016-06-07
US15/176,014 US10397585B2 (en) 2015-06-08 2016-06-07 Processing high dynamic range and wide color gamut video data for video coding
CN201910859786.5A CN110933431B (zh) 2015-06-08 2016-06-08 针对视频译码处理高动态范围及广色域视频数据
PCT/US2016/036488 WO2016200977A1 (en) 2015-06-08 2016-06-08 Processing high dynamic range and wide color gamut video data for video coding
CN201680031281.4A CN107710758B (zh) 2015-06-08 2016-06-08 用于处理视频数据的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680031281.4A Division CN107710758B (zh) 2015-06-08 2016-06-08 用于处理视频数据的方法和装置

Publications (2)

Publication Number Publication Date
CN110933431A CN110933431A (zh) 2020-03-27
CN110933431B true CN110933431B (zh) 2023-09-15

Family

ID=57452647

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910859786.5A Active CN110933431B (zh) 2015-06-08 2016-06-08 针对视频译码处理高动态范围及广色域视频数据
CN201680031281.4A Expired - Fee Related CN107710758B (zh) 2015-06-08 2016-06-08 用于处理视频数据的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680031281.4A Expired - Fee Related CN107710758B (zh) 2015-06-08 2016-06-08 用于处理视频数据的方法和装置

Country Status (7)

Country Link
US (2) US10397585B2 (zh)
EP (1) EP3304911A1 (zh)
JP (1) JP6800896B2 (zh)
KR (1) KR20180017009A (zh)
CN (2) CN110933431B (zh)
TW (1) TW201711473A (zh)
WO (1) WO2016200977A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
WO2016197334A1 (zh) * 2015-06-09 2016-12-15 华为技术有限公司 图像编解码方法和设备
KR102254535B1 (ko) * 2015-07-22 2021-05-20 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
AU2015261734A1 (en) * 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
CN105472366B (zh) * 2015-12-07 2016-11-02 京东方科技集团股份有限公司 基于心理视觉调制的图像处理方法、装置及显示设备
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10891711B2 (en) * 2017-04-13 2021-01-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US9986200B1 (en) * 2017-05-11 2018-05-29 Novatek Microelectronics Corp. Method and video conversion system of updating video setting
US10873763B2 (en) * 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
TWI650998B (zh) * 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
TWI633537B (zh) * 2018-02-12 2018-08-21 友達光電股份有限公司 影像優化方法
US11153579B2 (en) * 2018-03-23 2021-10-19 Qualcomm Incorporated Deriving dynamic range adjustment (DRA) parameters for video coding
CA3109667A1 (en) * 2018-08-14 2020-02-20 Contrast, Inc. Image processing noise reduction
CN112434781A (zh) * 2019-08-26 2021-03-02 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
WO2023144091A1 (en) * 2022-01-31 2023-08-03 Interdigital Vc Holdings France, Sas Method for limiting effects of quantization in a color gamut modification process applied to a video content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62220087A (ja) * 1986-03-20 1987-09-28 Minolta Camera Co Ltd 色ノイズ抑制装置
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629396C2 (de) * 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
GB9024978D0 (en) * 1990-11-16 1991-01-02 Rank Cintel Ltd Digital mirror spatial light modulator
US7567722B2 (en) 2005-03-22 2009-07-28 Qualcomm Incorporated Dynamically scaled file encoding
US9179046B1 (en) * 2006-04-28 2015-11-03 Ambarella, Inc. Camera with high-quality still capture during continuous video capture
US8498332B2 (en) * 2006-09-21 2013-07-30 Qualcomm Incorporated Chroma supression features
US7692562B1 (en) 2006-10-18 2010-04-06 Hewlett-Packard Development Company, L.P. System and method for representing digital media
CN101778246B (zh) * 2010-01-29 2014-04-02 华为终端有限公司 多画面视频图像处理方法和装置
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
JP5977565B2 (ja) * 2012-04-16 2016-08-24 オリンパス株式会社 画像処理装置
CN102761745B (zh) 2012-07-12 2015-07-22 国家计算机网络与信息安全管理中心 解码方法和解码设备
CN104583876A (zh) 2012-08-24 2015-04-29 佳能株式会社 黄色调色剂和黄色调色剂的制造方法
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CN104519370B (zh) 2013-09-29 2018-06-08 中国电信股份有限公司 一种视频流的拼接方法和系统
WO2015052935A1 (en) 2013-10-11 2015-04-16 Sharp Kabushiki Kaisha Color information and chromaticity signaling
US9544560B2 (en) 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
KR102254535B1 (ko) 2015-07-22 2021-05-20 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62220087A (ja) * 1986-03-20 1987-09-28 Minolta Camera Co Ltd 色ノイズ抑制装置
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Also Published As

Publication number Publication date
TW201711473A (zh) 2017-03-16
EP3304911A1 (en) 2018-04-11
US20190335184A1 (en) 2019-10-31
WO2016200977A1 (en) 2016-12-15
JP2018524871A (ja) 2018-08-30
US10666957B2 (en) 2020-05-26
US10397585B2 (en) 2019-08-27
CN110933431A (zh) 2020-03-27
US20160360213A1 (en) 2016-12-08
CN107710758A (zh) 2018-02-16
CN107710758B (zh) 2020-01-10
KR20180017009A (ko) 2018-02-20
JP6800896B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
US10666957B2 (en) Processing high dynamic range and wide color gamut video data for video coding
CN111194551B (zh) 利用内容自适应空间变化量化的视频译码
KR102612652B1 (ko) 비디오 코딩에서 크로스-성분 동적 범위 조정 (cc-dra) 의 시스템 및 방법
US10284863B2 (en) Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
CN108028944B (zh) 用于处理经解码视频数据的方法、系统和存储介质
CN108028936B9 (zh) 分量用于使用固定点计算实施动态范围调整的方法和设备
US20170332098A1 (en) Loop sample processing for high dynamic range and wide color gamut video coding
JP7369124B2 (ja) 結合されたピクセル／変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御
US20160309154A1 (en) Dynamic range adjustment for high dynamic range and wide color gamut video coding
JP2021510964A (ja) ビデオコーディングのための等しいレンジおよび他のｄｒａパラメータのためのシグナリング機構
US10728559B2 (en) Precision of computation and signaling of dynamic range adjustment and color remapping information
US20180048907A1 (en) Video coding tools for in-loop sample processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant