CN107690803B - 用于高动态范围及广色域视频译码的自适应常量照度方法 - Google Patents

用于高动态范围及广色域视频译码的自适应常量照度方法 Download PDF

Info

Publication number
CN107690803B
CN107690803B CN201680031811.5A CN201680031811A CN107690803B CN 107690803 B CN107690803 B CN 107690803B CN 201680031811 A CN201680031811 A CN 201680031811A CN 107690803 B CN107690803 B CN 107690803B
Authority
CN
China
Prior art keywords
sample
pixel
scale factor
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680031811.5A
Other languages
English (en)
Other versions
CN107690803A (zh
Inventor
霍埃尔·索赖·罗哈斯
李圣远
德米特罗·鲁萨诺夫斯基
阿达许·克里许纳·瑞玛苏布雷蒙尼安
德内·布达伊哲·桑斯利
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107690803A publication Critical patent/CN107690803A/zh
Application granted granted Critical
Publication of CN107690803B publication Critical patent/CN107690803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Abstract

装置可基于位流中的数据确定像素的照度样本(Y)、所述像素的Cb样本及所述像素的Cr样本。此外，所述装置可从所述位流获得第一缩放因数及第二缩放因数。另外，所述装置可基于所述第一缩放因数、所述像素的所述Cb样本及Y确定所述像素的经转换B样本(B)。所述装置可基于所述第二缩放因数、所述像素的所述Cr样本及Y确定所述像素的经转换R样本(R)。所述装置可应用电光转移函数EOTF以将Y、R及B分别转换为所述像素的照度样本、所述像素的R样本及所述像素的B样本。

Description

用于高动态范围及广色域视频译码的自适应常量照度方法
本申请案主张2015年6月8日申请的美国临时专利申请案第62/172,554号的权益，所述临时专利申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及视频解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、笔记本电脑或台式计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、高级视频译码(AVC)第10部分、ITU-T H.265、高效率视频译码(HEVC)所界定的标准及此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以缩减或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。经帧内译码块根据帧内译码模式及残余数据来编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述与具有高动态范围(HDR)及广色域(WCG)表示的视频信号译码相关的技术。举例来说，将用于传信的具体技术及操作应用于某些色彩空间中的视频数据以实现HDR及WCG视频数据的更有效压缩。本发明的具体技术可改进用于译码HDR及WCG视频数据的混合型视频译码系统的压缩效率。
在一个实例中，本发明描述一种编码视频数据的方法，所述方法包括：基于所述视频数据的像素的R样本、所述像素的G样本及所述像素的线性光B样本确定所述像素的照度样本(Y)，其中所述R样本、所述G样本、所述B样本及所述照度样本是在线性光中；应用光电转移函数(OETF)以将Y、所述R样本及所述B样本转换为经转换照度样本(Y')、经转换R样本(R')及经转换B样本(B')；基于第一缩放因数、B'及Y'确定所述像素的Cb样本；基于第二缩放因数、R'及Y'确定所述像素的Cr样本；编码包括Y'、所述Cb样本及所述Cr样本的视频数据块；及以包括所述视频数据的经译码表示的位流传信所述第一缩放因数及所述第二缩放因数。
在另一实例中，本发明描述一种解码视频数据的方法，所述方法包括：基于包括所述视频数据的经编码表示的位流中的数据确定像素的照度样本Y'、所述像素的Cb样本及所述像素的Cr样本；从所述位流获得第一缩放因数及第二缩放因数；基于所述第一缩放因数、所述像素的所述Cb样本及Y'确定所述像素的经转换B样本(B')；基于所述第二缩放因数、所述像素的所述Cr样本及Y'确定所述像素的经转换R样本(R')；及应用电光转移函数(EOTF)以将Y'、R'及B'分别转换为所述像素的照度样本(Y)、所述像素的R样本及所述像素的B样本，其中所述R样本、所述G样本及所述照度样本是在线性光中。
在另一实例中，本发明描述一种用于编码视频数据的设备，所述设备包括：存储媒体，其经配置以存储所述视频数据；及一或多个处理器，其经配置以：基于所述视频数据的像素的R样本、所述像素的G样本及所述像素的B样本确定所述像素的照度样本(Y)，其中所述R样本、所述G样本、所述B样本及所述照度样本是在线性光中；应用光电转移函数(OETF)以将所述照度样本、所述R样本及所述B样本转换为照度样本(Y')、经转换R样本(R')及经转换B样本(B')；基于第一缩放因数、B'及Y'确定所述像素的Cb样本；基于第二缩放因数、R'及Y'确定所述像素的Cr样本；编码包括Y'、所述Cb样本及所述Cr样本的视频数据块；及以包括所述视频数据的经译码表示的位流传信所述第一缩放因数及所述第二缩放因数。
在另一实例中，本发明描述一种用于解码视频数据的设备，所述设备包括：存储媒体，其经配置以存储所述视频数据；及一或多个处理器，其经配置以：基于包括所述视频数据的经编码表示的位流中的数据确定像素的照度样本(Y')、所述像素的Cb样本及所述像素的Cr样本；从所述位流获得第一缩放因数及第二缩放因数；基于所述第一缩放因数、所述像素的所述Cb样本及Y'确定所述像素的经转换B样本(B')；基于所述第二缩放因数、所述像素的所述Cr样本及Y'确定所述像素的经转换R样本(R')；及应用电光转移函数(EOTF)以将Y'、R'及B'分别转换为所述像素的照度样本(Y)、所述像素的R样本及所述像素的B样本，其中所述R样本、所述G样本及所述照度样本是在线性光中。
下文在随附图式及描述中阐述本发明的一或多个实例的细节。其它特征、目标及优势将从描述、图式及权利要求书显而易见。
附图说明
图1是说明经配置以实施本发明的技术的实例视频编码及解码系统的框图。
图2是说明高动态范围数据的概念的概念图。
图3是说明实例色域的概念图。
图4是说明实例高动态范围(HDR)/广色域(WCG)表示转换的流程图。
图5是展示实例HDR/WCG反转换的流程图。
图6是说明实例转移函数的概念图。
图7是说明非常量照度的实例的框图。
图8是说明常量照度的实例的框图。
图9是说明视频编码器的实例的框图。
图10是说明视频解码器的实例的框图。
图11是说明根据本发明的技术的视频编码器的实例操作的流程图。
图12是说明根据本发明的技术的视频解码器的实例操作的流程图。
具体实施方式
本发明涉及具有高动态范围(HDR)及广色域(WCG)表示的视频信号的译码。更确切来说，本发明的技术包含应用于某些色彩空间中的视频数据以实现HDR及WCG视频数据的更有效压缩的传信及操作。所提出的技术可改进用于译码HDR及WCG视频数据的混合型视频译码系统(例如，基于HEVC的视频译码器)的压缩效率。
举例来说，常量照度(CL)是将色彩数据从RGB色彩空间数据变换为Y'CbCr色彩空间的色彩变换形式。然而，CL的现有形式可能不完全适合于HDR及WCG视频。如下文所描述，本发明的技术可解决此问题。举例来说，源装置及目的地装置可在CL变换的应用期间应用缩放因数。此些缩放因数可基于具体动态范围、色域及/或其它因素予以调适。有利的是，在一些实例中，与现有系统相反，可在不改变用于实施CL变换的硬件及/或软件的情况下使用不同缩放因数。
图1是说明可利用本发明的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。具体来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型计算机(即，笔记本电脑)、平板计算机、机顶盒、电话手机(例如，所谓的“智能型”电话)、所谓的“智能型”垫片、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下，源装置12及目的地装置14可经装备以用于无线通信。
在图1的实例中，源装置12包含视频源18、视频编码单元21(其包含视频预处理器单元19及视频编码器20)以及输出接口22。目的地装置14包含输入接口28、视频解码单元29(其包含视频解码器30及视频后处理器单元31)以及显示装置32。根据本发明的一些实例，视频预处理器单元19及视频后处理器单元31可经配置以执行本发明中所描述的具体技术的所有或部分。举例来说，视频预处理器单元19及视频后处理器单元31可包含经配置以应用静态转移函数的静态转移函数单元，但具有可调适信号特性的预处理及后处理单元。
在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术一般由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称为“CODEC”)执行。为了易于描述，参照在源装置12及目的地装置14中的相应一个中执行本发明中所描述的实例技术的视频预处理器单元19及视频后处理器单元31来描述本发明。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一个包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以用于(例如)视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前俘获的视频的视频存档及/或用以从视频内容提供者接收视频数据的视频馈入接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频及计算机产生的视频的组合。在一些状况下，如果视频源18是摄像机，那么源装置12及目的地装置14可形成所谓的摄影机电话或视频电话。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一状况下，经俘获、经预俘获或计算机产生的视频可由视频编码单元21编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议的通信标准调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如，因特网)的一部分。通信媒体可包含路由器、切换器、基站或任何其它可适用于促进从源装置12到目的地装置14的通信的设备。目的地装置14可包括经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或局部存取式数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)存取经编码视频数据。此数据连接可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合。从存储装置的经编码视频数据的发射可为流式发射、下载发射或其组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一个，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
计算机可读媒体16可包含暂态媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码单元21的视频编码器20界定的语法信息(其也由视频解码单元29的视频解码器30所使用)，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
如所说明，视频预处理器单元19从视频源18接收视频数据。视频预处理器单元19可经配置以处理视频数据以将视频数据转换成适于运用视频编码器20编码的形式。举例来说，视频预处理器单元19可执行动态范围压缩(例如，使用非线性转移函数)；到较紧密或稳固的色彩空间的色彩转换及/或浮点到整数表示的转换。视频编码器20可对由视频预处理器单元19所输出的视频数据执行视频编码。视频解码器30可执行视频编码器20的反向以解码视频数据，且视频后处理器单元31可执行由视频预处理器单元19执行的操作的反向以将视频数据转换成适于显示器的形式。举例来说，视频后处理器单元31可执行整数到浮点转换、从紧密或稳固色彩空间的色彩转换及/或动态范围压缩的反向以产生适于显示器的视频数据。
视频编码单元21及视频解码单元29各自可实施为多种合适的处理电路中的任一个，包含固定功能处理电路及/或可编程处理电路，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件，或其任何组合。当所述技术部分地在软件中实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码单元21及视频解码单元29中的每一个可包含于一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
尽管视频预处理器单元19及视频编码器20经说明为视频编码单元21内的单独单元且视频后处理器单元31及视频解码器30经说明为视频解码单元29内的单独单元，但本发明中所描述的技术并不限于此。视频预处理器单元19及视频编码器20可形成为共同装置(例如，集成式电路或容纳在同一芯片内)。类似地，视频后处理器单元31及视频解码器30可形成为共同装置(例如，集成式电路或容纳在同一芯片内)。
在一些实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家群组(VCEG)及ISO/IEC运动图片专家群组(MPEG)的视频译码联合合作小组(JCT-VC))开发的高效率视频译码(HEVC)标准而操作。被称作“HEVC草案规范”的HEVC标准草案描述于布罗斯(Bross)等人的“高效视频译码(HEVC)缺陷报告3(High Efficiency Video Coding(HEVC)Defect Report 3)”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第16次会议,美国圣何塞(San Jose,US),2014年1月,文献号JCTVC-P1003_v1)中。所述HEVC草案规范可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/16_San％20Jose/wg11/JCTVC-P1003-v1.zip获得。
此外，正不断努力产生HEVC的可缩放视频译码扩展。HEVC的可缩放视频译码扩展可被称作SHEVC或SHVC。另外，VCEG及MPEG的3D视频译码联合合作小组(JCT-3C)正在基于HEVC开发3DV标准。用于基于HEVC的3DV标准的标准化努力的一部分包含基于HEVC的多视图视频编解码器的标准化(即，MV-HEVC)。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片还可被称作“帧”。图片可包含三个样本阵列，标示为SL、SCb及SCr。SL是照度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度(Chrominance)样本在本文中还可被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含照度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一个可包括照度样本的译码树型块、色度样本的两个对应译码树型块，及用于对译码树型块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用以对所述译码树型块的样本进行译码的语法结构。译码树型块可以是样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于具体大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描次序中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”或“块”以指代一或多个样本块及用于对样本的所述一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区，等等。在一些情形中，PU的论述可与宏块或宏块分区的论述互换。
为了产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块是样本的N×N块。CU可包括具有照度样本阵列、Cb样本阵列及Cr样本阵列的图片的照度样本的译码块，及色度样本的两个对应译码块，及用于对所述译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于对所述译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括照度样本的预测块、色度样本的两个对应预测块及用于预测所述预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用于预测所述预测块的语法结构。视频编码器20可针对CU的每一PU的预测块(例如，照度、Cb及Cr预测块)产生预测性块(例如，照度、Cb及Cr预测性块)。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于包含PU的图片的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性块(例如，照度、Cb及Cr预测性块)之后，视频编码器20可产生CU的一或多个残余块。举例来说，视频编码器20可产生CU的照度残余块。CU的照度残余块中的每一样本指示CU的预测性照度块中的一个中的照度样本与CU的原始照度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割以将CU的残余块(例如，照度、Cb及Cr残余块)分解成一或多个变换块(例如，照度、Cb及Cr变换块)。变换块是应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包括照度样本的变换块、色度样本的两个对应变换块及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可具有照度变换块、Cb变换块以及Cr变换块。TU的照度变换块可以是CU的照度残余块的子块。Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于对所述变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的照度变换块，以产生TU的照度系数块。系数块可以是变换系数的二维阵列。变换系数可以是纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，照度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化一般指对变换系数进行量化以可能缩减用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的一序列位的位流。因此，位流包括视频数据的经编码表示。位流可包括一序列网络抽象层(NAL)单元。NAL单元是含有NAL单元中的数据的类型指示及含有所述数据的呈按需要穿插有仿真阻止位的原始位组序列酬载(RBSP)的形式的位组的语法结构。NAL单元中的每一个可包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可以是含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构建视频数据的图片。重构建视频数据的过程可大体上与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构建当前CU的TU的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。
预期下一代视频应用操作表示具有HDR及WCG的经俘获景物的视频数据。所利用动态范围及色域的参数是视频内容的两个独立属性，且出于数字电视及多媒体服务的目的，其规范由若干国际标准界定。举例来说，Recommendation ITU-R BT.709-5,“用于生产及国际方案交流的HDTV标准的参数值(Parameter values for the HDTV standards forproduction and international programme exchange)”(2002)(下文是“ITU-RBT.Rec.709”)界定高分辨率电视(HDTV)的参数，例如标准动态范围(SDR)及标准色域，且ITU-RRec.2020指定超高分辨率电视(UHDTV)参数，例如HDR及WCG。还存在其它标准开发组织(SDO)文献，其指定其它系统中的动态范围及色域属性，例如，P3色域界定于SMPTE-231-2(运动图片及电视工程师协会)中，且HDR的一些参数界定于SMPTE ST 2084中。以下提供视频数据的动态范围及色域的简单描述。
动态范围通常经界定为视频信号的最小亮度与最大亮度之间的比率。还可依据“f光阑”测量动态范围，其中一个f光阑对应于信号动态范围的加倍。在MPEG的界定中，HDR内容是以大于16个f光阑的亮度变化为特征的此类内容。在一些术语中，10个f光阑与16个f光阑之间的电平被视为中间动态范围，但在其它界定中被视为HDR。同时，人类视觉系统(HVS)能够感知大得多的动态范围。然而，HVS包含用以窄化所谓同时范围的自适应机制。对由HDTV的SDR、UHDTV的经预期HDR提供的动态范围及HVS动态范围的观测展示于图2中。
当前视频应用及服务由ITU-R BT.709调节且提供SDR，其通常支持每m2大约0.1烛光到100烛光(cd)的范围的亮度(或照度)(常常被称作“尼特(nit)”)，从而导致小于10个f光阑。预期下一代视频服务提供高达16个f光阑的动态范围，且尽管详细规范当前在开发中，但一些初始参数已在SMPTE ST 2084及ITU-R BT.2020中指定。
除HDR以外更真实的视频体验的另一方面是色彩维度，其常规地由色域界定。图3是展示SDR色域(基于ITU-R BT.709红色、绿色及蓝色原色的三角形)以及UHDTV的较广色域(基于ITU-R BT.2020红色、绿色及蓝色原色的三角形)的概念图。图3还描绘所谓的光谱轨迹(由舌片形状的区域定界)，从而表示天然色的界限。如图3所说明，从ITU-R BT.709到ITU-R BT.2020移动原色旨在提供具有约70％较多色彩的UHDTV服务。D65指定给定规范的白色。
色域规范的若干实例展示于以下表1中。
表1.色域参数
在4:4:4的色度格式及极广色彩空间(例如，XYZ)情况下，通常以每分量(甚至浮点)极高精确度获取且存储HDR/WCG。CIE 1931是XYZ色彩空间的实例。此表示以高精确度为目标且在数学上(几乎)无损。然而，此格式特征可包含许多冗余且对于压缩目的而言并非最佳的。具有基于HVS的假定的较低精确度格式通常用于目前先进技术的视频应用。
出于压缩的目的，典型视频数据格式转换由3个主要元素构成，如图4的实例中所展示。图4的技术可由源装置12的视频预处理器单元19执行。使用用于动态范围压缩的非线性转移函数(TF)来压缩线性RGB数据。经压缩数据接着经由色彩转换过程运行到较紧密或稳固的色彩空间中。接着使用浮点到整数表示转换(量化)来量化数据以产生HDR的数据。
在解码器侧处的实例反向转换描绘于图5中。目的地装置14的视频后处理器单元31可执行图5的技术。线性及浮点表示中的输入RGB数据的高动态范围通过所利用的非线性转移函数(TF)(例如，如SMPTE ST 2084中所界定的PQ TF)来压缩，之后其被转换到较适于压缩的目标色彩空间(例如，Y'CbCr)，且接着经量化以达成整数表示。此些元素的次序作为一实例给出，且可在真实世界应用中变化，例如，色彩转换可先于TF模块以及额外处理(例如，空间次采样)可应用于色彩分量。在下文更详细地描述此三个分量。
将TF应用于数据以压缩数据的动态范围且使得可能通过有限数目个位表示数据。此函数通常是一维(1D)非线性函数，其反映终端用户显示器的电光转移函数(EOTF)的反向转移函数，如ITU-R BT.709中针对SDR所指定；或近似于对亮度改变的HVS感知，如SMPTE ST2084中针对HDR所指定的PQ TF。OETF的反向过程是电光转移函数(EOTF)，其将代码等级映射回到照度。图6展示TF的若干实例。此些映射还可分别应用于每一R、G及B分量，从而将所述每一分量分别转换为R'、G'及B'。
RGB数据通常用作输入，这是由于RGB数据常常由图像俘获传感器产生。然而，此色彩空间在其分量当中具有高冗余且对于紧密表示而言并非最佳的。为了达成较紧密且较稳固的表示，通常将RGB分量转换成较适于压缩的较不相关色彩空间(即，执行色彩变换)，例如Y'CbCr。此色彩空间将呈照度形式的亮度及不同不相关分量中的色彩信息分离。
对于现代视频译码系统，通常所使用的色彩空间是Y'CbCr，如ITU-R BT.709或ITU-R BT.709(Recommendation ITU-R BT.709-5,“用于生产及国际方案交流的HDTV标准的参数值(Parameter values for the HDTV standards for production andinternational programme exchange)”(2002)，下文是“Recommendation ITU-R BT.709-5”)中所指定。BT.709标准中的Y'CbCr色彩空间指定从R'G'B'到Y'CbCr的以下转换过程(非常量照度表示)：
以上过程还可使用避免Cb及Cr分量的除法的以下近似转换来实施：
ITU-R BT.2020标准指定从RGB到Y'CbCr的两个不同转换过程：常量照度(CL)及非常量照度(NCL)(Recommendation ITU-R BT.2020,“用于生产及国际方案交流的超高分辨率电视系统的参数值(Parameter values for ultra-high definition televisionsystems for production and international programme exchange)”(2012))。RGB数据可在线性光中且Y'CbCr数据为非线性的。图7是说明非常量照度的实例的框图。确切来说，图7展示NCL方法的实例。图7的NCL方法在OETF之后应用从R'G'B'到Y'CbCr的转换。所述转换如下文一样进行。
另一方面，CL方法产生如图8中所说明的Y'CbCr。图8是说明常量照度的实例的框图。为了产生Y'，首先从线性光中的R、G及B计算照度Y，接着通过将OETF应用于Y而获得Y'。使用Y'、R'及B'计算两个色度分量Cb及Cr，其中通过将OETF应用于R及B而获得R'及B'。以下等式中描述细节。
等式(5)及(6)是基于ITU-R BT.2020中所指定的BT.2020原色及OETF。因此，如果利用不同OETF及/或原色，那么应针对对应OETF及/或原色导出那些公式中的分母。另外，两个色彩空间皆保持标准化；因此，对于在0…1范围内标准化的输入值，所得值可映射到0..1的范围。一般来说，以浮点准确度实施的色彩变换提供完美的重构建。因此，此过程为无损的。
量化/固定点转换：在色彩变换之后，仍以高位深度(例如，浮点准确度)表示的目标色彩空间中的输入数据经转换为目标位深度。某些研究展示，10位到12位准确度结合PQTF足以提供具有低于恰可辨差异的失真的16个f光阑的HDR数据。以10位准确度表示的数据可进一步通过大多数目前先进技术的视频译码解决方案进行译码。此量化是有损译码的元素且是引入到经转换数据的不准确度的来源。
已知常量照度(CL)缩减照度及色度信息的串扰，因此就经压缩视频的细节而言其一般比NCL执行地较佳。然而，CL的公式未充分优化到新类型的内容，例如HDR/WCG视频。另外，传统CL缺乏考虑到HDR/WCG视频的时空动态的灵活性。
本发明描述在CL框架中提供较多灵活性的自适应常量照度(ACL)技术。通过引入四个ACL参数(色度分量Cb及Cr中的每一个各两个)，译码效率可归因于提供较高准确度表示而增加。另外，所提出的方法可容易地与应用于TF、色度信息或量化的任何其它技术组合。最后，ACL的复杂性增加可为可忽略的。在一些实例中，本发明的技术可由视频预处理器单元19及/或视频后处理器单元31执行。
对于给定OETF及原色，通过如下文般引入四个缩放因数si以用于Cb及Cr计算而公式化ACL。在本发明中，四个缩放因数可被称作“ACL参数”。削减或其它动态范围调整技术可用于防止Cb及Cr超过[-0.5,0.5]的范围。
其中信号分量R、G及B是在线性光中，且TF(.)是给定OETF。信号分量R'、G'及B'是每一对应分量的TF(.)输出，即，R'＝TF(R)、G'＝TF(G)，且B'＝TF(B)。等式(7)中的四个分母Nb、Pb、Nr及Pr如下导出。
对于使得Y＝CR*R+CG*G+CB*B的给定原色，其中CR、Cb及Cg是色彩变换的参数：
举例来说，在以上等式(6)及(7)中，CR等于0.2627，CG等于0.6780，且CB等于0.0593。在本发明中，术语“原色”或“色彩容器(color container)”是指(线性)组合地产生色彩范围的色彩(例如R、G及B)集合。举例来说，BT.2020界定特定红色、绿色及蓝色，所述特定红色、绿色及蓝色通过线性组合(通过从0到1的权重)产生整个BT.2020色彩空间(图3中的大三角形)。
因此，视频预处理器单元19可应用OETF(即，TF(.))以将照度样本(Y)、R样本(R)及B样本(B)分别转换为照度样本(Y')、经转换R样本(R')及经转换B样本(B')。此外，使用以上等式(7)，视频预处理器单元19可基于第一缩放因数(s1或s2)、B'及Y'确定像素的Cb样本(Cb')。另外，使用以上等式(7)，视频预处理器单元19可基于第二缩放因数(s3或s4)、R'及Y'确定像素的Cr样本(Cr')。应注意，在一些术语方案中，术语“照度(luma)”及“照度(luminance)”为可互换的；因此，照度样本(Y)可被称作照度样本，即使Y在线性光中也如此，且照度样本(Y')可被称作经转换照度样本。
在等式(7)中，第一缩放因数(s1或s2)的值取决于B'与Y'之间的差(B'-Y')是否在第一范围或第二、非重叠范围(即，第二范围与第一范围不重叠)中。第二缩放因数(s3或s4)的值取决于R'与Y'之间的差(R'-Y')是否在第三范围或第四、非重叠范围(即，第四范围与第三范围不重叠)中。应注意，(Nb、Pb、Nr、Pr)的值取决于如在(8)中所使用的OETF(即，TF(.))。
在各种实例中，视频预处理器单元19及/或视频后处理器单元31可以不同方式导出ACL参数(即，缩放因数)。举例来说，在一个实例中，导出满足s1/Nb＝s2/Pb＝K1与s3/Nr＝s4/Pr＝K2两者的ACL参数(其中K1及K2是任何浮点数)以最小化复杂性。因此，在此实例中，可导出s1及s2使得s1/Nb及s2/Pb彼此相等。此外，在此实例中，可导出s3及s4使得s3/Nr及s4/Pr彼此相等。在另一实例中，在无此类限制的情况下导出ACL参数。在一些实例中，对于输入HDR视频的所有图片且对于所有类型的原色及所有类型的TF，ACL参数集为恒定的。
在一些实例中，ACL参数关于输入HDR视频的特性、原色及TF自适应性地改变(例如，经确定、应用及传信)。举例来说，视频预处理器单元19及/或视频后处理器单元31可基于以下各者中的至少一个自适应性地确定s1、s2、s3及s4：视频数据的输入信号的一或多个特性、原色或OETF。举例来说，在一个实例中，视频预处理器单元19及视频后处理器单元31可取决于所使用的OETF而使用不同ACL参数。在一些实例中，视频预处理器单元19及视频后处理器单元31可取决于所使用的原色而使用不同ACL参数。在一些实例中，用于输入HDR视频数据的容器可用于第一色彩空间(例如，BT.2020)，但实际输入HDR视频数据具有第二、不同色彩空间(例如，BT.709)。因此，在此实例中，视频预处理器单元19及视频后处理器单元31可使用用于第二色彩空间而非第一色彩空间的ACL参数。在本发明中其它处描述以此方式使用第二色彩空间的实例。
在一些实例中，产生于ACL的信号经历检查以确定所述信号为真实的或经历削减以防止所述信号超过所指定信号范围。举例来说，视频预处理器单元19可检查Cb'及Cr'在[-0.5,0.5]范围内，且如果不在所述范围中，那么将Cb'或Cr'削减到此范围。
在一些实例中，经由经指定过程从输入信号或从与输入信号及处理流程相关联的其它可供使用参数在编码器及解码器侧处导出ACL参数。举例来说，用于输入HDR视频的OETF可针对不同图片自适应性地变化且编码器可将OETF的参数传信到解码器。举例来说，假设默认OETF是TF0(.)，例如，如在SMPTE ST 2084中所界定的PQ TF，且用于某些图片的OETF是TF1(.)。在给定TF0(.)及TF1(.)的情况下，编码器及解码器可导出用于图片的ACL参数，例如，s1＝TF0(1-CB)/TF1(1-CB)且s2＝(1-TF0(CB))/(1-TF1(CB))，s3及s4类似。
在一些实例中，在编码器侧处估计ACL参数且经由位流(元数据、SEI消息、VUI等)将所述ACL参数传信到解码器。举例来说，源装置12可在位流中传信ACL参数。解码器(例如，目的地装置14)从位流接收ACL参数。因此，根据此实例，视频编码单元21的视频预处理器单元19可基于视频数据的像素的R样本、像素的G样本及像素的B样本确定像素的照度样本(Y)。另外，视频预处理器单元19可应用OETF以将Y、R样本及B样本分别转换为照度样本(Y')、经转换R样本(R')及经转换B样本(B')。
举例来说，视频预处理器单元19可应用本发明中所描述的OETF中的任一个。在此实例中，视频预处理器单元19可基于第一缩放因数(例如，s1或s2)、B'及Y'确定像素的Cb样本。视频预处理器单元19可基于第二缩放因数(例如，s3或s4)、R'及Y'确定像素的Cr样本。视频预处理器单元19可使用等式(7)以确定Cb样本及Cr样本。在一些实例中，视频预处理器单元19自适应性地确定第一缩放因数及第二缩放因数，如本发明中其它处所描述。
此外，视频编码单元21的视频编码器20可编码包括Y'、Cb样本及Cr样本的视频数据块。举例来说，视频编码器20可使用HEVC或另一视频压缩技术以编码视频数据块。视频编码单元21可以包括视频数据的经译码表示的位流传信第一缩放因数及第二缩放因数。举例来说，视频编码单元21可以位流传信指定第一缩放因数及第二缩放因数的语法元素。在一些情况下，视频编码单元21可以位流传信所有四个s1、s2、s3及s4。
类似地，视频解码单元29可基于包括视频数据的经编码表示的位流中的数据确定像素的照度样本(Y')、像素的Cb样本及像素的Cr样本。举例来说，视频解码单元29的视频解码器30可解码含有像素的视频数据块。在一些实例中，视频解码器30可使用HEVC或另一视频压缩技术来解码视频数据块。在使用HEVC的实例中，块可以是CU。另外，视频解码单元29可从位流获得第一缩放因数及第二缩放因数。在一些实例中，视频解码单元29可获得指定第一及第二缩放因数的语法元素。此外，在一些实例中，视频解码单元29可获得指示所有四个缩放因数s1、s2、s3及s4的语法元素。视频解码单元29的视频后处理器单元31可基于第一缩放因数、像素的Cb样本及Y'确定像素的经转换B样本。此外，视频后处理器单元31可基于第二缩放因数、像素的Cr样本及Y'确定像素的经转换R样本。举例来说，视频后处理器单元31可使用等式(7)中所指示的关系以确定B'及R'。视频后处理器单元31可应用EOTF以将Y'、R'及B'分别转换为像素的照度样本(Y)、像素的R样本及像素的B样本。举例来说，视频后处理器单元31可应用本发明中所描述的EOTF中的任一个。
在一些实例中，对于Recommendation ITU-R BT.2020,“用于生产及国际方案交流的超高分辨率电视系统的参数值(Parameter values for ultra-high definitiontelevision systems for production and international programme exchange)”(2012)(下文是“BT.2020”)中指定的BT.2020原色及OETF，将ACL参数设定为(s1,s2,s3,s4)＝(1.0313,0.8406,1.1653,0.6738)。此些ACL参数产生用于BT.2020中所指定的NCL及OETF的相同公式：
a.Y'＝0.2627*R'+0.6780*G'+0.0593*B'
在一些实例中，对于Recommendation ITU-R BT.2020,“用于生产及国际方案交流的超高分辨率电视系统的参数值(Parameter values for ultra-high definitiontelevision systems for production and international programme exchange)”(2012)(下文是“BT.2020”)中指定的BT.2020原色及OETF，将ACL参数设定为(s1,s2,s3,s4)＝(1.0457,0.8523,1.0912,0.6309)。此些ACL参数产生用于BT.709中所指定的NCL及OETF的相同公式：
a.Y'＝0.2627*R'+0.6780*G'+0.0593*B'
在一些实例中，对于BT.2020原色及PQ OETF(SMPTE ST 2084[SMPTE ST 2084:2014,“掌控参考显示器的高动态范围电光转移函数(High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays)”,2014](下文是“SMPTE ST 2084”)中所指定的PQ TF的反向)，将ACL参数设定为(s1,s2,s3,s4)＝(1.0562,0.3242,1.3128,0.1938)。此些ACL参数产生用于通过BT.2020的NCL及BT.2020中所指定的OETF的相同公式：
a.Y'＝0.2627*R'+0.6780*G'+0.0593*B'
在一些实例中，在色彩分量Cb及Cr是单极信号且其极性提前已知的假设下可将ACL参数集缩减到每色彩分量一个参数—s1用于Cb且s2用于Cr：
a.Y'＝0.2627*R'+0.6780*G'+0.0593*B'
已描述各种实例。本发明的具体实例可分别地或彼此组合使用。
图9是说明可实施本发明的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测以缩减或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以缩减或去除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一个。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一个。
如图9中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图9的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46及分割单元48。为了进行视频块重构建，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器(图9中未展示)以便对块边界进行滤波，从而从经重构建视频去除块效应伪影。如果需要，解块滤波器通常将对求和器62的输出进行滤波。还可使用除解块滤波器以外的额外滤波器(例如，回路内或回路后)。为简洁起见未展示此些滤波器，但如果需要，此些滤波器可滤波求和器50的输出(作为回路内滤波器)。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器41中的视频数据。经解码图片缓冲器64可以是存储用于由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器41及经解码图片缓冲器64可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器41及经解码图片缓冲器64。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测处理单元46可替代地相对于在与待译码的块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可首先将帧或切片分割成LCU，且基于位率-失真分析(例如，位率-失真优化)来将所述LCU中的每一个分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果选择译码模式—帧内或帧间—中的一个，且将所得经帧内或经帧间译码块提供到求和器50以产生残余块数据且提供到求和器62以重构建用作参考帧的经编码块。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但为概念目的而单独说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块(或其它经译码单元)相对于所述当前图片内正经译码的当前块(或其它经译码单元)的位移。预测性块是就像素差而言被发现紧密地匹配待译码块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索并输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。所述参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一个识别存储于经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。再者，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42相对于照度分量而执行运动估计，且运动补偿单元44将基于所述照度分量所计算的运动向量用于色度分量与照度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
如上文所描述，作为由运动估计单元42及运动补偿单元44所执行的帧间预测的替代方案，帧内预测处理单元46可对当前块进行帧内预测。具体来说，帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测处理单元46(或在一些实例中是模式选择单元40)可从所测试模式选择用以使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可使用针对各种所测试帧内预测模式的位率-失真分析来计算位率-失真值，且在所测试模式间选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析一般确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位数目)。帧内预测处理单元46可从各种经编码块的失真及位率计算比率以确定哪一帧内预测模式展现块的最佳位率-失真值。
在选择块的帧内预测模式之后，帧内预测处理单元46可将指示块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选择的帧内预测模式的信息。视频编码器20可在所发射的位流中包含以下各者：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一个的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的所述组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。变换可将残余信息从像素值域转换为变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。
量化单元54量化变换系数以进一步缩减位率。量化过程可缩减与系数中的一些或所有相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54接着可执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。
反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重构建残余块，(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块添加到经解码图片缓冲器64的帧中的一个的预测性块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构建残余块以计算子整数像素值以用于运动估计。求和器62将经重构建的残余块添加到由运动补偿单元44所产生的经运动补偿预测块，以产生用于存储于经解码图片缓冲器64中的经重构建视频块。经重构建视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
图10是说明可实施本发明的技术的视频解码器30的实例的框图。在图10的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、经解码图片缓冲器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图9)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70所接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70所接收的帧内预测模式指示符产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而从计算机可读媒体16(例如，从本地视频源，例如摄影机)获得存储于视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可以是存储用于由视频解码器30在解码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器71及经解码图片缓冲器82可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器71及经解码图片缓冲器82。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块，及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可基于经传信帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一个内的参考图片中的一个产生预测性块。视频解码器30可基于存储于经解码图片缓冲器82中的参考图片使用默认构建技术来构建参考图片列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些以确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于所述切片的参考图片列表中的一或多个的构建信息、用于所述切片的每一经帧间编码视频块的运动向量、用于所述切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76反量化(即，解量化)位流中所提供并由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块所计算的量化参数QPY以确定应进行应用的量化程度及(同样地)反量化程度。反变换处理单元78将反变换(例如，反DCT、反整数变换或在概念上类似的反变换过程)应用于变换系数，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素而产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的所述组件。如果需要，还可应用解块滤波器来对经解码块滤波以便去除块效应伪影。还可使用其它回路滤波器(在译码回路内抑或在译码回路之后)以使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
出于说明的目的，已关于HEVC标准的扩展而描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。
图11是说明根据本发明的技术的视频编码单元21的实例操作的流程图。本发明的流程图作为实例提供。本发明的其它实例可包含较多、较少或不同动作。此外，在其它实例中，所述动作可以不同次序执行。
在图11的实例中，视频编码单元21基于视频数据的像素的R样本、像素的G样本及像素的B样本确定像素的照度样本(Y)(300)。R样本、G样本、B样本及照度样本可在线性光中。换句话说，照度电平与RGB值线性地成比例。举例来说，在BT.2020中，照度Y＝0.2627*R+0.6780*G+0.0593*B。此外，视频编码单元21可应用OETF以将Y、R样本及B样本转换为经转换照度样本(Y')、经转换R样本(R')及经转换B样本(B')(302)。因此，在本发明中，经转换照度样本可标示为Y'，经转换R样本可标示为R'，且经转换B样本可标示为B'。
在图11的实例中，视频编码单元21可基于第一缩放因数、B'及Y'确定像素的Cb样本(304)。在本发明中，Cb样本可标示为Cb'。另外，视频编码单元21可基于第二缩放因数、R'及Y'确定像素的Cr样本(306)。在本发明中，Cr样本可标示为Cr'。
视频编码单元21可编码包括Y'、Cb样本及Cr样本的视频数据块(308)。举例来说，视频编码单元21可使用HEVC或另一视频压缩系统以用于编码块。视频编码单元21在HEVC中可如何编码块的实例在本发明中其它处描述。在一些实例中，视频数据块是CU。
另外，在图11的实例中，视频编码单元21可以包括视频数据的经译码表示的位流传信第一缩放因数及第二缩放因数(310)。第一缩放因数可以是用于确定Cb样本的s1或s2中的一个。举例来说，如果那么第一缩放因数是s1，且如果那么第一缩放因数是s2。第二缩放因数可以是用于确定Cr样本的s3或s4中的一个。举例来说，如果那么第二缩放因数是s3，且如果那么第二缩放因数是s4。举例来说，视频编码单元21可在以下各者中的至少一个中传信第一缩放因数及第二缩放因数：位流的元数据、位流中的SEI消息，或位流中的视频可用性信息。
图12是说明根据本发明的技术的视频解码单元29的实例操作的流程图。在图12的实例中，视频解码单元29可基于包括视频数据的经编码表示的位流中的数据确定像素的照度样本(Y')、像素的Cb样本及像素的Cr样本(350)。举例来说，视频解码单元29可使用HEVC或另一视频压缩技术来解码包含Y'、Cb样本及Cr样本的视频数据块。视频解码器30可如何使用HEVC解码视频数据块(例如，CU)的实例在本发明中其它处提供。
此外，视频解码单元29可从位流获得第一缩放因数及第二缩放因数(352)。第一缩放因数可以是用于确定Cb样本的s1或s2中的一个。举例来说，如果那么第一缩放因数是s1，且如果那么第一缩放因数是s2。第二缩放因数可以是用于确定Cr样本的s3或s4中的一个。举例来说，如果那么第二缩放因数是s3，且如果那么第二缩放因数是s4。
此外，视频解码单元29可基于第一缩放因数、像素的Cb样本及Y'确定像素的经转换B样本(B')(354)。另外，视频解码单元29可基于第二缩放因数、像素的Cr样本及Y'确定像素的经转换R样本(R')(356)。视频解码单元29可根据在本发明中其它处所提供的实例中的任一个确定B'及R'。
视频解码单元29可应用EOTF以将Y'、R'及B'分别转换为像素的照度样本(Y)、像素的R样本及像素的B样本(358)。R样本、G样本及照度样本是在线性光中。视频解码单元29可根据在本发明中其它处所提供的实例中的任一个应用EOTF以转换Y'、R'及B'。此外，在一些实例中，视频解码单元29应用反向转移函数(例如，在本发明中其它处所描述的转移函数的反向)以基于像素的照度样本、像素的R样本及像素的B样本确定像素的G样本，所述G样本是在线性光中。因此，视频解码单元29可导出像素的R、G及B样本。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如数据存储媒体)，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合还应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或并入于组合式编码解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开的技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件来提供所述单元。
已描述各种实例。此些及其它实例处于以下权利要求书的范围内。

Claims (28)

1.一种编码视频数据的方法，所述方法包括：
基于所述视频数据的像素的R样本、所述像素的G样本及所述像素的B样本确定所述像素的照度样本Y，其中所述R样本、所述G样本、所述B样本及所述照度样本是在线性光中；
应用光电转移函数OETF以将Y、所述R样本及所述B样本分别转换为照度样本Y'、经转换R样本R'及经转换B样本B'；
基于所述视频数据的特性、在所述视频数据中使用的原色或所述OETF中的一者或多者，确定自适应常量照度ACL参数集的第一缩放因数；
基于所述ACL参数集的所述第一缩放因数、B'及Y'确定所述像素的Cb样本；
基于所述视频数据的所述特性、在所述视频数据中使用的所述原色或所述OETF中的一或多者，确定所述ACL参数集的第二缩放因数；
基于所述ACL参数集的所述第二缩放因数、R'及Y'确定所述像素的Cr样本；
编码包括Y'、所述Cb样本及所述Cr样本的视频数据块；及
以包括所述视频数据的经译码表示的位流传信所述第一缩放因数及所述第二缩放因数。
2.根据权利要求1所述的方法，其中传信所述第一缩放因数及所述第二缩放因数包括在以下各者中的一个中传信所述第一缩放因数及所述第二缩放因数：所述位流的元数据、所述位流中的SEI消息，或所述位流中的视频可用性信息。
3.根据权利要求1所述的方法，其中：
所述第一缩放因数的值取决于B'与Y'之间的差是否在第一范围或不与所述第一范围重叠的第二范围内，且
所述第二缩放因数的值取决于R'与Y'之间的差是否在第三范围或不与所述第三范围重叠的第四范围内。
4.根据权利要求3所述的方法，其中：
其中Cb'是所述像素的所述Cb样本，Cr'是所述像素的所述Cr样本，s1及s2是所述第一缩放因数的值，Nb及Pb是第一分母值的值，s3及s4是所述第二缩放因数的值，且Nr及Pr是第二分母值的值。
5.根据权利要求4所述的方法，其中s1、s2、s3及s4对于所述视频数据的所有图片为恒定的。
6.根据权利要求4所述的方法，其中：
Nb＝2*TF(1-CB)
Pb＝2*(TF(CB))
Nr＝2*TF(1-CR)
Pr＝2*(1-TF(CR))
其中TF是所述OETF，且CB及CR是色彩变换的参数。
7.根据权利要求1所述的方法，其进一步包括自适应性地确定所述第一缩放因数及所述第二缩放因数。
8.一种解码视频数据的方法，所述方法包括：
基于包括所述视频数据的经编码表示的位流中的数据确定像素的照度样本Y'、所述像素的Cb样本及所述像素的Cr样本；
从所述位流获得自适应常量照度ACL参数集的第一缩放因数及所述ACL参数集的第二缩放因数；
基于所述第一缩放因数、所述像素的所述Cb样本及Y'确定所述像素的经转换B样本B'，其中所述第一缩放因数基于所述视频数据的特性、在所述视频数据中使用的原色或光电转移函数OETF中的一或多者；
基于所述第二缩放因数、所述像素的所述Cr样本及Y'确定所述像素的经转换R样本R'，其中所述第二缩放因数基于所述视频数据的所述特性、在所述视频数据中使用的所述原色或所述OETF中的一或多者；及
应用电光转移函数EOTF以将Y'、R'及B'分别转换为所述像素的照度样本Y、所述像素的R样本及所述像素的B样本，其中所述R样本及所述照度样本是在线性光中。
9.根据权利要求8所述的方法，其进一步包括应用反向转移函数以基于所述像素的所述照度样本Y、所述像素的所述R样本及所述像素的所述B样本确定所述像素的G样本，所述G样本是在线性光中。
10.根据权利要求8所述的方法，其中获得所述第一缩放因数及所述第二缩放因数包括：从以下各者中的至少一个获得所述第一缩放因数及所述第二缩放因数：所述位流的元数据、所述位流中的SEI消息，或所述位流中的视频可用性信息。
11.根据权利要求8所述的方法，其中：
所述第一缩放因数的值取决于B'与Y'之间的差是否在第一范围或不与所述第一范围重叠的第二范围内，且
所述第二缩放因数的值取决于R'与Y'之间的差是否在第三范围或不与所述第三范围重叠的第四范围内。
12.根据权利要求11所述的方法，其中：
其中Cb'是所述像素的所述Cb样本，Cr'是所述像素的所述Cr样本，s1及s2是所述第一缩放因数的值，Nb及Pb是第一分母值的值，s3及s4是所述第二缩放因数的值，且Nr及Pr是第二分母值的值。
13.根据权利要求12所述的方法，其中s1、s2、s3及s4对于所述视频数据的所有图片为恒定的。
14.根据权利要求12所述的方法，其中：
Nb＝2*TF(1-CB)
Pb＝2*(TF(CB))
Nr＝2*TF(1-CR)
Pr＝2*(1-TF(CR))
其中TF是光电转移函数，且CB及CR是色彩变换的参数。
15.一种用于编码视频数据的设备，所述设备包括：
存储媒体，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
基于所述视频数据的像素的R样本、所述像素的G样本及所述像素的B样本确定所述像素的照度样本Y，其中所述R样本、所述G样本及所述照度样本是在线性光中；
应用光电转移函数OETF以将所述照度样本、所述R样本及所述B样本转换为照度样本Y'、经转换R样本R'及经转换B样本B'；
基于所述视频数据的特性、在所述视频数据中使用的原色或所述OETF中的一或多者，确定自适应常量照度ACL参数集的第一缩放因数；
基于所述ACL参数集的所述第一缩放因数、B'及Y'确定所述像素的Cb样本；
基于所述视频数据的所述特性、在所述视频数据中使用的所述原色或所述OETF中的一或多者，确定所述ACL参数集的第二缩放因数；
基于所述ACL参数集的所述第二缩放因数、R'及Y'确定所述像素的Cr样本；
编码包括Y'、所述Cb样本及所述Cr样本的视频数据块；且
以包括所述视频数据的经译码表示的位流传信所述第一缩放因数及所述第二缩放因数。
16.根据权利要求15所述的设备，其中所述一或多个处理器经配置以在以下各者中的一个中传信所述第一缩放因数及所述第二缩放因数：所述位流的元数据、所述位流中的SEI消息，或所述位流中的视频可用性信息。
17.根据权利要求15所述的设备，其中：
所述第一缩放因数的值取决于B'与Y'之间的差是否在第一范围或不与所述第一范围重叠的第二范围内，且
所述第二缩放因数的值取决于所述R'与Y'之间的差是否在第三范围或不与所述第三范围重叠的第四范围内。
18.根据权利要求17所述的设备，其中：
其中Cb'是所述像素的所述Cb样本，Cr'是所述像素的所述Cr样本，s1及s2是所述第一缩放因数的值，Nb及Pb是第一分母值的值，s3及s4是所述第二缩放因数的值，且Nr及Pr是第二分母值的值。
19.根据权利要求18所述的设备，其中s1、s2、s3及s4对于所述视频数据的所有图片为恒定的。
20.根据权利要求18所述的设备，其中：
Nb＝2*TF(1-CB)
Pb＝2*(TF(CB))
Nr＝2*TF(1-CR)
Pr＝2*(1-TF(CR))
其中TF是所述OETF，且CB及CR是色彩变换的参数。
21.根据权利要求15所述的设备，其中所述一或多个处理器经配置以自适应性地确定所述第一缩放因数及所述第二缩放因数。
22.一种用于解码视频数据的设备，所述设备包括：
存储媒体，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
基于包括所述视频数据的经编码表示的位流中的数据确定像素的照度样本Y'、所述像素的Cb样本及所述像素的Cr样本；
从所述位流获得自适应常量照度ACL参数集的第一缩放因数及所述ACL参数集的第二缩放因数；
基于所述第一缩放因数、所述像素的所述Cb样本及Y'确定所述像素的经转换B样本B'，其中所述第一缩放因数基于所述视频数据的特性、在所述视频数据中使用的原色或光电转移函数OETF中的一或多者；
基于所述第二缩放因数、所述像素的所述Cr样本及Y'确定所述像素的经转换R样本R'，其中所述第二缩放因数基于所述视频数据的所述特性、在所述视频数据中使用的所述原色或所述OETF中的一或多者；且
应用电光转移函数EOTF以将Y'、R'及B'分别转换为所述像素的照度样本Y、所述像素的R样本及所述像素的B样本，其中所述R样本及所述照度样本是在线性光中。
23.根据权利要求22所述的设备，其中所述一或多个处理器经进一步配置以应用反向转移函数以基于所述像素的所述照度样本、所述像素的所述R样本及所述像素的所述B样本确定所述像素的G样本，所述G样本是在线性光中。
24.根据权利要求22所述的设备，其中所述一或多个处理器经配置以从以下各者中的一个获得所述第一缩放因数及所述第二缩放因数：所述位流的元数据、所述位流中的SEI消息，或所述位流中的视频可用性信息。
25.根据权利要求22所述的设备，其中：
所述第一缩放因数的值取决于B'与Y'之间的差是否在第一范围或不与所述第一范围重叠的第二范围内，且
所述第二缩放因数的值取决于R'与Y'之间的差是否在第三范围或不与所述第三范围重叠的第四范围内。
26.根据权利要求25所述的设备，其中：
其中Cb'是所述像素的所述Cb样本，Cr'是所述像素的所述Cr样本，s1及s2是所述第一缩放因数的值，Nb及Pb是第一分母值的值，s3及s4是所述第二缩放因数的值，且Nr及Pr是第二分母值的值。
27.根据权利要求26所述的设备，其中s1、s2、s3及s4对于所述视频数据的所有图片为恒定的。
28.根据权利要求26所述的设备，其中：
Nb＝2*TF(1-CB)
Pb＝2*(TF(CB))
Nr＝2*TF(1-CR)
Pr＝2*(1-TF(CR))
其中TF是光电转移函数，且CB及CR是色彩变换的参数。
CN201680031811.5A 2015-06-08 2016-06-08 用于高动态范围及广色域视频译码的自适应常量照度方法 Active CN107690803B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562172554P 2015-06-08 2015-06-08
US62/172,554 2015-06-08
US15/175,570 2016-06-07
US15/175,570 US10284863B2 (en) 2015-06-08 2016-06-07 Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
PCT/US2016/036479 WO2016200968A1 (en) 2015-06-08 2016-06-08 Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding

Publications (2)

Publication Number Publication Date
CN107690803A CN107690803A (zh) 2018-02-13
CN107690803B true CN107690803B (zh) 2019-08-23

Family

ID=57452656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680031811.5A Active CN107690803B (zh) 2015-06-08 2016-06-08 用于高动态范围及广色域视频译码的自适应常量照度方法

Country Status (7)

Country Link
US (1) US10284863B2 (zh)
EP (1) EP3304905A1 (zh)
JP (1) JP2018525862A (zh)
KR (1) KR20180016379A (zh)
CN (1) CN107690803B (zh)
TW (1) TW201711470A (zh)
WO (1) WO2016200968A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
WO2017153376A1 (en) * 2016-03-07 2017-09-14 Koninklijke Philips N.V. Encoding and decoding hdr videos
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10832613B2 (en) 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
EP3808068B1 (en) * 2018-06-18 2022-06-29 Dolby Laboratories Licensing Corporation Image capture methods and systems
US10607527B1 (en) 2018-10-25 2020-03-31 Baylor University System and method for a six-primary wide gamut color system
US11315467B1 (en) 2018-10-25 2022-04-26 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11069280B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11289003B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US11069279B2 (en) * 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11289000B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176351A (zh) * 2005-03-22 2008-05-07 高通股份有限公司 动态缩放文件编码
US7692562B1 (en) * 2006-10-18 2010-04-06 Hewlett-Packard Development Company, L.P. System and method for representing digital media
CN102761745A (zh) * 2012-07-12 2012-10-31 国家计算机网络与信息安全管理中心 解码方法和解码设备
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN104519370A (zh) * 2013-09-29 2015-04-15 中国电信股份有限公司 一种视频流的拼接方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62220087A (ja) 1986-03-20 1987-09-28 Minolta Camera Co Ltd 色ノイズ抑制装置
DE3629396C2 (de) 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
GB9024978D0 (en) 1990-11-16 1991-01-02 Rank Cintel Ltd Digital mirror spatial light modulator
US9179046B1 (en) 2006-04-28 2015-11-03 Ambarella, Inc. Camera with high-quality still capture during continuous video capture
US8498332B2 (en) 2006-09-21 2013-07-30 Qualcomm Incorporated Chroma supression features
RU2647636C2 (ru) 2013-02-21 2018-03-16 Долби Лабораторис Лайсэнзин Корпорейшн Управление отображением видео с расширенным динамическим диапазоном
EP3056007A4 (en) * 2013-10-11 2017-05-24 Sharp Kabushiki Kaisha Color information and chromaticity signaling
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10116938B2 (en) 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176351A (zh) * 2005-03-22 2008-05-07 高通股份有限公司 动态缩放文件编码
US7692562B1 (en) * 2006-10-18 2010-04-06 Hewlett-Packard Development Company, L.P. System and method for representing digital media
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN102761745A (zh) * 2012-07-12 2012-10-31 国家计算机网络与信息安全管理中心 解码方法和解码设备
CN104519370A (zh) * 2013-09-29 2015-04-15 中国电信股份有限公司 一种视频流的拼接方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Overview of the High Efficiency Video Coding;Gary J. Sullivan;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20121231;第22卷(第12期);全文

Also Published As

Publication number Publication date
US10284863B2 (en) 2019-05-07
WO2016200968A9 (en) 2017-01-26
US20160360214A1 (en) 2016-12-08
JP2018525862A (ja) 2018-09-06
KR20180016379A (ko) 2018-02-14
CN107690803A (zh) 2018-02-13
TW201711470A (zh) 2017-03-16
EP3304905A1 (en) 2018-04-11
WO2016200968A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
CN107690803B (zh) 用于高动态范围及广色域视频译码的自适应常量照度方法
JP6780054B2 (ja) マルチレイヤビデオコーディングにおける３次元ルックアップテーブルベースの色域スケーラビリティ
CN105723707B (zh) 用于视频译码的色彩残差预测
JP6800896B2 (ja) ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること
CN107211124B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
CN107690808B (zh) 可缩放视频译码中色域缩放性参数及表的推导
CN105814893B (zh) 在多层视频译码中信息用于色域可扩展性的3d查找表的发信分区
US20160309154A1 (en) Dynamic range adjustment for high dynamic range and wide color gamut video coding
CN105814892B (zh) 视频编解码的方法、装置以及相应的计算机可读存储媒体
CN109076228A (zh) 滤波信息的发信号
CN108028936A (zh) 视频译码中成分的范围调整的固定点实施
KR20200099535A (ko) 결합된 픽셀/변환 기반 양자화를 이용한 비디오 코딩을 위한 양자화 파라미터 제어
JP6768516B2 (ja) 色域スケーラビリティのための３ｄ色予測のために参照レイヤを信号伝達すること
CN109479150A (zh) 用于显示器调适的色彩重映射信息sei消息发信号
CN109644277A (zh) 用于回路内样本处理的视频译码工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant