CN107950028B - 用于处理视频数据的方法和设备 - Google Patents
用于处理视频数据的方法和设备 Download PDFInfo
- Publication number
- CN107950028B CN107950028B CN201680051841.2A CN201680051841A CN107950028B CN 107950028 B CN107950028 B CN 107950028B CN 201680051841 A CN201680051841 A CN 201680051841A CN 107950028 B CN107950028 B CN 107950028B
- Authority
- CN
- China
- Prior art keywords
- video data
- color
- video
- sei message
- cri sei
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
在实例中,一种处理视频的方法可包含接收包含经编码视频数据和色彩重新映射信息CRI辅助增强信息SEI消息的位流。所述CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息。所述方法可包含对所述经编码视频数据进行解码以产生经解码视频数据。所述方法可包含在将所述一或多个色彩重新映射过程中的至少一者应用于所述经解码视频数据以产生经处理的经解码视频数据之前,将不与所述CRI SEI消息对应的过程应用于所述经解码视频数据。
Description
本申请案请求2015年9月9日申请的美国临时申请案第62/216,254号的权益,其全部内容以引用的方式并入本文中。
技术领域
本发明涉及处理视频数据。
背景技术
数字视频功能可并入到大范围装置中。数字视频装置可实施视频译码技术,例如描述于以下中的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265、高效率视频译码(HEVC)定义的视频译码标准及此类标准的扩展。数字视频装置可配置成捕捉、发射、接收、编码、解码和/或存储数字视频信息。数字视频装置可配置成藉由实施此类视频译码技术来更高效地捕捉、发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。作为一实例,对于基于块的视频译码,可使用视频切片(即,视频帧或视频帧的一部分)。可以将视频切片分割成视频块,其还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片内的参考块(例如相邻块)中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片内的参考(例如相邻)块中的参考样本的空间预测或相对于其它参考图片内的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
发明内容
本发明涉及处理视频数据,包含根据一或多个CRI SEI消息处理视频数据。
在一个实例中,本发明描述一种方法,其包括:接收包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息;解码所述经编码视频数据以产生经解码视频数据;以及在将所述一或多个色彩重新映射过程中的至少一者应用于所述经解码视频数据以产生经处理的经解码视频数据之前,将不与所述CRI SEI消息对应的过程应用于所述经解码视频数据。
在另一个实例中,本发明描述一种装置,其包括:存储器;及一或多个处理器,其配置成:处理包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息;解码所述经编码视频数据以产生经解码视频数据;将所述经解码视频数据存储于存储器中;以及在将所述一或多个色彩重新映射过程中的至少一者应用于所述经解码视频数据以产生经处理的经解码视频数据之前,将不与所述CRI SEI消息对应的过程应用于所述经解码视频数据。
在另一个实例中,本发明描述一种设备,其包括:用于接收包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流的装置,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息;用于解码所述经编码视频数据以产生经解码视频数据的装置;以及用于在将所述一或多个色彩重新映射过程中的至少一者应用于经解码视频数据以产生经处理的经解码视频数据之前将不与所述CRI SEI消息对应的过程应用于所述经解码视频数据的装置。
在另一个实例中,本发明描述一种其上存储有指令的非暂时性计算机可读存储媒体,所述指令在执行时使一或多个处理器:处理包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息;解码所述经编码视频数据以产生经解码视频数据;以及在将所述一或多个色彩重新映射过程中的至少一者应用于所述经解码视频数据以产生经处理的经解码视频数据之前,将不与所述CRI SEI消息对应的过程应用于所述经解码视频数据。
在另一个实例中,本发明描述一种方法,其包括:接收包含经编码视频数据和多个色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述多个CRI SEI消息中的每一CRI SEI消息包含对应于一或多个色彩重新映射过程的信息,其中所述多个CRI SEI消息包含第一CRI SEI消息和第二CRI SEI消息;以及解码所述经编码视频数据以产生经解码视频数据,其中多个CRI SEI消息对应于相同经解码视频数据。
在另一个实例中,本发明描述一种方法,其包括:接收包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息和对应于语法元素的值;以及解码所述经编码视频数据以产生经解码视频数据,其中对应于语法元素的值指示:经解码视频数据在经过或未经额外处理的情况下是否兼容用于通过标准动态范围(SDR)显示器或高动态范围(HDR)显示器呈现、对应于CRI SEI消息的一或多个色彩重新映射过程是否配置成使得分别对应于一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同,或不与CRI SEI消息对应的过程是否将应用于对应于CRI SEI消息的两个色彩重新映射过程之间。
随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1为说明配置成实施本发明的技术的实例视频编码和解码系统的框图。
图2为说明高动态范围(HDR)数据的概念的图。
图3为比较高清电视(HDTV)(BT.709)及超高清电视(UHDTV)(BT.2020)的视频信号的色域的概念图。
图4为展示HDR/WCG表示转换的概念图。
图5为展示HDR/WCG反转换的概念图。
图6为展示实例传递函数的概念图。
图7为展示色彩重新映射过程的实例结构的概念图。
图8为展示色彩重新映射过程的实例结构的概念图。
图9说明根据本发明的一或多种技术的一个实例技术。
图10说明根据本发明的一或多种技术的后解码链配置的一个实例。
图11说明根据本发明的一或多种技术的后解码链配置的一个实例。
图12说明根据本发明的一或多种技术的后解码链配置的一个实例。
图13说明根据本发明的一或多种技术的后解码链配置的一个实例。
图14说明根据本发明的一或多种技术的两个后解码链配置的一个实例。
图15为说明根据本发明的技术的实例过程的流程图。
图16为说明根据本发明的技术的实例过程的流程图。
图17为说明根据本发明的技术的实例过程的流程图。
具体实施方式
视频译码技术可包含使用辅助增强信息(SEI)消息。举例来说,视频编码器可在位流中用信号表示SEI消息,且视频解码器可接收含有SEI消息的位流。在各种视频译码标准中存在各种类型的SEI消息。包含色彩重新映射信息的SEI消息可被称为色彩重新映射信息SEI消息,或更简称为CRI SEI消息。CRI SEI消息可由视频编码器在位流中用信号表示。类似地,视频解码器可接收位流中的CRI SEI消息。
本发明涉及视频数据处理领域,包含(例如)利用例如高动态范围(HDR)和/或宽色域(WCG)表示来译码视频信号。举例来说,本发明的技术包含数种改进H.265/HEVC视频译码标准中所指定的CRI SEI消息的应用的方法。HEVC标准公布为ITU-T H.265,系列H:视听和多媒体系统、视听服务的基础结构-移动视频的译码、高效视频译码,国际电信联盟,2015年4月(下文称为“HEVC”或“HEVC标准”)。作为另一实例,本发明描述数种改进,诸如关于CRISEI消息的信令效率改进,实现CRI SEI消息的更多应用,以及改进CRI SEI消息的语义。在一些实例中,本文所描述的技术可改进用于特定视频内容(如HDR/WCG内容)的CRI SEI消息的使用量。在一些实例中,本文所描述的技术可利用较早视频译码标准(如H.264/AVC以及其它)改进或实现CRI SEI的利用。另有陈述,虽然可关于实例视频译码标准(例如HEVC)描述本文所描述的一或多个实例,但应理解,出于便利性而关于实例视频译码标准描述此类实例,意味着本文所描述的任何技术可适用于任何视频译码标准,尽管是关于实例视频译码标准(例如HEVC)来描述的。
包含混合式视频译码标准的视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其扩展(例如可缩放视频译码(SVC)及多视图视频译码(MVC)扩展),以及包含其扩展(例如范围及屏幕内容译码扩展)的HEVC。
如本文中所使用,术语“视频”的个例可变为术语“内容”,且术语“内容”的个例可变为术语“视频”。这是真实的,不管术语“内容”或“视频”是否被用作形容词、名词或言语的其它部分。举例来说,提及“视频译码器”还包含提及“内容译码器”且提及“内容译码器”还包含提及“视频译码器”。作为另一实例,提及“视频编码器”还包含提及“内容编码器”,且提及“内容编码器”还包含提及“视频编码器”。作为另一实例,提及“视频解码器”还包含提及“内容解码器”,且提及“内容解码器”还包含提及“视频解码器”。作为另一实例,提及“视频”还包含提及“内容”,且提及“内容”还包含提及“视频”。作为另一实例,提及“视频数据”还包含提及“内容数据”,且提及“内容数据”还包含提及“视频数据”。
如本文中所使用,“内容”是指任何类型的内容。举例来说,“内容”可指代视频、屏幕内容、图像、任何图形内容、任何可显示内容或任何与其相对应的数据(例如,视频数据、屏幕内容数据、图像数据、图形内容数据、可显示内容数据及类似数据)。
如本文中所使用,术语“视频”可指代屏幕内容、可移动内容、按顺序呈现的多个图像(例如图片)或任何与其相对应的数据(例如,屏幕内容数据、可移动内容数据、视频数据、图像数据及类似者)。
如本文中所使用,术语“图像”可指代单一图像、一或多个图像、对应于视频的多个图像当中的一或多个图像、不对应于视频的多个图像当中的一或多个图像、对应于视频的多个图像(例如,对应于视频的所有图像或小于所有的对应于视频的图像)、单一图像的子部分、单一图像的多个子部分、对应于多个图像的多个子部分、一或多个图形基元、图像数据、图形数据及类似者。
如本文中所使用,术语“分量”、“色彩分量”、“通道”和/或“色彩通道”可在本文中互换地使用。举例来说,“色彩分量”包含提及“色彩通道”,且提及“色彩通道”包含提及“色彩分量”。
如本文中所使用,术语“像素值”、“分量值”、和“色彩分量值”可在本文中互换地使用。作为一个实例,提及映射输入像素值到输出像素值也是指映射输入分量值到输出分量值。作为另一实例,提及映射输入像素值到输出像素值也是指映射输入色彩分量值到输出色彩分量值。
图1为说明可利用本发明的技术的实例视频编码及解码系统10的框图。如图1中所展示,系统10包含源装置12和目的地装置14。源装置12和目的地装置14可包括大范围装置中的任一者,包含(例如)任何计算装置(例如,笔记本计算机、台式计算机、膝上型计算机、平板计算机、个人计算装置(诸如个人数据助理(PDA)、电话(例如智能电话)、智能板)、数字电视、数码相机(例如摄像机)、显示装置、数字媒体播放器、视频游戏控制台、视频游戏装置(例如手持式游戏装置)、视频流式发射装置、数字直播系统、无线广播系统、有线广播系统、电子书阅读器、配置成执行视频编码的任何装置、配置成执行视频解码的任何装置,或类似者。在一些情况下,可装备源装置12和目的地装置14以用于无线和/或有线通信。
源装置12可配置成产生和/或输出经编码视频数据。经编码视频数据可包含于可被称为位流的一连串位中。源装置12可配置成提供经编码视频数据到目的地装置14。目的地装置14可配置成解码经编码视频数据,不管其是从另一装置(例如源装置12)接收还是由目的地装置14产生。在一些实例中,源装置12可配置成经由计算机可读媒体16提供(例如发送或另外发射)经编码视频数据到目的地装置14。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(即,非暂时性存储媒体),例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(图中未展示)可从源装置12接收经编码视频数据且例如经由网路发射提供经编码视频数据到目的地装置14。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
源装置12的视频源18可包含视频捕捉装置(例如摄像机)、用以从视频内容提供者接收视频的视频馈入接口和/或其上存储有视频数据(例如含有先前捕捉的视频的视频存档)的存储器。作为另一实例,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些实例中,如果视频源18为摄像机,那么源装置12和目的地装置14可以是任何配置有相机的计算装置(例如相机、电话(例如智能电话、相机电话或配置有相机的电话的任何其它名称)。如本文中所提到,所捕捉、预捕捉或计算机产生的视频数据在由视频预处理器19处理后可由视频编码器20编码。经编码视频数据接着可由输出接口22输出到计算机可读媒体16上。目的地装置14的输入接口28可经由计算机可读媒体16从源装置12接收信息(例如,呈位流形式的经编码视频数据)。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息,其可由视频解码器30使用以解码经编码视频数据。
目的地装置14可配置成经由计算机可读媒体16从源装置12接收经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。在一些实例中,经编码视频数据可根据通信标准(例如无线通信协议)调制且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成分组网络(例如局域网、广域网或全球网络,例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,经编码数据可从源装置12的输出接口22输出到存储装置。类似地,可由目的地装置14的输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在一些实例中,存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可经由流式发射或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。所述连接可包含无线通道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。
本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码,例如空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如,HTTP动态自适应流式发射(DASH))、编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可配置成支持单向或双向视频发射,以支持例如视频流式发射、视频重放、视频广播和/或视频电话的应用。
本文所描述的实例是非限制性实例。举例来说,图1的所说明的系统10仅是一个实例。根据本发明的用于处理视频数据的技术可由任何视频编码装置、任何视频解码装置、任何视频译码装置、任何视频编码系统、任何视频解码系统和/或任何视频译码系统执行。如本文所使用,“译码”可指代编码和/或解码。类似地,如本文中所使用,“译码器”可指代编码器和/或解码器。举例来说,视频译码器可指代视频编码器和/或视频解码器。同样,在适用时,视频译码可指代视频编码和/或视频解码。作为另一实例,提及视频译码系统可指代视频编码系统、视频解码系统或视频编码/解码系统(即,视频译码系统为配置成执行视频编码和视频解码两者的系统)。
在图1的实例中,源装置12包含视频源18、视频预处理器19、视频编码器20及输出接口22。视频预处理器19、视频编码器20和/或输出接口22可配置成实施本发明的一或多种技术。在图1的实例中,目的地装置14包含输入接口28、视频解码器30、视频后处理器31和显示装置32。显示装置32可配置成显示经解码视频数据(例如,由视频后处理器31处理的经解码视频数据)。显示装置32可包括多种显示装置中任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或任何其它类型的显示装置。
输入接口28、视频解码器30和/或视频后处理器31可配置成实施本发明的一或多种技术。在一些实例中,视频预处理器19可与视频编码器20分离。在其它实例中,视频预处理器19可为视频编码器20的一部分。类似地,在一些实例中,视频后处理器31可与视频解码器30分离。在其它实例中,视频后处理器31可为视频解码器30的一部分。
在系统10的其它实例中,源装置12和目的地装置14可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。在此实例中,输出接口22可更恰当地被称作通信接口22,是因为在其它实例中其可配置成接收和/或发射数据。同样地,目的地装置14可以与外部显示装置介接,而不是包含集成显示装置。作为另一实例,目的地装置14可发射视频数据到源装置12。在此实例中,输入接口28可更恰当地被称作通信接口28,是因为在其它实例中其可配置成接收和/或发射数据。
作为另一实例,配置成执行本文所描述的一或多技术的装置,即任何计算装置(例如源装置12和/或目的地装置14),可包含视频编码器(例如视频编码器20)和视频解码器(例如视频解码器30)、视频预处理器(例如视频预处理器19)和视频后处理器31(例如视频后处理器31)和通信接口(例如输出接口22和/或输入接口28)。在此实例中,计算装置可配置成执行本文所描述的一或多种技术。同样在此实例中,视频编码器和视频解码器可为单独的组件或可为单一组件的一部分(例如,配置成执行编码和解码两者的视频译码器)。类似地,视频预处理器和视频后处理器可为单独的组件或可为单一组件的一部分。在另一实例中,视频预处理器和/或视频后处理器可为视频译码器的一部分。
因此,应理解,提及由视频预处理器19对视频数据执行的过程可指代在视频编码器20根据例如视频译码标准编码视频数据之前由视频编码器20对视频数据执行的过程。类似地,在一些实例中,提及视频预处理器19可与视频编码器20互换。同样,在一些实例中,提及视频编码器20可与视频预处理器19互换。
还应理解,提及由视频后处理器31对视频数据执行(或对其应用)的过程可指代在视频解码器30已解码视频数据之后由视频解码器30对视频数据执行(或对其应用)的过程。类似地,在一些实例中,提及视频后处理器31可与视频解码器30互换。同样,在一些实例中,提及视频解码器30可与视频后处理器31互换。
如所说明,视频预处理器19可配置成从视频源18接收视频数据。在一些实例中,视频预处理器19可配置成处理接收的视频数据以将其转换成适合于用视频编码器20进行编码的形式。举例来说,视频预处理器19可配置成执行动态范围压缩(例如使用非线性传递函数)、色彩转换成更紧凑或稳固的色彩空间,和/或浮动至整数表示转换。
视频预处理器19可配置成在用视频编码器20编码视频数据之前处理视频数据。在一些实例中,视频预处理器19可配置成在用视频编码器20编码视频之前对视频数据执行色彩重新映射处理。举例来说,视频预处理器19可配置成接收第一色彩空间(例如RGB)中的视频数据,并将接收的视频数据从第一色彩空间(例如RGB)转换到第二色彩空间(例如YCbCr)。在此实例中,视频预处理器19可描述为执行色彩空间转换,其为色彩重新映射处理的一个实例。
色彩重新映射处理的其它实例可包含高动态范围(HDR)视频数据到标准动态范围(SDR)视频数据的转换、SDR视频数据到HDR视频数据的转换、实现经处理(例如经转换)视频数据的更容易和/或更高效译码的任何处理、将视频数据转换为更适合于译码和/或后处理的格式的任何处理。作为一实例,视频预处理器19可配置成接收HDR视频数据且将所述HDR视频数据转换成SDR视频数据。作为另一实例,视频预处理器19可配置成接收SDR视频数据且将所述SDR视频数据转换成HDR视频数据。作为另一实例,视频预处理器19可配置成接收视频数据且处理接收到的视频数据,以使得经处理的视频数据可以更容易和/或更高效方式编码。作为另一实例,视频预处理器19可配置成接收视频数据且将接收到的视频数据处理成更适合于译码和/或后处理的格式。
色彩重新映射处理的其它实例可包含缩放视频数据的个别通道(例如使用分段线性函数),且可编码经处理的视频数据(其可被称为经映射或重新映射的内容)。举例来说,视频预处理器19可配置成接收视频数据且缩放接收到的视频数据的一或多个通道。视频编码器20可配置成编码经缩放视频数据,其还可被称作经映射或重新映射的内容。在又其它实例中,色彩重新映射处理可包含通过例如改变分量的表示的基元来转换视频数据的表示(例如,将使用基元(例如由BT.709定义的那些基元)的一个集合表示的视频数据处理成使用基元(例如由BT.2020定义的那些基元)的另一组合表示的视频数据)。应理解,视频预处理器19可配置成执行任何色彩重新映射过程且额外实例也存在。举例来说,色彩体积变换及显示适配是色彩重新映射过程的两个其它实例。类似地,应理解,视频后处理器31可配置成执行任何色彩重新映射过程或任何反向(例如可逆)色彩重新映射过程(例如,由视频预处理器19执行的任何色彩重新映射过程的反演)。由视频后处理器31执行的任何色彩重新映射过程可或可不与由视频预处理器19执行的色彩重新映射过程互逆。举例来说,视频预处理器19可配置成对视频数据执行一或多个色彩重新映射过程,以实现(例如)视频编码器20对经重新映射的视频数据的更高效编码,而视频后处理器31可配置成对由视频解码器30解码的视频数据执行一或多个色彩重新映射过程,以例如执行一或多个色彩重新映射过程(例如色彩体积变换及/或缩放),以使经解码视频数据适于显示(例如,使经解码视频数据适于用于特定显示器和/或显示场景的更好可显示性)。
视频预处理器19可配置成产生经预处理的视频数据(可被称为色彩重新映射的视频数据)且将经预处理的视频数据输出到视频编码器20。视频编码器20可配置成从视频预处理器19接收经预处理的视频数据,且可配置成对经预处理的视频数据执行视频编码(即,在视频预处理器19预处理视频数据之后执行视频编码)。在以上色彩空间转换实例中,视频编码器20可接收视频数据(例如图片序列中的图片),以用于在视频预处理器19将视频数据从第一色彩空间转换之后在第二色彩空间中编码。
视频后处理器31可配置成在用视频解码器30解码视频数据之前处理视频数据。举例来说,视频解码器30可接收经编码视频数据,所述视频解码器30可接着解码成经解码视频数据(例如,视频序列的图片)。视频解码器30可发射经解码视频数据到视频后处理器31以处理所述经解码视频数据。
在一些实例中,视频后处理器31可配置成将至少一个色彩重新映射过程直接应用于经解码视频数据。在此类实例中,应理解,视频后处理器31可配置成通过对经解码视频数据执行至少一个色彩重新映射过程来产生经CRI处理的经解码视频数据。在其它实例中,视频后处理器31可配置成在向经解码视频数据应用至少一个色彩重新映射过程之前将一程序应用于不与CRI SEI消息对应的经解码视频数据上。在此类实例中,应理解,视频后处理器31可配置成通过对不与CRI SEI消息对应的经解码视频数据执行一过程而产生未经CRI处理的经解码视频数据,且随后视频后处理器31可配置成通过对未经CRI处理的经解码视频数据执行至少一个色彩重新映射过程而产生经CRI处理的经解码视频数据。
在一些实例中,视频后处理器31可配置成对经解码视频数据执行色彩重新映射处理。举例来说,视频后处理器31可配置成在第一色彩空间(例如YCbCr)接收来自视频解码器30的经解码视频数据并将经解码视频数据从第一色彩空间(例如YCbCr)转换到第二色彩空间(例如RGB)。在此实例中,视频后处理器31可描述为执行色彩空间转换,其为色彩重新映射处理的一个实例。视频后处理器31可配置成产生经后处理的视频数据(其可被称为反向经色彩重新映射的视频数据)且将经后处理的视频数据输出到另一组件(例如显示装置32)。
在一些实例中,视频后处理器31可配置成执行与由视频预处理器19执行的过程相逆的过程。举例来说,如果视频预处理器19对视频数据执行色彩重新映射过程,那么在一些实例中,视频后处理器31可配置成对经解码视频数据执行色彩重新映射过程的反演(即互逆者)(或更简称为反向色彩重新映射过程),其限制条件是对应于一或多个CRI SEI消息的信息由视频后处理器31接收,视频后处理器31使用所述信息来确定是否执行可逆色彩重新映射。作为一个实例,如果视频预处理器19对视频数据执行色彩空间转换以将视频数据从第一色彩空间(例如RGB)转换到第二色彩空间(例如YCbCr),随后视频后处理器31可配置成对相对应的经解码视频数据执行反向色彩空间转换,以将经解码视频数据从第二色彩空间(例如YCbCr)转换到第一色彩空间(例如RGB)。作为另一实例,如果视频预处理器19对视频数据执行色彩空间转换以将视频数据从第一色彩空间(例如RGB)转换到第二色彩空间(例如YCbCr),随后视频后处理器31可配置成对相对应的经解码视频数据执行色彩空间转换,以将经解码视频数据从第二色彩空间(例如YCbCr)转换到与RGB不同的第三色彩空间。作为另一实例,如果视频预处理器19对视频数据执行色彩空间转换以将视频数据从第一色彩空间(例如RGB)转换到第二色彩空间(例如YCbCr),随后视频后处理器31可配置成不对相对应的经解码视频数据执行色彩空间转换,以使得经解码视频数据保持在第二色彩空间(例如YCbCr)中。
在其它实例中,视频后处理器31可配置成执行与由视频预处理器19执行的任何过程互逆的一或多个过程。举例来说,如果视频预处理器19对视频数据执行色彩重新映射过程,那么在一些实例中,视频后处理器31可配置成对经解码视频数据执行一或多个色彩重新映射过程,所述一或多个色彩重新映射过程可与由视频预处理器19对视频数据执行的色彩重新映射过程相同或不同。因此,应理解,视频后处理器31可配置成基于对应于一或多个CRI SEI消息的信息对经解码视频数据执行一或多个色彩重新映射过程(任何色彩重新映射过程,无论是可逆还是不可逆的)。
在一些实例中,视频编码器20可配置成在包含经编码视频数据的位流中产生或另外输出一或多个辅助增强信息(SEI)消息。在一些实例中,SEI消息可包含于位流中以携载可并非为基本的信息,以便通过解码器(例如视频解码器30)解码位流中的经编码视频数据。SEI消息可适用于改进经解码视频数据的显示或处理。举例来说,SEI消息可用于通过增加例如经解码视频数据的动态范围来改进内容(即,经解码视频数据)的可视性。如本文所描述,目的地装置14可例如接收包含经编码视频数据及一或多个CRI SEI消息的位流。视频解码器30可配置成对经编码视频数据进行解码并将经解码视频数据发送到视频后处理器31以供进一步处理。视频解码器30可配置成将对应于一或多个CRI SEI消息的信息发送到视频后处理器31。对应于一或多个CRI SEI消息的信息可为一或多个CRI SEI消息或从所述一或多个CRI SEI消息导出的信息。从CRI SEI消息导出的信息可为色彩重新映射信息,视频后处理器31可配置成接收所述色彩重新映射信息并且又基于对应于一或多个CRI SEI消息的信息对经解码视频数据执行一或多个过程。
在一些实例中,某些应用标准(例如DVB、ATSC)可需要此类SEI消息在位流中的存在,以使得可对符合应用标准的所有装置带来质量改进(例如,帧兼容平面立体3DTV视频格式的帧封装SEI消息的携载,其中针对视频的每一帧或DVB中的全屏幕扫描矩形SEI消息携载帧封装SEI消息)。
HEVC标准所定义的色彩重新映射信息(CRI)SEI消息可由视频编码器20使用以将信息传送到视频解码器30,所传送的信息用于例如将一个色彩空间中的视频数据(例如图片)映射到另一色彩空间。举例来说,CRI SEI消息可通知解码器(例如视频解码器30)对已由视频编码器(例如视频编码器20)编码之前的视频数据执行哪些色彩重新映射过程(若存在)。作为一实例,CRI SEI消息可用于将信息携载到视频解码器(例如视频解码器30),以使得可以可逆方式或以不可逆的方式处理经解码视频数据。CRI SEI消息的语法可包含三个部分:被称作预LUT的第一查询表、色彩重新映射系数的3×3矩阵以及被称作后LUT的第二查询表。对于色彩空间中的每一色彩分量(例如,RGB色彩空间中的R、G及B,或YCbCr色彩空间中的Y、Cb及Cr),常规地针对预LUT及后LUT两者定义独立LUT。然而,如以下下文更详细描述,这可引入信令低效率,尤其是在LUT(例如预LUT或/或后LUT)对于色彩空间中的两个或多个两个色彩分量是相同之时。
如HEVC标准中所定义的CRI SEI消息包含名为colour_remap_id的语法元素,其不同值可用于指示SEI消息的不同目的。图7展示色彩重新映射过程(例如,色彩转换过程,例如色彩空间转换过程)的一个实例结构。如图7中所展示,视频预处理器19可配置成将视频数据输入到预LUT 200中。预LUT 200为将输入像素值映射到输出像素值的数据结构。在一些实例中,预LUT 200可指代应用于每一色彩通道的单一预LUT。在其它实例中,预LUT 200可指代一或多个色彩通道特定预LUT。在此类实例中,预LUT 200可包含三个预LUT,其中所述三个预LUT中的每一者对应于色彩通道(例如,为了映射具有三个色彩通道的色彩空间(例如RGB)中的像素值,预LUT 200可包含用于红色通道的第一预LUT、用于绿色通道的第二预LUT以及用于蓝色通道的第三预LUT)。如果色彩空间包含四个色彩通道,那么预LUT 200可类似地指代四个相应通道特定预LUT。
视频预处理器19可配置成使用预LUT 200将视频数据的像素值从输入像素值转换到输出像素值。在所展示的实例中,输入预LUT 200的视频数据可被称为预LUT视频数据,且由预LUT输出的视频数据可被称为经预LUT处理的视频数据。视频预处理器19可配置成将经预LUT处理的视频数据输入到3×3矩阵202中,所述3×3矩阵包含用于在三色通道色彩空间中对三个色彩通道进行色彩重新映射的色彩重新映射系数。在涉及4色通道色彩空间的其它实例中,3×3矩阵202可为4×4矩阵而非3×3矩阵。另有描述,视频预处理器19可配置成将3×3矩阵202应用于经预LUT处理的视频数据。在所展示的实例中,由3×3矩阵202输出的视频数据可被称为经矩阵处理的视频数据。
在一些实例中,3×3矩阵202可为或可不为对角矩阵。在3×3矩阵202为对角矩阵的实例中,对角矩阵可用来缩放一或多个色彩通道和/或维持一或多个色彩通道。举例来说,在RGB色彩空间实例中,3×3矩阵202可包含在顶行左侧位置的红色通道系数和顶行中剩余两个位置的值0、在中间行中间位置中的绿色通道系数和中间行中剩余两个位置的值0,以及在底行右侧位置的蓝色通道系数和底行中剩余两个位置的值0。
应理解,3×3矩阵202可由视频预处理器19用于多种用途。举例来说,视频预处理器19可配置成应用3×3矩阵202来计算线性块变换(例如RGB到YUV或类似者)。作为另一实例,视频预处理器19可配置成应用3×3矩阵202以将色彩基元的一个群组(例如,3基元色彩空间中的3和4基元色彩空间中的4)变换为另一个群组。在其它实例中,视频预处理器19可配置成应用3×3矩阵202以粗略估计对视频数据的复杂非线性变换,其可与预LUT 200和/或后LUT 204结合发生或不与其结合发生。
视频预处理器19可配置成将经矩阵处理的视频数据输入到后LUT 204中。后LUT204为将输入像素值映射到输出像素值的数据结构。在一些实例中,后LUT 204可指代应用于每一色彩通道的单一预LUT。在其它实例中,后LUT 204可指代一或多个色彩通道特定后LUT。在此类实例中,后LUT 204可包含三个后LUT,其中所述三个后LUT中的每一者对应于色彩通道(例如,为了映射具有三个色彩通道的色彩空间(例如RGB)中的像素值,后LUT 204可包含用于红色通道的第一后LUT、用于绿色通道的第二后LUT以及用于蓝色通道的第三后LUT)。如果色彩空间包含四个色彩通道,后LUT 204可类似地指代四个相应通道特定后LUT。视频预处理器19可配置成使用后LUT 204将经矩阵处理的视频数据的像素值从输入像素值转换到输出像素值。在所展示的实例中,由后LUT 204输出的视频数据可被称为经色彩重新映射的视频数据。
在一些实例中,后LUT 204的结构可类似于预LUT 200。在一些实例中,可不使用3×3矩阵202。在此类实例中,预LUT 200和后LUT 204可组合成单一LUT。在包含3×3矩阵202的实例中,后LUT 204可描述为实现在3×3矩阵倍增之后的处理。举例来说,后LUT 204可描述为实现从3×3矩阵202输出的视频数据的非线性(或线性)映射,其在其它方面可为不可能的。在一个此类实例中,视频预处理器19可配置成将预LUT 200应用于视频数据以将视频数据从非线性域(例如非线性RGB)转换到线性域(例如线性RGB)。又,视频预处理器19可配置成将后LUT 204应用于视频数据(例如,从3×3矩阵202输出的经矩阵处理的视频数据),以将视频数据从线性域转换到非线性域。
在一些实例中,预LUT 200、3×3矩阵202及后LUT 204可各自描述为色彩重新映射过程或CRI SEI消息过程,是因为CRI SEI消息可用于将信息携载到视频解码器(例如视频解码器30),以使得可根据一或多个CRI SEI消息(例如根据由一或多个CRI SEI消息携载的信息,其在本文中也可描述为根据对应于一或多个CRI SEI消息的信息)处理经解码视频数据。在一些实例中,经解码视频数据可由视频后处理器31以相对于由视频预处理器19执行的任何色彩重新映射过程的互逆方式或不以相对于由视频预处理器19执行的任何色彩重新映射过程的互逆方式来处理。在一些实例中,由视频后处理器31执行的一或多个色彩重新映射过程可相对于由视频预处理器19执行的一或多个色彩重新映射过程互逆,且由视频后处理器31执行的一或多个色彩重新映射过程可不相对于由视频预处理器19执行的一或多个色彩重新映射过程互逆。在此类实例中,视频后处理器31可配置成相对于由视频预处理器19执行的一或多个色彩重新映射过程执行互逆及不可逆过程的组合。
图8展示色彩映射过程的一个实例结构,其可或可不与图7中所展示的色彩重新映射过程互逆。在图8中的过程为图7的互逆过程(例如反向色彩转换过程)的实例中,预LUT206可与后LUT 204相同,3×3矩阵208可包含与3×3矩阵202的系数互逆的色彩分量系数,且后LUT 210可与预LUT 200相同。然而,如本文中所描述,基于对应于一或多个CRI SEI消息的信息,视频后处理器31可配置成对与一或多个CRI SEI消息相关联的经解码数据执行一或多个互逆过程和/或一或多个不可逆色彩重新映射过程。应理解,提及对经解码视频数据执行任何色彩重新映射过程可指代直接对经解码视频数据或间接对已经过处理的经解码视频数据(例如,在已向经解码视频数据应用一或多个非CRI过程之后)执行任何色彩重新映射过程。在间接实例中,提及对经解码视频数据执行任何色彩重新映射过程实际上是指对未经CRI处理的经解码视频数据执行任何色彩重新映射过程。
如图8中所展示,视频后处理器31可配置成将经解码视频数据(其在一些实例中可为未经CRI处理的经解码视频数据)输入到预LUT 206中。预LUT 206为将输入像素值映射到输出像素值的数据结构。在一些实例中,预LUT 206可指代应用于每一色彩通道的单一预LUT。在其它实例中,预LUT 206可指代一或多个色彩通道特定预LUT。在此类实例中,预LUT206可包含三个预LUT,其中所述三个预LUT中的每一者对应于一色彩通道(例如,为了映射具有三个色彩通道的色彩空间(例如RGB)中的像素值,预LUT 206可包含用于红色通道的第一预LUT、用于绿色通道的第二预LUT以及用于蓝色通道的第三预LUT)。如果色彩空间包含四个色彩通道,那么预LUT 206可类似地指代四个相应通道特定预LUT。
视频后处理器31可配置成使用预LUT 206将经解码视频数据(其在一些实例中可为未经CRI处理的经解码视频数据)的像素值从输入像素值转换到输出像素值。在所展示的实例中,由预LUT输出的经解码视频数据可被称为经预LUT处理的经解码视频数据。视频后处理器31可配置成将经预LUT处理的经解码视频数据输入到3×3矩阵208中,所述3×3矩阵包含用于在三色通道色彩空间中对三个色彩通道进行色彩重新映射的色彩重新映射系数。在涉及4色通道色彩空间的其它实例中,3×3矩阵208可为4×4矩阵而非3×3矩阵。另有描述,视频后处理器31可配置成将3×3矩阵208应用于经预LUT处理的经解码视频数据。在所展示的实例中,由3×3矩阵208输出的视频数据可被称为经矩阵处理的经解码视频数据。
在一些实例中,3×3矩阵208可为或可不为对角矩阵。在3×3矩阵208为对角矩阵的实例中,对角矩阵可用来缩放一或多个色彩通道和/或维持一或多个色彩通道。举例来说,在RGB色彩空间实例中,3×3矩阵208可包含在顶行左侧位置的红色通道系数和顶行剩余两个位置的值0、在中间行中间位置的绿色通道系数及中间行剩余两个位置的值0,以及在底行右侧位置的蓝色通道系数和底行剩余两个位置的值0。
应理解,3×3矩阵208可由视频后处理器31用于多个用途。举例来说,视频后处理器31可配置成应用3×3矩阵208来计算线性块变换(例如YUV到RGB或类似者)。作为另一实例,视频后处理器31可配置成应用3×3矩阵208以将色彩基元的一个群组(例如,3基元色彩空间中的3和4基元色彩空间中的4)变换为另一个群组。在其它实例中,视频后处理器31可配置成应用3×3矩阵208以粗略估计对经解码视频数据(例如,经预LUT处理的经解码视频数据)的复杂非线性变换,其可与预LUT 206和/或后LUT 210结合发生或不与其结合发生。
视频后处理器31可配置成将经矩阵处理的经解码视频数据输入到后LUT 210。后LUT 210为将输入像素值映射到输出像素值的数据结构。在一些实例中,后LUT 210可指代应用于每一色彩通道的单一预LUT。在其它实例中,后LUT 210可指代一或多个色彩通道特定后LUT。在此类实例中,后LUT 210可包含三个后LUT,其中所述三个后LUT中的每一者对应于色彩通道(例如,为了映射具有三个色彩通道中的色彩空间(例如RGB)中的像素值,后LUT210可包含用于红色通道的第一后LUT、用于绿色通道的第二后LUT以及用于蓝色通道的第三后LUT)。如果色彩空间包含四个色彩通道,则后LUT 210可类似地指代四个相应通道特定后LUT。视频后处理器31可配置成使用后LUT 210将经矩阵处理的经解码视频数据的像素值从输入像素值转换到输出像素值。在所展示的实例中,由后LUT 210输出的视频数据可被称为经色彩重新映射的经解码视频数据。
在一些实例中,后LUT 210的结构可类似于预LUT 206。在一些实例中,可不使用3×3矩阵208。在此类实例中,预LUT 206和后LUT 210可组合成单一LUT。在包含3×3矩阵208的实例中,后LUT 210可描述为实现在3×3矩阵倍增之后的处理。举例来说,后LUT 210可描述为实现从3×3矩阵208输出的视频数据的非线性(或线性)映射,其在其它方面可为不可能的。在一个此类实例中,视频后处理器31可配置成将预LUT 206应用于经解码视频数据以将视频数据从非线性域(例如非线性RGB)转换到线性域(例如线性RGB)。又,视频后处理器31可配置成将后LUT 210应用于经解码视频数据(例如,从3×3矩阵208输出的经矩阵处理的经解码视频数据)以将经解码视频数据从线性域转换到非线性域。
在一些实例中,预LUT 206、3×3矩阵208及后LUT 210可各自描述为色彩重新映射过程或CRI SEI消息过程。视频后处理器31可配置为根据一或多个CRI SEI消息(例如根据由一或多个CRI SEI消息携载的信息,其在本文中也可描述为根据对应于一或多个CRI SEI消息的信息)处理经解码视频数据。
在一些实例中,视频预处理器19可配置成通过仅应用预LUT 200、通过仅应用3×3矩阵202、通过向视频数据仅应用后LUT 204或预LUT 200、3×3矩阵202及后LUT 204的任何组合来处理视频数据。在此类实例中,视频预处理器19可配置成不应用预LUT200、3×3矩阵202及后LUT 204中的一或多者。在一些实例中,不应用过程可指(1)不应用所述过程或(2)应用输出输入到所述过程中的相同视频数据的过程,其可被称为恒等过程(identityprocess)。举例来说,3×3矩阵202可为恒等矩阵,其还可被称作单元矩阵。作为另一实例,预LUT 200可为将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由预LUT 200映射后不会变化)的数据结构。作为另一实例,后LUT 204可为将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由后LUT 204映射后不会变化)的数据结构。
类似地,视频后处理器31可配置成通过仅应用预LUT 206、通过仅应用3×3矩阵208、通过向视频数据仅应用后LUT 210或预LUT 206、3×3矩阵208及后LUT 210的任何组合来处理经解码视频数据。在此类实例中,视频后处理器31可配置成不应用预LUT 206、3×3矩阵208及后LUT 210中的一或多者。在一些实例中,不应用过程可指(1)不应用所述过程或(2)应用输出输入到所述过程中的相同视频数据的过程,其可被称为恒等过程。举例来说,3×3矩阵208可为恒等矩阵,其还可被称作单元矩阵。作为另一实例,预LUT 206可为将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由预LUT 206映射后不会变化)的数据结构。作为另一实例,后LUT 210可为将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由后LUT 210映射后不会变化)的数据结构。
如由当前HEVC标准定义的CRI SEI消息的语法表重现于下表2中。HEVC标准中可获得完整语义。
colour_remapping_info(payloadSize){ | 描述符 |
colour_remap_id | ue(v) |
colour_remap_cancel_flag | u(1) |
if(!colour_remap_cancel_flag){ | |
colour_remap_persistence_flag | u(1) |
colour_remap_video_signal_info_present_flag | u(1) |
if(colour_remap_video_signal_info_present_flag){ | |
colour_remap_full_range_flag | u(1) |
colour_remap_primaries | u(8) |
colour_remap_transfer_function | u(8) |
colour_remap_matrix_coefficients | u(8) |
} | |
colour_remap_input_bit_depth | u(8) |
colour_remap_bit_depth | u(8) |
for(c=0;c<3;c++){ | |
pre_lut_num_val_minus1[c] | u(8) |
if(pre_lut_num_val_minus1[c]>0) | |
for(i=0;i<=pre_lut_num_val_minus1[c];i++){ | |
pre_lut_coded_value[c][i] | u(v) |
pre_lut_target_value[c][i] | u(v) |
} | |
} | |
colour_remap_matrix_present_flag | u(1) |
if(colour_remap_matrix_present_flag){ | |
log2_matrix_denom | u(4) |
for(c=0;c<3;c++) | |
for(i=0;i<3;i++) | |
colour_remap_coeffs[c][i] | se(v) |
} | |
for(c=0;c<3;c++){ | |
post_lut_num_val_minus1[c] | u(8) |
if(post_lut_num_val_minus1[c]>0) | |
for(i=0;i<=post_lut_num_val_minus1[c];i++){ | |
post_lut_coded_value[c][i] | u(v) |
post_lut_target_value[c][i] | u(v) |
} | |
} | |
} | |
} |
表2-CRI SEI消息
本文中描述CRI SEI消息的部分语义。视频编码器20可配置成根据本文所描述的CRI消息的语义产生位流,且视频解码器30可配置成接收位流,剖析来自所述位流的CRISEI消息信息,且指示视频后处理器31根据在从位流剖析的CRI SEI消息中传送的色彩重新映射信息来执行(或自身执行)色彩重新映射。举例来说,视频预处理器19可在编码视频数据之前对视频数据执行色彩重新映射,以使得经色彩重新映射的视频数据由视频编码器20编码。在此实例中,视频编码器20可配置成根据本文所描述的CRI消息的语义产生位流,以使得视频解码器30和/或视频后处理器31能够对经解码视频数据执行反向色彩重新映射。虽然本文中参考视频解码器30和/或视频后处理器31,但应理解,提及视频解码器30或提及视频后处理器31均表达视频解码器30和/或视频后处理器31。类似地,虽然本文中参考视频编码器20和/或视频后处理器31,但应理解,提及视频编码器20或提及视频预处理器19均表达视频编码器20和/或视频预处理器19。
经解码视频数据可指如由视频解码器30输出的经解码视频数据,或可指(例如)如由一或多个非CRI SEI消息过程(例如上取样或下取样过程)处理的经解码视频数据。在一些实例中,提及反向色彩重新映射过程可指在视频数据已由视频编码器20编码之前应用于视频数据的色彩重新映射过程的反演。视频解码器30可配置成接收包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流,其中所述CRI SEI消息包含对应于一或多个色彩重新映射过程的信息;
下文来自段落[0087]到[0098]的语义直接引自当前HEVC标准以供参考。
色彩重新映射信息SEI消息提供用以实现输出图片的经重建构色彩样本的重新映射的信息。色彩重新映射信息可直接应用于经解码样本值,不管所述经解码样本值是处于明度及色度域还是处于RGB域。用于色彩重新映射信息SEI消息中的色彩重新映射模型由应用于每一色彩分量(由本文中的语法元素的“预”集合所指定)的第一分段线性函数、应用于三个色彩分量的三乘三矩阵以及应用于每一色彩分量(由本文中的语法元素的“后”集合所指定)的第二分段线性函数组成。注释1—用于显示的输出图片的色彩重新映射是任选的,并且不影响本说明书中所指定的解码过程。
colour_remap_id含有可用于鉴别色彩重新映射信息的用途的识别号。colour_remap_id的值应在0到232-2的范围内,包含0和232-2。
可使用如由应用程序确定的从0到255及从512到231-1的colour_remap_id值。从256到511(包含256和511)且从231到232-2(包含231和232-2)的colour_remap_id值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有在256到511范围内(包含256和511)或在231到232-2范围内(包含231和232-2)的colour_remap_id值的所有色彩重新映射信息SEI消息,且位流不应含有此类值。注释2—colour_remap_id可用于支持适合于不同显示场景的不同色彩重新映射过程。举例来说,不同colour_remap_id值可对应于由显示器支持的不同的经重新映射的色彩空间。
除了colour_remap_matrix_coefficients指定经重新映射的经重建构图片的色彩空间而非用于CLVS的色彩空间之外,colour_remap_matrix_coefficients具有如matrix_coeffs语法元素的条款E.3.1中所指定的相同语义。当不存在时,colour_remap_matrix_coefficients值经推断为等于matrix_coeffs值。
colour_remap_input_bit_depth指定相关联图片的明度及色度分量或RGB分量的位深度,以用于解释色彩重新映射信息SEI消息的目的。当存在任何色彩重新映射信息SEI消息时,其中colour_remap_input_bit_depth值不等于经译码明度及色度分量的位深度或经译码RGB分量的位深度,SEI消息是指经执行以将经译码视频转换成位深度等于colour_remap_input_bit_depth的经转换视频的转码操作的假设结果。
colour_remap_input_bit_depth值应在8到16的范围内(包含8和16)。从0到7(包含0和7)且从17到255(包含17和255)的colour_remap_input_bit_depth值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有在0到7的范围内(包含0和7)或在17到255的范围内(包含17和255)的colour_remap_input_bit_depth的所有色彩重新映射SEI消息,且位流不应含有此类值。
colour_remap_bit_depth指定由色彩重新映射信息SEI消息描述的色彩重新映射函数的输出的位深度。
colour_remap_bit_depth值应在8到16范围内(包含8和16)。从0到7(包含0和7)且在17到255的范围内(包含17和255)的colour_remap_bit_depth值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有从0到7(包含0和7)或在17到255的范围内(包含17和255)的colour_remap_bit_depth值的所有色彩重新映射SEI消息。
pre_lut_num_val_minus1[c]加1针对第c个分量在分段线性重新映射函数中指定枢轴点的数目,其中c等于0是指明度或G分量,c等于1是指Cb或B分量,且c等于2是指Cr或R分量。当pre_lut_num_val_minus1[c]等于0时,对于第c个分量,输入值的默认端点为0和2colour_remap_input_bit_depth-1,且输出值的相对应的默认端点为0和2colour_remap_bit_depth-1。在符合本说明书的此版本的位流中,pre_lut_num_val_minus1[c]的值应在0到32的范围内(包含0和32)。
pre_lut_coded_value[c][i]指定第c个分量的第i个枢轴点的值。用以表示pre_lut_coded_value[c][i]的位的数目为((colour_remap_input_bit_depth+7)>>3)<<3。
pre_lut_target_value[c][i]指定第c个分量的第i个枢轴点的值。用以表示pre_lut_target_value[c][i]的位的数目为((colour_remap_bit_depth+7)>>3)<<3。
post_lut_num_val_minus[]、post_lut_coded_value[][]和post_lut_target_value[][]的语义分别类似于re_lut_num_val_minus[]、pre_lut_coded_value[][]和pre_lut_target_value[][]的语义;用以表示post_lut_coded_value[][]和post_lut_target_value[][]的位的数目等于colour_remap_bit_depth。
视频解码器30可配置成与视频编码器20相反执行以解码视频数据。重建构视频数据的过程通常可与由视频编码器20执行的过程互逆。如上文所描述,视频后处理器31可配置成与视频预处理器19相反执行,所述视频预处理器19在一些实例中可用来将经解码视频数据转换成适合于显示的格式。举例来说,视频后处理器31可执行整数到浮动转换、从紧密或稳固色彩空间的转换和/或反向动态范围压实以产生适合于显示的视频数据。
视频编码器20、视频解码器30、视频预处理器19、视频后处理器31和/或其任何组合(例如,包含视频预处理器19的视频编码器20、包含视频后处理器31的视频解码器30、视频译码器、包含视频预处理器19及视频后处理器31的视频译码器)可实施为多种合适的编码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为相应装置中的组合式编码器/解码器(其可被称为编解码器或译码器)的一部分。
在一些实例中,视频编码器20和视频解码器30可配置成根据视频译码标准操作,所述视频译码标准例如是ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IECMPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称作ISO/IECMPEG-4 AVC)操作,包含其扩展(例如可缩放视频译码(SVC)及多视图视频译码(MVC)扩展),以及ITU-T H.265(也被称作HEVC),包含其扩展(例如范围及屏幕内容译码扩展)。
在HEVC及其它视频译码标准中,视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列,标示为SL、SCb和SCr。SL是明度样本的二维阵列(即,块)。SCb是Cb彩度样本的二维阵列。SCr是Cr彩度样本的二维阵列。彩度样本在本文中还可称为“色度(chroma)”样本。在其它情况下,图片可为单色的且可仅包含亮度样本阵列。
视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应的译码树块,以及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中,CTU可包括单个译码树块和用以对译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可大体上类似于其它视频译码标准(例如H.264/AVC)的宏块。然而,CTU未必限于特定大小,并且可以包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目的CTU。
本发明可使用术语“视频单元”或“视频块”来指代样本的一或多个块及用于对样本的一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU),或其它视频译码标准的宏块、宏块分区等等。
为了产生经译码CTU,视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割,以将译码树块划分为译码块,因此命名为“译码树单元”。译码块是样本的N×N块。CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块,以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中,CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块、色度样本的两个对应的预测块,以及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中,PU可以包括单个预测块和用于对预测块样本进行预测的语法结构。视频编码器20可以产生用于CU的每个PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块,那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块,那么视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。帧间预测可以是单向帧间预测(即,单向预测)或双向帧间预测(即,双向预测)。为了执行单向预测或双向预测,视频编码器20可以产生用于当前切片的第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。
参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时,视频编码器20可以搜索RefPicList0和RefPicList1中的任一者或两者中的参考图片,以确定参考图片内的参考位置。此外,当使用单向预测时,视频编码器20可以至少部分基于对应于参考位置的样本产生用于PU的预测样本块。此外,在使用单向预测时,视频编码器20可产生指示PU的预测块与参考位置之间的空间移位的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移,运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
在使用双向预测来编码PU时,视频编码器20可确定RefPicList0中的参考图片中的第一参考位置及RefPicList1中的参考图片中的第二参考位置。视频编码器20接着可至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外,当使用双向预测对PU进行编码时,视频编码器20可以产生指示PU的样本块与第一参考位置之间的空间移位的第一运动向量和指示PU的预测块与第二参考位置之间的空间移位的第二运动向量。
在视频编码器20产生CU的一或多个PU的预测性亮度块、Cb块及Cr块之后,视频编码器20可产生CU的亮度残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外,视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残差块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外,视频编码器20可使用四叉树分割将CU的亮度、Cb和Cr残余块分解成一或多个亮度、Cb和Cr变换块。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中,TU可包括单个变换块和用以对变换块样本进行变换的语法结构。因此,CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可以将一或多个变换应用到TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用至TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用至TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如,明度系数块、Cb系数块或Cr系数块)之后,视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外,视频编码器20可反量化变换系数且将反变换应用于变换系数,以重建构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重建构变换块和CU的PU的预测性块以重建构CU的译码块。通过重建构图片的每一CU的译码块,视频编码器20可以重建构所述图片。视频编码器20可将重建构图片存储在经解码图片缓冲器(DPB)中。视频编码器20可使用DPB中的重建构图片以进行帧间预测及帧内预测。
在视频编码器20量化系数块之后,视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说,视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可以在位流中输出经熵编码的语法元素。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一者包含NAL单元标头且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下,RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说,第一类型的NAL单元可囊封用于图片参数集(PPS)的RBSP,第二类型的NAL单元可囊封用于经译码切片的RBSP,第三类型的NAL单元可囊封用于辅助增强信息(SEI)的RBSP,等等。PPS是可含有适用于零或多个完整经译码图片的语法元素的语法结构。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相反)的NAL单元可被称为视频译码层(VCL)NAL单元。囊封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。经译码切片的RBSP可包含切片标头和切片数据。
视频解码器30可以接收位流。另外,视频解码器30可剖析位流以从位流对语法元素进行解码。视频解码器30可至少部分地基于从位流解码的语法元素重建构视频数据的图片。重建构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说,视频解码器30可使用PU的运动向量,以确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。
另外,视频解码器30可以反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本来重建构当前CU的译码块。通过重建构用于图片的每一CU的译码块,视频解码器30可重建构所述图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中以供输出和/或用于解码其它图片。
预期下一代视频应用和服务是以表示用HDR(高动态范围)及WCG(宽色域)捕捉的布景的视频数据操作。所使用的动态范围和色域的参数是视频内容的两个独立属性,且其用于数字电视和多媒体服务目的的规范由数个国际标准定义。举例来说,ITU-R Rec.709定义HDTV(高清电视)的参数,例如标准动态范围(SDR)及标准色域,且ITU-R Rec.2020指定UHDTV(超高清电视)参数,例如HDR及WCG。还存在指定其它系统中的动态范围和色域属性的其它标准开发组织(SDO)文件。举例来说,P3色域定义于SMPTE-231-2(电影电视工程师协会)中且HDR的一些参数定义于STMPTE-2084中。
在一些实例中,动态范围通常被定义为视频信号(例如视频数据)的最大亮度与最小亮度之间的比率。可依据“f制光圈(f-stop)”来测量动态范围,其中一个f制光圈对应于视频数据的动态范围的双倍。在MPEG的定义中,HDR内容是以大于16个f制光圈表示亮度变化的特征的内容。在一些方面,10与16个f制光圈之间的层级被视为中间动态范围,但其在其它定义中被视为HDR。在一些实例中,HDR视频内容可为与传统使用的具有标准动态范围的视频内容相比具有更高动态范围的任何视频内容(例如,SDR视频内容的实例包含由ITU-R Rec.BT.709指定的视频内容)。同时,人类视觉系统(HVS)能够感知更大的动态范围。然而,HVS包含使所谓的同时范围变窄的自适应机制。同时范围可指代HVS归因于例如HVS执行自适应(例如使瞳孔放大)的能力在瞬时时间点感知照度范围的子范围(而非全部范围)的能力。另有解释,HVS可具有在任何给定时间的一定范围的照度感知。HVS可执行自适应以将同时范围移动到HVS的总体照度范围内。
图2展示相对于实例显示能力(例如SDR显示器及HDR显示器)的HVS的实例。举例来说,图2展示相对于HDTV视频数据的SDR、UHDTV视频数据的预期HDR和可由HVS感知的动态范围的照度范围(及在HVS的照度范围内的同时范围的实例)。
在一些实例中,视频应用和服务可由ITU-R推荐BT.709(还被称作Rec.709或BT.709)调节且可提供SDR,其通常支持约0.1到100尼特的亮度(或照度)的范围,产生小于10f制光圈。尼特为照度的测量单位。举例来说,一个尼特等于每平方米(m2)一个坎德拉(cd)。期望下一代视频应用和服务提供高达16个f制光圈的动态范围。在SMPTE-2084及Rec.2020中已指定一些初始参数。举例来说,ST 2084定义适合于在线性与非线性空间之间转换HDR视频数据的EOTF(电光传递函数)。作为另一实例,Rec.2020定义可用于表示视频数据的色彩基元以使得比基元更多的色彩(例如更大色域)由Rec.709描述(广泛用于SDR视频数据)。
除HDR以外的更真实的视频经历的另一方面为色彩维度,其常规由色域定义。图3为展示HDTV的SDR色域(基于BT.709红色、绿色及蓝色基元的三角形100)和UHDTV的更宽色域(基于BT.2020红色、绿色及蓝色基元的三角形102)的概念图。图3还描绘所谓的光谱轨迹(由舌形区104界定),表示自然色彩的限值。如图3所说明,从BT.709移到BT.2020色彩基元旨在为UHDTV服务提供超过约70%的色彩。D65指定给定规格(例如,BT.709和/或BT.2020规格)的白色。
色域规格的几个实例展示于表1中。
表1:实例色域参数
如表1中可见,色域可由白点的x及y值并由原色(例如红(R)、绿(G)及蓝(B)的x及y值定义。x及y值表示色彩的色度(x)及亮度(y),如由CIE 1931色彩空间所定义。CIE 1931色彩空间定义纯色之间的联系(例如在波长方面)和人类眼睛如何感知此类色彩。
通常在每个分量(平坦浮点)极高精度下利用具有4:4:4色度格式(还被称作4:4:4色度次取样格式)及极宽色彩空间(例如还被称作CIE XYZ的CIE 1931XYZ)获取并存储HDR/WCG视频数据。此表示目标在于高精度且几乎是在数学上无损的。然而,用于存储HDR/WCG视频数据的这种格式可包含大量冗余且对于压缩目的来说可能并非是最佳的。具有基于HVS的假设的更低精度格式通常用于最先进视频应用。
用于压缩目的的视频数据格式转换过程的一个实例包含三个主要过程,如图4中所展示。图4的技术可由视频预处理器19执行。视频预处理器19可配置成从视频源18接收线性RGB数据110。线性RGB数据110可为HDR/WCG视频数据且可在浮点表示中。线性RGB数据110可使用用于动态范围压实的非线性传递函数(TF)112压实。视频预处理器19可将传递函数112应用于线性RGB数据110以使用任何数目的非线性传递函数(例如SMPTE-2084)来压实线性RGB数据110。在一些实例,视频预处理器19可执行色彩转换过程114以将由TF 112过程产生或另外由其输出的压实数据转换到目标色彩空间(例如YCbCr),其更适合于通过视频编码器(例如视频编码器20)压缩。目标色彩空间可为更紧密或稳固的色彩空间。由色彩转换过程114产生或另外由其输出的视频数据随后可由视频预处理器19使用量化过程116量化,以例如将由色彩转换过程114产生或另外由其输出的视频数据从浮点表示转换成整数表示,以产生经处理的经预编码的视频数据118(其在一些实例中可指代经转换HDR视频数据)。在此实例中,经处理的经预编码的视频数据118在整数表示中,其可为更适合于由视频编码器(例如,应用例如HEVC技术的视频编码器20)压缩的格式。给出图4中所描绘的过程的次序作为实例,且所述次序可在其它应用中变化。举例来说,色彩转换过程可先于TF过程。此外,可将额外处理(例如空间次取样)应用于色彩分量。
可以例如图5中所展示的方式对经解码视频数据执行参考图4描述的视频数据格式转换过程的反演。图5的技术可由视频后处理器31执行。视频后处理器31可配置成从视频解码器30接收经解码视频数据120(其在一些实例中可指代HDR视频数据)。举例来说,视频编码器20可接收经处理的经预编码的视频数据118并对此视频数据进行编码以产生经编码视频数据。视频解码器30可接收并解码从经处理的经预编码的视频数据118导出的经编码视频数据,以产生或另外输出经解码视频数据120。在一些实例中,经解码视频数据120可与经处理的经预编码的视频数据118相同(例如,归因于无损视频压缩)。在其它实例中,经解码视频数据120可与经处理的经预编码的视频数据118类似但不相同(例如,归因于有损视频压缩或数据讹用)。
经解码视频数据120可通过由视频后处理器31所执行的反量化过程122反量化。随后,反向色彩转换过程124可由视频后处理器31应用于经反量化的经解码视频数据。反向色彩转换过程124可为色彩转换过程114的反演。举例来说,反向色彩转换过程124可将经反量化的经解码视频数据从第一色彩空间(例如YCrCb)转换到第二色彩空间(例如RGB)。接下来,反传递函数126可由视频后处理器31应用于经反向色彩转换的经解码视频数据以加回动态范围,所述动态范围在一些实例中可由传递函数112压实以产生或另外输出线性RGB数据128。在一些实例中,线性RGB数据128可与线性RGB数据11相同(例如,归因于无损视频压缩)。在其它实例中,线性RGB数据128可与线性RGB数据110类似但不相同(例如,归因于有损视频压缩或数据讹用)。
现将更详细地论述图4中所描绘的技术。一般来说,通过视频预处理器19将传递函数应用到数据(例如HDR/WCG视频数据)以压实数据的动态范围。此类压实允许用较少位来表示数据。在一个实例中,传递函数112可为一维(1D)非线性函数且可反映终端用户显示器的电光传递函数(EOTF)的反向者(例如,如针对Rec.709中的SDR所指定)。在另一个实例中,传递函数112可粗略估计HVS对亮度变化的感知(例如,HDR的SMPTE-2084中所指定的PQ传递函数)。OETF的反向过程为EOTF(电光传递函数),其将代码级映射回照度。图6展示非线性传递函数的几个实例。传递函数可分别应用于色彩空间中的每一色彩通道(例如,RGB色彩空间中的R、G和B通道)。
在本发明的上下文中,术语“新号值”或“色彩值”可用于描述对应于图像元素的特定色彩分量(例如R、G、B或Y)的值的照度级。信号值通常表示线性光级(照度值)。术语“代码级”或“数字代码值”可指图像信号值的数字表示。通常,这种数字表示为非线性信号值的表示。EOTF表示提供给显示装置(例如显示装置32)的非线性信号值与由显示装置产生的线性色彩值之间的关系。
关于由视频预处理器19执行的色彩转换过程114(展示于例如图4中),通常将RGB数据用作输入色彩空间,是因为RGB是通常由图像捕捉传感器产生的数据的类型。然而,RGB色彩空间在其分量当中具有高冗余,且对于紧密表示来说并非最佳。为了实现更紧密和更稳固表示,RGB分量可由视频预处理器19转换成和适合于压缩的更不相关的色彩空间(例如YCbCr)。YCbCr色彩空间例如分离不同的较不相关分量中的照度(Y)形式的亮度及色彩信息(Cr及Cb)。在此上下文中,稳固表示可指具有当以受限位率压缩时具有抗丢包和抗误码的较高层级的特征的色彩空间。
在色彩转换过程114(还被称作色彩变换过程)之后,目标色彩空间中的经色彩转换的视频数据仍可以高位深度(例如浮点精确性)表示。由视频预处理器19执行的量化过程116(展示于例如图4中)可将经色彩转换的视频数据量化到目标位深度。在一些实例中,10至12位的位深度结合PQ传递函数可足以向16f制光圈的HDR数据提供低于最小可辨差异(JND)的畸变。一般来说,JND是必须变化以使差异(例如通过HVS)可辨的某物(例如视频数据)的量。用10位精确性表示的数据(即具有位深度10)可由视频编码器(例如视频编码器20)根据视频译码标准进一步译码。此量化为有损译码的元素并且为引入到经转换数据的不精确性的来源。
本发明鉴别CRI SEI消息的问题,如当前由HEVC标准所定义,并且提出实例技术来解决本文所鉴别的问题。
作为一个实例问题,如由当前HEVC标准所定义,SEI消息的语义不清楚在在何处将SEI消息中所含的信息应用于由视频解码器30和/或视频后处理器31对经解码视频数据的处理中。举例来说,当前HEVC标准在语义中描述可将SEI消息直接应用于经解码视频数据;然而,不清楚SEI消息是否可应用于因一或多个过程的应用的结果而产生的经解码视频数据。举例来说,不清楚在对经解码视频数据执行或另外对其应用解量化(例如反量化)之后,在对经解码视频数据执行或另外对其应用非CRI SEI消息过程(例如,滤波过程、上取样过程、下取样过程、反量化过程、用以表示经解码视频数据的分量的色彩基元的改变或任何其它非CRI SEI消息过程)之后,和/或在对经解码视频数据执行或另外对其应用色彩空间转换之后,是否可由视频解码器30和/或视频后处理器31应用CRI SEI消息的过程,例如预LUT206、3×3矩阵208或后LUT 210中的一或多者。
作为另一实例问题,当前HEVC标准将CRI SEI消息定义为包含用以指示SEI消息的目的的语法元素colour_remap_id。然而,由当前HEVC标准定义的CRI SEI消息的语义并不指定具有不同ID(例如不同colour_remap_id值)的并发或依序CRI SEI消息的处理,并且指定并发或依序CRI SEI消息是否可针对相同经解码视频数据(例如相同经解码图片)用信号表示和/或应用于经解码视频数据(例如相同经解码图片)。即使包含多个CRI SEI消息,但当前HEVC标准不清楚应用此类多个CRI SEI消息的次序。
作为另一实例问题,CRI SEI消息的语法由当前HEVC标准定义为包含具有作为输入数据位深度的函数的指定位深度导出的固定长度经译码枢轴点。甚至在CRI SEI消息中所指定的输入或输出的位深度较低时,用以译码枢轴点的位的数目常常还是较大。举例来说,根据当前HEVC标准,即使CRI SEI消息的LUT(例如分别为预LUT及后LUT)的输入和输出的位深度为10个位,仍以16位精确性用信号表示枢轴点。这使位数目比所需不必要地增加60%,如此在每帧用信号表示CRI SEI时有较大影响。即使用以指示枢轴点的实际位数目与整体位流相比并不太多,但当根据CRI SEI消息用信号表示更多枢轴点且针对超过一个分量和针对每个帧而用信号表示此信息时,位数目的增加是不可忽略的。
作为另一实例问题,LUT枢轴点信令的经确定精确性的成果可基于LUT重建构过程,如由当前HEVC标准所定义。处理10位信号的一些CRI应用可选择完全利用经指定精确性,其将引起针对每一信号(例如色彩)分量(例如,Y、Cb和Cr;或R、G和B)由65536个元素组成的16位精确LUT表的建构。本文所描述的技术改进这些问题。举例来说,视频编码器20、视频预处理器19、视频解码器30和/或视频后处理器31中的一或多者配置成执行本文所描述的一或多种技术以解决本文所鉴别的一或多个问题。举例来说,本文所描述的技术可减少存储器需求(例如,通过不用信号表示冗余LUT),减少计算复杂度、保证所递送HDR/WCG的质量和/或符合规范。作为一实例,本发明引入CRI SEI消息的语义和语法的变化,这引起视频编码器20、视频预处理器19、视频解码器30和/或视频后处理器31中的一或多者处理视频数据的方式的变化。举例来说,本文所描述的CRI SEI消息的语义和/或语法的变化可改变在位流中由视频编码器20用信号表示哪些信息。作为另一实例,本文所描述的CRI SEI消息的语义和/或语法的变化可影响由视频解码器30接收的CRI SEI消息含有哪些信息。作为另一实例,本文所描述的CRI SEI消息的语义和/或语法的变化可影响视频解码器30和/或视频后处理器31例如根据一或多个CRI SEI消息处理经解码视频数据的方式。
作为另一实例问题,CRI SEI消息的语法目前设计为使得LUT(例如预LUT和/或后LUT)中用于信号的一个分量的枢轴点不能直接应用于其它分量,除非其明确用信号表示。举例来说,用于经解码视频数据(例如经解码图片)的Y分量的枢轴点不能直接应用于Cb抑或Cr分量。这增加了用信号表示SEI消息所需的位的数目。
本发明阐述用以改进CRI SEI消息或在视频译码标准(例如H.265/HEVC、H.264/AVC、蓝光磁盘关联(BDA)、MPEG或其它)中指定或将指定的类似SEI消息信令和处理的可能导出的几种技术。为了解决上述问题,本文所描述的一或多种技术可由视频编码器20、视频预处理器19、视频解码器30和/或视频后处理器31中的一或多者应用或另外由所述一或多者执行。本文所描述的一或多种技术可独立地或以任何组合应用。
在一个实例中,视频编码器20可配置成根据新语义用信号表示一或多个CRI SEI消息,及/或视频解码器30和/或视频后处理器31可配置成根据新语义处理一或多个CRISEI消息。新语义可例如使视频编码器20能够用信号表示如本文所描述的一或多个CRI SEI消息。新语义可例如使视频解码器30和/或视频后处理器31能够直接对经解码视频数据或间接对经解码视频数据应用对应于CRI SEI消息的一或多个过程(例如,预LUT 206、3×3矩阵208及后LUT 210)。举例来说,根据视频解码器30和/或视频后处理器31可根据其配置成处理一或多个CRI SEI消息的新语义,视频解码器30和/或视频后处理器31可配置成适用于在一些处理(即间接对经解码视频数据进行的处理)之后将对应于CRI SEI消息的一或多个过程应用于经解码视频数据(例如经解码视频样本)。在其它实例中,视频解码器30和/或视频后处理器31可配置成适用于直接向经解码视频数据应用对应于CRI SEI消息的一或多个过程。视频解码器30和/或视频后处理器31可配置成基于语法元素值(例如colour_remaup_id值)确定是直接还是间接对经解码视频数据应用对应于CRI SEI消息的一或多个过程。
此类技术的实例在图9中说明,图9说明未直接应用于经解码视频数据的对应于CRI SEI消息的色彩重新映射过程的实例。相反,如图9的实例中所展示,由量化过程116产生的经量化视频数据可由色彩重新映射过程150按所说明次序处理。视频预处理器19内说明的过程中的每一者可由视频预处理器19执行。在其它实例中,视频预处理器19内说明的一或多个过程可由视频编码器20执行。在图9的其中色彩重新映射过程150及156执行色彩转换的实例中,视频预处理器19及视频后处理器31可分别配置成不执行色彩转换过程114和反向色彩转换过程124。在此类实例中,视频预处理器19可配置成对由TF 112产生或另外由其输出的数据执行量化过程116。类似地,视频后处理器31可配置成对由反量化过程122产生或另外由其输出的数据应用反传递函数126。
在一些实例中,视频预处理器19内所说明的一或多个其它过程可在任何两个色彩重新映射过程150(例如预LUT 200、3×3矩阵202及后LUT 204)的应用之间应用于视频数据。经色彩重新映射的视频数据151随后可由一或多个非色彩重新映射过程152(例如下取样或上取样过程)处理。举例来说,经色彩重新映射的视频数据151可根据4:4:4色度格式。一或多个未经色彩重新映射的过程可包含下取样过程,以使得经处理的经编码的视频数据118在此实例中具有4:2:0色度格式。
类似地,在解码器侧,视频解码器30可输出经解码视频数据120(其在一些实例中可指代经解码HDR视频数据),所述经解码视频数据随后可由视频后处理器31例如以图9中展示的方式处理。视频后处理器31内说明的过程的每一者可由视频后处理器31执行。在一些实例中,视频后处理器31内所说明的一或多个其它过程可在对应于CRI SEI消息的任何两个色彩重新映射过程156(例如预LUT 206、3×3矩阵208及后LUT 210)的应用之间应用于经解码视频数据。
举例来说,视频后处理器31可从视频解码器30接收经解码视频数据120并对所述经解码视频数据执行一或多个非色彩重新映射过程154(例如,滤波过程、下取样过程或上取样过程)。
在一些实例中,一或多个非色彩重新映射过程154可为一或多个非色彩重新映射过程152的反演。举例来说,在涉及从4:4:4到4:2:0的下采样的以上实例中,其结果是由视频解码器30输出的经解码视频数据120可呈4:2:0色度格式。经解码视频数据120随后可由视频后处理器31所执行的一或多个非色彩重新映射过程154处理。如本文所描述,非色彩重新映射过程154可包含(例如)滤波过程、上取样过程、下取样过程、反量化过程、用以表示经解码视频数据的分量的色彩基元的改变或任何其它非CRI SEI消息过程。在一个实例中,非色彩重新映射过程154可包含将经解码视频数据120转换到4:4:4色度格式的反向下取样过程(即,上取样过程)。举例来说,未经CRI处理的经解码视频数据155可根据4:4:4色度格式。视频后处理器31可配置成按所说明次序对未经CRI处理的经解码视频数据155执行一或多个色彩重新映射过程156(其可被称为一或多个CRI SEI消息过程156)。
在另一个实例中,视频解码器30和/或视频后处理器31可配置成根据新语义处理两个或多于两个CRI SEI消息,以使得超过一个CRI SEI消息可应用于相同经解码视频数据。揭示关于两个更多CRI SEI消息如何可由视频解码器30和/或视频后处理器31应用于相同经解码视频数据的不同实例方法。在一个实例中,视频编码器20可配置成用信号表示对应于相同视频数据(例如对应于相同图片)的多个CRI SEI消息,其中此类CRI SEI消息中的每一者具有对应于colour_remap_id语法元素的不同值。如本文所使用,colour_remap_id可指可用于鉴别对应于CRI SEI消息的信息的目的(即,用于鉴别对应于CRI SEI消息的色彩重新映射信息的目的)的具有对应值的任何语法元素。视频解码器30和/或视频后处理器31可配置成根据新语义针对对应于相同视频数据的每一CRI SEI消息确定对应于用信号表示的colour_remap_id语法元素的值。举例来说,视频解码器30和/或视频后处理器31可配置成确定将CRI SEI消息应用于经解码视频数据的次序。如本文所使用,除非上下文另有规定,否则提及对经解码视频数据应用过程或另外向其应用过程包含对经解码视频数据或另外向经解码视频数据直接应用或间接应用过程。另有陈述,在没有其它上下文的情况下,本文中提及经解码视频数据并不暗示在经解码视频数据已通过例如视频解码器30产生以来已经处理或尚未经处理。作为一实例,经解码视频数据可精确地描述经展示为从视频解码器30输出的视频数据,以及精确地描述展示为从每一过程输出的视频数据,所述每一过程经说明为由视频后处理器31执行。图9中所展示的过程之间的差异在于经解码视频数据可由于一或多个过程变化。举例来说,展示为输入到反量化过程122的经解码视频数据为已由由一或多个CRI SEI消息过程156处理的经解码视频数据。
在一些实例中,colour_remap_id的第一值可低于colour_remap_id的第二值。举例来说,视频解码器30和/或视频后处理器31可配置成在将任何其它CRI SEI消息应用到具有较高colour_remap_id值的经解码样本之前确定具有较低colour_remap_id值的CRI SEI消息应用于经解码视频数据。在另一个实例中,具有colour_remap_id的第一值的CRI SEI消息的色彩重新映射信息可用于执行经解码视频数据的分量的色调映射,以调整经解码视频数据的色彩分量(例如,通过执行色彩分量的分段线性映射),且具有colour_remap_id的第二值的SEI消息的色彩重新映射信息可用于将经解码样本从第一动态范围映射到第二动态范围(例如,HDR到SDR或SDR到HDR)。
在另一个实例中,视频解码器30和/或视频后处理器31可配置成在对应于CRI SEI消息的经解码视频数据的格式为浮点时,解译CRI SEI消息的输入及输出位深度(即,分别为进入CRI处理的视频数据的位深度和离开CRI处理的视频数据的位深度)所容许的最小及最大值。在一些实例中,SEI消息的输入及输出位深度所容许的最小及最大值可分别由视频解码器30和/或视频后处理器31解译为映射到从0到1的归一化浮点表示。在其它实例中,当浮点中的经解码视频数据的容许值范围为0到1时,由相应输入及输出位深度表示的最小及最大值可分别映射到0和1。
另一实例技术涉及与枢轴点相关的语法元素的译码(即,编码及/或解码)。举例来说,视频编码器20可配置成利用和由经解码视频数据的相应位深度所指示一样多的位用信号表示关于枢轴点的语法要素(pre_lut_coded_value[][]、pre_lut_target_value[][]、post_lut_coded_value[][]和post_lut_target_value[][])。举例来说,如果视频编码器20确定输入及输出位深度(如由colour_remap_input_bit_depth和colour_remap_bit_depth所指示)分别为12及10,则pre_lut_coded_value[][]可由视频编码器20用12个位译码;且pre_lut_target_value[][]、post_lut_coded_value[][]和post_lut_target_value[][]由视频编码器20用10个位译码。
在另一实例技术中,视频编码器20可配置成用信号表示用于预LUT及后LUT的旗标,以向视频解码器30和/或视频后处理器31指示针对第0个分量(例如色彩空间的第一色彩分量)所指定的预LUT和后LUT与待应用于其它两个分量(例如色彩空间的第二和第三色彩分量)的预LUT和后LUT相同。在此实例中,当旗标指示应用于所有三个分量的预LUT及后LUT相同时,仅一个分量(例如一个色彩通道)的预LUT及后LUT枢轴点由视频编码器20用信号表示,且其它组件(例如其它色彩通道)的预LUT及后LUT枢轴点可由视频解码器30从第0个分量的值推断。举例来说,视频解码器30可配置成在位流中针对色彩空间中的第一色彩通道接收第一预LUT(例如第一预LUT 206)的枢轴点(其还可被称作LUT码字)和第一后LUT(例如第一后LUT 210)的枢轴点。视频解码器30还可在位流中接收对应于旗标的值,其在此实例中指示对应于第0个分量(即,三色色彩通道实例中的第一色彩通道)的第一预LUT及第一后LUT是否与用于第二和第三色彩通道的预LUT和后LUT相同。基于对应于从位流剖析的旗标的值,视频解码器30可配置成推断(例如确定)对应于用于第二和第三色彩通道的预LUT及后LUT的枢轴点分别对于由视频编码器20用信号表示的第一预LUT及第一后LUT来说是相同的。因此,应理解,视频解码器30可配置成执行视频编码器20的反演以解码视频数据。
在其它实例中,视频编码器20可配置成用信号表示用于预LUT的第一旗标,且可配置成用信号表示用于后LUT的第二旗标,以用于以上不用信号表示超过一个分量的LUT的技术并用于从第0个分量的LUT来推断LUT。在此实例中,第一旗标(还在本文中称作预LUT旗标)可由视频编码器20用信号表示,以向视频解码器30和/或视频后处理器31指示针对第0个分量(例如色彩空间的第一色彩分量)用信号表示的预LUT与待应用于其它两个分量(例如色彩空间的第二和第三色彩分量)的预LUT相同。在此实例中,当第一旗标指示应用于所有三个分量的预LUT相同时,仅一个分量(例如一个色彩通道)的预LUT枢轴点由视频编码器20用信号表示,且其它组件(例如其它色彩通道)的预LUT枢轴点可由视频解码器30从第0个分量的值推断。
类似地,在此实例中,第二旗标(在本文中还被称作后LUT旗标)可由视频编码器20用信号表示,以向视频解码器30和/或视频后处理器31指示针对第0个分量(例如色彩空间的第一色彩分量)用信号表示的后LUT与待应用于其它两个分量(例如色彩空间的第二和第三色彩分量)的后LUT相同。在此实例中,当第一旗标指示应用于所有三个分量的后LUT相同时,仅一个分量(例如一个色彩通道)的后LUT枢轴点由视频编码器20用信号表示,且其它组件(例如其它色彩通道)的后LUT枢轴点可由视频解码器30从第0个分量的值推断。
举例来说,当视频编码器20确定应用于所有色彩分量(例如RGB色彩空间中的红色、绿色及蓝色通道)的预LUT相同时,视频编码器20可配置成用信号表示对应于指示此事实的预LUT旗标的值。当对应于预LUT旗标的值由视频编码器20用信号表示时,所述值指示跨越每一色彩分量的枢轴点相同,视频编码器20还可配置成仅用信号表示仅一个分量的预LUT枢轴点。视频解码器30可配置成在位流中接收对应于预LUT旗标的值和对应于单一预LUT的枢轴点,所述单一预LUT对应于单一色彩分量(例如第0个分量)。基于对应于从位流中剖析的预LUT旗标的值,视频解码器30可配置成推断(例如确定)对应于剩余的预LUT(例如未针对其用信号表示枢轴点的预LUT)的枢轴点与对应于由视频编码器20用信号表示的单一预LUT的枢轴点相同。除了后LUT旗标是关于后LUT枢轴点的相同而非预LUT枢轴点的相同之外,视频编码器20和视频解码器30以相对于后LUT旗标的类似方式操作。
在其它实例中,视频编码器20可配置成用信号表示旗标,以指示针对第一个分量(如与第0个分量相反)所指示的LUT(例如预LUT或后LUT)与待应用于第二个分量的LUT相同。在此实例中,第1个和第2个分量将与第0个分量相区别(即,如果所述分量是从一而非零编号,此实例将被描述为包含可用信号表示以指示针对第2个分量指示的LUT(例如预LUT或后LUT)是否与待应用于第3个分量的LUT相同的旗标)。视频解码器30可在位流中接收对应于此旗标的值,并确定(例如推断)对应于与第2个分量相对应的预LUT及后LUT的枢轴点与分别针对第一个色彩分量的预LUT及后LUT用信号表示的枢轴点相同。
在其它实例中,视频编码器20可配置成用信号表示每一色彩分量的旗标,以指示适用于当前图片的LUT分量(即,预LUT分量及后LUT分量)将从按输出次序应用于先前图片的CRI SEI消息的相对应的分量推断。举例来说,视频编码器20可配置成在三色分量实例中用信号表示六个旗标。在此实例中,第一旗标可指示适用于对应于第一色彩分量的当前图片的预LUT将从对应于按输出次序应用于先前图片的CRI SEI消息的第一色彩分量的预LUT推断。第二旗标可指示适用于对应于第一色彩分量的当前图片的后LUT将从对应于按输出次序应用于先前图片的CRI SEI消息的第一色彩分量的后LUT推断。第三旗标可指示适用于对应于第二色彩分量的当前图片的预LUT将从对应于按输出次序应用于先前图片的CRISEI消息的第二色彩分量的预LUT推断。第四旗标可指示适用于对应于第二色彩分量的当前图片的后LUT将从对应于按输出次序应用于先前图片的CRI SEI消息的第二色彩分量的后LUT推断。第五旗标可指示适用于对应于第三色彩分量的当前图片的预LUT将从对应于按输出次序应用于先前图片的CRI SEI消息的第三色彩分量的预LUT推断。第六旗标可指示适用于对应于第三色彩分量的当前图片的后LUT将从对应于按输出次序应用于先前图片的CRISEI消息的第三色彩分量的后LUT推断。
在另一实例技术中,可保留对应于colour_remap_id的某些值。举例来说,对应于colour_remap_id的值的第一范围可实现后向兼容处理链(例如SDR、709容器等)和/或HDR处理链。作为另一实例,colour_remap_id的某些值范围可经保留用于后向兼容解决方案(例如,可用于处理内容以便显示在SDR显示器上的色彩重新映射信息)或用于包含例如BT.709色彩容器的其它后向兼容解决方案。在另一个实例中,colour_remap_id的某些值范围可经保留用于HDR处理链,其中最终输出将显示于HDR显示器上。另有描述,以上实例使视频编码器20能够向视频解码器30提供信息,以确保视频解码器30和/或视频后处理器31对经解码视频数据执行必要的处理,以将经解码视频数据转换成SDR或HDR显示器兼容内容。参考以上关于某些保留值的实例,视频编码器20可配置成在位流中用信号表示CRI SEI消息中的colour_remap_id语法元素的值。视频解码器30可配置成接收位流并确定colour_remap_id的值对应于保留值,指示例如CRI SEI消息将应用于后向兼容处理链和/或HDR处理链中。作为另一实例,视频解码器30可配置成接收位流并确定colour_remap_id的值对应于保留值,指示在解码侧处理链中将应用预LUT 206、3×3矩阵208及后LUT 210中的每一者的情况。举例来说,colour_remap_id的值可对应于图10、图11、图12、图13或图14中描绘的处理链。
在另一实例技术中,视频编码器20可配置成用信号表示如本文所描述的预LUT和/或后LUT的枢轴点。在一些实例中,枢轴点可不会覆盖对应于经解码视频数据的整个输入范围。在此类实例中,视频解码器30和/或视频后处理器31可配置成将具有小于预LUT和/或后LUT中的第一枢轴点的色彩分量值的任何经解码视频数据映射到预LUT和/或后LUT中的第一枢轴点。类似地,视频解码器30和/或视频后处理器31可配置成将具有超过预LUT和/或后LUT中的最后一个枢轴点的色彩分量值的任何经解码视频数据映射到预LUT和/或后LUT中的第一枢轴点。
还可以关于由当前HEVC标准所定义的CRI SEI消息的语法的变化和/或由当前HEVC标准定义的CRI SEI消息的语义的变化来描述本文所描述的一或多个实例技术。将关于当前HEVC标准对语法及语义的添加加上下划线,并通过删除线指示去除的文字。
CRI SEI消息的语法的变化包含(其中添加由带下划线的文字表示且删除由受损文字表示):
… | |
colour_remap_bit_depth | u(8) |
<u> pre_lut_num_comps</u> | <u>ue(v)</u> |
for(c=0;c<3pre_lut_num_comps;c++){ | |
pre_lut_num_val_minus1[c] | u(8) |
if(pre_lut_num_val_minus1[c]>0) | |
for(i=0;i<=pre_lut_num_val_minus1[c];i++){ | |
pre_lut_coded_value[c][i] | u(v) |
pre_lut_target_value[c][i] | u(v) |
} | |
} | |
colour_remap_matrix_present_flag | u(1) |
… |
CRI SEI消息的语义的变化展示为以下段落[0163]到[0180]中(其中添加由带下划线的文字表示且删除由受损文字表示)。
色彩重新映射信息SEI消息提供用以实现输出图片的经重建构色彩样本的重新映射的信息。色彩重新映射信息可直接应用于经解码样本值,不管所述经解码样本值是处于明度及色度域还是处于RGB域。在应用一或多个过程之后,色彩重新映射信息还可应用于经 解码样本。用于色彩重新映射信息SEI消息中的色彩重新映射模型由应用于每一色彩分量(由本文中的语法元素的“预”集合所指定)的第一分段线性函数、应用于三个色彩分量的三乘三矩阵以及应用于每一色彩分量(由本文中的语法元素的“后”集合所指定)的第二分段线性函数组成。注释1-用于显示的输出图片的色彩重新映射是任选的,并且不影响本说明书中所指定的解码过程。
colour_remap_id含有可用于鉴别色彩重新映射信息的用途的识别号。colour_remap_id的值应在0到232-2的范围内,包含0和232-2。
可使用如由应用程序确定的从0到255及从512到231-1的colour_remap_id值。从256到511(包含256和511)且从231到232-2(包含231和232-2)的colour_remap_id值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有在256到511的范围内(包含256和511)或在231到232-2的范围内(包含231和232-2)的colour_remap_id值的所有色彩重新映射信息SEI消息,且位流不应含有此类值。注释2-colour_remap_id可用于支持适合于不同显示场景的不同色彩重新映射过程。举例来说,不同colour_remap_id值可对应于由显示器支持的不同的经重新映射的色彩空间。
在超过一个SEI消息与所述当前图片相关联且每一此类SEI消息具有不同colour_
remap_id值时,在应用另一SEI消息的色彩重新映射信息之后应用一个SEI消息的色彩重新
映射信息。可通过应用程序确定应用SEI消息的次序。在未经指定时,以与当前图片相关联
的色彩重新映射信息SEI消息的colour_remap_id的递增次序应用色彩重新映射信息。
除了colour_remap_matrix_coefficients指定经重新映射的经重建构图片的色彩空间而非用于CLVS的色彩空间之外,colour_remap_matrix_coefficients具有如matrix_coeffs语法元素的条款E.3.1中所指定的相同语义。当不存在时,colour_remap_matrix_coefficients值经推断为等于matrix_coeffs值。
colour_remap_input_bit_depth指定相关联图片的明度及色度分量或RGB分量的位深度,以用于解释色彩重新映射信息SEI消息的目的。当存在任何色彩重新映射信息SEI消息时,其中colour_remap_input_bit_depth值不等于经译码明度及色度分量的位深度或经译码RGB分量的位深度,SEI消息是指经执行以将经译码视频转换成位深度等于colour_remap_input_bit_depth的经转换视频的转码操作的假设结果。当在0到1的范围内的浮点 表示中将色彩重新映射信息应用于明度或色度分量或RGB分量时,SEI消息是指量化浮点表 示以将其转换成位深度等于colour_remap_input_bit_depth的表示的假设结果。
colour_remap_input_bit_depth值应在8到16的范围内(包含8和16)。从0到7(包含0和7)且从17到255(包含17和255)的colour_remap_input_bit_depth值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有在0到7的范围内(包含0和7)或在17到255的范围内(包含17和255)的colour_remap_input_bit_depth的所有色彩重新映射SEI消息,且位流不应含有此类值。
pre_lut_num_comps指定分量的数目,其中对应于预查询表的枢轴点在色彩重新
映射信息消息中明确用信号表示。pre_lut_num_comps的值应在0到3的范围内(包含0和3)。
colour_remap_bit_depth指定由色彩重新映射信息SEI消息描述的色彩重新映射函数的输出的位深度。
colour_remap_bit_depth值应在8到16范围内(包含8和16)。从0到7(包含0和7)且在17到255的范围内(包含17和255)的colour_remap_bit_depth值经保留以供ITU-T|ISO/IEC将来使用。解码器应忽略含有从0到7(包含0和7)或在17到255的范围内(包含17和255)的colour_remap_bit_depth值的所有色彩重新映射SEI消息。
pre_lut_num_val_minus1[c]加1针对第c个分量在分段线性重新映射函数中指定枢轴点的数目,其中c等于0是指明度或G分量,c等于1是指Cb或B分量,且c等于2是指Cr或R分量。当pre_lut_num_val_minus1[c]等于0时,对于第c个分量,输入值的默认端点为0和2colour_remap_input_bit_depth-1,且输出值的相对应的默认端点为0和2colour_remap_bit_depth-1。在符合本说明书的此版本的位流中,pre_lut_num_val_minus1[c]的值应在0到32的范围内(包含0和32)。
当pre_lut_num_val_minus1[c]不存在于处于1到2的范围内的c的色彩重新映射 信息SEI消息中时,pre_lut_num_val_minus1[c]的值经设置成等于pre_lut_num_val_minus1[c-1]。
pre_lut_coded_value[c][i]指定第c个分量的第i个枢轴点的值。用以表示pre_lut_coded_value[c][i]的位的数目为colour_remap_input_bit_depth
当pre_lut_coded_value[c][i]不存在于处于1到2的范围内的c的色彩重新映射
信息SEI消息中且i小于或等于pre_lut_num_val_minus1[c](包含性)时,pre_lut_coded_
value[c][i]的值经设置成等于pre_lut_coded_value[c-1][i]。
pre_lut_target_value[c][i]指定第c个分量的第i个枢轴点的值。用以表示pre_lut_target_value[c][i]的位的数目为colour_remap_bit_depth
当pre_lut_target_value[c][i]不存在于处于1到2的范围内的c的色彩重新映射
信息SEI消息中且i小于或等于pre_lut_num_val_minus1[c](包含性)时,pre_lut_target_
value[c][i]的值经设置成等于pre_lut_target_value[c-1][i]。
当分量c的输入数据的范围在minValue到maxValue的范围内(包含性)时,则以下
适用:
-当minValue小于pre_lut_coded_value[c][0]时,在minValue到pre_lut_coded_ value[c][0]-1范围内(包含性)的所有输入值经映射到pre_lut_target_value[c][0]。
-当maxValue大于pre_lut_coded_value[c][pre_lut_num_val_minus[c]]时,在 pre_lut_coded_value[c][pre_lut_num_val_minus[c]]+1到maxValue的范围内(包含性) 的所有输入值经映射到pre_lut_target_value[c][pre_lut_num_val_minus[c]]。
post_lut_num_val_minus[]、post_lut_coded_value[][]和post_lut_target_value[][]的语义分别类似于re_lut_num_val_minus[]、pre_lut_coded_value[][]和pre_lut_target_value[][]的语义;用以表示post_lut_coded_value[][]和post_lut_target_value[][]的位的数目等于colour_remap_bit_depth。
在一个实例中,输入数据的范围可指分量的容许值,其可为标准范围(例如,对于明度的8位内容为16到235,对于色度的8位内容为16到240)或受限范围(例如,对于明度和色度两者的10位内容为4到1020)。在另一个实例中,超出由输入枢轴点指示的那些点的范围的输入值可经映射到明确用信号表示或固定为某一值的默认值。可对与后LUT有关的语义作出类似改变。
作为段落[0166]中所展示的语义添加的替代,超过一个CRI SEI消息的应用可经指定如下:可添加确定来自超过一个CRI SEI消息的色彩重新映射信息是否可应用于当前图片的额外语法元素。当此额外语法元素的值为一时,超过一个CRI SEI消息的色彩重新映射信息可应用于当前图片。当语法元素的值等于零时,仅一个SEI消息的色彩重新映射信息可应用于当前图片。当存在超过一个与当前图片相关联的具有等于零的语法元素值的CRISEI消息时,则可应用具有最低colour_remap_id的CRI SEI消息的色彩重新映射信息。在其它实例中,当存在超过一个与当前图片相关联的CRI SEI消息时,可应用具有最低colour_remap_id的CRI SEI消息的色彩重新映射信息。
本发明提供可用于应用本文所描述的一或多个特征的实施配置的数个实例。举例来说,说明数个实例配置来描绘本文所描述的色彩重新映射信息可如何用于后处理链(即后解码链)中的实例。本发明不限于本文所阐述的实例。
在一些实例中,colour_remap_id的特定值可分配给每一配置(例如图9到14中所说明的每一后处理链配置),其可用于指示在解码器端处的必需处理。在图10到14中所说明的实例后解码配置中的每一者中,描绘三个CRI过程(例如预LUT 206、3×3矩阵208及后LUT210)。带下划线的CRI过程指示所述值可为非平凡的(非恒等)的,而不带下划线的CRI过程指示CRI过程不会由视频后处理器31通过例如使用默认值/恒等映射而非用信号表示的值来有效使用或以其它方式执行。举例来说,视频编码器20可配置成用信号表示指示3×3矩阵208为恒等矩阵的信息。作为另一实例,视频编码器20可配置成用信号表示指示预LUT206可为数据结构的信息,所述数据结构将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由预LUT 206映射后不会变化,所述映射可被称为恒等映射)。作为另一实例,视频编码器20可配置成用信号表示指示后LUT 210可为数据结构的信息,所述数据结构将输入像素值映射到输出像素值以使得输出值等于输入值(即,输入像素值在由后LUT 210映射后不会变化,所述映射可被称为恒等映射)。
图10说明根据本发明的一或多种技术的后解码链配置的一个实例。在图10的实例中,视频后处理器31仅使用预LUT来修改经解码视频数据。在执行对例如YUV域中的明度和/或色度分量的动态范围调整时,可使用图10中所说明的配置。
图11说明根据本发明的一或多种技术的后解码链配置的一个实例。图11展示一个实例配置,其中色彩重新映射信息中的3×3矩阵202可由视频后处理器31用来执行色彩空间转换(例如,YUV像素数据到RGB像素数据)。
图12说明根据本发明的一或多种技术的后解码链配置的一个实例。图12展示一个实例配置,其中色彩重新映射信息的三个部分(例如,预LUT 206、3×3矩阵208及后LUT210)可由视频后处理器31用来执行色彩空间转换(例如,YUV像素数据到RGB像素数据)。
图13说明根据本发明的一或多种技术的后解码链配置的一个实例。图13展示CRISEI过程如何可不仅(例如,以例如图10到12的实例中所展示的方式)连续应用。图13还展示CRI SEI过程(在此实例中为3×3矩阵208及后LUT 210)可应用于浮点域中的分量(例如经解码视频数据)上,是因为如本文所展示,由反量化过程122输出的经解码视频数据可在浮点表示中,且输入到反量化过程122的数据可在固定点表示中。隐式量化及解量化可经执行以从浮点转换到固定点且分别固定到浮点,以使得可相应地应用3×3矩阵及后LUT运算。
图14说明根据本发明的一或多种技术的两个后解码链配置的一个实例。图14展示色彩重新映射信息的两个集合可用信号表示以适用于HDR后处理链及SDR后处理链。另有描述,图14说明视频编码器20可配置成产生对应于相同视频数据(例如图片)的多个CRI SEI消息,且视频后处理器31可配置成使用对应于所述多个CRI SEI消息中的至少第一CRI SEI消息的信息来处理HDR链中的经解码视频数据并使用对应于所述多个CRI SEI消息中的至少第二CRI SEI消息的信息来处理SDR链中的经解码视频数据。对于SDR链及HDR链来说,由LUT传送的色调映射信息通常是不同的。在一些实例中,可在具有两个不同ID(例如第一colour_remap_id及第二colour_remap_id)的两个CRI SEI消息中用信号表示色彩重新映射信息。一个ID可指示HDR处理,且另一ID可指示SDR处理。每一解码链(SDR/HDR)可使用对应于与其相对应的CRI SEI消息的相应色彩重新映射信息。
图15为说明根据本发明的技术的实例过程的流程图。图15的技术可由图1的目的地装置14执行,包含由视频解码器30和/或视频后处理器31中的一或多者执行。
在本发明的一个实例中,视频解码器30可配置成接收包含经编码视频数据和色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流(300)。在一些实例中,CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息。视频解码器30可配置成对经编码视频数据进行解码以产生经解码视频数据(302)。视频解码器30和/或视频后处理器31可配置成在将一或多个色彩重新映射过程中的至少一者应用于经解码视频数据以产生经处理的经解码视频数据之前,将不与CRI SEI消息对应的过程应用于经解码视频数据(304)。
在一些实例中,视频解码器30和/或视频后处理器31可配置成将一或多个色彩重新映射过程中的至少一者应用于经处理的经解码视频数据。在此类实例中,不与CRI SEI消息对应的过程可包含以下中的至少一者:上取样过程、下取样过程、色彩空间转换过程、反量化过程或用以表示经解码视频数据的分量的色彩基元的变化。
在一些实例中,视频解码器30和/或视频后处理器31可配置成作为CRI SEI消息的一部分而接收对应于语法元素的值,所述值指示:(1)经处理的经解码视频数据在经过或未经额外处理的情况下是否兼容用于通过标准动态范围(SDR)显示器或高动态范围(HDR))显示器呈现;(2)对应于CRI SEI消息的一或多个色彩重新映射过程是否配置成使得分别对应于一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同(例如,对应于第一色彩重新映射过程的输入和输出是否相同,对应于第二色彩重新映射过程的输入和输出是否相同,及类似者);(3)或不与CRI SEI消息对应的过程是否将应用于对应于CRISEI消息的两个色彩重新映射过程之间。在一些实例中,视频后处理器31可配置成将SDR兼容的经解码视频数据映射到HDR兼容的经解码视频数据。在其它实例中,视频后处理器31可配置成将HDR兼容的经解码视频数据映射到SDR兼容的经解码视频数据。
在一些实例中,CRI SEI消息可为第一CRI SEI消息,且视频解码器30可配置成在位流中接收两者均对应于相同经解码视频数据的第一CRI SEI消息及第二CRI SEI消息。举例来说,经解码视频数据可包含一或多个经解码图片(例如,第一经解码图片、第二经解码图片及类似者)。在此实例中,相同经解码视频数据可指相同经解码图片。作为另一实例,经解码视频数据可包含第一经解码视频数据(例如,第一经解码图片)和第二经解码视频数据(第二经解码图片)。在此实例中,第一和第二CRI SEI消息两者可均对应于第一经解码视频数据,或第一和第二CRI SEI消息两者可均对应于第二经解码视频数据。
第二CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息。第一CRI SEI消息可包含第一标识值,且第二CRI SEI消息可包含第二标识值。视频解码器30和/或视频后处理器31可配置成基于第一标识值和第二标识值确定将对应于第一CRI SEI消息或第二CRI SEI消息的一或多个色彩重新映射过程应用于经处理的经解码视频数据的次序。
在一些实例中,视频解码器30和/或视频后处理器31可配置成基于在第一标识值和第二标识值的基础上确定次序来执行以下中的至少一者:(1)将对应于第一CRI SEI消息的一或多个色彩重新映射过程中的每一者应用于经处理的经解码视频数据以产生经色彩重新映射的经解码视频数据,及随后将对应于第二CRI SEI消息的一或多个色彩重新映射过程的每一者应用于经色彩重新映射的经解码视频数据;或(2)将对应于第二CRI SEI消息的一或多个色彩重新映射过程中的每一者应用于经处理的经解码视频数据以产生经色彩重新映射的经解码视频数据,及随后将对应于第一CRI SEI消息的一或多个色彩重新映射过程中的每一者应用于经色彩重新映射的经解码视频数据。
图16为说明根据本发明的技术的实例过程的流程图。图16的技术可由图1的目的地装置14执行,包含由视频解码器30和/或视频后处理器31中的一或多者执行。
在本发明的一个实例中,视频解码器30可配置成接收包含经编码视频数据及多个色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流(400)。所述多个CRI SEI消息中的每一CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息(例如,第一CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息且第二CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息,所述一或多个色彩重新映射过程不同于对应于第一CRISEI消息的一或多个色彩重新映射过程。多个CRI SEI消息可包含第一CRI SEI消息和第二CRI SEI消息。视频解码器30可配置成对经编码视频数据进行解码以产生经解码视频数据(402)。多个CRI SEI消息可对应于相同经解码视频数据。举例来说,经解码视频数据可包含一或多个经解码图片(例如,第一经解码图片、第二经解码图片及类似者)。在此实例中,相同经解码视频数据可指相同经解码图片。作为另一实例,经解码视频数据可包含第一经解码视频数据(例如,第一经解码图片)和第二经解码视频数据(第二经解码图片)。在此实例中,第一和第二CRI SEI消息两者可均对应于第一经解码视频数据,或第一和第二CRI SEI消息两者可均对应于第二经解码视频数据。
第一CRI SEI消息可包含第一标识值,且第二CRI SEI消息可包含第二标识值。视频解码器30和/或视频后处理器31可配置成基于第一标识值和第二标识值确定将对应于第一CRI SEI消息或第二CRI SEI消息的一或多个色彩重新映射过程应用于经处理的经解码视频数据的次序。
在一些实例中,视频解码器30和/或视频后处理器31可配置成基于在第一标识值和第二标识值的基础上确定次序来执行以下中的至少一者:(1)将对应于第一CRI SEI消息的一或多个色彩重新映射过程中的每一者应用于经处理的经解码视频数据以产生经色彩重新映射的经解码视频数据,及随后将对应于第二CRI SEI消息的一或多个色彩重新映射过程的每一者应用于经色彩重新映射的经解码视频数据;或(2)将对应于第二CRI SEI消息的一或多个色彩重新映射过程中的每一者应用于经处理的经解码视频数据以产生经色彩重新映射的经解码视频数据,及随后将对应于第一CRI SEI消息的一或多个色彩重新映射过程的每一者应用于经色彩重新映射的经解码视频数据。
在一些实例中,视频解码器30和/或视频后处理器31可配置成作为多个CRI SEI消息中的每一CRI SEI消息的一部分而接收对应于语法元素的值,所述值指示:(1)经处理的经解码视频数据在经过或未经额外处理的情况下是否兼容用于通过标准动态范围(SDR)显示器或高动态范围(HDR))显示器呈现;(2)对应于相应CRI SEI消息的一或多个色彩重新映射过程是否配置成使得分别对应于与相应CRI SEI消息相对应的一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同(例如,对应于相应CRI SEI消息的第一色彩重新映射过程的输入和输出是否相同,对应于相应CRI SEI消息的第二色彩重新映射过程的输入和输出是否相同,及类似者);(3)或不与相应CRI SEI消息对应的过程是否将应用于对应于相应CRI SEI消息的两个色彩重新映射过程之间。在一些实例中,视频后处理器31可配置成将SDR兼容的经解码视频数据映射到HDR兼容的经解码视频数据。在其它实例中,视频后处理器31可配置成将HDR兼容的经解码视频数据映射到SDR兼容的经解码视频数据。
图17为说明根据本发明的技术的实例过程的流程图。图17的技术可由图1的目的地装置14执行,包含由视频解码器30和/或视频后处理器31中的一或多者执行。
在本发明的一个实例中,视频解码器30可配置成接收包含经编码视频数据及色彩重新映射信息(CRI)辅助增强信息(SEI)消息的位流(500)。CRI SEI消息可包含对应于一或多个色彩重新映射过程的信息和对应于语法元素的值。视频解码器30可配置成对经编码视频数据进行解码以产生经解码视频数据(502)。在一些实例中,对应于语法元素的值指示:(1)经解码视频数据在经过或未经额外处理的情况下是否兼容用于通过标准动态范围(SDR)显示器或高动态范围(HDR))显示器呈现;(2)对应于CRI SEI消息的一或多个色彩重新映射过程是否配置成使得分别对应于一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同;或(3)不与CRI SEI消息对应的过程是否将应用于对应于CRISEI消息的两个色彩重新映射过程之间。
在一些实例中,视频解码器30和/或视频后处理器31可配置成基于对应于语法元素的值将一或多个色彩重新映射过程中的至少一者应用于经解码视频数据以产生经处理的经解码视频数据。
本文所描述的各种实例可以任何组合的形式来组合。类似地,本文所描述的包含两个或多于两个特征(例如步骤、组件或类似者)的任何实例也应理解为在其它实例中包含一或多个较少特征。作为一实例,参考图15的实例,视频解码器30和/或视频后处理器31可配置成在将一或多个色彩重新映射过程中的至少一者应用于经解码视频数据以产生经处理的经解码视频数据之前将不与CRI SEI消息对应的过程应用于经解码视频数据(304)。然而,应理解,在其它实例中,视频解码器30和/或视频后处理器31可配置成将一或多个色彩重新映射过程中的至少一者应用于经解码视频数据。另有描述,在一些实例中,视频解码器30和/或视频后处理器31可配置成对经解码视频数据直接或间接执行一或多个色彩重新映射过程。因此,还应理解,参考图15描述的CRI SEI消息可为第一CRI SEI消息,且视频解码器30可配置成在位流中接收均对应于相同经解码视频数据的第一CRI SEI消息及第二CRISEI消息。在视频解码器30和/或视频后处理器31可配置成对经解码视频数据直接执行一或多个色彩重新映射过程的实例中或在视频解码器30和/或视频后处理器31可配置成对经解码视频数据间接执行一或多个色彩重新映射过程的实例中,视频解码器30可配置成接收第一CRI SEI消息及第二CRI SEI消息。
应认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行,可添加、合并或全部省略所述动作或事件(例如,实践所述技术未必需要所有所描述动作或事件)。此外,在某些实例中,可(例如)通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
在一或多个实例中,所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上或通过所述计算机可读媒体发射,并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体,其对应于例如数据存储媒体或通信媒体的有形媒体,通信媒体包含促进例如根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如,信号或载波。数据存储媒体可以是可由一或多个计算机或者一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且,适当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令,则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行,所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供,或并入在组合式编解码器中。并且,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以广泛多种装置或设备实施,所述装置或设备包含无线手持机、集成电路(IC)或一组IC(芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。确切地,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或由互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些和其它实例在所附权利要求书的范围内。
Claims (12)
1.一种处理视频数据的方法,所述方法包括:
接收位流,所述位流包含经编码视频数据、包括第一色彩重新映射识别值colour_remap_id的第一色彩重新映射信息CRI辅助增强信息SEI消息和包括第二色彩重新映射识别值colour_remap_id的第二CRI SEI消息,其中所述第一CRI SEI消息和所述第二CRISEI消息与所述经编码视频数据的同一图片相关联,其中所述第一CRI SEI消息包含对应于第一一或多个色彩重新映射过程的信息,且其中所述第二CRI SEI消息包含对应于第二一或多个色彩重新映射过程的信息,所述第二一或多个色彩重新映射过程不同于所述第一一或多个色彩重新映射过程;
基于所述第一识别值colour_remap_id和所述第二识别值colour_remap_id而确定次序,按照所述次序在所述经编码视频数据的所述同一图片上应用对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程;
对所述经编码视频数据进行解码以产生经解码视频数据;
在应用所述第一一或多个色彩重新映射过程或所述第二一或多个色彩重新映射过程中的任一色彩重新映射过程之前,将上取样过程应用于所述经解码视频数据以产生经处理的经解码视频数据;以及
在将所述上取样过程应用于所述经解码视频数据之后,按照经确定的次序将对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程中的至少一个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程中的至少一个色彩重新映射过程应用于所述经处理的经解码视频数据。
2.根据权利要求1所述的方法,其中所述第一CRISEI消息不包含对应于以下各者中的任一者的信息:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程和(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
3.根据权利要求1所述的方法,其进一步包括:
作为所述第一CRI SEI消息的一部分接收对应于语法元素的值,所述值指示:
所述经处理的经解码视频数据是否兼容用于通过标准动态范围SDR显示器或高动态范围HDR显示器呈现,
对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程是否配置成使得分别对应于所述第一一或多个色彩重新映射过程中的各个色彩重新映射过程的输入和输出相同,或
以下各者中的至少一者是否将应用于对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程的两个色彩重新映射过程的应用之间:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程或(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
4.一种配置成处理视频数据的装置,所述装置包括:
接口,其经配置以接收包含经编码视频数据的位流;
存储器,其与所述接口进行通信,所述存储器经配置以存储所述经编码视频数据;及
一或多个处理器,其与所述存储器进行通信,所述一或多个处理器配置成:
处理存储至所述存储器的所述经编码视频数据的第一色彩重新映射信息CRI辅助增强信息SEI消息,所述第一CRI SEI消息包含第一色彩重新映射识别值colour_remap_id以及第二CRI SEI消息包括第二色彩重新映射识别值colour_remap_id,其中所述第一CRI SEI消息和所述第二CRI SEI消息与所述经编码视频数据的同一图片相关联,其中所述第一CRISEI消息包含对应于第一一或多个色彩重新映射过程的信息;
处理包括第二色彩重新映射识别值colour_remap_id的第二CRI SEI消息,其中所述第二CRI SEI消息对应于存储至所述存储器的所述经编码视频数据的一部分,所述经编码视频数据的所述部分也对应于所述第一CRISEI消息,且其中所述第二CRISEI消息包含对应于第二一或多个色彩重新映射过程的信息,所述第二一或多个色彩重新映射过程不同于所述第一一或多个色彩重新映射过程;
基于所述第一识别值colour_remap_id和所述第二识别值colour_remap_id而确定次序,按照所述次序在所述经编码视频数据的所述同一图片上应用对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程;
对所述经编码视频数据进行解码以产生经解码视频数据;
在应用所述第一一或多个色彩重新映射过程或所述第二一或多个色彩重新映射过程中的任一色彩重新映射过程之前,将上取样过程应用于所述经解码视频数据以产生经处理的经解码视频数据;以及
在将所述上取样过程应用于所述经解码视频数据之后,按照经确定的次序将对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程中的至少一个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程中的至少一个色彩重新映射过程应用于所述经处理的经解码视频数据。
5.根据权利要求4所述的装置,其中所述第一CRISEI消息不包含对应于以下各者中的任一者的信息:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程和(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
6.根据权利要求4所述的装置,其中所述一或多个处理器进一步配置成:
作为所述第一CRI SEI消息的一部分而接收对应于语法元素的值,所述值指示:
所述经处理的经解码视频数据是否兼容用于通过标准动态范围SDR显示器或高动态范围HDR显示器呈现,
对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程是否配置成使得分别对应于所述第一一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同,或
以下各者中的至少一者是否将应用于对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程的两个色彩重新映射过程的应用之间:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程或(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
7.一种用于处理视频数据的设备,其包括:
用于接收位流的装置,所述位流包含经编码视频数据、包括第一色彩重新映射识别值colour_remap_id的第一色彩重新映射信息CRI辅助增强信息SEI消息和包括第二色彩重新映射识别值colour_remap_id的第二CRI SEI消息,其中所述第一CRI SEI消息和所述第二CRI SEI消息与所述经编码视频数据的同一图片相关联,其中所述第一CRISEI消息包含对应于第一一或多个色彩重新映射过程的信息,且其中所述第二CRISEI消息包含对应于第二一或多个色彩重新映射过程的信息,所述第二一或多个色彩重新映射过程不同于所述第一一或多个色彩重新映射过程;
用于基于所述第一识别值colour_remap_id和所述第二识别值colour_remap_id而确定次序的装置,按照所述次序在所述经编码视频数据的所述同一图片上应用对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程;用于对所述经编码视频数据进行解码以产生经解码视频数据的装置;
用于在应用所述第一一或多个色彩重新映射过程或所述第二一或多个色彩重新映射过程中的任一色彩重新映射过程之前将上取样过程应用于所述经解码视频数据以产生经处理的经解码视频数据的装置;以及
用于在将所述上取样过程应用于所述经解码视频数据之后,按照经确定的次序将对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程中的至少一个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程中的至少一个色彩重新映射过程应用于所述经处理的经解码视频数据的装置。
8.根据权利要求7所述的设备,其中所述第一CRISEI消息不包含对应于以下各者中的任一者的信息:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程和(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
9.根据权利要求7所述的设备,其进一步包括:
用于作为所述第一CRISEI消息的一部分而接收对应于语法元素的值的装置,所述值指示:
所述经处理的经解码视频数据是否兼容用于通过标准动态范围SDR显示器或高动态范围HDR显示器呈现,
对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程是否配置成使得分别对应于所述第一一或多个色彩重新映射过程中的每一色彩重新映射过程的输入和输出相同,或
以下各者中的至少一者是否将应用于对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程的两个色彩重新映射过程的应用之间:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程或(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
10.一种非暂时性计算机可读存储介质,其存储有指令,所述指令在被执行时,致使设备的一或多个处理器执行以下操作:
接收位流,所述位流包含经编码视频数据、包括第一色彩重新映射识别值colour_remap_id的第一色彩重新映射信息CRI辅助增强信息SEI消息和包括第二色彩重新映射识别值colour_remap_id的第二CRI SEI消息,其中所述第一CRI SEI消息和所述第二CRISEI消息与所述经编码视频数据的同一图片相关联,其中所述第一CRI SEI消息包含对应于第一一或多个色彩重新映射过程的信息,且其中所述第二CRI SEI消息包含对应于第二一或多个色彩重新映射过程的信息,所述第二一或多个色彩重新映射过程不同于所述第一一或多个色彩重新映射过程;
基于所述第一识别值colour_remap_id和所述第二识别值colour_remap_id而确定次序,按照所述次序在所述经编码视频数据的所述同一图片上应用对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程和对应于包含于所述第二CRISEI消息中的所述信息的所述第二一或多个色彩重新映射过程;
对所述经编码视频数据进行解码以产生经解码视频数据;
在应用所述第一一或多个色彩重新映射过程或所述第二一或多个色彩重新映射过程中的任一色彩重新映射过程之前,将上取样过程应用于所述经解码视频数据以产生经处理的经解码视频数据;以及
在将所述上取样过程应用于所述经解码视频数据之后,按照经确定的次序将对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程中的至少一个色彩重新映射过程和对应于包含于所述第二CRI SEI消息中的所述信息的所述第二一或多个色彩重新映射过程中的至少一个色彩重新映射过程应用于所述经处理的经解码视频数据。
11.根据权利要求10所述的非暂时性计算机可读存储介质,其中所述第一CRI SEI消息不包含对应于以下各者中的任一者的信息:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程和(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
12.根据权利要求10所述的非暂时性计算机可读存储介质,其进一步存储有指令,所述指令在被执行时,致使所述一或多个处理器执行以下操作:
作为所述第一CRISEI消息的一部分接收对应于语法元素的值,所述值指示:
所述经处理的经解码视频数据是否兼容用于通过标准动态范围SDR显示器或高动态范围HDR显示器呈现,
对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程是否配置成使得分别对应于所述第一一或多个色彩重新映射过程中的各个色彩重新映射过程的输入和输出相同,或
以下各者中的至少一者是否将应用于对应于包含于所述第一CRI SEI消息中的所述信息的所述第一一或多个色彩重新映射过程的两个色彩重新映射过程的应用之间:(i)所述上取样过程、(ii)下取样过程、(iii)色彩空间转换过程、(iv)反量化过程或(v)用以表示所述经解码视频数据的分量的色彩基元的改变。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562216254P | 2015-09-09 | 2015-09-09 | |
US62/216,254 | 2015-09-09 | ||
US15/260,148 US10536695B2 (en) | 2015-09-09 | 2016-09-08 | Colour remapping information supplemental enhancement information message processing |
US15/260,148 | 2016-09-08 | ||
PCT/US2016/050941 WO2017044740A2 (en) | 2015-09-09 | 2016-09-09 | Improved colour remapping information supplemental enhancement information message processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107950028A CN107950028A (zh) | 2018-04-20 |
CN107950028B true CN107950028B (zh) | 2020-12-01 |
Family
ID=58190856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680051841.2A Active CN107950028B (zh) | 2015-09-09 | 2016-09-09 | 用于处理视频数据的方法和设备 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10536695B2 (zh) |
EP (2) | EP3348063A2 (zh) |
JP (1) | JP6808725B2 (zh) |
KR (1) | KR102158418B1 (zh) |
CN (1) | CN107950028B (zh) |
AU (1) | AU2016320902B2 (zh) |
BR (1) | BR112018004504B1 (zh) |
WO (1) | WO2017044740A2 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10530757B2 (en) | 2013-07-25 | 2020-01-07 | Convida Wireless, Llc | End-to-end M2M service layer sessions |
JP5948619B2 (ja) | 2014-06-10 | 2016-07-06 | パナソニックIpマネジメント株式会社 | 表示システム、表示方法および表示装置 |
EP3338243B1 (en) * | 2015-09-23 | 2022-04-20 | ARRIS Enterprises LLC | High dynamic range adaptation operations at a video decoder |
EP3357227A1 (en) * | 2015-10-02 | 2018-08-08 | VID SCALE, Inc. | Color correction with a lookup table |
US9883183B2 (en) * | 2015-11-23 | 2018-01-30 | Qualcomm Incorporated | Determining neighborhood video attribute values for video data |
US10956766B2 (en) * | 2016-05-13 | 2021-03-23 | Vid Scale, Inc. | Bit depth remapping based on viewing parameters |
WO2018009828A1 (en) | 2016-07-08 | 2018-01-11 | Vid Scale, Inc. | Systems and methods for region-of-interest tone remapping |
CN109891772B (zh) | 2016-11-03 | 2022-10-04 | 康维达无线有限责任公司 | Nr中的帧结构 |
US11765406B2 (en) | 2017-02-17 | 2023-09-19 | Interdigital Madison Patent Holdings, Sas | Systems and methods for selective object-of-interest zooming in streaming video |
EP3593536A1 (en) | 2017-03-07 | 2020-01-15 | PCMS Holdings, Inc. | Tailored video streaming for multi-device presentations |
US10574959B2 (en) | 2017-07-05 | 2020-02-25 | Qualcomm Incorporated | Color remapping for non-4:4:4 format video content |
US10148907B1 (en) * | 2017-10-27 | 2018-12-04 | Avago Technologies International Sales Pte. Limited | System and method of luminance processing in high dynamic range and standard dynamic range conversion |
CN108769804B (zh) * | 2018-04-25 | 2020-12-15 | 杭州当虹科技股份有限公司 | 一种高动态范围视频的格式转换方法 |
WO2020068251A1 (en) | 2018-09-27 | 2020-04-02 | Convida Wireless, Llc | Sub-band operations in unlicensed spectrums of new radio |
GB2616980B (en) * | 2018-10-09 | 2023-12-13 | V Nova Int Ltd | Signal element coding format compatibility within a hierarchical coding scheme using multiple resolutions |
EP3672267A1 (en) | 2018-12-20 | 2020-06-24 | InterDigital VC Holdings, Inc. | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
CN113055671B (zh) * | 2019-01-10 | 2022-09-02 | Oppo广东移动通信有限公司 | 图像解码方法、解码器及计算机存储介质 |
US11617946B1 (en) | 2021-06-29 | 2023-04-04 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
US11666823B1 (en) | 2021-06-29 | 2023-06-06 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
US11612812B1 (en) * | 2021-06-29 | 2023-03-28 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
CN114222187B (zh) * | 2021-08-12 | 2023-08-29 | 荣耀终端有限公司 | 视频编辑方法和电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009127961A1 (en) | 2008-04-16 | 2009-10-22 | Nokia Corporation | Decoding order recovery in session multiplexing |
US9386307B2 (en) * | 2012-06-14 | 2016-07-05 | Qualcomm Incorporated | Grouping of bypass-coded bins for SAO syntax elements |
US9521393B2 (en) | 2013-01-07 | 2016-12-13 | Qualcomm Incorporated | Non-nested SEI messages in video coding |
TWI676389B (zh) * | 2013-07-15 | 2019-11-01 | 美商內數位Vc專利控股股份有限公司 | 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體 |
EP3059937A1 (en) * | 2015-02-20 | 2016-08-24 | Thomson Licensing | Method and apparatus for encoding color mapping information and processing pictures based on color mapping information |
US10516915B2 (en) * | 2015-04-24 | 2019-12-24 | Lg Electronics Inc. | Apparatus and method of processing metadata for indicating a change in HDR information |
EP3096516A1 (en) * | 2015-05-22 | 2016-11-23 | Thomson Licensing | Method for color mapping a video signal and method of encoding a video signal and corresponding devices |
WO2017019818A1 (en) * | 2015-07-28 | 2017-02-02 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
-
2016
- 2016-09-08 US US15/260,148 patent/US10536695B2/en active Active
- 2016-09-09 BR BR112018004504-7A patent/BR112018004504B1/pt active IP Right Grant
- 2016-09-09 AU AU2016320902A patent/AU2016320902B2/en active Active
- 2016-09-09 CN CN201680051841.2A patent/CN107950028B/zh active Active
- 2016-09-09 JP JP2018512366A patent/JP6808725B2/ja active Active
- 2016-09-09 EP EP16767481.1A patent/EP3348063A2/en not_active Ceased
- 2016-09-09 KR KR1020187009939A patent/KR102158418B1/ko active IP Right Grant
- 2016-09-09 EP EP24188479.0A patent/EP4422184A2/en active Pending
- 2016-09-09 WO PCT/US2016/050941 patent/WO2017044740A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
AU2016320902A1 (en) | 2018-04-26 |
JP6808725B2 (ja) | 2021-01-06 |
WO2017044740A3 (en) | 2017-04-27 |
BR112018004504B1 (pt) | 2024-01-02 |
EP4422184A2 (en) | 2024-08-28 |
CN107950028A (zh) | 2018-04-20 |
US20170070735A1 (en) | 2017-03-09 |
US10536695B2 (en) | 2020-01-14 |
KR20180051594A (ko) | 2018-05-16 |
BR112018004504A2 (pt) | 2018-09-25 |
JP2018530953A (ja) | 2018-10-18 |
WO2017044740A2 (en) | 2017-03-16 |
KR102158418B1 (ko) | 2020-09-22 |
EP3348063A2 (en) | 2018-07-18 |
AU2016320902B2 (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107950028B (zh) | 用于处理视频数据的方法和设备 | |
CN109643531B (zh) | 用于具有反馈信道的色域自适应的方法和装置 | |
CN108028944B (zh) | 用于处理经解码视频数据的方法、系统和存储介质 | |
US10200701B2 (en) | HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding | |
CN107736024B (zh) | 用于视频处理的方法和设备 | |
TW201729594A (zh) | 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息 | |
TW201931853A (zh) | 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 | |
US10334277B2 (en) | Signaling target display parameters of color remapping information supplemental enhancement information messages | |
CN115398900B (zh) | 用于处理视频数据的装置和方法 | |
CN109479150B (zh) | 用于显示器调适的色彩重映射信息sei消息发信号 | |
CN110754085A (zh) | 用于非4:4:4格式视频内容的颜色重映射 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |