CN109964485A - 用于发信号给及约束具有动态元数据的高动态范围(hdr)视频系统的系统及方法 - Google Patents

用于发信号给及约束具有动态元数据的高动态范围(hdr)视频系统的系统及方法 Download PDF

Info

Publication number
CN109964485A
CN109964485A CN201780071815.0A CN201780071815A CN109964485A CN 109964485 A CN109964485 A CN 109964485A CN 201780071815 A CN201780071815 A CN 201780071815A CN 109964485 A CN109964485 A CN 109964485A
Authority
CN
China
Prior art keywords
video
encoded
parameter collection
bit stream
color capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780071815.0A
Other languages
English (en)
Other versions
CN109964485B (zh
Inventor
德米特罗·鲁萨诺夫斯基
阿达许·克里许纳·瑞玛苏布雷蒙尼安
霍埃尔·索莱·罗哈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109964485A publication Critical patent/CN109964485A/zh
Application granted granted Critical
Publication of CN109964485B publication Critical patent/CN109964485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供用于由实施ST 2094‑10的视频译码系统处理视频数据的方法、设备及计算机可读媒体。视频数据可包含可同时在视频帧的不同显示区域中显示的至少两个视频信号。在各种实施方案中,可使用各种技术确定颜色容量参数集与视频信号之间的关联,且可将此关联编码成位流。在所述位流的解码后,与特定视频信号相关联的所述颜色容量参数集就可用以将所述视频信号的颜色容量压缩至可由特定显示装置显示的范围内。

Description

用于发信号给及约束具有动态元数据的高动态范围(HDR)视 频系统的系统及方法
技术领域
本申请案涉及视频系统及方法。更具体地说,本申请案涉及用于组织及管理具有动态元数据的高动态范围(HDR)视频系统(例如,ST 2094-10)的系统及方法。这些系统及方法适用于支持UHD及HDR/WCG视频信号的发信号的数字视频广播或过顶视频系统,或任一其它合适的视频系统。
背景技术
视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-4Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展。
此外,已由ITU-T视频译码专家组(VCEG)与ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发了视频译码标准,即,高效率视频译码(HEVC)。最新HEVC草案规范可在http://www.itu.int/rec/T-REC-H.265-201504-I/en处作为“RecommendationITU-T H.265:High Efficiency Video Coding(HEVC)”获得。
在解码过程后,经由高速数字物理接口将未压缩的视频信号发信号给终端消费者装置,例如显示器或TV。在CTA-861规范中指定了用于由例如数字电视(DTV)、数字电缆、卫星或陆上机顶盒(STB)及有关外围装置(包含但不限于DVD播放器/记录器及其它有关来源或接收方)的消费型电子装置利用未压缩的数字接口的协议、要求及推荐。所述规范的最近版本可在https://standards.cta.tech/kwspub/published_docs/ANSI-CTA-861-F-Preview.pdf处得到。
发明内容
在各种实施方案中,提供用于将由ST 2094-10定义的颜色容量变换参数编码成位流的系统及方法。可捕获具有大颜色容量(包含颜色的大动态范围及广色域)的视频。以此方式捕获的视频尝试捕获可由人类视觉察觉到的颜色的范围及深度。然而,显示装置可能不能够显示大颜色容量。因此,例如ST 2094-10的标准定义用于进行颜色容量变换的参数,所述参数可用以将颜色容量压缩成较紧凑形式。
提供使视频译码系统能够使用由ST 2094-10定义的参数的技术。根据至少一个实例,提供一种处理视频数据的方法,其包含接收所述视频数据,其中所述视频数据包含至少两个视频信号。所述方法进一步包含从所述视频数据获得一或多个颜色容量变换参数集。所述方法进一步包含确定用于所述至少两个视频信号中的每一者的显示区域,其中所述显示区域确定将显示所述至少两个视频信号的视频帧的部分。所述方法进一步包含针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联,其中所述颜色容量变换参数集确定用于所述视频信号的显示区域的一或多个显示参数。所述方法进一步包含产生用于所述一或多个颜色容量变换参数集的一或多个元数据块。所述方法进一步包含产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块。所述方法进一步包含在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的关联。
在另一实例中,提供一种设备,其包含经配置以存储包含至少两个视频信号的视频数据的存储器,及处理器。所述处理器经配置以且可从所述视频数据获得一或多个颜色容量变换参数集。所述处理器经配置以且可确定用于所述至少两个视频信号中的每一者的显示区域,其中所述显示区域确定将显示所述至少两个视频信号的视频帧的部分。所述处理器经配置以且可针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的相应关联,其中所述颜色容量变换参数集确定用于所述视频信号的显示区域的一或多个显示参数。所述处理器经配置以且可产生用于所述一或多个颜色容量变换参数集的一或多个元数据块。所述处理器经配置以且可产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块。所述处理器经配置以且可在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:接收视频数据,其中所述视频数据包含至少两个视频信号。所述方法进一步包含从所述视频数据获得一或多个颜色容量变换参数集。所述方法进一步包含确定用于所述至少两个视频信号中的每一者的显示区域,其中所述显示区域确定将显示所述至少两个视频信号的视频帧的部分。所述方法进一步包含针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的相应关联,其中所述颜色容量变换参数集确定用于所述视频信号的显示区域的一或多个显示参数。所述方法进一步包含产生用于所述一或多个颜色容量变换参数集的一或多个元数据块。所述方法进一步包含产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块。所述方法进一步包含在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联。
在另一实例中,提供一种设备,其包含用于接收视频数据的装置,其中所述视频数据包含至少两个视频信号。所述设备进一步包括用于从所述视频数据获得一或多个颜色容量变换参数集的装置。所述设备进一步包括用于确定用于所述至少两个视频信号中的每一者的显示区域的装置,其中所述显示区域确定将显示所述至少两个视频信号的视频帧的部分。所述设备进一步包括用于针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的相应关联的装置,其中所述颜色容量变换参数集确定用于所述视频信号的显示区域的一或多个显示参数。所述设备进一步包括用于产生用于所述一或多个颜色容量变换参数集的一或多个元数据块的装置。所述设备进一步包括用于产生用于所述视频数据的经编码位流的装置,其中所述经编码位流包含所述一或多个元数据块。所述设备进一步包括用于在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联的装置。
在一些方面中,编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含根据所述显示区域在所述视频帧内的次序将所述一或多个元数据块放置于所述经编码位流中。
在一些方面中,编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含将各自指示所述确定的相应关联的一或多个值插入至所述经编码位流内。
在一些方面中,用于所述至少两个视频信号当中的第一视频信号的第一显示区域与用于所述至少两个视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。在一些方面中,所述优先权是基于所述第一显示区域及所述第二显示区域在所述视频帧中显示的次序。在一些方面中,所述优先权是基于由所述视频数据提供的值。
在一些方面中,所述一或多个元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
根据至少一个实例,提供一种处理视频数据的方法,其包含接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块。所述方法进一步包含确定用于所述至少经编码的两个视频信号中的每一者的显示区域。所述方法进一步包含针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联。所述方法进一步包含使用相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
在另一实例中,提供一种设备,其包含经配置以存储视频数据的存储器,及处理器。所述处理器经配置以且可接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块。所述处理器经配置以且可确定用于所述至少经编码的两个视频信号中的每一者的显示区域。所述处理器经配置以且可针对所述至少两个经编码视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联。所述处理器经配置以且可使用相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块。所述方法进一步包含确定用于所述至少经编码的两个视频信号中的每一者的显示区域。所述方法进一步包含针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联。所述方法进一步包含使用相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
在另一实例中,提供一种设备,其包含用于接收经编码位流的装置,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块。所述设备进一步包括用于确定用于所述至少经编码的两个视频信号中的每一者的显示区域的装置。所述设备进一步包括用于针对所述至少经编码的两个视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联的装置。所述设备进一步包括用于使用相关联的颜色容量变换参数集解码所述至少两个经编码视频信号的装置,其中所述相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
在一些方面中,所述至少两个视频信号与所述一或多个颜色容量变换参数集之间的关联是基于所述显示区域的次序。
在一些方面中,所述至少两个视频信号与所述一或多个颜色容量变换参数集之间的关联是基于所述经编码位流中包含的一或多个值。
在一些方面中,用于所述至少两个视频信号当中的第一视频信号的第一显示区域与用于所述至少两个视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。在一些方面中,所述优先权是基于所述第一显示区域及所述第二显示区域在所述视频帧中显示的次序。在一些方面中,所述优先权是基于由所述视频数据提供的值。
在一些方面中,所述一或多个元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
根据至少一个实例,提供一种处理视频数据的方法,其包含接收所述视频数据,其中所述视频数据与颜色容量相关联。所述方法进一步包含从所述视频数据获得颜色容量变换参数集,其中所述颜色容量变换参数集可用以变换所述颜色容量。所述方法进一步包含获得主控显示颜色容量参数集,其中所述主控显示颜色容量参数集包含当产生所述视频数据的主副本时确定的值。所述方法进一步包含产生用于所述颜色容量变换参数集的一或多个元数据块。所述方法进一步包含产生用于所述主控显示颜色容量参数集的一或多个额外元数据块。所述方法进一步包含产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块及所述一或多个额外元数据块,其中因为所述经编码位流中存在所述一或多个元数据块,所以需要包含所述一或多个额外元数据块。
在另一实例中,提供一种设备,其包含经配置以存储包含颜色容量的视频数据的存储器,及处理器。所述处理器经配置以且可从所述视频数据获得颜色容量变换参数集,其中所述颜色容量变换参数集可用以变换所述颜色容量。所述处理器经配置以且可获得主控显示颜色容量参数集,其中所述主控显示颜色容量参数集包含当产生所述视频数据的主副本时确定的值。所述处理器经配置以且可产生用于所述颜色容量变换参数集的一或多个元数据块。所述处理器经配置以且可产生用于所述主控显示颜色容量参数集的一或多个额外元数据块。所述处理器经配置以且可产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块及所述一或多个额外元数据块,其中因为所述经编码位流中存在所述一或多个元数据块,所以需要包含所述一或多个额外元数据块。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:接收视频数据,其中所述视频数据包含颜色容量。所述方法进一步包含从所述视频数据获得颜色容量变换参数集,其中所述颜色容量变换参数集可用以变换所述颜色容量。所述方法进一步包含获得主控显示颜色容量参数集,其中所述主控显示颜色容量参数集包含当产生所述视频数据的主副本时确定的值。所述方法进一步包含产生用于所述颜色容量变换参数集的一或多个元数据块。所述方法进一步包含产生用于所述主控显示颜色容量参数集的一或多个额外元数据块。所述方法进一步包含产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块及所述一或多个额外元数据块,其中因为所述经编码位流中存在所述一或多个元数据块,所以需要包含所述一或多个额外元数据块。
在另一实例中,提供一种设备,其包含用于接收视频数据的装置,其中所述视频数据包含颜色容量。所述设备进一步包括用于从所述视频数据获得颜色容量变换参数集的装置,其中所述颜色容量变换参数集可用以变换所述颜色容量。所述设备进一步包括用于获得主控显示颜色容量参数集的装置,其中所述主控显示颜色容量参数集包含当产生所述视频数据的主副本时确定的值。所述设备进一步包括用于产生用于所述颜色容量变换参数集的一或多个元数据块的装置。所述设备进一步包括用于产生用于所述主控显示颜色容量参数集的一或多个额外元数据块的装置。所述设备进一步包括用于产生用于所述视频数据的经编码位流的装置,其中所述经编码位流包含所述一或多个元数据块及所述一或多个额外元数据块,其中因为所述经编码位流中存在所述一或多个元数据块,所以需要包含所述一或多个额外元数据块。
在一些方面中,所述颜色容量变换参数集包含转移特性,且其中,在所述经编码位流中,当所述转移特性不对应于特定值时,排除所述一或多个元数据块。
在一些方面中,所述颜色容量变换参数集及所述主控显示颜色容量参数集包含同一字段,且其中基于所述字段存在于所述一或多个额外元数据块中,从所述一或多个元数据块省略所述字段。
在一些方面中,所述视频数据包含多个处理窗,且其中,在所述经编码位流中,将所述多个处理窗的数量约束于一与十六之间的值。
在一些方面中,所述视频数据包含多个内容描述元素,且其中,在所述经编码位流中,将所述多个内容描述元素的数量约束于一。
在一些方面中,所述视频数据包含多个目标显示元素,且其中,在所述经编码位流中,将所述多个目标显示元素的数量约束于一与十六之间的值。
在一些方面中,所述经编码位流在所述经编码位流中包含用于每一存取单元的至少一个元数据块,所述元数据块包含颜色容量变换参数。
在一些方面中,从所述经编码位流排除定义为保留值的值。
在一些方面中,所述一或多个元数据块各自包含长度值,且其中,在所述经编码位流中,将所述长度值约束于八的倍数。
在一些方面中,所述一或多个元数据块各自包含长度值,且其中,在所述经编码位流中,将所述长度值约束于0与255之间的值。
在一些方面中,所述一或多个元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
在一些方面中,所述一或多个额外元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
根据至少一个实例,提供一种处理视频数据的方法,其包含接收经编码位流,其中所述经编码位流包含包含经编码颜色容量变换参数集的一或多个元数据块。所述方法进一步包含确定所述一或多个元数据块在所述经编码位流中的存在。所述方法进一步包含基于所述经编码位流中存在所述一或多个元数据块的所述确定,确定在所述经编码位流中需要存在一或多个额外块。所述方法进一步包含确定所述经编码位流不包含包含经编码主控显示颜色容量参数集的所述一或多个额外元数据块。所述方法进一步包含基于所述经编码位流不包含所述一或多个额外元数据块,确定所述经编码位流不符合要求。所述方法进一步包含基于所述经编码位流不符合要求的所述确定,不处理所述经编码位流的至少一部分。
在另一实例中,提供一种设备,其包含经配置以存储视频数据的存储器,及处理器。所述处理器经配置以且可接收经编码位流,其中所述经编码位流包含包含经编码颜色容量变换参数集的一或多个元数据块。所述处理器经配置以且可确定所述一或多个元数据块在所述经编码位流中的存在。所述处理器经配置以且可基于所述经编码位流中存在所述一或多个元数据块的所述确定,确定在所述经编码位流中需要存在一或多个额外块。所述处理器经配置以且可确定所述经编码位流不包含包含经编码主控显示颜色容量参数集的所述一或多个额外元数据块。所述处理器经配置以且可基于所述经编码位流不包含所述一或多个额外元数据块,确定所述经编码位流不符合要求。所述处理器经配置以且可基于所述经编码位流不符合要求的所述确定,不处理所述经编码位流的至少一部分。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:接收经编码位流,其中所述经编码位流包含包含经编码颜色容量变换参数集的一或多个元数据块。所述方法进一步包含确定所述一或多个元数据块在所述经编码位流中的存在。所述方法进一步包含基于所述经编码位流中存在所述一或多个元数据块的所述确定,确定在所述经编码位流中需要存在一或多个额外块。所述方法进一步包含确定所述经编码位流不包含包含经编码主控显示颜色容量参数集的所述一或多个额外元数据块。所述方法进一步包含基于所述经编码位流不包含所述一或多个额外元数据块,确定所述经编码位流不符合要求。所述方法进一步包含基于所述经编码位流不符合要求的所述确定,不处理所述经编码位流的至少一部分。
在另一实例中,提供一种设备,其包含用于接收经编码位流的装置,其中所述经编码位流包含包含经编码颜色容量变换参数集的一或多个元数据块。所述设备进一步包括用于确定所述一或多个元数据块在所述经编码位流中的存在的装置。所述设备进一步包括用于基于所述经编码位流中存在所述一或多个元数据块的所述确定,确定在所述经编码位流中需要存在一或多个额外块的装置。所述设备进一步包括用于确定所述经编码位流不包含包含经编码主控显示颜色容量参数集的所述一或多个额外元数据块的装置。所述设备进一步包括用于基于所述经编码位流不包含所述一或多个额外元数据块,确定所述经编码位流不符合要求的装置。所述设备进一步包括用于基于所述经编码位流不符合要求的所述确定,不处理所述经编码位流的至少一部分的装置。
在一些方面中,所述经编码颜色容量变换参数集包含转移特性。在这些方面中,以上描述的方法、设备及计算机可读媒体进一步包括确定所述转移特性的值为特定值。在这些方面中,确定所述经编码位流不合格是进一步基于当所述转移特性的所述值为所述特定值时,所述一或多个元数据块包含于所述经编码位流中。
在一些方面中,所述经编码颜色容量变换参数集及所述经编码主控显示颜色容量参数集包含同一字段,且其中确定所述经编码位流不合格是进一步基于所述字段存在于所述一或多个元数据块及所述一或多个额外元数据块两者中。
在一些方面中,所述经编码颜色容量变换参数集及所述经编码主控显示颜色容量参数集包含同一字段,其中从所述一或多个元数据块省略所述字段。在这些方面中,以上描述的方法、设备及计算机可读媒体进一步包括解码所述颜色容量参数集,其中解码包含使用用于来自所述经编码主控显示颜色容量参数集的所述字段的值。
在一些方面中,所述视频数据包含多个处理窗,且其中确定所述经编码位流不合格是进一步基于所述多个处理窗的数量大于十六。
在一些方面中,所述视频数据包含多个内容描述元素,且其中确定所述经编码位流不合格是进一步基于所述多个内容描述元素的数量大于一。
在一些方面中,所述视频数据包含多个目标显示元素,且其中确定所述经编码位流不合格是进一步基于所述多个目标显示元素的数量大于十六。
在一些方面中,以上描述的方法、设备及计算机可读媒体进一步包括确定所述经编码位流在所述经编码位流中不包含用于特定存取单元的元数据块,其中确定所述经编码位流不合格是进一步基于所述经编码位流不包含用于所述特定存取单元的元数据块。
在一些方面中,以上描述的方法、设备及计算机可读媒体进一步包括确定所述经编码位流包含保留值,其中确定所述经编码位流不合格是进一步基于所述经编码位流包含保留值。
在一些方面中,所述一或多个元数据块各自包含长度值,且确定所述经编码位流不合格是进一步基于所述长度值并非八的倍数。
在一些方面中,所述一或多个元数据块各自包含长度值,且其中确定所述经编码位流不合格是进一步基于所述长度值大于255。
在一些方面中,所述一或多个元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
在一些方面中,所述一或多个额外元数据块在一或多个补充增强信息(SEI)网络抽象层(NAL)单元中被编码。
此发明内容并不意图识别所主张主题的关键或必要特征,也不意图单独用以确定所主张主题的范围。应参考本专利的整个说明书的适当部分、任何或所有附图及每一权利要求来理解主题。
在参考以下说明书、所附权利要求书及附图后,前述内容连同其它特征及实施例就将变得更显而易见。
附图说明
下文参看以下附图详细描述各种实施方案的说明性实例:
图1为绘示包含编码装置104及解码装置的视频译码系统的实例的框图。
图2绘示与各种显示器类型的动态范围相比的典型人类视觉的动态范围。
图3绘示覆叠有表示SDR色域的三角形及表示HDR色域的三角形的色度图的实例。
图4绘示用于将高精确度线性RGB 402视频数据转换至HDR数据的过程的实例。
图5绘示由各种标准定义的转移函数产生的明度曲线的实例。
图6绘示可在ST 2094-10的实施方案中使用的处理块的实例。
图7为用于处理视频数据的过程的实例。
图8为用于处理视频数据的过程的实例。
图9为用于处理视频数据的过程的实例。
图10为用于处理视频数据的过程的实例。
图11为绘示实例编码装置的框图。
图12为绘示实例解码装置的框图。
具体实施方式
下文提供本发明的某些方面及实施例。这些方面及实施例中的一些可独立地应用并且其中的一些可以如将对所属领域技术人员显而易见的组合来应用。在以下描述中,出于阐释的目的,阐述特定细节以便提供对本发明的实施例的透彻理解。然而,各种实施例可在没有这些特定细节的情况下得以实践将为显而易见的。图及描述不意图为限制性的。
后续描述仅提供示范性实施例,且并不意图限制本发明的范围、可应用性或配置。相反,示范性实施例的后续描述将为所属领域技术人员提供用于实施示范性实施例的启发性描述。应理解,可在不脱离如所附权利要求中所阐述的本发明的精神及范围的情况下对元件的功能及布置做出各种改变。
在以下描述中给出特定细节以提供对实施例的透彻理解。然而,所属领域技术人员应理解,可在没有这些特定细节的情况下实践所述实施例。举例来说,电路、系统、网络、过程及其它组件可以框图形式展示为组件,以便不会在不必要细节下与实施例混淆。在其它情况下,可在没有不必要细节的情况下展示熟知的电路、过程、算法、结构及技术以便避免混淆实施例。
此外,应注意,个别实施例可描述为被描绘为流图(flowchart)、流程图(flowdiagram)、数据流程图、结构图或框图的过程。尽管流图可将操作描述为顺序过程,但许多操作可并行地或同时加以执行。此外,可重新布置操作的次序。过程在其操作完成时终止,但可具有不包含于图中的额外步骤。过程可对应于方法、函数、规程、子例程、子程序等。当过程对应于函数时,其终止可对应于函数返回至调用函数或主函数。
术语“计算机可读媒体”包含但不限于便携式或非便携式存储装置、光学存储装置,及能够存储、含有或携载指令及/或数据的各种其它媒体。计算机可读媒体可包含非暂时性媒体,其中可存储数据并且其不包含无线地或经由有线连接传播的载波及/或暂时性电子信号。非暂时性媒体的实例可包含但不限于磁盘或磁带、例如紧密光盘(CD)或数字多功能光盘(DVD)的光学存储媒体、闪速存储器、存储器或存储器装置。计算机可读媒体可在其上存储有代码及/或机器可执行指令,所述代码及/或机器可执行指令可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任何组合。一代码段可通过传递及/或接收信息、数据、自变量、参数或存储器内容而耦合至另一代码段或硬件电路。信息、自变量、参数、数据等可经由包含存储器共享、消息传递、令牌传递、网络传输等的任何合适方式进行传递、转发或传输。
此外,可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施实施例。当以软件、固件、中间件或微码实施时,执行必要任务的程序代码或代码段(例如,计算机程序产品)可存储于计算机可读或机器可读媒体中。处理器可执行必要任务。
随着更多装置及系统为消费者提供取用数字视频数据的能力,对高效视频译码技术的需要变得更加重要。需要视频译码来减少处置存在于数字视频数据中的大量数据所必要的存储及传输要求。各种视频译码技术可用以将视频数据压缩成使用较低位速率同时维持高视频质量的形式。如本文中所使用,“译码”是指“编码”及“解码”。
图1为绘示包含编码装置104及解码装置112的视频译码系统100的实例的框图。在一些实例中,视频译码系统100可为高动态范围(HDR)系统,使得编码装置100可接收HDR视频信号且可产生用于HDR视频信号的位流,且解码装置112可将所述位流解码成可输出的HDR视频信号。编码装置104可为源装置的部分,且解码装置112可为接收装置的部分。源装置及/或接收装置可包含电子装置,例如移动或静止电话手机(例如,智能手机、蜂窝电话等)、桌上型计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置、互联网协议(IP)相机或任何其它合适的电子装置。在一些实例中,源装置及接收装置可包含用于无线通信的一或多个无线收发器。本文中所描述的译码技术可适用于各种多媒体应用中的视频译码,包含流式处理视频传输(例如,经由互联网)、电视广播或传输、编码数字视频以供存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频,或其它应用。在一些实例中,系统100可支持单向或双向视频传输以支持例如视频会议、视频流式处理、视频回放、视频广播、游戏及/或视频电话的应用。
编码装置104(或编码器)可用以使用视频译码标准或协议编码视频数据以产生经编码视频位流。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其可伸缩视频译码(SVC)及多视图视频译码(MVC)扩展,及高效视频译码(HEVC)或ITU-T H.265。存在处理多层视频译码的HEVC的各种扩展,包含范围及屏幕内容译码扩展、3D视频译码(3D-HEVC)及多视图扩展(MV-HEVC)及可伸缩扩展(SHVC)。HEVC及其扩展已由ITU-T视频译码专家组(VCEG)与ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码扩展开发联合协作小组(JCT-3V)开发。MPEG及ITU-T VCEG已还形成了联合探索视频小组(JVET),以探索用于下一代视频译码标准的新译码工具。参考软件被叫作JEM(联合探索模型)。
本文中所描述的许多实例提供使用JEM模型、HEVC标准及/或其扩展的实例。然而,本文中所描述的技术及系统还可适用于例如AVC、MPEG、其扩展的其它译码标准,或当前存在的其它合适译码标准或未来译码标准。因此,虽然可参考特定视频译码标准描述本文中所描述的技术及系统,但所属领域技术人员将了解,描述不应被解释为仅适用于所述特定标准。
参看图1,视频源102可将视频数据提供至编码装置104。视频源102可为源装置的部分,或可为除了源装置以外的装置的部分。视频源102可包含视频捕获装置(例如,视频相机、相机电话、视频电话等)、含有经存储视频的视频存档、提供视频数据的视频服务器或内容提供者、从视频服务器或内容提供者接收视频的视频馈送接口、用于产生计算机图形视频数据的计算机图形系统、这些源的组合,或任何其它合适的视频源。
来自视频源102的视频数据可包含一或多个输入图片或帧。视频的图片或帧为场景的静态图像。编码装置104的编码器引擎106(或编码器)编码视频数据以产生经编码视频位流。在一些实例中,经编码视频位流(或“视频位流”或“位流”)为一系列一或多个经译码视频序列。经译码视频序列(CVS)包含一系列存取单元(AU),其始于在基础层中具有随机存取点图片且具有某些性质的AU,直到且不包含在基础层中具有随机存取点图片且具有某些性质的下一AU。举例来说,开始CVS的随机存取点图片的某些性质可包含等于1的RASL旗标(例如,NoRaslOutputFlag)。否则,随机存取点图片(具有等于0的RASL旗标)不开始CVS。存取单元(AU)包含一或多个经译码图片及对应于共享相同输出时间的经译码图片的控制信息。图片的经译码切片在位流层级囊封至被称为网络抽象层(NAL)单元的数据单元中。举例来说,HEVC视频位流可包含一或多个CVS,所述一或多个CVS包含NAL单元。NAL单元中的每一者具有NAL单元标头。在一个实例中,标头对于H.264/AVC(除了多层扩展以外)为一个字节且对于HEVC为两个字节。NAL单元标头中的语法元素采取指明的位,且因此对所有种类的系统及输送层可见,例如输送流、实时输送(RTP)协议、文件格式以及其它。
两类NAL单元存在于HEVC标准中,包含视频译码层(VCL)NAL单元及非VCL NAL单元。VCL NAL单元包含经译码图片数据的一个切片或切片段(以下描述),且非VCL NAL单元包含关于一或多个经译码图片的控制信息。在一些状况下,NAL单元可被称作数据包。HEVCAU包含含有经译码图片数据的VCL NAL单元及对应于经译码图片数据的非VCL NAL单元(如果存在的话)。
NAL单元可含有形成视频数据的经译码表示(例如视频中的图片的经译码表示)的位序列(例如,经编码视频位流、位流的CVS等)。编码器引擎106通过将每一图片分割成多个切片而产生图片的经译码表示。一切片独立于其它切片,使得在不依赖于来自同一图片内的其它切片的数据的情况下译码所述切片中的信息。切片包含一或多个切片段,所述一或多个切片段包含独立切片段及(如果存在的话)取决于先前切片段的一或多个相关切片段。切片接着被分割成明度样本及色度样本的译码树型块(CTB)。明度样本的CTB及色度样本的一或多个CTB连同样本的语法被称作译码树型单元(CTU)。CTU为用于HEVC编码的基本处理单元。CTU可经分裂成变化大小的多个译码单元(CU)。CU含有被称为译码块(CB)的明度及色度样本阵列。
明度及色度CB可进一步被分裂成预测块(PB)。PB为对于帧间预测或块内复制预测(在可用或经启用以供使用时)使用相同运动参数的明度分量或色度分量的样本的块。所述明度PB及一或多个色度PB连同相关联语法形成预测单元(PU)。对于帧间预测,运动参数(例如,一或多个运动向量、参考索引等)集在位流中针对每一PU被发信号,且用于明度PB及一或多个色度PB的帧间预测。运动参数也可被称作运动信息。CB还可被分割成一或多个变换块(TB)。TB表示颜色分量的样本的正方形块,对所述正方形块应用相同二维变换以用于译码预测残余信号。变换单元(TU)表示明度及色度样本的TB,及对应语法元素。
CU的大小对应于译码模式的大小,且可为正方形形状。举例来说,CU的大小可为8×8样本、16×16样本、32×32样本、64×64样本或高达对应CTU的大小的任何其它适当大小。短语“N×N”在本文中用以是指视频块就竖直及水平维度来说的像素尺寸(例如,8像素×8像素)。可按行及列来布置块中的像素。在一些实例中,块在水平方向上可不具有与在竖直方向上相同的数目个像素。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可在CU经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可经分割成非正方形形状。与CU相关联的语法数据还可描述例如根据CTU将CU分割成一或多个TU。TU可为正方形或非正方形形状。
根据HEVC标准,可使用变换单元(TU)来执行变换。TU可针对不同CU而变化。可基于给定CU内的PU的大小而对TU定大小。TU可与PU大小相同或小于PU。在一些实例中,可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本细分成较小单元。RQT的叶节点可对应于TU。可变换与TU相关联的像素差值以产生变换系数。变换系数可接着由编码器引擎106量化。
一旦视频数据的图片被分割成CU,编码器引擎106就使用预测模式来预测每一PU。接着从原始视频数据减去预测单元或预测块以得到残余(以下描述)。对于每一CU,可使用语法数据在位流内部将预测模式发信号。预测模式可包含帧内预测(或图片内预测)或帧间预测(或图片间预测)。帧内预测利用图片内的空间相邻样本之间的相关性。举例来说,在使用帧内预测的情况下,使用例如DC预测以求得PU的平均值、使用平面预测以使平面表面拟合于PU、使用方向预测以从相邻数据外插或使用任何其它合适类型的预测,从同一图片中的相邻图像数据预测每一PU。帧间预测使用图片之间的时间相关性以便导出针对图像样本的块的经运动补偿预测。举例来说,在使用帧间预测的情况下,使用运动补偿预测从一或多个参考图片(按输出次序在当前图片之前或之后)中的图像数据预测每一PU。可例如在CU层级决定是使用图片间预测还是图片内预测来译码图片区。
在一些实例中,图片的一或多个切片被指派切片类型。切片类型包含I切片、P切片及B切片。I切片(帧内预测帧,可独立解码)为仅通过帧内预测译码的图片的切片,且因此可独立解码,这是因为I切片仅需要帧内的数据来预测切片的任一预测单元或预测块。P切片(单向预测帧)为可通过帧内预测及通过单向帧间预测译码的图片的切片。通过帧内预测或帧间预测译码P切片内的每一预测单元或预测块。当应用帧间预测时,仅通过一个参考图片预测所述预测单元或预测块,且因此参考样本仅来自一个帧的一个参考区域。B切片(双向预测性帧)为可通过帧内预测及通过帧间预测(例如,双向预测或单向预测)译码的图片的切片。B切片的预测单元或预测块可从两个参考图片双向预测,其中每一图片对一个参考区域有影响,且加权两个参考区域的样本集(例如,用相等权重或用不同权重)以产生经双向预测块的预测信号。如上所阐释,一个图片的切片被独立译码。在一些状况下,图片可仅作为一个切片而被译码。
PU可包含与预测过程有关的数据(例如,运动参数或其它合适数据)。举例来说,当使用帧内预测编码PU时,PU可包含描述用于PU的帧内预测模式的数据。作为另一实例,当使用帧间预测来编码PU时,PU可包含定义用于PU的运动向量的数据。定义PU的运动向量的数据可描述例如运动向量的水平分量(Δx)、运动向量的竖直分量(Δy)、运动向量的分辨率(例如,整数精确度、四分之一像素精确度或八分之一像素精确度)、运动向量所指向的参考图片、参考索引、运动向量的参考图片列表(例如,列表0、列表1或列表C)或其任何组合。
编码装置104接着可执行变换及量化。举例来说,在预测之后,编码器引擎106可计算对应于PU的残余值。残余值可包括正译码的像素的当前块(PU)与用以预测当前块的预测块(例如,当前块的经预测型式)之间的像素差值。举例来说,在产生预测块(例如,发出帧间预测或帧内预测)之后,编码器引擎106可通过从当前块减去由预测单元产生的预测块来产生残余块。残余块包含量化当前块的像素值与预测块的像素值之间的差的一组像素差值。在一些实例中,残余块可以二维块格式(例如,像素值的二维矩阵或阵列)来表示。在这些实例中,残余块为像素值的二维表示。
使用块变换来变换可在执行预测之后剩余的任何残余数据,此变换可基于离散余弦变换、离散正弦变换、整数变换、小波变换、其它合适的变换函数或其任何组合。在一些情况下,可将一或多个块变换(例如,大小32×32、16×16、8×8、4×4等)应用于每一CU中的残余数据。在一些实例中,TU可用于由编码器引擎106实施的变换及量化过程。具有一或多个PU的给定CU还可包含一或多个TU。如下文进一步详细所描述,可使用块变换将残余值变换成变换系数,且接着可使用TU来量化及扫描残余值以产生用于熵译码的序列化变换系数。
在一些实例中,在使用CU的PU进行帧内预测性或帧间预测性译码之后,编码器引擎106可计算CU的TU的残余数据。PU可包括空间域(或像素域)中的像素数据。在应用块变换之后,TU可包括变换域中的系数。如先前所指出,残余数据可对应于未经编码图片的像素及与对应于PU的预测值之间的像素差值。编码器引擎106可形成包含CU的残余数据的TU,且接着可变换TU以产生CU的变换系数。
编码器引擎106可执行变换系数的量化。量化通过量化变换系数以减少用以表示系数的数据的量而提供进一步压缩。举例来说,量化可减少与系数中的一些或全部相关联的位深度。在一个实例中,具有n位值的系数可在量化期间经降值舍位为m位值,其中n大于m。
一旦执行了量化,经译码视频位流就包含经量化变换系数、预测信息(例如,预测模式、运动向量、块向量等)、分割信息及任何其它合适数据(例如其它语法数据)。接着可由编码器引擎106对经译码视频位流的不同元素进行熵编码。在一些实例中,编码器引擎106可利用预定义扫描次序扫描经量化变换系数以产生可经熵编码的序列化向量。在一些实例中,编码器引擎106可执行自适应扫描。在扫描经量化变换系数以形成向量(例如,一维向量)之后,编码器引擎106可熵编码向量。举例来说,编码器引擎106可使用上下文自适应可变长度译码、上下文自适应二进制算术译码、基于语法的上下文自适应二进制算术译码、概率区间分割熵译码或另一合适的熵编码技术。
如先前所描述,HEVC位流包含NAL单元的群组,包含VCL NAL单元及非VCL NAL单元。VCL NAL单元包含形成经译码视频位流的经译码图片数据。举例来说,形成经译码视频位流的位序列在VCL NAL单元中被重新发送。除了其它信息以外,非VCL NAL单元还可含有具有与经编码视频位流有关的高层级信息的参数集。举例来说,参数集可包含视频参数集(VPS)、序列参数集(SPS)及图片参数集(PPS)。参数集的目标的实例包含位速率效率、错误复原(error resiliency)及提供系统层接口。每一切片参考单一活动PPS、SPS及VPS以存取解码装置112可用于解码切片的信息。可针对每一参数集译码标识符(ID),包含VPS ID、SPSID及PPS ID。SPS包含SPS ID及VPS ID。PPS包含PPS ID及SPS ID。每一切片标头包含PPSID。使用ID,可识别针对给定切片的活动参数集。
PPS包含适用于给定图片中的所有切片的信息。因此,图片中的所有切片参考同一PPS。不同图片中的切片也可参考同一PPS。SPS包含适用于同一经译码视频序列(CVS)或位流中的所有图片的信息。如先前所描述,经译码视频序列为一系列存取单元(AU),其始于在基础层中且具有某些性质(以上描述)的随机存取点图片(例如,瞬时解码参考(IDR)图片或断链存取(BLA)图片或其它适当的随机存取点图片),直到且不包含具有在基础层中且具有某些性质的随机存取点图片的下一AU(或位流的末端)。SPS中的信息可不在经译码视频序列内在图片间改变。经译码视频序列中的图片可使用同一SPS。VPS包含适用于经译码视频序列或位流内的所有层的信息。VPS包含具有适用于全部经译码视频序列的语法元素的语法结构。在一些实例中,可与经编码位流一起带内传输VPS、SPS或PPS。在一些实例中,可在与含有经译码视频数据的NAL单元分开的传输中带外传输VPS、SPS或PPS。
视频位流还可包含补充增强信息(SEI)消息。举例来说,SEI NAL单元可为视频位流的部分。在一些状况下,SEI消息可含有解码过程未必需要的信息。举例来说,SEI消息中的信息对于解码器解码位流的视频图片可能并非必要,但解码器可使用所述信息改善图片的显示或处理(例如,经解码输出)。SEI消息中的信息可为嵌入型元数据。在一个说明性实例中,SEI消息中的信息可由解码器侧实体用以改善内容的可见性。在一些情况下,某些应用标准可强制这些SEI消息在位流中的存在,使得遵守应用标准的所有装置可实现质量改善(例如,用于帧兼容平面立体3DTV视频格式的帧封装SEI消息的携载,其中针对视频的每一帧携载SEI消息;恢复点SEI消息的处置;拉移式扫描矩形SEI消息在DVB中的使用;外加许多其它实例)。
编码装置104的输出110可经由通信链路120将构成经编码视频位流数据的NAL单元发送至接收装置的解码装置112。解码装置112的输入114可接收NAL单元。通信链路120可包含由无线网络、有线网络或有线网络与无线网络的组合提供的信道。无线网络可包含任何无线接口或无线接口的组合,且可包含任何合适的无线网络(例如,互联网或其它广域网、基于数据包的网络、WiFiTM、射频(RF)、UWB、WiFi-Direct、蜂窝、长期演进(LTE)、WiMaxTM等)。有线网络可包含任何有线接口(例如,光纤、以太网、电力线以太网、经由同轴电缆的以太网、数字信号线(DSL)等)。可使用各种设备来实施有线及/或无线网络,所述设备是例如基站、路由器、存取点、网桥、网关、交换机等。可根据通信标准(例如无线通信协议)调制经编码视频数据,且将其传输至接收装置。
在一些实例中,编码装置104可将经编码视频数据存储在存储装置108中。输出110可从编码器引擎106或从存储装置108检索经编码视频数据。存储装置108可包含多种分布式或本地存取的数据存储媒体中的任一者。举例来说,存储装置108可包含硬盘驱动器、存储光盘、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适的数字存储媒体。
解码装置112的输入114接收经编码视频位流数据,且可将视频位流数据提供至解码器引擎116或至存储装置118,用于由解码器引擎116后来使用。解码器引擎116可通过熵解码(例如,使用熵解码器)及提取构成经编码视频数据的一或多个经译码视频序列的元素来解码经编码视频位流数据。解码器引擎116可接着重新缩放经编码视频位流数据且对经编码视频位流数据执行反变换。接着将残余数据传递至解码器引擎116的预测级。解码器引擎116接着预测像素的块(例如,PU)。在一些实例中,将预测与反变换的输出(残余数据)相加。
解码装置112可将经解码视频输出至视频目的地装置,所述视频目的地装置可包含用于将经解码视频数据显示给内容的消费者的显示器或其它输出装置。在一些方面中,视频目的地装置122可为包含解码装置112的接收装置的部分。在一些方面中,视频目的地装置122可为不同于接收装置的单独装置的部分。
在一些实例中,视频编码装置104及/或视频解码装置112可分别与音频编码装置及音频解码装置集成。视频编码装置104及/或视频解码装置112还可包含实施上文所描述的译码技术所必要的其它硬件或软件,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码装置104及视频解码装置112可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。下文参看图11描述编码装置104的特定细节的实例。下文参看图12描述解码装置112的特定细节的实例。
对HEVC标准的扩展包含多视图视频译码扩展(被称作MV-HEVC)及可伸缩视频译码扩展(被称作SHVC)。MV-HEVC与SHVC扩展共享分层译码的概念,其中不同层包含于经编码视频位流中。经译码视频序列中的每一层是由唯一层标识符(ID)寻址。层ID可存在于NAL单元的标头中以识别NAL单元所相关联的层。在MV-HEVC中,不同层通常表示视频位流中的同一场景的不同视图。在SHVC中,提供以不同空间分辨率(或图片分辨率)或以不同重构保真度表示视频位流的不同可伸缩层。可伸缩层可包含基础层(具有层ID=0)及一或多个增强层(具有层ID=1、2、…n)。基础层可遵守HEVC的第一版本的配置文件,且表示位流中的最低可用层。如与基础层相比,增强层具有增加的空间分辨率、时间分辨率或帧速率及/或重构保真度(或质量)。增强层按层次被组织,且可(或可不)取决于较低层。在一些实例中,可使用单一标准编解码器来译码不同层(例如,使用HEVC、SHVC或其它译码标准编码所有层)。在一些实例中,可使用多标准编解码器来译码不同层。举例来说,可使用AVC来译码基础层,而可使用对HEVC标准的SHVC及/或MV-HEVC扩展来译码一或多个增强层。
还已定义了描述经捕获视频中的颜色的各种标准,尤其包含对比率(例如,视频中的像素的亮度或暗度)及颜色准确度。举例来说,颜色参数可由显示装置使用,所述显示装置能够使用颜色参数确定如何在视频中显示像素。来自国际电信联盟(ITU)的一个实例标准--ITU-R Recommendation BT.709(在本文中被称作“BT.709”),其定义用于高清晰度电视(HDTV)的标准。由BT.709定义的颜色参数通常被称作标准动态范围(SDR)及标准色域。另一实例标准为ITU-R Recommendation BT.2020(在本文中被称作“BT.2020”),其定义用于超高清晰度电视(UHDTV)的标准。由BT.2020定义的颜色参数通常被称作高动态范围(HDR)及广色域(WCG)。动态范围及色域在本文中共同地被称作颜色容量。
显示装置可能不能够显示使用高动态范围及广色域的视频信号的颜色容量。举例来说,HDR视频信号可针对每一像素具有绝对亮度值。在宽的日光中,视频信号可包含等于每平方米10,000坎德拉(cd/m2,常被称作“尼特”)的一些样本。然而,典型的高清晰度成像(HDI)显示器可仅能够显示1000尼特,而专业工作室显示器可能能够显示4000尼特。
为了使各种不同类型的显示装置能够显示HDR视频信号及其它具有大颜色容量的视频信号,已针对颜色容量变换定义标准。颜色容量变换可用以将输入动态范围及色域变换至可由显示装置显示的输出动态范围及色域。颜色容量变换标准的实例包含由动画电视工程师学会(SMPTE)定义的一套标准,ST 2094。在ST 2094套件内,四个文档(ST 2094-10、ST 2094-20、ST 2094-30及ST 2094-40)定义可在颜色容量变换中使用的元数据。其它可适用的标准包含例如SMTPE ST 2084,其提供允许显示具有高达10,000尼特的明度级的HDR视频内容的转移函数,且可供由BT.2020定义的颜色空间使用。可适用的标准的另一实例为SMTPE 2086,其指定元数据项目以指定在主控视频内容中使用的显示器的颜色容量(颜色原色、白点及明度范围)。
在前述标准当中,ST 2094-10指定内容相关的颜色容量变换元数据,由ST 2094定义的一般化颜色容量变换的专用模型。此颜色容量变换是基于参数化定义的色调映射曲线,其形状由图像元素特性(从输入图像元素以算法方式计算)及可能还通过手动设定的调整两者来定义。此元数据是作为主控过程(即,用于产生用于分布的副本的主副本的产生)的一部分而产生。可将调整参数决定为创造性的调整。
将由ST 2094-10定义的颜色容量变换参数提供为抽象的浮点值。为了将这些参数传递至解码器,需要以较紧凑且高效的格式提供这些参数的格式。可测量较大效率,例如,按表示所述值所需要的位及/或确定及/或使用所述值需要的计算复杂度。然而,ST 2094-10未定义用于将颜色容量格式参数编码成位流的格式。
在各种实施方案中,提供用于将由ST 2094-10定义的颜色容量变换参数编码成位流的系统及方法。在一些实例中,颜色容量变换参数集可具备视频数据。另外,可提供主控显示颜色容量参数集。所述主控显示颜色容量参数包含当产生视频数据的主副本时确定的值。在一些实施方案中,可将所述颜色容量变换参数连同视频数据一起编码成位流。在这些实施方案中,需要也将主控显示颜色容量参数编码成位流。
在一些实例中,视频数据可包含两个或更多个视频信号,其中每一视频信号可显示在显示装置的显示区内的单独显示区域中。在这些实例中,视频数据可包含用于两个或更多个视频信号的颜色容量变换参数集。在一些实施方案中,编码器可确定颜色容量变换参数集与用于视频信号的显示区域之间的关联。可将所述关联连同视频数据一起编码成位流。
所述先前实例可用以实施HDR视频系统,包含用于产生经编码位流的编码装置及/或用于解码位流且格式化经解码视频以用于显示器的解码装置。通过定义对由ST2094-10提供的参数的各种约束,可提供这些参数的明确定义,这可简化HDR视频系统的实施方案。
定义较大颜色容量的视频标准尝试更紧密地复制人眼能够看到的物项。如上所指出,颜色容量可包含动态范围及色域,其中动态范围及色域为视频内容的独立属性。
动态范围可被定义为视频信号的最小亮度与最大亮度之间的比率。还可按f光阑来测量动态范围。在相机中,f光阑为镜头的焦距对相机的孔径的比率。一个f光阑可对应于视频信号的动态范围的倍增。作为一实例,MPEG将HDR内容定义为以多于16个f光阑的亮度变化为特征的内容。在一些实例中,将在10至16个f光阑之间的动态范围考虑为中等动态范围,但在其它实例中,将这考虑为HDR动态范围。
图2绘示与各种显示器类型的动态范围相比的典型人类视觉202的动态范围。图2绘示以尼特对数标度计(例如,以cd/m2对数标度计)的明度范围200。作为实例,在所绘示的明度范围200上,星光处于大致0.0001尼特,且月光处于约0.01尼特。典型室内光可在明度范围200上的1与100之间。阳光可在明度范围200上的10,000尼特与1,000,000尼特之间。
人类视觉202能够察觉在小于0.0001尼特至大于1,000,000尼特之间的任何处,其中精确范围因人而异。人类视觉202的动态范围包含同时动态范围204。将同时动态范围204定义为在眼睛完全适应时可检测物体的最高与最低明度值之间的比率。当眼睛处于在已调整至当前环境光条件或明度级后的稳态下时,出现完全适应。虽然在图2的实例中将同时动态范围204绘示为在约0.1尼特与约3200尼特之间,但同时动态范围204可居中于沿着明度范围200的其它点,且宽度可在不同明度级下变化。另外,同时动态范围204可因人而异。
图2进一步绘示用于SDR显示器206及HDR显示器208的大致动态范围。SDR显示器206包含监视器、电视、平板计算机屏幕、智能电话屏幕,及能够显示SDR视频的其它显示装置。HDR显示器208包含例如超高清晰度电视以及其它电视及监视器。
BT.709规定SDR显示器206的动态范围可为约0.1至100尼特,或约10个f光阑,其显著小于人类视觉202的动态范围。SDR显示器206的动态范围还小于所绘示的同时动态范围204。SDR显示器206也无法准确再现夜晚时间条件(例如,星光,在约0.0001尼特下)或亮室外条件(例如,大约1,000,000尼特)。
HDR显示器208可覆盖比SDR显示器206可覆盖宽的动态范围。举例来说,HDR显示器208可具有约0.01尼特至约5600尼特或16个f光阑的动态范围。虽然HDR显示器208也不覆盖人类视觉的动态范围,但HDR显示器208可更接近能够覆盖一般人的同时动态范围204。针对用于HDR显示器208的动态范围参数的规范可例如在BT.2020及ST 2084中被找到。
色域描述在例如显示器或打印机的特定装置上可用的颜色范围。色域也可被称作颜色维度。图3绘示色度图300的实例,其覆叠有表示SDR色域304的三角形及表示HDR色域302的三角形。图300中的曲线306上的值为颜色的光谱;即,由可见光谱中的光的单一波长引发的颜色。在曲线306下方的颜色为谱外的:曲线306的较低点之间的直线被称作紫色线,且图300的内部内的颜色为不饱和颜色,其为光谱颜色或紫色颜色与白色的各种混合。标注为D65的点指示针对所绘示的光谱曲线306的白色的位置。曲线306也可被称作光谱轨迹或光谱的轨迹。
表示SDR色域304的三角形是基于如由BT.709提供的红、绿及蓝颜色原色。SDR色域304为由HDTV、SDR广播及其它数字媒体内容使用的颜色空间。
表示HDR色域302的三角形是基于如由BT.2020提供的红、绿及蓝颜色原色。如由图3所绘示,HDR色域302提供比SDR色域304多约70%的颜色。由例如数字电影倡导联盟(DCI)P3(被称作DCI-P3)的其它标准定义的色域提供比HDR色域302甚至更多的颜色。DCI-P3用于数字移动投影。
表1绘示色域参数的实例,包含由BT.709、BT.2020及DCI-P3提供的色域参数。对于每一色域定义,表1提供用于色度图的x及y坐标。
表1:色域参数
可获取具有大颜色容量的视频数据(例如,具有高动态范围及广色域的视频数据),且可将其按每分量高精确度存储。举例来说,可使用浮点值表示每一像素的明度及色度值。作为另一实例,可使用4:4:4色度格式,其中明度、色度蓝与色度红分量各自具有相同取样速率。4:4:4记法也可用以指红-绿-蓝(RGB)颜色格式。作为另一实例,可使用很宽的颜色空间,例如由国际照明委员会(CIE)1931XYZ定义的颜色空间。用高精确度表示的视频数据可几乎数学无损。然而,高精确度表示可包含冗余,且对于压缩,可能并非最佳。因此,常使用旨在显示可由人眼看到的颜色容量的较低精确度格式。
图4绘示用于将高精确度线性RGB 402视频数据转换至HDR数据410的过程400的实例。HDR数据410可具有较低精确度,且可更易于压缩。实例过程400包含可压紧动态范围的非线性转移函数404、可产生较紧凑或稳固颜色空间的颜色转换406及可将浮点表示转换至整数表示的量化408函数。
在各种实例中,可使用非线性转移函数404压紧可具有高动态范围及浮点表示的线性RGB 402数据。非线性转移函数404的实例为在ST 2084中定义的感知量化器。可通过颜色转换406将转移函数404的输出转换至目标颜色空间。目标颜色空间可为更适合于压缩的颜色空间,例如YCbCr。量化408可接着用以将数据转换至整数表示。
实例过程400的步骤的次序为可执行所述步骤的次序的一个实例。在其它实例中,所述步骤可按不同次序发生。举例来说,颜色转换406可在转移函数404之前。在其它实例中,还可发生额外处理。举例来说,可将空间子取样应用于颜色分量。
转移函数404可用以将图像中的数字值映射至光能及从光能映射图像中的数字值。也被称作光功率的光能为透镜、镜子或其它光学系统会聚或发散光的程度。转移函数404可应用于图像中的数据以压紧动态范围。压紧动态范围可使视频内容能够用有限数目个位表示数据。转移函数404可为一维非线性函数,其可反映终端消费者显示器的电光转移函数(EOTF)的逆(例如,如在ITU-R Recommendation BT.1886(在本文中被称作“BT.1886”)中或在BT.709中针对SDR所指定),或反映人类视觉系统对亮度改变的感知(例如,如由在ST2084中指定的感知量化器(PQ)转移函数针对HDR所提供)。电光转移函数描述将被称作码等级或码值的数字值转变成可见光的方式。电光变换的逆过程为从明度产生码等级的光电变换(OETF)。
图5绘示由各种标准定义的转移函数产生的明度曲线的实例。每一曲线以图表表示在不同码等级下的明度值。图5还绘示由每一转移函数启用的动态范围。在其它实例中,可针对红(R)、绿(G)及蓝(B)颜色分量分开来绘制曲线。
参考电光转移函数指定在BT.1886中。所述转移函数由以下方程式给出:
L=a(max[(V+b),0])γ
在以上方程式中:
L为以cd/m2为单位的屏幕明度;
LW为针对白色的屏幕明度;
LB为针对黑色的屏幕明度;
V为输入视频信号电平(经归一化,使得黑色出现于V=0且白色出现于V=1)。对于按BT.709掌握的内容,10位数字码值“D”按以下方程式映射成V值:V=(D-64)/876;
γ为幂函数的指数,其中γ=2.404;
a为用于用户增益(旧版“对比度”对照)的变量,其中:
a=(LW 1/γ-LB 1/γ)γ
且b为用于用户黑色等级提升(旧版“亮度”对照)的变量,其中:
以上变量a及b可通过解出以下方程式而导出,使得V=1给出L=LW且使得V=0给出L=LB:
LB=a·bγ
LW=a·(1+b)γ
ST 2084提供可更有效率地支持较高动态范围数据的转移函数。将ST 2084的转移函数应用于归一化的线性R、G及B值,这产生非线性表示R'、G'及B'。ST 2084通过NORM=10000定义归一化,其与10,000尼特的峰值亮度相关联。可将R'、G'及B'值计算如下:
在方程式(1)中,将转移函数PQ_TF定义如下:
可将电光转移函数定义为具有浮点准确度的函数。通过具有浮点准确度,有可能避免将误差引入至当应用光电转移函数时结合函数的非线性的信号内。由ST 2048指定的此逆转移函数如下:
在方程式(2)中,将逆转移函数inversePQ_TF定义如下:
已定义了其它转移函数及逆转移函数。代替由ST 2084提供的转移函数或除了由ST2084提供的转移函数以外,视频译码系统还可使用这些其它转移函数及逆转移函数中的一者。
颜色转换406可减小线性RGB 402输入的颜色空间的大小。图像捕获系统常常捕获图像作为RGB数据。然而,RGB颜色空间在颜色分量间可具有高度冗余。对于产生数据的紧凑表示,RGB因此并非最佳。为了实现更紧凑且更稳固的表示,可将RGB分量转换至更适合于压缩的较不相关的颜色空间,例如YCbCr。由颜色转换406产生的目标颜色空间可以不同不相关的分量来分开由明度表示的亮度及颜色信息。
YCbCr颜色空间为由BT.709使用的一个目标颜色空间。BT.709提供用于非线性R'、G'及B'值至非恒定明度表示Y'、Cb及Cr的以下转换:
由方程式(3)提供的转换还可使用以下大致转换来实施,这避免了针对Cb及Cr分量的划分:
BT.2020指定从R'、G'及B'至Y、Cb及Cr的以下转换过程:
由方程式(5)提供的转换还可使用以下大致转换来实施,其避免了针对Cb及Cr分量的划分:
在颜色转换406后,现在在目标颜色空间中的输入数据可仍然用高位深度(例如,用浮点准确度)表示。量化408可将数据转换至目标位深度。在一些实例中,10位至12位准确度结合PQ转移函数可足够用于HDR数据410具有16个f光阑,并伴有刚好低于人类视觉显而易见的失真的失真。具有10位准确度的HDR数据410可进一步由多数视频译码系统译码。量化408是有损的,意味着一些信息丢失,且可为由过程400输出的HDR数据410的不准确的来源。
以下方程式提供可应用于目标颜色空间中的码字的量化408的实例。举例来说,可将具有浮点准确度的Y、Cb及Cr的输入值转换成Y值的固定位深度值BitDepthY及色度值(Cb及Cr)的固定位深度值BitDepthC。
此量化的实例可应用于目标颜色空间中的码字,例如如在以下实例中所展示的YCbCr。举例来说,将以浮点准确度表示的输入值YCbCr转换成Y值的固定位深度BitDepthY及色度值(Cb、Cr)的固定位深度BitDepthC的信号。
在以上中:
Round(x)=Sign(x)*Floor(Abs(x)+0.5)
如果x<0,那么Sign(x)=-1;如果x=0,那么Sign(x)=0;如果x>0,那么Sign(x)=1
Floor(x)小于或等于x的最大整数
如果x>=0,那么Abs(x)=x;如果x<0,那么Abs(x)=-x
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)
如果z<x,那么Clip3(x,y,z)=x;如果z>y,那么Clip3(x,y,z)=y;否则Clip3(x,y,z)=z
由实例过程400产生的HDR数据410可经压缩或由编码器编码,例如,使用AVCHEVC,或VP8/VP9/VP10标准,以产生经编码位流。可存储及/或传输位流。位流可经解压缩或由解码器解码以产生未压缩的视频信号。
可使用例如高速数字接口将未压缩的视频信号传输至终端消费者装置。消费者电子装置及传输媒体的实例包含数字电视、数字电缆、卫星或陆上机顶盒、移动装置及有关外围装置,例如数字多功能光盘(DVD)播放器及/或记录器,及其它有关解码装置及消费者装置。
用于高速数字接口的协议、要求及推荐定义于由消费电子产品协会(CTA)数字电视(DTV)小组委员会出品的规范(例如CTA-861)中。由CTA-861定义的协议、要求及推荐的实例包含视频格式及波形;比色及量化;经压缩及未压缩视频数据的输送,以及线性脉码调制(L-PCM)音频;辅助数据的携载;以及视频电子装置标准协会(VESA)增强型扩展显示器识别数据标准(E-EDID)的实施方案,其由消费者装置用以宣布显示器能力及特性。
CTA-861规范的CTA 861-G版本包含扩展InfoFrame数据结构,其可携载更大量的动态元数据。在此上下文中,动态意味着数据可在时间上(即,随着时间的过去)变化。在扩展InfoFrame数据结构中携载的数据可由终端装置(例如显示器、电视或可处理视频信号的其它装置,例如解码器或接收器)使用。举例来说,数据可用于可适用于终端装置的智能处理、导引的映射、显示器自适应及颜色容量变换。扩展InfoFrame可具有由2字节数指定的类型。当将扩展InfoFrame类型值设定至0x0001、0x0002、0x0003或0x0004时,扩展InfoFrame携载HDR动态元数据。HDR动态元数据扩展InfoFrame含有可在经编码位流中编码成补充增强信息(SEI)消息的HDR动态元数据。SEI消息可在AVC、HEVC及VP8/VP9/VP10位流以及根据其它标准产生的位流中使用。
解码器可支持某些类型的HDR动态元数据扩展InfoFrames的传输。解码器可进一步确定目标终端装置是否能够接收HDR动态元数据扩展InfoFrames,且如果是,那么可发送具有根据InfoFrames的类型编码的相关联视频的InfoFrames。在一些实例中,解码器将不将属于类型0x0001、0x0002、0x0003或0x004的HDR动态元数据扩展InfoFrame发送至不指示对那个扩展InfoFrame类型的支持的终端装置。举例来说,终端装置可使用HDR动态元数据数据块指示终端装置支持的HDR动态元数据扩展InfoFrames的类型。
可使用扩展显示器识别数据(EDID)来进行终端装置与解码器之间的通信。EDID为由终端装置提供以描述终端装置的能力的数据结构。举例来说,EDID可描述终端装置能够接收及呈现的视频格式。终端装置可在解码器的请求下将EDID提供至解码器。解码器可基于由EDID提供的信息,考量输入位流的格式及由终端装置支持的格式,选择输出格式。
在各种实例中,可使用若干数据块指定描述终端装置的显示器能力的参数。这些数据块的实例包含比色数据块、HDR静态元数据块、HDR动态元数据数据块,此外还有其它数据块。比色数据块可指示由终端装置支持的比色标准及色域标准,例如BT.2020或DCI-P3。HDR数据块经由例如以下各者的参数来指示终端装置的HDR能力:描述显示器的EOTF的特性的参数(例如,BT.1886、ST 2084或其它)、描述所要动态范围的参数(例如,所要最小及/或最大明度),及/或描述用于内容在显示器上的最佳呈现的所要最大帧-平均明度的参数。HDR动态元数据数据块指示支持的HDR动态元数据类型的类型及型式。
如上所指出,SMTPE ST 2094指定四个不同颜色容量变换,每一者公开于单独的文档中。这些文档经标明为ST 2094-10、ST 2094-20、ST 2094-30及ST 2094-40。
ST 2094-10描述动态HDR元数据,其中动态可意味着颜色容量变换可取决于视频内容。举例来说,ST 2094-10定义参数色调映射函数。ST 2094-10进一步指定可在各种颜色空间中执行色调映射,包含YCbCr、RGB及基于人类视觉系统的颜色空间。ST2094-10还提供从RGB输入的实例颜色容量变换的数学描述。
图6绘示可在ST 2094-10的实施方案中使用的处理块610的实例。处理块610被绘示为处于用于由ST 2094-1提供的一般化颜色容量变换模型的框架内。在此框架中,需要时,可为视频帧或视频帧的部分的图像602可经历输入转换604。输入转换604可将图像602的颜色空间转换至输入颜色空间。在处理块610已对图像操作后,需要时,可应用输出转换606,以将图像的颜色空间转换至输出颜色空间。总过程的结果为经变换图像608。
ST 2094-10实施方案的过程块610包含色调映射612块、色域调整614块、细节管理616块。
参数及操作过程块610可被描述如下;在接下来的描述中,PQ表示感知量化器:
基于MaxRGB的色调映射:
对于基于maxRGB的色调映射,定义以下参数:
MinimumPqencodedMaxrgb-减小的像素集的最低PQ编码的maxRGB值。
AveragePqencodedMaxrgb-减小的像素集的经PQ编码的maxRGB值的平均值。
MaximumPqencodedMaxrgb-减小的像素集的最高PQ编码的maxRGB值。
MinimumPqencodedMaxrgbOffset-在与待与MinimumPqencodedMaxrgb值相加的MinimumPqencodedMaxrgb相同的单元中的偏移。
AveragePqencodedMaxrgbOffset-在与待与AveragePqencodedMaxrgb值相加的AveragePqencodedMaxrgb相同的单元中的偏移。
MaximumPqencodedMaxrgbOffset-在与待与MaximumPqencodedMaxrgb值相加的MaximumPqencodedMaxrgb相同的单元中的偏移。
基于偏移、增益及γ的色调映射
以下方程式8定义用于基于偏移、增益及γ的色调映射的色调映射函数:
y=(min(max(0,(x×g)+0),1))P (8)
在方程式8中,y=输出值;x=输入值;g=色调映射增益的值;o=色调映射偏移的值;且P=色调映射γ的值。
以下HDR参数可被发信号(例如,提供及/或编码成位流),用于在方程式8中使用:
ToneMappingOffset-在方程式(8)中使用的色调映射偏移。
ToneMappingGain-在方程式(8)中使用的色调映射增益。
ToneMappingGamma-在方程式(8)中使用的色调映射γ。
以下参数也在ST 2094-10中被定义:
ChromaCompensationWeight为色度调整的量。
SaturationGain为饱和度调整的量。
ToneDetailFactor为控制细节管理函数对色调映射结果的影响的参数。
以下约束也由ST 2094-10定义。ST 2094-10指定HDR元数据的范围,使得元数据应确切地含有以下各者中的每一者中的一者:
TimeInterval经由在ST 2094-1中指定的参数定义的信息;包含:
TimeIntervalStart
TimeIntervalDuration
ProcessingWindow经由在ST 2094-1中指定的参数定义的信息;包含:
UpperLeftCorner
LowerRightCorner
WindowNumber
TargetedSystemDisplay经由在ST 2094-1中指定的参数定义的信息;包含:
TargetedSystemDisplayPrimaries
TargetedSystemDisplayWhitePointChromaticity
TargetedSystemDisplayMaximumLuminance
TargetedSystemDisplayMinimumLuminance
ColorVolumeTransform参数:
ImageCharacteristicsLayer,其应确切地含有以下指名的项目中的每一者中的一者:
MinimumPqencodedMaxrgb
AveragePqencodedMaxrgb
MaximumPqencodedMaxrgb
ManualAdjustmentLayer,其可含有具有以下指名的项目中的每一者中的零个或一者的任何组合:
MinimumPqencodedMaxrgbOffset
AveragePqencodedMaxrgbOffset
MaximumPqencodedMaxrgbOffset
ToneMappingOffset
ToneMappingGain
ToneMappingGamma
ChromaCompensationWeight
SaturationGain
ToneDetailFactor
ST 2094-10定义可用于颜色容量变换的HDR参数集。所述标准还提供说明可使用HDR参数的方式的信息实例。然而,ST 2094标准套件未定义参数将被发信号(例如,在经编码位流中提供)的方式。例如欧洲电信标准协会(ETSI)、CTA及MPEG的标准开发组织(SDO)被预期为开发用于以经编码位流传输HDR参数的标准。举例来说,CTA-861-G为指定用于经由数字音频/视频接口传输在ST 2094中定义的HDR动态元数据的格式的标准。
在HEVC及AVC位流中,其中,可使用SEI消息提供HDR参数。用于在SEI消息中编码由ST 2094-20定义的参数的格式定义于例如ETSI技术规范103 433中。举例来说,可在HEVC或AVC的颜色再映射信息SEI消息中编码由ST 2094-30定义的参数。
提议将用于在HEVC中将由ST 2094-10定义的参数发信号的SEI消息的实例添加至关于视频译码的联合合作小组(JCTVC)JCTVC-X004,但此提议未被采用。
对于特定系统,例如高级电视系统委员会(ATSC)及数字视频广播(DVB)的标准主体可定义用于将ST 2094-10参数发信号的格式。举例来说,可在可添加至经译码位流的用户数据注册SEI消息中编码所述参数。可针对标准主体提供规范的HDR视频系统将这些SEI消息优化。另外,可定义SEI消息,使得SEI消息明确地定义针对用于特定HDR视频系统的ST2094-10参数的实施方案。
提供用于在经译码位流中编码ST 2094-10元数据的用于标准化机制的系统及方法。以下描述的技术可提供用于在HDR视频系统中接收及剖析ST 2094-10的明确定义。所述技术还可降低接收器的实施复杂度。所述技术包含可用于颜色空间转换的颜色空间发信号及信息,约束将由HDR视频系统使用的ST 2094的处理元素的数目,约束将使用的ST 2094-10保留值的使用,约束补充信息的强制发信号,将例如色域及最小明度的目标显示器能力发信号,通过固定长度译码来译码ext_block_length(例如,指示元数据块的长度的字段),及将由HDR视频系统使用的ST 2094的处理元素之间的关联的规范,外加其它技术。
这些技术提供标准化的发信号机制,其中没有一个是由ST 2094-10定义。这些技术还可通过填充间隙来定义未由ST 2094-10定义的完整视频系统,例如应使用HDR参数的方式、输入的描述及使用哪一输出颜色容量变换,外加其它。描述将ST 2094-10的元素结合至SEI消息内,以及关于这些元素的使用的约束。
在第一实例中,可针对实施ST 2094-10的HDR视频系统将颜色空间及转换发信号。如上所论述,ST 2094-10定义可指示输入视频信号的颜色空间的元数据及可用于将输入颜色空间转换至另一颜色空间的元数据。输入及工作颜色空间的实例可包含YCbCr及ICtCp(其中分别地,I为明度分量且Ct及Cp为蓝-黄及红-绿色度分量),其由ITU-TRecommendation BT.2100定义。在一些实例中,确切的颜色变换矩阵用于从输入颜色空间转换至工作颜色空间,及用于从工作颜色空间转换至输出颜色空间。在这些实例中,工作颜色空间为可应用色调映射函数的颜色空间。
在一些实例中,HDR视频系统的解码器或接收器可从在经译码位流中提供的矩阵集选择颜色变换矩阵。解码器可例如使用HEVC视频可用性信息(VUI)参数、color_primaries及/或matrix_coeffs的值选择颜色变换矩阵。
在一些实例中,可针对颜色变换矩阵的参数定义约束。这些约束可简化接收器的实施方案。举例来说,可将颜色变换矩阵的条目约束于由YCbCr或ICtCp颜色空间定义的值。
在一些实例中,可使用旗标指示在位流中是否存在特定颜色变换及任何有关偏移。举例来说,被叫作“RGBtoLMS_coeff_present_flag”的旗标可指示RGB至LMS颜色空间转换参数在位流中是否可用(LMS为表示人眼的三个类型的视锥的响应,且是针对在长、中等及短波长下的响应性或敏感性峰值而命名)。作为另一实例,被叫作“YCCtoRGB_coef_present_flag”的旗标可指示位流是否包含可用以执行YCbCr至RGB颜色转换的参数。在一些情况下,这些旗标中的任一者的值1可指示存在颜色转换参数及任何有关偏移,且值0可指示颜色型式参数在位流中并不可用。
在一些实例中,当颜色变换参数不存在时,将所述系数的值推断为单位矩阵的系数值。在一些实例中,当颜色变换参数不存在时,将参数的值推断为零。在一些实例中,用于颜色变换参数及偏移的其它默认值是可能的。
在第二实例中,由HDR视频系统使用的ST 2094-10的处理元素的数目可受到约束。约束处理元件的数目既可提供用于接收及剖析ST 2094-10参数的明确定义,又可简化HDR接收器的实施方案。举例来说,ST 2094-10未指定可包含于位流中的扩展块的数目,其中扩展块可包含处理元素。具有扩展块的不明确数目可意味着解码器需要存储块的存储器的量及处理所述块需要的处理资源的量可能未知。因此,在各种实例中,扩展块的数目可受到约束,使得解码器可预确定处理所述块需要的存储器及处理资源。ST 2094-10处理元素可包含经处理的图片片段、处理窗、内容描述元素、目标显示器描述元素及色调映射模型,外加其它。可个别地或按任何合适的组合使用接下来的实例。
经处理图片片段及处理窗(由ST 2094称作“ProcessingWindow”)描述显示器的部分。举例来说,显示器可包含多个可能重叠窗,其中每一窗可显示不同视频信号。同一显示器中的多个窗的实例为子母画面,其中显示器中的插入窗可包含与正输出至显示器的主要部分的视频信号不同的视频信号。在一些实例中,在视频信号中的经处理图片片段及处理窗的数目限于小于254的固定数目。举例来说,可将所述数目设定为等于从1至16的值。如由ST 2094所提供,将用于经处理图片片段及处理窗的ext_block_level字段设定至5。根据约束经处理图片片段及处理窗的数目,作为另一实例,可将具有等于5的ext_block_level的扩展块的数目约束于一。
内容描述元素(由ST 2094称作“ImageCharacteristcsLayer”)可提供关于特定视频信号的信息。在一些实例中,将内容描述元素的数目设定为等于1。用于内容描述元素的扩展块具有的ext_block_level值为1。在一些实例中,可将具有等于1的ext_block_level的扩展块的数目约束于一。
目标显示器描述元素(由ST 2094称作“TargetedSystemDisplay”)可提供关于其上可显示视频信号的显示装置的信息。在一些实例中,目标显示器描述元素的数目为在从1至16的范围中的值。用于目标显示器描述元素的扩展块具有ext_block_level值2。在一些实例中,可将具有等于2的ext_block_level的扩展块的数目约束于小于或等于16。
可使用色调映射模型将一个颜色集映射至第二颜色集。举例来说,第二颜色集可近似于HDR图像在具有更有限动态范围的系统上的显现。在一些实例中,对于实施ST 2094-10的HDR系统,色调映射模型(在ST 2094中被称作“ColorVolumeTransform”)的数目为从1至16的值。
在一些实例中,对于每一经译码帧或存取单元,将ST 2094-10有关信息发信号的SEI消息的数目可不超过二。在一些实例中,每一存取单元将具有具ST 2094-10元数据的相关联的SEI消息。在一些实例中,当此SEI消息存在时,每存取单元将仅存在一个。
在第三实例中,在ST 2094-10中保留的值的使用受到约束。约束保留值的使用可保证没有未指定或未批准信息包含于位流中。
在一些实例中,遵守ST 2094-10的当前版本的位流不应包含保留值。举例来说,对于扩展块,保留用于ext_block_level的一些值,用于由ATSC使用。在这些实例中,这些保留值不能在实施ST 2094-10的HDR视频系统中使用。替代地,在一些实例中,使用用于ext_block_level的保留值的扩展块将被解码器忽略。
在一些实例中,解码器应抛弃含有保留值的ST 2094-10SEI消息。在一些情况下,当用于SEI消息的ext_block_level的值为不同于1、2或5的值时,应抛弃所述SEI消息。在一些情况下,当ext_block_level的值等于保留值时,应抛弃所述SEI消息。这些实例可防止可将任何大小的任意数据插入于SEI消息中的漏洞。
在一些实例中,保留不同于1、2或5的ext_block_level的值用于未来由ATSC使用。
在一些实例中,不允许将不同于1、2或5的ext_block_level的值用于基于ATSC标准的系统中。
在第四实例中,可对补充信息的强制发信号设置约束。ATSC规范提供可用于将关于视频信号的信息发信号的工具箱。此工具箱使位流能够编码多个转移函数,包含由BR.709、BT.2020及混合对数γ(HLG)外加其它定义的转移函数。然而,限制组合的数目可简化解码器的实施方案。在一些实例中,可使用具有用于payloadType的值4的SEI消息传输不同转移函数的特性。
在一些实例中,当HEVC VUI中的transfer_characteristics语法元素不等于16(对于ST 2084的PQ转移函数)时,不应存在ST 2094-10SEI消息。
在一些实例中,当HEVC VUI中的transfer_characteristics语法元素不等于16(对于ST 2084的PQ转移函数)或18(对于从HLG的转移函数)时,ST 2094-10SEI消息不应存在。
在一些实例中,如由ST 2086定义的具有主控显示器颜色容量元数据的SEI消息必须包含于具有具ST 2094参数的SEI消息的位流中。在这些实例中,可从用于ST 2094-10参数的SEI消息移除ST 2094-10SEI消息中传达与在用于ST 2086的SEI消息中相同的信息的语法元素。在这些实例中,导出ST 2094-10帧处理所需的对应信息可从ST 2086SEI消息提取。
在一些实例中,当ST 2086SEI消息存在于位流中时,在ST 2086与ST 2094-10之间共同的语法元素不在用于ST 2094-10的SEI消息中被发信号。代替地,可将ST 2094-10语法元素推断为与ST 2086SEI消息中的对应语法元素相同。
在一些实例中,可使用旗标(例如,被叫作“st2086_info_present_flag”)指示在ST 2086与ST 2094-10之间共同的语法元素是否在用于ST 2094-10的SEI消息中被发信号。
在一些实例中,ST 2086语法元素包含于用于ST 2094-10的SEI消息中。在这些实例中,对于存在ST 2094-10SEI消息的位流或存取单元,不允许ST 2086SEI消息。
在一些实例中,当ST 2086SEI消息中的主控显示信息与ST 2094-10SEI消息中的显示信息冲突时,那么ST 2094-10信息对于帧的处理取得优先。
在第五实例中,可在位流中将目标显示器能力发信号或指示目标显示器能力,例如色域及最小明度。目标显示器能力可指示对于显示装置能够显示在位流中编码的视频信号的最小要求。
在一些实例中,具有用于ext_block_level的值2的扩展块可包含目标显示器最小明度、目标原色及目标白点。
在一些实例中,可替代地或另外添加额外块类型。具有此类型的扩展块可含有目标显示器的原色、白点及最小明度。举例来说,可使用具有等于3的ext_block_level的扩展块,否则,其将被保留。
在第六实例中,可使用固定长度编码用于扩展块的ext_block_length字段。ext_block_length字段可指示扩展块的大小。举例来说,当将用于扩展块的ext_block_level设定至1时,可将对应ext_block_length设定至5。作为另一实例,当将ext_block_level设定至2时,可将ext_block_length设定至11。作为另一实例,当将ext_block_level设定至5时,ext_block_length可等于7。限制可用于ext_block_length的位的数目可简化解码器的实施方案。
在一些实例中,用以译码语法元素ext_block_length的位的数目经选择为8的固定倍数,或其它合适倍数。
在一些实例中,将ext_block_length值的值范围约束于0与255(包含0及255)之间。
在一些实例中,可代替地或也对在一个ext_dm_data_block_payload()数据结构中指示ext_dm_alignment_zero_bit语法元素的次数设置约束。举例来说,可将语法元素出现的次数约束于小于7。可使用ext_dm_data_block_payload()数据结构指示不同参数集。举例来说,当ext_block_level等于1时,ext_dm_data_block_payload()数据结构可提供内容范围值,例如最小、最大及平均PQ值。作为另一实例,当ext_block_level为2时,ext_dm_data_block_payload()可包含修整值,例如斜度、偏移、功率、色度权重及饱和增益,外加其它。作为另一实例,当ext_block_level为5时,ext_dm_data_block_payload()可描述活动区,在本文中也被称作显示区域。ext_dm_data_block_payload()还可包含许多ext_dm_alignment_zero_bit元素,其可将数据结构的大小衬填至特定大小。
在第七实例中,可指定ST 2094处理元素之间的关联。
如上所指出,ext_dm_data_block_payload()数据结构可提供与色域映射参数及场景参数有关的信息。举例来说,一或多个ext_dm_data_block_payload()数据结构可包含颜色容量变换参数集,其可由解码器或接收器用以将视频信号变换成可由特定装置显示的信号。在一些实例中,可提供用于使ext_dm_data_block_payload()数据结构中的颜色容量变换参数与显示器中的活动区相关联的规范。在一些实例中,正显示于装置上的视频可具有多于一个显示区域,其中每一区域可正输出不同视频信号。在这些实例中,可将多于一个视频信号编码成位流。每一视频信号可与颜色容量变换参数集相关联。在一些情况下,两个视频信号可与同一颜色容量变换参数集相关联。可使用各种技术确定颜色容量变换参数集与哪一活动区域相关联。
在一些实例中,可使用索引来指示颜色容量参数集与显示区域之间的关联。举例来说,对于未指示被应用数据结构中的信息的显示区域的每一ext_dm_data_block_payload()(例如,ext_block_level等于1或2),可使用语法元素指示关联。举例来说,SEI消息可包含呈索引的列表的形式的语法元素,其中索引的次序与ext_dm_data_block_payload()数据结构在位流中出现的次序对应。在此实例中,索引值可指示与每一ext_dm_data_block_payload()相关联的一或多个显示区域。作为另一实例,可在SEI消息中指示活动显示区域。在此实例中,SEI消息中的语法元素可指示与ext_dm_data_block_payload相关联的活动显示区域。在此实例中,可由活动显示区域在SEI消息中指示的次序识别活动显示区域,或每一活动显示区域可具有标识符。
在一些实例中,由ext_dm_data_block_payload()数据结构提供的颜色容量变换参数与显示区域的关联可基于ext_dm_data_block_payload()数据及/或显示区域在位流中出现的次序。举例来说,可对不同类型的ext_dm_data_block_payload()数据结构在位流中出现的次序设置约束。ext_dm_data_block_payload()的类型可由ext_block_level语法元素指示。在此实例中,ext_dm_data_block_payload()数据结构出现的次序描述与数据结构相关联的显示区域。
作为约束ext_dm_data_block_payload()数据结构的次序的实例,对于在0至num_ext_blocks-1(num_ext_blocks指示扩展块的总数)的范围中的任一值i,其中ext_dm_data_block_payload(i)指示用于色域映射的参数,如果在0至num_ext_blocks-1的范围中(包含0及num_ext_blocks-1)存在任一值j,使得j为大于i的最小数目(对于所述数目,ext_dm_data_block_payload(j)含有关于一或多个活动区域的信息),且存在大于j的k,使得k为大于j的最小数目(对于所述数目,ext_dm_data_block_payload(k)指示用于色域映射的参数),那么ext_dm_data_block_payload(i)与由ext_dm_data_block_payload(m)指示的区域相关联,m在j至k-1的范围中(包含j及k-1)。替代地或另外,如果存在在0至num_ext_blocks-1的范围中(包含0及num_ext_blocks-1)的任一值j,使得j为大于i的最小数目(对于所述数目,ext_dm_data_block_payload(j)含有关于一或多个活动区域的信息),且不存在大于j的k,使得ext_dm_data_block_payload(k)指示用于色域映射的参数,那么ext_dm_data_block_payload(i)与由ext_dm_data_block_payload(m)指示的区域相关联,m在j至num_ext_blocks-1的范围中(包含j及num_ext_blocks-1)。替代地或另外,ext_dm_data_block_payload(i)适用于全部图片。
作为约束ext_dm_data_block_payload()数据结构的次序的另一实例,用于色域映射的参数可包含不指示用于应用色域映射的区域的一或多个语法元素。
在一些实例中,颜色容量变换参数与显示区域的关联可基于块关联。举例来说,ext_dm_data_block_payload()可包含于具有特定ext_block_level值(例如,6或其它合适值)的位流中,其中此类型的扩展块可指示色域映射参数、目标显示器特性、场景信息及活动区域之间的关联。
作为一实例,ext_dm_data_block_payload()数据结构可将色域映射参数、目标显示器特性、场景信息(共同地,颜色容量变换参数)与活动区域之间的关联的数目发信号或对其进行指示。
作为另一实例,对于每一关联,ext_dm_data_block_payload()数据结构可为指示用以定义关联的块的数目的一或多个值。在此实例中,在一些情况下,用于每一关联的所述一或多个值未被明确地发信号,且可固定至默认值。替代地或另外,可使用语法元素指示关联的模式。在这些实例中,对于每一模式,所述一或多个值可从所述模式被推断,或可被发信号。在这些实例中,对于每一模式,可需要特定值的一或多个块指定于所述关联中。替代地或另外,在一些实例中,对于每一关联,语法元素可将对应于指定所述关联的块的索引发信号。在这些实例中,所述索引可对应于如在SEI消息中被发信号的ext_dm_data_block_payload()数据结构的索引。在这些实例中,用于ext_block_level的特定值的索引可对应于如在SEI消息中被发信号的ext_block_level的那个特定值的ext_dm_data_block_payload语法结构的索引。
在一些实例中,将明确区域信息连同每一色域映射参数集、场景信息及目标显示器特性一起发送。
在一些实例中,场景信息可包含指示场景的最小、最大、平均明度信息的一或多个语法元素。色域映射参数可包含用以进行色域映射的映射函数的参数。目标显示器特性可包含显示器的包含显示器的最小及最大明度、颜色原色及白点的特性。区域信息可包含指示参数的子集可适用的区域的坐标(例如,矩形区域的四个坐标)、与所述区域相关联的一或多个标识符及一或多个参数(描述颜色坐标域或空间域中的形状)以进一步指定待应用映射的区域的子区。
在一些实例中,色域映射参数可用以指示ext_dm_data_block_payload()数据结构中并不与区域的发信号有关的所有信息(例如,色域映射参数、场景信息及目标显示器特性)。
在第八实例中,可执行将额外语法元素发信号及修改语法结构以允许使用ext_block_level的保留值进行的未来可扩展性的可能性。这可包含将占据一个位的语法元素发信号与在用于在规范的当前版本中保留的ext_block_level的值的ext_dm_data_block_payload中存在的位一样多的次数。
在各种实例中,HDR视频系统的解码器或接收器可执行对位流的一致性检查。举例来说,解码器或接收器可验证是否已遵照如上所述的约束及限制。举例来说,解码器可与解码位流一致地或在开始解码位流前执行一致性检查。当位流或位流的部分不能够一致性检查时,解码器可采取各种动作。举例来说,解码器可忽略不能够一致性检查的数据结构,且可继续进行解码在所述数据结构后的位流。作为另一实例,解码器可停止从位流不能够一致性检查的点解码位流。作为另一实例,解码器可拒绝全部位流。
现将描述以上描述的方法的若干实例实施方案。以下实例实施方案实施以上描述的实例中的一或多者。使用由ATSC定义的语法结构及语义说明实例实施方案。对语法结构及语义的改变指示如下:[[在双括符内的文本]]指示删除,且加下划线的文本指示添加。
第一实例
对语法结构的改变:
表E.2:ext_dm_data_block()1
表E.3:ext_dm_data_block_payload()
第二实例
对语义的改变:
ext_block_length[i]用以导出以字节计的第i个扩展的DM元数据块有效负载的大小。如果num_ext_blocks等于0,那么ext_block_length[i]不存在。ext_block_length的 值应在0至255的范围中(包含0及255)。
在一个替代方案中,将语法元素译码为ext_block_length_minus1,且将语义指定如下:
ext_block_length_minus1[i]加1[[用以导出]]指定以字节计的第i个扩展的DM元数据块有效负载的大小。[[如果num_ext_blocks等于0,那么[ext_block_length[i]不存在。]ext_block_length_minus1的值应在0至255的范围中(包含0及255)。
表E.4:扩展DM元数据块类型的定义
ext_block_level 扩展DM元数据块类型
0 保留
1 第1级元数据-内容范围
2 第2级元数据-修整遍次
3 保留
4 保留
5 第5级元数据-活动区
6 第6级元数据-关联
[[6]]7…255 保留
num_associations指定在ext_dm_data_block_payload中指定的关联的数目。关 联块指定目标显示器特性、色域映射参数及与色域映射参数相关联的活动区域之间的关 联。
num_blocks_in_assoc[i]指定在第i个关联中指定的块的数目。num_blocks_in_ assoc[i]的值应在0至255(包含0及255)的范围中。
blk_idx_in_assoc[i][j]指定在第i个关联中的第j个块的索引。blk_idx_in_ assoc[i][]]的值应在0至num_ext_blocks-1的范围中(包含0及num_ext_blocks-1)。
对位流一致性的要求为,对于具有等于1、2或5的ext_block_level值的具有索引k 的每一块,在具有等于6的ext_block_level的ext_dm_data_block_payload语法结构中应 至少存在一个值i,使得blk_idx_in_assoc[i][j]等于k。
对位流一致性的要求为,应不存在具有等于6的ext_block_level的多于一个ext_ dm_data_block_payload语法结构。
ext_dm_data_bit可具有任一值。其存在及值不影响解码器对在此规范的此版本 中指定的配置文档的遵守。解码器对此规范的此版本的遵守应忽略所有ext_dm_data_bit syntax elements。
在一个替代方案中,字节对准/不过时的语法指定如下:
第三实例
对语法元素的改变:
表E.1:ST2094-10_data()
对语义的改变:
扩展显示器映射元数据块类型的定义
ext_block_level 扩展显示器映射元数据块类型
0 第0级元数据-内容范围
1 第1级元数据-修整遍次
2 第2级元数据-活动区
3 ATSC保留
target_min_PQ指定在12位PQ编码中的目标显示器的最小明度值。所述值应在0至4095的范围中(包含0及4095)。如果target_min_PQ不存在,那么应将其推断为等于source_min_PQ的值。target_min_PQ为如在SMPTE ST 2094-1错误!找不到参照来源的条款10.4中定义的TargetedSystemDisplayMinimumLuminance的经PQ编码值。10位PQ编码使用最高有效位。
display_primaries_x[c]及display_primaries_y[c]分别根据如在ISO 11664-1(也见ISO 11664-3及CIE 15)中指定的x及y的CIE 1931定义来按0.00002的增量指定主控显示器的颜色主要分量c的经归一化的x及y色度坐标。为了描述使用红、绿及蓝颜色原色的主控显示器,建议索引值c等于0应对应于绿原色,c等于1应对应于蓝原色,且c等于2应对应于红颜色原色(也见附录E及表E.3)。display_primaries_x[c]及display_primaries_y[c]的值应在0至50000的范围中(包含0及50000)。
white_point_x及white_point_y分别根据如在ISO 11664-1(也见ISO 11664-3及CIE 15)中指定的x及y的CIE 1931定义来按0.00002的归一化增量指定主控显示器的白点的经归一化的x及y色度坐标。white_point_x及white_point_y的值应在0至50000的范围中。
第四实例
对语法元素及语义的改变如下。按循环形式来放置用于矩阵的语法,因为其为更紧凑表示。
表E.1:ST2094-10_type_data()
表E.3:ext_dm_data_block_payload()
表E.4:扩展DM元数据块类型的定义
ext_block_level 扩展DM元数据块类型
0 禁止
1 第1级元数据-内容范围
2 第2级元数据-修整遍次
3 禁止
4 禁止
5 第5级元数据-活动区
6…255 禁止
target_min_PQ指定在12位PQ编码中的目标显示器的最小明度值。所述值应在0至 4095的范围中(包含0及4095)。如果target_min_PQ并不存在,那么应将其推断为等于 source_min_PQ的值。target_min_PQ为如在SMPTEST2094-1[24]的条款10.4中定义的Targ etedSystemDisplayMinimumLuminance的经PQ编码值。10位PQ编码使用最高有效位。
display_primaries_x[c]及display_primaries_y[c]分别根据如在ISO 11664-1 (也见ISO 11664-3及CIE15)中指定的x及y的CIE 1931定义来按0.00002的增量指定主控显 示器的颜色主要分量c的经归一化的x及y色度坐标。为了描述使用红、绿及蓝颜色原色的主 控显示器,建议索引值c等于0应对应于绿原色,c等于1应对应于蓝原色,且c等于2应对应于 红颜色原色(也见附录E及表E.3)。display_primaries_x[c]及display_primaries_y[c]的 值应在0至50000的范围中(包含0及50000)。
white_point_x及white_point_y分别根据如在ISO11664-1(也见ISO11664-3及 CIE 15)中指定的x及y的CIE 1931定义来按0.00002的归一化增量指定主控显示器的白点 的经归一化的x及y色度坐标。white_point_x及white_point_y的值应在0至50000的范围 中。
第五实例
对语法结构及语义的改变:
表E.2:ext_dm_data_block()
表E.3:ext_dm_data_block_payload()
ext_block_length[i]用以导出以字节计的第i个扩展的DM元数据块有效负载的大小。如果num_ext_blocks等于0,那么ext_block_length[i]不存在。ext_block_length的 值应在0至255的范围中(包含0及255)。
在一个替代方案中,将语法元素译码为ext_block_length_minus1,且将语义指定如下:
ext_block_length_minus1[i]加1[[用以导出]]指定以字节计的第i个扩展的DM元数据块有效负载的大小。[[如果num_ext_blocks等于0,那么ext_block_length[i]不存在。]]ext_block_length_minus1的值应在0至255的范围中(包含0及255)。
表E.4:扩展DM元数据块类型的定义
ext_block_level 扩展DM元数据块类型
0 保留
1 第1级元数据-内容范围
2 第2级元数据-修整遍次
3 保留
4 保留
5 第5级元数据-活动区
6 第6级元数据-关联
[[6]]7…255 保留
num_associations指定针对SEI消息中的ext_dm_data_block_payload指定的关 联的数目。所述关联块指定场景信息、目标显示器特性、色域映射参数及与色域映射参数相 关联的活动区域之间的关联。
num_blocks_in_assoc[i]指定在第i个关联中指定的块的数目。num_blocks_in_ assoc[i]的值应在0至255(包含0及255)的范围中。
blk_idx_in_assoc[i][j]指定在第i个关联中的第j个块的索引。blk_idx_in_ assoc[i][]]的值应在0至num_ext_blocks-1的范围中(包含0及num_ext_blocks-1)。
对位流一致性的要求为,对于具有索引k使得ext_block_level[k]具有等于1、2或 5的值的每一块,在具有等于6的ext_block_level的ext_dm_data_block_payload(i)语法 结构中应至少存在一个值i,使得blk_idx_in_assoc[i][j]等于k。
对位流一致性的要求为,在SEI消息中应不存在具有等于6的ext_block_level的 多于一个ext_dm_data_block_payload语法结构。
ext_dm_data_bit可具有任一值。其存在及值不影响解码器对在此规范的此版本 中指定的配置文档的遵守。解码器对此规范的此版本的遵守应忽略所有ext_dm_data_bit syntax elements。
在一个替代方案中,字节对准/不过时的语法指定如下:
以下为“ATSC候选标准:A/341修正:2094-10”的文本,其包含对ATSC文档编号S34-262r3的修正。此修正包含以上描述的方法中的一些。
1.综述
此文档描述在ST 2094-10“用于颜色容量变换的动态元数据--应用#1”的ATSC发射位流元素中的编码及输送,其为用于使用用于HDR内容的动态元数据的技术。如果ATSC批准,那么将根据本文中所描述的编辑来修正A/341:2017,“视频-HEVC”(“A/341”)。
2.参考
以下参考将被添加至A/341。
2.1规范性参考
[1]SMPTE:“用于颜色容量变换的动态元数据-应用#1”,Doc.ST 2094-10(2016),动画及电视工程师学会,White Plains,NY。
2.2信息参考
[2]SMPTE:“用于颜色容量变换的动态元数据-核心分量Core Components”,Doc.ST 2094-1(2016),动画及电视工程师学会,White Plains,NY。
3.术语的定义
无新缩略词、缩写或术语将被添加至A/341。
4.对A/341的改变
在此文档的此章节中,“[ref]”指示将插入(或另外在方括弧内描述)对在A/341中列出的引用的参考文档的交叉参考。将用将结合至A/341内的新添加的参考的参考数字来更新对在此文档中列出的参考文档的实际交叉参考。
将标题符号添加至6.3.2.2
将以下标题符号项目添加至在6.3.2.2“PQ转移特性”中发现的标题符号列表:
·所述位流可含有具有等于4的payloadType值的SEI消息。这允许在[对以下描述的新子章节的参考]中所描述的ST 2094-10元数据消息的任选传输。
在第6.3.2.2节下添加新子章节
将以下文本作为第6.3.2.2节“PQ转移特性”下的新子章节而添加至A/341。新子章节标题为第6.3.2.2.x节“SMPTE ST 2094-10元数据消息的编码及输送”。(为了可读,以下文本未按标记来展示。)
第6.3.2.2.x节“SMPTE ST 2094-10元数据消息的编码及输送
HEVC视频位流可含有2094-10元数据消息,以便提供关于HDR视频信号的动态信息。当存在2094-10元数据消息时,此信息可由显示器用以使传递的HDR成像适于显示装置的能力。此外,此元数据可用以由例如ATSC 3.0接收器/转换器的接收装置导出SDR(ITU-RBT.709[ref])图片。在于[对以下描述的新附录的参考]中定义的2094-10元数据消息中传送的信息提供用于在ST 2094-1[2]及ST 2094-10[1]中定义的元数据元素的携载。
2094-10元数据在存在时应按照在ANSI/SCTE 128-1[ref]的表14中定义的ATSC1_data()结构被编码及输送为由Recommendation ITU-T T.35补充增强信息(SEI)消息注册的用户数据,且将用于user_data_type_code的指派的值展示于[对表x.x的参考]中。
表x.x user_data_type_code
表x.x user_data_type_code
user_data_type_code user_data_type_structure
0x09 ST2094-10_data()
用于有效负载ST2094-10_data()的语法及语义应如在[对以下描述的新附录的参考]条款[对以下描述的新附录第1节的参考]中所指定。当存在时,应将对应NAL单元类型设定为等于PREFIX_SEI_NUT。
如果2094-10元数据消息存在,那么以下约束应适用:
·2094-10元数据消息应与位流的每一存取单元相关联。如果此消息存在,那么对于每个存取单元,其应仅存在一次。
·app_version应设定为等于0。
·主控显示器颜色容量SEI消息(含有SMPTE ST 2086[ref]静态元数据)应存在于位流中。
·具有等于1的ext_block_level的扩展块的数目应约束为等于1。
·具有等于2的ext_block_level的扩展块的数目应约束为小于或等于16。
·具有等于5的ext_block_level的扩展块的数目应约束为等于0或1。
将新附录添加至A/341
将以下文本作为新附录添加至A/341。所述附录标题为“基于SMPTEST2094-10_Data的元数据。”(为了可读,以下文本未按标记来展示。)
A.1基于ST 2094-10_DATA的元数据(规范性)
此条款指定ST2094-10_data()的语法及语义。
ST2094-10_data()的语法展示于表Y.Y、表Z.Z及表M.M中。
通过描述符f(n)、i(n)、ue(v)及u(n)对每一语法元素的剖析过程描述于HEVC[ref]中。
注:根据SMPTE标准ST2086[ref]、ST 2094-1[2]或ST 2094-10[1]定义元数据元素。明度值与12位PQ值之间的转换可发现于ST 2084附录A中。
表Y.Y ST2094-10_data()
表Z.Z ext_dm_data_block_payload()
表N.N ext_dm_data_block_payload()
表N.N ext_dm_data_block_payload
此条款定义用于ST2094-10_data()的语义。
出于本条款的目的,以下数学函数适用:
Floor(x)为小于或等于x的最大整数。
Round(x)=Sign(x)*Floor(Abs(x)+0.5)
/=将结果朝向零截断的整数除法。举例来说,7/4及-7/-4经截断至1,且-7/4及7/-4经截断至-1。
在此SEI消息中传达的信息的精确度意图充分用于对应于SMPTE ST 2094-10[1]的使用的目的。
app_identifier识别应用程序,且根据ST 2094-10[1]的第5节的约束而设定为等于1。
app_version指定在所述应用程序中的应用程序型式,且设定为等于0。
metadata_refresh_flag在设定为等于1时,按输出次序抵消任何先前扩展显示器映射元数据的持久性,且指示跟着为扩展显示器映射元数据。扩展显示器映射元数据从含有ST2094-10_data()的SEI消息相关联(包含性)的经译码图片持续至含有ST2094-10_data()且具有设定为等于1的metadata_refresh_flag的下一SEI消息按输出次序相关联(排它性)或(以其它方式)的经译码图片,至CVS中的最后一个图片(包含性)。当设定为等于0时,此旗标指示不跟着有扩展显示器映射元数据。
num_ext_blocks指定扩展显示器映射元数据块的数目。所述值应在1至254的范围中(包含1及254)。
dm_alignment_zero_bit应等于0。
ext_block_length[i]用以导出以字节计的第i个扩展显示器映射元数据块有效负载的大小。所述值应在0至1023的范围中(包含0及1023)。
ext_block_level[i]指定第i个扩展显示器映射元数据块中含有的有效负载的等级。所述值应在0至255的范围中(包含0及255)。对应扩展显示器映射元数据块类型定义于表E.1.4中。经ATSC保留的ext_block_level[i]的值不应存在于遵守ATSC规范的此版本的位流中。应忽略使用ATSC保留值的块。
当ext_block_level[i]的值设定为等于1时,ext_block_length[i]的值应设定为等于5。
当ext_block_level[i]的值设定为等于2时,ext_block_length[i]的值应设定为等于11。
当ext_block_level[i]的值设定为等于5时,ext_block_length[i]的值应设定为等于7。
表M.M扩展显示器映射元数据块类型的定义
当存在具有等于5的ext_block_level的扩展显示器映射元数据块时,以下约束应适用:
·具有等于5的ext_block_level的扩展显示器映射元数据块应在具有等于1或2的ext_block_level的至少一个扩展显示器映射元数据块之后。
·在具有等于5的ext_block_level的任何两个扩展显示器映射元数据块之间,应存在具有等于1或2的ext_block_level的至少一个扩展显示器映射元数据块。
·在最后一个具有等于5的ext_block_level的扩展显示器映射元数据块后,不应存在具有等于1或2的ext_block_level的扩展显示器映射元数据块。
·具有等于1或2的ext_block_level的扩展显示器映射元数据块的元数据应被应用于由在此块后的第一个具有等于5的ext_block_level的扩展显示器映射元数据块指定的活动区。
·当由具有等于5的ext_block_level的当前扩展显示器映射元数据块定义的活动区与由具有等于5的ext_block_level的先前扩展显示器映射元数据块定义的活动区重叠时,与具有等于5的ext_block_level的当前扩展显示器映射元数据块相关联的具有等于1或2的ext_block_level的扩展显示器映射元数据块的所有元数据应被应用于重叠区的像素值。
min_PQ指定在12位PQ编码中的当前图片的最小明度值。所述值应在0至4095的范围中(包含0及4095)。注意,12位min_PQ值计算如下:
min_PQ=Clip3(0,4095,Round(Min*4095))
其中Min为如在SMPTE ST 2094-10[1]的条款6.1.3中定义的MinimumPqencodedMaxrgb。
max_PQ指定在12位PQ编码中的当前图片的最大明度值。所述值应在0至4095的范围中(包含0及4095)。注意,12位max_PQ值计算如下:
max_PQ=Clip3(0,4095,Round(Max*4095))
其中Max为如在SMPTE ST 2094-10[1]的条款6.1.5中定义的MaximumPqencodedMaxrgb。
avg_PQ指定用于在12位PQ编码中的图片的明度的平均PQ码值。所述值应在0至4095的范围中(包含0及4095)。注意,12位avg_PQ值计算如下:
avg_PQ=Clip3(0,4095,Round(Avg*4095))
其中Avg为如在SMPTE ST 2094-10[1]的条款6.1.4中定义的AveragePqencodedMaxrgb。
target_max_PQ指定在12位PQ编码中的目标显示器的最大明度值。所述值应在0至4095的范围中(包含0及4095)。target_max_PQ为如在SMPTE ST 2094-1[2]的条款10.4中定义的TargetedSystemDisplayMaximumLuminance的经PQ编码值。
注:此SEI消息不支持在ST 2094-10[1]中指定为强制的TargetedSystemDisplayPrimaries、TargetedSystemDisplayWhitePointChromaticity及TargetedSystemDisplayMinimumLuminance的发信号。
如果存在多于一个具有等于2的ext_block_level的扩展显示器映射元数据,那么那些块不应具有复制的target_max_PQ。
trim_slope指定斜度元数据。所述值应在0至4095的范围中(包含0及4095)。如果trim_slope不存在,那么应将其推断为2048。注意,12位斜度值计算如下:
trim_slope=Clip3(0,4095,Round((SS-0.5)*4096))
其中S为如在SMPTE ST 2094-10[1]的条款6.2.3中定义的ToneMappingGain。
trim_offset指定偏移元数据。所述值应在0至4095的范围中(包含0及4095)。如果trim_offset不存在,那么应将其推断为2048。注意,12位偏差值计算如下:
trim_offset=Clip3(0,4095,Round((OO+0.5)*4096))
其中O为如在SMPTE ST 2094-10 1的条款6.2.2中定义的ToneMappingOffset。
trim_power指定功率元数据。所述值应在0至4095的范围中(包含0及4095)。如果trim_power不存在,那么应将其推断为2048。注意,12位功率值计算如下:
trim_power=Clip3(0,4095,Round((PP-0.5)*4096))
其中P为如在SMPTE ST 2094-10[1]的条款6.2.4中定义的ToneMappingGamma。
trim_chroma_weight指定色度权重元数据。所述值应在0至4095的范围中(包含0及4095)。如果trim_chroma_weight不存在,那么应将其推断为2048。注意,12位色度权重值计算如下:
trim_chroma_weight=Clip3(0,4095,Round((CCCC+0.5)*4096))
其中CW为如在SMPTE ST 2094-10[1]的条款6.3.1中定义的ChromaCompensationWeight。
trim_saturation_gain指定饱和增益元数据。所述值应在0至4095的范围中(包含0及4095)。如果trim_saturation_gain不存在,那么应将其推断为2048。注意,12位饱和增益值计算如下:
trim_saturation_gain=Clip3(0,4095,Round((SSSS+0.5)*4096))
其中SG为如在SMPTE ST 2094-10[1]的条款6.3.2中定义的SaturationGain。
ms_weight此字段经保留以用于未来规范。此13位带正负号的整数应为0x1fff(-1)。
active_area_left_offset、active_area_right_offset、active_area_top_offset、active_area_bottom_offset按在用于活动区的图片坐标中指定的矩形区域而指定当前图片的选定像素。所述值应在0至8191的范围中(包含0及8191)。也见ST 2094-10[1]的ProcessingWindow。
active_area_left_offset、active_area_right_offset、active_area_top_offset、active_area_bottom_offset表示约束于ST 2094-10[1]的条款7.1中的UpperLeftCorner及LowerRightCorner的坐标,如下:
UpperLeftCorner=(active_area_left_offset,active_area_top_offset)
LowerRightCorner=(XSize-1-active_area_right_offset,YSize-1-
active_area_bottom_offset)
其中Xsize为当前图片的水平分辨率,且Ysize为当前图片的竖直分辨率。
ext_dm_alignment_zero_bit应等于0。
图7为用于处理视频数据的过程700的实例。过程700可由正实施ST 2094-10的视频译码系统(例如图1的视频译码系统)执行。
在步骤702,图7的过程700包含接收视频数据,其中视频数据包含至少两个视频信号。至少两个视频信号可有关或无关,及/或可相同或不同。举例来说,每一视频信号可能已由不同相机捕获。
在步骤704,过程700包含从视频数据获得一或多个颜色容量变换参数集。如上所论述,颜色容量变换参数可包含转移函数,以及与转移函数有关的变量及常量。在各种实施方案中,可使用转移函数、变量及常量将颜色容量压紧至较小动态范围内。
在步骤706,过程700包含确定用于至少两个视频信号中的每一者的显示区域,其中显示区域确定将显示视频信号的视频帧的部分。在一些情况下,显示区域可邻近。在一些情况下,显示区域可重叠。在一些情况下,例如在子母画面的情况下,显示区域可完全与另一显示区域重叠。
在步骤708,过程700包含针对至少两个视频信号中的每一者确定至少两个视频信号当中的视频信号与一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的相应关联,其中颜色容量变换参数集确定用于视频信号的显示区域的一或多个显示参数。举例来说,颜色容量变换参数集可用以修改与颜色容量变换参数集相关联的特定视频信号。在此实例中,颜色容量变换参数集可用以将视频信号的动态范围压紧至可由特定显示装置显示的范围内。
在步骤710,过程700包含产生用于一或多个颜色容量变换参数集的一或多个元数据块。元数据块可例如在一或多个SEI NAL单元中被编码。
在步骤712,过程700包含产生用于视频数据的经编码位流,其中经编码位流包含一或多个元数据块。举例来说,可使用AVC或HEVC标准或另一视频译码标准产生经编码位流。
在步骤714,过程700包含在经编码位流中编码至少两个视频信号与一或多个颜色容量参数集之间的确定的相应关联。在一些实施方案中,编码关联可包含根据显示区域在视频帧内的次序将一或多个元数据块放置于经编码位流中。举例来说,含有用于第一(按光栅次序)显示区域的颜色容量变换参数集的一或多个元数据块可放置于经编码位流中,接着含有用于第二(按光栅次序)显示区域的颜色容量变换参数集的元数据块可放置于下一经编码位流中,等等。
在一些实施方案中,编码至少两个视频信号与一或多个颜色容量参数集之间的确定的关联可包含将各自指示确定的关联的一或多个值插入至经编码位流内。举例来说,可将数据结构编码成位流,其中数据结构指示在特定元数据块集中编码的颜色容量参数集与显示区域之间的关联。
在一些情况下,用于来自至少两个视频信号的第一视频信号的第一显示区域与用于来自至少两个视频信号的第二视频信号的第二显示区域重叠。在这些情况下,在重叠区域中使用的来自一或多个颜色容量变换参数集的颜色容量变换参数集由第一显示区域与第二显示区域之间的优先权确定。在一些实例中,优先权是基于第一显示区域及第二显示区域在视频帧中显示的次序。在一些实例中,优先权是基于由视频数据提供的值。举例来说,可将优先权值与每一显示区域一起编码成位流。
图8为用于处理视频数据的过程800的实例。过程800可由实施ST 2094-10的视频译码系统实施。
在步骤802,过程800包含接收经编码位流,其中经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块。至少两个视频信号可有关或无关,及/或可相同或不同。举例来说,每一视频信号可能已由不同相机捕获。颜色容量变换参数集可包含例如转移函数及与转移函数有关的变量及/或常量。一或多个元数据块可例如在经编码位流中的一或多个SEI NAL单元中被编码。
在步骤804,过程800包含确定用于至少经编码的两个视频信号中的每一者的显示区域。每一显示区域可对应于显示装置的屏幕(例如,监视器、智能电话屏幕、平板计算机屏幕等)的区。每一视频信号可显示于个别(或可能多个个别)显示区域中。
在步骤806,过程800包含针对至少两个视频信号中的每一者确定至少两个视频信号当中的视频信号与颜色容量变换参数集当中的颜色容量变换参数集之间的关联。
在步骤808,过程800包含使用相应相关联的颜色容量变换参数集解码至少两个经编码视频信号,其中相应相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。举例来说,颜色容量变换参数集可用以将视频信号的动态范围压紧至可由特定显示装置显示的范围内。
在一些实施方案中,至少两个视频信号与一或多个颜色容量变换参数集之间的关联是基于显示区域的次序。举例来说,第一个出现在经编码位流中的颜色容量变换参数集可与第一(按光栅次序)显示区域相关联。
在一些实施方案中,至少两个视频信号与一或多个颜色容量变换参数集之间的关联是基于经编码位流中包含的一或多个值。举例来说,数据结构可经编码成位流,其中数据结构包含使颜色容量变换参数集与特定显示区域相关联的值。
在一些情况下,用于来自至少两个视频信号的第一视频信号的第一显示区域与用于来自至少两个视频信号的第二视频信号的第二显示区域重叠。在这些情况下,在重叠区域中使用的来自一或多个颜色容量变换参数集的颜色容量变换参数集由第一显示区域与第二显示区域之间的优先权确定。举例来说,优先权可基于第一显示区域及第二显示区域在视频帧中显示的次序。作为另一实例,优先权可基于由视频数据提供的值。
图9为用于处理视频数据的过程900的实例。过程900可由包含ST 2094-10的视频译码系统实施。
在步骤902,过程900包含接收视频数据,其中视频数据与颜色容量相关联。如上所论述,颜色容量可包含至少动态范围及色域,在视频数据中捕获的颜色的深度及范围。
在步骤904,过程900包含从视频数据获得颜色容量变换参数集,其中颜色容量变换参数集可用以变换颜色容量。举例来说,颜色容量变换参数集可包含转移函数、变量及常量。作为另一实例,颜色容量变换参数可用以将颜色容量的动态范围压紧至可由特定显示装置显示的范围。
在步骤906,过程900包含获得主控显示颜色容量参数集,其中主控显示颜色容量参数集包含当产生视频数据的主副本时确定的值。主控显示颜色容量参数可反映例如制作视频数据的人希望的颜色的深度及范围。在一些实例中,对于视频数据的任何副本,尽可能地使用由主控显示颜色容量参数捕获的颜色的深度及范围来显示是可取的。
在步骤908,过程900包含产生用于颜色容量变换参数集的一或多个元数据块。一或多个元数据块可编码例如至一或多个SEI NAL单元内。
在步骤910,过程900包含产生用于主控显示颜色容量参数集的一或多个额外元数据块。在各种实例中,用于主控显示颜色容量参数的元数据块也可在SEI NAL单元中被编码。
在步骤912,过程900包含产生用于视频数据的经编码位流,其中经编码位流包含一或多个元数据块及一或多个额外元数据块,其中因为经编码位流中存在一或多个元数据块,所以需要包含一或多个额外元数据块。
在一些实例中,颜色容量变换参数集包含转移特性,且其中,在经编码位流中,当转移特性不对应于特定值时,排除一或多个元数据块。举例来说,当来自ST 2084的转移函数包含于颜色容量变换参数集中时,转移特性具有值16,且当包含来自HLG的转移函数时,具有值18。在这些实例中,当转移函数既不具有值16,也不具有值18时,一或多个元数据块不包含于位流中。
在一些实例中,颜色容量变换参数集与主控显示颜色容量参数集包含同一字段。在这些实例中,基于字段存在于用于主控显示颜色容量参数的一或多个额外元数据块中,从用于颜色容量变换参数集的一或多个元数据块省略所述字段。
在一些实例中,视频数据包含多个处理窗。在一些实施方案中,在经编码位流中,将多个处理窗的数量约束于一与十六之间的值。此约束设定对解码器的期望,使得解码器可期望在经编码位流中不多于十六个处理窗。类似地,在一些实例中,视频数据包含多个内容描述元素,且其中,在经编码位流中,将多个内容描述元素的数量约束于一。在一些实例中,视频数据包含多个目标显示元素,且其中,在经编码位流中,将多个目标显示元素的数量约束于一与十六之间的值。这些约束可限制预期解码器能够处置的选项的范围。
在一些实例中,经编码位流在经编码位流中可包含用于每一存取单元的至少一个元数据块,元数据块包含颜色容量变换参数。即,对于每一存取单元,经编码位流将包含至少一个元数据块,其包含颜色容量变换参数。
在一些实例中,从经编码位流排除定义为保留值的值。举例来说,可从经编码位流排除用于元数据块(其中元数据块包含颜色容量变换参数)的ext_block_level字段的保留值。
在一些实施方案中,用于颜色容量变换参数的一或多个元数据块各自包含长度值。在一些实例中,在经编码位流中,将长度值约束于八的倍数。在一些实例中,将长度值约束于0与255之间的值。
图10为用于处理视频数据的过程1000的实例。过程1000可由实施ST 2094-10的视频译码系统实施。
在步骤1002,过程1000包含接收经编码位流,其中经编码位流包含包含经编码颜色容量变换参数集的一或多个元数据块。颜色容量参数可用以减小经编码位流中包含的视频数据的动态范围,使得视频数据可由特定显示装置显示。在一些实例中,元数据块在经编码位流中的一或多个SEI NAL单元中被编码。
在步骤1004,过程1000包含确定一或多个元数据块在经编码位流中的存在。
在步骤1006,过程1000包含基于经编码位流中存在一或多个元数据块的确定,确定在经编码位流中需要存在一或多个额外块。
在步骤1008,过程1000包含确定经编码位流不包含包含经编码主控显示颜色容量参数集的一或多个额外元数据块。在一些实施方案中,包含经编码颜色容量变换参数集的元数据块在经编码位流中的存在意味着包含主控显示颜色容量参数的元数据块也应存在于经编码位流中。额外元数据块可另外在经编码位流中的一或多个SEI NAL单元中被编码。
在步骤1010,过程1000包含基于经编码位流不包含一或多个额外元数据块,确定经编码位流不符合要求。合格的位流为遵照同意的标准的位流。不合格的位流可能不可剖析,及/或不可由符合标准的解码器播放。
在步骤1012,过程100包含基于经编码位流不符合要求的确定,不处理经编码位流的至少一部分。不处理位流的部分可意味着,例如,不剖析、解码及/或另外使用包含颜色容量变换参数的元数据块(例如,含有所述参数的SEI NAL单元)。替代地或另外,不处理位流的部分可意味着,例如,不处理(例如,解码及/或显示)与颜色容量变换参数相关联的视频数据。替代地或另外,不处理位流的部分可意味着不解码或显示全部位流。
在一些实施方案中,经编码颜色容量变换参数集包含转移特性。在这些实施方案中,过程1000进一步包含确定转移特性的值为特定值,例如指示ST 2084转移函数包含于位流中的值,或指示HLG转移函数包含于位流中的值。在这些实施方案中,经编码位流不合格,因为一或多个元数据块包含于经编码位流中,且转移特性的值为特定值。
在一些情况下,经编码颜色容量变换参数集与经编码主控显示颜色容量参数集包含同一字段。在这些情况下,确定经编码位流不合格是进一步基于所述字段存在于一或多个元数据块及一或多个额外元数据块两者中。
在一些情况下,经编码颜色容量变换参数集及经编码主控显示颜色容量参数集包含同一字段,且从一或多个元数据块省略所述字段。在这些情况下,当解码颜色容量参数集时,解码使用用于来自经编码主控显示颜色容量参数集的字段的值。
在一些情况下,正被处理的视频数据包含多个处理窗。在这些情况下,确定经编码位流不合格可进一步基于多个处理窗的数量大于十六。
在一些情况下,视频数据包含多个内容描述元素。在这些情况下,确定经编码位流不合格可进一步基于多个内容描述元素的数量大于一。
在一些情况下,视频数据包含多个目标显示元素。在这些情况下,确定经编码位流不合格可进一步基于多个目标显示元素的数量大于十六。
在一些实施方案中,过程1000可进一步包括确定经编码位流在经编码位流中不包含用于特定存取单元的元数据块。在这些实施方案中,确定经编码位流不合格可进一步基于经编码位流不包含用于特定存取单元的元数据块。
在一些实施方案中,过程1000可进一步包含确定经编码位流包含保留值。在这些实施方案中,确定经编码位流不合格可进一步基于经编码位流包含保留值。
在一些实施方案中,一或多个元数据块各自包含长度值。在这些情况下,确定经编码位流不合格可进一步基于长度值并非八的倍数。在一些情况下,确定经编码位流不合格可进一步基于长度值大于255。
本文中所论述的方法及操作可使用经压缩视频来实施,且可在实例视频编码及解码系统(例如,系统100)中实施。在一些实例中,系统包含源装置,源装置提供稍后由目的地装置解码的经编码视频数据。具体地说,源装置经由计算机可读媒体将视频数据提供至目的地装置。源装置及目的地装置可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等。在一些情况下,源装置及目的地装置可经装备以用于无线通信。
目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动至目的地装置的任何类型的媒体或装置。在一个实例中,计算机可读媒体可包括用以使源装置能够实时地将经编码视频数据直接传输至目的地装置的通信媒体。可根据通信标准(例如无线通信协议)调制经编码视频数据,且将经编码视频数据传输至目的地装置。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全球网络)的部分。通信媒体可包含路由器、交换机、基站,或可用于促进从源装置至目的地装置的通信的任何其它设备。
在一些实例中,经编码数据可从输出接口输出至存储装置。类似地,经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可对应于可存储由源装置产生的经编码视频的文件服务器或另一中间存储装置。目的地装置可经由流式处理或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输至目的地装置的任何类型的服务器。实例文件服务器包含网页服务器(例如,用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置可经由任何标准数据连接(包含互联网连接)来存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。从存储装置的经编码视频数据的传输可为流式处理传输、下载传输或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码,例如空中电视广播、有线电视传输、卫星电视传输、互联网流式处理视频传输(例如经由HTTP的动态自适应流式处理(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统可经配置以支持单向或双向视频传输,从而支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在一个实例中,源装置包含视频源、视频编码器及输出接口。目的地装置可包含输入接口、视频解码器及显示装置。源装置的视频编码器可经配置以应用本文中所揭示的技术。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置可从外部视频源(例如外部相机)接收视频数据。同样,目的地装置可与外部显示装置介接,而非包含集成显示装置。
以上实例系统仅为一个实例。用于并行地处理视频数据的技术可由任一数字视频编码及/或解码装置执行。尽管本发明的技术一般由视频编码装置执行,但所述技术还可由视频编码器/解码器(通常被称作“编解码器”)执行。此外,本发明的技术还可由视频预处理器执行。源装置及目的地装置仅为源装置产生经译码视频数据以供传输至目的地装置的此类译码装置的实例。在一些实例中,源装置及目的地装置可以大体上对称的方式操作,使得所述装置中的每一者包含视频编码及解码组件。因此,实例系统可支持视频装置之间的单向或双向视频传输,例如,用于视频流式处理、视频回放、视频广播或视频电话。
视频源可包含视频捕获装置,例如视频相机、含有先前捕获的视频的视频存档,及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源可产生基于计算机图形的数据,作为源视频,或实况视频、存档视频及计算机产生的视频的组合。在一些情况下,如果视频源为视频相机,那么源装置及目的地装置可形成所谓的相机电话或视频电话。然而,如上所提到,本发明中所描述的技术一般可适用于视频译码,且可适用于无线及/或有线应用。在每一情况下,可由视频编码器编码经捕获、经预捕获或计算机产生的视频。经编码视频信息接着可由输出接口输出至计算机可读媒体上。
如所指出,计算机可读媒体可包含:暂时性媒体,例如无线广播或有线网络传输;或存储媒体(即,非暂时性存储媒体),例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未展示)可从源装置接收经编码视频数据,且将经编码视频数据提供至目的地装置,例如,经由网络传输。类似地,媒体生产设施(例如光盘冲压设施)的计算装置可从源装置接收经编码视频数据且生产含有经编码视频数据的光盘。因此,在各种实例中,可理解计算机可读媒体包含各种形式的一或多个计算机可读媒体。
目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的语法信息(其也由视频解码器使用),所述语法信息包含描述块及其它经译码单元(例如,图片群组(GOP))的特性及/或处理的语法元素。显示装置将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已描述了本发明的各种实施例。
编码装置104及解码装置112的特定细节分别展示于图11及图12中。图11为绘示可实施本发明中所描述的技术中的一或多者的实例编码装置104的框图。编码装置104可例如产生本文中所描述的语法结构(例如,VPS、SPS、PPS或其它语法元素的语法结构)。编码装置104可执行视频切片内的视频块的帧内预测及帧间预测译码。如先前所描述,帧内译码至少部分地依赖于空间预测以减少或移除给定视频帧或图片内的空间冗余。帧间译码至少部分地依赖于时间预测以减少或移除视频序列的邻近或周围帧内的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
编码装置104包含分割单元35、预测处理单元41、滤波器单元63、图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。对于视频块重构,编码装置104还包含反量化单元58、反变换处理单元60及求和器62。滤波器单元63意图表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元63在图11中被展示为环路滤波器,但在其它配置中,滤波器单元63可被实施为环路后滤波器。后处理装置57可对由编码装置104产生的经编码视频数据执行额外处理。本发明的技术可在一些情况下由编码装置104实施。然而,在其它情况下,本发明的技术中的一或多者可由后处理装置57实施。
如图11中所展示,编码装置104接收视频数据,且分割单元35将数据分割成视频块。分割还可包含分割成切片、切片段、图像块或其它较大单元,以及视频块分割,例如,根据LCU及CU的四叉树结构。编码装置104通常说明编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称作图像块的视频块的集合)。预测处理单元41可基于误差结果(例如,译码速率及失真等级等)选择多个可能译码模式中的一者(例如多个帧内预测译码模式中的一者或多个帧间预测译码模式中的一者)用于当前视频块。预测处理单元41可将所得经帧内或帧间译码块提供至求和器50以产生残余块数据,且提供至求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块相同的帧或切片中的一或多个邻近块的帧内预测译码,以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码,以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定样式来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度集成,但出于概念目的而被单独绘示。由运动估计单元42执行的运动估计为产生运动向量的过程,所述运动向量估计视频块的运动。运动向量例如可指示当前视频帧或图片内的视频块的预测单元(PU)相对于参考图片内的预测性块的位移。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块,所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中,编码装置104可计算存储于图片存储器64中的参考图片的子整数像素位置的值。举例来说,编码装置104可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计(可能执行内插至子像素精确度)确定的运动向量而提取或产生预测性块。在接收到当前视频块的PU的运动向量后,运动补偿单元44就可在参考图片列表中找到运动向量所指向的预测性块的位置。编码装置104通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差形成用于块的残余数据,且可包含明度及色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素,以供解码装置112用于解码视频切片的视频块。
如上文所描述,作为对由运动估计单元42及运动补偿单元44所执行的帧间预测的替代方案,帧内预测处理单元46可帧内预测当前块。具体地说,帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中,帧内预测处理单元46可例如在单独编码遍次期间使用各种帧内预测模式编码当前块,且帧内预测处理单元46可从经测试模式选择适当帧内预测模式来使用。举例来说,帧内预测处理单元46可使用对各种经测试帧内预测模式的速率-失真分析来计算速率-失真值,且可在经测试模式间选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量,以及用以产生经编码块的位速率(即,位的数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在任何情况下,在选择用于块的帧内预测模式后,帧内预测处理单元46可将指示用于块的选定帧内预测模式的信息提供至熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。编码装置104可将各种块的编码上下文的定义以及用于上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示包含于经传输位流配置数据中。位流配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)。
在预测处理单元41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后,编码装置104通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且被应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换至变换域(例如频域)。
变换处理单元52可将所得变换系数发送至量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地,熵编码单元56可执行扫描。
在量化之后,熵编码单元56熵编码经量化变换系数。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码技术。在由熵编码单元56熵编码之后,经编码位流可传输至解码装置112,或经存档以供稍后传输或由解码装置112检索。熵编码单元56还可熵编码正被译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重构像素域中的残余块,以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块与参考图片列表内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以在运动估计中使用。求和器62将经重构残余块与由运动补偿单元44产生的经运动补偿预测块相加以产生用于存储于图片存储器64中的参考块。参考块可由运动估计单元42及运动补偿单元44用作参考块以帧间预测后续视频帧或图片中的块。
以此方式,图11的编码装置104表示经配置以产生经编码视频位流的语法的视频编码器的实例。编码装置104可例如产生如上文所描述的VPS、SPS及PPS参数集。编码装置104可执行本文中所描述的技术中的任一者,包含上文关于图7及8所描述的过程。本发明的技术已大体上关于编码装置104加以描述,但如上文所提到,本发明的技术中的一些还可由后处理装置57实施。
图12为绘示实例解码装置112的框图。解码装置112包含熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元91及图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中,解码装置112可执行大体上与关于来自图16的编码装置104所描述的编码遍次互逆的解码遍次。
在解码过程期间,解码装置112接收表示由编码装置104发送的经编码视频切片的视频块及相关联的语法元素的经编码视频位流。在一些实施例中,解码装置112可从编码装置104接收经编码视频位流。在一些实施例中,解码装置112可从网络实体79(例如服务器、媒体感知网络元件(MANE)、视频编辑器/编接器(splicer)或经配置以实施上文所描述的技术中的一或多者的其它此类装置)接收经编码视频位流。网络实体79可或可不包编码装置104。在网络实体79将经编码视频位流传输至解码装置112之前,本发明中所描述的技术中的一些可由网络实体79实施。在一些视频解码系统中,网络实体79及解码装置112可为分开的装置的部分,而在其它情况下,关于网络实体79所描述的功能性可由包括解码装置112的同一装置执行。
解码装置112的熵解码单元80熵解码位流以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发至预测处理单元81。解码装置112可接收在视频切片层级及/或视频块层级的语法元素。熵解码单元80可处理及剖析例如VPS、SPS及PPS的一或多个参数集中的固定长度语法元素及可变长度语法元素两者。
当视频切片被译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于经发信号的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即,B、P或GPB)切片时,预测处理单元81的运动补偿单元82基于运动向量及从熵解码单元80接收的其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表内的参考图片中的一者产生。解码装置112可基于存储于图片存储器92中的参考图片使用默认构造技术来构造参考帧列表--列表0及列表1。
运动补偿单元82通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息,并使用所述预测信息产生正被解码的当前视频块的预测性块。举例来说,运动补偿单元82可使用参数集中的一或多个语法元素以确定用以译码视频切片的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、切片的一或多个参考图片列表的构造信息、切片的每一帧间编码视频块的运动向量、切片的每一帧间译码视频块的帧间预测状态及解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可执行基于内插滤波器的内插。运动补偿单元82可使用如在视频块的编码期间由编码装置104使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下,运动补偿单元82可从接收的语法元素确定由编码装置104使用的内插滤波器,且可使用所述内插滤波器产生预测性块。
反量化单元86反量化或解量化位流中所提供且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由编码装置104针对视频切片中的每一视频块计算的量化参数来确定量化程度,及同样地,应被应用的反量化程度。反变换处理单元88将反变换(例如,反DCT或其它合适的反变换)、反整数变换或概念上类似的反变换过程应用于变换系数以便在像素域中产生残余块。
在运动补偿单元82基于运动向量及其它语法元素而产生当前视频块的预测性块之后,解码装置112通过将来自反变换处理单元88的残余块与由运动补偿单元82产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此求和运算的组件。需要时,还可使用环路滤波器(在译码环路中或在译码环路后)以使像素转变平滑,或以其它方式改善视频质量。滤波器单元91意图表示一或多个环路滤波器(例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器)。尽管滤波器单元91在图12中被展示为环路中滤波器,但在其它配置中,滤波器单元91可被实施为环路后滤波器。给定帧或图片中的经解码视频块接着存储于图片存储器92中,图片存储器92存储用于后续运动补偿的参考图片。图片存储器92还存储经解码视频以供稍后呈现于显示装置(例如图1中所展示的视频目的地装置122)上。
在前述描述中,本申请案的方面参考其特定实施例予以描述,但所属领域技术人员将认识到本发明不限于此情形。因此,尽管本文中已详细描述了本申请案的说明性实施例,但应理解,本发明概念可以其它方式被不同地体现及使用,且所附权利要求书意图被认作包含除了现有技术所限制者以外的这些变化。上文所描述的发明的各种特征及方面可被个别地或联合地使用。另外,实施例可用于超出本文中所描述的环境及应用的任何数目个环境及应用,而不脱离本说明书的更广精神及范围。因此,本说明书及附图被视为说明性而非限制性的。出于说明的目的,以特定次序描述方法。应了解,在替代实施例中,可以与所描述的次序不同的次序来执行所述方法。
在组件被描述为“经配置以”执行某些操作的情况下,可例如通过设计电子电路或其它硬件以执行操作、通过编程可编程电子电路(例如,微处理器或其它合适电子电路)以执行操作或其任何组合来实现此配置。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件与软件的此可互换性,各种说明性组件、块、模块、电路及步骤已在上文大体上按其功能性加以描述。将此功能性实施为硬件还是软件取决于特定应用及强加于整个系统上的设计约束。所属领域技术人员可针对每一特定应用以不同方式实施所描述的功能性,但不应将这些实施决策解释为导致脱离本发明的范围。
本文中所描述的技术还可实施于电子硬件、计算机软件、固件或其任何组合中。这些技术可实施于多种装置中的任一者中,例如通用计算机、无线通信装置手机或具有多种用途(包含在无线通信装置手机及其它装置中的应用)的集成电路装置。可将描述为模块或组件的任何特征一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果以软件实施,那么所述技术可至少部分地由包括包含在执行时执行以上描述的方法中的一或多者的指令的程序代码的计算机可读数据存储媒体实现。计算机可读数据存储媒体可形成计算机程序产品的部分,计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体,例如随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁性或光学数据存储媒体等。另外或替代地,所述技术可至少部分地由计算机可读通信媒体实现,所述计算机可读通信媒体携载或传达呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序代码,例如传播的信号或波。
程序代码可由可包含一或多个处理器的处理器执行,例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器;但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心,或任何其它此配置。因此,如本文中所使用的术语“处理器”可指以下各者中的任一者:前述结构、前述结构的任何组合,或适合于实施本文中所描述的技术的任一其它结构或设备。此外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用软件模块或硬件模块内,或结合于组合式视频编码器-解码器(编解码器)中。

Claims (28)

1.一种用于处理视频数据的方法,其包括:
接收所述视频数据,其中所述视频数据包含至少两个视频信号;
从所述视频数据获得一或多个颜色容量变换参数集;
确定用于所述至少两个视频信号中的每一者的显示区域,其中显示区域确定将显示视频信号的视频帧的部分;
针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的相应关联,其中颜色容量变换参数集确定用于视频信号的显示区域的一或多个显示参数;
产生用于所述一或多个颜色容量变换参数集的一或多个元数据块;
产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块;及
在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联。
2.根据权利要求1所述的方法,其中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含根据所述显示区域在所述视频帧内的次序将所述一或多个元数据块放置于所述经编码位流中。
3.根据权利要求1所述的方法,其中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含将各自指示所述确定的相应关联的一或多个值插入至所述经编码位流内。
4.根据权利要求1所述的方法,其中用于所述至少两个视频信号当中的第一视频信号的第一显示区域与用于所述至少两个视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。
5.根据权利要求4所述的方法,其中所述优先权是基于所述第一显示区域及所述第二显示区域在所述视频帧中显示的次序。
6.根据权利要求4所述的方法,其中所述优先权是基于由所述视频数据提供的值。
7.根据权利要求1所述的方法,其中所述一或多个元数据块在一或多个补充增强信息SEI网络抽象层NAL单元中被编码。
8.一种用于处理视频数据的设备,其包括:
存储器,其经配置以存储视频数据,其中所述视频数据包含至少两个视频信号;及
处理器,其经配置以:
从所述视频数据获得一或多个颜色容量变换参数集;
确定用于所述至少两个视频信号中的每一者的显示区域,其中显示区域确定将显示两个视频信号的视频帧的部分;
针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联,其中颜色容量变换参数集确定用于视频信号的显示区域的一或多个显示参数;
产生用于所述一或多个颜色容量变换参数集的一或多个元数据块;
产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块;及
在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联。
9.根据权利要求8所述的设备,其中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含根据所述显示区域在所述视频帧内的次序将所述一或多个元数据块放置于所述经编码位流中。
10.根据权利要求8所述的设备,其中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联包含将各自指示所述确定的相应关联的一或多个值插入至所述经编码位流内。
11.根据权利要求8所述的设备,其中用于所述至少两个视频信号当中的第一视频信号的第一显示区域与用于所述至少两个视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。
12.根据权利要求8所述的设备,其中所述一或多个元数据块在一或多个补充增强信息SEI网络抽象层NAL单元中被编码。
13.一种非暂时性计算机可读媒体,其上存储有指令,所述指令在由一或多个处理器执行时使所述一或多个处理器:
接收视频数据,其中所述视频数据包含至少两个视频信号;
从所述视频数据获得一或多个颜色容量变换参数集;
确定用于所述至少两个视频信号中的每一者的显示区域,其中显示区域确定将显示视频信号的视频帧的部分;
针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联,其中颜色容量变换参数集确定用于视频信号的显示区域的一或多个显示参数;
产生用于所述一或多个颜色容量变换参数集的一或多个元数据块;
产生用于所述视频数据的经编码位流,其中所述经编码位流包含所述一或多个元数据块;及
在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联。
14.一种用于处理视频数据的设备,其包括:
用于接收所述视频数据的装置,其中所述视频数据包含至少两个视频信号;
用于从所述视频数据获得一或多个颜色容量变换参数集的装置;
用于确定用于所述至少两个视频信号中的每一者的显示区域的装置,其中显示区域确定将显示视频信号的视频帧的部分;
用于针对所述至少两个视频信号中的每一者确定所述至少两个视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联的装置,其中颜色容量变换参数集确定用于视频信号的显示区域的一或多个显示参数;
用于产生用于所述一或多个颜色容量变换参数集的一或多个元数据块的装置;
用于产生用于所述视频数据的经编码位流的装置,其中所述经编码位流包含所述一或多个元数据块;及
用于在所述经编码位流中编码所述至少两个视频信号与所述一或多个颜色容量参数集之间的所述确定的相应关联的装置。
15.一种处理视频数据的方法,其包括:
接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块;
确定用于所述至少经编码的两个视频信号中的每一者的显示区域;
针对所述至少经编码的两个视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述一或多个颜色容量变换参数集当中的颜色容量变换参数集之间的关联;及
使用相应相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相应相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
16.根据权利要求15所述的方法,其中所述至少两个经编码视频信号与所述一或多个颜色容量变换参数集之间的所述相应关联是基于所述显示区域的次序。
17.根据权利要求15所述的方法,其中所述至少两个经编码视频信号与所述一或多个颜色容量变换参数集之间的所述相应关联是基于所述经编码位流中包含的一或多个值。
18.根据权利要求15所述的方法,其中用于所述至少两个经编码视频信号当中的第一视频信号的第一显示区域与用于所述至少两个经编码视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。
19.根据权利要求18所述的方法,其中所述优先权是基于所述第一显示区域及所述第二显示区域在视频帧中显示的次序。
20.根据权利要求18所述的方法,其中所述优先权是基于由所述视频数据提供的值。
21.根据权利要求18所述的方法,其中所述一或多个元数据块在一或多个补充增强信息SEI网络抽象层NAL单元中被编码。
22.一种用于处理视频数据的设备,其包括:
存储器,其经配置以存储视频数据;及
处理器,其经配置以:
接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块;
确定用于所述至少经编码的两个视频信号中的每一者的显示区域;
针对所述至少两个经编码视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述颜色容量变换参数集当中的颜色容量变换参数集之间的关联;及
使用相应相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相应相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
23.根据权利要求22所述的设备,其中所述至少两个经编码视频信号与所述一或多个颜色容量变换参数集之间的所述相应关联是基于所述显示区域的次序。
24.根据权利要求22所述的设备,其中所述至少两个经编码视频信号与所述一或多个颜色容量变换参数集之间的所述相应关联是基于所述经编码位流中包含的一或多个值。
25.根据权利要求22所述的设备,其中用于所述至少两个经编码视频信号当中的第一视频信号的第一显示区域与用于所述至少两个经编码视频信号当中的第二视频信号的第二显示区域重叠,且其中在所述重叠区域中使用的所述一或多个颜色容量变换参数集当中的颜色容量变换参数集由所述第一显示区域与所述第二显示区域之间的优先权确定。
26.根据权利要求22所述的设备,其中所述一或多个元数据块在一或多个补充增强信息SEI网络抽象层NAL单元中被编码。
27.一种非暂时性计算机可读媒体,其上存储有指令,所述指令在由一或多个处理器执行时使所述一或多个处理器:
接收经编码位流,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块;
确定用于所述至少经编码的两个视频信号中的每一者的显示区域;
针对所述至少两个经编码视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述颜色容量变换参数集当中的颜色容量变换参数集之间的关联;及
使用相应相关联的颜色容量变换参数集解码所述至少两个经编码视频信号,其中所述相应相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
28.一种用于处理视频数据的设备,其包括:
用于接收经编码位流的装置,其中所述经编码位流包含至少两个经编码视频信号及包含一或多个颜色容量变换参数集的一或多个元数据块;
用于确定用于所述至少经编码的两个视频信号中的每一者的显示区域的装置;
用于针对所述至少两个经编码视频信号中的每一者确定所述至少两个经编码视频信号当中的视频信号与所述颜色容量变换参数集当中的颜色容量变换参数集之间的关联的装置;及
用于使用相应相关联的颜色容量变换参数集解码所述至少两个经编码视频信号的装置,其中所述相应相关联的颜色容量变换参数集确定用于对应显示区域的一或多个显示参数。
CN201780071815.0A 2016-11-30 2017-11-30 用于处理视频数据的装置和方法及计算机可读介质 Active CN109964485B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662428511P 2016-11-30 2016-11-30
US62/428,511 2016-11-30
US15/826,549 US10812820B2 (en) 2016-11-30 2017-11-29 Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
US15/826,549 2017-11-29
PCT/US2017/064058 WO2018102605A1 (en) 2016-11-30 2017-11-30 Systems and methods for signaling and constraining a high dynamic range (hdr) video system with dynamic metadata

Publications (2)

Publication Number Publication Date
CN109964485A true CN109964485A (zh) 2019-07-02
CN109964485B CN109964485B (zh) 2022-01-11

Family

ID=62190666

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780071815.0A Active CN109964485B (zh) 2016-11-30 2017-11-30 用于处理视频数据的装置和方法及计算机可读介质
CN201780072745.0A Active CN109983772B (zh) 2016-11-30 2017-11-30 用于使用视频信号处理视频数据的系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780072745.0A Active CN109983772B (zh) 2016-11-30 2017-11-30 用于使用视频信号处理视频数据的系统及方法

Country Status (9)

Country Link
US (2) US10979729B2 (zh)
EP (2) EP3549342A1 (zh)
JP (2) JP2020501426A (zh)
KR (2) KR102593072B1 (zh)
CN (2) CN109964485B (zh)
AU (2) AU2017367694A1 (zh)
BR (2) BR112019010468A2 (zh)
TW (2) TW201824866A (zh)
WO (2) WO2018102604A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880557B2 (en) 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
WO2017153376A1 (en) * 2016-03-07 2017-09-14 Koninklijke Philips N.V. Encoding and decoding hdr videos
CA3033242A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10834400B1 (en) * 2016-08-19 2020-11-10 Fastvdo Llc Enhancements of the AV1 video codec
US10979729B2 (en) 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
US10200687B2 (en) * 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10306307B2 (en) * 2017-06-30 2019-05-28 Apple Inc. Automatic configuration of video output settings for video source
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN116170586B (zh) * 2018-10-08 2024-03-26 北京达佳互联信息技术有限公司 对视频信号进行解码或编码的方法、计算装置和存储介质
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
CN111406404B (zh) * 2019-07-15 2022-07-12 上海极清慧视科技有限公司 获得视频文件的压缩方法、解压缩方法、系统及存储介质
CN110691194B (zh) * 2019-09-19 2021-04-20 锐迪科微电子(上海)有限公司 广色域图像确定方法及装置
US11483529B2 (en) * 2019-10-23 2022-10-25 Nbcuniversal Media, Llc Normalized high-dynamic range visualization
KR102302755B1 (ko) * 2019-12-30 2021-09-16 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
KR102373833B1 (ko) * 2020-01-09 2022-03-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4115611A4 (en) * 2020-03-30 2023-06-28 ByteDance Inc. Slice type in video coding
KR20230019850A (ko) 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
US11508296B2 (en) * 2020-06-24 2022-11-22 Canon Kabushiki Kaisha Image display system for displaying high dynamic range image
US20240013508A1 (en) * 2022-07-08 2024-01-11 Avago Technologies International Sales Pte. Limited Systems for and methods for assisting users with color blindness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010048481A1 (en) * 2000-05-24 2001-12-06 Minolta Co., Ltd. Broadcasting system, transmitter, and receiver
CN1140807C (zh) * 1998-04-03 2004-03-03 特克特朗尼克公司 在具有可变强度光栅扫描仪的数字示波器中优化压缩和采集计数
US20050248783A1 (en) * 2004-05-06 2005-11-10 Canon Kabushiki Kaisha Color characterization using nonlinear regression
US20150201199A1 (en) * 2011-12-07 2015-07-16 Google Inc. Systems and methods for facilitating video encoding for screen-sharing applications
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538176B2 (en) * 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像を符号化及び復号するための装置及び方法
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US9942575B1 (en) 2014-11-13 2018-04-10 Google Llc Assigning videos to single-stream and multi-stream decoders
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
US10917669B2 (en) * 2015-09-07 2021-02-09 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
AU2015227469A1 (en) * 2015-09-17 2017-04-06 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data
JP6132006B1 (ja) * 2015-12-02 2017-05-24 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
WO2017116419A1 (en) 2015-12-29 2017-07-06 Thomson Licensing Method and apparatus for metadata insertion pipeline for streaming media
US20190075325A1 (en) * 2016-03-30 2019-03-07 Lg Electronics Inc. Method and apparatus for transmitting and receiving broadcast signals
PT3523970T (pt) * 2016-10-05 2022-10-07 Dolby Laboratories Licensing Corp Mensagens de informação de volume de cor de origem
US10979729B2 (en) 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1140807C (zh) * 1998-04-03 2004-03-03 特克特朗尼克公司 在具有可变强度光栅扫描仪的数字示波器中优化压缩和采集计数
US20010048481A1 (en) * 2000-05-24 2001-12-06 Minolta Co., Ltd. Broadcasting system, transmitter, and receiver
US20050248783A1 (en) * 2004-05-06 2005-11-10 Canon Kabushiki Kaisha Color characterization using nonlinear regression
US20150201199A1 (en) * 2011-12-07 2015-07-16 Google Inc. Systems and methods for facilitating video encoding for screen-sharing applications
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Also Published As

Publication number Publication date
CN109983772A (zh) 2019-07-05
CN109983772B (zh) 2022-02-22
KR20190089889A (ko) 2019-07-31
US20180152721A1 (en) 2018-05-31
EP3549343A1 (en) 2019-10-09
KR102594222B1 (ko) 2023-10-25
AU2017367694A1 (en) 2019-05-02
KR102593072B1 (ko) 2023-10-23
US10979729B2 (en) 2021-04-13
US20180152703A1 (en) 2018-05-31
BR112019010515A2 (pt) 2019-10-01
TW201824867A (zh) 2018-07-01
KR20190089888A (ko) 2019-07-31
EP3549342A1 (en) 2019-10-09
TW201824866A (zh) 2018-07-01
WO2018102605A1 (en) 2018-06-07
AU2017368247A1 (en) 2019-05-02
CN109964485B (zh) 2022-01-11
JP2020501430A (ja) 2020-01-16
BR112019010468A2 (pt) 2019-09-10
WO2018102604A1 (en) 2018-06-07
JP2020501426A (ja) 2020-01-16
US10812820B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
CN109964485A (zh) 用于发信号给及约束具有动态元数据的高动态范围(hdr)视频系统的系统及方法
JP6816166B2 (ja) ビデオピクチャのための領域ネスティングメッセージを生成するための方法およびシステム
KR102562874B1 (ko) 피드백 채널에 의한 컬러 영역 적응
CN111567049B (zh) 用于针对视频编码的相等范围和其它dra参数的信令机制
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN109076244A (zh) 用于产生和处理视频的内容色域体积消息的方法和系统
JP6761045B2 (ja) ビデオのための色再マッピング情報補足エンハンスメント情報メッセージを生成するための方法およびシステム
CN108028935A (zh) 用于高动态范围及广色域视频译码的补充增强信息(sei)消息
CN108028936A (zh) 视频译码中成分的范围调整的固定点实施
CN107439013A (zh) 用于高动态范围和宽色域视频译码的动态范围调整
CN106464885A (zh) 块自适应颜色空间转换译码
WO2021212014A1 (en) Flexible chroma processing for dynamic range adjustment
CN109691111A (zh) 在补充增强信息消息中传信色彩重新映射信息的目标显示参数
KR20190031495A (ko) 디스플레이 적응을 위한 컬러 리맵핑 정보 sei 메시지 시그널링
KR20160145117A (ko) 색 공간 스케일러빌리티에 대한 3d 칼라 예측을 위한 비트 심도 값들의 시그널링
CN104798377A (zh) 用于多视图、三维(3d)及可缩放视频位流的子位流提取

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003878

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant