CN112383695A - 发送装置、接收装置和接收方法 - Google Patents

发送装置、接收装置和接收方法 Download PDF

Info

Publication number
CN112383695A
CN112383695A CN202011290267.0A CN202011290267A CN112383695A CN 112383695 A CN112383695 A CN 112383695A CN 202011290267 A CN202011290267 A CN 202011290267A CN 112383695 A CN112383695 A CN 112383695A
Authority
CN
China
Prior art keywords
information
video data
dynamic range
video stream
electro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011290267.0A
Other languages
English (en)
Other versions
CN112383695B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112383695A publication Critical patent/CN112383695A/zh
Application granted granted Critical
Publication of CN112383695B publication Critical patent/CN112383695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18
    • H04N7/005Special television systems not provided for by H04N7/007 - H04N7/18 using at least one opto-electrical conversion device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种发送装置、接收装置和接收方法。本发明的目的是使得可以关于使用HDR光电转换特性获得的传输视频数据而令人满意地执行接收侧电光转换处理。通过对高动态范围视频数据执行高动态范围光电转换获得传输视频数据。通过对该传输视频数据应用编码处理获得视频流。传输包括该视频流的预定格式的容器。表示对应于高动态范围光电转换特性的电光转换特性的元信息被插入到视频流中的参数集合区域中。

Description

发送装置、接收装置和接收方法
本申请是国际申请号为PCT/JP2015/085160、申请日为2015年12月16日、进入中国国家阶段日期为2017年6月21日、发明名称为“发送装置、发送方法、接收装置和接收方法”的PCT申请的中国国家阶段申请的分案申请,该中国国家阶段申请的申请号为201580070114.6。
技术领域
本技术涉及发送装置、发送方法、接收装置和接收方法。更具体地说,本技术涉及一种发送装置等,其被配置为发送通过将高动态范围光电转换应用于高动态范围视频数据获得的传输视频数据。
背景技术
过去已经考虑了发送通过将高动态范围光电转换应用于高动态范围视频数据获得的传输视频数据。以下,适当地将高动态范围缩写为“HDR”。例如,非专利文献1通过考虑采用常规接收装置进行接收,已经提出了包括与常规光电转换特性(伽马特性)兼容的区域的HDR光电转换特性(新伽马特性)。
参考文献
非专利文献
背景技术
非专利文献1:Tim Borer,“Non-Linear Opto-Electrical Transfer Functions forHigh Dynamic Range Television”,Research&Development White Paper WHP 283,July2014
发明内容
本发明要解决的问题
本技术的目的是确保有利地在接收侧执行使用HDR光电转换特性获得的传输视频数据的电光转换处理。
解决问题的方法
本技术的概念是一种发送装置,包括:
光电转换器,对高动态范围视频数据执行高动态范围光电转换以获得传输视频数据;
编码单元,对所述传输视频数据应用编码处理以获得视频流;
发送器,用于发送包括所述视频流的预定格式的容器;和
信息插入器,其将表示与高动态范围光电转换的特性对应的电光转换特性的元信息插入到视频流中的参数集合区域中。
根据本技术,通过光电转换器对高动态范围视频数据进行高动态范围光电转换,由此获得传输视频数据。通过编码单元将编码处理应用于传输视频数据,从而获得视频流。包含该视频流的预定格式的容器由发送器传输。
表示与高动态范围光电转换的特性相对应的电光转换特性的元信息由信息插入器插入到视频流中的参数集合区域中。例如,参数集合区域可以是SPS NAL单元中的区域。
如上所述,本技术被设计用于将表示与高动态范围光电转换的特性对应的电光转换特性的元信息插入到视频流中的参数集合区域中。因此,可以在接收侧有利地对使用HDR光电转换特性获得的传输视频数据进行电光转换处理。
此外,例如,本技术可以被配置成使得信息插入器进一步将表示视频流支持高动态范围的识别信息插入到容器的层中。该识别信息允许接收侧容易地识别视频流支持高动态范围,从而可以从视频流中的参数集合区域提取表示与高动态范围光电转换的特性相对应的电光转换特性的元信息,并对传输视频数据执行适当的电光转换。
例如,这种情况可以被配置为使得表示视频流是否具有与正常动态范围兼容的显示兼容性的信息被添加到识别信息。或者,例如,可以将这种情况配置为使得表示是否禁止用于视频流的显示亮度调整的信息被添加到识别信息。
此外,例如,这种情况可以以容器为传输流的方式配置,并且信息插入器将识别信息插入属于节目映射表和事件信息表中的一个的部分。此外,例如,这种情况可以以容器为MMT流的方式配置,并且信息插入器将识别信息插入属于MMT包表的部分。
同时,例如,本技术可以被配置成使得信息插入器进一步将用于显示控制的元信息插入到与视频流中的参数集合区域不同的区域中。例如,这种情况可以被配置为使得用于显示控制的元信息包括峰值亮度信息。或者,例如,这种情况可以被配置为使得用于显示控制的元信息包括指示允许显示亮度调整的区域的区域信息。在这种情况下,可以使用用于显示控制的元信息适当地进行显示控制。
此外,例如,这种情况可以被配置为使得用于显示控制的元信息包括表示用于视频流的显示亮度调整是否被禁止的信息。由此,就显示亮度而言,能够抑制超过制作者的意图的调整,或者可以抑制观看者的眼睛疲劳。
同时,本技术的另一概念是一种接收装置,包括:
接收器,用于接收预定格式的容器,所述容器包括通过对传输视频数据进行编码而获得的视频流;
解码单元,对视频流进行解码处理以获得传输视频数据;和
电光转换器,对在解码单元获得的传输视频数据执行电光转换,以获得显示视频数据,其中
传输视频数据是通过将高动态范围光电转换应用于高动态范围数据而获得的数据,以及
表示与高动态范围光电转换的特性对应的电光转换特性的元信息被插入到视频流中的参数集合区域中,
所述接收装置还包括从所述视频流中提取所述元信息的信息提取器,其中
电光转换器使用在信息提取器提取的元信息所表示的电光转换特性。
根据本技术,接收器接收预定格式的容器,所述容器包含通过对传输视频数据进行编码而获得的视频流。由解码单元将解码处理应用于视频流,由此获得传输视频数据。随后,通过电光转换器对传输视频数据进行电光转换,从而获得显示视频数据。
传输视频数据是通过将高动态范围光电转换应用于高动态范围数据而获得的数据。表示与高动态范围光电转换的特性相对应的电光转换特性的元信息被插入到视频流中的参数集合区域中。信息提取器从视频流中提取元信息。在电光转换器中,由该元信息表示的电光转换特性用于将电光转换应用于传输视频数据。例如,参数集合区域可以是SPS NAL单元中的区域。
如上所述,本技术被设计用于从视频流中的参数集合区域中提取表示与高动态范围光电转换的特性相对应的电光转换特性的元信息,使得由该元信息表示的电光转换特性用于对传输视频数据执行电光转换。因此,可以有利地进行使用高动态范围光电转换的特性获得的用于传输视频数据的电光转换处理。
此外,例如,本技术可以被配置为使得指示视频流支持高动态范围的识别信息被插入到容器的层中,并且信息提取器基于识别信息从视频流中的参数集合区域中提取元信息。在这种情况下,从视频流中的参数集合区域正确地提取元信息,因此能够对传输视频数据进行适当的电光转换。
同时,例如,本技术可以被配置为使得用于显示控制的元信息被包括在与视频流中的参数集合区域不同的区域中,并且进一步提供亮度调整单元,其基于用于显示控制的元信息的调整显示视频数据的显示亮度。例如,这种情况可以被配置为使得用于显示控制的元信息包括表示允许显示亮度调整的区域的区域信息,并且亮度调整单元调整允许显示亮度调整的区域的显示亮度。在这种情况下,可以适当调整显示亮度。
或者,例如,这种情况可以被配置为使得表示是否禁止用于视频流的显示亮度调整的信息插入到容器的层和/或视频流的层中,并且在表示是否禁止用于视频流的显示亮度调整的信息表示禁止的情况下,亮度调整单元不调整显示视频数据的显示亮度。由此,就显示亮度而言,能够抑制超过制作者的意图的调整,或者可以抑制观看者的眼睛疲劳。
本发明的效果
根据本技术,可以在接收侧有利地进行使用HDR光电转换特性获得的传输视频数据的电光转换处理。注意,在本说明书中描述的效果仅作为示例而不被解释为限制。也可能有另外的效果。
附图说明
图1是示出用作实施例的发送/接收系统的示例性配置的框图。
图2是示出构成发送/接收系统的发送装置的示例性配置的框图。
图3是用于说明HDR光电转换的特性的图。
图4的(a)和(b)是用于说明根据HDR电光转换特性的类型可以直接或间接指定参考等级“参考等级”和阈值等级“阈值等级”的图。
图5是示出在使用HEVC编码技术的情况下GOP中的顶层存取单元的图。
图6是示出在使用HEVC编码技术的情况下GOP中的顶层存取单元以外的存取单元的图。
图7是示出动态范围SEI消息的示例性结构的图。
图8是示出动态范围SEI消息的示例性结构中的主要信息的内容的图。
图9是示出高动态范围描述符的示例性结构的图。
图10是示出高动态范围描述符的示例性结构中的主要信息的内容的图。
图11是示出传输流的示例性配置的图。
图12是表示构成发送/接收系统的接收装置的示例性配置的框图。
图13是用于说明HDR电光转换,HDR显示映射处理等的特征的图。
图14是示出发送/接收系统的另一示例性配置的框图。
图15是示出从机顶盒向监视器传输的“Vender Specific Infoframe”(“供应商指定的Infoframe”)的分组中的第七字节和后续字节的结构的示意图。
图16是示出“Vender Specific Infoframe”的分组中的各个示例性结构中的主要信息的内容的图。
图17是示出MMT流的示例性配置的图。
具体实施方式
下面将描述用于实施本发明的模式(以下称为“实施例”)。请注意,说明将按照以下顺序给出。
1.实施例
2.变形例
<1.实施例>
[发送/接收系统的示例性配置]
图1示出了用作实施例的发送/接收系统10的示例性配置。该发送/接收系统10由发送装置100和接收装置200构成。
发送装置100以MPEG2的形式生成作为容器的传输流TS,并将该传输流TS并入到广播波或网络中的分组中进行发送。该传输流TS包括通过将编码处理应用于传输视频数据而获得的视频流,所述传输视频数据是通过对HDR视频数据执行HDR光电转换获得的。
表示与HDR光电转换特性相对应的电光转换特性的元信息被插入到视频流中的参数集合区域中。此外,表示视频流支持HDR的识别信息被插入到容器的层中。该识别信息包括以下信息:表示视频流是否具有与正常动态范围兼容的显示兼容性的信息以及表示是否禁止对视频流进行显示亮度调整的信息等。在下文中,正常动态范围将被适当地缩写为“LDR”。
同时,用于显示控制的信息被插入到与视频流中的参数集合区域不同的区域中。用于显示控制的元信息包括:峰值亮度信息、表示允许调整显示亮度的区域的区域信息、表示是否禁止对视频流进行显示亮度调整的信息等。
接收装置200对包含在所接收的容器中的视频流进行解码处理,以获得传输视频数据。接收装置200基于由插入到视频流中的参数集合区域中的元信息所表示的传输转换特性,对传输视频数据进行光电转换,从而获得显示视频数据。在这种情况下,接收装置200基于插入到容器的层中从而指示视频流支持高动态范围的识别信息,提取插入到视频流中的参数集合区域中的元信息。
接收装置200还对显示视频数据进行显示映射处理,即,基于插入到视频流中的参数集合区域中用于显示控制的信息来调整显示视频数据的显示亮度。在插入到容器的层和/或视频流的层以表示是否禁止显示亮度调整的信息表示禁止的情况下,不进行该显示亮度调整。
[发送装置的示例性配置]
图2示出了发送装置100的示例性配置。该发送装置100具有控制单元101、HDR照相机102、HDR光电转换器103、视频编码器104、系统编码器105和发送器106。控制单元101包括在其配置中的中央处理单元(CPU),并且基于控制程序来控制发送装置100中的各个构件的动作。
HDR照相机102对物体进行成像,并输出高动态范围(HDR)视频数据。该HDR视频数据具有超过常规SDR图像的白色峰值的亮度的对比度,具体地,0至100%*N(其中N是大于1的数字),例如0至1000%。例如,这里的100%的水平相当于100cd/m2的白色亮度值。
主监视器103a是用于对HDR照相机102获得的HDR视频数据执行分级的监视器。该主监视器103a具有支持HDR视频数据或适合于HDR视频数据的分级的显示亮度级。
HDR光电转换器103将HDR光电转换特性应用于在HDR照相机102获得的HDR视频数据,以获得传输视频数据V1。图3中的实线a和虚线b都代表表示HDR光电转换特性的HDR OETF曲线的实例。同时,图3中的虚线c是表示SDR光电转换特性的SDR OETF曲线。在图3中,横轴表示输入亮度级,而纵轴表示传输码值。
HDR光电转换特性可以被配置为包括与SDR光电转换特性兼容的兼容性区域,如在图3中上述实线a和虚线b所示的HDR光电转换特性。换句话说,两个特性的曲线彼此匹配,直到输入亮度级达到两个特性的兼容性极限值。在输入亮度级达到兼容性极限值的点,获得作为兼容等级SP的传输码值。根据HDR光电转换特性,在输入亮度级达到峰值亮度PL的点处,将获得作为峰值等级MP的传输代码值。
HDR显示参考阈值CL代表以下两个区域之间的边界:需要匹配亮度的区域;和对CE监视器的依赖性被允许作为用于在接收装置的监视器(CE监视器)上显示的亮度的区域。在输入亮度级达到HDR显示参考阈值CL的点处,通过图3中的实线a,获得传输代码值作为例如在HDR OETF曲线中的阈值等级CP。同时,根据SDR光电转换特性,在输入亮度级达到SDR特性表示的极限亮度SL的点处,获得作为峰值等级MP的传输代码值。这里的SL被分配到100cd/m2。注意,HDR显示参考阈值CL也可以被配置为匹配兼容性限制值,并且在这种情况下,阈值等级CP可以被兼容等级SP代替。
返回图2所示,视频编码器104将诸如MPEG4-AVC或HEVC的编码应用于传输视频数据V1以获得编码视频数据。该视频编码器104还使用包括在其中后一级中的流格式化器(未示出)来生成包括该编码视频数据的视频流(视频基本流)。
此时,视频编码器104将表示与HDR光电转换特性相对应的HDR电光转换特性的元信息插入视频流中的参数集合区域。根据本实施例的视频编码器104将元信息“Transfercharacteristics”(“传输特性”)插入到访问单元(AU)中的SPS NAL单元中的视频可用性信息(VUI)的区域中。
该元信息“Transfer characteristics”指定HDR电光转换特性。具体地,上述“Transfer characteristics”表示作为HDR电光转换特性的类型的“New Type”(“新类型”)。在这种情况下,可以直接或间接地指定参考等级“Reference level”和阈值等级“Threshold level”。此处的参考等级“Reference level”被分配给例如100%的相当于100cd/m2的白色亮度值。同时,阈值等级“Threshold level”代表以下两个区域之间的边界:需要匹配亮度的区域;和对CE监视器的依赖性被允许作为用于在接收装置的监视器(CE监视器)上显示的亮度的区域。
在直接指定的情况下,假设“Reference level”(“参考等级”)和“Threshold level”(“阈值等级”)被定义为VUI中的识别值,如图4的(a)所示。这种情况表示在用于要被引用的VUI的语义规则中提到了各个元素。请注意“Reference level”和“Threshold level”不一定需要单独确定,而是可以通过设置“Reference level”=“Threshold level”来确定其中一个等级。
在间接指定的情况下,不再假定“Reference level”和“Threshold level”被定义为VUI中的识别值,如图4的(b)所示。在这种情况下,VUI的语义规则中没有提到各个元素。这种情况表明下面两个等式在VUI中指定的定义“Transfer characteristics”的标准中确定,作为“New Type”的特性:
Reference level=Lr(Lx>Lr>Lc)
Threshold level=Lt(Ly>Lt>Lr)。
注意,“Reference level”和“Threshold level”不一定需要单独确定,而是可以通过设置“Reference level”=“Threshold level”来确定其中一个等级。
此外,视频编码器104将用于显示控制的元信息插入视频流中除参数集合区域之外的区域中。根据本实施例的视频编码器104将要被新定义的动态范围SEI消息(动态范围SEI消息)插入到访问单元(AU)中的“SEI”部分。
图5示出了在使用HEVC编码技术的情况下的一组图像(GOP)中的顶部存取单元。同时,图6示出了在使用HEVC编码技术的情况下GOP中的顶部存取单元以外的存取单元。在HEVC编码技术的情况下,用于解码的SEI消息组“Prefix_SEIs”被布置在其中对像素数据进行编码的片段(Slices)之前,而在上述片段之后布置用于显示的SEI消息组“Suffix_SEIs”。如图5和图6所示,动态范围SEI消息可以被配置,从而被布置为SEI消息组“Suffix_SEIs”。
图7示出了动态范围SEI消息的示例性结构(语法)。图8示出了上述示例性结构中的主要信息(语义)的内容。八位字段“transfer_characteristic”指定HDR电光转换特性。具体地说,该字段表示作为HDR电光转换特性的类型的“New Type”。
八位字段“number_of_bits”表示编码像素位数。十六位字段“minimum_brightness_value”表示亮度的最小级(cd/m2)。十六位字段“peak_level”表示最大级别的相对值(%)。十六位字段“peak_level_brightness”表示亮度的最大级(cd/m2),并对应于图3中的峰值亮度PL。
十六位字段“compliance_threshold_level”表示显示级映射期间的阈值(%)。十六位字段“compliance_threshold_level_value”表示在显示级映射期间用作阈值,并且对应于图3中的HDR显示参考阈值CL的亮度(cd/m2)。注意,由“Compliant_threshold_level”和“Compliant_threshold_level_value”组成的阈值信息可以分别作为100%表示参考亮度和所述参考亮度发送。标志“mapping_protection_flag”表示解码后的显示映射(显示亮度调整)是否被禁止。“1”表示禁止显示映射。“0”表示不禁止显示映射。
返回图2所示,系统编码器105生成包括在视频编码器104处生成的视频流VS的传输流TS。随后,发送器106将该传输流TS合并到到广播波或网络中的分组中,以传输到接收装置200。
此时,系统编码器105将表示视频流支持高动态范围的识别信息插入传输流(容器)的层。根据本实施例的系统编码器105将高动态范围描述符(高动态范围描述符)插入属于节目映射表(PMT)的部分或属于事件信息表(EIT)的部分。
图9示出了高动态范围描述符的示例性结构(语法)。图10示出了上述示例性结构中的主要信息(语义)的内容。八位字段“descriptor_tag”表示描述符类型,这里表示使用了高动态范围描述符。八位字段“descriptor_length”表示描述符的长度(大小),并指示随后的字节数作为描述符的长度。
标志“HDR_flag”表示服务流(视频流)是否是支持HDR的类型。“1”表示视频流支持HDR以及还表示VUI具有HDR特性,或者VUI是常规的但是SEI提供HDR信息,或者VUI具有HDR特性并且SEI还具有HDR信息。“0”表示视频流不支持HDR。
在服务流(视频流)支持HDR的情况下,标志“SDR_compatible_flag”表示服务流(视频流)是否具有与SDR兼容的显示兼容性。“1”表示服务流(视频流)具有与SDR兼容的显示兼容性。“0”表示服务流(视频流)不具有与SDR兼容的显示兼容性。标志“mapping_protection_flag”表示在服务流(视频流)中是否禁止显示映射(显示亮度调整)。“1”表示禁止显示映射。“0”表示不禁止显示映射。
图2所示的发送装置100的动作将简要描述。通过HDR照相机102成像而获得的HDR视频数据被提供给HDR光电转换器103。在HDR照相机102处获得的HDR视频数据使用主监视器103a进行分级。在该HDR光电转换器103中,在执行光电转换以获得传输视频数据V1时,将HDR光电转换特性(HDR OETF曲线)应用于该HDR视频数据。该传输视频数据V1被提供给视频编码器104。
在视频编码器104中,诸如MPEG4-AVC或HEVC的编码被应用于传输视频数据V1,使得获得编码的视频数据。此外,在该视频编码器104中,包括该编码视频数据的视频流由包括在其中后一级的流格式化器生成。
此时,在视频编码器104中,将表示与HDR光电转换特性相对应的HDR电光转换特性的元信息插入到视频流的层中。具体地,在视频编码器104中,将元信息“Transfercharacteristics”(“传输特性”)插入到存取单元(AU)中的SPS NAL单元中的视频可用性信息(VUI)的区域中。
此外,在视频编码器104中,用于显示控制的元信息被插入到视频流的层中。具体地说,在视频编码器104中,要被新定义的高动态范围SEI消息被插入到存取单元(AU)中的“SEI”的部分中。
在视频编码器104处产生的视频流VS被提供给系统编码器105。在该系统编码器105中,生成包括视频流的MPEG2格式的传输流TS。该传输流TS由发送器106并入广播波或网络中的分组,以被发送到接收装置200。
此时,在系统编码器105中,将表示视频流支持高动态范围的识别信息插入到传输流(容器)的层中。具体地,在系统编码器105中,将高动态范围描述符(高动态范围描述符)插入属于节目映射表(PMT)的部分或属于事件信息表(EIT)的部分中。
[传输流TS的配置]
图11示出了传输流(“Transport Stream”,TS)的示例性配置。根据该示例性配置,存在由PID1识别的视频流的PES分组“video PES1”。指定HDR电光转换特性的元信息“Transfercharacteristics”被插入到访问单元中的SPS中的VUI的区域中。同时,将其中描述峰值等级“Peak level”,阈值等级“Threshold level”,映射保护标志“mapping_protection_flag”等的动态范围SEI消息插入到存取单元中。
另外,节目映射表(PMT)作为节目特定信息(PSI)被包括在传输流TS中。PSI是提及包含在传输流中的每个基本流是属于节目中的哪一个节目的信息。PMT有一个节目循环,说明与整个节目有关的信息。
PMT具有基本流循环,其具有与每个基本流有关的信息。根据该示例性配置,存在与视频流对应的视频基本流循环(Video ES loop)。诸如流类型和分组标识符(PID)的信息被布置在视频基本流循环(Video ES loop)中,以便对应于视频流,并且同时,与该视频流相关的描述符说明信息是也布置在其中。
该视频流的“Stream_type”的值被设置为例如表示HEVC视频流的值,而PID信息被配置从而表示提供给视频流中的PES分组“video PES”的PID1。作为描述符之一,将其中描述HDR标志“HDR_flag”,SDR兼容标志“SDR_compatible_flag”,映射保护标志“mapping_protection_flag”等的高动态范围描述符插入。
此外,用作管理每个事件(视频节目)的服务信息(SI)的事件信息表(EIT)被包括在传输流TS中。将高动态范围描述符“High Dynamic Range descriptor”插入属于此EIT的部分也是可以接受的。
[接收装置的示例性配置]
图12示出了接收装置200的示例性配置。该接收装置200具有控制单元201、接收器202、系统解码器203、视频解码器204、HDR电光转换器205、HDR显示映射单元206和CE监视器207。控制单元201包括其配置中的中央处理单元(CPU),并且基于控制程序来控制接收装置200中的各个构件的动作。
接收器202通过并入广播波或网络中的分组来接收从发送装置100发送的传输流TS。系统解码器203从该传输流TS中提取视频流(基本流)VS。系统解码器203还提取插入到容器(传输流)的层中的各种信息项,以发送给控制单元201。
在本实施例中,提取的信息也包括高动态范围描述符(参照图9)中的信息。控制单元201识别视频流支持HDR,同时还识别在HDR显示期间应该参考SEI(动态范围SEI),因为高动态范围描述符中的“HDR flag”被指定为“1”。
视频解码器204对在系统解码器203提取的视频流VS执行解码处理,以输出传输视频数据V1。视频解码器204还提取插入到构成视频流VS的每个访问单元中的参数集和SEI消息以发送到控制单元201。
根据实施例,如上所述,控制单元201识别视频流支持HDR,同时还识别在HDR显示期间应该参考SEI。因此,正确地提取了元信息“Transfer characteristics”以及动态范围SEI消息(参照图7),其中元信息“Transfer characteristics”指定插入到SPS NAL单元中的VUI的区域中的HDR电光转换特性。
控制单元201利用由元信息“Transfer characteristics”指定的HDR电光转换特性(即与在发送侧使用的HDR光电转换特性相对应的HDR电光转换特性)来设置HDR电光转换器205。HDR电光转换器205将设置的HDR电光转换特性应用于从视频解码器204输出的传输视频数据V1,以获得用于显示HDR图像的显示视频数据。
图13中的实线a表示HDR电光转换特性的HDR EOTF曲线(类型A)。该HDR EOTF曲线(类型A)对应于图3中实线a所示的HDR OETF曲线。同时,图13中的虚线b代表表示另一HDR电光转换特性的HDR EOTF曲线(类型B)。该HDR EOTF曲线(类型B)对应于图3中虚线b所示的HDROETF曲线。另外,图13中的虚线c代表与由图3中的虚线c表示的SDR OETF曲线对应的SDREOTF曲线(类型C)。
根据HDR电光转换特性,在传输码值达到峰值等级MP的点,显示亮度级为PL。同时,在传输码值达到阈值等级CP的点,获得作为HDR显示参考阈值CL的输出亮度级。另外,如图13所示,在HDR EOTF曲线(类型A)的情况下,只要提供阈值等级CP和HDR显示参考阈值CL,并且不启用映射保护,在显示侧执行亮度映射(诸如由双点划线a'表示的),直到达到显示亮度级EP。与此相对,在HDR EOTF曲线(类型B)的情况下,在显示侧执行诸如由点划线b'表示的亮度映射,直到达到显示亮度级EP,只要检测到为此定义的兼容等级SP和参考等级,并且不启用映射保护。注意,如前所述,阈值CL表示以下两个区域的边界:需要匹配亮度的区域;和对CE监视器的依赖性被允许作为用于在接收装置的监视器(CE监视器)上显示的亮度的区域。
PL和CL的亮度信息被包括在动态范围SEI消息中,该动态范围SEI消息作为显示控制的元信息(参照图7)插入到视频流层中。HDR显示映射单元206基于用于显示控制的元信息来调整在HDR电光转换器205处获得的显示视频数据的显示亮度。具体地说,在CE监视器207具有比PL高的等于EP的最大亮度显示能力的情况下,HDR显示映射单元206也可以作为显示功能的一种方式来进行显示映射处理(即显示亮度调整处理),使得从HDR电光转换器205的输出亮度级之中,关于超过CL处的亮度的亮度级,将最大显示亮度级转换为EP。图13中的双点划线表示这种情况下的显示亮度调整处理的一例。
此外,在高动态范围描述符中的“mapping_protection_flag”和动态范围SEI消息被指定为“1”从而表示禁止显示映射的情况下,HDR显示映射单元206不基于控制单元201的控制执行显示亮度调整处理。因此,可以抑制对显示亮度做出超过制作者的意图的调整,或者可以抑制观看者的眼睛疲劳。
图12所示的接收装置200的动作将简要描述。在接收器202中,接收从发送装置100通过并入广播波或网络中的分组而发送的传输流TS。该传输流TS被提供给系统解码器203。在系统解码器203中,从该传输流TS中提取视频流VS。
此外,在系统解码器203中,提取插入到容器的层中的各种信息项,以发送到控制单元201。该提取的信息也包括高动态范围描述符(参照图9)中的信息。在控制单元201中,基于被指定为“1”的高动态范围描述符中的“HDR flag”来识别视频流支持HDR的事实,而在HDR显示期间应该参考SEI的事实也被类似地识别。
在系统解码器203处提取的视频流VS被提供给视频解码器204。在视频解码器204中,将解码处理应用于在系统解码器203处提取的视频流VS,由此获得传输视频数据V1。
此外,在视频解码器204中,插入到构成视频流VS的每个访问单元中的参数集和SEI消息被提取,以被发送到控制单元201。如上所述,在控制单元201中,视频流支持HDR的事实被识别,而在HDR显示期间应该参考SEI的事实也被识别。因此,提取指定HDR电光转换特性的元信息“Transfer characteristics”(其被插入到SPS NAL单元中的VUI的区域中)以及动态范围SEI消息(参照图7)。
在控制单元201的控制下,利用元信息“Transfer characteristics”指定的HDR电光转换特性,即与在发送侧使用的HDR光电转换特性相对应的HDR电光转换特性,设置HDR电光转换器205。在HDR电光转换器205中,将设定的HDR电光转换特性应用于从视频解码器204输出的传输视频数据V1,由此获得用于显示HDR图像的显示视频数据。
在HDR电光转换器205处获得的显示视频数据被提供给HDR显示映射单元206。在HDR显示映射单元206中,基于用于显示控制的元信息来调整显示视频数据的显示亮度。具体地说,在CE监视器207具有比PL高的等于EP的最大亮度显示能力的情况下,在HDR显示映射单元206中执行显示映射处理,即亮度转换处理,使得从HDR电光转换器205的输出亮度级之中,关于超过CL处的亮度的亮度级,将最大显示亮度级转移到EP(参考图13中的双点划线a')。或者,对于超过参考亮度级的亮度级执行显示映射处理,即亮度转换处理,使得最大显示亮度级转移到EP(参照图13中的单点划线b')。
此外,在高动态范围描述符中的“mapping_protection_flag”和动态范围SEI消息被分配给“1”以表示显示映射被禁止的情况下,HDR显示映射单元206中不执行显示亮度调整处理。因此,在HDR电光转换器205获得的显示视频数据被原样输出。
来自显示映射单元206的输出视频数据被提供给CE监视器207。HDR图像被显示在该CE监视器207上。
如到此所述的,在图1所示的发送/接收系统10中,如图1所示,指定与高动态范围光电转换特性相对应的电光转换特性的元信息“Transfer characteristics”被插入视频流中的SPS NAL单元中的VUI的区域中。因此,当对其使用由元信息“Transfercharacteristics”指定的HDR电光转换特性时,可以在接收侧有利地执行利用HDR光电转换特性获得的传输视频数据的电光转换处理。
另外,在图1所示的发送/接收系统10中,高动态范围描述符(高动态范围描述符)被插入到容器(传输流)的层中。该描述符包括表示服务流(视频流)是否是支持HDR的类型的“HDR_flag”。这允许接收侧容易地识别视频流支持高动态范围,由此可以从视频流的参数集合区域中正确地提取表示对应于高动态范围光电转换特性的电光转换特性的元信息“传送特性”,并对传输视频数据执行适当的电光转换。
同时,在图1所示的发送/接收系统10中,动态范围SEI消息(动态范围SEI消息)被插入到视频流的层中。该SEI消息包括用于显示控制的元信息。因此,可以使用该用于显示控制的元信息在接收侧适当地执行显示亮度控制。在这种情况下,用于显示控制的元信息包括表示允许显示亮度调整的区域的区域信息,使得根据例如CE监视器207的显示亮度能力的亮度转换仅针对允许亮度转换的区域而执行。结果,可以有利地再现由制作者预期的亮度气氛。
此外,在图1所示的发送/接收系统10中,高动态范围描述符和动态范围SEI消息包括表示在服务流(视频流)中是否禁止显示映射(显示亮度调整)的标志“mapping_protectionflag”。因此,关于显示亮度,可以抑制超过制作者的意图的调整,或者可以抑制观看者的眼睛疲劳。
<2.变形例>
另外,注意上述实施方式已经只是了实例,其中在接收装置200中,HDR电光转换器205进行电光转换处理,并且另外地,HDR显示映射单元206根据CE监视器207的最大亮度显示能力进行亮度转换处理。然而,通过预先在电光转换特性(EOTF)中反映亮度转换特性,电光转换处理和亮度转换处理可以由HDR电光转换器205单独同时进行。
此外,上述实施例已经表示了由发送装置100和接收装置200构成的发送/接收系统10。然而,可以应用本技术的发送/接收系统的配置不限于此。例如,如图14所示的发送/接收系统10A,接收装置200的一部分可以由包括通过诸如高分辨率多媒体接口(HDMI)的数字接口互连的机顶盒(STB)200A和监视器200B的配置代替。请注意,“HDMI”是注册商标。
在这种情况下,例如,视频解码器204及其前面的部件被包括在机顶盒200A中,并且电光转换器205及其随后的部件被包括在监视器200B中。机顶盒200A使用例如分组“VenderSpecific InfoFrame”,将表示HDR光电转换特性的元信息,用于显示控制的元信息等传输到监视器200B。
图15示出了从机顶盒200A向监视器200B传输的分组“Vender Specific InfoFrame”(供应商指定的InfoFrame)中的第七字节和后续字节的示例性结构。同时,图16示出了各个示例性结构中的主要信息的内容。
三位信息“Display_control_type”从第七字节的第七位到第五位布置。该三位信息表示显示类型的分类。“001”表示SD显示控制,而“010”表示HDR显示控制。这里使用“010”。
标志“mapping_protection_flag”被布置在第七字节的第四位中。该标志表示解码后的显示映射(显示亮度调整)是否被禁止。“1”表示禁止显示映射。“0”表示不禁止显示映射。四位信息“Display_control_metadata_length”从第七个字节的第三位到第零位排列。该四位信息表示在后面空间布置的“Display_control_metadata”的大小,以字节数表示。此处使用“12”。
八位信息“Transfer characteristics”被布置在第八字节中。该八位信息指定HDR电光转换特性。通过该信息检测用于显示的电光转换特性。这里使用“0x10”。八位信息“Number of bits”被布置在第8+1字节中。该八位信息表示编码像素位数。
十六位信息“Minimum brightness value”被布置在第8+2字节和第8+3字节中。该十六位信息表示最小亮度级(cd/m2)。十六位信息“Peak Level”被布置在第8+4字节和第8+5字节中。该十六位信息表示最大亮度级的相对值(%)。
十六位信息“Peak Level Brightness”被布置在第8+6字节和第8+7字节中。该十六位信息表示最大亮度级(cd/m2)。十六位信息“Compliant_threshold_level”被布置在的8+8字节和第8+9字节中。该十六位信息表示在显示级映射期间的阈值(%)。十六位信息“Compliant_threshold_level_value”被布置在8+10字节和8+11字节中。这十六位信息表示在显示级映射期间用作阈值的亮度(cd/m2)。注意,由“Compliant_threshold_level”和“Compliant_threshold_level_value”组成的阈值信息可以作为分别表示参考亮度和所述参考亮度的100%发送。此外,上述从机顶盒200A到监视器200B的信息传输并不限于使用“Vender Specific InfoFrame”的分组的情况,并且显然定义InfoFrame的另一个分组能够类似地进行传输。
此外,上述实施例已经示出了传输流(MPEG-2TS)用作容器的示例。然而,根据本技术的传输不限于TS,并且在诸如ISOBMFF或MMT的另一个分组的情况下,也可以使用相同的方法来实现视频层。
图17示出了MMT结构。MMT流对于每个资源(如视频和音频)都有一个MMT数据包。根据所示示例,由ID1标识的MMT包被提供为视频资源。指定HDR电光转换特性的元信息“Transfercharacteristics”被插入到访问单元中的SPS中的VUI的区域中。同时,将其中描述了峰值等级“Peak level”,阈值等级“Threshold level”,映射保护标志“mapping_protection_flag”等的动态范围SEI消息插入到存取单元中。
另外,MMT流具有诸如分组存取(PA)消息分组的消息分组。PA消息分组包括诸如MP表(MMT包表)的表。MP表包括关于每个资源的信息。这里,与视频资源相关联地插入了高动态范围描述符,在所述高动态范围描述符中,描述了HDR标志“HDR_flag”,SDR兼容标志“SDR_compatible_flag”,映射保护标志“mapping_protection_flag”等。
注意,本技术也可以如下所述进行配置。
(1)一种发送装置,包括:
光电转换器,用于对高动态范围视频数据执行高动态范围光电转换以获得传输视频数据;
编码单元,用于对所述传输视频数据应用编码处理以获得视频流;
发送器,用于以包括所述视频流的预定格式发送容器;和
信息插入器,用于将表示与所述高动态范围光电转换的特性对应的电光转换特性的元信息插入到所述视频流中的参数集合区域中。
(2)根据上述(1)所述的发送装置,其中
所述参数集合区域是SPS NAL单元中的区域。
(3)根据上述(1)或(2)所述的发送装置,其中
所述信息插入器进一步将表示所述视频流支持所述高动态范围的识别信息插入到所述容器的层中。
(4)根据上述(3)所述的发送装置,其中
表示所述视频流是否具有与正常动态范围兼容的显示兼容性的信息被添加到所述识别信息。
(5)根据上述(3)或(4)所述的发送装置,其中
表示用于所述视频流的显示亮度调整是否被禁止的信息被添加到所述识别信息。
(6)根据上述(3)~(5)中任一项所述的发送装置,其中,
所述容器是运输流,
所述信息插入器将所述识别信息插入到属于节目映射表和事件信息表中的一个的部分中。
(7)根据上述(3)~(5)中任一项所述的发送装置,其中,
所述容器是一个MMT流,
所述信息插入器将所述识别信息插入属于MMT包表的部分。
(8)根据上述(1)~(7)中任一项所述的发送装置,其特征在于,
所述信息插入器还将用于显示控制的元信息插入与所述视频流中的所述参数集合区域不同的区域中。
(9)根据上述(8)所述的发送装置,其中,
用于显示控制的所述元信息包括峰值亮度信息。
(10)根据上述(8)或(9)所述的发送装置,其中
用于显示控制的所述元信息包括表示允许显示亮度调整的区域的区域信息。
(11)根据上述(8)~(10)中任一项所述的发送装置,其中,
用于显示控制的所述元信息包括表示是否禁止用于所述视频流的显示亮度调整的信息。
(12)根据上述(8)~(11)中任一项所述的发送装置,其中,
与所述参数集合区域不同的所述区域是SEI NAL单元中的区域。
(13)一种传输方法,包括:
光电转换步骤,对高动态范围视频数据进行高动态范围光电转换,以获得传输视频数据;
编码步骤,对所述传输视频数据应用编码处理以获得视频流;
发送步骤,通过发送器以包括所述视频流的预定格式发送容器;和
信息插入步骤,将表示与所述高动态范围光电转换的特性相对应的电光转换特性的元信息插入到所述视频流中的参数集合区域中。
(14)一种接收装置,包括:
接收器,用于接收预定格式的容器,所述预定格式为包括通过对传输视频数据进行编码而获得的视频流的格式;
解码单元,用于对所述视频流进行解码处理以获得所述传输视频数据;和
电光转换器,用于对在所述解码单元获得的所述传输视频数据执行电光转换,以获得显示视频数据,其中
所述传输视频数据是通过将高动态范围光电转换应用于高动态范围数据而获得的数据,以及
表示与所述高动态范围光电转换的特性相对应的电光转换特性的元信息被插入到所述视频流中的参数集合区域中,
所述接收装置还包括信息提取器,所述信息提取器从所述视频流中提取所述元信息,其中
所述电光转换器使用在所述信息提取器提取的所述元信息所表示的所述电光转换特性。
(15)根据上述(14)所述的接收装置,其中
所述参数集合区域是SPS NAL单元中的区域。
(16)根据上述(14)或(15)的接收装置,其中
将表示所述视频流支持所述高动态范围的识别信息插入所述容器的层中,
所述信息提取器基于所述识别信息从所述视频流中的所述参数集合区域中提取所述元信息。
(17)根据上述(14)至(16)中任一项所述的接收装置,其中
用于显示控制的元信息被包括在与视频流中的参数集合区域不同的区域中,
所述接收装置还包括亮度调整单元,所述亮度调整单元基于用于显示控制的所述元信息来调整所述显示视频数据的显示亮度。
(18)根据上述(17)所述的接收装置,其中
用于显示控制的所述元信息包括表示允许所述显示亮度调整的区域的区域信息,以及
所述亮度调节单元调整允许显示亮度调整的区域的显示亮度。
(19)根据上述(17)或(18)所述的接收装置,其中
表示是否禁止用于所述视频流的所述显示亮度调整的信息被插入到所述容器的层和/或所述视频流的层中,以及
在表示是否禁止用于所述视频流的所述显示亮度调整的所述信息表示禁止的情况下,所述亮度调整单元不调整所述显示视频数据的所述显示亮度。
(20)一种接收方法,包括:
接收步骤,通过接收器接收预定格式的容器,所述预定格式为包括通过对传输视频数据进行编码而获得的视频流的格式;
解码步骤,对视频流应用解码处理以获得传输视频数据;和
电光转换步骤,对通过解码步骤获得的传输视频数据执行电光转换,以获得显示视频数据,其中
传输视频数据,其是通过将高动态范围光电转换应用于高动态范围数据而获得的数据,
表示与所述高动态范围光电转换的特性相对应的电光转换特性的元信息被插入到所述视频流中的参数集合区域中,以及
在所述电光转换步骤期间使用由所述元信息表示的所述电光转换特性。
本技术的主要特征是将指定与高动态范围光电转换特性相对应的电光转换特性的元信息插入到视频流中的SPS NAL单元中,从而确保使用高动态范围的光电转换特性获得的传输视频数据的电光转换处理在接收侧有利地进行(参照图11)。
参考标记清单
10,10A 发送/接收系统
100 发送装置
101 控制单元
102 HDR相机
103 HDR光电转换器
103a 主监视器
104 视频编码器
105 系统编码器
106 发送器
200 接收装置
200A 机顶盒
200B 监视器
201 控制单元
202 接收器
203 系统解码器
204 视频解码器
205 HDR电光转换器
206 HDR显示映射单元
207 CE监视器

Claims (17)

1.一种发送装置,包括:
处理电路,被配置为
控制高动态范围视频数据上的高动态范围光电转换,以获得传输视频数据,并且
控制所述传输视频数据的视频编码,以获得视频流;以及
发射机,被配置为发送视频流,
其中,所述处理电路还被配置为
控制将第一元信息插入到所述视频流中的参数集字段中,
所述第一元信息指示对应于高动态范围光电转换的电光转换的类型,并且
控制将包括峰值亮度信息的第二元信息插入到视频流中不同于所述参数集字段的字段中。
2.根据权利要求1所述的发送装置,其中,
所述参数集字段是序列参数集网络抽象层单元中的字段。
3.根据权利要求1所述的发送装置,其中,
所述处理电路还被配置为控制生成包括所述视频流的容器,并且
控制将指示视频流是支持高动态范围的类型的识别信息插入到所述容器中,并且
所述发射机被配置为发送所述容器。
4.根据权利要求3所述的发送装置,其中,
所述容器的格式至少选自MPEG-2传输流、ISOBMFF或MPEG媒体传输流。
5.根据权利要求1所述的发送装置,其中,
不同于参数集字段的字段是补充增强信息网络抽象层单元中的字段。
6.一种接收装置,包括:
接收机,被配置为接收通过编码传输视频数据而获得的视频流,
其中,
所述传输视频数据是通过对高动态范围数据应用高动态范围光电转换而获得的,
指示对应于高动态范围光电转换的电光转换类型的第一元信息被插入到所述视频流中的参数集字段中,并且
包括峰值亮度信息的第二元信息被插入到所述视频流中不同于所述参数集字段的字段中;以及
处理电路,被配置为
控制所述视频流的视频解码,以获得所述传输视频数据,
基于由所述第一元信息指示的电光转换的类型,控制对所述传输视频数据的电光转换,以获得显示视频数据,并且
基于包括在所述第二元信息中的峰值亮度信息,控制所述显示视频数据或所述传输视频数据的显示亮度调整。
7.根据权利要求6所述的接收装置,其中,
除了所述电光转换之外,还执行显示亮度调整,或者同时执行所述显示亮度调整和电光转换。
8.根据权利要求6所述的接收装置,其中,
所述参数集字段是序列参数集网络抽象层单元中的字段。
9.根据权利要求6所述的接收装置,其中,
不同于参数集字段的字段是补充增强信息网络抽象层单元中的字段。
10.根据权利要求6所述的接收装置,其中,
所述接收机被配置为接收容器,指示所述视频流是支持高动态范围的类型的识别信息被插入到所述容器中,并且
所述处理电路被配置为控制从所述容器中提取识别信息。
11.根据权利要求10所述的接收装置,其中,
所述容器的格式至少选自MPEG-2传输流、ISOBMFF或MPEG媒体传输流。
12.一种接收方法,包括:
接收通过编码传输视频数据而获得的视频流,其中,通过对高动态范围数据应用高动态范围光电转换而获得所述传输视频数据;指示对应于所述高动态范围光电转换的电光转换类型的第一元信息被插入到所述视频流中的参数集字段中;并且包括峰值亮度信息的第二元信息被插入到所述视频流中不同于所述参数集字段的字段中;
对所述视频流应用解码处理,以获得所述传输视频数据;
基于由所述第一元信息指示的电光转换的类型,对所述传输视频数据执行电光转换,以获得显示视频数据,并且
基于包括在所述第二元信息中的峰值亮度信息,执行显示视频数据或传输视频数据的显示亮度调整。
13.根据权利要求12所述的接收方法,其中,
除了电光转换之外,还执行显示亮度调整,或者同时执行显示亮度调整和电光转换。
14.根据权利要求12所述的接收方法,其中,
所述参数集字段是序列参数集网络抽象层单元中的字段。
15.根据权利要求12所述的接收方法,其中,
不同于所述参数集字段的字段是补充增强信息网络抽象层单元中的字段。
16.根据权利要求12所述的接收方法,还包括:
接收容器,指示视频流是支持高动态范围的类型的识别信息被插入在所述容器中,并且
控制从所述容器中提取所述识别信息。
17.根据权利要求16所述的接收方法,其中,
所述容器的格式至少选自MPEG-2传输流、ISOBMFF或MPEG媒体传输流。
CN202011290267.0A 2014-12-29 2015-12-16 发送装置、接收装置和接收方法 Active CN112383695B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-267034 2014-12-29
JP2014267034 2014-12-29
PCT/JP2015/085160 WO2016108268A1 (ja) 2014-12-29 2015-12-16 送信装置、送信方法、受信装置および受信方法
CN201580070114.6A CN107113457B (zh) 2014-12-29 2015-12-16 发送装置、发送方法、接收装置和接收方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580070114.6A Division CN107113457B (zh) 2014-12-29 2015-12-16 发送装置、发送方法、接收装置和接收方法

Publications (2)

Publication Number Publication Date
CN112383695A true CN112383695A (zh) 2021-02-19
CN112383695B CN112383695B (zh) 2022-06-14

Family

ID=56284422

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011290267.0A Active CN112383695B (zh) 2014-12-29 2015-12-16 发送装置、接收装置和接收方法
CN201580070114.6A Active CN107113457B (zh) 2014-12-29 2015-12-16 发送装置、发送方法、接收装置和接收方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580070114.6A Active CN107113457B (zh) 2014-12-29 2015-12-16 发送装置、发送方法、接收装置和接收方法

Country Status (6)

Country Link
US (4) US10609327B2 (zh)
EP (1) EP3242487B1 (zh)
JP (3) JP6862830B2 (zh)
CN (2) CN112383695B (zh)
HU (1) HUE056171T2 (zh)
WO (1) WO2016108268A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860505B2 (en) * 2013-04-30 2018-01-02 Saturn Licensing Llc Transmitting device, transmitting method, receiving device, and receiving method
PT3217672T (pt) * 2014-11-07 2021-04-19 Sony Corp Aparelho de transmissão, método de transmissão, aparelho de receção e método de receção
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
CN113660525A (zh) 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017051808A1 (ja) 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
JP6921815B2 (ja) * 2015-11-09 2021-08-18 インターデジタル ヴイシー ホールディングス, インコーポレイテッド エレメンタリーストリームから復号されたビデオコンテンツをディスプレイの特性に適応させる方法およびデバイス
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
JP7131391B2 (ja) * 2017-01-16 2022-09-06 ソニーグループ株式会社 ビデオ処理装置、ビデオ処理方法およびプログラム
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
WO2021202387A1 (en) * 2020-03-30 2021-10-07 Bytedance Inc. Slice type in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103168473A (zh) * 2010-10-16 2013-06-19 Lg电子株式会社 数字接收机以及用于处理数字接收机中的3d 内容的方法
US20140037206A1 (en) * 2011-04-28 2014-02-06 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
US20140225941A1 (en) * 2011-09-27 2014-08-14 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
JP4151422B2 (ja) * 2003-01-23 2008-09-17 セイコーエプソン株式会社 画像生成装置、画像生成方法および画像生成プログラム
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
DE102005008366A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
WO2006109398A1 (ja) * 2005-03-15 2006-10-19 Omron Corporation 画像処理装置および方法、プログラム、並びに記録媒体
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
JP2007013482A (ja) * 2005-06-29 2007-01-18 Sharp Corp 画像形成装置、画像形成方法、制御プログラム、および、コンピュータ読取り可能な記録媒体
CN101371583B (zh) 2006-01-23 2012-03-21 马普科技促进协会 编码/解码高动态范围图像的方法和设备
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
CN101933094A (zh) * 2008-01-31 2010-12-29 汤姆逊许可证公司 用于观看数据定义和高清晰度多媒体接口上的传输的方法和系统
JP5593596B2 (ja) * 2008-02-04 2014-09-24 ソニー株式会社 映像信号送信装置および映像信号送信方法
US20090226152A1 (en) * 2008-03-10 2009-09-10 Hanes Brett E Method for media playback optimization
JP5375832B2 (ja) * 2008-10-15 2013-12-25 富士通株式会社 送信装置、受信装置、送信方法および受信方法
CN104486605B (zh) * 2009-03-10 2017-04-12 杜比实验室特许公司 扩展动态范围和扩展维数图像信号转换
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
EP2485894B1 (en) 2009-10-07 2017-10-25 Arkema Inc. Melt processable composition from recycled multi-layer articles containing a fluoropolymer layer
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
KR20110105710A (ko) * 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
BR112013005968B1 (pt) 2010-09-16 2022-04-26 Koninklijke Philips N.V Método de codificação de dados de vídeo de alta amplitude dinâmica e de dados adicionais, dispositivo de codificação de vídeo, método de decodificação de dados de vídeo e de dados adicionais que são adicionais aos dados de vídeo e dispositivo de decodificação de vídeo disposto para decodificar dados de vídeo
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
EP2498499B1 (en) * 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US20120314713A1 (en) * 2011-06-08 2012-12-13 Harkirat Singh Method and system for proxy entity representation in audio/video networks
CN102915172B (zh) * 2011-08-03 2017-02-08 中兴通讯股份有限公司 一种管理显示屏的方法及装置
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
CA2762697C (en) * 2011-12-22 2021-04-27 Westport Power Inc. Method and apparatus for supplying a gaseous fuel to an internal combustion engine
BR112013026086A2 (pt) * 2012-02-16 2020-08-11 Sony Corporation aparelho de transmissão, método de transmissão e aparelho de recepção
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
US9137451B2 (en) * 2012-03-09 2015-09-15 Htc Corporation Electronic apparatus and adjustment method thereof
US20130250147A1 (en) * 2012-03-22 2013-09-26 Research In Motion Limited Camera device for reducing sensor noise
PT2880624T (pt) * 2012-03-26 2019-08-26 Koninklijke Philips Nv Aparelhos e métodos baseados em região de brilho para codificação e descodificação de imagens hdr
EP2842104B1 (en) * 2012-05-14 2016-10-19 Omron Corporation Method and apparatus to guarantee minimum contrast for machine vision system
GB2516801A (en) * 2012-05-24 2015-02-04 Douglas H Lundy Threat detection system and method
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
AR091515A1 (es) * 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
WO2014012680A1 (fr) * 2012-07-18 2014-01-23 Thomson Licensing Procede et dispositif de conversion d'une sequence d'image dont les valeurs de luminance appartiennent a une plage de valeurs de dynamique elevee
US20140022431A1 (en) * 2012-07-19 2014-01-23 Nanyang Innovation & Enterprise Office Cmos image sensor
US8872677B2 (en) * 2013-03-15 2014-10-28 Dialogic Networks (Israel) Ltd. Method and apparatus for compressing data-carrying signals
US9720701B2 (en) * 2012-09-10 2017-08-01 Intel Corporation Providing support for device states
US9020637B2 (en) * 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
CN104995903B (zh) * 2013-02-21 2019-07-09 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
WO2014127489A1 (en) * 2013-02-25 2014-08-28 Evolution Engineering Inc. Integrated downhole system with plural telemetry subsystems
JP6205000B2 (ja) * 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
US10499192B2 (en) * 2013-03-14 2019-12-03 T-Mobile Usa, Inc. Proximity-based device selection for communication delivery
KR102301083B1 (ko) * 2013-04-15 2021-09-10 루카 로사토 하이브리드 백워드-호환가능 신호 인코딩 및 디코딩
KR101995314B1 (ko) * 2013-04-22 2019-07-02 삼성전자주식회사 Dvb 지상파 방송 시스템에서 mpeg mmt를 위한 시그널링 정보를 송수신하는 장치 및 방법
US9860505B2 (en) * 2013-04-30 2018-01-02 Saturn Licensing Llc Transmitting device, transmitting method, receiving device, and receiving method
WO2014181220A1 (en) * 2013-05-10 2014-11-13 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
US9774819B2 (en) * 2013-06-20 2017-09-26 Saturn Licensing Llc Reproduction device, reproduction method, and recording medium
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
CN110798641B (zh) * 2013-06-24 2022-05-17 索尼公司 再现装置、再现方法以及记录介质
JP2015008360A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
TWI627627B (zh) * 2013-07-12 2018-06-21 Sony Corp 再生裝置、再生方法、及記錄媒體
JP6368365B2 (ja) * 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
EP3028057A1 (en) * 2013-07-30 2016-06-08 Koninklijke Philips N.V. Combined mri pet imaging
TW201517597A (zh) * 2013-07-31 2015-05-01 Nokia Corp 用於視訊編碼及解碼之方法及裝置
US9800855B2 (en) * 2013-08-20 2017-10-24 Sony Corporation Reproduction device, reproduction method, and recording medium
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
WO2015034188A1 (ko) * 2013-09-06 2015-03-12 엘지전자 주식회사 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
CA2924784C (en) * 2013-09-27 2022-08-30 Sony Corporation Reproduction device, reproduction method, and recording medium
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP6598430B2 (ja) * 2013-10-31 2019-10-30 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US9736507B2 (en) * 2013-11-13 2017-08-15 Lg Electronics Inc. Broadcast signal transmission method and apparatus for providing HDR broadcast service
JP2015106763A (ja) * 2013-11-28 2015-06-08 ソニー株式会社 送信装置、ハイブリッドキャストデータ送信方法、受信装置およびハイブリッドキャストデータ受信方法
EP3086559A4 (en) * 2013-12-16 2017-08-02 LG Electronics Inc. Signal transmission/reception device and signal transmission/reception method for providing trick play service
JP6094688B2 (ja) * 2013-12-27 2017-03-15 ソニー株式会社 画像処理装置及び画像処理方法
US9549015B2 (en) * 2014-04-15 2017-01-17 Lattice Semiconductor Corporation Communication of multimedia data streams over multiple communication lanes
WO2016043637A1 (en) * 2014-09-19 2016-03-24 Telefonaktiebolaget L M Ericsson (Publ) Methods, encoders and decoders for coding of video sequences
US10687069B2 (en) * 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
US9929940B2 (en) 2015-03-05 2018-03-27 Juniper Networks, Inc. Update of MAC routes in EVPN single-active topology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103168473A (zh) * 2010-10-16 2013-06-19 Lg电子株式会社 数字接收机以及用于处理数字接收机中的3d 内容的方法
US20140037206A1 (en) * 2011-04-28 2014-02-06 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
US20140225941A1 (en) * 2011-09-27 2014-08-14 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images

Also Published As

Publication number Publication date
US20200296322A1 (en) 2020-09-17
US20220360735A1 (en) 2022-11-10
JP2022097593A (ja) 2022-06-30
US12015872B2 (en) 2024-06-18
US20200404215A1 (en) 2020-12-24
BR112017013509A2 (pt) 2018-03-06
EP3242487A4 (en) 2018-07-04
US11394920B2 (en) 2022-07-19
JP7067652B2 (ja) 2022-05-16
US20180295318A1 (en) 2018-10-11
JPWO2016108268A1 (ja) 2017-10-12
CN107113457B (zh) 2020-12-04
CN107113457A (zh) 2017-08-29
JP6862830B2 (ja) 2021-04-21
CN112383695B (zh) 2022-06-14
EP3242487A1 (en) 2017-11-08
US10609327B2 (en) 2020-03-31
JP7384234B2 (ja) 2023-11-21
HUE056171T2 (hu) 2022-01-28
JP2021103898A (ja) 2021-07-15
WO2016108268A1 (ja) 2016-07-07
EP3242487B1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN112383695B (zh) 发送装置、接收装置和接收方法
US11563490B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN111343460B (zh) 接收装置、显示设备及接收方法
US11057547B2 (en) Transmitting device, transmitting method, receiving device, and receiving method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant