CN110460792B - 再现方法及再现装置 - Google Patents

再现方法及再现装置 Download PDF

Info

Publication number
CN110460792B
CN110460792B CN201910885200.2A CN201910885200A CN110460792B CN 110460792 B CN110460792 B CN 110460792B CN 201910885200 A CN201910885200 A CN 201910885200A CN 110460792 B CN110460792 B CN 110460792B
Authority
CN
China
Prior art keywords
hdr
luminance
metadata
display
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910885200.2A
Other languages
English (en)
Other versions
CN110460792A (zh
Inventor
远间正真
矢羽田洋
小川智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110460792A publication Critical patent/CN110460792A/zh
Application granted granted Critical
Publication of CN110460792B publication Critical patent/CN110460792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

一种再现方法及再现装置,该再现方法是再现影像信号的再现方法,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现方法包括:判定步骤,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及调整步骤,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理。

Description

再现方法及再现装置
本申请是申请日为2015年07月31日、申请号为201580007932.1(国际申请号为PCT/JP2015/003876)、发明名称为“传输方法、再现方法及再现装置”的发明专利申请的分案申请。
技术领域
本发明涉及传输方法、再现方法及再现装置。
背景技术
以往,曾公开了用于改善能够显示的亮度级别(level)的图像信号处理装置(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2008-167418号公报
发明内容
本发明的一个方式的传输方法是向显示装置传输影像信号的再现装置中的传输方法,在连接所述再现装置和所述显示装置的传输协议的版本是第1版本的情况下,将对于所述影像信号的连续再现单位中包含的多个图像共同使用的、与所述影像信号的亮度范围相关的信息即第1元数据传输给所述显示装置,不将对于比所述影像信号的所述连续再现单位精细的单位共同使用的、与所述影像信号的亮度范围相关的信息即第2元数据传输给所述显示装置,在所述传输协议的版本是第2版本的情况下,将所述第1元数据及所述第2元数据传输给所述显示装置。
并且,本发明的一个方式的再现方法用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现方法包括:判定步骤,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及调整步骤,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理。
并且,本发明的一个方式的再现方法用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现方法包括:判定步骤,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及调整步骤,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理。
并且,本发明的一个方式的再现影像信号的再现装置,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现装置具有:判定部,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及调整部,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理。
并且,本发明的一个方式的再现影像信号的再现装置,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现装置具有:判定部,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及调整部,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理。
另外,这些概括性的或具体的方式也可由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
附图说明
图1是用于说明影像技术的发展的图。
图2是用于说明HDR的定位的图。
图3是表示HDR的效果的图像例的图。
图4是用于说明HDR引入时的母盘、发布方式及显示装置的关系的图。
图5是在内容中存储的亮度信号的代码值的决定方法、以及在再现时从代码值复原亮度值的处理的说明图。
图6是表示HDR元数据的例子的图。
图7是表示静态HDR元数据的存储例的图。
图8是表示动态HDR元数据的存储例的图。
图9是表示动态HDR元数据的存储例的图。
图10是静态HDR元数据的传输方法的流程图。
图11是HDR元数据的处理方法的流程图。
图12是表示数据输出装置的结构的框图。
图13是表示用于存储HDR元数据的SEI消息的数据构造例的图。
图14是表示用于存储HDR元数据的SEI消息的数据构造例的图。
图15是表示用于存储HDR元数据的SEI消息的数据构造例的图。
图16是表示数据输出装置的结构的框图。
图17是表示DR变换部的结构的框图。
图18是表示DR变换部的结构的框图。
图19是表示HDR元解释部的指示内容的例子的图。
图20是表示HDR元解释部的指示内容的例子的图。
图21是表示HDR元解释部的指示内容的例子的图。
图22是表示数据输出装置的结构的框图。
图23是表示视频信号及显示装置的特性、和数据输出装置的输出信号的组合例的图。
图24是表示再现各种信号并向各种TV输出信号时的动作模型例的图。
图25是表示静态HDR元数据及动态HDR元数据的存储例的图。
图26是表示用户指导的显示方法的例子的图。
图27是表示用户指导的显示方法的例子的图。
图28是表示用户指导的显示方法的例子的图。
图29是表示用户指导的显示方法的例子的图。
图30是依存于HDMI(注册商标,以下相同)的版本的动态HDR元数据的传输方法的流程图。
图31是依存于HDMI的版本的静态HDR元数据的传输方法的流程图。
图32是HDR信号的再现时的亮度值的控制方法的流程图。
图33是用于说明双盘的再现动作的图。
图34A是表示在HDRTV中变换HDR信号并进行HDR显示的显示处理的一例的图。
图34B是表示使用HDR适用的再现装置和SDRTV进行HDR显示的显示处理的一例的图。
图34C是表示使用通过标准接口相互连接的HDR适用的再现装置和SDRTV进行HDR显示的显示处理的一例的图。
图35是用于说明从HDR向准HDR的变换处理的图。
图36A是表示与HDR及SDR分别对应的EOTF(Electro-Optical TransferFunction:电光传递函数)的例子的图。
图36B是表示与HDR及SDR分别对应的逆EOTF的例子的图。
图37是表示实施方式的变换装置及显示装置的结构的框图。
图38是表示通过实施方式的变换装置及显示装置进行的变换方法及显示方法的流程图。
图39A是用于说明第1亮度变换的图。
图39B是用于说明第1亮度变换的另一例的图。
图40是用于说明第2亮度变换的图。
图41是用于说明第3亮度变换的图。
图42是表示显示设定的具体处理的流程图。
具体实施方式
本发明的一个方式的传输方法是向显示装置传输影像信号的再现装置中的传输方法,在连接所述再现装置和所述显示装置的传输协议的版本是第1版本的情况下,将对于所述影像信号的连续再现单位中包含的多个图像共同使用的、与所述影像信号的亮度范围相关的信息即第1元数据传输给所述显示装置,不将对于比所述影像信号的所述连续再现单位精细的单位共同使用的、与所述影像信号的亮度范围相关的信息即第2元数据传输给所述显示装置,在所述传输协议的版本是第2版本的情况下,将所述第1元数据及所述第2元数据传输给所述显示装置。
根据该方式,该传输方法能够按照传输协议的版本将第1元数据及第2元数据中合适的元数据传输给显示装置。
例如也可以是,在所述传输协议的版本是所述第1版本的情况下,进行使用所述第2元数据变换所述影像信号的亮度范围的变换处理,将变换后的影像信号传输给所述显示装置。
根据该方式,在不能将第2元数据传输给显示装置、在显示装置中不能进行变换处理的情况下,能够在再现装置进行变换处理。
例如也可以是,在所述传输协议的版本是所述第2版本、而且所述显示装置不能应对所述变换处理的情况下,进行所述变换处理,将所述变换后的影像信号传输给所述显示装置,在所述传输协议的版本是所述第2版本、而且所述显示装置能应对所述变换处理的情况下,不进行所述变换处理就将所述影像信号传输给所述显示装置。
由此,能够在再现装置及显示装置中合适的装置执行变换处理。
例如也可以是,在所述再现装置不能应对使用所述第2元数据变换所述影像信号的亮度范围的变换处理的情况下,不进行所述变换处理,不将所述第2元数据传输给所述显示装置。
例如也可以是,所述影像信号中的亮度值被编码成代码值,所述第1元数据是用于确定将多个亮度值和多个代码值关联起来的EOTF即电光传递函数的信息。
例如也可以是,所述第2元数据示出了所述影像信号的母盘制作特性。
并且,本发明的一个方式的再现方法用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现方法包括:判定步骤,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及调整步骤,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理。
根据该方式,在影像信号的亮度值超过显示装置的显示能力的情况下,该再现方法通过降低影像信号的亮度值,能够生成可在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值的变化量较大而有可能对视听者产生不良影响的情况下,该再现方法通过降低影像信号的亮度值,能够降低该不良影响。
例如也可以是,在所述调整步骤中,对于所述变化量超过所述第1阈值的像素,调整该像素的亮度值,以使得该像素的所述变化量达到所述第1阈值以下。
例如也可以是,在所述判定步骤中,判定所述影像信号中包含的第1图像的峰值亮度、与所述影像信号中包含的比所述第1图像靠后的第2图像中包含的多个像素的亮度值中的各亮度值的差分是否超过所述第1阈值,在所述调整步骤中,对于所述差分超过所述第1阈值的像素,调整该像素的亮度值,以使得该像素的所述差分达到所述第1阈值以下。
例如也可以是,在所述判定步骤中,判定基准时间间隔中的所述亮度值的所述变化量是否超过所述第1阈值,所述基准时间间隔是所述影像信号的帧速率的倒数的整数倍。
例如也可以是,在所述判定步骤中,判定所述影像信号中包含的图像所含有的多个像素中、所述变化量超过所述第1阈值的像素的比例,是否超过第2阈值,在所述调整步骤中,在所述比例超过所述第2阈值的情况下,调整所述多个像素的亮度值,以使得所述比例达到所述第2阈值以下。
例如也可以是,在所述判定步骤中,对于通过将画面分割而得到的多个区域中的每个区域,判定该区域的画面间的亮度值的变化量是否超过所述第1阈值,在所述调整步骤中,对于被判定为所述变化量超过所述第1阈值的区域,进行降低该区域的亮度值的调整处理。
并且,本发明的一个方式的再现方法用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现方法包括:判定步骤,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及调整步骤,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理。
根据该方式,在影像信号的亮度值超过显示装置的显示能力的情况下,该再现方法通过降低影像信号的亮度值,能够生成可在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值较高而有可能对视听者产生不良影响的情况下,该再现方法通过降低影像信号的亮度值,能够降低该不良影响。
例如也可以是,在所述判定步骤中,判定所述图像中含有的多个像素中亮度值超过所述第1阈值的像素的数量,在所述调整步骤中,在所述像素的数量超过第3阈值的情况下,调整所述图像的亮度值,以使得所述像素的数量达到所述第3阈值以下。
例如也可以是,在所述判定步骤中,判定所述图像中含有的多个像素中亮度值超过所述第1阈值的像素的比例,在所述调整步骤中,在所述比例超过第3阈值的情况下,调整所述图像的亮度值,以使得所述比例达到所述第3阈值以下。
例如也可以是,所述第1阈值是根据在显示所述影像信号的显示装置中能够对多个像素同时施加的电压的上限值计算的值。
并且,本发明的一个方式的再现装置是向显示装置传输影像信号的再现装置,在连接所述再现装置和所述显示装置的传输协议的版本是第1版本的情况下,将对于所述影像信号的连续再现单位中包含的多个图像共同使用的、与所述影像信号的亮度范围相关的信息即第1元数据传输给所述显示装置,不将对于比所述影像信号的所述连续再现单位精细的单位共同使用的、与所述影像信号的亮度范围相关的信息即第2元数据传输给所述显示装置,在所述传输协议的版本是第2版本的情况下,将所述第1元数据及所述第2元数据传输给所述显示装置。
根据该方式,该再现装置能够按照传输协议的版本将第1元数据及第2元数据中合适的元数据传输给显示装置。
并且,本发明的一个方式的再现装置用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现装置具有:判定部,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及调整部,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理。
根据该方式,在影像信号的亮度值超过显示装置的显示能力的情况下,该再现装置通过降低影像信号的亮度值,能够生成可在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值的变化量较大而有可能对视听者产生不良影响的情况下,该再现装置通过降低影像信号的亮度值,能够降低该不良影响。
并且,本发明的一个方式的再现装置用于再现影像信号,所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,所述再现装置具有:判定部,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及调整部,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理。
根据该方式,在影像信号的亮度值超过显示装置的显示能力的情况下,该再现装置通过降低影像信号的亮度值,能够生成可在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值较高而有可能对视听者产生不良影响的情况下,该再现装置通过降低影像信号的亮度值,能够降低该不良影响。
另外,这些概括性的或具体的方式也可由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
并且,关于上述特征,主要在[27.HDR元数据的传输方法]~[28.亮度值的调整]中进行说明。
另外,下面说明的实施方式均用于示出本发明的一个具体例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例,其主旨不是限定本发明。并且,关于下面的实施方式的构成要素中、没有在表示最上位概念的独立权利要求中记载的构成要素,是作为任意的构成要素进行说明的。
(实施方式)
[1.背景]
首先,关于影像技术的变迁,使用图1进行说明。图1是用于说明影像技术的发展的图。
在此之前,关于影像的高画质化主要放眼于显示像素数的扩大,从标清(StandardDefinition:SD)的720×480像素的影像到高清(High Definition:HD)的1920×1080像素的所谓2K影像得到普及。
近年来,以影像的进一步的高画质化为目标,开始引入了超高清(Ultra HighDefinition:UHD)的3840像素×1920像素、或者4K的4096×1920像素的所谓4K影像。
并且,也在研究通过引入4K进行影像的高分辨率化,并且进行动态范围扩展及色域的扩大,或者帧速率的追加、提高等,由此使影像高画质化。
其中,关于动态范围,作为在维持以往影像中的暗部灰度的同时,能应对为了以更接近现实的明亮度表现在当前的TV信号中不能表现的镜面反射光等明亮的光而扩大最大亮度值的亮度范围的方式,HDR(High Dynamic Range:高动态范围)受到关注。具体而言,此前的TV信号所对应的亮度范围的方式被称为SDR(Standard Dynamic Range:标准动态范围),最大亮度值是100nit(尼特),而在HDR中假定将最大亮度值扩大至1000nit以上。关于HDR,SMPTE(Society of Motion Picture and Television Engineers:美国电影与电视工程师学会)和ITU-R(International Telecommunications Union Radio CommunicationsSector:国际电信联盟无线通信委员会)等正在推进标准化。
作为HDR的具体的应用对象,假定与HD及UHD一样在广播及封装介质(Blu-ray(注册商标,以下相同)Disc(蓝光光盘)等)、因特网发布等中使用。
另外,以下在对应HDR的影像中,该影像的亮度由HDR的亮度范围的亮度值构成,将通过对该影像的亮度值进行量化而得到的亮度信号称为HDR信号。在对应SDR的影像中,该影像的亮度由SDR的亮度范围的亮度值构成,将通过对该影像的亮度值进行量化而得到的亮度信号称为SDR信号。
[2.目的及课题]
亮度范围比以往的图像信号高的图像信号即HDR(High Dynamic Range)信号,经由存储了HDR信号的Blu-ray盘等封装介质、广播或者OTT(Over The Top:不经运营商的网络业务)等发布媒介进行发布。其中,OTT是指在因特网上提供的Web站点、动态图像或声音等内容或者服务、或者提供这些的企业。所发布的HDR信号通过Blu-ray设备等被解码。并且,被解码后的HDR信号被发送给HDR适用显示装置(TV、投影仪、平板或者智能电话等),通过HDR适用显示装置将HDR影像再现。
HDR技术尚处于初期阶段,设想在采用了最初引入的HDR技术后研发新的HDR方式。在这种情况下,将重新制作的HDR方式的HDR信号(及元数据)存储在HDR发布媒介中,由此能够采用新型HDR方式。在这种情况下,在尚不支持新功能的原来的设备(例如Blu-ray设备)中,能够再现存储了新型HDR方式的信号的HDR发布媒介的“Forward Compatibility:前向兼容性”很重要。在本发明中实现如下的方法及装置,即:对于存储了新型HDR信号形式(元数据)的发布媒介,不需改变作为原来的发布媒介用而设计的解码装置(例如Blu-ray设备),通过保证原来技术的HDR再现来保持兼容性,在能够应对新方式的HDR解码装置(例如Blu-ray设备)中也能够应对新型的HDR方式的处理。
在采用选定扩展方式,或不决定适合的登记方法,不怎么作为地就采用新技术的方式时,有可能导致许多非兼容方式纷纷出现而引起市场混乱。相反,在引入非常严格的技术选择的机制时,将导致新技术的确定推迟。因此,由于技术革新的引入滞后,有可能导致其发布平台(Blu-ray等)老旧化。因此,存在该发布平台相对于其它平台(例如OTT等的电子发布服务)不能维持竞争力的风险。为此,需要吸取了两者的优点的可选引入方式。在本实施方式中提出满足这种需求的混合可选引入方式。
图2是表示HDR的定位(亮度的扩大)的图。并且,图3示出表示HDR的效果的图像例。
[3.HDR引入时的母盘、发布方式及显示装置的关系]
图4是表示制作SDR和HDR的家庭娱乐系统用母盘(master)的流程、和发布媒介及显示装置的关系的图。
HDR的概念已提出,HDR的概念级别的有效性已得到确认。并且,提出了HDR的最初的实施方法。但是,使用该方法制作大量的HDR内容、并进行最初的实施方法的确证并未实现。因此,在未来正式制作HDR内容的情况下,现状的HDR的制作方式、从HDR向SDR的变换方式、或者在显示装置中的色调映射变换方式等用的元数据有可能变化。
[4.EOTF的使用方法]
图5是存储在内容中的亮度信号的代码值的决定方法、以及在再现时从代码值复原亮度值的流程的说明图。
在本例中表示亮度的亮度信号是与HDR对应的HDR信号。分级(grading)后的图像通过HDR的逆EOTF被量化,并决定与该图像的亮度值对应的代码值。根据该代码值进行图像编码等,并生成视频的流。在再现时,根据HDR的EOTF对流的解码结果进行逆量化,由此被变换为线性的信号,每个像素的亮度值被复原。以下,将使用了HDR的逆EOTF的量化称为“逆HDR的EOTF变换”。将使用了HDR的EOTF的逆量化称为“HDR的EOTF变换”。同样地,将使用了SDR的逆EOTF的量化称为“逆SDR的EOTF变换”。将使用了SDR的EOTF的逆量化称为“SDR的EOTF变换”。
通过在影像变换处理部使用该亮度值和元数据变换为能够在影像显示部显示的亮度值,能够在影像显示部显示HDR影像。例如,在原来的HDR影像的峰值亮度是2000nit、影像显示部的峰值亮度是800nit的情况下,能够进行变换以降低亮度。
这样,HDR母盘的方式由EOTF及元数据和HDR信号的组合实现。因此,研发更有效的EOTF及元数据,并采用使用了这样的EOTF及元数据的HDR方式的时代有可能来到。
然而,这种新型的方式将会是什么样的方式,在当下是未知的,但是能够想象到EOTF被变更的可能性和元数据被追加的可能性。在这种情况下,HDR信号自身也变化。
本发明的目的在于,即使是在这样变更了HDR的传输格式的情况下,也能够降低购买了HDR适用设备的客户重新购买新设备的风险,由此实现HDR的普及。
[5.元数据]
图6是表示HDR元数据的例子的图。HDR元数据包括在影像信号的亮度范围的变更(DR变换)时使用的变换辅助信息、和HDR控制信息。各信息是例如以标题(title)单位设计的静态HDR元数据、和例如以帧单位设计的动态HDR元数据中任意一种数据。并且,将静态HDR元数据分类成必须元数据(基本数据)和选择元数据(扩展数据)中任意一种数据,动态HDR元数据被分类为选择元数据。另外,关于各信息的详情在后面说明。
这样,基本方式能够仅以静态HDR元数据实现。并且,以对基本方式的再现设备(Blu-ray等)不产生影响的方式设计各扩展方式。
[6.HDR元数据1]
作为表示HDR内容中的母盘制作时的特性的参数,包括对每个标题或者每个播放列表而固定的静态HDR元数据、和对每个场景可以变化的动态HDR元数据。其中,标题和播放列表是表示连续再现的影像信号的信息。以下,将连续再现的影像信号称为连续再现单位。
例如,静态HDR元数据包括EOTF函数(曲线)的种类、18%Gray(18%灰度)值、Diffuse White(漫射白)值、Knee point(曲线拐点)及Clip point(削平点)中至少一项。EOTF是将多个亮度值和多个代码值关联起来形成的信息,是用于变更影像信号的亮度范围的信息。其它信息是与影像信号的亮度相关的属性信息,静态HDR元数据是与影像信号的亮度范围相关的属性信息,可以说是用于确定影像信号的亮度范围的信息。
具体而言,18%Gray值及Diffuse White值表示作为预先设定的基准的明亮度的影像中的亮度值(nit),换言之表示影像中的基准的明亮度。更具体地讲,18%Gray值表示在母盘制作前为18nit的明亮度的物体的母盘制作后的亮度值(nit)。Diffuse White值表示与白色相当的亮度值(nit)。
并且,Knee point及Clip point是EOTF的函数的参数,表示EOTF中的特性变化的点。具体而言,Knee point表示将相对于摄影时的原始的亮度值(输入亮度)的增量的、作为影像信号的亮度而被映射至EOTF中的亮度值(输出亮度)的增量设为与一对一不同的值的变化点。例如,在后述的图39A中,Knee point是用于确定因线性变化而偏离的点的信息。并且,Clip point表示在EOTF函数中削波(clip)开始的点。此处,削波是指将某个值以上的输入亮度值变换为相同的输出亮度值。例如,在后述的图39B中,Clip point表示输出亮度值不再变化的点。
并且,EOTF函数(曲线)的种类例如有图36A所示的HDR的EOTF和SDR的EOTF。
这样,本实施方式的内容数据生成方法用于生成内容数据,该内容数据生成方法包括:第1生成步骤,生成影像信号和静态HDR元数据(第1元数据),静态HDR元数据是对影像信号的连续再现单位中包含的多个图像(构成连续再现单位的影像信号)共同使用的信息,包括与影像信号的亮度范围相关的信息;第2生成步骤,将连续再现单位和静态HDR元数据关联起来,从而生成内容数据。例如,与影像信号的亮度范围相关的信息是用于变换影像信号的亮度范围的信息。
并且,静态HDR元数据包括用于确定将多个亮度值和多个代码值关联起来的EOTF的信息。并且,影像信号中的亮度值作为代码值而被编码。
并且,静态HDR元数据还包括表示作为预先设定的基准的明亮度的影像信号中的亮度值的信息、或者表示EOTF中的特性变化的点的信息。例如,静态HDR元数据包括表示与影像信号中的白色相当的亮度值的信息(Diffuse White值)。
并且,在第1生成步骤中还生成动态HDR元数据(第2元数据),动态HDR元数据是对于比连续再现单位精细的单位共同使用的信息,是与影像信号的亮度范围相关的信息。例如,与影像信号的亮度范围相关的信息是用于变换影像信号的亮度范围的信息。
动态HDR元数据是表示对每个场景而不同的母盘制作特性的参数等。其中,母盘制作特性表示原始(母盘制作前)的亮度和母盘制作后的亮度的关系。例如,表示母盘制作特性的参数是与上述的静态HDR元数据相同的信息,换言之是静态HDR元数据中包含的信息中的至少一项。
图7是表示静态HDR元数据的存储例的图。本例是在Blu-ray盘等封装介质中将静态HDR元数据存储于播放列表的例子。
静态HDR元数据被存储为从播放列表参照的每个流的元数据的一个。在这种情况下,静态HDR元数据按照播放列表单位是固定的。即,将静态HDR元数据与各个部分列表相对应地进行存储。
并且,在OTT中,也可以在取得流之前,将静态HDR元数据存储在要参照的清单文件(manifest file)中。即,也可以是,本实施方式的内容数据生成方法生成影像信号作为影像流,将静态HDR元数据存储于在取得流之前进行参照的清单文件中。
并且,在广播中,也可以将静态HDR元数据存储于表示流的属性的记述符中。即,也可以是,本实施方式的内容数据生成方法生成内容数据作为影像流,将静态HDR元数据作为表示影像流的属性的识别符相对于该影像流独立地进行存储。例如,将静态HDR元数据存储为MPEG2-TS中的记述符(描述符)。
并且,在静态HDR元数据对于每个标题是固定的情况下,也可以将静态HDR元数据存储为表示标题的属性的管理信息。
并且,在该例中,使用在Blu-ray盘内的播放列表中存储各种元数据的结构,存储HDR用的静态HDR元数据。因此,需要根据Blu-ray等的应用标准或者设备的视点在播放列表中定义静态HDR元数据的存在。因此,在新设新的HDR用的静态元数据的情况下,需要修改Blu-ray的标准。并且,由于存在容量的规定,因而难以无限制地存储HDR的可选技术用的静态HDR元数据。
[7.HDR元数据2]
图8是表示动态HDR元数据在视频流中的存储例的图。在MPEG-4AVC或者HEVC(HighEfficiency Video Coding:高效视频编码)中,使用被称为SEI(SupplementaryEnhancement Information:补充增强信息)的数据构造,存储与流的再现控制相关的信息。因此,例如将动态HDR元数据存储在SEI中。
假定动态HDR元数据按照每个场景被更新。场景的开头是GOP(Group ofPictures:图片组)等随机存取单位的开头的存取单元(AU)。因此,动态HDR元数据也可以按照随机存取单位中的解码顺序存储在开头的存取单元中。随机存取单位的开头存取单元成为被附加了IDP图片或者SPS(Sequence Parameter Set:序列参数集)的non-IDR I图片等。因此,接收侧的装置通过检测构成随机存取单位的开头存取单元的NAL(NetworkAbstraction Layer:网络抽象层)单元,能够取得动态HDR元数据。或者,也可以对存储动态HDR元数据的SEI赋予固有的类型。
另外,关于EOTF函数的种类,也可以存储为SPS中的流的属性信息等。即,也可以是,本实施方式的内容数据生成方法生成按照HEVC对内容数据进行编码得到的影像流,将用于确定EOTF的信息存储在包含于影像流的SPS中。
另外,该例使用存储MPEG的可选数据的结构,在视频基本流中存储动态HDR元数据。因此,从Blu-ray等的应用标准或者设备的视点不能理解动态HDR元数据的存在。因此,即使不修改Blu-ray的标准,仅仅使用MPEG的可选数据的存储的结构,也能够记录动态HDR元数据。另外,由于使用的区域是SEI区域,因而也能够存储多个可选用的动态HDR元数据。
[8.动态HDR元数据的存储方法]
图9是表示以与主影像不同的TS流形式存储动态HDR元数据的例子的图。
在Blu-ray中具有同步再现两个TS流的功能。这两个TS流的同步再现功能包括使在盘内被单独管理的两个TS流同步再现的2TS再现功能、和将两个流进行交织作为一个TS流进行处理的1TS再现功能。
通过使用这两种的TS流的同步再现功能而且以TS流形式存储动态HDR元数据,再现装置能够与主HDR影像同步地使用动态HDR元数据。因此,在通常的HDR播放器中,能够仅再现主HDR影像得到标准HDR质量的影像。并且,在可应对备选的HDR播放器中,通过使用在TS中存储的动态HDR元数据,能够再现高灰度HDR质量影像。
在该例中,使用Blu-ray的存储两个TS流的结构,在辅助的TS流中存储动态HDR元数据。因此,从Blu-ray等的应用标准或者设备的视点,动态HDR元数据的存在被识别为TS流。因此,需要修改Blu-ray的标准。并且,能够同时存储两种可选的TS流。
[9.静态HDR元数据的传输方法]
图10是表示静态HDR元数据的传输方法的流程图,是表示在BD播放器(Blu-ray设备)或者记录器等再现装置中通过HDMI等传输协议向显示装置传输HDR信号时的动作例的流程图。
前面说明了静态HDR元数据按照标题单位或者播放列表单位是固定的情况。因此,在再现装置需要进行静态HDR元数据的设定的情况下(S401:是),在标题或者播放列表的再现开始时,从内容的管理信息取得静态HDR元数据,将所取得的静态HDR元数据作为HDMI的控制信息进行存储并传输。即,再现装置在构成标题或者播放列表的影像信号的传输开始之前,取得与该标题或者播放列表对应的静态HDR元数据,将所取得的静态HDR元数据作为HDMI的控制信息进行传输(S402)。通常,在进行再现装置和显示装置之间的HDMI的初始化处理时,该再现装置也可以将静态HDR元数据作为初始化信息进行传输。
然后,再现装置传输与静态HDR元数据对应的视频流(S403)。另外,已传输的静态HDR元数据对于该视频流是有效的。
这样,本实施方式的影像流传输方法用于传输影像流(视频流),该影像流传输方法包括:取得步骤,取得包括影像信号和静态HDR元数据(第1元数据)的内容数据,静态HDR元数据是对连续再现单位中包含的多个图像共同使用的信息,且与影像信号的亮度范围相关;传输步骤,传输与影像信号对应的影像流和静态HDR元数据。
例如,在传输步骤中,通过HDMI的通信协议传输影像流和静态HDR元数据。
并且,将动态HDR元数据作为视频流的一部分(SEI)进行传输。
另外,再现装置也可以在动态HDR元数据成为有效的定时将该动态HDR元数据作为HDMI的控制信号进行传输。此时,再现装置对静态HDR元数据和动态HDR元数据设置识别符等能够相互识别地进行传输。
并且也可以是,在控制信号中仅规定存储动态HDR元数据用的容器(container)的数据构造,并能够原样复制SEI的内容作为容器的有效载荷数据。由此,即使SEI中包含的动态HDR元数据的语法被更新时,也不需变更BD播放器等再现装置的安装即可适用。
对于静态HDR元数据也一样,如果能够复制内容的管理信息中的静态HDR元数据并进行传输,对于静态HDR元数据的语法的变更,即使不变更再现装置的安装也能够适用。即,也可以是,规定存储静态HDR元数据用的容器的数据构造,在传输步骤中,将内容数据中包含的静态HDR元数据复制在容器的有效载荷中,并传输该容器。
并且,将在TS流中存储的动态HDR元数据利用某种方法与主HDR影像信号进行合成,然后作为新的影像信号(在图9的例子中指高灰度HDR影像)通过HDMI进行传输。
[10.HDR元数据的处理方法]
图11是表示在显示装置中显示HDR信号时的HDR元数据的处理方法的例子的流程图。首先,显示装置从HDMI的控制信息取得静态HDR元数据(S411),根据所取得的静态HDR元数据决定HDR信号的显示方法(S412)。
另外,在控制信息中不包含静态HDR元数据的情况下,显示装置根据在应用标准中预先设定的值或者显示装置的默认设定,决定HDR信号的显示方法。即,本实施方式的影像显示方法在不能取得静态HDR元数据的情况下,根据预先设定的值或者设定,决定与影像信号对应的影像的显示方法。
并且,当在视频流内的SEI等中检测出动态HDR元数据的情况下(S413:是),显示装置根据动态HDR元数据更新HDR信号的显示方法(S414)。即,本实施方式的影像显示方法在取得了静态HDR元数据的情况下,根据所取得的静态HDR元数据决定显示方法并显示影像,在取得了动态HDR元数据的情况下,将根据静态HDR元数据决定的显示方法更新为根据动态HDR元数据决定的显示方法,并显示影像。或者,也可以根据静态HDR元数据和动态HDR元数据双方决定显示方法。
另外,在显示装置不能应对动态HDR元数据的取得的情况下,显示装置也可以仅根据静态HDR元数据进行动作。并且,即使是在显示装置能够应对动态HDR元数据的取得的情况下,显示装置有时也不能与存储有元数据的存取单元的显示时刻(PTS:PresentationTime Stamp演示时间戳)同步地更新HDR信号的显示方法。在这种情况下,显示装置也可以在取得元数据后,从在能够更新显示方法的最早的时刻起显示的存取单元开始更新显示方法。
另外,通过对HDR元数据赋予版本信息等,能够应对参数的更新和追加。由此,显示装置能够根据HDR元数据的版本信息判定是否能够解释该元数据。或者也可以是,HDR元数据由基本部和扩展部构成,版本的更新或者追加通过变更扩展部来应对,基本部不更新。即,也可以是,静态HDR元数据和动态HDR元数据分别具有多个版本,并包括在多个版本中共同使用的基本部和因每个版本而异的扩展部。这样,能够根据基本部的HDR元数据确保显示装置中的后方兼容性。
这样,本实施方式的影像显示方法根据影像流显示影像,该影像显示方法包括:取得步骤,取得与影像信号对应的影像流和静态HDR元数据(第1元数据);显示步骤,根据静态HDR元数据决定与影像信号对应的影像的显示方法并进行显示。
并且,影像信号中的亮度值被编码成为代码值,静态HDR元数据包括用于确定将多个亮度值和多个代码值关联起来的EOTF的信息,在显示步骤中,使用根据静态HDR元数据确定的EOTF,将影像信号所表示的代码值变换为亮度值,由此生成影像。
[11.数据输出装置]
图12是表示BD播放器等输出HDR信号的数据输出装置400的结构的框图。被输入到数据输出装置400的HDR元数据包括表示HDR信号的母盘制作特性的特性数据、以及表示将HDR信号变换为SDR信号或者变换HDR信号的动态范围时的色调映射方法的变换辅助数据。这两种元数据如在图7及图8中说明的那样被存储为静态HDR元数据或者动态HDR元数据。另外,静态HDR元数据被存储在内容的管理信息及影像流内至少一方中。
数据输出装置400具有视频解码部401、外部元取得部402、HDR元解释部403、HDR控制信息生成部404、DR变换部405、HDMI输出部406。
视频解码部401通过对视频的编码流即影像流进行解码而生成影像信号(第1影像信号),将所得到的影像信号输出给DR变换部405。并且,视频解码部401取得影像流内的HDR元数据(第2元数据)(静态HDR元数据或者动态HDR元数据)。具体而言,视频解码部401将在MPEG-4AVC或者HEVC的SEI消息等中存储的HDR元数据输出给HDR元解释部403。
外部元取得部402取得在播放列表等内容的管理信息中存储的静态HDR元数据(第1元数据),将所取得的静态HDR元数据输出给HDR元解释部403。在此,也可以在内容的管理信息中存储播放项目等在可随机存取的规定单位中能够变更的动态HDR元数据。在这种情况下,外部元取得部402从内容的管理信息中取得动态HDR元数据,将所取得的动态HDR元数据输出给HDR元解释部403。
HDR元解释部403判定从视频解码部401或者外部元取得部402输出的HDR元数据的类型,将特性数据输出给HDR控制信息生成部404,将变换辅助数据输出给DR变换部405。
另外,当在视频解码部401和外部元取得部402双方取得静态HDR元数据的情况下,也可以仅将从外部元取得部402输出的静态HDR元数据用作有效的元数据。即,在外部元取得部402取得的第1元数据和视频解码部401取得的第2元数据是对于第1影像信号的连续再现单位中包含的多个图像共同使用的静态HDR元数据的情况下,HDR元解释部403在第1元数据和第2元数据都已取得的情况下,通过分析第1元数据取得特性数据和变换辅助数据。
或者也可以是,HDR元解释部403在外部元取得部402取得了静态HDR元数据的情况下,将该静态HDR元数据用作有效的元数据,在视频解码部401又取得了静态HDR元数据的情况下,用该静态HDR元数据覆盖有效的元数据。即,在外部元取得部402取得的第1元数据和视频解码部401取得的第2元数据是对于第1影像信号的连续再现单位中包含的多个图像共同使用的静态HDR元数据的情况下,HDR元解释部403在仅取得了第1元数据和第2元数据中的第1元数据的情况下,通过分析第1元数据取得特性数据和变换辅助数据,在取得了第2元数据的情况下,将使用的元数据从第1元数据切换为第2元数据。
HDR控制信息生成部404根据特性数据生成HDMI中的HDR控制信息,将所生成的HDR控制信息输出给HDMI输出部406。其中,对于动态HDR元数据,以能够与元数据成为有效的视频信号同步地输出HDR控制信息的方式,决定HDMI输出部406对HDR控制信息的输出定时。即,HDMI输出部406与元数据成为有效的视频信号(影像信号)同步地输出HDR控制信息。
DR变换部405根据变换辅助数据将解码后的影像信号变换为SDR信号,并变换动态范围。其中,在与数据输出装置400连接的显示装置能够应对HDR信号的输入的情况下,将不需要通过DR变换部405的变换。因此,数据输出装置400也可以在HDMI的初始化处理等中确认连接对象的显示装置是否能够应对HDR信号的输入,由此判定是否需要变换处理。在判定为不需要变换处理的情况下,将在视频解码部401得到的第1影像信号不经由DR变换部405而输入HDMI输出部406。
即,在与数据输出装置400连接的显示装置能够应对HDR信号(第1影像信号)的亮度范围的影像输出的情况下,HDMI输出部406向显示装置输出第1影像信号和HDR控制信息。并且,在与数据输出装置400连接的显示装置不能应对HDR信号(第1影像信号)的亮度范围的影像输出的情况下,HDMI输出部406向显示装置输出将HDR变换为SDR后的第2影像信号和HDR控制信息。并且,HDMI输出部406在传输协议(例如HDMI)的初始化处理中,判定显示装置是否能够应对HDR信号(第1影像信号)的亮度范围的影像输出。
HDMI输出部406通过HDMI的通信协议,输出从DR变换部405或者视频解码部401输出的影像信号、以及HDR控制信息。
另外,在数据输出装置400接收并输出广播或者OTT的内容的情况下,也能够采用同样的结构。并且,在数据输出装置400和显示装置包含于一个设备中的情况下,不需要HDMI输出部406。
并且,在上述说明中,数据输出装置400具有从管理信息等取得元数据的外部元取得部402,视频解码部401具有从影像流取得元数据的功能,然而数据输出装置400也可以仅具有任意一方。
并且,在上述说明中叙述了数据输出装置400输出基于HDMI的数据(影像信号和HDR控制信息)的例子,然而数据输出装置400只要输出基于任意的传输协议的数据即可。
这样,数据输出装置400具有:解码部(视频解码部401),通过将影像流进行解码而生成第1亮度范围(HDR)的第1影像信号;取得部(视频解码部401及外部元取得部402至少一方),取得与第1影像信号的亮度范围相关的第1元数据;解释部(HDR元解释部403),通过解释第1元数据而取得表示第1影像信号的亮度范围的特性数据;控制信息生成部(HDR控制信息生成部404),将特性数据变换为基于规定的传输协议(例如HDMI)的HDR控制信息;输出部(HDMI输出部406),按照规定的传输协议输出HDR控制信息。
由此,数据输出装置400能够根据元数据中包含的特性数据生成控制信息。
并且,解释部(HDR元解释部403)还通过解释第1元数据取得用于变换第1影像信号的亮度范围的变换辅助数据,数据输出装置400还具有变换部(DR变换部405),根据变换辅助数据变换第1影像信号的亮度范围,由此生成比第1影像信号的亮度范围狭窄的亮度范围的第2影像信号,输出部(HDMI输出部406)按照规定的传输协议输出第1影像信号及第2影像信号至少一方。
由此,数据输出装置400能够使用元数据中包含的变换辅助数据变更第1影像信号的亮度范围。
并且,解码部(视频解码部401)还从影像流中取得与第1影像信号的亮度范围相关的第2元数据(HDR元数据),解释部(HDR元解释部403)通过分析第1元数据及第2元数据至少一方,取得特性数据及变换辅助数据。
并且,如图6所示,静态HDR元数据包括必须元数据和选择元数据,动态HDR元数据仅包括选择元数据。即,静态HDR元数据始终被使用,动态HDR元数据被有选择地使用。这样,在外部元取得部402取得的第1元数据或者在视频解码部401取得的第2元数据,包括对于影像信号的连续再现单位中包含的多个图像共同使用的、包含特性数据的静态HDR元数据(静态元数据)。HDR控制信息生成部404将静态HDR元数据中包含的特性数据变换为基于规定的传输协议的HDR控制信息。HDMI输出部406在输出第1影像信号(HDR信号)的情况下,输出基于静态HDR元数据的HDR控制信息。
并且,在外部元取得部402取得的第1元数据或者在视频解码部401取得的第2元数据,还包括对于比影像信号的连续再现单位精细的单位共同使用的、包含特性数据的动态HDR元数据(动态元数据)。HDR控制信息生成部404将静态HDR元数据中包含的特性数据以及动态HDR元数据中包含的特性数据,变换为基于规定的传输协议的HDR控制信息。HDMI输出部406在输出第1影像信号(HDR信号)的情况下,输出基于静态HDR元数据及动态HDR元数据的HDR控制信息。
并且,本发明的数据生成方法是由数据生成装置进行的数据生成方法,包括生成与影像信号的亮度范围相关的元数据的第1生成步骤、以及生成包括影像信号和元数据的影像流的第2生成步骤。元数据包括表示影像信号的亮度范围的特性数据、和用于变换影像信号的亮度范围的变换辅助数据。
[12.HDR元数据的存储例1]
图13是表示用于存储HDR元数据的SEI消息的数据构造例的图。也可以按照图13所示定义HDR元数据专用的SEI消息。即,也可以将元数据存储在元数据专用的消息中。
或者,也可以将HDR元数据存储在用户数据存储用的通用的SEI消息中,并在该消息的有效载荷部分设有表示在该消息中存储有HDR元数据的信息(后述的HDR扩展识别信息)。
HDR元数据包括静态HDR元数据和动态HDR元数据。并且,也可以设置表示是否存储有静态HDR元数据的标志信息和表示是否存储有动态HDR元数据的标志信息。由此,能够使用仅存储静态HDR元数据的方法、仅存储动态HDR元数据的方法、以及存储静态HDR元数据和动态HDR元数据双方的方法这三种存储方法。
另外,也可以对各个元数据定义解释是必须的基本数据(基本部)和解释是可选的(解释是任意的)的扩展数据(扩展部)。例如,将表示元数据的类型(基本数据或者扩展数据)的类型信息和尺寸包含在标题信息中,并定义在有效载荷中存储有元数据的容器的格式。即,元数据包括有效载荷、表示有效载荷的数据是基本数据还是扩展数据的信息、表示有效载荷的数据尺寸的信息。换言之,元数据包括表示元数据的类别的类型信息。例如,基本数据被存储在类型值为0的容器中。并且,对扩展数据分配1以上的值作为类型值,利用该值表示扩展数据的类别。
数据输出装置及显示装置参照类型值取得自身能够解释的容器的数据。即,数据输出装置(或者显示装置)使用类型信息判定数据输出装置(或者显示装置)是否能够解释元数据,在数据输出装置(或者显示装置)能够解释该元数据的情况下,通过解释该元数据取得特性数据和变换辅助数据。
并且,也可以预先设定HDR元数据的最大尺寸,并生成使基本数据和扩展数据的尺寸的总和达到最大尺寸以下的元数据。即,规定了元数据的数据尺寸的最大值,本发明的数据生成方法生成使基本数据和扩展数据的合计的数据尺寸达到最大值以下的元数据。
数据输出装置及显示装置具有该最大尺寸量的存储器,由此能够保证将HDR元数据全部存储在存储器中。或者,也能够预先对静态HDR元数据或者动态HDR元数据确保固定尺寸量的数据区域,将用于存储基本数据的区域以外的区域作为未来扩展用。
这样的数据构造也可以用于存储内容的管理信息中的HDR元数据。
通过这样使用SEI区域,能够比较自由地存储可选信息。
[13.HDR元数据的存储例2]
图14是表示在用户数据存储用的SEI消息中存储有HDR元数据的数据构造的一例的图。消息包括HDR扩展识别信息和扩展类型ID,除此以外与图14的数据构造相同。HDR扩展识别信息表示在该消息中包含HDR元数据。扩展类型ID表示HDR元数据的版本等。即,元数据被存储在HEVC的SEI消息中,该SEI消息包括表示在该SEI消息中是否包含元数据的HDR扩展识别信息。
在这种情况下,数据输出装置接收包括HDR扩展识别信息的用户数据存储用的SEI消息,而且在与数据输出装置连接的显示装置能够应对HDR信号及HDR控制信息的输入的情况下,通过HDMI等向显示装置的输出I/F的通信协议,原样复制所接收到的SEI消息并输出。即,数据输出装置取得包括HDR扩展识别信息的SEI消息,而且在数据输出对象的显示装置能够应对HDR控制信息的输入的情况下,将该SEI消息按照规定的传输协议(例如HDMI)原样输出,HDR扩展识别信息表示在该SEI消息中是否包含元数据。
由此,无论元数据的内容怎样,数据输出装置都能够向显示装置输出HDR元数据。根据这样的结构,能够研发未来新的DR变换处理并定义新的HDR元数据,在能够应对该新型HDR元数据的显示装置与不能应对新型HDR元数据的数据输出装置连接的情况下,也能够从数据输出装置向显示装置输出新型HDR元数据。并且,在显示装置中能够实施与新型HDR元数据对应的DR变换处理。
[14.多个HDR元数据的存储例]
图15是表示在一个用户数据存储用的SEI消息中存储多个HDR元数据时的数据构造的一例的图。在该SEI消息中存储有针对与动态范围(亮度范围)的变换相关的多个变换模式(方式)的多个HDR元数据。
图15所示的数据构造针对图14所示的数据构造追加了字段(变换模式数),该字段表示提供HDR元数据的变换模式的数量。并且,在变换模式的数量之后顺序地存储与各变换模式对应的多个HDR元数据。
即,本实施方式的数据生成方法是由数据生成装置进行的数据生成方法,包括:第1生成步骤,生成与用于变换影像信号的亮度范围的一个以上的变换模式对应的一个以上的元数据(HDR元数据);第2生成步骤,生成包括影像信号、一个以上的元数据、和表示一个以上的变换模式的数量的变换模式数的影像流。
[15.数据输出装置的结构]
图16是表示本实施方式的数据输出装置500的结构的框图。该数据输出装置500具有视频解码部501、外部元取得部502、HDR元解释部503、HDR控制信息生成部504、DR变换部505、HDMI输出部506。另外,HDR元解释部503及DR变换部505的动作与图12所示的数据输出装置400不同。即,视频解码部501、外部元取得部502、HDR控制信息生成部504及HDMI输出部506的动作,与视频解码部401、外部元取得部402、HDR控制信息生成部404及HDMI输出部406的动作相同。
并且,数据输出装置500与显示装置510(显示部)连接,将所生成的影像信号及HDR控制信息经由HDMI等规定的传输协议输出给显示装置510。
DR变换部505及显示装置510分别能够应对多个动态范围的变换模式(变换方式)。其中,“能够应对”是指具有进行该变换模式的处理的功能。首先,HDR元解释部503从外部元取得部502及视频解码部501取得静态HDR元数据及动态HDR元数据。针对多个变换模式的多个HDR元数据被存储在内容的管理信息或者编码影像流中。HDR元解释部503判定多个HDR元数据所对应的多个变换模式是能够使用的多个变换模式。
并且,HDR元解释部503通过与显示装置510之间进行通信或者经由其它网络,取得显示装置510能够应对的HDR信号的变换模式的信息。并且,HDR元解释部503根据(1)HDR元数据所对应的变换模式、(2)DR变换部505能够应对的变换模式、(3)显示装置510能够应对的变换模式,决定(1)在数据输出装置500和显示装置510哪一方进行动态范围的变换处理、和(2)使用的变换模式。
当决定在数据输出装置500进行变换处理的情况下,DR变换部505按照由HDR元解释部503指示的变换模式,将HDR信号变换为SDR信号。当决定在显示装置510进行变换处理的情况下,数据输出装置500将影像信号(HDR信号)发送给显示装置510,并且将变换所需要的HDR元数据作为HDMI的控制信号(HDR控制信息)发送给显示装置510。
另外,在上述说明中,DR变换部505能够应对多个变换模式,但只要能够应对一个以上的变换模式即可。在这种情况下,数据输出装置500只要取得与一个以上的变换模式对应的一个以上的HDR元数据即可。
这样,数据输出装置500具有:解码部(视频解码部501),通过将影像流进行解码而生成第1影像信号;取得部(视频解码部501及外部元取得部502至少一方),取得与用于变换影像信号的亮度范围的一个以上的第1变换模式对应的一个以上的元数据;解释部(HDR元解释部503),通过解释一个以上的元数据中的一个元数据,取得表示第1影像信号的亮度范围的特性数据、和用于变换第1影像信号的亮度范围的变换辅助数据;控制信息生成部(HDR控制信息生成部504),将特性数据变换为基于规定的传输协议(例如HDMI)的HDR控制信息;变换部(DR变换部505),能够应对用于变换影像信号的亮度范围的一个以上的第2变换模式,根据变换辅助数据、并按照一个以上的第2变换模式中任意一个第2变换模式,进行第1影像信号的亮度范围的变换处理,由此生成比第1影像信号的亮度范围狭窄的亮度范围的第2影像信号;输出部(HDMI输出部506),按照规定的传输协议向显示装置510输出第2影像信号及HDR控制信息。解释部(HDR元解释部503)还根据一个以上的第1变换模式、一个以上的第2变换模式、显示装置510能够应对的用于变换影像信号的亮度范围的第3变换模式,决定在数据输出装置500和显示装置510哪一方进行上述变换处理。
由此,数据输出装置500能够根据与一个以上的元数据对应的第1变换模式、数据输出装置500能够应对的第2变换模式、显示装置510能够应对的第3变换模式,决定在数据输出装置500和显示装置510哪一方进行上述变换处理。由此,数据输出装置500能够决定适合进行变换处理的装置。
另外,数据输出装置500能够应对的第2变换模式也可以包括与一个以上的元数据对应的多个第1变换模式的至少一部分,也可以不包括一个以上的第1变换模式的任何第1变换模式。同样地,显示装置510能够应对的第3变换模式也可以包括一个以上的第1变换模式的至少一部分,也可以不包括一个以上的第1变换模式的任何第1变换模式。并且,第3变换模式也可以包括一个以上的第2变换模式的至少一部分,也可以不包括一个以上的第2变换模式的任何第2变换模式。
[16.DR变换部的结构]
下面说明DR变换部505的结构例。图17是表示DR变换部505的结构例的框图。该DR变换部505具有模式判定部511、N个模式处理部512、变换结果输出部513。N个模式处理部512分别能够应对N个变换模式(处理方式)中的各个变换模式,并进行所对应的变换模式的处理。模式判定部511取得由HDR元解释部503指示的变换模式,并决定进行变换处理的模式处理部512。即,模式判定部511选择与由HDR元解释部503指示的变换模式对应的模式处理部512。所决定的模式处理部512对HDR信号(影像信号)进行变换处理,由此生成SDR信号(变换后的影像信号)。变换结果输出部513输出变换后的SDR信号。
图18是表示DR变换部505的另一例即DR变换部505A的结构例的框图。该DR变换部505具有模式判定部521、基本处理部522、N个扩展模式处理部523、变换结果输出部524。
基本处理部522进行对于N个变换模式共同的处理即默认的变换处理。N个扩展模式处理部523在基本处理部522的处理基础上,进行使用动态HDR元数据动态地控制变换处理的参数等的扩展处理。并且,N个扩展模式处理部523分别能够应对N个变换模式中的各个变换模式,进行所对应的变换模式的扩展处理。例如,基本处理部522仅使用静态HDR元数据进行动作,扩展模式处理部523使用静态HDR元数据及动态HDR元数据进行动作。
[17.HDR元解释部的动作例]
图19及图20是表示HDR元解释部503的指示内容的例子的图,该指示内容依据于提供HDR元数据的变换模式、数据输出装置500能否支持各模式、以及显示装置510能否支持各模式。HDR元解释部503基本上在能够选择的组合中选择对母盘图像的再现性最高的动作。其中,母盘图像是指不变更亮度范围就输出的图像。
例如,在图19所示的例子中,数据输出装置500能够应对模式1及模式2,显示装置510哪个变换模式都不能应对。另外,在模式1及模式2中,模式2对母盘图像的再现性比较高。并且,HDR元解释部503预先掌握各模式的对母盘图像的再现性。在这种情况下,HDR元解释部503决定在数据输出装置500进行变换处理,并且选择模式1及模式2中再现性比较高的模式2。
并且,在图20所示的例子中,数据输出装置500能够应对模式1,显示装置510能够应对模式1及模式2。在这种情况下,HDR元解释部503决定在显示装置510进行变换处理,并且选择模式1及模式2中再现性比较高的模式2。并且,数据输出装置500将与模式2的变换处理对应的HDR元数据作为HDMI的控制信息(HDR控制信息)输出给显示装置510。显示装置510使用该控制信息进行模式2的变换处理。
这样,HDR元解释部503还将如下的变换模式决定为在数据输出装置500进行的变换处理的变换模式,该变换模式包含在与一个以上的元数据分别对应的一个以上的第1变换模式中、而且包含在数据输出装置500能够应对的一个以上的第2变换模式中。具体而言,HDR元解释部503还将如下的变换模式决定为在数据输出装置500或者显示装置510进行的变换处理的变换模式,该变换模式包含在与一个以上的元数据分别对应的一个以上的第1变换模式中、而且包含在数据输出装置500能够应对的一个以上的第2变换模式以及显示装置510能够应对的第3变换模式至少一方中。
更具体地讲,HDR元解释部503将如下的变换模式决定为在数据输出装置500或者显示装置510进行的变换处理的变换模式,该变换模式是包含在多个第1变换模式中、而且包含在多个第2变换模式及第3变换模式至少一方中的多个变换模式中的对母盘图像的再现性最高的变换模式。
换言之,数据输出装置500选择数据输出装置500及显示装置510能够应对的变换模式中再现性最高的模式,并决定在数据输出装置500及显示装置510中能够应对所选择的模式的装置进行变换处理。
更具体地讲,如图19所示,在所决定的变换处理的变换模式包含在第2变换模式中、而且不包含在第3变换模式中的情况下,HDR元解释部503决定在数据输出装置500进行变换处理。并且,如图20所示,在所决定的变换处理的变换模式包含在第3变换模式中、而且不包含在第2变换模式中的情况下,HDR元解释部503决定在显示装置510进行变换处理。
由此,数据输出装置500根据与多个元数据对应的第1变换模式、数据输出装置能够应对的第2变换模式、显示装置能够应对的第3变换模式,决定所使用的变换模式。并且,数据输出装置500选择对母盘图像的再现性最高的变换模式,因而能够提高所显示的影像的画质。
图21是表示根据数据输出装置500是否能够取得显示装置510的参数决定变换处理的例子的图。显示装置510的参数是指显示装置510的峰值亮度(显示装置510能够显示的亮度范围的最大值)、或者显示装置510能够显示的显示模式等。具体而言,该参数表示作为显示模式的当前视听中的显示模式。例如,显示模式是普通模式、动态模式及影院模式等。
在图21所示的例子中,数据输出装置500能够应对模式1、模式2及模式3,显示装置510能够应对模式1。并且,数据输出装置500能够取得模式1及模式2用的显示装置510的参数,不能取得模式3用的显示装置510的参数。并且,模式2的再现性比模式1高,模式3的再现性比模式2高。
在这种情况下,数据输出装置500及显示装置510能够应对的模式中再现性最高的模式是模式3,但由于在数据输出装置500中不能取得模式3用的显示装置510的参数,因而模式3被排除。并且,数据输出装置500选择继模式3之后再现性较高的、而且能够取得参数的模式2,作为所使用的变换模式。并且,数据输出装置500从显示装置510取得模式2所需要的参数,使用所取得的参数进行模式2的变换处理。
这样,HDR元解释部503还根据是否能够从显示装置510取得与多个元数据对应的多个第1变换模式中的各个第1变换模式用的参数,决定在数据输出装置500或者显示装置510进行的变换处理的变换模式。具体而言,HDR元解释部503将包含在多个第1变换模式中而且包含在多个第2变换模式及第3变换模式至少一方中、而且能够从显示装置510取得参数的变换模式,决定为在数据输出装置500或者显示装置510进行的变换处理的变换模式。
即,数据输出装置500选择数据输出装置500及显示装置510能够应对的变换模式中再现性最高的模式,在只有数据输出装置500能够应对所选择的模式的情况下,判定是否能够取得该模式用的显示装置510的参数。在能够取得参数的情况下,数据输出装置500选择该模式。另一方面,在不能取得参数的情况下,数据输出装置500选择其它模式(再现性次高的模式)。
由此,数据输出装置500根据是否能够取得显示装置510的参数,决定所使用的变换模式,因而能够选择更适合的变换模式。
[18.数据输出装置的结构例2]
下面说明数据输出装置的另一结构例。图22是表示数据输出装置500A的结构的框图。该数据输出装置500A相对于图16所示的数据输出装置500还具有DC部507。DC部507对在视频解码部501得到的影像信号的分辨率进行向下变换。例如,在影像信号是4K的情况下,DC部507将该4K的影像信号向下变换为2K的影像信号。
根据该结构,数据输出装置500A能够按照显示装置500能应对的分辨率及动态范围有选择地进行(1)将4K的HDR信号变换为2K的HDR信号进行输出,(2)将4K的HDR信号变换为2K的HDR信号后,在DR变换部505变更动态范围后进行输出,以及(3)将4K的SDR信号变换为2K的SDR信号进行输出等动作。即,数据输出装置500A能够按照显示装置510的分辨率及是否支持HDR信号等切换动作。
图23是表示内容中的视频信号的特性(分辨率及动态范围(亮度范围))及显示装置510的特性、和数据输出装置500A的输出信号的组合例的图。数据输出装置500A控制DC部507和DR变换部505,以选择与显示装置510的分辨率及是否支持HDR信号相整合的输出信号的形式,并生成所选择的形式的输出信号。
例如,在内容中的影像信号是分辨率4K的HDR信号、形式装置500不支持分辨率4K的HDR信号的显示但支持分辨率2K的HDR信号的显示的情况下,数据输出装置500A将内容中的影像信号变换为分辨率2K的HDR信号进行输出(参照在图23的第2行记载的组合例)。此时,在DC部507中进行影像信号的分辨率的变换。
并且,在内容中的影像信号是分辨率4K的HDR信号、形式装置500不支持分辨率4K的HDR信号及分辨率2K的HDR信号的显示但支持2K的SDR信号的显示的情况下,数据输出装置500A将内容中的影像信号变换为分辨率2K的SDR信号进行输出(参照在图23的第3行记载的组合例)。此时,在DC部507中进行影像信号的分辨率的变换,在DR变换部505中进行亮度范围的变换。
由此,能够在显示装置510中忠实地再现内容的视频信号。另外,数据输出装置500A也可以进行动作,以在显示装置510进行分辨率的变换或者在图16中说明的动态范围的变换。
这样,数据输出装置500A具有向下变换部(DC部507),通过降低在视频解码部501得到的第1影像信号的分辨率而生成第3影像信号。变换部(DR变换部505)还根据变换辅助数据,并按照多个第2变换模式中的任意一个第2变换模式进行第3影像信号的亮度范围的变换处理,由此生成比第3影像信号的亮度范围狭窄的亮度范围的第4影像信号。输出部(HDMI输出部506)还向显示装置510输出第3影像信号或者第4影像信号。
由此,数据输出装置500A例如能够将影像信号的分辨率变更为适合于显示装置510等的分辨率。
具体而言,在显示装置510不能应对第1影像信号的分辨率的影像的显示的情况下,(1)向下变换部(DC部507)生成第3影像信号,(2)输出部(HDMI输出部506)向显示装置510输出第3影像信号。例如,如图23所示,在视频信号的分辨率是4K、显示装置510的分辨率是2K的情况下,输出2K的输出信号。
并且,在显示装置510不能应对第1影像信号的亮度范围(HDR)的影像的显示的情况下,(1)变换部(DR变换部505)生成比第1影像信号的亮度范围(HDR)狭窄的亮度范围(SDR)的第2影像信号,(2)输出部(HDMI输出部506)向显示装置510输出第2影像信号及HDR控制信息。例如,如图23所示,在视频信号的动态范围(亮度范围)是HDR、显示装置510不支持HDR的情况下(支持SDR的情况下),将HDR的影像信号变换为SDR的影像信号,并输出SDR的影像信号(输出信号)。
并且,在显示装置510不能应对第1影像信号的分辨率的影像的显示、而且不能应对第1影像信号的亮度范围(HDR)的影像的显示的情况下,(1)向下变换部(DC部507)生成第3影像信号,(2)变换部(DR变换部505)生成比第3影像信号的亮度范围(HDR)狭窄的亮度范围(SDR)的第4影像信号,(3)输出部(HDMI输出部506)向显示装置510输出第4影像信号。例如,如图23所示,在视频信号的分辨率是4K、视频信号的动态范围(亮度范围)是HDR、显示装置510的分辨率是2K、显示装置510不支持HDR的情况下(支持SDR的情况下),输出2K且SDR的输出信号。
[19.再现HDR信号及4K信号的动作模型]
图24是表示在下一代的Blu-ray再现装置中再现4K的HDR信号、2K的HDR信号及4K的SDR信号,并将所再现的信号输出给HDR适用的4KTV、HDR不适用的4KTV、以及SDR适用的2KTV中任意一种TV时的动作模型例的图。
Blu-ray再现装置取得在内容管理信息中存储的静态HDR元数据、和在视频的编码流中存储的动态HDR元数据。Blu-ray再现装置使用这些HDR元数据,按照根据HDMI而连接的输出对象的TV的特性,将视频的HDR信号变换为SDR信号进行输出,或者将HDR元数据作为HDMI的控制信号进行输出。
假设从HDR信号向SDR信号的变换处理、以及从HDR信号向显示装置适合的亮度范围的影像信号的变换处理,分别能够从多个方式中进行选择并实现。通过在进行内容制作时将与所实现的变换处理对应的HDR元数据存储在内容管理信息或者视频的编码流中,能够提高变换处理的效果。在内容管理信息或者编码流中,能够按照每个变换方式存储多个HDR元数据。
另外,Blu-ray再现装置也可以具有如图中的可选变换模块B(option conversionmodule B)或者可选变换模块D(option conversion module D)那样的多个变换处理部,也可以根据设备的成本和性能的平衡而仅具有一个变换处理部,还可以不具有变换处理部。同样地,HDR适用的TV也可以具有多个变换处理部,也可以仅具有一个变换处理部,还可以不具有变换处理部。
并且,如图14及图15所示的用户数据存储用的SEI消息等那样,预先将HDR元数据存储在用于规定格式或者输入时的动作的规定的容器中。由此,即使是未来研发出新的变换处理并定义新型HDR元数据,将能够应对该新型HDR元数据的显示装置与不能应对新型HDR元数据的Blu-ray再现装置连接的情况下,也能够从Blu-ray再现装置向显示装置输出新型HDR元数据。并且,在显示装置中能够实施与新型HDR元数据对应的变换处理。由此,在研发出新技术的情况下,通过对新型HDR元数据分配ID等简单的处理,即可应对新技术。因此,能够提高Blu-ray等的封装介质标准对于OTT等技术发展较快的应用的竞争力。另外,能够应对新型HDR元数据的Blu-ray再现装置也可以在该再现装置内对影像数据进行上述新的变换处理,并向显示装置输出已处理的影像数据。
并且,关于在Blu-ray再现装置及TV哪一方进行变换处理,根据图19~图21所示的方法等进行决定。另外,再现装置也可以按照TV的分辨率,将4K的信号向下变换为2K的信号进行输出。
[20.HDR元数据的存储方法1]
图25是表示静态HDR元数据及两个动态HDR元数据的存储方法的一例的图。如图20所示,在本实施方式的能够扩展的HDR方式中,使用(a)静态HDR元数据、(b)动态HDR元数据用削波(动态HDR元数据)、(c)动态HDR元数据这三个。
(a)静态HDR元数据被存储在Blu-ray Disc Association(BDA:蓝光光盘联盟)等的应用标准或者发布系统所规定的、每个流的元数据存储区域(对于BDA指播放列表)中。(b)动态HDR元数据用削波(动态HDR元数据)被存储在BDA等的应用标准或者发布系统所规定的、可二次利用的TS流中。(c)动态HDR元数据被存储为包含于HEVC等的视频流中的SEI消息。
通过区分使用这三个,在引入新的HDR技术时能够变更所使用的元数据的组合。由此,能够改变新的HDR技术的引入条件。例如,在不重视兼容性而想要尽早引入自己的HDR技术的情况下,通过仅使用(c)的元数据,能够在对应用标准或者发布系统不产生影响的情况下引入自己的HDR技术。相反,在即使花费一些时间也要重视兼容性并想要在应用标准或者发布系统中规定新技术的情况下,通过使用(a)和(b)的元数据,能够实现兼容性和新技术的及时引入这两方面。
[21.HDR元数据的存储方法2]
以Blu-ray的情况为例,详细说明图25所示的三个元数据(a)~(c)的使用方法的例子。
首先,对新型HDR技术的提案者期望早期安装的情况进行说明。在这种情况下,仅使用(c)的元数据。(1)提案者仅公开新型HDR技术的概要。(2)提供存储了用于确认与现行HDR(基本部分)Blu-ray再现设备的兼容性的新技术的元数据的测试盘。(3)BDA将新技术登记为非公认可选,不进行非兼容性的验证,不担负其责任。(4)BDA不担负一切责任。
下面,对新型HDR技术的提案者为使新技术广泛普及而重视兼容性的情况进行说明。在这种情况下,使用(a)和(b)的元数据。(1)提案者公开技术的详情。(2)提供将相应技术适用于Blu-ray用的Blu-ray的标准书方案。(3)提供将相应技术适用于Blu-ray用的Blu-ray的测试标准方案。(4)提供测试流。(5)提供测试盘。(6)更新验证文件(verifier)。(7)BDA将新技术登记为公认可选,将新技术追加(annex)在标准书中,进行最低限度的兼容性验证。(8)作为公认可选,BDA许可新技术在BDA中采用的公示。
[22.用户指导显示方法1]
图26是表示在执行从HDR向SDR的变换处理的Blu-ray设备中的用户指导(userguidance)显示方法的图。
由于从HDR向SDR的变换处理的算法尚未确立,因而现实中难以进行正确的从HDR向SDR的变换。并且,也可能实现多个从HDR向SDR的变换处理算法。
因此,用户在将HDR适用盘插入与HDR不适用TV连接的HDR适用Blu-ray设备中的情况下,需要进行适当的用户指导。
在与HDR不适用TV连接的HDR适用Blu-ray设备检测出从HDR向SDR的变换处理的开始的情况下,显示指导消息例如“盘是HDR适用盘。所使用的TV是HDR不适用TV,因而Blu-ray设备再现进行了从HDR向SDR的变换处理的SDR影像,而非HDR影像”等。
这样,数据输出装置(Blu-ray设备)在显示装置不能应对第1影像信号(HDR信号)的亮度范围的影像输出的情况下,向显示装置输出从第1亮度范围变换为第2亮度范围的第2影像信号(SDR信号)及HDR控制信息,并且在显示装置显示表示要显示被从第1亮度范围变换为第2亮度范围之意的信息。
[23.用户指导显示方法2]
图27是表示被存储在盘内的从HDR向SDR的变换处理执行时的用户指导的显示方法的图。
在进行从HDR向SDR的变换处理的情况下,Blu-ray设备应该显示的消息(菜单)被存储在HDR盘或者Blu-ray设备内的非易失性存储器等中。由此,Blu-ray设备在执行从HDR向SDR的变换处理时能够显示消息。在这种情况下,显示例如“盘是HDR适用盘。所使用的TV是HDR不适用TV,因而Blu-ray设备再现进行了从HDR向SDR的变换处理的SDR影像,而非HDR影像”。
[24.用户指导显示方法3]
图28是表示被存储在盘内的从HDR向SDR的变换处理执行时的用户指导菜单的显示方法的图。
Blu-ray设备通过使用Blu-ray的菜单,能够显示消息“盘是HDR适用盘。所使用的TV是HDR不适用TV,因而Blu-ray设备再现进行了从HDR向SDR的变换处理的SDR影像,而非HDR影像,可以再现吗?”等。在用户选择了“再现”按钮的情况下,Blu-ray设备开始变换图像的显示。并且,在用户选择了“不再现”的情况下,Blu-ray设备停止再现,并显示催促用户插入HDR不适用Blu-ray盘的消息。
这样,在显示装置不能应对第1影像信号(HDR信号)的亮度范围的影像输出的情况下,数据输出装置(Blu-ray设备)使显示装置显示用于用户选择是否显示被从第1亮度范围变换为第2亮度范围的第2影像信号(SDR信号)的消息。
[25.用户指导显示方法4]
图29是表示能够选择被存储在盘内的从HDR向SDR的变换处理执行时的处理方法的用户指导菜单的显示方法的图。
当在Blu-ray中存储有从HDR向SDR的变换处理用的元数据的情况下,Blu-ray设备显示该情况。在用户选择了指定的变换方式的情况下,Blu-ray设备显示用于催促能够进行更完美的变换的消息。即,根据盘内的Java(注册商标)命令等,判定在Blu-ray设备中安装了什么样的从HDR向SDR的变换处理。由此,Blu-ray设备能够显示从HDR向SDR的变换处理方式的选择菜单,如“盘是HDR适用盘。所使用的TV是HDR不适用TV,因而Blu-ray设备再现进行了从HDR向SDR的变换处理的SDR影像,而非HDR影像,选择哪种方法?(按照处理1再现)、(按照处理3再现)、(不再现)”等。另外,其中的处理1和处理3是从HDR向SDR的不同的变换处理。
这样,在显示装置不能应对第1影像信号(HDR信号)的亮度范围的影像输出的情况下,数据输出装置(Blu-ray设备)使显示装置显示用于用户选择将第1亮度范围变换为第2亮度范围用的多种变换方式中的任意一种变换方式的消息。
[26.用户指导显示方法5]
另外,在广播中也能够显示同样的消息。例如,不能应对HDR信号的TV或者再现装置使用数据广播的应用等,显示表示广播节目是HDR信号、视听时不能正确显示之意的消息。并且,能够应对HDR信号的TV或者再现装置也可以不显示该消息。并且,利用表示消息的属性的标签值等,指示该消息是对HDR信号的警报消息。能够应对HDR信号的TV或者再现装置参照标签值判定不需要显示消息。
[27.HDR元数据的传输方法]
例如,动态HDR元数据或者静态HDR元数据是能够通过HDMI等进行传输的数据构造。其中,根据HDMI等传输协议的规格或者版本,决定是否能够根据该传输协议向显示装置传输HDR元数据。
首先,对动态HDR元数据的传输方法进行说明。
例如,在现行的HDMI2.0中,不能以帧或者场景单位传输可变的动态HDR元数据,因而需要将标准扩展并重新定义用于传输动态HDR元数据的包。将该扩展标准的版本设为2.1。
在这种情况下,如果HDR适用Blu-ray设备或者广播接收设备等再现装置和TV等显示装置是通过HDMI2.1进行连接,虽然再现装置能够向显示装置发送动态HDR元数据,但是在再现装置和显示装置是按照2.1以前的版本的HDMI进行连接的情况下,再现装置不能向显示装置发送动态HDR元数据。
首先,再现装置判定能够与显示装置之间进行连接的HDMI的版本是否适用于动态HDR元数据的传输。如果不适用,再现装置使用动态HDR元数据进行从HDR向SDR的变换处理等,然后通过HDMI向显示装置输出变换后的信号。
另外,再现装置也可以根据显示装置是否能够应对使用了动态HDR元数据的变换处理而进行动作。即,在显示装置不能应对变换处理的情况下,作为HDMI的版本,再现装置即使能够进行动态HDR元数据的传输,也可以在该再现装置中进行变换处理。并且也可以是,在再现装置不能应对使用了动态HDR元数据的变换处理的情况下,该再现装置不进行变换处理,也不向显示装置传输动态HDR元数据。
图30是再现装置进行的动态HDR元数据的传输方法的流程图。首先,再现装置判定该再现装置和显示装置是否通过HDMI2.0或者2.0以前的版本进行连接(S501)。换言之,再现装置例如判定该再现装置和显示装置是否能够按照适用于动态HDR元数据的传输的HDMI2.1进行连接。具体而言,再现装置判定该再现装置和显示装置双方是否适用于HDMI2.1。
在再现装置和显示装置通过HDMI2.0或者2.0以前的版本进行连接的情况下(S501:是),再现装置使用动态HDR元数据进行变换处理,将变换后的图像数据通过HDMI传输给显示装置(S502)。其中,变换处理是变更图像数据的亮度范围的处理,例如是将HDR变换为SDR的处理、或者变换为亮度范围狭窄的HDR信号的处理,以便使与显示装置能够应对的亮度范围一致。
另一方面,在再现装置和显示装置通过HDMI2.1或者2.1以后的版本进行连接的情况下(S501:否),再现装置使用彼此不同的类型的包,将进行变换处理前的图像数据和动态HDR元数据通过HDMI传输给显示装置(S503)。
下面,对静态HDR元数据的传输方法进行说明。
在通过HDMI传输静态HDR元数据时,能够使用AVI(Auxiliary VideoInformation:辅助视频信息)信息帧等的信息帧。但是,在HDMI2.0中,能够在AVI信息帧中存储的最大数据尺寸是27字节,因而不能处理超过27字节的尺寸的数据。因此,在静态HDR元数据的尺寸超过能够通过HDMI传输的上限值的情况下,再现装置将进行变换处理后的数据传输给显示装置。或者,在根据HDMI的版本能够传输的静态HDR元数据的尺寸不同的情况下,再现装置根据连接该再现装置和显示装置时的HDMI的版本,决定将静态HDR元数据传输给显示装置还是在该再现装置进行变换处理。
并且,也可以将静态HDR元数据划分成必须部分和扩展部分,使必须部分的尺寸达到在现行的HDMI2.0等特定的传输协议的特定版本中能够传输的尺寸以下。例如,也可以是,再现装置在使用HDMI2.0的情况下,仅将必须部分传输给显示装置,在使用HDMI2.1的情况下,将必须部分和扩展部分都传输给显示装置。另外也可以是,在Blu-ray盘中的播放列表或者播放项目等数据库中存储识别信息,该识别信息表示静态HDR元数据包括必须部分和扩展部分或者至少必须部分能够通过HDMI2.0等特定版本进行传输。
或者,也可以更简化地,将静态HDR元数据设定成在HDMI2.0等能够传输静态HDR元数据的最低版本中能够传输的尺寸以下。另外也可以是,使在播放列表等的管理信息或者视频流的SEI中存储的盘内的静态HDR元数据、和通过HDMI等传输的静态HDR元数据的语法不同。在两者不同的情况下,再现装置将盘内的静态HDR元数据变换为传输协议中的静态HDR元数据的语法进行输出。
另外,在此以Blu-ray的内容为例进行了说明,但对于在广播或者OTT中使用的元数据同样能够进行处理。
图31是再现装置进行的静态HDR元数据的传输方法的流程图。首先,再现装置判定该再现装置和显示装置是否通过HDMI2.0或者2.0以前的版本进行连接(S511)。
在再现装置和显示装置通过HDMI2.0或者2.0以前的版本进行连接的情况下(S511:是),再现装置仅将静态HDR元数据的必须部分通过HDMI传输给显示装置(S512)。
另一方面,在再现装置和显示装置通过HDMI2.1或者2.1以后的版本进行连接的情况下(S511:否),再现装置将静态HDR元数据的必须部分和扩展部分双方通过HDMI传输给显示装置(S513)。
这样,再现装置按照HDMI的版本切换是否向显示装置传输动态HDR元数据,但关于静态HDR元数据中的至少必须部分始终向显示装置传输,与HDMI的版本无关。
即,再现装置向显示装置传输影像信号。在连接再现装置和显示装置的传输协议的版本是第1版本(例如HDMI2.0)的情况下,该再现装置向显示装置传输第1元数据(静态HDR元数据),不向显示装置传输第2元数据(动态HDR元数据),第1元数据是对于影像信号的连续再现单位中包含的多个图像共同使用的、与影像信号的亮度范围相关的信息,第2元数据是对于比影像信号的连续再现单位精细的单位共同使用的、与影像信号的亮度范围相关的信息。并且,在上述传输协议的版本是第2版本(例如HDMI2.1)的情况下,再现装置将第1元数据和第2元数据都传输给显示装置。
由此,再现装置能够按照传输协议的版本向显示装置传输适合的元数据。
并且,在上述传输协议的版本是第1版本(例如HDMI2.0)的情况下(S501:是),再现装置进行使用第2元数据(动态HDR元数据)变换影像信号的亮度范围的变换处理,向显示装置传输变换后的影像信号(S502)。
由此,在不能向显示装置传输动态HDR元数据、在显示装置不能进行变换处理的情况下,能够在再现装置中进行变换处理。
并且,在上述传输协议的版本是第2版本(例如HDMI2.1)、而且显示装置不能应对变换处理的情况下,再现装置进行变换处理,向显示装置传输变换后的影像信号,不向显示装置传输第2元数据。并且,在上述传输协议的版本是第2版本(例如HDMI2.1)、而且显示装置能够应对变换处理的情况下,再现装置不进行变换处理,向显示装置传输影像信号及第2元数据。
由此,能够在再现装置及显示装置中适合的装置进行变换处理。
并且,在再现装置不能应对使用第2元数据(动态HDR元数据)变换影像信号的亮度范围的变换处理的情况下,再现装置不进行变换处理,向显示装置传输影像信号,不向显示装置传输第2元数据(动态HDR元数据)。
[28.亮度值的调整]
至此,对忠实地再现HDR信号用的HDR元数据的使用方法以及再现装置中的从HDR向SDR的变换等进行了说明。但是,由于HDR信号具有相比以往的SDR信号大幅提高的峰值亮度,因而再现装置也可以考虑TV等显示装置中的面板或者信号处理电路的性能、或者对人体的影响等,控制影像的峰值亮度。另外,以下叙述的处理(再现方法)既可以在Blu-ray设备等再现装置中进行,也可以在TV等显示装置中进行。换言之,以下叙述的再现装置只要具有再现影像的功能即可,包括上述的再现装置(Blu-ray设备等)和显示装置(TV等)。
在此,假定即使在TV面板的各像素中能够输出的亮度值的上限是1000nit时,能够以1000nit的亮度同时输出的区域也被限制为画面的50%等。此时,在HDR信号中,即使画面的70%的区域是1000nit,也不能将信号值原样输出。因此,也可以是,再现装置根据以下的再现条件等控制再现HDR信号时的各像素的亮度值。
首先,对第1方法进行说明。再现装置调整亮度值,使得基准时间间隔T的画面间的亮度的变化量达到阈值P以下。其中,基准时间间隔T例如是视频的帧速率的倒数的整数倍。
阈值P是亮度的绝对值或者亮度值的变化的比例等。该阈值P是根据图像的闪烁对人体产生的影响或者对TV面板中的信号值的变化的追随性能而决定的。
并且,也可以将条件设定成使在画面内亮度值的变化量超过阈值P的像素的数量达到规定的比例以下。另外,也可以将画面分割成多个区域,并对每个区域设定相同或者不同的条件。
下面,对第2方法进行说明。再现装置调整亮度值,使得具有基准亮度S以上的亮度的像素的数量或者该像素在画面内的总像素中所占的比例达到阈值Q以下。
基准亮度S及阈值Q是根据对人体的影响或者在TV面板中能够对各像素同时施加的电压的上限值等决定的。
并且,在根据TV面板的性能设定在第1方法及第2方法中使用的参数(阈值P、基准亮度S及阈值Q)的情况下,对每台TV设定该参数的值。
下面,对第1方法中的像素值的控制方法进行说明。例如,设构成时刻t的帧的多个像素的峰值亮度为L1。当在时刻t+T的帧中将坐标为(i,j)的像素的亮度值设为I(i,j)时,再现装置对I(i,j)与L1之差分的绝对值超过阈值P的像素调整亮度值,使得差分达到阈值P以下。该处理既可以对整个画面执行,也可以为了并行进行处理而对将画面分割后的每个区域进行。例如,再现装置沿水平方向及垂直方向分别分割画面并调整亮度值,使得各区域内的亮度的变化量达到阈值P以下。
并且,假定使用在TV面板中显示图像时的帧的间隔作为基准时间间隔T,在仅根据前一个帧的亮度值调整亮度值时,有时会破坏帧之间的亮度值的连续性。因此,也可以设定规定的时间常数,再现装置对所设定的时间常数的范围内的各帧的峰值亮度进行加权相加,由此决定亮度值(上述L1)。此时,预先设定时间常数及加权的系数,使得亮度值的变化量达到阈值P以下。
下面,对第2方法中的像素值的控制方法进行说明。该控制方法包括以下两种方法。第一种方法是对亮度值超过规定值的像素,对亮度值进行削波的方法。例如,将亮度值超过规定值的像素的亮度值调整为该规定值。
第二种方法是不是一律地对亮度值进行削波,而是通过设定Knee Point等尽量保持像素间的相对亮度值的比例,使画面内的各像素的亮度值整体降低的方法。或者,也可以在保持低亮度部分的亮度值的状态下,降低高亮度部分的亮度值。
作为一例,假设限制成TV面板的像素数是8M像素,画面内的总像素的亮度值的总和达到8M×500nit=4G nit以下。其中,内容的HDR信号的亮度值在画面内的一半区域A(4M像素)中是400nit,在剩余一半的区域B(4M像素)中是1000nit。此时,在一律地对亮度值进行削波的情况下,区域B的亮度值全部被削波为600nit。其结果是,总像素的亮度值的总和达到4M×400+4M×600=4G nit,满足上述限制。
另外也可以是,不仅在HDR信号的再现时,在生成HDR信号时,也以满足上述第1方法或者第2方法的条件的方式决定视频或者静态图像中的帧内的每个像素的亮度值。
图32是表示HDR信号的再现时的亮度值的控制方法的流程图。首先,再现装置判定画面间的亮度值的变化量或者画面内的亮度值是否满足再现条件(S521)。具体而言,如上所述,再现装置判定画面间的亮度值的变化量是否为阈值以下或者画面内的亮度值是否为阈值以下。
在画面间的亮度值的变化量或者画面内的亮度值满足再现条件的情况下、即在画面间的亮度值的变化量为阈值以下或者画面内的亮度值为阈值以下的情况下(S521:是),再现装置输出与所输入的HDR信号的亮度值相同的亮度值的信号(S522)。即,再现装置将HDR信号的亮度值原样输出,而不进行调整。
另一方面,在画面间的亮度值的变化量或者画面内的亮度值不满足再现条件的情况下、即在画面间的亮度值的变化量超过阈值或者画面内的亮度值超过阈值的情况下(S521:否),再现装置调整各像素的亮度值使得满足再现条件,并输出调整后的亮度值(S523)。即,再现装置调整各像素的亮度值,使得画面间的亮度值的变化量达到阈值以下或者画面内的亮度值达到阈值以下。
如上所述,本实施方式的再现装置再现影像信号。影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成。即,影像信号是HDR信号。
如在上述第1方法中说明的那样,再现装置判定影像信号中的画面间的亮度值的变化量是否超过预先设定的第1阈值(S521)。例如,再现装置判定作为影像信号的帧速率的倒数的整数倍的基准时间间隔中的亮度值的变化量是否超过第1阈值。
在判定为亮度值的变化量超过第1阈值的情况下(S521:否),再现装置进行降低影像信号的亮度值的调整处理(S523)。具体而言,再现装置对亮度值的变化量超过第1阈值的像素调整该像素的亮度值,使得该像素的亮度值的变化量达到第1阈值以下。
由此,在影像信号的亮度值超过显示装置的显示能力的情况下,再现装置通过降低影像信号的亮度值,生成能够在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值的变化量较大而有可能对视听者产生不良影响的情况下,再现装置通过降低影像信号的亮度值,能够降低该不良影响。
具体而言,再现装置在步骤S521,判定影像信号中包含的第1图像的峰值亮度、与影像信号中包含的比第1图像靠后的第2图像所含有的多个像素的各个亮度值的差分是否超过第1阈值。再现装置在步骤S523,对上述差分超过第1阈值的像素调整该像素的亮度值,使得该像素的差分达到第1阈值以下。
或者,再现装置在步骤S521,判定影像信号中包含的图像所含有的多个像素中亮度值的变化量超过第1阈值的像素的比例是否超过第2阈值。再现装置在步骤S523,在上述比例超过第2阈值的情况下,调整多个像素的亮度值,使得上述比例达到第2阈值以下。
或者,再现装置在步骤S521,对通过将画面分割而得到的多个区域分别判定该区域的画面间的亮度值的变化量是否超过第1阈值。再现装置在步骤S523,对被判定为亮度值的变化量超过第1阈值的区域,进行降低该区域的亮度值的调整处理。
或者,如在上述第2方法中说明的那样,再现装置判定影像信号中包含的图像的亮度值是否超过预先设定的第1阈值(S521)。在判定为像素的亮度值超过第1阈值的情况下(S521:否),进行降低图像的亮度值的调整处理(S523)。
由此,在影像信号的亮度值超过显示装置的显示能力的情况下,再现装置通过降低影像信号的亮度值,生成能够在显示装置适当显示的影像信号。并且,在由于影像信号的亮度值较高而有可能对视听者产生不良影响的情况下,再现装置通过降低影像信号的亮度值,能够降低该不良影响。
具体而言,再现装置在步骤S521,判定图像中包含的多个像素中亮度值超过第1阈值的像素的数量。再现装置在步骤S523,在亮度值超过第1阈值的像素的数量超过第3阈值的情况下,降低图像的亮度值,使得亮度值超过第1阈值的像素的数量达到第3阈值以下。
或者,再现装置在步骤S521,判定图像中包含的多个像素中亮度值超过第1阈值的像素的比例。再现装置在步骤S523,在上述比例超过第3阈值的情况下,降低图像的亮度值,使得该比例达到第3阈值以下。
并且,上述第1阈值、第2阈值及第3阈值是根据在显示影像信号的显示装置中能够对多个像素同时施加的电压的上限值计算出的值。
[29.元数据的配置方法]
下面,对在视频流中的静态HDR元数据和动态HDR元数据的配置方法进行说明。
在使用SEI等将静态HDR元数据存储在视频流中时,也可以按照GOP等随机存取单位中的解码顺序将静态HDR元数据存储在开头的存取单元中。此时,包含SEI的NAL单元配置成解码顺序比存储视频的编码数据的NAL单元靠前。
并且,在将动态HDR元数据存储于播放列表等的管理信息和视频流双方中的情况下,这两个动态HDR元数据使用相同的元数据。
并且,动态HDR元数据能够按照随机存取单位进行切换,在随机存取单位内是一定的。例如,用于存储动态HDR元数据的SEI被存储在随机存取单位的开头存取单元中。在从流的中途开始再现时,从随机存取单位的开头开始进行解码。并且,在仅将I图片和P图片再现并进行高速再现等的特殊再现时,一定对随机存取单位的开头存取单元进行解码。因此,通过将HDR元数据存储在随机存取单位的开头存取单元中,再现装置一定能够取得HDR元数据。
在MPEG-4AVC或者HEVC的流中,按照随机存取单位中的解码顺序仅在开头的存取单元中包含解码时的初始化信息即Sequence Parameter Set(SPS:序列参数集)。能够使用该SPS作为表示随机存取单位的开始的信息。
并且,也可以将静态HDR元数据和动态HDR元数据存储在彼此不同的SEI消息中。根据SEI消息的类型或者SEI消息的有效载荷中包含的识别信息识别两者的SEI消息。例如,在通过HDMI仅发送静态HDR元数据的情况下,再现装置能够仅抽取包含静态HDR元数据的SEI消息,并通过HDMI原样传输有效载荷中包含的元数据。由此,不需要再现装置分析SEI消息的有效载荷并取得静态HDR元数据的处理。
[30.双盘的再现动作1]
以上对仅存储了HDR信号的HDR盘的再现动作进行了说明。
下面,使用图33对存储在双盘中的复用数据进行说明,在该双盘中存储有HDR信号和SDR信号双方。图33是用于说明在双盘中存储的复用数据的图。
在双盘中,如图33所示,将HDR信号和SDR信号存储为彼此不同的复用流。例如,在Blu-ray等光盘中,按照被称为M2TS的MPEG-2TS基础的复用方式,将视频和音频、字幕、图形等多种媒介的数据存储为一条的复用流。这些复用流被播放列表等再现控制用的元数据所参照,在再现时播放器分析元数据,由此选择要再现的复用流或者被存储在复用流中的独立的语言的数据。在本例中示出独立地存储HDR用和SDR用的播放列表,各个播放列表参照HDR信号或者SDR信号的情况。并且,也可以另外示出表示存储有HDR信号和SDR信号双方的识别信息等。
虽然也能够在同一条复用流中复用HDR信号和SDR信号双方,但是需要以使满足在MPEG-2TS中规定的T-STD(System Target Decoder)等缓冲模型的方式进行复用,特别是,在预先设定的数据的读出速率的范围内复用两条比特率较高的视频是困难的。因此,期望将复用流分离。
需要对各条复用流存储音频、字幕或者图形等数据,与在一条中复用时相比,数据量增加。但是,关于数据量的增加,能够使用压缩率较高的视频编码方式削减视频的数据量。例如,通过将在以往的Blu-ray中使用的MPEG-4AVC变更为HEVC(High EfficiencyVideo Coding),可预想压缩率提高1.6~2倍。并且,存储在双盘中的也可以是2K的HDR与SDR的组合、4K的SDR与2K的HDR的组合等,即设为两条2K的组合或者2K和4K的组合等,禁止存储两条4K,由此仅允许被控制在光盘的容量内的组合。
[31.总结]
再现4K适用BD或者HDR适用BD的Blu-ray设备,需要能够应对2K_SDR适用TV、2K_HDR适用TV、4K_SDR适用TV、及4K_HDR适用TV这四种TV。具体而言,Blu-ray设备需要支持3组的HDMI/HDCP标准(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)。
另外,Blu-ray设备在进行四种Blu-ray盘(2K_SDR适用BD、2K_HDR适用BD、4K_SDR适用BD、及4K_HDR适用BD)的再现的情况下,需要按照每个BD(内容)以及所连接的每个显示装置(TV)选择合适的处理和HDMI/HDCP。另外,在将图形合成在视频中的情况下,需要根据BD的类型和所连接的显示装置(TV)的类型改变处理。
因此,Blu-ray设备的内部处理非常复杂。在上述实施方式3中提供了使Blu-ray设备的内部处理比较简洁的各种方法。
[1]当在HDR不适用TV中显示HDR信号的情况下,需要从HDR向SDR的变换。与此相对,在上述实施方式3中提出了双流盘(Dual Streams Disc)的BD结构,以便可以在Blu-ray设备中选择该变换。
[2]并且,在上述实施方式3中,对图形流附加了限制,减少了视频流和图形流的组合的种类。
[3]在上述实施方式3中,通过双流盘和图形流的限制,大幅减少了在Blu-ray设备内的复杂的处理的组合数量。
[4]在上述实施方式3中,提出了在引入准HDR变换的情况下对于双流盘的处理不产生矛盾的内部处理及HDMI处理。
在本发明的变换方法中,在利用SDRTV显示HDR影像的情况下,利用所显示的SDRTV的峰值亮度超过100nit(通常200nit以上)的情况,不将HDR影像变换为100nit以下的SDR影像,而是以在某种程度上保持超过100nit的区域的灰度的方式进行变换,实现能够变换为接近原来HDR的准HDR影像并显示于SDRTV的“HDR→准HDR变换处理”。
并且,在变换方法中,也可以根据SDRTV的显示器特性(最高亮度、输入输出特性及显示模式)切换“HDR→准HDR变换处理”的变换方法。
作为显示器特性的取得方法,可以考虑(1)通过HDMI(注册商标)或网络自动取得,(2)通过让用户输入制造商名称、型号等信息而生成,以及(3)使用制造商名称和型号等信息从云端等取得。
并且,作为变换装置100的显示器特性的取得定时,可以考虑(1)在即将进行准HDR变换之前取得,以及(2)在首次与显示装置200(SDRTV等)连接时(连接确立时)取得。
另外,在变换方法中,也可以根据HDR影像的亮度信息(CAL、CPL)切换变换方法。
例如,作为变换装置100的HDR影像的亮度信息的取得方法,可以考虑(1)作为HDR影像附带的元信息来取得,(2)通过让用户输入内容的题目信息来取得,以及(3)使用用户输入的输入信息从云端等取得等。
并且,作为变换方法的详细情况,(1)以不超过DPL的方式进行变换,(2)以使CPL达到DPL的方式进行变换,(3)不变更CAL及其周边以下的亮度,(4)使用自然对数进行变换,(5)在DPL中进行削波处理。
并且,在变换方法中,为了提高准HDR的效果,也能够向显示装置200发送并切换SDRTV的显示模式、显示参数等的显示设定,例如也可以在画面中显示催促用户进行显示设定的消息。
[32.准HDR的必要性1]
下面,对于准HDR的必要性,使用图34A~图34C进行说明。
图34A是表示在HDRTV中变换HDR信号并进行HDR显示的显示处理的一例的图。
如图34A所示,在显示HDR影像的情况下,有时即使显示装置是HDRTV,也不能原样显示HDR的亮度范围的最大值(峰值亮度(HPL(HDR Peak Luminance):例如1500nit))。在这种情况下进行亮度变换,以便使进行使用了HDR的EOTF的逆量化后的线性的信号与该显示装置的亮度范围的最大值(峰值亮度(DPL(Display Peak Luminance):例如750nit))一致。并且,将通过进行亮度变换而得到的影像信号输入显示装置,由此能够显示与该显示装置的极限即最大值的亮度范围一致的HDR影像。
图34B是表示使用HDR适用的再现装置和SDRTV进行HDR显示的显示处理的一例的图。
如图34B所示,在显示HDR影像的情况下,如果显示装置是SDRTV,利用要显示的SDRTV的亮度范围的最大值(峰值亮度(DPL:例如300nit))超过100nit的情况,在图34B的HDR适用的再现装置(Blu-ray设备)内的“HDR→准HDR变换处理”中,进行在HDRTV内进行的“HDR的EOTF变换”和使用了SDRTV的亮度范围的最大值即DPL(例如300nit)的“亮度变换”,如果将通过进行“亮度变换”得到的信号直接输入SDRTV的“显示装置”,即使是使用SDRTV时也能够实现与HDRTV相同的效果。
但是,在SDRTV中不存在用于从外部直接输入这种信号的单元,因而不能实现。
图34C是表示使用通过标准接口相互连接的HDR适用的再现装置和SDRTV进行HDR显示的显示处理的一例的图。
如图34C所示,通常需要使用SDRTV具备的输入接口(HDMI(注册商标)等)将诸如能够得到图34B的效果的信号输入SDRTV。在SDRTV中,通过输入接口输入的信号顺序地经过“SDR的EOTF变换”、“每个模式的亮度变换”和“显示装置”,显示与该显示装置的最大值的亮度范围一致的影像。因此,在HDR适用的Blu-ray设备中生成诸如在SDRTV中在紧挨着输入接口的后面通过的、能够抵消“SDR的EOTF变换”和“每个模式的亮度变换”的信号(准HDR信号)。即,在HDR适用的Blu-ray设备中,在“HDR的EOTF变换”和使用了SDRTV的峰值亮度(DPL)的“亮度变换”的紧后面,进行“每个模式的逆亮度变换”和“逆SDR的EOTF变换”,由此疑似地实现与将刚刚“亮度变换”后的信号输入“显示装置”时(图34C的虚线箭头)相同的效果。
[33.准HDR的必要性2]
通常SDRTV的输入信号是100nit,但具有能够按照视听环境(暗室:影院模式,明亮房间:动态模式等)实现200nit以上的影像表现的能力。但是,向SDRTV的输入信号的亮度上限被决定为100nit,因而不能直接利用该能力。
在利用SDRTV显示HDR影像的情况下,利用要显示的SDRTV的峰值亮度超过100nit(通常200nit以上)的情况,不将HDR影像变换为100nit以下的SDR影像,而是以在某种程度上保持超过100nit的亮度范围的灰度的方式进行“HDR→准HDR变换处理”。因此,能够作为接近原来HDR的准HDR影像显示于SDRTV。
在将该“HDR→准HDR变换处理”技术应用于Blu-ray的情况下,如图35所示,在HDR盘中仅存储HDR信号,在将SDRTV与Blu-ray设备连接的情况下,Blu-ray设备进行“HDR→准HDR变换处理”,将HDR信号变换为准HDR信号,并发送给SDRTV。因此,SDRTV通过从接收到的准HDR信号变换为亮度值,能够显示具有准HDR效果的影像。这样,即使是没有HDR适用TV的情况下,如果准备HDR适用的BD和HDR适用的Blu-ray设备,即使是SDRTV,也能够显示比SDR影像高画质的准HDR影像。
因此,虽然认为观看HDR影像需要HDR适用TV,但是能够在已有的SDRTV中观看可实际感受到HDR效果的准HDR影像。因此,HDR适用Blu-ray有望得到普及。
[34.效果等]
对通过广播、Blu-ray等封装介质、OTT等因特网发布而发送的HDR信号进行HDR-准HDR变换处理,由此变换为准HDR信号。因此,能够将HDR信号作为准HDR影像显示在已有的SDRTV中。
[35.关于EOTF]
在此,使用图36A和图36B对EOTF进行说明。
图36A是表示与HDR及SDR分别对应的EOTF(Electro-Optical TransferFunction:电光传递函数)的例子的图。
EOTF通常被称为伽玛曲线,表示代码值和亮度值的对应关系,用于将代码值变换为亮度值。即,EOTF是表示多个代码值和亮度值的对应关系的关系信息。
并且,图36B是表示与HDR及SDR分别对应的逆EOTF的例子的图。
逆EOTF表示亮度值和代码值的对应关系,与EOTF相反,对亮度值进行量化并变换为代码值。即,逆EOTF是表示亮度值和多个代码值的对应关系的关系信息。例如,在用10比特的灰度的代码值表现与HDR对应的影像的亮度值的情况下,截止到10,000nit的HDR的亮度范围中的亮度值被量化,被映射成0~1023这1024个整数值。即,通过根据逆EOTF进行量化,将截止到10,000nit的亮度范围中的亮度值(与HDR对应的影像的亮度值)变换为10比特的代码值的HDR信号。在与HDR对应的EOTF(以下称为“HDR的EOTF”)或者与HDR对应的逆EOTF(以下称为“HDR的逆EOTF”)中,能够表现比与SDR对应的EOTF(以下称为“SDR的EOTF”)或者与SDR对应的逆EOTF(以下称为“SDR的逆EOTF”)高的亮度值,例如在图36A及图36B中,亮度的最大值(峰值亮度)是10,000nit。即,HDR的亮度范围包括SDR的亮度范围整体,HDR的峰值亮度大于SDR的峰值亮度。HDR的亮度范围是将最大值从SDR的亮度范围的最大值即100nit扩大至10,000nit的亮度范围。
例如,关于HDR的EOTF和HDR的逆EOTF,作为一例可以举出由美国电影与电视工程师学会(SMPTE)标准化的SMPTE 2084。
另外,在以后的说明书中,有时将在图36A及图36B中记载的从0nit到峰值亮度的100nit的亮度范围记载为第1亮度范围。同样地,有时将在图36A及图36B中记载的从0nit到峰值亮度的10,000nit的亮度范围记载为第2亮度范围。
[36.变换装置及显示装置]
图37是表示实施方式的变换装置及显示装置的结构的框图。图38是表示通过实施方式的变换装置及显示装置进行的变换方法及显示方法的流程图。
如图37所示,变换装置100具有HDR的EOTF变换部101、亮度变换部102、逆亮度变换部103、及逆SDR的EOTF变换部104。并且,显示装置200具有显示设定部201、SDR的EOTF变换部202、亮度变换部203、及显示部204。
有关变换装置100及显示装置200的各构成要素的详细说明,在变换方法及显示方法的说明中进行。
[37.变换方法及显示方法]
关于变换装置100进行的变换方法,使用图38进行说明。另外,变换方法包括以下说明的步骤S101~步骤S104。
首先,变换装置100的HDR的EOTF变换部101取得被实施了逆HDR的EOTF变换的HDR影像。变换装置100的HDR的EOTF变换部101对所取得的HDR影像的HDR信号进行HDR的EOTF变换(S101)。由此,HDR的EOTF变换部101将所取得的HDR信号变换为表示亮度值的线性的信号。HDR的EOTF例如有SMPTE 2084。
然后,变换装置100的亮度变换部102进行第1亮度变换,使用显示器特性信息和内容亮度信息对通过HDR的EOTF变换部101被变换后的线性的信号进行变换(S102)。在第1亮度变换中,将与HDR的亮度范围对应的亮度值(以下称为“HDR的亮度值”)变换为与显示器的亮度范围对应的亮度值(以下称为“显示器亮度值”)。详情后述。
通过上述的变换,HDR的EOTF变换部101作为取得作为第1亮度信号的HDR信号的取得部发挥作用,第1亮度信号表示通过将影像的亮度值进行量化而得到的代码值。并且,HDR的EOTF变换部101及亮度变换部102作为变换部发挥作用,该变换部将由取得部取得的HDR信号所表示的代码值变换为显示器亮度值,该显示器亮度值与根据显示器(显示装置200)的亮度范围决定的比HDR的亮度范围的最大值(HPL)小、且比100nit大的最大值(DPL)即显示器的亮度范围对应。
更具体地讲,HDR的EOTF变换部101在步骤S101使用所取得的HDR信号和HDR的EOTF,对于作为所取得的HDR信号所表示的第1代码值的HDR的代码值,决定在HDR的EOTF中与HDR的代码值相关的HDR的亮度值。另外,HDR信号表示通过使用将HDR的亮度范围中的亮度值和多个HDR的代码值关联起来的HDR的逆EOTF,将影像(内容)的亮度值进行量化得到的HDR的代码值。
并且,亮度变换部102在步骤S102,对于在步骤S101决定的HDR的亮度值,决定与该HDR的亮度值预先相关联的与显示器的亮度范围对应的显示器亮度值,并进行将与HDR的亮度范围对应的HDR的亮度值变换为与显示器的亮度范围对应的显示器亮度值的第1亮度变换。
并且,变换装置100在步骤S102之前取得包括影像(内容)的亮度的最大值(CPL:Content Peak Luminance)及影像的平均亮度值(CAL:Content Average Luminance)至少一方的内容亮度信息,作为与HDR信号相关的信息。CPL(第1最大亮度值)例如是针对构成HDR影像的多个图像的亮度值中的最大值。并且,CAL例如是针对构成HDR影像的多个图像的亮度的平均即平均亮度值。
并且,变换装置100在步骤S102之前从显示装置200取得显示装置200的显示器特性信息。另外,显示器特性信息是表示显示装置200的显示特性的信息,如显示装置200能够显示的亮度的最大值(DPL)、显示装置200的显示模式(参照后述)、输入输出特性(显示装置能够应对的EOTF)等。
并且,变换装置100也可以向显示装置200发送推荐显示设定信息(参照后述,以下也称为“设定信息”)。
然后,变换装置100的逆亮度变换部103进行与显示装置200的显示模式对应的逆亮度变换。因此,逆亮度变换部103进行将与显示器的亮度范围对应的亮度值变换为与SDR的亮度范围(0~100[nit])对应的亮度值的第2亮度变换(S103)。详情后述。即,逆亮度变换部103对于在步骤S102得到的显示器亮度值,决定与该显示器亮度值预先相关联的、作为与以100nit为最大值的SDR的亮度范围对应的第3亮度值的SDR所对应的亮度值(以下称为“SDR的亮度值”)SDR的亮度值,并进行将与该显示器的亮度范围对应的亮度值变换为与SDR的亮度范围对应的SDR的亮度值的第2亮度变换。
并且,变换装置100的逆SDR的EOTF变换部104进行逆SDR的EOTF变换,由此生成准HDR影像(S104)。即,逆SDR的EOTF变换部104使用将HDR的亮度范围中的亮度值和多个第3代码值关联起来的第3关联信息即SDR(Standard Dynamic Range)的逆EOTF(Electro-Optical Transfer Function),对所决定的SDR的亮度值进行量化,并决定通过量化得到的第3代码值,将与SDR的亮度范围对应的SDR的亮度值变换为作为表示第3代码值的第3亮度信号的SDR信号,由此生成准HDR信号。另外,第3代码值是与SDR对应的代码值,以下称为“SDR的代码值”。即,SDR信号使用将SDR的亮度范围中的亮度值和多个SDR的代码值关联起来的SDR的逆EOTF,通过对影像的亮度值进行量化而得到的SDR的代码值来表示。并且,变换装置100将在步骤S104生成的准HDR信号(SDR信号)输出给显示装置200。
变换装置100通过对将HDR信号逆量化而得到的HDR的亮度值进行第1亮度变换和第2亮度变换,生成与准HDR对应的SDR的亮度值,使用SDR的EOTF对SDR的亮度值进行量化,由此生成与准HDR对应的SDR信号。另外,SDR的亮度值是与SDR对应的0~100nit的亮度范围内的数值,但由于进行基于显示器的亮度范围的变换,因而是与通过对HDR的亮度值进行使用了HDR的EOTF和SDR的EOTF的亮度变换得到的SDR对应的0~100nit的亮度范围的亮度值不同的数值。
下面,关于显示装置200进行的显示方法,使用图38进行说明。另外,显示方法包括以下说明的步骤S105~步骤S108。
首先,显示装置200的显示设定部201使用从变换装置100取得的设定信息,设定显示装置200的显示设定(S105)。其中,显示装置200是SDRTV。设定信息是表示对显示装置推荐的显示设定的信息,是表示怎样对准HDR影像进行EOTF、以哪种设定进行显示能够显示美丽的影像的信息(即,用于将显示装置200的显示设定切换为最佳的显示设定的信息)。设定信息例如包括显示装置的输出时的伽玛曲线特性、起居模式(living mode)(通常模式)和动态模式等显示模式、背照灯(明亮度)的数值等。并且,也可以在显示装置200(以下也称为“SDR显示器”)显示诸如催促用户通过手动操作变更显示装置200的显示设定的消息。详情后述。
另外,显示装置200在步骤S105之前,取得SDR信号(准HDR信号)、和表示在显示影像时对显示装置200推荐的显示设定的设定信息。
并且,显示装置200只要在步骤S106之前进行SDR信号(准HDR信号)的取得即可,也可以在步骤S105之后进行。
然后,显示装置200的SDR的EOTF变换部202对所取得的准HDR信号进行SDR的EOTF变换(S106)。即,SDR的EOTF变换部202使用SDR的EOTF对SDR信号(准HDR信号)进行逆量化。由此,SDR的EOTF变换部202将SDR信号所表示的SDR的代码值变换为SDR的亮度值。
并且,显示装置200的亮度变换部203进行与对显示装置200设定的显示模式对应的亮度变换。由此,亮度变换部203进行将与SDR的亮度范围(0~100[nit])对应的SDR的亮度值、变换为与显示器的亮度范围(0~DPL[nit])对应的显示器亮度值的第3亮度变换(S107)。详情后述。
通过上述的处理,显示装置200在步骤S106及步骤S107中,使用在步骤S105取得的设定信息,将所取得的SDR信号(准HDR信号)所表示的第3代码值变换为与显示器的亮度范围(0~DPL[nit])对应的显示器亮度值。
更具体地讲,在从SDR信号(准HDR信号)向显示器亮度值的变换中,在步骤S106,使用将SDR的亮度范围中的亮度值和多个第3代码值关联起来的EOTF,对于所取得的SDR信号所表示的SDR的代码值,决定在SDR的EOTF中与SDR的代码值相关联的SDR的亮度值。
并且,在向显示器亮度值的变换中,在步骤S107,决定与所决定的SDR的亮度值预先相关联的、与显示器的亮度范围对应的显示器亮度值,进行将与SDR的亮度范围对应的SDR的亮度值变换为与显示器的亮度范围对应的显示器亮度值的第3亮度变换。
最后,显示装置200的显示部204根据变换后的显示器亮度值,在显示装置200显示准HDR影像(S108)。
[38.第1亮度变换]
下面,关于步骤S102的第1亮度变换(HPL→DPL)的详细情况,使用图39A进行说明。图39A是用于说明第1亮度变换的一例的图。
变换装置100的亮度变换部102进行第1亮度变换,使用显示器特性信息和HDR影像的内容亮度信息对在步骤S101得到的线性的信号(HDR的亮度值)进行变换。第1亮度变换将HDR的亮度值(输入亮度值)变换为不超过显示器峰值亮度(DPL)的显示器亮度值(输出亮度值)。DPL是使用显示器特性信息即SDR显示器的最大亮度和显示模式决定的。显示模式例如是在SDR显示器进行偏暗的显示的影院模式、和进行偏明亮的显示的动态模式等的模式信息。显示模式例如在SDR显示器的最大亮度是1,500nit、而且显示模式是最大亮度的50%的明亮度的模式的情况下,DPL达到750nit。其中,DPL(第2最大亮度值)是SDR显示器在当前设定的显示模式中能够显示的亮度的最大值。即,在第1亮度变换中,使用表示SDR显示器的显示特性的信息即显示器特性信息,决定作为第2最大亮度值的DPL。
并且,在第1亮度变换中,使用内容亮度信息中的CAL和CPL,CAL附近以下的亮度值在变换的前后相同,仅对CAL附近以上的亮度值变更亮度值。即,如图39A所示,在第1亮度变换中,在该HDR的亮度值为CAL以下的情况下,不变换该HDR的亮度值,将该HDR的亮度值决定为显示器亮度值,在该HDR的亮度值为CAL以上的情况下,将作为第2最大亮度值的DPL决定为显示器亮度值。
并且,在第1亮度变换中,使用亮度信息中的HDR影像的峰值亮度(CPL),在HDR的亮度值为CPL的情况下,将DPL决定为显示器亮度值。
另外,在第1亮度变换中,也可以进行如图39B所示的变换,将在步骤S101得到的线性的信号(HDR的亮度值)削波为不超过DPL的值。通过进行这样的亮度变换,能够简化在变换装置100中的处理,实现装置的小型化、低功率化、处理的高速化。另外,图39B是用于说明第1亮度变换的另一例的图。
[39-1.第2亮度变换]
下面,关于步骤S103的第2亮度变换(DPL→100[nit])的详细情况,使用图40进行说明。图40是用于说明第2亮度变换的图。
变换装置100的逆亮度变换部103对通过步骤S102的第1亮度变换被变换后的显示器的亮度范围(0~DPL[nit])的显示器亮度值,进行与显示模式对应的逆亮度变换。逆亮度变换是指在进行了与SDR显示器的显示模式对应的亮度变换处理(步骤S107)的情况下,取得步骤S102的处理后的显示器的亮度范围(0~DPL[nit])的显示器亮度值的处理。即,第2亮度变换是第3亮度变换的逆亮度变换。
通过上述的处理,第2亮度变换将显示器的亮度范围的显示器亮度值(输入亮度值)变换为SDR的亮度范围的SDR的亮度值(输出亮度值)。
在第2亮度变换中,根据SDR显示器的显示模式切换变换式。例如,在SDR显示器的显示模式是通常模式的情况下,将亮度变换为与显示器亮度值成正比例的正比例值。并且,在第2亮度变换中,在SDR显示器的显示模式是使高亮度像素比通常模式更明亮、使低亮度像素更暗的动态模式的情况下,通过使用其反函数,将低亮度像素的SDR的亮度值变换为比与显示器亮度值成正比例的正比例值高的亮度值,将高亮度像素的SDR的亮度值变换为比与显示器亮度值成正比例的正比例值低的亮度值。即,在第2亮度变换中,对于在步骤S102决定的显示器亮度值,使用与表示SDR显示器的显示特性的信息即显示器特性信息对应的亮度关联信息,将与该显示器亮度值相关联的亮度值决定为SDR的亮度值,并按照显示器特性信息切换亮度变换处理。其中,与显示器特性信息对应的亮度关系信息是例如图40所示的、将对SDR显示器的每个显示参数(显示模式)设定的显示器亮度值(输入亮度值)和SDR的亮度值(输出亮度值)关联起来形成的信息。
[39-2.第3亮度变换]
下面,关于步骤S107的第3亮度变换(100→DPL[nit])的详细情况,使用图41进行说明。图41是用于说明第3亮度变换的图。
显示装置200的亮度变换部203按照在步骤S105设定的显示模式,将SDR的亮度范围(0~100[nit])的SDR的亮度值变换为(0~DPL[nit])。本处理是使成为S103的每个模式的逆亮度变换的反函数的处理。
在第3亮度变换中,根据SDR显示器的显示模式切换变换式。例如,在SDR显示器的显示模式是通常模式的情况下(即,所设定的显示参数是对应通常模式的参数的情况下),将显示器亮度值亮度变换为与SDR的亮度值成正比例的正比例值。并且,在第3亮度变换中,在SDR显示器的显示模式是使高亮度像素比通常模式更明亮、使低亮度像素更暗的动态模式的情况下,将低亮度像素的显示器亮度值变换为比与SDR的亮度值成正比例的正比例值低的亮度值,将高亮度像素的显示器亮度值变换为比与SDR的亮度值成正比例的正比例值高的亮度值。即,在第3亮度变换中,对于在步骤S106决定的SDR的亮度值,使用与表示SDR显示器的显示设定的显示参数对应的亮度关系信息,将与该SDR的亮度值预先相关联的亮度值决定为显示器亮度值,并按照显示参数切换亮度变换处理。其中,与显示参数对应的亮度关系信息是例如图41所示的、将对SDR显示器的每个显示参数(显示模式)设定的SDR的亮度值(输入亮度值)和显示器亮度值(输出亮度值)关联起来形成的信息。
[40.显示设定]
下面,关于步骤S105的显示设定的详细情况,使用图42进行说明。图42是表示显示设定的具体处理的流程图。
SDR显示器的显示设定部201在步骤S105进行下述的步骤S201~步骤S208的处理。
首先,显示设定部201使用设定信息,判定对SDR显示器设定的EOTF(SDR显示器用EOTF)是否与在生成准HDR影像(SDR信号)时假定的EOTF整合(S201)。
在判定为对SDR显示器设定的EOTF与设定信息所表示的EOTF(与准HDR影像整合的EOTF)不同的情况下(S201:是),显示设定部201判定是否能够在系统侧切换SDR显示器用EOTF(S202)。
显示设定部201在判定为能够切换的情况下,使用设定信息将SDR显示器用EOTF切换为适合的EOTF(S203)。
根据步骤S201~步骤S203,在显示设定的设定(S105)中,将对SDR显示器设定的EOTF设定为与所取得的设定信息对应的推荐EOTF。并且,通过这样设定,在步骤S105之后进行的步骤S106中,能够使用推荐EOTF决定SDR的亮度值。
在判定为不能在系统侧进行切换的情况下(S202:否),在画面中显示催促用户通过手动操作变更EOTF的消息(S204)。例如,在画面中显示“请将显示伽玛设定为2.4”的消息。即,显示设定部201当在显示设定的设定(S105)中不能切换对SDR显示器设定的EOTF的情况下,在SDR显示器中显示催促用户将对SDR显示器设定的EOTF(SDR显示器用EOTF)切换为推荐EOTF的消息。
然后,在SDR显示器中显示准HDR影像(SDR信号),但在显示之前使用设定信息判定SDR显示器的显示参数是否与设定信息一致(S205)。
显示设定部201在判定为对SDR显示器设定的显示参数与设定信息不同的情况下(S205:是),判定是否能够切换SDR显示器的显示参数(S206)。
显示设定部201在判定为能够切换SDR显示器的显示参数的情况下(S206:是),按照设定信息切换SDR显示器的显示参数(S207)。
根据步骤S204~步骤S207,在显示设定的设定(S105)中,将对SDR显示器设定的显示参数设定为与所取得的设定信息对应的推荐显示参数。
在判定为不能在系统侧进行切换的情况下(S206:否),在画面中显示催促用户通过手动操作变更对SDR显示器设定的显示参数的消息(S208)。例如,在画面中显示“请将显示模式设为动态模式,将背照灯设为最大”的消息。即,当在设定(S105)中不能切换对SDR显示器设定的显示参数的情况下,在SDR显示器中显示催促用户将对SDR显示器设定的显示参数切换为推荐显示参数的消息。
[4.1变形例1]
如上所述,作为在本申请中公开的技术的示例,对实施方式进行了说明。但是,本发明的技术不限于此,也能够适用于适当进行了变更、置换、附加、省略等的实施方式1。并且,也能够将在上述实施方式中说明的各构成要素进行组合而作为新的实施方式。
因此,下面示例出其它的实施方式。
HDR影像例如是Blu-ray盘、DVD、因特网的动态图像发布网站、广播、HDD中的影像。
变换装置100(HDR→准HDR变换处理部)也可以位于盘播放器、盘记录器、机顶盒、电视机、电脑、智能电话的内部。变换装置100也可以位于因特网中的服务器装置的内部。
显示装置200(SDR显示部)例如是电视机、电脑、智能电话。
关于变换装置100取得的显示器特性信息,也可以使用HDMI(注册商标)或其它通信协议、通过HDMI(注册商标)线缆或LAN线缆从显示装置200取得。关于变换装置100取得的显示器特性信息,也可以通过因特网取得显示装置200的机型信息等中包含的显示器特性信息。并且,也可以由用户进行手动操作,对变换装置100设定显示器特性信息。并且,变换装置100取得显示器特性信息既可以在即将生成准HDR影像(步骤S101~S104)时进行,也可以在设备的初始设定时和显示器连接时的时刻进行。例如,关于显示器特性信息的取得,既可以在即将变换为显示器亮度值之前进行,也可以在变换装置100通过HDMI(注册商标)线缆首次连接显示装置200的时刻进行。
并且,HDR影像的CPL和CAL既可以与内容一对一,也可以存在于每个场景中。即,也可以是,在变换方法中,取得与影像的多个场景分别对应的亮度信息,即对于每个场景,取得包括针对构成该场景的多个图像的亮度值中的最大值即第1最大亮度值、和针对构成该场景的多个图像的亮度值的平均即平均亮度值至少一方的亮度信息(CPL、CAL),在第1亮度变换中,对于多个场景中的各个场景,按照对应该场景的亮度信息决定显示器亮度值。
并且,CPL和CAL既可以共同打包在与HDR影像相同的介质(Blu-ray盘、DVD等)中,也可以由变换装置100从与HDR影像不同的场所取得,如从因特网取得等。即,作为影像的元信息,既可以取得包括CPL和CAL至少一方的亮度信息,也可以经由网络取得。
并且,在变换装置100的第1亮度变换(HPL→DPL)中,也可以不使用CPL、CAL及显示器峰值亮度(DPL),而使用固定值。并且,也可以能够从外部变更该固定值。并且,也可以将CPL、CAL及DPL设为能够切换多种类型,例如DPL也可以仅设为200nit、400nit、800nit这三种,还可以使用与显示器特性信息最接近的值。
并且,HDR的EOTF也可以不是SMPTE 2084,而可以使用其它类型的HDR的EOTF。并且,HDR影像的最大亮度(HPL)也可以不是10,000nit,例如也可以是4,000nit或1,000nit。
并且,代码值的比特宽度例如也可以是16、14、12、10、8bit。
并且,逆SDR的EOTF变换是根据显示器特性信息决定的,但也可以使用(也能够从外部进行变更的)固定的变换函数。逆SDR的EOTF变换例如也可以使用在Rec.ITU-RBT.1886中规定的函数。并且,也可以将逆SDR的EOTF变换的类型范围缩小为几种类型,选择使用与显示装置200的输入输出特性最接近的类型。
并且,显示模式也可以设为使用固定的模式,也可以不包含在显示器特性信息中。
并且,变换装置100也可以不发送设定信息,在显示装置200中也可以设为固定的显示设定,也可以不变更显示设定。在这种情况下,将不需要显示设定部201。并且,设定信息也可以采用是否是准HDR影像的标志信息,例如在是准HDR影像的情况下,也可以变更为进行最明亮的显示的设定。即,在显示设定的设定(S105)中,在所取得的设定信息表示是指示使用DPL变换后的准HDR影像的情况下,也可以将显示装置200的明亮度设定切换为进行最明亮的显示的设定。
[42.变形例2]
并且,变换装置100的第1亮度变换(HPL→DPL)例如用以下的算式进行变换。
其中,L表示被规范化为0~1的亮度值,S1、S2、a、b、M表示根据CAL、CPL及DPL设定的值。In表示自然对数。V表示被规范化为0~1的变换后的亮度值。如图39A所示例的那样,设CAL为300nit、设CPL为2,000nit、设DPL为750nit,假设一直到CAL+50nit是不变换的,在对350nit以上进行变换的情况下,各自的值例如成为如下的值。
S1=350/10000
S2=2000/10000
M=750/10000
a=0.023
b=S1-a*In(S1)=0.112105
即,在第1亮度变换中,在SDR的亮度值位于平均亮度值(CAL)和第1最大亮度值(CPL)之间的情况下,使用自然对数决定与该HDR的亮度值对应的显示器亮度值。
[40.效果等]
通过使用HDR影像的内容峰值亮度及内容平均亮度等信息变换HDR影像,能够按照内容改变变换式,能够以尽量保持HDR的灰度的方式进行变换。并且,能够抑制过暗、过亮的不良影响。具体而言,通过将HDR影像的内容峰值亮度映射至显示器峰值亮度,尽量保持了灰度。并且,通过使平均亮度附近以下的像素值不变,使整体的明亮度不变。
并且,通过使用SDR显示器的峰值亮度值及显示模式变换HDR影像,能够按照SDR显示器的显示环境改变变换式,能够按照SDR显示器的性能、以与原来的HDR影像相同的灰度及明亮度显示具有HDR感的影像(准HDR影像)。具体而言,根据SDR显示器的最大亮度和显示模式决定显示器峰值亮度,并以不超过该峰值亮度值的方式变换HDR影像,由此几乎不减少HDR影像的灰度地进行显示一直到SDR显示器能够显示的明亮度,对于不能显示的明亮度将亮度值降低到能够显示的明亮度。
根据以上所述,能够削减不能显示的明亮度的信息,以不降低能够显示的明亮度的灰度、而且接近原来的HDR影像的形式进行显示。例如,作为峰值亮度1,000nit的显示器用,通过变换为控制在峰值亮度1,000nit的准HDR影像,维持整体的明亮度,使亮度值根据显示器的显示模式而变化。因此,按照显示器的显示模式变更亮度的变换式。如果在准HDR影像中允许比显示器的峰值亮度大的亮度,存在将该较大的亮度置换为显示器侧的峰值亮度进行显示的情况,在这种情况下,整体上比原来的HDR影像变暗。相反,在将比显示器的峰值亮度小的亮度变换为最大亮度时,将该较小的亮度置换为显示器侧的峰值亮度,整体上比原来的HDR影像变明亮。而且,由于比显示器的峰值亮度小,因而不能最大限度地使用有关显示器的灰度的性能。
并且,通过在显示器侧使用设定信息切换显示设定,能够更好地显示准HDR影像。例如,在设定较暗的明亮度的情况下,不能进行高亮度显示,因而有损HDR感。在这种情况下,通过变更显示设定或者显示催促进行变更的消息,能够最大限度地发挥显示器的性能,显示高灰度的影像。
(整体的总结)
以上关于有关本发明的一个方式或者多个方式的再现方法及再现装置,根据实施方式进行了说明,但本发明不限于这些实施方式。只要不脱离本发明的宗旨,对本实施方式实施本行业人员能够想到的各种变形而得到的方式、或者将不同的实施方式中的构成要素进行组合而构成的方式,都包含在本发明的一个方式或者多个方式的范围内。
例如,在上述各实施方式中,各构成要素也可由电路等专用的硬件结构构成、或者通过执行适合于各构成要素的软件程序来实现。也可以是,CPU或者处理器等的程序执行部读出并执行被记录在硬盘或者半导体存储器等记录介质中的软件程序,由此实现各构成要素。
产业上的可利用性
本发明能够应用于内容数据生成装置、Blu-ray(蓝光)设备等影像流传输装置、或者电视机等影像显示装置。
标号说明
100变换装置;101EOTF变换部;102亮度变换部;103逆亮度变换部;104逆SDR的EOTF变换部;200、510显示装置;201显示设定部;202SDR的EOTF变换部;203亮度变换部;204显示部;400、500、500A数据输出装置;401、501视频解码部;402、502外部元取得部;403、503HDR元解释部;404、504HDR控制信息生成部;405、505、505A DR变换部;406、506HDMI输出部;507DC部。

Claims (11)

1.一种再现影像信号的再现方法,
所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,
所述再现方法包括:
判定步骤,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及
调整步骤,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理,
在所述判定步骤中,判定所述影像信号中包含的第1图像的峰值亮度、与所述影像信号中包含的比所述第1图像靠后的第2图像中包含的多个像素的亮度值中的各亮度值的差分是否超过所述第1阈值,
在所述调整步骤中,对于所述差分超过所述第1阈值的像素,调整该像素的亮度值,以使得该像素的所述差分达到所述第1阈值以下。
2.根据权利要求1所述的再现方法,
在所述调整步骤中,对于所述变化量超过所述第1阈值的像素,调整该像素的亮度值,以使得该像素的所述变化量达到所述第1阈值以下。
3.根据权利要求1所述的再现方法,
在所述判定步骤中,判定基准时间间隔中的所述亮度值的所述变化量是否超过所述第1阈值,所述基准时间间隔是所述影像信号的帧速率的倒数的整数倍。
4.根据权利要求1所述的再现方法,
在所述判定步骤中,判定所述影像信号中包含的图像所含有的多个像素中、所述变化量超过所述第1阈值的像素的比例,是否超过第2阈值,
在所述调整步骤中,在所述比例超过所述第2阈值的情况下,调整所述多个像素的亮度值,以使得所述比例达到所述第2阈值以下。
5.根据权利要求1所述的再现方法,
在所述判定步骤中,对于通过将画面分割而得到的多个区域中的每个区域,判定该区域的画面间的亮度值的变化量是否超过所述第1阈值,
在所述调整步骤中,对于被判定为所述变化量超过所述第1阈值的区域,进行降低该区域的亮度值的调整处理。
6.根据权利要求1所述的再现方法,
所述第1阈值是根据在显示所述影像信号的显示装置中能够对多个像素同时施加的电压的上限值计算的值。
7.一种再现影像信号的再现方法,
所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,
所述再现方法包括:
判定步骤,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及
调整步骤,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理,
所述第1阈值是根据在显示所述影像信号的显示装置中能够对多个像素同时施加的电压的上限值计算的值。
8.根据权利要求7所述的再现方法,
在所述判定步骤中,判定所述图像中含有的多个像素中亮度值超过所述第1阈值的像素的数量,
在所述调整步骤中,在所述像素的数量超过第3阈值的情况下,降低所述图像的亮度值,以使得所述像素的数量达到所述第3阈值以下。
9.根据权利要求7所述的再现方法,
在所述判定步骤中,判定所述图像中含有的多个像素中亮度值超过所述第1阈值的像素的比例,
在所述调整步骤中,在所述比例超过第3阈值的情况下,降低所述图像的亮度值,以使得所述比例达到所述第3阈值以下。
10.一种再现影像信号的再现装置,
所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,
所述再现装置具有:
判定部,判定所述影像信号的在画面间的亮度值的变化量是否超过预先设定的第1阈值;以及
调整部,在判定为所述变化量超过所述第1阈值的情况下,进行降低所述影像信号的亮度值的调整处理,
所述判定部判定所述影像信号中包含的第1图像的峰值亮度、与所述影像信号中包含的比所述第1图像靠后的第2图像中包含的多个像素的亮度值中的各亮度值的差分是否超过所述第1阈值,
所述调整部对于所述差分超过所述第1阈值的像素,调整该像素的亮度值,以使得该像素的所述差分达到所述第1阈值以下。
11.一种再现影像信号的再现装置,
所述影像信号的亮度由最大亮度值被定义为超过100nit的第1最大亮度值的第1亮度范围中的第1亮度值构成,
所述再现装置具有:
判定部,判定所述影像信号中包含的图像的亮度值是否超过预先设定的第1阈值;以及
调整部,在判定为所述亮度值超过所述第1阈值的情况下,进行降低所述图像的亮度值的调整处理,
所述第1阈值是根据在显示所述影像信号的显示装置中能够对多个像素同时施加的电压的上限值计算的值。
CN201910885200.2A 2014-08-19 2015-07-31 再现方法及再现装置 Active CN110460792B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462038900P 2014-08-19 2014-08-19
US62/038,900 2014-08-19
JP2015134733 2015-07-03
JP2015-134733 2015-07-03
CN201580007932.1A CN105981396B (zh) 2014-08-19 2015-07-31 传输方法及再现装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580007932.1A Division CN105981396B (zh) 2014-08-19 2015-07-31 传输方法及再现装置

Publications (2)

Publication Number Publication Date
CN110460792A CN110460792A (zh) 2019-11-15
CN110460792B true CN110460792B (zh) 2022-03-08

Family

ID=55350392

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580007932.1A Active CN105981396B (zh) 2014-08-19 2015-07-31 传输方法及再现装置
CN201910885200.2A Active CN110460792B (zh) 2014-08-19 2015-07-31 再现方法及再现装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580007932.1A Active CN105981396B (zh) 2014-08-19 2015-07-31 传输方法及再现装置

Country Status (6)

Country Link
US (2) US10291955B2 (zh)
EP (1) EP3185572B1 (zh)
JP (1) JP6566271B2 (zh)
CN (2) CN105981396B (zh)
MX (1) MX366637B (zh)
WO (1) WO2016027423A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134172B (zh) * 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
JP6241692B2 (ja) * 2014-09-12 2017-12-06 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体
WO2016132836A1 (ja) * 2015-02-16 2016-08-25 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
JP6535560B2 (ja) * 2015-09-18 2019-06-26 東芝映像ソリューション株式会社 電子機器、及び表示方法
EP3185571A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Hierarchical scene segmentation metadata transmission for content enhancement
KR102438199B1 (ko) * 2015-12-24 2022-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 설정 값을 변경하는 방법
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
JP2017151308A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
JP6253036B2 (ja) * 2016-03-31 2017-12-27 シャープ株式会社 コンテンツ処理装置、テレビジョン受信装置、コンテンツ処理装置における情報処理方法、プログラム
EP3477933B1 (en) * 2016-06-27 2022-03-16 Sony Group Corporation Signal processing device, signal processing method, camera system, video system and server
WO2018003667A1 (ja) * 2016-06-28 2018-01-04 シャープ株式会社 送信装置、受信装置、および表示装置
JP6786324B2 (ja) * 2016-09-20 2020-11-18 株式会社東芝 多重化装置及び多重化方法
JP6855205B2 (ja) * 2016-10-06 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像処理方法
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
JP7018567B2 (ja) * 2017-04-21 2022-02-14 パナソニックIpマネジメント株式会社 再生装置、再生方法、表示装置、および、表示方法
CN109691116B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示装置及影像显示方法
EP3651471A4 (en) * 2017-07-07 2020-05-13 Panasonic Intellectual Property Management Co., Ltd. IMAGE PROCESSING SYSTEM AND METHOD
US10873684B2 (en) 2017-07-14 2020-12-22 Panasonic Intellectual Property Management Co., Ltd. Video display apparatus and video display method
US10659745B2 (en) * 2017-09-13 2020-05-19 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
KR102614338B1 (ko) 2017-09-21 2023-12-19 소니그룹주식회사 재생 장치, 재생 방법, 프로그램, 및 기록 매체
JP7108880B2 (ja) * 2017-10-06 2022-07-29 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
JP7180610B2 (ja) * 2017-11-17 2022-11-30 ソニーグループ株式会社 再生装置、再生方法、およびプログラム
JP6821269B2 (ja) * 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US10645199B2 (en) * 2018-01-22 2020-05-05 Lattice Semiconductor Corporation Multimedia communication bridge
US10832613B2 (en) 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
CN108447083B (zh) * 2018-03-16 2020-06-02 北京虚拟映画科技有限公司 基于图像分解再组合的影像传输方法及系统
TW201946430A (zh) 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像訊號轉換裝置及方法
TWI822677B (zh) * 2018-04-30 2023-11-21 圓剛科技股份有限公司 影像訊號轉換裝置
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
US10652512B1 (en) * 2018-11-20 2020-05-12 Qualcomm Incorporated Enhancement of high dynamic range content
KR20210065447A (ko) * 2019-11-27 2021-06-04 삼성전자주식회사 전자장치와 그의 제어방법, 및 기록매체
CN112261334B (zh) * 2020-10-21 2023-04-11 广东博华超高清创新中心有限公司 一种支持hdmi 2.1信号单路输入多路输出的传输方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069325A (ja) * 1998-08-26 2000-03-03 Fujitsu Ltd 画像表示制御装置及び記録媒体
JP2002116732A (ja) * 2000-10-05 2002-04-19 Pioneer Electronic Corp 自発光パネル駆動方法及び装置
CN101145327A (zh) * 2006-09-15 2008-03-19 株式会社半导体能源研究所 显示设备及其驱动方法
CN101710955A (zh) * 2009-11-24 2010-05-19 北京中星微电子有限公司 亮度和对比度调整的方法及设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154756A (ja) * 2004-11-02 2006-06-15 Fujitsu Ten Ltd 映像信号処理方法、映像信号処理装置、及び、表示装置
JP4177826B2 (ja) * 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
JP4812008B2 (ja) * 2006-04-07 2011-11-09 三菱電機株式会社 画像表示装置
JP4210863B2 (ja) * 2006-07-06 2009-01-21 セイコーエプソン株式会社 画像処理システム、表示装置、プログラムおよび情報記憶媒体
US7826671B2 (en) * 2006-11-21 2010-11-02 Samsung Electronics Co., Ltd. Method and system for quantization layer reduction in digital image processing
JP5145017B2 (ja) 2006-12-05 2013-02-13 日本放送協会 画像信号処理装置
JP2010010915A (ja) * 2008-06-25 2010-01-14 Sony Corp 画像処理装置および方法、並びにプログラム
KR101651415B1 (ko) * 2009-03-10 2016-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 확장된 동적 범위 및 확장된 차수 이미지 신호 변환
EP2523077A4 (en) * 2010-01-08 2016-10-12 Sharp Kk OPTICAL SENSOR DISPLAY DEVICE
JP2011172146A (ja) * 2010-02-22 2011-09-01 Sharp Corp コンテンツ再生装置、設定方法、プログラム、及び、記録媒体
JP5665388B2 (ja) * 2010-06-28 2015-02-04 キヤノン株式会社 画像処理装置及びその制御方法
JP5134658B2 (ja) * 2010-07-30 2013-01-30 株式会社東芝 画像表示装置
US8525933B2 (en) * 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US8736674B2 (en) * 2010-09-23 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for 3D display calibration with feedback determined by a camera device
US8831287B2 (en) * 2011-06-09 2014-09-09 Utah State University Systems and methods for sensing occupancy
ES2774219T3 (es) * 2011-06-14 2020-07-17 Koninklijke Philips Nv Procesamiento de gráficos para video de alto rango dinámico
WO2012176783A1 (ja) * 2011-06-21 2012-12-27 浜松ホトニクス株式会社 光測定装置、光測定方法、及び光測定プログラム
WO2013039730A2 (en) * 2011-09-15 2013-03-21 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
CA2850037C (en) * 2011-09-27 2022-10-04 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
US9344635B2 (en) * 2011-11-08 2016-05-17 Rambus Inc. Conditional-reset, temporally oversampled image sensor
US9558556B2 (en) * 2012-02-23 2017-01-31 Nissan Motor Co., Ltd. Three-dimensional object detection device
JP5733467B2 (ja) * 2012-03-02 2015-06-10 日産自動車株式会社 立体物検出装置
EP2896198B1 (en) * 2012-09-12 2016-11-09 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
US9681026B2 (en) * 2013-04-15 2017-06-13 Htc Corporation System and method for lens shading compensation
US9693078B2 (en) * 2014-07-09 2017-06-27 Interra Systems, Inc. Methods and systems for detecting block errors in a video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069325A (ja) * 1998-08-26 2000-03-03 Fujitsu Ltd 画像表示制御装置及び記録媒体
JP2002116732A (ja) * 2000-10-05 2002-04-19 Pioneer Electronic Corp 自発光パネル駆動方法及び装置
CN101145327A (zh) * 2006-09-15 2008-03-19 株式会社半导体能源研究所 显示设备及其驱动方法
CN101710955A (zh) * 2009-11-24 2010-05-19 北京中星微电子有限公司 亮度和对比度调整的方法及设备

Also Published As

Publication number Publication date
MX366637B (es) 2019-07-17
JP6566271B2 (ja) 2019-08-28
EP3185572A4 (en) 2018-06-06
EP3185572A1 (en) 2017-06-28
EP3185572B1 (en) 2023-03-08
MX2017000432A (es) 2017-05-01
CN105981396B (zh) 2020-07-14
US20160330513A1 (en) 2016-11-10
US10291955B2 (en) 2019-05-14
CN110460792A (zh) 2019-11-15
US20190230407A1 (en) 2019-07-25
JPWO2016027423A1 (ja) 2017-06-01
CN105981396A (zh) 2016-09-28
WO2016027423A1 (ja) 2016-02-25

Similar Documents

Publication Publication Date Title
CN110460792B (zh) 再现方法及再现装置
US11140354B2 (en) Method for generating control information based on characteristic data included in metadata
JP6566320B2 (ja) データ出力装置及びデータ出力方法
CN110489073B (zh) 变换方法及变换装置
JP6512458B2 (ja) データ再生方法及び再生装置
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP6928885B2 (ja) 表示装置、表示方法及びコンピュータプログラム
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置
JP7170236B2 (ja) 再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant