CN104488261A - 数据生成装置、数据生成方法、数据再生装置及数据再生方法 - Google Patents

数据生成装置、数据生成方法、数据再生装置及数据再生方法 Download PDF

Info

Publication number
CN104488261A
CN104488261A CN201480001931.1A CN201480001931A CN104488261A CN 104488261 A CN104488261 A CN 104488261A CN 201480001931 A CN201480001931 A CN 201480001931A CN 104488261 A CN104488261 A CN 104488261A
Authority
CN
China
Prior art keywords
hdr
tmi
data
video
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480001931.1A
Other languages
English (en)
Other versions
CN104488261B (zh
Inventor
高桥辽平
内村幸一
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104488261A publication Critical patent/CN104488261A/zh
Application granted granted Critical
Publication of CN104488261B publication Critical patent/CN104488261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

从存储包括HDR信息的流的路径和包括指定路径的HDR信息中的要被应用于感兴趣目标路径的HDR信息的HDR指定信息的目标路径的文件获取由HDR指定信息指定的HDR信息,HDR信息被配置有表示具有动态范围比STD(标准)图像高的HDR(高动态范围)图像的亮度的特征信息和表示将STD图像和HDR图像中的一个图像转换成另一图像的转换规则的转换信息。本技术可以应用于例如如下情况:通过使用XML将HDR信息应用于具有SMPTE-TT格式的字幕。

Description

数据生成装置、数据生成方法、数据再生装置及数据再生方法
技术领域
本技术涉及数据生成装置、数据生成方法、数据再生装置及数据再生方法,更具体地,涉及能够增加用户喜爱HDR(高动态范围)图像(其是具有高动态范围的图像)的可能性的数据生成装置、数据生成方法、数据再生装置及数据再生方法。
背景技术
近年来,如下装置已经普及:为了高效地发送或存储信息的目的,其将图像处理为数字信号,并且通过利用使用对图像而言唯一的冗余通过正交变换(如离散余弦变换和运动补偿)执行压缩的编码方案来对图像进行压缩编码。例如,存在MPEG(运动图片专家组)、H.264、MPEG-4部分10(高级视频编码,其在下文中被称作AVC)等作为编码方案。
目前,为了相比H.264/AVC进一步提高编码效率,已经由JCTVC(联合合作组-视频编码)创立了被称作HEVC(高效视频编码)的编码方案的标准,JCTVC(联合合作组-视频编码)是与ITU-T和ISO/IEC合作的标准组织。
目前,在HEVC的草案(非专利文献1)中,在“D 2.15色调映射信息SEI消息语法”和“D.3.15色调映射信息SEI消息语义”中,规定:通过使用SEI(补充增强信息)发送tone_mapping_info(色调_映射_信息)作为关于HDR(高动态范围)图像(其是具有高动态范围的图像)的HDR信息。
另外,除了HEVC以外,还已经将tone_mapping_info引入到AVC。
引用列表
非专利文献
非专利文献1:Berijamin Bross等人,“High efficiency video coding(HEVC)text specification draft 10(for FDIS&Last Call)(高效视频编码(HEVC)文本规范草案10(关于FDIS和最后呼叫)),ITU-T SG 16WP3和ISO/IEC JTC 1/SC 29/WG 11的视频编码的联合合作组(JCT-VC),第12次会议,日内瓦,瑞士,2013年1月14至23日(文献:JCTVC-L1003_v34,日期:2013年3月19日)
发明内容
本发明要解决的问题
目前,捕获HDR图像的相机或显示HDR图像的显示器已经普及。在这样的情况下,要求通过便于将HDR信息引入到除了HEVC或AVC格式以外的文件格式或数据格式来增加用户喜爱HDR图像的可能性。
本技术用于增加用户喜爱HDR图像的可能性。
问题的解决方案
根据本技术,提供一种数据生成装置,其包括数据生成单元,该数据生成单元生成包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
根据本技术,提供一种数据生成方法,其包括:生成包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
在根据本技术的数据生成装置和数据生成方法中,生成了包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
根据本技术,提供一种数据再生装置,其包括获取单元,该获取单元从包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据中获取存储在HDR存储元素中的的HDR信息,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
根据本技术,提供一种数据再生方法,其包括从包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据中获取存储在HDR存储元素中的的HDR信息,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
在根据本技术的数据再生装置和数据再生方法中,从包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据中获取存储在HDR存储元素中的的HDR信息,该HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
另外,数据生成装置或数据再生装置可以是独立的装置,或者可以是构成一个装置的内部块。
另外,可以通过经由传输介质发送文件或通过将文件记录在记录介质中来提供标记语言数据。
发明的效果
根据本技术,可以增加用户喜爱HDR图像的可能性。
另外,本文中所描述的效果不一定受限,而可以是本公开内容中所描述的效果中的任何效果。
附图说明
图1是示出了利用本技术的信号处理系统的实施方式的配置示例的图。
图2是示出了由信号处理系统执行的模式-i(mode-i)的信号处理的示例的图。
图3是示出了从当将原版的HDR数据输入到生成装置1时到从再生装置2输出数据时模式-i的信号处理的流程的图。
图4是示出了由信号处理系统执行的模式-ii(mode-ii)的信号处理的示例的图。
图5是示出了从当将原版的HDR数据输入到生成装置1时到从再生装置2输出数据时模式-ii的信号处理的流程的图。
图6是示出了HEVC方案访问单元的配置的图。
图7是示出了根据HEVC方案规定的tone_mapping_info的语法的图。
图8是示出了为其设置每个值作为tone_map_model_id的TMI与转换信息和特征信息之间的关系的图。
图9是示出了作为由具有tone_map_model_id=0作为转换信息的tone_mapping_info表示的转换规则的色调曲线的示例的图。
图10是示出了作为由具有tone_map_model_id=2作为转换信息的TMI表示的转换规则的阶跃函数的示例的图。
图11是示出了作为由具有tone_map_model_id=3作为转换信息的TMI表示的转换规则的折线函数的示例的图
图12是示出了包括在特征信息中的每片信息的示例的图。
图13是示出了MP4文件的影片的示例的图。
图14是示出了MP4文件中的媒体数据(影片)的逻辑布置的示例的图。
图15是示出了MP4文件的数据结构的图。
图16是示出了存储媒体数据的MP4文件的数据结构的示例的图。
图17是示出了分片段的影片的MP4文件的示例和非分片段的影片的MP4文件的示例的图。
图18是描述了DECE(数字娱乐内容生态系统)CFF(通用文件格式)的图。
图19是示出了SMPTE-TT的数据的示例的图。
图20是示出了生成装置1的第一配置示例的框图。
图21是示出了由生成装置1生成的MP4文件的示例的图。
图22是示出了tirf箱的定义的示例的图。
图23是示出了作为vtmi箱的TrackReferenceTypeBox的定义的示例的图。
图24是示出了tirf箱的定义的示例的图。
图25是示出了由生成装置1生成的MP4文件的另一示例的图。
图26是示出了编码处理单元22的配置示例的框图。
图27是示出了用于由转换单元33将HDR数据转换成STD数据的转换处理的示例的图。
图28是示出了色调映射的示例的图。
图29是用于描述由生成装置1执行的文件生成处理的示例的流程图。
图30是用于描述在步骤S2中执行的模式-i的编码处理的示例的流程图。
图31是用于描述在步骤S3中执行的模式-ii的编码处理的示例的流程图。
图32是用于描述在步骤S4中执行的报头信息生成处理的示例的流程图。
图33是示出了再生装置2的第一配置示例的框图。
图34是用于描述由再生装置2执行再生处理的示例的流程图。
图35是用于描述在步骤S43中执行的模式-i的解码处理的示例的流程图。
图36是用于描述在步骤S44中执行的模式-ii的解码处理的示例的流程图。
图37是示出了显示装置3的配置示例的框图。
图38是用于描述由显示装置3执行的显示处理的示例的流程图。
图39是示出了生成装置1的第二配置示例的框图。
图40是由生成装置1生成的第二MP4文件的示例的图。
图41是示出了tinf箱的定义的示例的图。
图42是示出了ToneMapInfo的语法的第一示例的图。
图43是示出了ToneMapInfo的语法的第二示例的图。
图44是示出了ToneMapInfo的语法的第三示例的图。
图45是示出了由生成装置1生成的第二MP4文件的另一示例的图。
图46是示出了编码处理单元122的配置示例的框图。
图47是用于描述由生成装置1生成的文件生成处理的示例的流程图。
图48是用于描述在步骤S112中执行的模式-i的编码处理的示例的流程图。
图49是用于描述在步骤S113中执行的模式-ii的编码处理的示例的流程图。
图50是用于描述在步骤S114中执行的报头信息生成处理的示例的流程图。
图51是示出了再生装置2的第二配置示例的框图。
图52是用于描述由再生装置2执行的再生处理的示例的流程图。
图53是用于描述在步骤S153中执行的模式-i的解码处理的示例的流程图。
图54是用于描述在步骤S154中执行的模式-ii的解码处理的示例的流程图。
图55是示出了生成装置1的第三配置示例的框图。
图56是示出了由生成装置1生成的第三MP4文件的示例的图。
图57是示出了作为tmpi箱的TrackReferenceTypeBox的定义的示例的图。
图58是示出了作为存储在第三MP4文件中所存储的TMI(色调映射路径)的mdat箱中的实际数据的TMI的样本(ToneMapSample)的语法的示例的图。
图59是示出了TMI的样本(ToneMapSample)的数据结构的示例的图。
图60是示出了由生成装置1生成的第三MP4文件的另一示例的图。
图61是示出了编码处理单元202的配置示例的框图。
图62是用于由生成装置1执行的文件生成处理的示例的流程图。
图63是用于描述在步骤S202中执行的模式-i的编码处理的示例的流程图。
图64是用于描述在步骤S203中执行的模式-ii的编码处理的示例的流程图。
图65是用于描述在步骤S204中执行的报头信息生成处理的示例的流程图。
图66是示出了再生装置2的第三配置示例的框图。
图67是用于描述由再生装置2执行的再生处理的示例的流程图。
图68是用于描述在步骤S253中执行的模式-i的解码处理的示例的流程图。
图69是用于描述在步骤S254中执行的模式-ii的解码处理的示例的流程图。
图70是示出了生成装置1的第四配置示例的框图。
图71是示出了编码处理单元302的配置示例的框图。
图72是示出了HDR存储元素的示例的图。
图73是示出了toneMapRef属性的定义的示例和hdrInfoRef属性的定义的示例的图。
图74是示出了新的TT数据的第一示例的图。
图75是示出了新的TT数据的第二示例的图。
图76是示出了新的TT数据的第三示例的图。
图77是示出了新的TT数据的第四示例的图。
图78是用于描述由生成装置1执行的文件生成处理的示例的流程图。
图79是用于描述在步骤S302中执行的模式-i的编码处理的示例的流程图。
图80是用于描述在步骤S303中执行的模式-ii的编码处理的示例的流程图。
图81是示出了再生装置2的第四配置示例的框图。
图82是用于描述在再生装置2中执行的再生处理的示例的流程图。
图83是用于描述在步骤S333中执行的模式-i的编码处理的示例的流程图。
图84是用于描述在步骤S334中执行的模式-ii的编码处理的示例的流程图。
图85是示出了利用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
<利用本技术的信号处理系统的实施方式>
图1是示出了利用本技术的信号处理系统的实施方式的配置示例的图。
图1的信息处理系统被配置成包括生成装置1、再生装置2和显示装置3。再生装置2和显示装置3通过电缆4(如HDMI(注册商标)(高清晰度多媒体接口))互相连接。再生装置2和显示装置3可以通过另一标准的电缆互相连接,而且再生装置2和显示装置3可以通过无线通信互相连接。
生成装置1生成内容的流并且提供该流。再生装置2根据由生成装置1提供的流来对内容进行再生。
生成装置1可以例如不经变化地提供流。另外,生成装置1可以例如以将流存储在预定的包(如IP包)中的状态来提供流,或者可以例如以将流存储在预定的文件(如ISO/IEC 14496-14中规定的MP4文件)中的状态来提供流。
另外,在生成装置1中,可以例如以将流记录在记录介质11(如蓝光(注册商标)盘)中的状态来提供流,或者可以例如以通过传输介质12(如地面波(terrestrial wave)或因特网)发送流的方式来提供流。
在本文中,在生成装置1中,在将流存储在文件中的情况下,除了MP4文件以外,可以将例如ISO/IEC 14496-12中规定的文件(ISO基本媒体文件格式的文件)、ISO/IEC 14496-15中规定的文件、QuickTime格式的文件、具有箱(box)结构的文件或不具有box结构的文件用作存储流的文件。
HDR(高动态范围)图像(其是具有比STD(标准)图像的动态范围更高的动态范围的图像)被输入至生成装置1,STD(标准)图像是具有可以由具有标准亮度的监视器显示的预定的动态范围(亮度范围)的图像。标准亮度为例如100cd/m2(=100nit)。另外,不特定限定STD图像和HDR图像。也就是说,STD图像和HDR图像是仅在动态范围方面互不相同的图像,并且STD图像和HDR图像表示具有如下关系的图像:根据后面描述的转换信息其中的一个图像可以被转换成其中的另一图像。因此,STD图像是仅其动态范围低于(窄于)HDR图像的动态范围的图像,而HDR图像是仅其动态范围高于(宽于)STD图像的动态范围的图像。
在本文中,图像包括视频、图形、背景(背景图像)、字幕或其他可显示的媒体。另外,字幕(多个字幕、隐藏式字幕等)的数据格式可以是文本和图像中的任一种。
例如,将多个视频或多个HDR图像(如一个或更多个视频以及一个或更多个图形)输入至生成装置1。
在下文中,为了简化描述,例如,假定HDR图像中的一个(序列)HDR图像的视频(在下文中,有时被称作为HDR视频)和HDR图像中的一个(序列)图像的字幕(在下文中,有时被称为HDR ST(HDR字幕))被输入至生成装置1。
然而,可以利用任何图像(如视频和图形的组合,视频、图形和字幕的组合,图形和字幕的组合或仅图形)作为被输入至生成装置1的数据。另外,被输入至生成装置1的视频、字幕等的同一类型的媒体的图像不限于一个图像(一个序列),而是可以使用多个图像(序列)。
另外,如果不特别需要区分,则有时将HDR视频和HDR ST共同地称为HDR数据。
另外,有时将HDR视频和HDR ST的动态范围被压缩成可以由具有标准亮度的监视器显示的预定的动态范围的STD图像的视频和ST(字幕)分别称为STD视频和STD ST。
另外,如果不特别需要区分,则有时将STD视频和STD ST共同地称为STD数据。
如果将STD数据的动态范围被视为例如0%至100%,则将HDR数据的动态范围被表示成0%至101%或更大(例如0%至500%、0%至1000%等)的范围。
生成装置1对例如不经变化的原版的输入HDR数据进行编码,并且将编码数据存储在例如MP4文件中。
可替代地,生成装置1将原版的输入HDR数据转换成STD数据,并且执行编码,之后将编码数据存储在例如MP4文件中。
除了存储HDR数据或STD数据以外,MP4文件还存储表示原版的HDR数据的亮度的特征的特征信息和表示将HDR数据和STD数据中的一种数据转换成HDR数据和STD数据中的另一种数据的转换规则的转换信息。
在本文中,例如,可以将其水平×垂直分辨率为4096×2160像素、3840×2160像素等的所谓的4K分辨率视频用作HDR视频和STD视频。
另外,例如,可以将HEVC方案、AVC方案或其他任意方案用作视频编码方案。也就是说,视频编码(解码)方案不限于HEVC方案、AVC方案等。
如果例如根据HEVC方案将表示HDR图像的亮度的特征的特征信息和表示将HDR图像和STD图像中的一种图像转换成HDR图像和STD图像中的另一种图像的转换规则的转换信息视为HDR信息,则将tone_mapping_info规定为HDR信息。另外,根据HEVC方案,规定:以将tone_mapping_info包括在SEI中的状态来发送作为HDR信息的tone_mapping_info。
再生装置2通过电缆4执行与显示装置3的通信,以获取关于显示装置3的显示性能的信息。再生装置2识别显示装置3是为能够显示HDR数据的监视器的HDR监视器还是为能够仅显示STD数据的监视器的STD监视。
另外,再生装置2通过读取记录在记录介质11中的MP4文件来获取MP4文件或通过接收通过传输介质12发送的MP4文件来获取MP4文件,并且对存储在MP4文件中的数据进行再生。
也就是说,再生装置2对为存储在MP4文件中的视频的流的视频流和为ST(字幕)的流的ST流进行解码。
接下来,例如,在通过解码所获得的数据为HDR数据并且显示装置3被配置成包括HDR监视器的情况下,再生装置2将通过解码所获得的HDR数据输出到显示装置3。在这种情况下,再生装置2将存储在MP4文件中的特征信息连同HDR数据一起输出到显示装置3。
另一方面,在通过解码所获得的数据为HDR数据而显示装置3被配置成包括STD监视器的情况下,再生装置2将通过解码所获得的HDR数据转换成STD数据并且输出STD数据。通过使用存储在MP4文件中的转换信息来执行HDR数据到STD数据的转换。
在通过解码所获得的数据为STD数据而显示装置3被配置成包括HDR监视器的情况下,再生装置2将通过解码所获得的STD数据转换成HDR数据并且将HDR数据输出到显示装置3。通过使用存储在MP4文件中的转换信息来执行STD数据到HDR数据的转换。在这种情况下,再生装置2将存储在MP4文件中的特征信息连同HDR数据一起输出到显示装置3。
另外,在通过解码所获得的数据为STD数据并且显示装置3被配置成包括STD监视器的情况下,再生装置2将通过解码所获得的STD数据输出到显示装置3。
显示装置3接收从再生装置2发送的STD数据或HDR数据,并且基于STD数据或HDR数据在监视器上显示与STD数据或HDR数据对应的STD图像或HDR图像。
例如,在发送特征信息的情况下,显示装置3认识到从再生装置2发送的数据以及特征信息为HDR数据。如上所述,将特征信息以及HDR数据发送至被配置成包括HDR监视器的显示装置3。
在这种情况下,显示装置3显示与对应于由特征信息指定的特征的HDR数据对应的HDR图像。也就是说,在包括在显示装置3中的监视器是具有0%至500%的动态范围的监视器并且由特征信息指定HDR数据的动态范围为0%至500%的预定的特征的情况下,显示装置3根据预定的特征来调整在0%至500%的范围内的亮度以显示HDR图像。
通过允许指定原版的HDR数据的亮度的特征,内容的创作者可以以希望的亮度显示图像。
通常,显示装置(如TV(电视机))将外部输入数据识别为具有0%至100%的动态范围的数据。另外,在显示装置的监视器具有比上面提到的动态范围更宽(更高)的动态范围的情况下,显示装置可以自动根据监视器的特性来扩展亮度以显示图像。通过指定亮度的特征和根据所指定的特征来调整HDR数据的亮度,可以防止在显示装置侧执行创作者不希望的亮度调整。
另外,通常,将数据输出到显示装置(如TV)的再生装置根据传输线的特性来转换亮度,之后输出数据。接收数据的显示装置根据监视器的特性来转换所接收的数据的亮度以显示图像。显现装置2不执行亮度的转换,并且将HDR数据不经变化地从再生装置2输出到显示装置3,使得可以减少亮度转换处理的数量,并且可以在显示装置3上显示具有接近于原版的亮度的亮度的图像。
另一方面,在不发送特征信息的情况下,显示装置3认识到从再生装置2发送的数据为STD数据并且显示与STD数据对应的STD图像。如果从再生装置2发送STD数据,则显示装置3表示包括STD监视器的装置。
另外,在生成装置1将音频数据存储在MP4文件中的情况下,再生装置2再生音频数据并且将音频数据发送至显示装置3。显示装置3基于从再生装置2发送的音频数据输出与音频数据对应的声音。
在下文中,以保持动态范围的状态将原版的HDR数据存储在MP4文件中的处理模式被称为模式-i,而将原版的HDR数据转换成STD数据并且将STD数据存储在MP4文件中的处理模式被称为模式-ii。
<模式-i的信号处理>
图2是示出了由图1的信号处理系统执行的模式-i的信号处理的示例的图。
被表示成由实线L1包围的左侧的处理表示由生成装置1执行的编码处理,而被表示成由实线L2包围的右侧的处理表示由再生装置2执行的解码处理。
在输入原版的HDR数据的情况下,如由箭头#1所示,生成装置1检测原版的HDR数据的亮度并且生成特征信息。另外,如由箭头#2-1所示,生成装置1例如根据HEVC方案对原版的HDR视频进行编码以生成编码数据,并且如由箭头#2-2所示,生成装置1对原版的HDR ST进行编码以生成为ST的流的ST流。
如由箭头#3所示,生成装置1将原版的HDR数据转换成STD数据。在监视器(未示出)上显示与通过转换所获得的STD数据对应的STD图像。通过调整转换参数适当地执行HDR数据到STD数据的转换,同时创作者视觉上检查与所转换的STD数据对应的STD图像。
如由箭头#4所示,生成装置1基于由创作者执行的调整来生成转换信息。
转换信息表示将比标准动态范围更宽的0%至400%等的高动态范围内的每个亮度值和为标准动态范围的0%至100%的动态范围内的每个亮度值中的一个亮度值转换成其中的另一亮度值的转换规则,以使得转换信息表示亮度值之间的对应关系。
如由箭头#5所示,生成装置1将特征信息和转换信息作为SEI插入到HDR视频的编码数据中以生成视频流。如由箭头#11所示,生成装置1将所生成的视频流和HDR ST的ST流存储在MP4文件中,并且将MP4文件提供给再生装置2。
以这种方式,将HDR视频和HDR ST的特征信息和转换信息以通过使用SEI将其插入到视频流中的形式提供给再生装置2。
如由箭头#20所示,再生装置2从MP4文件读取ST流,并且对ST流进行解码以生成HDR ST。
另外,如由箭头#21和#22所示,再生装置2从MP4文件读取视频流以从视频流的SEI提取特征信息和转换信息。
另外,如由箭头#23所示,再生装置2根据HEVC方案对包括在视频流中的编码数据进行解码以生成HDR视频流。在显示装置3被配置成包括HDR监视器的情况下,再生装置2如由箭头#24所示将特征信息添加到通过解码所获得的HDR数据,并且如由箭头#25所示将添加有特征信息的HDR数据输出到显示装置3。
另一方面,在显示装置3被配置成包括STD监视器的情况下,如由箭头#26所示,再生装置2通过使用从视频流提取的转换信息将通过解码所获得的HDR数据转换成STD数据。如由箭头#27所示,再生装置2将通过转换所获得的STD数据输出到显示装置3。
以这种方式,通过解码所获得的HDR数据以及特征信息被输出至被配置成包括HDR监视器的显示装置3。可替代地,在将通过解码所获得的HDR数据转换成STD数据之后,将所转换的数据输出至被配置成包括STD监视器的显示装置3。
图3是示出了从将原版的HDR数据输入至生成装置1的时刻到从再生装置2输出数据的时刻模式-i的信号处理的流程的图。
如由白色箭头#51所示,将原版的HDR数据连同由生成装置1基于原版的HDR数据所生成的特征信息和转换信息提供给再生装置2。特征信息包括例如表示动态范围被扩展至0%至400%的范围的信息。
在显示装置3被配置成包括HDR监视器的情况下,在再生装置2中,如由箭头#52和#53所示,将特征信息添加到通过解码所获得的HDR数据。另外,如由箭头#54所示,将添加有特征信息的HDR数据输出到显示装置3。
另一方面,在显示装置3被配置成包括STD监视器的情况下,在再生装置2中,如由箭头#55和#56所示,通过使用转换信息将通过解码所获得的HDR数据转换成STD数据。另外,如由箭头#57所示,将通过转换所获得的STD数据输出到显示装置3。在图3中,表示HDR数据的波形的幅值和表示STD数据的波形的幅值表示相应的动态范围。
以这种方式,在模式-i下,以HDR数据的状态将原版的HDR数据存储在MP4文件中。另外,根据要为输出目的地的显示装置3的性能,选择将通过解码所获得的HDR数据不经变化地添加到要输出的特征信息还是将通过解码所获得的HDR数据转换成要输出的STD数据。
<模式-ii的信号处理>
图4是示出了由图1的信号处理系统执行的模式-ii的信号处理的示例的图。
在输入原版的HDR数据的情况下,如由箭头#71所示,生成装置1检测原版的HDR数据的亮度以生成特征信息。
如由箭头#72所示,生成装置1将原版的HDR数据转换成STD数据。在监视器(未示出)上显示与通过转换所获得的STD数据对应的STD图像。
如由箭头#73所示,生成装置1基于通过创作者的调整来生成转换信息。
另外,如由箭头#74-1所示,生成装置1根据HEVC方案对通过原版的HDR视频的转换所获得的STD视频进行编码以生成编码数据。另外,如由箭头#74-2所示,生成装置1对通过原版的HDR ST的转换所获得的STD ST进行编码以生成ST流。
如由箭头#75所示,生成装置1将特征信息和转换信息作为SEI插入到编码数据中以生成视频流。如由箭头#91所示,生成装置1将所生成的视频流和ST流存储在MP4文件中,并且将视频流和ST流提供给再生装置2。
如由箭头#101和#102所示,再生装置2从MP4文件读取视频流并且从视频流的SEI提取特征信息和转换信息。
另外,再生装置2如由箭头#103-1所示根据HEVC方案对包括在视频流中的编码数据进行解码以生成STD视频,并且如由箭头#103-2所示对ST流进行解码以生成STD ST。在显示装置3被配置成包括STD监视器的情况下,如由箭头#104所示,再生装置2将通过解码所获得的STD数据输出到显示装置3。
另一方面,在显示装置3被配置成包括HDR监视器的情况下,如由箭头#105所示,再生装置2通过使用从视频流提取的转换信息将通过解码所获得的STD数据转换成HDR数据。再生装置2如由箭头#106所示将特征信息添加到通过转换所获得的HDR数据,并且如由箭头#107所示将添加有特征信息的HDR数据输出到显示装置3。
以这种方式,在将通过解码所获得的SRD数据转换成HDR数据之后,将所转换的数据连同特征信息一起输出至包括HDR监视器的显示装置3。
图5是示出了从将原版的HDR数据输入至生成装置1的时刻到从再生装置2输出数据的时刻模式-ii的信号处理的流程的图。
如由白色箭头#121所示,在将原版的HDR数据转换成SRD数据之后,将转换后的数据以及由生成装置1基于原版的HDR数据所生成的特征信息和转换信息一起提供给再生装置2。
在显示装置3被配置成包括HDR监视器的情况下,在再生装置2中,如由箭头#122和#123所示,通过使用转换信息将通过解码所获得的STD数据转换成HDR数据。另外,如由箭头#124和#125所示,将特征信息添加到通过STD数据的转换所获得的HDR数据,如由箭头#126所示,将添加有特征信息的HDR数据输出到显示装置3。
另一方面,在显示装置3被配置成包括STD监视器的情况下,在再生装置2中,如由箭头#127所示,将通过解码所获得的STD数据输出到显示装置3。
以这种方式,在模式-ii下,将原版的HDR数据转换成STD数据,并且将STD数据存储在MP4文件中。另外,根据要为输出目的地的显示装置3的性能,选择将通过解码所获得的STD数据转换成HDR数据并且添加有要输出的特征信息还是不经变化地输出STD数据。
下文将详细描述前述生成装置1和再生装置2的配置和操作。
<HEVC方案中的访问单元的配置>
图6是示出了根据HEVC方案的访问单元的配置的图。
根据HEVC方案的视频流被配置有访问单元,每个访问单元是一组NAL(网络抽象层)单元。一个访问单元包括例如一个图片的视频数据。
如图6中所示,一个访问单元被配置有AU分隔符(访问单元分隔符),VPS(视频参数集合)、SPS(序列参数集合)、PPS(图片参数集合)、SEI、VCL(视频编码层)、EOS(序列结束符)以及EOS(流结束符)。
AU分隔符表示访问单元的开头。VPS包括表示比特流的内容的元数据。SPS包括诸如由HEVC解码器通过序列解码处理需要参照的图片大小和CTB(编码树块)大小的信息。PPS包括由HEVC解码器为了执行图片解码处理需要参照的信息。
SEI是包括每个图片的计时信息或关于随机访问的信息等的辅助信息。根据HEVC方案的视频流可以包括特征信息和转换信息作为为SEI之一的tone_mapping_info。tone_mapping_info被分配有tone_map_id(色调_映射_id)作为识别tone_mapping_info的识别信息。
VCL是一个图片的编码数据。EOS(序列结束符)表示序列的结束位置,而EOS(流结束符)表示流的结束位置。
<tone_mapping_info>
图7是示出了根据HEVC方案规定的tone_mapping_info的语法的图。
根据为图像的输出目的地的监视器的性能通过使用tone_mapping_info对通过解码所获得的图像的亮度或颜色进行转换。另外,图7的左侧中的行号和冒号(:)不构成语法。
在第2行中,tone_map_id是tone_mapping_info的识别信息。在第8行中,tone_map_model_id(色调_映射_模式_id)表示要用于转换的色调映射的模型(转换规则)。
关于tone_mapping_info的语法,tone_map_model_id的值可以为0、1、2、3、4。
tone_map_model_id的值为0、1、2、3中任一个的tone_mapping_info(在下文中,适当地缩写成TMI)对应于转换信息,而tone_map_model_id的值为4的TMI对应于特征信息。
另外,根据HEVC方案,对于作为转换信息的TMI,可以允许tone_map_model_id的值为0、2或3。在实施方式中,假定作为转换信息的TMI的tone_map_model_id的值为0、2、3中的任一个。
生成装置1将HDR信息(即,转换信息和特征信息两者)包括在MP4文件中。因此,在生成装置1中,生成tone_map_model_id的值为0、2、3中的任一个的TMI中的至少一个TMI作为转换信息,并且生成tone_map_model_id的值为4的TMI中的至少一个TMI作为特征信息。
图7中的第9行至第11行是tone_map_model_id=0的描述。在tone_map_model_id=0的情况下,描述min_value和max_value。
图7中的第15行至第17行是tone_map_model_id=2的描述。在tone_map_model_id=2的情况下,描述具有与max_target_data的数量相同的数量且表示阶跃函数的start_of_coded_interval[i]。
图7中的第18行至第23行是tone_map_model_id=3的描述。在tone_map_model_id=3的情况下,描述具有由num_pivots指定的数量且表示折线函数的coded_pivot_value[i]和target_pivot_value[i]。
图7中的第24行至第39行是tone_map_model_id=4的描述。在关于tone_map_model_id=4的信息中,例如,ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value和extended_white_level_code_value是构成特征信息的参数。
图8是示出了每个值被设置作为tone_map_model_id的TMI与转换信息和特征信息之间的关系的图。
如图8中所示,值0、2、3中任一个被设置作为tone_map_model_id的TMI对应于转换信息,而值4被设置作为tone_map_model_id的TMI对应于特征信息。
图9是示出了作为由作为转换信息的具有tone_map_model_id=0的tone_mapping_info表示的转换规则的色调曲线的示例的图。
图9中的水平轴表示coded_data(编码_数据)(转换之前的RGB值),垂直轴表示target_data(目标_数据)(转换之后的RGB值)。在使用图9的色调曲线的情况下,如由白色箭头#151所示,低于值D1的RGB值被转换成由min_value(最小_值)表示的RGB值。另外,如由白色箭头#152所示,等于或高于值D2(>D1)的RGB值被转换成由max_value(最大_值)表示的RGB值。
在使用具有tone_map_model_id=0的TMI的转换中,虽然不存在超过max_value的亮度和低于min_value的亮度(由RGB值表示的亮度),但是转换处理的负荷降低。
图10是示出了作为由作为转换信息的具有tone_map_model_id=2的TMI表示的转换规则的阶跃函数的示例的图。
在使用图10的阶跃函数的情况下,例如,coded_data(编码_数据)=5被转换成target_data(目标_数据)=3。
虽然具有tone_map_model_id=2的TMI具有大的数据量,但是转换处理的负荷降低。
图11是示出了作为由作为转换信息的具有tone_map_model_id=3的TMI表示的转换规则的折线函数的示例的图。
在使用图11的折线函数的情况下,例如,coded_data(编码_数据)=D11被转换成target_data(目标_数据)=D11',并且coded_data(编码_数据)=D12被转换成target_data(目标_数据)=D12'。
图12是示出了包括在特征信息中的每种信息的示例的图。
图12中的水平轴表示亮度值。在位长度为10位的情况下,亮度值的值为0至1023。图12中的垂直轴表示亮度。曲线L11表示亮度值与具有标准亮度的监视器的亮度之间的关系。具有标准亮度的监视器的动态范围为0%至100%。
ref_screen_luminance_white(图7)表示标准监视器的亮度(STD图像的最大亮度)(cd/m2)。extended_range_white_level表示扩展的动态范围的亮度(HDR图像的最大亮度)。在图12的示例的情况下,400被设置为extended_range_white_level的值。
nominal_black_level_code_value表示黑色的亮度值(亮度0%),而nominal_white_level_code_value表示具有标准亮度的白色的亮度值(亮度100%)。extended_white_level_code_value表示白色在扩展的动态范围内的亮度值。
在图12的示例的情况下,如由白色箭头#161所示,根据extended_range_white_level的值,将0%至100%的动态范围扩展至0%至400%的动态范围。另外,由extended_white_level_code_value表示对应于400%的亮度的亮度值。
对于HDR数据的亮度的特征,nominal_black_level_code_value的值、nominal_white_level_code_value的值、extended_white_level_code_value的值分别变成由采用亮度0%、100%、400%的曲线L12表示的特征。
以这种方式,值4被设置作为tone_map_model_id的TMI表示原版的HDR数据的亮度的特征。
<MP4文件>
图13是示出了MP4文件的影片的示例的图。
在本文中,在ISO/IEC(标准国际组织/国际电工委员会)14496-12中规定MP4文件的细节。
在MP4文件中,将一组媒体数据(如作为再生对象的视频、音频或ST(字幕))称作影片,并且影片被配置有一个或更多个路径。
作为再生对象的视频、ST等中的独立的一种的媒体数据(数据流(例如,es(基本流)))可以构成一个路径,并且包括在影片中的一个或更多个路径可以被同时再生。
在图13中,影片被配置有三个路径#1、#2、#3。另外,路径#1被配置有视频的数据流;路径#2被配置有伴随视频的一通道音频的数据流;以及路径#3被配置有与视频叠加的一通道ST的数据流。
每个路径的媒体数据被配置有样本。
在访问MP4文件中的媒体数据的情况下,样本表示第一单元(访问单元)。因此,不可以以比样本更详细的单元访问MP4文件中的媒体数据。
对于视频的媒体数据,例如,1个帧(或1个字段)等变成1个样本。另外,对于音频的媒体,例如,由音频的媒体数据的标准定义的1个音频帧等变成1个样本。
图14是示出了媒体数据(影片)在MP4文件中的逻辑布置的示例的图。
以单元来布置媒体数据,每个单元被称作组块。
在多种数据,即,例如视频的数据流、音频的数据流和ST的数据流的三种数据流作为影片的媒体数据而存在的情况下,以以组块为单位交织多种数据的状态来布置多种媒体数据。
在本文中,组块是被布置在逻辑上连续的地址处的一个或更多个样本的集合。
图15是示出了MP4文件的数据结构的图。
MP4文件被配置成以被称作存储数据的容器的箱(box)为单位,并且具有称作box结构的结构。
box包括4字节的‘大小’(box大小)、4字节的‘类型’(box类型)和实际数据(data)。
‘大小’表示整个box的大小,而‘类型’表示box中的实际数据的类型。
例如,可以利用上述媒体数据本身和其他box的数据作为实际数据。
也就是说,box可以包括作为实际数据的box。因此,可以构造层级结构。
图16是示出了存储在媒体数据中的MP4文件的数据结构的示例的图。
在图16中,MP4文件被配置有ftyp box(文件类型兼容(File TypeCompatibility)Box)、moov box(影片(Movie)Box)和mdat box(媒体数据(Media Data)Box)。
ftyp box包括文件格式的信息,即,例如文件为MP4文件的信息、box的版本、产生MP4文件的制造商的名称等。
moov box包括元数据如时间轴或用于管理媒体数据的地址。
mdat box包括媒体数据(AV数据)。
图17是示出了分片段的影片的MP4文件的示例和非分片段的影片的MP4文件的示例的图。
分片段的影片的MP4文件被配置成包括moov box(影片box)(MovieBox)、moof box(影片分段box)(MovieFragmentBox)、mdat box(媒体数据box)(MediaDataBox)。
非分片段的MP4文件被配置成包括moov box和mdat box。
在本文中,在图17中,moov box包括trak box(路径box)(TrackBox),moof box包括traf box(路径分段box)(TrackFragmentBox)。
在moov box和moof box中存储对存储在mdat box中的视频、音频、ST等的媒体数据(实际数据)进行再生所需要的信息(例如,显示时间等)。
在trak box和traf box中存储路径的数据(视频、音频、ST等的数据)中的每种的独立数据序列信息(例如,显示大小等)等。
在mdat box中存储媒体数据(实际数据),如视频、音频和ST。
moof box和mdat box的集合被称作片段。分片段的影片的MP4文件被配置有moov box以及一个或更多个片段,并且适于以流的方式传递。
另一方面,非分片段的影片的MP4文件不具有片段,从而如上所述,MP4文件包括moov box和mdat box。
图18是用于描述DECE(数字娱乐内容生态系统)CFF(通用文件格式)的图。
DECE CFF是基于MP4文件且由DECE规定的文件格式,并且利用分片段的影片的MP4文件。
在分片段的影片的MP4文件中,可以将多种es(基本流)存储在一个片段的mdat box中。然而,在DECE CFF中,将一个es存储在一个片段的mdat box中。
另外,在DECE CFF中,限制可以在MP4文件中被复用的es。
在DECE CFF中,具有例如AVC音频:MPEG4(运动图像专家组)-ACC(高级音频编码)和杜比AC-3作为可以在分片段的影片中被复用的音频的es;并且具有例如SMPTE(电影电视工程师协会)-TT(定时文本)作为ST(字幕)的es。
图19是示出了SMPTE-TT的ST的数据的示例的图。
SMPTE-TT是如下标准:将PNG显示函数添加到具有由W3C标准化的XML(可扩展标记语言)的规范并且规定向XML提供时间概念的ST的数据格式的TTML(定时文本标记语言)。
根据图19的SMPTE-TT的数据(文档),例如,在元素1001中,在从时间“00:00:05:05”到时间“00:00:10:05”的时间间隔中显示文本“subtitle#1is presented(呈现字幕#1)”作为ST。
另外,例如,在元素1002中,在从时间“00:00:10:05”到时间“00:00:15:05”的时间间隔中显示文本“subtitle#2is presented(呈现字幕#2)”作为ST。
在实施方式中,虽然利用SMPTE-TT作为ST的数据(格式),但是除了XML以外,还可以利用例如除了HTML(超文本标记语言)以外的标记语言的格式或其他任意格式作为ST的数据。
<生成装置1的第一配置示例>
图20是示出了图1的生成装置1的第一配置示例的框图。
在图20中,生成装置1被配置成包括控制器21、编码处理单元22和文件生成单元23。
在图20的生成装置1中,原版的HDR数据被输入至编码处理单元22。
控制器21被配置成包括CPU(中央处理单元)、ROM(随机存取存储器)等。控制器21通过执行预定的程序来控制生成装置1的整体操作。
在控制器21中,执行预定的程序,以使得实现报头信息生成单元21A。
报头信息生成单元21A生成moof box和moov box作为报头信息,并且将该报头信息提供给文件生成单元23,moof box包括存储由编码处理单元22提供作为tone_mapping_info_id_ref的tone_map_id的tirf box(ToneMappingInformationReferenceBox),moov box包括vtmi box(reference_type是“vtmi”的TrackReferenceTypeBox)。
可替代地,报头信息生成单元21A生成tirf box和moov box作为报头信息,并且将报头信息提供给文件生成单元23,tirf box存储由编码处理单元22提供作为tone_mapping_info_id_ref的tone_map_id,moov box包括vtmi box。
下文将描述tirf box和vtmi box。
编码处理单元22通过对原版的HDR数据进行编码来生成视频流和ST流,并且将视频流和ST流输出至文件生成单元23。
另外,编码处理单元22将要被应用于视频或ST的TMI(tone_mapping_info)的tone_map_id提供给控制器21(其报头信息生成单元21A)。
文件生成单元23生成存储由控制器21(其报头信息生成单元21A)提供的报头信息以及由编码处理单元22提供的视频流和ST流的MP4文件,并且输出MP4文件。
图21是示出了由图1的生成装置1生成的MP4文件的示例的图。
图21的MP4文件是包括片段的分片段的影片的MP4文件,并且moovbox包括视频的trak box、音频的trak box以及ST的trak box。
因此,图21的MP4文件被配置成包括视频的路径、音频的路径以及ST的路径。
在本文中,存储在MP4文件中的视频流是通过例如根据HEVC方案对视频进行编码所获得的流,并且如果视频流是包括TMI的流,则TMI被包括在视频的路径中。
可以将图21的MP4文件(下文将描述的图25的MP4文件相同)应用于以下情况:将包括TMI(包括相同的HDR信息(特征信息和转换信息)作为TMI)的视频流(如除了根据HEVC方案被编码的视频流以外的根据例如AVC方案被编码的视频流)存储在MP4文件中。
图20的生成装置1通过参照包括在视频的路径中的TMI根据例如除了视频的路径以外的ST的路径来生成可以有用地应用于ST的路径的MP4文件。
因此,moov box的ST(字幕)的trak box包括tref box(TrackReferenceBox),tref box包括vtmi box。
tref box可以包括TrackReferenceTypeBox,然而vtmi box是最新被定义为一种TrackReferenceTypeBox的box。
现在,如果将包括vtmi box的ST的路径视为感兴趣的目标路径,则将包括要被应用于目标路径的TMI(HDR信息)的路径的track_id(下述表示track_id的track_IDs[])(即,在本文中,视频的路径)作为指定视频的路径的路径指定信息存储在vtmi box中,vtmi box包括在作为目标路径的ST的路径中。
因此,被称作包括要被应用于目标路径的TMI的路径的参考路径可以由存储在vtmi box中的track_id识别,vtmi box包括在作为目标路径的ST的路径中。
另外,如果将包括TMI的视频的路径视为目标路径,则作为目标路径的视频的路径变成被称作包括要被应用于视频的路径的TMI的路径。
以这种方式,在目标路径是包括要被应用于目标路径的TMI的参考路径的情况下,对于目标路径,可以省略将包括存储参考路径的track_id的vtmi box的tref box存储在moov box的目标box的trak box中。
在这种情况下,在包括vtmi box的tref box不存在于moov box的目标box的trak box中的情况下,可以认识到目标路径是参考路径。
在图21中,包括vtmi box的tref box未存储在moov box的视频的trakbox中,因此,对于视频的路径,将视频的路径识别为参考路径。
在本文中,甚至在目标路径是包括要被应用于目标路径的TMI的参考路径的情况下,包括存储参考路径的track_id的vtmi box的tref box可以被存储在moov box的目标box的trak box中。
也就是说,例如,在图21中,对于视频的路径,类似于ST的路径,包括存储视频的路径的track_id作为参考路径的vtmi box的tref box可以被存储在moov box的目标box的trak box中。
另外,通过确定预先变成参考路径的路径的track_id,可以省略包括vtmi box的tref box。
在图21的MP4文件中,视频和ST的每个路径的moof box包括trafbox,traf box包括存储将tone_map_id表示为指定要被应用于路径的TMI的HDR指定信息的tone_mapping_info_id_ref的tirf box。
通过参照存储在目标box的tirf box中的tone_mapping_info_id_ref,将具有由tone_mapping_info_id_ref表示的tone_map_id的TMI识别为要被应用于目标路径的TMI。
另外,分片段的影片的MP4文件包括每个片段的moof box。具有由存储在片段的moof box中包括的tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI中的有效TMI被应用于某些片段的数据。
有效TMI是例如完成其解码(所需要的)的TMI中的最新的TMI。
如图21中所示,在分片段的影片的MP4文件中,将存储表示要被应用于视频的路径的TMI的tone_map_id的tone_mapping_info_id_ref的tirf box B#2存储在traf box中,traf box包括在包括TMI的视频的路径的moof box中。
另外,对于参照包括在视频的路径中的TMI的ST的路径,将存储视频的路径的track_id作为参考路径的vtmi box B#1存储在moov box的ST(字幕)的路径的trak box的tref box中。
另外,对于ST的路径,将存储表示要被应用于ST的路径的TMI(TMI包括在作为参考路径的视频的路径中)的tone_map_id的tone_mapping_info_id_ref的tirf box B#3存储在traf box中,traf box包括在ST的路径中的moof box中。
因此,根据图21的MP4文件,例如,如果视频的路径被视为目标路径,则由于moov box的视频的trak box不包括包括vtmi box的tref box,所以可以认识到:为目标路径的视频的路径是包括要被应用于视频的路径的TMI的参考路径。
另外,可以认识到:包括在参考路径中的TMI中的具有由存储在为目标路径的视频的路径的moof/tarf/tirf box B#2(tirf box包括在traf box中,traf box包括在moof box中)中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,根据图21的MP4文件,例如,如果ST的路径被视为目标路径,则可以由存储在moov box的ST的trak/tref/vtmi box B#1(vtmi box包括在tref box,tref box包括在trak box中)中的track_id认识到:视频的路径是包括要被应用于ST的路径的TMI的的参考路径。
另外,可以认识到:包括在参考路径中的TMI中的具有由存储在为目标路径的ST的路径的moof/traf/tirf box B#3中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
图22是示出了tref box的定义的图。
如参照图21所述,tref box可以包括TrackReferenceTypeBox。
对于TrackReferenceTypeBox,TrackReferenceTypeBox的reference_type可以任意地被定义成根据TrackReferenceTypeBox的用途被使用。
在该实施方式中,“vtmi”最新被定义为表示TrackReferenceTypeBox要用于存储包括TMI的视频的路径的track_id的reference_type,并且reference_type变成“vtmi”的TrackReferenceTypeBox用作存储包括TMI的视频的路径的track_id的vtmi box。
图23是示出了作为vtmi box的TrackReferenceTypeBox的定义的示例的图。
vtmi box包括(存储)表示track_id的track_IDs[]。
track_IDs[]是阵列变量并且可以存储多个track_id。因此,根据vtmibox,可以将多个路径指定为包括要被应用于ST的路径的TMI的路径。
图24是示出了tirf box的定义的示例的图。
tirf box(色调映射信息参考box)(ToneMappingInformationReferenceBox)是最新被定义为存储表示要被应用于包括tirf box的路径的TMI的tone_map_id的tone_mapping_info_id_ref的box,并且tirf box被存储在trak box(其中存储stbl box(样本表格box))或traf box中。
在图24中,sample_count等于存储在stsz box、stz2box或trun box中的sample_count,并且表示样本的数量。
在图24中,对于每个样本,可以存储在tirf box中的tone_mapping_info_id_ref的数量仅是number_of_tone_mapping_info_id_ref。
因此,根据tirf box,对于一个样本,可以被指定为要被应用于一个样本的具有由tone_mapping_info_id_ref表示的tone_map_id的TMI的数量仅是number_of_tone_mapping_info_id_ref。
图25是示出了由图20的生成装置1生成的MP4文件的另一示例的图。
图25的MP4文件是不包括任何片段的非分片段的影片的MP4文件,并且moov box包括视频的trak box、音频的trak box以及ST的trak box。
因此,图25的MP4文件被配置成包括视频的路径、音频的路径以及ST的路径。
类似于图21,在图25中,视频的路径还包括TMI,并且包括在视频的路径中的TMI可以应用于例如除了视频的路径以外的ST的路径。
也就是说,在非分片段的影片的MP4文件中,如图25所示,存储表示要被应用于视频的路径的TMI的tone_map_id的tone_mapping_info_id_ref的tirf box B#11被存储在stbl box中,stbl box被包括在包括moov box的TMI的视频的路径的trak box中。
另外,对于ST的路径,参考包括在视频的路径中的TMI,存储表示作为参考路径的视频的路径的track_id的track_IDs[](图23)的vtmi boxB#12被存储在tref box中,tref box被包括在moov box的ST的路径的trakbox中。
另外,对于ST的路径,存储表示要被应用于ST的路径的TMI(TMI包括在作为参考路径的视频的路径中)的tone_map_id的tone_mapping_info_id_ref的tirf box B#13被存储在stbl box中,stbl box被包括在moov box的ST的路径的trak box中。
因此,根据图25的MP4文件,如果视频的路径被视为目标路径,则由于moov box的视频的trak box不包括包括vtmi box的tref box,因此可以认识到为要被应用于目标路径的TMI的视频的路径是包括视频的路径的参考路径。
另外,由于moov box的视频的trak/stbl box(stbl box被包括在trakbox中)包括tirf box B#11,因此可以认识到被包括在参考box(在本文中,视频的路径)中的TMI中的具有由存储在视频的trak/stbl/tirf box B#11(tirf box包括在stbl box中,stbl box包括在trak box中)中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,在图25中,例如,如果ST的路径被视为目标路径,则由于存在moov box的ST的trak/tref/vtmi box B#12,所以可以由被包括在trak/tref/vtmi box B#12中的track_id认识到:视频的路径是包括要被应用于ST的路径的TMI的参考路径。
另外,由于存在为moov box的目标box的ST的路径的tark/stbl/tirfbox B#13,则可以认识到:包括在参考路径中的TMI中的具有由存储在为目标路径的ST的路径的tark/stbl/tirf box B#13中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,在非分片段的影片的MP4文件中,具有由存储在目标路径的tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI中的有效TMI被应用于目标路径。
如上所述,有效TMI是例如完成其解码(所需要的)的TMI中的最新的TMI。
如上所述,在图20的生成装置1中,由于生成了存储包括作为HDR信息的TMI的视频的路径以及包括作为执行要被应用于包括在视频的路径中的TMI中的ST的路径的TMI的HDR指定信息的tone_mapping_info_id_ref的ST的路径的MP4文件,所以可以将包括在视频的路径中的TMI转用于ST,以使得不需要单独将TMI添加到ST。
因此,在不单独将TMI添加到ST的情况下,可以将包括具有存储在例如蓝光(注册商标)盘中的m2ts格式的TMI以及与视频一起被再生的ST的视频转换成MP4文件。
因此,便于TMI到MP4文件的引入,从而使得可以增加用户喜爱HDR图像如HDR视频或HDR ST的可能性。
<编码处理单元22的配置示例>
图26是示出了图20的编码处理单元22的配置示例的框图。
编码处理单元22被配置成包括特征信息生成单元31、编码器32、转换单元33、转换信息生成单元34、编码器35以及流生成单元36。
特征信息生成单元31检测输入到编码处理单元22的原版的HDR数据的亮度,以生成TMI(tone_mapping_info)作为包括参照图12所描述的信息的特征信息。特征信息生成单元31将所生成的TMI作为特征信息提供给流生成单元36。
另外,特征信息生成单元31检测例如原版的HDR数据中的HDR视频的亮度以生成TMI作为视频(HDR视频)的特征信息。另外,例如,对于HDR ST,特征信息生成单元31将作为与原版的HDR数据中的HDRST同时显示的HDR视频的特征信息的TMI用作作为ST(HDR ST)的特征信息的TMI。
在处理模式为模式-i的情况下,编码器32例如根据HEVC方案对原版的输入HDR视频进行编码。另外,在处理模式是模式-ii的情况下,编码器32根据HEVC方案对由转换单元33提供的STD视频进行编码。编码器32将HDR视频的编码数据或STD视频的编码数据提供给流生成单元36。另外,视频编码方案不限于HEVC方案。
转换单元33将输入到编码处理单元22的原版的HDR数据转换成STD数据。根据由创作者输入的转换参数适当地执行通过转换单元33的转换。转换单元33将表示输入数据与输出数据之间的关系的信息输出至转换信息生成单元34,其中,将HDR数据的RGB信号设置成输入数据,而将STD数据的RGB信号设置成输出数据。
另外,在处理模式是模式-ii的情况下,转换单元33将通过HDR视频的转换所获得的STD视频提供给编码器32,并且将通过HDR ST的转换所获得的STD ST提供给编码器35。
转换信息生成单元34基于由转换单元33提供的信息来生成TMI作为转换信息。
例如,在使用tone_map_model_id=0的情况下,转换信息生成单元34生成包括图9的min_value和max_value的值的TMI(tone_mapping_info)作为转换信息。
另外,在使用tone_map_model_id=2的情况下,转换信息生成单元34生成包括图10的start_of_coded_interval[i]的TMI作为转换信息。
另外,在使用tone_map_model_id=3的情况下,转换信息生成单元34生成包括由图11的num_pivots指定的数量的coded_pivot_value[i]和target_pivot_value[i]的TMI作为转换信息。
另外,例如,转换信息生成单元34对于视频生成TMI作为转换信息,而对于ST将作为与ST一起同时显示的值的转换信息的TMI用作作为ST的转换信息的TMI。
在处理模式是模式-i的情况下,编码器35将输入至编码处理单元22的原版的HDR ST编码成具有SMPTE-TT格式的ST的数据。另外,在处理模式是模式-ii的情况下,编码器35将由转换单元33提供的STD ST编码成具有SMPTE-TT格式的ST的数据。编码器35将作为编码的结果而获得的ST的数据提供给流生成单元36。
流生成单元36将由特征信息生成单元31提供作为视频和ST的特征信息的TMI的tone_map_id提供给控制器21(图20)。
另外,流生成单元36将由转换信息生成单元34提供作为视频和ST的转换信息的TMI的tone_map_id提供给控制器21。
另外,流生成单元36将视频的TMI(也是ST的TMI)作为SEI插入由编码器32提供的视频的编码数据中以生成视频流。
另外,流生成单元36将由编码器35提供的ST的数据作为ST流连同视频流提供给图20的文件生成单元23。
图27是示出了通过图26的转换单元33将HDR数据转换成STD数据的转换处理的示例的图。
如由箭头#201所示,转换单元33将输入至编码处理单元22的原版的HDR数据的YCrCb信号转换成RGB(红、绿、蓝)信号,并且执行将RGB的相应信号作为转换对象转换(色调映射)成STD数据的RGB的相应信号。
转换单元33将表示为输入数据的HDR数据的RGB信号与为输出数据的STD数据的RGB信号之间的关系的信息输出至转换信息生成单元34。如由箭头#202所示,输出至转换信息生成单元34的信息用于生成转换信息。
另外,如由箭头#203所示,转换单元33将STD数据的RGB信号转换成YCrCb信号并且输出YCrCb信号。
图28是示出了色调映射的示例的图。
例如,如图28中所示,通过对高亮度分量进行压缩以扩展中间范围或低范围亮度分量来将HDR数据的RGB信号转换成STD数据的RGB信号。转换信息生成单元34生成与将图28中示出的HDR数据的RGB信号与STD数据的RGB信号映射的函数F对应的信息作为转换信息。
另外,与图28中示出的函数F对应的转换信息对应于具有用参照图11所描述的折线函数表示coded_data与target_data之间的关系的tone_map_model_id=3的TMI。
<生成装置1的第一生成处理>
图29是用于描述由图20的生成装置1执行的文件生成处理的示例的流程图。
如果将原版的HDR数据输入至生成装置1,则在步骤S1中,生成装置1的控制器21确定处理模式是否是模式-i。处理模式由例如创作者来设置。
在在步骤S1中确定处理模式是模式-i的情况下,该过程进行至步骤S2,编码处理单元22执行模式-i的编码处理。将通过模式-i的编码处理所生成的视频流和ST流从编码处理单元22提供给文件生成单元23。
另一方面,在在步骤S1中确定处理模式是模式-ii的情况下,该过程进行至步骤S3,编码处理单元22执行模式-ii的编码处理。将通过模式-ii的编码处理所生成的视频流和ST流从编码处理单元22提供给文件生成单元23。
在步骤S2或S3之后,该过程进行至步骤S4,报头信息生成单元21A执行报头信息生成处理。将在报头信息生成处理中所生成的报头信息从报头信息生成单元21A提供给文件生成单元23,然后该过程进行至步骤S5。
在步骤S5中,文件生成单元23生成和输出图21或图25的、存储由编码处理单元22提供的视频流和ST流以及由报头信息生成单元21A提供的报头信息的MP4文件,然后文件生成处理结束。
图30是用于描述在图29的步骤S2中执行的模式-i的编码处理的示例的流程图。
在步骤S11中,编码处理单元22(图26)的特征信息生成单元31检测原版的HDR数据的亮度以生成TMI作为视频和ST的特征信息,并且将该TMI提供给流生成单元36,然后该过程进行至步骤S12。
在步骤S12中,编码器32根据HEVC方案对原版的HDR视频进行编码以生成HDR视频的编码数据,并且将该编码数据提供给流生成单元36,然后该过程进行至步骤S13。另外,视频编码方案不限于HEVC方案。
在步骤S13中,编码器35对原版的HDR ST进行编码以生成具有SMPTE-TT格式的ST的数据,并且将ST的数据提供至流生成单元36,然后该过程进行至步骤S14。
在步骤S14中,转换单元33将原版的输入HDR数据转换成STD数据,并且将表示输入数据与输出数据之间的关系的信息提供给转换信息生成单元34,其中,HDR数据的RGB信号是输入数据,STD数据的RGB信号是输出数据。
之后,该过程从步骤S14进行至步骤S15,转换信息生成单元34基于从转换单元33提供的信息来生成TMI作为视频和ST的转换信息,并且将该TMI提供给流生成单元36。该过程进行至步骤S16。
在步骤S16中,流生成单元36将由特征信息生成单元31提供作为特征信息的TMI和由转换信息生成单元34提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中,以生成视频流。
接下来,流生成单元36将由编码器35提供的ST的数据连同视频流一起提供给文件生成单元23(图20)。
另外,流生成单元36将视频的TMI(要被应用于视频的TMI)的tone_map_id和视频的TMI(要被应用于ST的TMI)的tone_map_id提供给控制器21(图20),然后模式-i的编码处理结束(返回)。
图31是用于描述在图29的步骤S3中执行的模式-ii的编码处理的示例的流程图。
在步骤S21中,编码处理单元22的特征信息生成单元31检测原版的HDR数据的亮度以生成TMI作为视频和ST的特征信息,并且将该TMI提供给流生成单元36。
之后,在步骤S22中,转换单元33将原版的输入HDR数据转换成STD数据,并且转换单元33将STD数据中的STD视频提供给编码器32而将STD ST提供给编码器35。
另外,转换单元33将表示输入数据与输出数据之间的关系的信息提供给转换信息生成单元34,其中,HDR数据的RGB信号是输入数据,STD数据的RGB信号是输出数据,然后该过程从步骤S22进行至步骤S23。
在步骤S23中,转换信息生成单元34基于由转换单元33提供的信息来生成TMI作为视频和ST的转换信息,并且将该TMI提供给流生成单元36,然后该过程进行至步骤S24。
在步骤S24中,编码器32根据HEVC方案对从转换单元33提供的STD视频进行编码以生成STD视频的编码数据,并且将该编码数据提供给流生成单元36。另外,视频编码方案不限于HEVC方案。
之后,在步骤S25中,编码器25对由转换单元33提供的STD ST进行编码以生成具有SMPTE-TT格式的ST的数据,并且将ST的数据提供给流生成单元36。
接下来,在步骤S26中,流生成单元36将由特征信息生成单元31提供作为特征信息的TMI和由转换信息生成单元34提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中,以生成视频流。
另外,流生成单元36将由编码器35提供的ST的数据作为ST流连同视频流一起提供给文件生成单元23(图20)。
另外,流生成单元36将视频的TMI的tone_map_id和ST的TMI的tone_map_id提供给控制器21(图20),然后模式-ii的编码处理结束(返回)。
图32是用于描述在图29的步骤S4中执行的报头信息生成处理的示例的流程图。
在步骤S31中,控制器21(图20)的报头信息生成单元21A生成tirfbox(图21、图24、图25),tirf box(图21、图24、图25)存储表示由编码处理单元22(其流生成单元36(图26))提供的视频的TMI(要被应用于视频的TMI)的tone_map_id的tone_mapping_info_id_ref。
另外,报头信息生成单元21A生成tirf box(图21、图24、图25),tirf box(图21、图24、图25)存储表示由编码处理单元22提供的ST的TMI(要被应用于ST的TMI)的tone_map_id的tone_mapping_info_id_ref。
另外,报头信息生成单元21A生成vtmi box(图21、图23、图25),vtmi box(图21、图23、图25)存储表示包括要被应用于ST的TMI的视频流的路径的track_id的track_IDs[],然后该过程从步骤S31进行至步骤S32。
在步骤S32中,报头信息生成单元21A产生包括vtmi box的moov box以及包括tirf box的moof box或产生包括vtmi box和tirf box的moov box,并且将所产生的box作为报头信息提供给文件生成单元23(图20),然后报头信息生成处理结束。
也就是说,在文件生成单元23中,在生成分片段的影片的MP4文件的情况下,如图21中所示,报头信息生成单元21A生成在ST的路径的trak/tref box中包括vtmi box的moov box。
另外,如图21中所示,报头信息生成单元21A生成在视频的路径的traf box中包括tirf box的moof box以及在ST的路径的traf box中包括tirf box的moof box。
另一方面,在文件生成单元23中,在生成非分片段的影片的MP4文件的情况下,如图25中所示,报头信息生成单元21A生成包括如下内容的moov box:在视频的路径的trak box中包括的stbl box中的tirf box,在ST的路径的trak/tref box中的vtmi box,以及在ST的路径的trak box中包括的stbl box中的tirf box。
<再生装置2的第一配置示例>
图33是示出了图1的再生装置2的第一配置示例的框图。
在图33中,再生装置2被配置成包括文件获取单元51、分解单元52、操纵输入单元53、控制器54、解码处理单元55和组合输出单元56。
文件获取单元51从记录介质11或传输介质12(图1)获取MP4文件,并且将该MP4文件提供给分解单元52。
分解单元52从由文件获取单元51提供的MP4文件提取(获取)moovbox或moof box作为报头信息,并且将moov box或moof box提供给控制器54。
另外,分解单元52从由文件获取单元51提供的MP4文件提取(获取)视频流或ST流作为存储在mdat box中的实际数据,并且将视频流或ST流提供给解码处理单元55。
操纵输入单元53被配置有接收信号(如从诸如按钮、键盘或触摸板或预定的遥控器的输入装置发送的红外信号)的接收单元以接收用户的操纵。接下来,操纵输入单元53将与用户的操纵对应的操作信号提供给控制器54。
控制器54被配置成包括CPU、ROM、RAM等。控制器54通过执行预定的程序来控制再生装置2的整体操作。
例如,控制器54将存储在由分解单元52提供的moov box中包括的vtmi box中的track_IDs[](图21、图23、图25)以及存储在tirf box中的tone_mapping_info_id_ref(图21、图24、图25)提供给解码处理单元55。另外,例如,控制器54将存储在由分解单元52提供的moof box中包括的tirf box中的tone_mapping_info_id_ref提供给解码处理单元55。
解码处理单元55被配置成包括解码器55A和解码器55B。
解码器55A用作将视频的路径识别为参考路径(被称作包括要应用的TMI的路径的路径)的获取单元,并且从由分解单元52提供的视频的路径的视频流的SEI获取作为特征信息和转换信息的TMI(tone_mapping_info)作为包括在参考路径中的TMI。
另外,解码器55A根据HEVC方案对包括在由分解单元52提供的视频流中的编码数据进行解码。
另外,解码器55A从包括在作为参考路径的视频的路径中的TMI中获取具有由存储在视频的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
接下来,如果需要,解码器55A基于要被应用于视频的TMI作为转换信息将作为解码的结果而获得的HDR视频或STD视频转换成STD视频或HDR视频,并且将STD视频或HDR视频输出至组合输出单元56。
在输出HDR视频的情况下,解码器55A将作为特征信息要被应用于视频的TMI连同HDR视频一起输出至组合输出单元56。
解码器55B对由分解单元52提供的ST流进行解码。
另外,解码器55B用作将具有由存储在ST的路径的vtmi box中且由控制器54提供的track_IDs[]表示的track_id的路径(即,在该实施方式中,视频的路径)识别为参考路径的获取单元,并且获取包括在参考路径中的TMI。
更具体地,解码器55B从作为参考路径的视频的路径的视频流的SEI获取由分解单元52提供作为特征信息和转换信息的TMI作为包括在参考路径中的TMI。
另外,解码器55B从包括在作为参考路径的视频的路径中的TMI中获取具有由存储在ST的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
接下来,如果需要,解码器55B基于作为转换信息要被应用于ST的TMI将作为解码的结果而获得的HDR ST或STD ST转换成STD ST或HDR ST,并且将STD ST或HDR ST输出至组合输出单元56。
在解码器55B输出HDR ST的情况下,解码器55B将作为特征信息要被应用于ST的TMI连同HDR ST一起输出至组合输出单元56。
组合输出单元56通过电缆4(图1)执行与显示装置3的通信。例如,组合输出单元56获取关于包括在显示装置3的监视器的性能的信息,并且将该信息输出至控制器54。
另外,组合输出单元56将由解码器55A提供的HDR视频或STD视频以及由解码器55B提供的HDR ST或STD ST(在其组合(如果需要)之后)输出到显示装置3。
另外,组合输出单元56将由解码器55A和解码器55B提供的TMI作为特征信息输出到显示装置3。
<再生装置2的再生处理>
图34是用于描述由图33的再生装置2执行的再生处理的示例的流程图。
另外,假定:在再生装置2中,在开始再生处理之前,控制器54控制组合输出单元56与显示装置3通信以获取例如EDID(扩展显示识别数据)作为表示显示装置3的性能的信息。
在步骤S41中,文件获取单元51获取由生成装置1生成的MP4文件,并且将该MP4文件提供给分解单元52。
分解单元52从由文件获取单元51提供的MP4文件读取moov box或moof box作为报头信息,并且读取视频流或ST流作为存储在mdat box中的实际数据。
接下来,分解单元52将moov box或moof box作为报头信息提供给控制器54,并且将视频流或ST流提供给解码处理单元55。
另外,控制器54将存储在由分解单元52提供的moov box中包括的vtmi box中的track_IDs[]以及存储在tirf box中的tone_mapping_info_id_ref提供给解码处理单元55。另外,控制器54将存储在由分解单元52提供的moof box中包括的tirf box中的tone_mapping_info_id_ref提供给解码处理单元55。
之后,该过程从步骤S41进行至步骤S42,控制器54确定由文件获取单元51获取的MP4文件的处理模式是模式-i还是模式-ii,即,由文件获取单元51获取的MP4文件是通过模式-i的编码处理所获得的文件还是通过模式-ii的编码处理所获得的文件。
在本文中,允许表示MP4文件的处理模式的信息作为报头信息被包括在moov box中,并且可以例如基于该信息执行在步骤S42中通过控制器54确定处理模式。
在在步骤S42中确定处理模式是模式-i的情况下,该过程进行至步骤S43,并且解码处理单元55执行模式-i的解码处理。
另一方面,在在步骤S42中确定处理模式是模式-ii的情况下,该过程进行至步骤S44,并且解码处理单元55执行模式-ii的解码处理。
在在步骤S43或步骤S44中执行解码处理之后,结束再生处理。
图35是用于描述图34的步骤S43中的模式-i的解码处理的流程图。
在步骤S61中,解码器55A将视频的路径识别为参考路径,并且从由分解单元52提供的视频的路径的视频流的SEI获取作为特征信息和转换信息的TMI作为包括在参考路径中的TMI。
另外,在步骤S61中,解码器55B将为具有由存储在ST的路径的vtmibox中且由控制器54提供的track_IDs[]表示的track_id的路径(由作为路径指定信息的track_IDs[]指定的路径)的视频的路径识别为参考路径,并且获取包括在参考路径中的TMI。
也就是说,类似于解码器55A,解码器55B从由分解单元52提供作为参考路径的视频的路径的视频流的SEI获取作为特征信息和转换信息的TMI作为包括在参考路径中的TMI。
之后,该过程从步骤S61进行至步骤S62,解码器55A根据HEVC方案对包括在从分解单元52提供的视频流中的编码数据进行解码以生成HDR视频,并且该过程进行至步骤S63。另外,视频解码(编码)方案不限于HEVC方案。
在步骤S63中,解码器55B将由分解单元52提供的ST流(即,例如具有SMPTE-TT格式的ST的数据的流)解码成HDR ST,然后该过程进行至步骤S64。
在步骤S64中,控制器54确定包括在显示装置3中的监视器是否是HDR监视器。
在本文中,如参照图34所描述的,控制器54从显示装置3获取EDID作为表示显示装置3的性能的信息,并且基于EDID确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S64中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S65。
在步骤S65中,解码器55A从包括在作为参考路径的视频的路径中的TMI中获取具有由存储在视频的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于视频的TMI。
另外,解码器55B从包括在作为参考路径的视频的路径的TMI中获取具有由存储在ST的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于ST的TMI。
之后,该过程从步骤S65进行至步骤S66,解码器55A将HDR视频连同作为特征信息要被应用于视频的TMI一起提供给组合输出单元56。另外,解码器55B将HDR ST连同作为特征信息要被应用于ST的TMI一起提供给组合输出单元56。
在组合输出单元56中,如果需要,将HDR视频和HDR ST组合以与作为特征信息的TMI一起提供(发送)给显示装置3(图1)。
另一方面,在步骤S64中确定包括在显示装置3中的监视器不是HDR监视器而是STD监视器,该过程进行至步骤S67。
在步骤S67中,解码器55A从包括在作为参考路径的视频的路径中的TMI中获取具有由存储在视频的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于视频的TMI。
另外,解码器55B从包括在作为参考路径的视频的路径的TMI中获取具有由存储在ST的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于ST的TMI。
之后,该过程从步骤S67进行至步骤S68,解码器55A基于作为转换信息要被应用于视频的TMI将作为解码的结果而获得的HDR视频转换成STD视频。
另外,解码器55B基于作为转换信息要被应用于ST的TMI将作为解码的结果而获得的HDR ST视频转换成STD ST。
接下来,该过程从步骤S68进行至步骤S69,解码器55A将STD视频提供给组合输出单元56。另外,解码器55B将STD ST提供给组合输出单元56。
在组合输出单元56中,如果需要,将STD视频和STD ST组合以提供(发送)给显示装置3(图1)。
在步骤S66或S69之后,该过程进行至步骤S70,控制器54确定是否再生结束。
在在步骤S70中确定再生不结束的情况下,该处理返回至步骤S61,并且重复执行相同的处理。另一方面,在在步骤S70中确定再生结束的情况下,结束模式-i的解码处理。
图36是用于描述图34的步骤S44中的模式-ii的解码处理的流程图。
在步骤S81中,类似于图35的步骤S61,解码器55A和55B获取包括在参考路径中的TMI。
也就是说,解码器55A将视频的路径识别为参考路径,并且从由分解单元52提供的视频的路径的视频流的SEI获取作为特征信息和转换信息的TMI作为包括在参考路径中的TMI。
解码器55B将为具有由存储在ST的路径的vtmi box中的track_IDs[]表示的track_id且由控制器54提供的路径(由作为路径指定信息的track_IDs[]指定的路径)的视频的路径识别为参考路径,并且从由分解单元52提供作为参考路径的视频的路径的视频流的SEI获取作为特征信息和转换信息的TMI作为包括在参考路径中的TMI。
之后,该过程从步骤S81进行至步骤S82,解码器55A根据HEVC方案对包括在从分解单元52提供的视频流中的编码数据进行解码以生成STD视频。该过程进行至步骤S83。另外,视频解码(编码)方案不限于HEVC方案。
在步骤S83中,解码器55B将ST流(即,例如SMPTE-TT格式下的ST的数据的流)解码成STD ST,然后该过程进行至步骤S84。
在步骤S84中,例如,类似于图35的步骤S64,控制器54确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S84中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S85。
在步骤S85中,解码器55A从包括在作为参考路径的视频的路径中的TMI中获取具有由存储在视频的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于视频的TMI。
另外,解码器55B从包括在作为参考路径的视频的路径的TMI中获取具有由存储在ST的路径的tirf box中且由控制器54提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由作为HDR指定信息的tone_mapping_info_id_ref指定的TMI)作为要被应用于ST的TMI。
之后,该过程从步骤S85进行至步骤S86,解码器55A基于作为转换信息要被应用于视频的TMI将作为解码的结果而获得的STD视频转换成HDR视频。另外,解码器55B基于将作为转换信息要被应用于ST的TMI将作为解码的结果而获得的STD ST转换成HDR ST。
接下来,该过程从步骤S86进行至步骤S87,解码器55A将HDR视频连同作为特征信息要被应用于视频的TMI一起提供给组合输出单元56。另外,解码器55B将HDR ST连同作为特征信息要被应用于ST的TMI一起提供给组合输出单元56。
在组合输出单元56中,如果需要,将HDR视频和HDR ST组合以与作为特征信息的TMI一起提供给显示装置3(图1)。
另一方面,在步骤S84中确定包括在显示装置3中的监视器是STD监视器,该过程进行至步骤S88,解码器55A将通过步骤S82的解码所获得的STD视频提供给组合输出单元56。另外,解码器55B将通过步骤S83的解码所获得的STD ST提供给组合输出单元56。
在组合输出单元56中,如果需要,将STD视频和STD ST组合以提供给显示装置3(图1)。
在步骤S87或S88之后,该过程进行至步骤S89,控制器54确定是否再生结束。
在在步骤S89中确定再生不结束的情况下,该过程返回至步骤S81,并且重复执行相同的处理。另一方面,在在步骤S89中确定再生结束的情况下,结束模式-ii的解码处理。
<显示装置3的配置示例>
图37是示出了图1的显示装置3的配置示例的框图。
显示装置3被配置成包括控制器101、通信单元102、信号处理单元103和监视器104。控制器101被配置成包括存储器101A,存储器101A存储例如表示监视器104的性能的EDID(扩展显示识别数据)等。
控制器101被配置成包括CPU、ROM、RAM等。控制器101通过执行预定的软件来控制显示装置3的整体操作。
例如,在执行关于再生装置2的认证时,控制器101将存储在存储器101A中的EDID输出至通信单元102,并且使得EDID能够被发送至再生装置2。再生装置2基于EDID指定显示装置3的监视器104的性能。
通信单元102通过电缆4(图1)执行与再生装置2的通信。通信单元102接收从再生装置2发送的HDR数据或STD数据,并且将HDR数据或STD数据输出至信号处理单元103。另外,通过单元102将由控制器101提供的EDID发送至再生装置2。
信号处理单元103对由通信单元102提供的HDR数据或STD数据执行处理,并且在监视器104上显示图像。
<显示装置3的显示处理>
图38是用于描述图37的显示装置3的显示处理的示例的流程图。
在本文中,将对包括在显示装置3中的监视器104是HDR监视器的情况进行描述。将添加有特征信息的HDR数据从再生装置2发送至包括HDR监视器的显示装置3。
在步骤S101中,显示装置3的通信单元102接收从再生装置2发送的HDR数据和特征信息,然后该过程进行至步骤S102。
在步骤S102中,控制器101参照特征信息来确定是否可以不经变化地显示从再生装置2发送的HDR数据。特征信息包括原版的HDR数据,即,作为表示从再生装置2发送的HDR数据的亮度的特征的特征信息的TMI。通过将由作为特征信息的TMI指定的HDR数据的亮度的特征与监视器104的显示性能进行比较来执行步骤S102的确定。
例如,在由作为特征信息的TMI指定的HDR数据的动态范围为0%至400%而监视器104的动态范围为0%至500%(例如,500cd/m2,如果100%的亮度为100cd/m2的话)的情况下,确定可以不经变化地显示HDR数据。另一方面,在由作为特征信息的TMI指定的HDR数据的动态范围为0%至400%而监视器104的动态范围为0%至300%的情况下,确定不能够不经变化地显示HDR数据。
在在步骤S102中确定可以不经变化地显示HDR数据的情况下,该过程进行至步骤S103,信号处理单元103根据由作为特征信息的TMI指定的亮度在监视器104上显示与HDR数据对应的HDR图像。例如,在由图12的曲线L12表示的亮度的特征由作为特征信息的TMI指定的情况下,每个亮度值表示由曲线L12表示的0%至400%的范围内的亮度。
另一方面,在在步骤S102中确定不允许不经变化地显示HDR数据的情况下,该过程进行至步骤S104,信息处理单元103根据监视器104的显示性能来调整HDR数据的亮度,并且显示与调整其亮度的HDR数据对应的HDR图像。例如,在由图12的曲线L12表示的亮度的特征由特征信息指定并且监视器104的范围为0%至300%的情况下,执行压缩,以使得每个亮度值表示0%至300%的范围内的亮度。
另外,在步骤S103中,在在步骤S104中显示与HDR数据对应的HDR图像之后,该过程进行至步骤S105,控制器101确定是否结束显示。在确定不结束显示的情况下,重复步骤S101之后的处理。在在步骤S105中确定结束显示的情况下,显示处理结束。
由于上述一系列处理,所以生成装置1以HDR数据的状态将原版的HDR数据存储在MP4文件中,以使得HDR数据能够在再生装置2中被再生,并且使得能够在显示装置3上显示与HDR数据对应的HDR图像。
另外,生成装置1将原版的HDR数据转换成STD数据以将STD数据存储在MP4文件中,使得能够在再生装置2中将STD数据恢复成HDR数据,并且使得能够在显示装置3上显示与HDR数据对应的HDR图像。
在HDR数据的再生期间,允许原版的HDR数据的亮度的特征由作为特征信息的TMI指定,以使得内容的创作者可以用希望的亮度显示与HDR数据对应的HDR图像。
另外,生成装置1将包括TMI的视频(其流)的路径和ST(其流)的路径作为HDR信息(特征信息和转换信息)存储在MP4文件中。
因此,ST的路径可以包括vtmi box和tirf box,vtmi box存储track_IDs[]作为指定包括要被应用于ST的路径的TMI的视频的路径的路径指定信息,tirf box存储tone_mapping_info_id_ref作为指定要被应用于ST的路径的TMI的HDR指定信息。
因此,再生装置2从由存储在ST的路径中包括的vtmi box中的track_IDs[]表示的包括在视频的路径中的TMI(具有track_id)中获取由存储在ST的路径中包括的tirf box中的tone_mapping_info_id_ref指定的TMI(具有tone_map_id)作为要被应用于ST的TMI,并且可以将该TMI用于ST的处理。
因此,在图20的第一配置示例的生成装置1中生成的MP4文件(在下文中,有时被称作第一MP4文件)中,由于可以将包括在视频的路径中的TMI转用于ST,所以不需要单独地将TMI添加到ST。
另外,在上述情况下,在第一MP4文件的生成期间,对于ST,由于将与ST同时显示的视频的TMI用作ST的TMI,所以ST的TMI依赖于视频的TMI。
然而,对于视频和ST,独立地生成TMI,除了视频的TMI以外,ST的TMI被包括在视频的流中,从而使得可以防止ST的TMI依赖于视频的TMI。
<生成装置1的第二配置示例>
图39是示出了图1的生成装置1的第二配置示例的框图。
另外,在图中与图20的情况相对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
在图39中,生成装置1被配置成包括控制器21、文件生成单元23和编码处理单元122。
因此,图39的生成装置1与图20的情况的生成装置1相同之处在于:生成装置1被配置成包括控制器21和文件生成单元23,而生成装置1与图20的情况的生成装置1不同之处在于:安装编码处理单元122代替编码处理单元22。
另外,图39的生成装置1与图20的情况的生成装置1不同之处在于:控制器21被配置成包括报头信息生成单元121A代替报头信息生成单元21A。
在图39的生成装置1中,原版的HDR数据被输入至编码处理单元22。
类似于图20的报头信息生成单元21A,报头信息生成单元121A生成tirf box(图24),tirf box(图24)存储由编码处理单元122提供的tone_map_id作为tone_mapping_info_id_ref。
另外,报头信息生成单元121A生成tinf box(ToneMappingInformationBox),tinf box(ToneMappingInformationBox)存储由编码处理单元122提供的TMI(tone_mapping_info)作为ToneMapInfo(类对象)。
接下来,报头信息生成单元121A生成包括tirf box和tinf box的moofbox或moov box作为报头信息,并且将该报头信息提供给文件生成单元23。
下文将描述tinf box。
类似于图20的编码处理单元22,编码处理单元122通过对原版的HDR数据执行编码来生成视频流和ST流,并且将视频流和ST流提供给文件生成单元23。
另外,类似于图20的编码处理单元22,编码处理单元122将要被应用于视频或ST的TMI(tone_mapping_info)的tone_map_id提供给控制器21(其报头信息生成单元121A)。
另外,编码处理单元122将要被应用于视频和ST的TMI提供给控制器21(其报头信息生成单元121A)。
图40是示出了由图39的生成装置1生成的MP4文件(在下文中,有时被称作第二MP4文件)的示例的图。
图40的第二MP4文件是具有片段的分片段的影片的MP4文件,并且moov box包括视频、音频和ST的trak box。
因此,图40的第二MP4文件包括视频的路径、音频的路径和ST的路径。
在本文中,在第一MP4文件(图21、图25)中,由于TMI被包括在视频的路径中而不被包括在ST的路径中,所以将包括在视频的路径中的TMI转用于ST。然而,在第二MP4文件中,要被应用于媒体的TMI被包括在每种媒体(如视频或ST)的路径中。
也就是说,图39的生成装置1生成MP4文件作为每种媒体的第二MP4文件,在该MP4文件中,要被应用于媒体的TMI被包括在媒体的路径中。
因此,在图40中,每种媒体的moof/traf box包括tirf box和tinf box(ToneMappingInformationBox)(色调映射信息box)。
如参照图21所描述的,tirf box是最新被定义成指定要被应用于感兴趣目标路径的TMI并且存储表示tone_map_id的tone_mapping_info_id_ref的box。
tinf box是最近被定义成存储TMI(tone_mapping_info)的box。
在分片段的影片的MP4文件中,如图40中所示,在视频的路径的moof/traf box中存储tinf box B#22和tirf box B#21,tinf box B#22存储要被应用于影片(其路径)的TMI,tirf box B#21存储表示存储在tinf boxB#22中的TMI中的要被应用于视频的TMI的tone_map_id的tone_mapping_info_id_ref。
类似地,在ST的路径的moof/traf box中存储tinf box B#2和tirf boxB#23,tinf box B#2存储要被应用于ST(其路径)的TMI,tirf box B#23存储表示存储在tinf box B#24中的TMI中的要被应用于ST的TMI的tone_map_id的tone_mapping_info_id_ref。
因此,根据图40的第二MP4文件,例如,如果视频的路径被视为目标路径,则可以认识到存储在目标路径的moof/traf/tinf box B#22中的TMI中的具有由存储在目标路径的moof/traf/tirf box B#21中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,根据图40的MP4文件,例如,如果ST的路径被视为目标路径,则还可以认识到存储在目标路径的moof/traf/tinf box B#24中的TMI中的由存储在目标路径的moof/traf/tirf box B#23中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,尽管分片段的影片的MP4文件包括每个片段的moof box,但是具有由存储在片段的moof/traf/tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI中的有效TMI被应用于一些片段的数据。
图41是示出了tinf box的定义的示例的图。
tinf box(ToneMappingInformationBox)(色调映射信息box)是最新被定义为存储要被应用于包括tinf box作为ToneMapInfo(类对象tonemap)的路径的TMI的box,并且tinf box被存储在trak box(其中存储stbl box)或traf box中。
图42是示出了ToneMapInfo的语法的第一示例的图。
除了插入用于字节对准的padding_value以外,图42的ToneMapInfo具有与图7的TMI(tone_mapping_info)相同的配置。
图43是示出了ToneMapInfo的语法的第二示例的图。
除了最新定义的component_idc以外,图43的ToneMapInfo具有与图42的情况相同的配置。
在component_idc为例如0的情况下,由图43的ToneMapInfo表示的TMI通常被应用于例如作为构成图像的多个分量的所有分量R、G、B。
另外,在component_idc为例如1的情况下,由图43的ToneMapInfo表示的TMI通常被应用于例如为构成图像的分量R、G、B之一的仅R。
另外,在component_idc为例如2的情况下,由图43的ToneMapInfo表示的TMI通常被应用于例如为构成图像的分量R、G、B之一的仅G。另外,在component_idc为例如3的情况下,由图43的ToneMapInfo表示的TMI通常被应用于例如为构成图像的分量R、G、B之一的仅B。
根据图43的ToneMapInfo,要被应用的TMI可以以分量为单位来变化。
图44是示出了ToneMapInfo的语法的第三示例的图。
除了最新定义num_of_components之外,图44的ToneMapInfo具有与图42的情况相同的配置。
在num_of_components为例如0的情况下,由图44的ToneMapInfo表示的TMI通常被应用于例如作为构成图像的多个分量的所有分量R、G、B。
另外,在num_of_components为例如3的情况下,在图43的ToneMapInfo中例如按该顺序对被应用于构成图像的分量R、G、B的R的TMI、G的TMI以及B的TMI进行描述。
根据图43或图44的ToneMapInfo,对于构成图像的每个分量,可以独立地描述要被应用于分量的TMI。
图45是示出了由图39的生成装置1生成的第二MP4文件的另一示例的图。
图45的第二MP4文件是不包括任何片段的非分片段的影片的MP4文件,并且moov box包括视频的trak box、音频的trak box以及ST的trak box。
因此,图45的第二MP4文件被配置成包括视频的路径、音频的路径以及ST的路径。
类似于图40的情况,在图45的第二MP4文件中,在相应的媒体如视频或ST的路径中包括要被应用于媒体的TMI。
即,在非分片段的影片的MP4文件中,如图45中所示,对于视频的路径,在moov box的视频的路径的trak/stbl box中存储tinf box B#32和tirf box B#31,tinf box B#32存储要被应用于视频(其路径)的TMI,tirfbox B#31存储表示要被应用于视频的TMI的tone_map_id的tone_mapping_info_id_ref。
类似地,对于ST的路径,在moov box的ST的路径的trak/stbl box中存储tinf box B#34和tinf box B#33,tinf box B#34存储要被应用于ST(其路径)的TMI,tinf box B#33存储表示要被应用于ST的TMI的tone_map_id的tone_mapping_info_id_ref。
因此,根据图45的第二MP4文件,例如,如果视频的路径被视为目标路径,则可以认识到存储在包括在moov box的目标路径(在本文中,视频的路径)的trak box中包括的stbl box中的tinf box B#32中的TMI中的、具有由存储在stbl box中包括的tirf box B#31中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,例如,如果ST的路径被视为目标路径,类似于视频的情况,可以认识到存储在包括在moov box的目标路径(在本文中,ST的路径)的trak box中的stbl box中包括的tinf box B#34中的TMI中的、具有由存储在stbl box中包括的tirf box B#33中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另外,在非分片段的影片中,存储在目标路径的tinf box中的TMI中的有效TMI被应用于目标路径。
如上所述,在图39的生成装置1中,由于生成存储包括作为HDR信息的TMI(存储TMI的tinf box)以及作为指定TMI中的被应用于感兴趣目标路径的TMI的HDR指定信息的tone_mapping_in fo_id_ref(存储tone_mapping_info_id_ref的tirf box)的目标路径的第二MP4文件,所以可以将要被应用于每种媒体的TMI独立地添加到每种媒体如视频或ST。
另外,在对视频进行编码的情况下,例如,根据HEVC方案,尽管生成将视频的TMI插入到SEI中的视频流,在第二MP4文件中,可以将要被应用于媒体的TMI独立于要被插入到SEI中的TMI添加到除了视频以外的媒体。
因此,在不将要被应用于ST的TMI独立添加到ST的情况下,将包括记录在例如蓝光(注册商标)盘中的具有m2ts格式的TMI的视频以及与TMI一起再生的ST转换成MP4文件。
作为结果,便于TMI到MP4文件的引入,从而使得可以增加用户喜爱HDR图像(如HDR视频或HDR ST)的可能性。
另外,在对视频进行编码的情况下,例如,根据HEVC方案,由于生成将视频的TMI插入到SEI中的视频流,在第二MP4文件中,被插入到SEI中的TMI以及存储在视频的路径中包括的tinf box中的TMI作为视频的TMI而存在。
在这种情况下,在再生装置2(图1)中,可以例如预先确定或根据用户的操纵来选择被插入到SEI中的TMI和被存储在视频的路径中包括的tinf box中的TMI之一用作要被应用于视频的TMI。
在该实施方式中,假定:对于第二MP4文件,例如,被插入到SEI中的TMI以及被存储在视频的路径中包括的tinf box中的TMI中的存储在tinf box中的TMI用作要被应用于视频的TMI。
在本文中,根据具有SMPTE-TT格式的ST的数据,尽管ST的多个显示屏可以包括在为对MP4文件进行访问的单元的一个样本中,但是在第二MP4文件中,在ST的多个显示屏包括在一个样本中的情况下,要被应用于包括在一个样本中的ST的多个显示屏中的每个的TMI是同一TMI,从而难以改变每个显示屏的要被应用的TMI。
<编码处理单元122的配置示例>
图46是图39的编码处理单元122的配置示例。
另外,在图中与图26的编码处理单元22对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
编码处理单元122被配置成包括编码器32、转换单元33、转换信息生成单元34、编码器35、特征信息生成单元131、转换信息生成单元132和流生成单元133。
因此,图46的编码处理单元122与图26的编码处理单元22相同之处在于:编码处理单元122被配置成包括编码器32、转换单元33和编码器35。
然而,图46的编码处理单元122与图26的编码处理单元22不同之处在于:安装特征信息生成单元131、转换信息生成单元132和流生成单元133代替特征信息生成单元31、转换信息生成单元34和流生成单元36。
类似于图26的特征信息生成单元31,特征信息生成单元131检测被输入到编码处理单元122的原版的HDR数据的亮度以生成TMI作为特征信息并且将该TMI提供给流生成单元133。
然而,特征信息生成单元131对于原版的HDR数据中的HDR视频和HDR ST独立地生成TMI作为特征信息。
另外,类似于图26的特征信息生成单元31,在特征信息生成单元131中,对于HDR视频,可以生成作为HDR视频的特征信息的TMI;而对于HDR ST,可以将作为与HDR ST同时显示的HDR视频的特征信息的TMI用作作为ST(HDR ST)的特征信息的TMI。
类似于图26的转换信息生成单元34,转换信息生成单元132基于由转换单元33提供的信息来生成TMI作为转换信息。
然而,转换信息生成单元132对于原版的HDR数据中的HDR视频和HDR ST生成TMI作为转换信息,并且将TMI提供给流生成单元133。
另外,类似于图26的转换信息生成单元34,对于HDR视频,转换信息生成单元132可以生成TMI作为HDR视频的转换信息,并且对于HDR ST,转换信息生成单元132可以将作为与HDR ST一起同时显示的HDR视频的转换信息的TMI用作作为ST(HDR ST)的转换信息的TMI。
流生成单元133将由特征信息生成单元131提供作为视频和ST的特征信息的TMI的tone_map_id以及由转换信息生成单元132提供作为视频和ST的转换信息的TMI的tone_map_id提供给控制器21(图39)。
此外,流生成单元133执行与图26的流生成单元36的处理相同的处理。
也就是说,流生成单元133将由特征信息生成单元131提供作为视频和ST的特征信息的TMI的tone_map_id和由转换信息生成单元132提供作为视频和ST的转换信息的TMI的tone_map_id提供给控制器21。
另外,流生成单元133将视频的TMI作为SEI插入到由编码器32提供的视频的编码数据中以生成视频流。
另外,流生成单元133将由编码器35提供的ST的数据作为ST流连同视频流一起提供给图39的文件生成单元23。
另外,在流生成单元133中,不将视频的TMI插入到由编码器32提供的视频的编码数据中,但是可以将编码数据不经变化地用作视频流。
<生成装置1的文件生成处理>
图47是用于描述由图39的生成装置1执行的文件生成处理的示例的流程图。
如果将原版的HDR数据输入至生成装置1,类似于图29的步骤S1,在步骤S111中,生成装置1的控制器21确定处理模式是否是模式-i。
在在步骤S111中确定处理模式是模式-i的情况下,该过程进行至步骤S112,编码处理单元122执行模式-i的编码处理。将通过模式-i的编码处理所生成的视频流和ST流从编码处理单元122提供至文件生成单元23。
另一方面,在在步骤S111中确定模式处理是模式-ii的情况下,该过程进行至步骤S113,编码处理单元122执行模式-ii的编码处理。将通过模式-ii的编码处理所生成的视频流和ST流从编码处理单元122提供至文件生成单元23。
在步骤S112或S113之后,该过程进行至步骤S114,报头信息生成单元121A执行报头信息生成处理。将在报头信息生成处理中所生成的报头信息从报头信息生成单元121A提供至文件生成单元23,然后该过程进行至步骤S115。
在步骤S115中,文件生成单元23生成和输出图40或图45的、存储由编码处理单元122提供的视频流和ST流以及由报头信息生成单元121A提供的报头信息的第二MP4文件,然后文件生成处理结束。
图48是用于描述在图47的步骤S112中执行的模式-i的编码处理的示例的流程图。
在步骤S121中,编码处理单元122(图46)的特征信息生成单元131检测原版的HDR数据的亮度以生成TMI作为视频和ST的特征信息,并且将该TMI提供给流生成单元133,然后该过程进行至步骤S122。
在步骤S122中,编码器32根据HEVC方案对原版的HDR进行编码以生成HDR视频的编码数据,并且将该编码数据提供给流生成单元133,然后该过程进行至步骤S123。另外,视频编码方案不限于HEVC方案。
在步骤S123中,编码器35对原版的HDR ST进行编码以生成具有SMPTE-TT格式的ST的数据,并且将ST的数据提供给流生成单元133,然后该过程进行至步骤S124。
在步骤S124中,转换单元33将原版的输入HDR数据转换成STD数据,并且将表示HDR数据与STD数据之间的关系的信息(表示输入数据与输出数据之间的关系的信息,其中,将HDR数据的RGB信号设置成输入数据,而将STD数据的RGB信号设置成输出数据)提供给转换信息生成单元132。
之后,该过程从步骤S124进行至步骤S125,转换信息生成单元132基于由转换单元33提供的信息来生成TMI作为视频和ST的转换信息,并且将该TMI提供给流生成单元133,然后该过程进行至步骤S126。
在步骤S126中,流生成单元133将由特征信息生成单元131提供作为特征信息的TMI以及由转换信息生成单元132提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中以生成视频流。
接下来,流生成单元133将由编码器35提供的ST的数据作为ST流连同视频流一起提供给文件生成单元23(图39)。
另外,流生成单元133将视频的TMI(要被应用于视频的TMI)和该TMI的tone_map_id以及ST的TMI(要被应用于ST的TMI)和该TMI的tone_map_id提供给控制器21(图39),然后模式-i的编码处理结束。
图49是用于描述在图47的步骤S113中执行的模式-ii的编码处理的示例的流程图。
在步骤S131中,编码处理单元122的特征信息生成单元131检测原版的HDR数据的亮度以生成TMI作为视频和ST的特征信息,并且将该TMI提供给流生成单元133。
之后,在步骤S132中,转换单元33将原版的输入HDR数据转换成STD数据,并且转换单元33将STD数据中的STD视频提供给编码器32以及将STD ST提供给编码器35。
另外,转换单元33将表示HDR数据与STD数据之间的关系的信息提供给转换信息生成单元132,从而该过程从步骤S132进行至步骤S133。
在步骤S113中,转换信息生成单元132基于由转换单元33提供的信息生成TMI作为视频和ST的转换信息,并且将该TMI提供给流生成单元133,从而该过程进行至步骤S134。
在步骤S134中,编码器32根据HEVC方案对由转换单元33提供的STD视频进行编码以生成STD视频的编码数据,并且将该编码数据提供给流生成单元133。另外,视频编码方案不限于HEVC方案。
之后,在步骤S135中,编码器35对由转换单元33提供的STD ST进行编码以生成具有SMPTE-TT格式的ST的数据,并且将ST的数据提供给流生成单元133。
接下来,在步骤S136中,流生成单元133将由特征信息生成单元131提供作为特征信息的TMI以及由转换信息生成单元132提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中以生成视频流。
另外,流生成单元133将由编码器35提供的ST的数据作为ST流连同视频流一起提供给文件生成单元23(图39)。
另外,流生成单元133将视频的TMI(要被应用于视频的TMI)和该TMI的tone_map_id以及ST的TMI(要被应用于ST的TMI)和该TMI的tone_map_id提供给控制器21(图39),然后模式-ii的编码处理结束。
图50是用于描述在图47的步骤S114中执行的报头信息生成处理的示例的流程图。
在步骤S141中,控制器21(图39)的报头信息生成单元121A生成tinf box(图40、图41、图45),tinf box(图40、图41、图45)存储由编码处理单元122(其流生成单元133(图46))提供的视频的TMI(要被应用于视频的TMI)。
另外,报头信息生成单元121A生成tinf box(图40、图41、图45),tinf box(图40、图41、图45)存储由编码处理单元122(其流生成单元133(图46))提供的ST的TMI(要被应用于ST的TMI)。
另外,报头信息生成单元121A生成tirf box(图24、图10、图45),tirf box(图24、图10、图45)存储表示由编码处理单元122提供的视频的TMI的tone_map_id的tone_mapping_info_id_ref。
另外,报头信息生成单元121A生成存储表示由编码处理单元122提供的ST的TMI的tone_map_id的tone_mapping_info_id_ref的tirf box,然后该过程从步骤S141进行至步骤S142。
在步骤S142中,报头信息生成单元121A产生包括tinf box和tirf box的moov box或moof box,并且将所产生的box作为报头信息提供给文件生成单元23(图39),然后报头信息生成处理结束。
也就是说,在文件生成单元23中,在生成分片段的影片的MP4文件的情况下,如图40所示,报头信息生成单元121A生成其中tirf box和tinfbox被包括在视频的路径的traf box的moof box以及其中tirf box和tinfbox被包括在ST的路径的traf box中的moof box。
另一方面,在文件生成单元23中,在生成非分片段的影片的MP4文件的情况下,如图45中所示,报头信息生成单元121A生成如下的moovbox:在moov box中,tirf box和tinf box被包括在视频的路径的trak box中包括的stbl box中,以及在moov box中,tirf box和tinf box被包括在ST的路径的trak box中包括的stbl box中。
<再生装置的第二配置示例>
图51是示出了图1的再生装置2的第二配置示例的框图。
另外,在图中与图33的情况对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
在图51中,再生装置2被配置成包括文件获取单元51、分解单元52、操纵输入单元53、组合输出单元56、控制器141和解码处理单元142。
因此,图51的再生装置2与图33的情况的再生装置2相同之处在于:再生装置2被配置成包括文件获取单元51、分解单元52、操纵输入单元53和组合输出单元56。
然而,图51的再生装置2与图33的情况的再生装置2不同之处在于:安装控制器141和解码处理单元142代替控制器54和解码处理单元55。
控制器141被配置有CPU、ROM、RAM等,并且通过执行预定的程序来控制再生装置2的整体操作。
例如,控制器141将作为ToneMapInfo存储在由分解单元52提供的moov box(图45)中包括的tinf box中的TMI(tone_mapping_info)或存储在tirf box中的tone_mapping_info_id_ref提供给解码处理单元142。另外,例如,控制器141将作为ToneMapInfo存储在由分解单元52提供的moof box(图40)中包括的tinf box中的TMI或存储在tirf box中的tone_mapping_info_id_ref提供给解码处理单元142。
解码处理单元142被配置成包括解码器142A和解码器142B。
解码器142A用作如下的获取单元:该获取单元获取作为ToneMapInfo存储在视频的TMI中包括的tinf box中且由控制器141提供的TMI作为要被应用于视频的TMI,并且获取视频的TMI中的具有由存储在视频的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为视频。
另外,解码器142A根据HEVC方案对包括在由分解单元52提供的视频流中的编码数据进行解码。
接下来,如果需要,解码器142A基于作为转换信息要被应用于视频的TMI将作为解码的结果而获得的HDR视频或STD视频转换成STD视频或HDR视频,并且将STD视频或HDR视频输出至组合输出单元56。
在解码器142A输出HDR视频的情况下,解码器142A将作为特征信息要被应用于视频的TMI连同HDR视频一起输出至组合输出单元56。
解码器142B对由分解单元52提供的ST流进行解码。
另外,解码器142B用作如下的获取单元:该获取单元获取作为ToneMapInfo存储在ST的路径中包括的tinf box中且由控制器141提供的TMI作为要被应用于ST的TMI,并且获取ST的TMI中的具有由存储在ST的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为ST的TMI。
接下来,如果需要,解码器142B基于作为转换信息要被应用于ST的TMI将作为解码的结果而获得的HDR ST或STD ST转换成STD ST或HDR ST,并且将STD ST或HDR ST输出至组合输出单元56。
在解码器142B输出HDR ST的情况下,解码器142B将作为转换信息要被应用于ST的TMI连同HDR ST一起输出至组合输出单元56。
<再生装置2的再生处理>
图52是用于描述由图51的再生装置2执行的再生处理的示例的流程图。
在步骤S151中,文件获取单元51获取由图39的生成装置1生成的第二MP4文件,并且将该第二MP4文件提供给分解单元52。
分解单元52从文件获取单元51的第二MP4文件读取moov box或moof box作为报头信息,同时读取视频流或ST流作为存储在mdat box中的实际数据。
接下来,分解单元52将moov box或moof box作为报头信息提供给控制器141,并且将视频流或ST流提供给解码处理单元142。
另外,控制器141将作为ToneMapInfo存储在由分解单元52提供的moov box或moof box中包括的tinf box中的TMI或存储在tirf box中的tone_mapping_info_id_ref提供给解码处理单元142。
之后,该过程从步骤S151进行至步骤S152,并且类似于图34的步骤S42的情况,控制器141确定由文件获取单元51获取的第二MP4文件的处理模式是模式-i还是模式-ii。
在在步骤S152中确定处理模式是模式-i的情况下,该过程进行至步骤S153,解码处理单元142执行模式-i的解码处理。
另一方面,在在步骤S152中确定处理模式是模式-ii的情况下,解码处理单元142执行模式-ii的解码处理。
在在步骤S153或步骤S154中执行解码处理之后,再生处理结束。
图53是用于描述图52的步骤S153中的模式-i的解码处理的流程图。
在步骤S161中,解码器142A获取作为ToneMapInfo存储在视频的路径中包括的tinf box中且由控制器141提供的TMI作为视频的TMI。
另外,解码器142B获取作为ToneMapInfo存储在ST的路径中包括的tinf box中且由控制器141提供的TMI作为ST的TMI,然后该过程进行至步骤S162。
在步骤S162至S164中,执行与图35的步骤S62至S64的处理相同的处理。
也就是说,在步骤S162中,解码器142A对包括在从分解单元52提供的视频流中的编码数据进行解码以生成HDR视频。在步骤S163中,解码器142B将由分解单元52提供的具有SMPTE-TT格式的ST的数据的ST流转换成HDR ST。
接下来,在步骤S164中,控制器141确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S164中确定包括在显示装置3的监视器是HDR监视器的情况下,该过程进行至步骤S165。
在步骤S165中,解码器142A获取在步骤S161中获取的视频的TMI中的具有由存储在视频的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
另外,解码器142B获取在步骤S161中获取的ST的TMI中的具有由存储在ST的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
之后,该过程从步骤S165进行至步骤S166,然后在步骤S166和步骤S170中执行与图35的步骤S66和S70的处理相同的处理。
另一方面,在在步骤S164中确定包括在显示装置3的监视器不是HDR监视器而是STD监视器的情况下,该过程进行至步骤S167。
在步骤S167中,类似于步骤S165,解码器142A获取在步骤S161中获取的视频的TMI中的具有由存储在视频的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
另外,类似于步骤S165,解码器142B获取在步骤S161中获取的ST的TMI中的具有由存储在ST的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
之后,该过程从步骤S167进行至步骤S168,从而在下文中,在步骤S168至S170中,执行与图35的步骤S38至S70的处理相同的处理。
图54是用于描述图52的步骤S154中的模式-ii的解码处理的流程图。
在步骤S181中,类似于图53的步骤S161,解码器142A和142B分别获取视频的TMI和ST的TMI。
也就是说,解码器142A获取作为ToneMapInfo存储在视频的路径中包括的tinf box中且由控制器141提供的TMI作为视频的TMI。
另外,解码器142B获取作为ToneMapInfo存储在ST的路径中包括的tinf box中且由控制器141提供的TMI作为ST的TMI,然后该过程进行至步骤S182。
在步骤S182至步骤S184中,执行与图36的步骤S82至步骤S84的处理相同的处理。
也就是说,在步骤S182中,解码器142A对包括在从分解单元52提供的视频流中的编码数据进行解码以生成STD视频。在步骤S183中,解码器142B将由分解单元52提供的具有SMPTE-TT格式的ST的数据的ST流解码成STD ST。
接下来,在步骤S182中,控制器141确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S184中确定包括在显示装置3中的监视器是HDR监视的情况下,该过程进行至步骤S185。
在步骤S185中,解码器142A获取在步骤S181中获取的视频的TMI中的具有由存储在视频的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
另外,解码器142B获取在步骤S181中获取的ST的TMI中的具有由存储在ST的路径中包括的tirf box中且由控制器141提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
之后,该过程从步骤S185进行至步骤S186,然后在步骤S186至S189中执行与图36的步骤S86至S89的处理相同的处理。
如上所述,第二配置示例的生成装置1将视频(其流)的路径和ST(其流)的路径存储在第二MP4文件中。
因此,每种媒体的路径可以包括将要被应用于媒体(其路径)的TMI存储为ToneMapInfo的tinf box以及将tone_mapping_info_id_ref存储为指定存储在tinf box中的TMI中的要被应用于媒体的TMI的HDR指定信息的tirf box。
作为结果,再生装置2可以对于每种媒体获取存储在媒体的路径中包括的tinf box中的TMI中的由存储在tirf box中的tone_mapping_info_id_ref指定的TMI(具有tone_map_id)作为要被应用于媒体的TMI,并且可以使用该TMI用于媒体的处理。
<生成装置1的第三配置示例>
图55是示出了图1的生成装置1的第三配置示例的框图。
另外,在图中与图20的情况对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
在图55中,生成装置1被配置成包括控制器21、解码处理单元202和文件生成单元203。
因此,图55的生成装置1与图20的情况的生成装置1相同之处在于:生成装置1被配置成包括控制器21。
然而,图55的生成装置1与图20的情况的生成装置1不同之处在于:安装编码处理单元202和文件生成单元203代替编码处理单元22和文件生成单元23。
另外,图55的生成装置1与图20的情况的生成装置1不同之处在于:控制器21被配置成包括报头信息单元201A代替报头信息生成单元21A。
在图55的生成装置1中,原版的HDR数据被输入至编码处理单元202。
报头信息生成单元201A生成包括存储由编码处理单元202提供的tone_map_id作为tone_mapping_info_id_ref的tirf box(图24)的moof box以及包括tmpi box(reference_type是“tmpi”的TrackReferenceTypeBox)的moov box作为报头信息,并且将该报头信息提供给文件生成单元203。
可替代地,报头信息生成单元201A生成存储由编码处理单元202提供的tone_map_id作为tone_mapping_info_id_ref的tirf box以及包括tmpi的moov box作为报头信息,并且将该报头信息提供给文件生成单元203。
下文将描述tmpi box。
类似于图20的编码处理单元22,编码处理单元202通过对原版的HDR数据执行编码来生成视频流和ST流,并且将视频流和ST流输出至文件生成单元203。
另外,编码处理单元202生成TMI的es(基本流)(在下文中,有时称作TMI流)作为要被应用于视频或ST的HDR信息,并且将该es输出至文件生成单元203。
另外,编码处理单元202将要被应用于视频或ST的TMI的tone_map_id提供给控制器21(其报头信息生成单元201A)。
文件生成单元203生成存储由控制器21(其报头信息生成单元201A)提供的报头信息以及由编码处理单元202提供的视频流、ST流和TMI流的MP4文件,并且输出该MP4文件。
图56是示出了由图55的生成装置1生成的MP4文件(在下文中,有时称作第三MP4文件)的示例的图。
图56的第三MP4文件是具有片段的分片段的影片的MP4文件,并且moov box包括视频、ST和TMI(色调映射基本流)的trak box。
因此,图56的MP4文件包括视频的路径、ST的路径以及TMI的路径。
图55的生成装置1生成通过参照其他路径可以应用包括在TMI的路径(在下文中,有时称作TMI路径)中的TMI的MP4文件作为第三MP4文件。
因此,在第三MP4文件中,TMI路径(色调映射路径)的madt box包括TMI的样本(ToneMapSample)作为实际数据。
另外,除了moov box的TMI之外,媒体的trak box(即,视频或ST(字幕)的trak box)包括tref box,该tref box包括tmpi box(TrackReferenceBox)。
在下文中,如参照图21和图22所描述的,尽管tref box可以包括TrackReferenceTypeBox,但是tmpi box是最新被定义为TrackReferenceTypeBox的一种的box。
现在,例如,如果包括tmpi box的ST的路径被视为感兴趣的目标路径,则在包括在为目标路径的ST的路径中的tmpi box中存储作为指定要被应用于目标路径的TMI的TMI路径(HDR信息)的路径指定信息的TMI路径的track_id(其track_IDs[]表示)。
因此,要被应用于目标路径的TMI的TMI路径可以由存储在作为目标路径的ST的路径中包括的tmpi box中的track_id识别。
类似地,如果包括tmpi box的视频的路径被视为感兴趣的目标路径,则在作为目标路径的视频的路径中包括的tmpi box中存储作为指定要被应用于目标路径的TMI的TMI路径的路径指定信息的TMI路径的track_id。
因此,要被应用于目标路径的TMI的TMI路径可以由存储在包括在作为目标路径的视频的路径中的tmpi box中的track_id识别。
另外,通过确定预先变成TMI路径的路径的track_id,可以省略包括tmpi box的tref box。
在图56的第三MP4文件中,视频和ST的每个路径的moof box包括traf box,traf box包括tirf box,该tirf box存储表示tone_map_id的tone_mapping_info_id_ref作为指定要被应用于路径的TMI的HDR指定信息。
通过参照存储在目标box的tirf box中的tone_mapping_info_id_ref,具有由存储在tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI可以被识别为具有存储在tmpi box中的track_id的TMI路径的TMI中的要被应用于目标路径的TMI。
另外,尽管分片段的影片的MP4文件包括每个片段的moof box,但是由存储在片段的moof box中包括的tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI中的有效TMI被应用于一些片段的数据。
另外,可以将多个路径作为TMI路径(色调映射路径)存储在第三MP4文件中。
另外,在第三MP4文件中,例如,要被应用于视频的TMI路径以及要被应用于ST的TMI的TMI路径可以是同一TMI路径或其他TMI路径。
如图56中所示,除了视频和ST以外,将TMI路径存储在分片段的影片的MP4文件中。
因此,对于视频的路径,存储要被应用于ST的TMI的TMI路径的track_id的tmpi box B#41被存储在moov box的视频的路径的trak/trefbox中。
另外,对于视频的路径,存储表示要被应用于视频的TMI(包括在具有存储在tmpi box B#41中的track_id的TMI路径中的TMI)的tone_map_id的tone_mapping_info_id_ref的tirf box B#44被存储在视频的路径的moof/traf box中。
因此,根据图56的第三MP4文件,例如,如果视频的路径被视为目标路径,则要被应用于视频的TMI的TMI路径可以由存储在moov box的视频的trak/tref/tmpi box B#41中的track_id识别。
另外,可以认识到包括在TMI路径中的TMI中的具有由存储在为目标路径的视频的路径的moof/traf/tirf box B#44中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
另一方面,对于ST的路径,存储要被应用于ST的TMI的TMI路径的track_id的tmpi box B#42被存储在moov box的ST的路径的trak/tref box中。
另外,对于ST的路径,存储表示要被应用于ST的TMI(包括在具有存储在tmpi box中的track_id的TMI路径中的TMI)的tone_map_id的tone_mapping_info_id_ref的tirf box B#43被存储在ST的路径的moof/traf box中。
因此,根据图56的第三MP4文件,例如,如果ST的路径被视为目标路径,则要被应用于ST的TMI的TMI路径可以由存储在moov box的ST的trak/tref/tmpi box B#42中的track_id识别。
另外,可以认识到包括在TMI路径中的TMI中的具有由存储在为目标路径的ST的路径的moof/traf/tirf box B#43中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
图57是示出了作为tmpi box的TrackReferenceTypeBox的定义的示例的图。
在该实施方式中,“tmpi”被最新定义为表示TrackReferenceTypeBox用于存储TMI路径的track_id的refernce_type,并且refernce_type变成“tmpi”的TrackReferenceTypeBox用作存储TMI路径的track_id的tmpibox。
tmpi box包括(存储)表示track_id的track_IDs[]。
track_IDs[]是阵列变量,并且可以存储多个track_id。因此,根据tmpibox,可以将多个路径指定为要被应用于媒体的TMI的TMI路径。
图58是示出了作为实际数据存储在第三MP4文件中所存储的TMI路径(色调映射路径)的mdat box中的TMI的样本(ToneMapSample)的语法的示例的图。
TMI的一个样本可以包括0组或更多组表示ToneMapInfo的长度的ToneMapInfoLength以及ToneMapInfo,ToneMapInfo表示TMI。
因此,TMI的一个样本可以包括多组ToneMapInfoLength和theToneMapInfo。
另外,Length=表示TMI的样本的长度的sample_size不存在于TMI的样本中,并且参照例如stsz box、stz2box和trun box中所描述的每个样本的大小信息。
可以将例如图42至图44中所示的语法的ToneMapInfo等用作ToneMapInfo。
图59是示出了TMI的样本(ToneMapSample)的数据结构的示例的图。
如图59中所示,TMI的样本可以重复包括一组ToneMapInfoLength和ToneMapInfo。
图60是示出了由图55的生成装置1生成的第三MP4文件的另一示例的图。
图60的第三MP4文件是不包括任何片段的非分片段的影片的MP4文件,并且moov box包括视频的trak box、ST的trak box以及TMI(色调映射基本流)的(两个)trak box。
因此,图60的第三MP4文件被配置成包括视频的路径、ST的路径以及TMI的路径。
类似于图56,在图60中,视频的路径和ST的路径分别包括tmpi box和tirf box,另外,mdat box包括视频的样本、ST的样本和TMI的样本(色调映射样本)。
在本文中,所非分片段的影片的MP4文件中,如图60中所示,存储表示要被应用于视频的TMI路径的track_id的track_IDs[](图57)的tmpibox B#51被存储在moov box的视频的trak/tref box中。
另外,存储表示要被应用于视频的TMI的tone_map_id的tone_mapping_info_id_ref的tirf box B#52被存储在moov box的视频的路径的trak中包括的stbl box中。
类似于视频的路径,ST的路径可以包括tmpi box B#53和tirf boxB#54。
也就是说,存储表示要被应用于视频的TMI的TMI路径的track_id的track_IDs[]的tmpi box B#53被存储在moov box的ST的路径的trak/tref box中。
另外,存储表示要被应用于ST的TMI的tone_map_id的tone_mapping_info_id_ref的tirf box B#54被存储在moov box的ST的路径的trak box中包括的stbl box中。
因此,根据图60的第三MP4文件,例如,如果ST的路径被视为目标路径,则要被应用于为目标路径的ST的路径的TMI的TMI路径可以由存储在moov box的ST的trak/tref/tmpi box B#53中的track_id识别。
另外,可以认识到:TMI路径的TMI中的具有由存储在为moov box的目标路径的ST的路径的tark/stbl/tirf box B#54中的tone_mapping_info_id_ref表示的tone_map_id的TMI是要被应用于目标路径的TMI。
对于视频,以类似的方式,可以识别要被应用于视频的TMI。
另外,在非分片段的影片的MP4文件中,具有由存储在目标路径的tirf box中的tone_mapping_info_id_ref表示的tone_map_id的TMI中的有效TMI被应用于目标路径。
另外,要被应用于视频的TMI的TMI路径和要被应用于ST的TMI的TMI路径可以是同一TMI路径或可以是不同的TMI路径。
如上所述,在图55的生成装置1中,由于生成如下第三MP4文件:该第三MP4存储TMI的TMI路径作为HDR信息和存储track_IDs[]作为指定TMI路径中包括的TMI中的要被应用于感兴趣的目标路径的TMI的TMI路径的路径指定信息以及存储tone_mapping_info_id_ref作为指定要被应用于目标路径的TMI的HDR指定信息,所以可以独立地将要被应用于每种媒体的TMI添加到媒体如视频或ST。
另外,在对视频进行编码的情况下,例如,根据HEVC方案,虽然生成将视频的TMI插入到SEI中的视频流,但是在第三MP4文件中,可以独立于要被插入到SEI中的TMI将要被应用于每种媒体的TMI添加到除了视频以外的媒体。
因此,在不独立地将要被应用于ST的TMI添加到ST的情况下,将包括记录在例如蓝光(注册商标)盘中的具有m2ts格式的TMI的视频以及与TMI一起再生的ST转换成MP4文件。
因此,便于TMI到MP4文件的引入,使得可以增加用户喜爱HDR图像(如HDR视频或HDR ST)的可能性。
另外,在对视频进行编码的情况下,例如,根据HEVC方案,由于生成将视频的TMI插入到SEI中的视频流,所以在第二MP4文件中,被插入到SEI中的TMI以及TMI路径的TMI作为视频的TMI而存在。
在这种情况下,在再生装置2(图1)中,例如,可以预先确定或根据用户的操纵来确定被插入到SEI中的TMI和TMI路径的TMI之一用作要被用作视频的TMI。
在该实施方式中,假定:对于第三MP4文件,例如,被插入到SEI中的TMI中的TMI路径的TMI以及TMI路径的TMI用作要被应用于视频的TMI。
在本文中,根据具有SMPTE-TT格式的ST的数据,尽管ST的多个显示屏可以包括在为对MP4文件进行访问的单元的一个样本中,但是在第三MP4文件中,在ST的多个显示屏被包括在一个样本中的情况下,通过根据包括在一个样本中的ST的多个显示屏的显示时间,可以对于包括在一个样本中的ST的多个显示屏中的每个显示屏选择(改变)要被应用于显示屏的TMI。
另外,在第三MP4文件中,由于除了媒体的路径以外存储TMI路径,所以增加生成装置1和再生装置2的处理负荷。然而,增加程度不是很大。
<编码处理单元202的配置示例>
图61是示出了图55的编码处理单元202的配置示例的框图。
另外,在图中与图26的编码处理单元22或图46的编码处理单元122对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
图61的编码处理单元202被配置成包括编码器32、转换单元33、编码器35、特征信息生成单元131、转换信息生成单元132和流生成单元211。
因此,图61的编码处理单元202与图46的编码处理单元122相同之处在于:编码处理单元202被配置成包括编码器32、转换单元33、编码器35、特征信息生成单元131和转换信息生成单元132。
然而,图61的编码处理单元202与图46的编码处理单元122不同之处在于:安装流生成单元211代替流生成单元133。
流生成单元211执行与图26的流生成单元36的处理相同的处理。
也就是说,流生成单元211将由特征信息生成单元131提供的TMI的tone_map_id作为视频和ST的特征信息提供给控制器21(图55)。
另外,流生成单元211将由转换信息生成单元132提供的TMI的tone_map_id作为视频和ST的转换信息提供给控制器21。
另外,流生成单元211将视频的TMI作为SEI插入到由编码器32提供的视频的编码数据中以生成视频流。
另外,流生成单元211将由编码器35提供的ST的数据作为ST流连同视频流一起提供给图55的文件生成单元203。
以这种方式,除了执行与图26的流生成单元36的处理相同的处理以外,流生成单元211还通过使用由特征信息生成单元131提供作为视频和ST的特征信息的TMI和由转换信息生成单元132提供作为视频和ST的转换信息的TMI来生成TMI的TMI流(es(基本流)),并且将该TMI流提供给图55的文件生成单元203。
另外,在流生成单元211中,可以不将视频的TMI插入到由编码器32提供的视频的编码数据中,从而可以将编码数据不经变化地视为视频流。
<生成装置1的文件生成处理>
图62是用于描述由图55的生成装置1执行的文件生成处理的示例的流程图。
如果将原版的HDR数据输入到生成装置1,则类似于图29的步骤S1,在步骤S201中,生成装置1的控制器21确定处理模式是否是模式-i。
在在步骤S1中确定处理模式是模式-i的情况下,该过程进行至步骤S202,编码处理单元202执行模式-i的编码处理。将通过模式-i的编码处理所生成的视频流、ST流和TMI流从编码处理单元202提供至文件生成单元203。
另一方面,在在步骤S201中确定处理模式是模式-ii的情况下,该过程进行至步骤S203,编码处理单元202执行模式-ii的编码处理。将通过模式-ii的编码处理所生成的视频流、ST流和TMI流从编码处理单元202提供至文件生成单元203。
在步骤S202或S203之后,该过程进行至步骤S204,报头信息生成单元201A执行报头信息生成处理。将报头信息生成处理中的报头信息从报头信息生成单元201A提供至文件生成单元203,然后该过程进行至步骤S205。
在步骤S205之后,文件生成单元203生成和输出图56或图60的第三MP4文件,该第三MP4文件存储由编码处理单元202提供的视频流、ST流和TMI流以及由报头信息生成单元201A提供的报头信息,然后文件生成处理结束。
图63是用于描述在图62的步骤S202中执行的模式-i的编码处理的示例的流程图。
在步骤S211至S215中,编码处理单元202(图61)执行与图48的步骤S121至S125的处理相同的处理。
接下来,在步骤S215之后,该过程进行至步骤S216,流生成单元211将由特征信息生成单元131提供作为特征信息的TMI和由转换信息生成单元132提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中以生成视频流。
另外,流生成单元211提供由编码器35提供的ST的数据作为ST流,然后该过程从步骤S216进行至步骤S217。
在步骤S217中,流生成单元211根据视频的TMI和ST的TMI生成TMI的TMI流,并且将该TMI流连同视频流和ST流一起提供给文件生成单元203(图55)。
接下来,流生成单元211将视频的TMI的tone_map_id和ST的TMI的tone_map_id提供给控制器21(图55),然后模式-i的编码处理结束。
图64是用于描述在图62的步骤S203中执行的模式-ii的编码处理的示例的流程图。
在步骤S221至S225中,编码处理单元202(图61)执行与图49的步骤S131至S135的处理相同的处理。
接下来,在步骤S226和S227中,执行与图63的步骤S216和S217的处理相同的处理,然后结束模式-ii的编码处理。
图65是用于描述在图62的步骤S204中执行的报头信息生成处理的示例的流程图。
在步骤S231中,控制器21(图55)的报头信息生成单元201A生成tirf box(图24、图56、图60),该tirf box存储表示由编码处理单元202(其流生成单元211(图61))提供的视频的TMI(要被应用于视频的TMI)的tone_map_id的tone_mapping_info_id_ref。
另外,报头信息生成单元201A生成tirf box,该tirf box存储表示由编码处理单元202提供的ST的TMI(要被应用于ST的TMI)的tone_map_id的tone_mapping_info_id_ref。
另外,报头信息生成单元201A生成tmpi box(图56、图57、图60),该tmpi box存储表示要被应用于视频的TMI的TMI流的路径的track_id的track_IDs[]。
另外,报头信息生成单元201A生成tmpi box,该tmpi box存储表示要被应用于ST的TMI的TMI流的路径的track_id的track_IDs[],然后该过程从步骤S231进行至步骤S232。
在步骤S232中,报头信息生成单元201A产生包括tmpi box的moovbox和包括tirf box的moof box或者产生包括tmpi box和tirf box的moovbox,并且将所产生的box作为报头信息提供给文件生成单元203(图55),然后结束报头信息生成处理。
也就是说,在文件生成单元203中,在生成分片段的影片的MP4文件的情况下,如图56中所示,报头信息生成单元201A生成如下moov box:该moov box包括在视频和ST的路径的相应的trak/tref box中的tmpibox。
另外,如图56中所示,报头信息生成单元201A生成如下moof box:该moof box包括在视频和ST的路径的相应的traf box中的tirf box。
另一方面,在文件生成单元203中,在生成非分片段的影片的MP4文件的情况下,如图60中所示,报头信息生成单元201A生成如下moovbox:在视频和ST的路径的相应的trak/tref box中包括tmpi box且在视频和ST的路径的相应的trak box/stbl box中包括tirf box。
<再生装置2的第三配置示例>
图66是示出了图1的再生装置2的第三配置示例的框图。
另外,在图中与图33或图51的情况对应的部件由相同的附图标记来表示,从而在下文将适当地省略其描述。
在图66中,再生装置2被配置成包括文件获取单元51、操纵输入单元53、组合输出单元56、分解单元231、控制器232和解码处理单元233。
因此,图66的再生装置2与图33的情况的再生装置2相同之处在于:再生装置2被配置成包括文件获取单元51、操纵输入单元53和组合输出单元56。
然而,图66的再生装置2与图33的情况的再生装置2不同之处在于:安装分解单元231、控制器232和解码处理单元233代替分解单元52、控制器54和解码处理单元55。
类似于图33的分解单元52,分解单元231从文件获取单元51的第三MP4文件提取(获取)moov box和moof box作为报头信息,并且将moovbox或moof box提供给控制器232。
另外,分解单元231从文件获取单元51的第三MP4文件提取(获取)视频流、ST流和TMI流作为存储在mdat box中的实际数据,并且将视频流、ST流和TMI流提供给解码处理单元233。
控制器232被配置有CPU、ROM、RAM等。控制器232通过执行预定的程序来控制再生装置2的整体操作。
例如,控制器232将存储在由分解单元231提供的moov box中包括的tmpi box中的track_IDs[](图56、图57、图60)或存储在tirf box中的tone_mapping_info_id_ref(图24、图56、图60)提供给解码处理单元233。另外,例如,控制器232将存储在由分解单元231提供的moof box中包括的tirf box中的tone_mapping_info_id_ref提供给解码处理单元233。
解码处理单元233被配置成包括解码器233A和解码器233B。
解码器233A用作如下获取单元:其获取由分解单元231提供的流(在本文中,视频流、ST流和TMI流)中的包括在TMI路径的TMI流中的TMI作为视频的TMI,TMI路径具有由存储在由控制器232提供的视频的路径的tmpi box中的track_IDs[]表示的track_id。
另外,解码器233A根据HEVC方案对包括在由分解单元231提供的视频流中的编码数据进行解码。
另外,解码器233A获取视频的TMI中的具有由存储在视频的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
接下来,如果需要,解码器233A基于作为转换信息要被应用于视频的TMI将作为解码的结果而获得的HDR视频或STD视频转换成STD视频或HDR视频,并且将STD视频或HDR视频输出至组合输出单元56。
在解码器233A输出HDR视频的情况下,解码器233A将作为特征信息要被应用于视频的TMI连同HDR视频一起输出至组合输出单元56。
解码器233B对由分解单元231提供的ST流进行解码。
另外,解码器233B用作如下获取单元:该获取单元获取由分解单元231提供的流(在本文中,视频流、ST流和TMI流)中的包括在TMI路径的TMI流中的TMI作为ST的TMI,TMI路径具有由存储在ST的路径的tmpi box中且由控制器232提供的track_IDs[]表示的track_id。
另外,解码器233B获取ST的TMI中的具有由存储在ST的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
接下来,如果需要,解码器233B基于作为转换信息要被应用于ST的TMI将作为解码的结果而获得的HDR ST或STD ST转换成STD ST或HDR ST,并且将STD ST或HDR ST输出至组合输出单元56。
在解码器233B输出HDR ST的情况下,解码器233B将作为特征信息要被应用于ST的TMI连同HDR ST一起输出至组合输出单元56。
<再生装置2的再生处理>
图67是用于描述由图66的再生装置2执行的再生处理的示例的流程图。
在步骤S251中,文件获取单元51生成由生成装置1生成的第三MP4文件,并且将第三MP4文件提供给分解单元231。
分解单元231从由文件获取单元51提供的MP4文件读取moov box或moof box作为报头信息,并且读取视频流、ST流和TMI流作为存储在mdat box中的实际数据。
接下来,分解单元231将moov box或moof box作为报头信息提供给控制器232,并且将视频流、ST流和TMI流提供给解码处理单元233。
另外,控制器232将存储在由分解单元231提供的moov box中包括的tmpi box中的track_IDs[]和存储在tirf box中的tone_mapping_info_id_ref提供给解码处理单元233。另外,控制器232将存储在由分解单元231提供的moof box中包括的tirf box中的tone_mapping_info_id_ref提供给解码处理单元233。
之后,该过程从步骤S251进行至步骤S252,并且类似于图34的步骤S42的情况,控制器232确定由文件获取单元51获取的第三MP4文件的处理模式是模式-i还是模式-ii。
在在步骤S252中确定处理模式是模式-i的情况下,该过程进行至步骤S253,解码处理单元233执行模式-i的解码处理。
另一方面,在在步骤S252中确定处理模式是模式-ii的情况下,该过程进行至步骤S254,解码处理单元233执行模式-ii的解码处理。
在在步骤S253或步骤S254中执行解码处理之后,再生处理结束。
图68是用于描述图67的步骤S253中的模式-i的解码处理的流程图。
在步骤S261中,解码器233A获取由分解单元231提供的流中的具有由存储在视频的路径的tmpi box中且由控制器232提供的的track_IDs[]表示的track_id的TMI路径,并且获取包括在TMI流中的TMI作为视频的TMI。
另外,解码器233B获取由分解单元231提供的流中的具有由存储在ST的路径的tmpi box中且由控制器232提供的track_IDs[]表示的track_id的TMI路径,并且获取包括在TMI流中的TMI作为ST的TMI。
之后,该过程从步骤S261进行至步骤S262,解码器233A根据HEVC方案对包括在由分解单元231提供的视频流中的编码数据进行解码以生成HDR视频,然后该过程进行至步骤S263。另外,视频解码(编码)方案不限于HEVC方案。
在步骤S263中,解码器233B将由分解单元231提供的ST流(即,例如具有SMPTE-TT格式的ST的数据的流)解码成HDR ST,然后该过程进行至步骤S264。
在步骤S264中,类似于图35的步骤S64,控制器232确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S264中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S265。
在步骤S265中,解码器233A获取在步骤S261中获取的视频的TMI中的具有由存储在视频的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由tone_mapping_info_id_ref指定为HDR指定信息的TMI)作为要被应用于视频的TMI。
另外,解码器233B获取在步骤S261中获取的ST的TMI中的具有由存储在ST的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI(由tone_mapping_info_id_ref指定为HDR指定信息的TMI)作为要被应用于ST的TMI。
之后,该过程从步骤S265进行至步骤S266。在下文中,在步骤S266和S270中,执行与图35的步骤S66和S70的处理相同的处理。
另一方面,在在步骤S264中确定包括在显示装置3中的监视器不是HDR监视器而是STD监视器的情况下,该过程进行至步骤S267。
在步骤S267中,类似于步骤S265,解码器233A和233B分别获取要被应用于视频和ST的TMI。
之后,该过程从步骤S267进行至步骤S268,然后在下文中,在步骤S268至S270中执行与图35的步骤S68至S70的处理相同的处理。
图69是用于描述图7的步骤S254中的模式-ii的解码处理的流程图。
在步骤S281中,类似于图68的步骤S261,解码器233A和233B获取TMI。
也就是说,解码器233A获取由分解单元231提供的流中的具有由存储在视频的路径的tmpi box中且由控制器232提供的track_IDs[]表示的track_id的TMI路径,并且获取包括在TMI流中的TMI作为视频的TMI。
另外,解码器233B获取由分解单元231提供的流中的具有由存储在ST的路径的tmpi box中且由控制器232提供的track_IDs[]表示的track_id的TMI路径,并且获取包括在TMI流中的TMI作为ST的TMI。
之后,该过程从步骤S281进行至步骤S282,在步骤S282至S284中执行与图36的步骤S82至S84的处理相同的处理。
也就是说,在步骤S282中,解码器233A对包括在由分解单元231提供的视频流中的编码数据进行解码以生成STD视频。在步骤S283中,解码器233B将由分解单元231提供的具有SMPTE-TT格式的ST的数据的ST流解码成STD ST。
接下来,在步骤S284中,控制器232确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S284中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S285。
在步骤S285中,解码器233A获取在步骤S281中获取的视频的TMI中的具有由存储在视频的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于视频的TMI。
另外,解码器233B获取在步骤S281中获取的ST的TMI中的具有由存储在ST的路径的tirf box中且由控制器232提供的tone_mapping_info_id_ref表示的tone_map_id的TMI作为要被应用于ST的TMI。
之后,该过程从步骤S285进行至步骤S286,然后在步骤S286至S289中执行与图36的步骤S86至S89的处理相同的处理。
如上所述,第三配置示例的生成装置1将为除了视频(其流)的路径和ST(其流)的路径以外的TMI(其流)的路径的TMI路径存储在第三MP4文件中。
另外,每种媒体的路径可以包括tmpi box和tirf box,tmpi box存储将track_id表示为指定要被应用于媒体(其路径)的TMI的TMI路径的路径指定信息的track_IDs[],tirf box存储tone_mapping_info_id_ref作为指定TMI路径的TMI中的要被应用于媒体的TMI的HDR指定信息。
因此,对于每种媒体,再生装置2获取指定存储在媒体的路径中包括的tmpi box中的track_IDs[]中的TMI路径(其track_id)的TMI中的由存储在tirf box中的tone_mapping_info_id_ref指定的TMI(具有tone_map_id)作为要被应用媒体的TMI,并且可以将该TMI用于媒体的处理。
<生成装置1的第四配置示例>
图70是示出了图1的生成装置1的第四配置示例的框图。
另外,在图中与图20的情况对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
在图70中,生成装置1被配置成包括控制器21、文件生成单元23和解码处理单元302。
因此,图70的生成装置1与图20的情况的生成装置1相同之处在于:生成装置1被配置成包括控制器21和文件生成单元23,而图70的生成装置1与图20的情况的生成装置1不同之处在于:安装编码处理单元302代替编码处理单元22。
另外,图70的生成装置1与图20的情况的生成装置1不同之处在于:控制器21被配置成包括报头信息单元301A代替报头信息生成单元21A。
在图70的生成装置1中,原版的HDR数据被输入至编码处理单元302。
报头信息生成单元301A生成由文件生成单元23生成的MP4文件的moov以及必要的moof作为报头信息,并且将该报头信息提供给文件生成单元23。
类似于图20的编码处理单元22,编码处理单元302通过对原版的HDR数据执行编码来生成视频流和ST流,并且将视频流和ST流输出至文件生成单元203。
然而,在该实施方式中,HDR存储元素被最新定义为存储TMI作为HDR信息的XML的元件,以及对于ST,编码处理单元302使得存储TMI作为HDR信息的HDR存储元素能够作为XML的元件被包括在作为对ST编码的结果而获得的具有SMPTE-TT格式的ST的数据中以生成ST流。
因此,由于存储TMI作为HDR信息的HDR存储元素包括在作为由编码处理单元302生成的ST流的具有SMPTE-TT格式的ST的数据中,所以可以通过仅使用具有SMPTE-TT格式的ST的数据来执行通过将TMI用作HDR信息显示HDR ST等。
也就是说,对于要被应用于作为存储在上述第一至第三MP4文件中的ST流的具有SMPTE-TT格式的ST的数据的TMI,由于允许TMI存储在tinf box中或者允许参照(使用)除了ST的路径以外的路径中的TMI,所以在将存储在第一至第三MP4文件中的ST流不经变化地存储在具有除了MP4文件的格式以外的容器格式的文件或数据的情况下,难以通过将TMI用作HDR信息来执行显示HDR ST等。
相反,由于存储TMI作为HDR信息的HDR存储元素被包括在作为由编码处理单元302生成的ST流的具有SMPTE-TT格式的ST的数据(在下文中,有时称作新的TT数据)中,所以可以通过仅使用新的TT数据来执行通过将TMI用作HDR信息来显示HDR ST等。
因此,虽然以任何容器格式以及MP4文件提供新的TT数据,但是可以执行通过将TMI用作HDR信息来显示HDR ST等。
也就是说,在图70的生成装置1中,虽然以将数据存储在MP4文件中的状态提供新的TT数据,但是可以例如以将数据存储在例如IP包或除了将数据存储在MP4文件中的状态以外的具有任何其他任意容器格式的文件或数据中的状态提供新的TT数据。
另外,即使在单独提供或以将数据与其他数据如视频复用的状态提供新的TT数据的情况下,也可以执行通过将TMI用作HDR信息来显示HDR ST等。
因此,根据新的TT数据,便于TMI到具有SMPTE-TT格式的ST的数据的引入,使得可以增加用户喜爱HDR ST的可能性。
<编码处理单元302的配置示例>
图71是示出了图70的编码处理单元302的配置示例的框图。
另外,在图中与图26的编码处理单元22对应的部件由相同的附图标记来表示,从而在下文中将适当地省略其描述。
编码处理单元302被配置成包括特征信息生成单元31、编码器32、转换单元33、转换信息生成单元34、编码器35和流生成单元311。
因此,编码处理单元302与图26的编码处理单元22相同之处在于:编码处理单元302被配置成包括特征信息生成单元31、编码器32、转换单元33、转换信息生成单元34和编码器35。
然而,编码处理单元302与图26的编码处理单元122不同之处在于:安装流生成单元311代替流生成单元36。
流生成单元311将由特征信息生成单元31和转换信息生成单元34提供的视频的TMI作为SEI插入到由编码器32提供的视频的编码数据中以生成视频流,并且将该视频流提供给文件生成单元23(图70)。
另外,流生成单元311生成存储由特征信息生成单元31和转换信息生成单元34提供的ST的TMI的HDR存储元素。
另外,流生成单元311将HDR存储元素等插入到由编码器35提供的具有SMPTE-TT格式的ST的编码数据中以生成新的TT数据,并且将新的TT数据的流(ST流)提供给文件生成单元23。
另外,类似于图46的特征信息生成单元131,在图71中,对于HDR视频和HDR ST,特征信息生成单元31可以单独地生成TMI作为特征信息;对于HDR视频,特征信息生成单元31可以生成TMI作为HDR视频的特征信息;而对于HDR ST,特征信息生成单元31可以将作为与HDRST同时显示的HDR视频的特征信息的TMI用作作为ST(HDR ST)的特征信息的TMI。
另外,类似于图46的转换信息生成单元132,在图71中,对于HDR视频和HDR ST,转换信息生成单元34可以单独地生成TMI作为转换信息;对于HDR视频,转换信息生成单元34可以生成TMI作为HDR视频的转换信息;而对于HDR ST,转换信息生成单元34可以将作为与HDRST同时显示的HDR视频的转换信息的TMI用作作为ST(HDR ST)的转换信息的TMI。
<HDR存储元素>
图72是示出了HDR存储元素的示例的图。
存在存储TMI作为转换信息的ToneMap元素以及存储TMI作为特征信息的HdrInfo元素作为HDR存储元素。
图72的A、图72的B以及图72的C表示ToneMap元素的示例,图72的D表示HdrInfo元素的示例。
当tone_map_id为0时,图72的ToneMap A对应于图7的TMI;当tone_map_id为2时,图72的ToneMap B对应于图7的TMI;以及当tone_map_id为3时,图72的ToneMap C对应于图7的TMI。
当tone_map_id为4时,图72的ToneMap D对应于图7的TMI。
另外,图72的ToneMap元素和HdrInfo元素(其中存储TMI)由作为识别信息的xml:id识别。
在图72中,将数字用作ToneMap元素和HdrInfo元素的xml:id。然而,可以将任意字符(字符串)(包括数字)用作xml:id。
可以例如以作为XML的预定的元素的tt、head、body、region、div、p、span或set元素来布置(描述)ToneMap元素和HdrInfo元素。
图73是示出了toneMapRef属性和hdrInfoRef属性的定义的示例的图。
toneMapRef属性是在预定的名称空间(例如,下文将描述的名称空间hdr)之后最新定义为指定存储要被应用于ST的TMI的ToneMap元素的属性的指定属性。
在某个元素具有toneMapRef属性的情况下,获取存储在由toneMapRef属性指定的ToneMap元素中的TMI,并且将其用作要被应用于具有toneMapRef属性的元素中所描述的ST的TMI。
hdrInfoRef属性是在在预定的名称空间(例如,下文将描述的名称空间hdr)之后最新定义为指定存储要被应用于ST的TMI的HdrInfo元素的属性的指定属性。
在某个元素具有hdrInfoRef属性的情况下,获取存储在由hdrInfoRef属性指定的HdrInfo元素中的TMI,并且将其用作要被应用于具有hdrInfoRef属性的元素中所描述的ST的TMI。
可以例如以作为XML的预定的元素的body(主体)、div、p、region(区域)、span或set(设置)元素来描述toneMapRef属性和hdrInfoRef属性。
图74是示出了新的TT数据的第一示例的图。
在图74的新的TT数据中,在描述n1中,定义关于作为HDR信息的TMI的名称空间hdr。
另外,描述n2和n3为ToneMap元素。描述n2的ToneMap元素由xml:id=“A”识别;以及描述n3的ToneMap元素由xml:id=“B”识别。
另外,描述n2和n3的ToneMap元素分别对应于图72的ToneMap元素B和图72的ToneMap元素C。
另外,对于图74的描述n2和n3的ToneMap元素,省略了一部分描述。
描述n4是p元素,并且具有hdr:toneMapRef=“A”作为toneMapRef属性。
根据n4的p元素,根据作为toneMapRef属性的hdr:toneMapRef=“A”,获取存储在由xml:id=“A”识别的描述n2的ToneMap元素中的TMI,并且将其用作要被应用于作为在描述n4的p元素中所描述的ST的文本“this subtitle references ToneMap whose id is A”的TMI。
描述n5是p元素,并且具有hdr:toneMapRef=“B”作为toneMapRef属性。
根据n5的p元素,根据作为toneMapRef属性的hdr:toneMapRef=“B”,获取存储在由xml:id=“B”识别的描述n3的ToneMap元素中的TMI,并且将其用作要被应用于作为在描述n5的p元素中所描述的ST的文本“this subtitle references ToneMap whose id is B”的TMI。
另外,在图74中,以body元素布置描述n2和n3的ToneMap元素。然而,可以将ToneMap元素布置在其他位置处。
另外,在图74中,在同一文件中对具有指定ToneMap元素的toneMapRef属性的描述n2或n3的ToneMap元素以及描述n4或n5的p元素进行描述。
图75是示出了新的TT数据的第二示例的图。
在图75的新的TT数据中,类似于图74的描述n1,在描述n11中,定义关于作为HDR信息的TMI的名称空间hdr。
另外,描述n12和n13为HdrInfo元素。描述n12的HdrInfo元素由xml:id=“AA”识别;以及描述n13的HdrInfo元素由xml:id=“BB”识别。
描述n12和n13的所有HdrInfo元素对应于图72的HdrInfo元素D。
另外,对于图75的描述n12和n13的所有HdrInfo元素,省略了一部分描述。
描述n14是p元素,并且具有hdr:hdrInfoRef=“AA”作为hdrInfoRef属性。
根据n14的p元素,根据作为hdrInfoRef属性的hdr:hdrInfoRef=“AA”,获取存储在由xml:id=“AA”识别的描述n12的HdrInfo元素中的TMI,并且将其用作要被应用于作为在描述n14的p元素中所描述的ST的文本“this subtitle references HdrInfo whose id is AA”的TMI。
描述n15是p元素,并且具有hdr:hdrInfoRef=“BB”作为hdrInfoRef属性。
根据n15的p元素,根据作为hdrInfoRef属性的hdr:hdrInfoRef=“BB”,获取存储在由xml:id=“BB”识别的描述n13的HdrInfo元素中的TMI,并且将其用作要被应用于作为在描述n15的p元素中所描述的ST的文本“this subtitle references HdrInfo whose id is BB”的TMI。
另外,在图75中,以body元素布置描述n12和n13的HdrInfo元素。然而,可以将HdrInfo元素布置在其他位置处。
另外,在图75中,在同一文件中对具有指定HdrInfo元素的hdrInfoRef属性的描述n12或n13的HdrInfo元素以及描述n14或n15的p元素进行描述。
另外,在图74和图75中,以新的TT数据仅描述ToneMap元素和HdrInfo元素之一。然而,可以以新的TT数据描述ToneMap元素和HdrInfo元素两者
另外,在图74和图75中,以p元素仅指定toneMapRef属性和hdrInfoRef属性之一。可以在一个元素中指定toneMapRef属性和hdrInfoRef属性两者。
图76是示出了新的TT数据的第三示例的图。
在本文中,在图74的新的TT数据的第一示例中,存储要被应用于ST的TMI的ToneMap元素由toneMapRef属性指定。然而,在图76的新的TT数据的第三示例中,不使用toneMapRef属性,但是指定存储要被应用于ST的TMI的ToneMap元素。
也就是说,在图76的新的TT数据的第三示例中,通过在显示ST的元素中布置存储要被应用于ST的ToneMap元素,布置在显示ST的元素中的ToneMap元素被指定为存储要被应用于ST的TMI的ToneMap元素。
在图76的新的TT数据中,类似于图74的描述n1,在描述n21中,定义关于作为HDR信息的TMI的名称空间hdr。
另外,在图76中,等于图74的描述n2的描述n23的ToneMap元素被布置在描述n22的div元素中。
另外,将文本“this subtitle references ToneMap whose identifiers areA”显示为ST的描述n24的p元素被布置在描述n22的div元素中。
因此,对于被布置在描述n22的div元素中的描述n24的p元素,获取存储在被布置在描述n22的div元素中的描述n23的ToneMap元素中的TMI,并且将其用作被应用于作为描述n24的p元素中所描述的ST的文本“this subtitle references ToneMap whose identifiers are A”的TMI。
另外,在图76中,等于图74的描述n3的描述n26的ToneMap元素被布置在描述n25的div元素中。
另外,文本“this subtitle references ToneMap whose identifiers are B”被显示为ST的描述n27的p元素被布置在描述n25的div元素中。
因此,对于被布置在描述n25的div元素中的描述n27的p元素,存获取存储在被布置在描述n25的div元素中的描述n26的ToneMap元素中的TMI,并且将其用作要被应用于作为描述n27的p元素中所描述的ST的文本“this subtitle references ToneMap whose identifiers are B”的TMI。
图77是示出了新的TT数据的第四示例的图。
在本文中,在图75的新的TT数据的第二示例中,存储在要被应用于ST的TMI中的HdrInfo元素由hdrInfoRef属性指定。然而,在图76的新的TT数据的第四示例中,不使用hdrInfoRef属性,但是指定存储要被应用于ST的TMI的HdrInfo元素。
也就是说,在图77的新的TT数据的第四示例中,类似于图76的情况,通过在显示ST的元素中布置存储要被应用于ST的HdrInfo元素,布置在显示ST的元素中的HdrInfo元素被指定为存储要被应用于ST的TMI的HdrInfo元素。
在图77的新的TT数据中,类似于图74的描述n1,在描述n31中,定义关于作为HDR信息的TMI的名称空间hdr。
另外,在图77中,等于图75的描述n12的描述n33的HdrInfo元素被布置在描述n32的div元素中。
另外,将文本“this subtitle references HdrInfo whose identifiers areAA”显示为ST的描述n34的p元素被布置在描述n32的div元素中。
因此,对于被布置在描述n32的div元素中的描述n34的p元素,获取存储在被布置在描述n32的div元素中的描述n33的HdrInfo元素中的TMI,并且将其用作被应用于作为描述n34的p元素中所描述的ST的文本“this subtitle references HdrInfo whose identifiers are AA”的TMI。
另外,在图77中,等于图75的描述n13的描述n36的HdrInfo元素被布置在描述n35的div元素中。
另外,文本“this subtitle references HdrInfo whose identifiers are BB”被显示为ST的描述n37的p元素被布置在描述n35的div元素中。
因此,对于被布置在描述n35的div元素中的描述n37的p元素,获取存储在被布置在描述n35的div元素中的描述n36的HdrInfo元素中的TMI,并且将其用作要被应用于作为描述n37的p元素中所描述的ST的文本“this subtitle references HdrInfo whose identifiers are BB”的TMI。
在图76和图77中,以新的TT数据描述ToneMap元素和HdrInfo元素仅之一。然而,可以以新的TT数据描述ToneMap元素和HdrInfo元素两者
<生成装置1的文件生成处理>
图78是用于描述由图70的生成装置1执行的文件生成处理的示例的流程图。
如果将原版的HDR数据输入到生成装置1,则类似于图29的步骤S1,在步骤S301中,生成装置1的控制器21确定处理模式是否是模式-i。
在在步骤S301中确定处理模式是模式-i的情况下,该过程进行至步骤S302,编码处理单元302执行模式-i的编码处理。将通过模式-i的编码处理所生成的视频流和ST流(es)从编码处理单元302提供至文件生成单元23。
另一方面,在在步骤S301中确定处理模式是模式-ii的情况下,该过程进行至步骤S303,编码处理单元302执行模式-ii的编码处理。将通过模式-ii的编码处理所生成的视频流和ST流(es)从编码处理单元302提供至文件生成单元23。
在步骤S302或S303之后,该过程进行至步骤S304,报头信息生成单元301A执行报头信息生成处理。将在报头信息生成处理中所生成的moov和必要的moof作为报头信息从报头信息生成单元301A提供至文件生成单元23,然后该过程进行至步骤S305。
在步骤S305之后,文件生成单元23生成和输出MP4文件,该MP4文件存储由编码处理单元302提供的视频流和ST流以及由报头信息生成单元301A提供的报头信息,然后结束文件生成处理。
图79是用于描述在图78的步骤S302中执行的模式-i的编码处理的示例的流程图。
在步骤S311至S315中,执行与图30的步骤S11至S15的处理相同的处理。
之后,在步骤S316中,编码处理单元302(图71)的流生成单元311将由特征信息生成单元31提供作为特征信息的TMI和由转换信息生成单元34提供作为转换信息的TMI作为编码数据的SEI插入到由编码器32提供的编码数据中以生成视频流,然后该过程进行至步骤S317。
在步骤S317中,流生成单元311生成存储由特征信息生成单元31提供作为特征信息的ST的TMI的HdrInfo元素以及存储由转换信息生成单元34提供作为转换信息的ST的TMI的ToneMap元素。
另外,流生成单元311将HdrInfo元素、ToneMap元素、必要的toneMapRef属性和hdrInfoRef属性插入到由编码器35提供的具有SMPTE-TT格式的ST的数据中以生成新的TT数据。
接下来,流生成单元311将为新的TT数据的流的ST流连同视频流一起提供给文件生成单元23(图70),然后结束(返回)模式-i的编码处理。
图80是用于描述在图78的步骤S303中执行的模式-ii的编码处理的示例的流程图。
在步骤S321至S325中,执行与图31的步骤S21至S25的处理相同的处理。
接下来,在步骤S326和S327中,执行与图79的步骤S316和S317的处理相同的处理。
<再生装置2的第四配置示例>
图81是示出了图1的再生装置2的第四配置示例的框图。
另外,在图中与图33的情况对应的部件由相同的附图标记来表示,从而在下文将适当地省略其描述。
在图81中,再生装置2被配置成包括文件获取单元51、分解单元52、操纵输入单元53、组合输出单元56、控制器321和解码处理单元322。
因此,图81的再生装置2与图33的情况的再生装置2相同之处在于:再生装置2被配置成包括文件获取单元51、分解单元52、操纵输入单元53和组合输出单元56。
然而,图81的再生装置2与图33的情况的再生装置2不同之处在于:安装控制器321和解码处理单元322代替控制器54和解码处理单元55。
控制器321被配置有CPU、ROM、RAM等。控制器321通过执行预定的程序来控制再生装置2的整体操作。
例如,控制器321根据由分解单元52提供的moov box或moof box来控制解码处理单元322。
解码处理单元322被配置成包括解码器322A和解码器322B。
解码器322A从由分解单元52提供的视频流的SEI获取作为特征信息和转换信息的TMI(tone_mapping_info)作为要被应用于视频的TMI。
另外,解码器322A根据HEVC方案对包括在由分解单元52提供的视频流中的编码数据进行解码。
接下来,如果需要,解码器322A基于作为转换信息要被应用于视频的TMI将作为解码的结果而获得的HDR视频或STD视频转换成STD视频或HDR视频,并且将STD视频或HDR视频输出至组合输出单元56。
在解码器322A输出HDR视频的情况下,解码器322A将作为特征信息要被应用于视频的TMI连同HDR视频一起输出至组合输出单元56。
解码器322B对由分解单元52提供的ST流进行解码。
另外,解码器322B用作如下获取单元:该获取单元获取存储在ST流中包括的HdrInfo元素和ToneMap元素(在HdrInfo元素或ToneMap元素由toneMapRef属性或hdrInfoRef属性指定的情况下,由toneMapRef属性或hdrInfoRef属性指定的HdrInfo元素或ToneMap元素)中的TMI作为要被应用于ST的TMI。
因此,如果需要,解码器322B基于作为转换信息要被应用于ST的TMI将作为解码的结果而获得的HDR ST或STD ST转换成STD ST或HDR ST,并且将STD ST或HDR ST输出至组合输出单元56。
在解码器322B输出HDR ST的情况下,解码器322B将作为特征信息要被应用于ST的TMI连同HDR ST一起输出至组合输出单元56。
<再生装置2的再生处理>
图82是用于描述由图81的再生装置2执行的再生处理的示例的流程图。
在步骤S331中,文件获取单元51获取由生成装置1生成的MP4文件,并且将该MP4文件提供给分解单元52。
分解单元52从由文件获取单元51提供的MP4文件读取moov box或moof box作为报头信息,并且读取视频流或ST流作为存储在mdat box中的实际数据。
接下来,分解单元52将moov box或moof box作为报头信息提供给控制器321,并且将视频流或ST流提供给解码处理单元322。
之后,该过程从步骤S331进行至步骤S332,并且类似于图34的步骤S42,控制器321确定由文件获取单元51获取的MP4文件的处理模式是模式-i还是模式-ii。
在在步骤S332中确定处理模式是模式-i的情况下,该过程进行至步骤S333,解码处理单元322执行模式-i的解码处理。
另一方面,在在步骤S332中确定处理模式是模式-ii的情况下,该过程进行至步骤S334,解码处理单元322执行模式-ii的解码处理。
在在步骤S333或步骤S334中执行解码处理之后,再生处理结束。
图83是用于描述图82的步骤S333中的模式-i的解码处理的流程图。
在步骤S341中,解码器322A从由分解单元52提供的视频流的SEI获取TMI作为特征信息和转换信息。
之后,该过程从步骤341进行至步骤S342,解码器322A根据HEVC方案对包括在由分解单元52提供的视频流中的编码数据进行解码以生成HDR视频,然后该过程进行至步骤S343。另外,视频解码(编码)方案不限于HEVC方案。
在步骤S343中,解码器322B将由分解单元231获取存储在由分解单元52提供的ST流(新的TT数据)中的ToneMap元素中的TMI以及存储在HdrInfo元素中的TMI,然后该过程进行至步骤S344。
在步骤S344中,解码器322B对HDR ST中的由分解单元52提供的ST流进行解码,然后该过程进行至步骤S345。
在步骤S345中,类似于图35的步骤S64,控制器321确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S345中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S346。
在步骤S346中,解码器322A获取从在步骤S341中所获取的TMI获取要被应用于视频的TMI。在本文中,作为获取要被应用于MP4文件中所存储的视频的TMI的方法,例如,可以利用在生成装置1和再生装置2的第一配置示例中所描述的方法等。
另外,解码器322B从在步骤S343中所获取的TMI获取要被应用于ST的TMI(存储在由toneMapRef属性或hdrInfoRef属性指定的HdrInfo元素或ToneMap元素中的TMI,在HdrInfo元素或ToneMap元素由toneMapRef属性或hdrInfoRef属性指定的情况下)。
之后,该过程从步骤S346进行至步骤S347。在下文中,在步骤S347和S351之后,执行与图35的步骤S66和S70的处理相同的处理。
另一方面,在在步骤S345中确定包括在显示装置3中的监视器不是HDR监视器而是STD监视器的情况下,该过程进行至步骤S348。
在步骤S348中,类似于步骤S346,解码器322A和322B获取要被应用于视频和ST的TMI。
之后,在步骤S349至S351中,执行与图35的步骤S68至S69的处理相同的处理。
图84是用于描述图82的步骤S334中的模式-ii的解码处理的流程图。
在步骤S361中,类似于图83的步骤S341,解码器322A获取从由分解单元52提供的视频的SEI获取TMI作为特征信息和转换信息。
之后,该过程从步骤S361进行至步骤S362,在步骤S362中,解码器322A根据HEVC方案对包括在从分解单元52提供的视频流中的编码数据进行解码以生成STD视频,然后该过程进行至步骤A363。另外,视频解码(编码)方案不限于HEVC方案。
在步骤S363中,类似于图83的步骤S343,解码器322B获取存储在由分解单元52提供的ST流(新的TT数据)中包括的ToneMap元素中的TMI以及存储在HdrInfo元素中的TMI,然后该过程进行至步骤S364。
在步骤S364中,解码器322B对STD ST中的从分解单元52提供的ST流进行解码,然后该过程进行至步骤S365。
在步骤S365中,类似于图83的步骤S345,控制器321确定包括在显示装置3中的监视器是否是HDR监视器。
在在步骤S365中确定包括在显示装置3中的监视器是HDR监视器的情况下,该过程进行至步骤S366。
在步骤S366中,类似于图83的步骤S346,解码器322A和322B获取要被应用于视频和ST的TMI。
也就是说,在步骤S366中,解码器322A从在步骤S361中所获取的TMI获取要被应用于视频的TMI。
另外,解码器322B从在步骤S363中所获取的TMI获取要被应用于ST的TMI(存储在由toneMapRef属性或hdrInfoRef属性指定的HdrInfo元素或ToneMap元素中的TMI,在HdrInfo元素或ToneMap元素由toneMapRef属性或hdrInfoRef属性指定的情况下)。
之后,该过程从步骤S366进行至步骤S367,然后在步骤S367至S370中执行与图36的步骤S86至S89的处理相同的处理。
如上所述,第四配置示例的生成装置1生成XML的新的TT数据,XML包括HdrInfo元素或ToneMap元素作为HDR存储元素,HDR存储元素存储作为HDR信息的TMI作为XML的元素。
因此,再生装置2从新的TT数据获取要被应用于ST的TMI,并且可以将TMI用于ST的处理。
另外,HdrInfo元素或ToneMap元素或toneMapRef属性或hdrInfoRef属性可以应用于除了由使用XML的SMPTE-TT显示ST的情况以外的使用任意标记语言来显示除了ST以外的任意图像的情况。
<利用本技术的计算机的描述>
接下来,上述一系列处理可以由硬件或软件来执行。在一系列处理由软件执行的情况下,将构成软件的程序安装在通用计算机等中。
图85示出了安装执行上述一系列处理的程序的计算机的实施方式的配置示例。
可以将程序预先记录在硬盘405或ROM 403如内置在计算机中的记录介质中。
可替代地,可以将程序存储(记录)在可移动记录介质411中。可以将可移动记录介质411提供为所谓的软件包。在本文中,存在例如软盘、CD-ROM(只读存储光盘)、MO(磁光)盘、DVD(数字通用盘)、磁盘、半导体存储器等。
另外,除了如上所述将程序从可移动记录介质411安装到计算机中以外,可以通过通信网络或广播网络将程序下载到计算机以安装在内置硬盘405中。也就是说,可以以无线方式例如通过用于数字卫星广播的人造卫星将程序从下载站发送到计算机,或可以以通过网络如LAN(局域网)或因特网的有线方式将程序发送至计算机。
计算机包括CPU(中央处理单元)402,并且输入/输出接口410经由总线401连接至CPU 402。
如果操纵输入单元407的用户通过输入/输出接口410输入命令,则CPU 402根据该命令执行存储在ROM(只读存储器)403中的程序。可替代地,CPU 402将存储在硬盘405中的程序加载到RAM(随机存取存储器)404上以执行。
因此,CPU 402根据上述流程图或由上述框图的配置执行的处理来执行处理。接下来,如果需要,CPU 402通过例如输入/输出接口410从输出单元406输出处理的结果,从通信单元408发送处理的结果,或将处理的结果记录在硬盘405中。
另外,输入单元407被配置有键盘、鼠标、麦克风等。另外,输出单元406被配置成包括LCD(液晶显示器)、扬声器等。
在本文中,在本说明书中,由计算机根据程序执行的处理不一定以根据流程图中所描述的顺序的时间序列来执行。也就是说,由计算机根据程序所执行的处理还包括并行或单独执行的处理(例如,并行处理或通过对象的处理)
另外,程序可以意在由单个计算机(处理器)处理,或可以经历通过多个计算机的分布式处理。另外,程序还可以意在被发送至远程计算机以被执行。
另外,在本说明书中,系统表示一组多个组件(装置、模块(部分)等),所有组件是否存在于同一壳体内并不重要。因此,容纳在不同的壳体内且经由网络互相连接的多个装置以及多个模块容纳在单个壳体内的单个装置为系统。
另外,本技术的实施方式不限于上述实施方式,但是在不偏离本技术的精神的情况下,在该范围内可得到各种变化。
例如,本技术可以具有一个功能经由网络由多个装置共享以协作地被处理的云计算的配置。
另外,上述流程图中所描述的每个步骤可以由单个装置执行或可以由多个装置共享以被执行。
另外,在多个处理包括在一个步骤中的情况下,包括在一个步骤中的多个处理可以由单个装置执行,或可以由多个装置共享以被执行。
另外,本说明书中所描述的效果是示例性的效果,但不限于此,从而可以获取其他效果。
另外,本技术可以具有下面的配置。
<1>一种数据生成装置,包括:
数据生成单元,所述数据生成单元生成包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据,所述HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征信息和表示将所述STD图像和所述HDR图像中的一个图像转换成STD图像和所述HDR图像中的另一图像的转换规则的转换信息。
<2>根据<1>所述的数据生成装置,其中,所述HDR存储元素被设置在预定的标记语言元素中。
<3>根据<2>所述的数据生成装置,其中,所述标记语言是XML(可扩展标记语言)。
<4>根据<3>所述的数据生成装置,其中,所述HDR存储元素被设置在tt元素、头元素、体元素、区域元素、div元素、p元素、span元素或set元素中。
<5>根据<1>至<4>中任一项所述的数据生成装置,其中,所述数据是具有SMPTE(电影电视工程师协会)-TT(定时文本)格式的数据。
<6>根据<1>至<5>中任一项所述的数据生成装置,其中,作为所述HDR存储元素,存在存储所述特征信息的元素和存储所述转换信息的元素。
<7>根据<1>至<6>中任一项所述的数据生成装置,其中,所述数据还包括具有指定属性的元素,所述指定属性被定义为指定存储有要应用于图像的所述HDR信息的所述HDR存储元素的属性。
<8>一种数据生成方法,包括:
生成包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据,所述HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征信息和表示将所述STD图像和所述HDR图像中的一个图像转换成所述STD图像和所述HDR图像中的另一图像的转换规则的转换信息。
<9>一种数据再生装置,包括:
获取单元,所述获取单元从包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据中获取存储在所述HDR存储元素中的HDR信息,所述HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
<10>根据<9>所述的数据再生装置,其中,所述HDR存储元素被设置在预定的标记语言元素中,并且
其中,所述获取单元从设置在所述预定元素中的所述HDR存储元素中获取要应用于在所述预定元素中显示的图像的所述HDR信息。
<11>根据<10>所述的数据再生装置,其中,所述标记语言是XML(可扩展标记语言)。
<12>根据<11>所述的数据再生装置,其中,所述HDR存储元素被设置在tt元素、头元素、主体元素、区域元素、div元素、p元素、span元素或设置元素中。
<13>根据<9>至<12>中任一项所述的数据再生装置,其中,所述数据是具有SMPTE(电影电视工程师协会)-TT(定时文本)格式的数据。
<14>根据<9>至<13>中任一项所述的数据再生装置,其中,作为所述HDR存储元素,存在存储所述特征信息的元素和存储所述转换信息的元素。
<15>根据<9>至<14>中任一项所述的数据再生装置,其中,所述数据还包括具有指定属性的元素,所述指定属性被定义为指定存储有待应用于图像的所述HDR信息的所述HDR存储元素的属性,以及
其中,所述获取单元从由包括在所述元素中的所述指定属性所指定的所述HDR存储元素中获取要被应用于使用所述元素而显示的图像的所述HDR信息。
<16>一种数据再生方法,包括从包括存储作为标记语言元素的HDR信息的HDR存储元素的标记语言数据中获取存储在所述HDR存储元素中的HDR信息,所述HDR信息被配置有表示具有动态范围比STD(标准)图像的动态范围高的HDR(高动态范围)图像的亮度的特征的特征信息和表示将STD图像和HDR图像中的一个图像转换成STD图像和HDR图像中的另一图像的转换规则的转换信息。
附图标记列表
1 生成装置
2 再生装置
3 显示装置
4 电缆
11 记录介质
12 传输介质
21 控制器
21A 报头信息生成单元
22 编码处理单元
23 文件生成单元
31 特征信息生成单元
32 编码器
33 转换单元
34 转换信息生成单元
35 编码器
36 流生成单元
51 文件获取单元
52 分解单元
53 操纵输入单元
54 控制器
55 解码处理单元
55A,55B 解码器
56 组合输出单元
101 控制器
101A 存储器
102 通信单元
103 信号处理单元
104 监视器
121A 报头信息生成单元
122 编码处理单元
131 特征信息生成单元
132 转换信息生成单元
133 流生成单元
141 控制器
142 解码处理单元
142A,142B 解码器
201A 报头信息生成单元
202 编码处理单元
203 文件生成单元
211 流生成单元
231 分解单元
232 控制器
233 解码处理单元
233A,233B 解码器
301A 报头信息生成单元
302 编码处理单元
311 流生成单元
321 控制器
322 解码处理单元
322A,322B 解码器
401 总线
402 CPU
403 ROM
404 RAM
405 硬盘
406 输出单元
407 输入单元
408 通信单元
409 驱动器
410 输入/输出接口
411 可移动记录介质
1001,1002 元素

Claims (16)

1.一种数据生成装置,包括:
数据生成单元,所述数据生成单元生成包括HDR(高动态范围)存储元素的标记语言数据,所述HRD存储元素存储作为所述标记语言的元素的HDR信息,所述HDR信息被配置有特征信息和转换信息,所述特征信息表示具有动态范围比STD(标准)图像的动态范围高的HDR图像的亮度特征,所述转换信息表示将所述STD图像和所述HDR图像中的一个图像转换为所述STD图像和所述HDR图像中的另一个图像的转换规则。
2.根据权利要求1所述的数据生成装置,其中,所述HDR存储元素被设置在所述标记语言的预定元素中。
3.根据权利要求2所述的数据生成装置,其中,所述标记语言是XML(可扩展标记语言)。
4.根据权利要求3所述的数据生成装置,其中,所述HDR存储元素被设置在tt元素、头部元素、主体元素、区域元素、div元素、p元素、span元素或设置元素中。
5.根据权利要求3所述的数据生成装置,其中,所述数据是具有SMPTE(美国电影电视工程师协会)-TT(时控文本)格式的数据。
6.根据权利要求5所述的数据生成装置,其中,作为所述HDR存储元素,存在存储所述特征信息的元素和存储所述转换信息的元素。
7.根据权利要求5所述的数据生成装置,其中,所述数据还包括具有指定属性的元素,所述指定属性被定义为指定存储有要应用于图像的所述HDR信息的所述HDR存储元素的属性。
8.一种数据生成方法,包括:
生成包括HDR(高动态范围)存储元素的标记语言数据,所述HDR存储元素存储作为所述标记语言的元素的HDR信息,所述HDR信息被配置有特征信息和转换信息,所述特征信息表示具有动态范围比STD(标准)图像的动态范围高的HDR图像的亮度特征,所述转换信息表示将所述STD图像和所述HDR图像中的一个图像转换为所述STD图像和所述HDR图像中的另一个图像的转换规则。
9.一种数据再生装置,包括:
获取单元,所述获取单元从包括有HDR(高动态范围)存储元素的标记语言数据中获取存储在所述HDR存储元素中的HDR信息,所述HDR存储元素存储作为所述标记语言的元素的所述HDR信息,所述HDR信息被配置有特征信息和转换信息,所述特征信息表示具有动态范围比STD(标准)图像的动态范围高的HDR图像的亮度特征,所述转换信息表示将所述STD图像和所述HDR图像中的一个图像转换为所述STD图像和所述HDR图像中的另一个图像的转换规则。
10.根据权利要求9所述的数据再生装置,其中,
所述HDR存储元素被设置在所述标记语言的预定元素中;
所述获取单元从所述预定元素中设置的所述HDR存储元素中获取要应用于在所述预定元素中显示的图像的所述HDR信息。
11.根据权利要求10所述的数据再生装置,其中,所述标记语言是XML(可扩展标记语言)。
12.根据权利要求11所述的数据再生装置,其中,所述HDR存储元素被设置在在tt元素、头部元素、主体元素、区域元素、div元素、p元素、span元素或设置元素中。
13.根据权利要求11所述的数据再生装置,其中,所述数据是具有SMPTE(美国电影电视工程师协会)-TT(时控文本)格式的数据。
14.根据权利要求13所述的数据再生装置,其中,作为所述HDR存储元素,存在存储所述特征信息的元素和存储所述转换信息的元素。
15.根据权利要求13所述的数据再生装置,其中,
所述数据还包括具有指定属性的元素,所述指定属性被定义为指定存储有要被应用于图像的所述HDR信息的所述HDR存储元素的属性;
所述获取单元从由在所述元素中包括的所述指定属性所指定的所述HDR存储元素中获取要应用于使用所述元素而显示的图像的所述HDR信息。
16.一种数据再生方法,包括:
从包括有HDR(高动态范围)存储元素的标记语言数据中获取存储在所述HDR存储元素中的HDR信息,所述HDR存储元素存储作为所述标记语言的元素的所述HDR信息,所述HDR信息被配置有特征信息和转换信息,所述特征信息表示具有动态范围比STD(标准)图像的动态范围高的HDR图像的亮度特征,所述转换信息表示将所述STD图像和所述HDR图像中的一个图像转换为所述STD图像和所述HDR图像中的另一个图像的转换规则。
CN201480001931.1A 2013-07-19 2014-07-10 数据生成装置、数据生成方法、数据再生装置及数据再生方法 Active CN104488261B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013150438 2013-07-19
JP2013-150438 2013-07-19
PCT/JP2014/068380 WO2015008685A1 (ja) 2013-07-19 2014-07-10 データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法

Publications (2)

Publication Number Publication Date
CN104488261A true CN104488261A (zh) 2015-04-01
CN104488261B CN104488261B (zh) 2019-04-23

Family

ID=52346148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480001931.1A Active CN104488261B (zh) 2013-07-19 2014-07-10 数据生成装置、数据生成方法、数据再生装置及数据再生方法

Country Status (6)

Country Link
US (1) US9596430B2 (zh)
EP (1) EP2869566B1 (zh)
JP (1) JP6402632B2 (zh)
CN (1) CN104488261B (zh)
TW (1) TWI632810B (zh)
WO (1) WO2015008685A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491148A (zh) * 2015-05-12 2020-08-04 松下电器(美国)知识产权公司 显示方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
TWI630821B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
JP6471752B2 (ja) * 2014-05-12 2019-02-20 ソニー株式会社 通信装置及び通信方法、並びにコンピューター・プログラム
CN111901599B (zh) * 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
WO2016157839A1 (ja) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
WO2017033811A1 (ja) * 2015-08-24 2017-03-02 シャープ株式会社 受信装置、放送システム、受信方法、及びプログラム
EP3375194A1 (en) 2015-11-09 2018-09-19 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
US20180376180A1 (en) * 2015-12-29 2018-12-27 Thomson Licensing Method and apparatus for metadata insertion pipeline for streaming media
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2020000135A1 (zh) * 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1535008A (zh) * 2002-12-27 2004-10-06 ��ʽ���綫֥ 信息再现设备和信息再现方法
CN101801099A (zh) * 2000-10-25 2010-08-11 高通股份有限公司 高速率分组数据和低时延数据传输的方法和装置
CN102422322A (zh) * 2009-05-11 2012-04-18 杜比实验室特许公司 光检测、色貌模型、以及修改图像显示的动态范围
US20130124471A1 (en) * 2008-08-29 2013-05-16 Simon Chen Metadata-Driven Method and Apparatus for Multi-Image Processing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP5249784B2 (ja) * 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
EP2324636A1 (en) * 2008-08-22 2011-05-25 Thomson Licensing Method and system for content delivery
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
CN102845067B (zh) * 2010-04-01 2016-04-20 汤姆森许可贸易公司 三维(3d)呈现中的字幕
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
KR102135841B1 (ko) * 2011-05-10 2020-07-22 코닌클리케 필립스 엔.브이. 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
US8872981B1 (en) * 2011-12-15 2014-10-28 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101801099A (zh) * 2000-10-25 2010-08-11 高通股份有限公司 高速率分组数据和低时延数据传输的方法和装置
CN1535008A (zh) * 2002-12-27 2004-10-06 ��ʽ���綫֥ 信息再现设备和信息再现方法
US20130124471A1 (en) * 2008-08-29 2013-05-16 Simon Chen Metadata-Driven Method and Apparatus for Multi-Image Processing
CN102422322A (zh) * 2009-05-11 2012-04-18 杜比实验室特许公司 光检测、色貌模型、以及修改图像显示的动态范围

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEONCE A N J ET AL: "An Intelligent High Dynamic Range Video Codec For Handheld Devices", 《2011 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS(ICCE)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491148A (zh) * 2015-05-12 2020-08-04 松下电器(美国)知识产权公司 显示方法

Also Published As

Publication number Publication date
WO2015008685A1 (ja) 2015-01-22
EP2869566B1 (en) 2021-04-28
JPWO2015008685A1 (ja) 2017-03-02
CN104488261B (zh) 2019-04-23
US20150208024A1 (en) 2015-07-23
EP2869566A4 (en) 2016-07-20
JP6402632B2 (ja) 2018-10-10
EP2869566A1 (en) 2015-05-06
TWI632810B (zh) 2018-08-11
US9596430B2 (en) 2017-03-14
TW201524203A (zh) 2015-06-16

Similar Documents

Publication Publication Date Title
CN104488261A (zh) 数据生成装置、数据生成方法、数据再生装置及数据再生方法
CN104488262B (zh) 文件生成设备、文件生成方法、文件再现设备和文件再现方法
CN104509094B (zh) 文件生成设备、文件生成方法、文件再现设备及文件再现方法
CN105393549A (zh) 数据输出装置、数据输出方法及数据生成方法
CN110460792A (zh) 再现方法及再现装置
CN106165403A (zh) 数据输出装置、数据输出方法以及数据生成方法
CN105324987A (zh) 再现装置、再现方法以及记录媒体
WO2015045916A1 (ja) 再生装置、再生方法、および記録媒体
JP7238948B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant