CN108141622B - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN108141622B
CN108141622B CN201680055639.7A CN201680055639A CN108141622B CN 108141622 B CN108141622 B CN 108141622B CN 201680055639 A CN201680055639 A CN 201680055639A CN 108141622 B CN108141622 B CN 108141622B
Authority
CN
China
Prior art keywords
image data
format
frame rate
high definition
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055639.7A
Other languages
English (en)
Other versions
CN108141622A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108141622A publication Critical patent/CN108141622A/zh
Application granted granted Critical
Publication of CN108141622B publication Critical patent/CN108141622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明的目的是以在接收侧可以成功实现向后兼容的方式传输具有高帧速率的超高清图像数据。获得以下：基本格式图像数据，用于通过处理具有高帧速率的超高清图像数据来获得具有基本帧速率的高清图像；第一扩展格式图像数据，用于获得具有基本帧速率的超高清图像；以及第二扩展格式图像数据，用于获得具有高帧速率的超高清图像。生成包括基本格式图像数据的编码图像数据的基本视频流和包括第一扩展格式图像数据的编码图像数据和第二扩展格式图像数据的编码图像数据的两个或一个扩展视频流。传输包括基本流和扩展视频流的预定格式的内容。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及一种发送装置、一种发送方法、一种接收装置以及一种接收方法，具体地，涉及一种发送装置等，被配置为以高帧速率传输超高清图像数据。
背景技术
考虑到用于高清固定接收器的图像服务(视频服务)和用于中等清晰度移动接收器的图像服务共享流，以便在固定接收器和移动接收器共享相同的传输频带的接收环境中有效地使用传输位速率，从而相比于单独提供用于固定接收器的服务和用于移动接收器的服务的联播服务，总位速率进一步降低。例如，专利文献1描述了以可扩展的方式执行媒体编码，以生成用于低清晰度图像服务的基本层流和用于高清图像服务的扩展层流，并且传输包括这两个流的广播信号。
另一方面，在需要运动场景等的流畅和明显的运动的情况下，需要具有高快门速度和高帧速率的高帧速率视频服务。在提供高帧速率服务的情况下，假设将由相机的高速帧快门拍摄的运动图像转换为待发送的较低频运动图像序列。利用高速帧快门拍摄的图像具有改善运动模糊和实现高清图像质量的效果，但是由于在需要与传统的正常帧速率接收器兼容的情况下使得并非所有而是仅仅一部分高帧速率视频被显示，所以具有选通(strobe，频闪)效应的问题。本申请人已经提出了一种技术，用于转换由高速帧快门拍摄的图像的素材，并且在用于正常帧速率解码的传统接收器中以特定或更高图像质量显示转换素材(参考专利文献2)。
引用列表
专利文献
专利文献1：日本专利申请国家公开(公开)No.2008-543142
专利文献2：国际公开No.2015/076277
发明内容
本发明要解决的问题
本技术的一个目的是传输具有高帧速率的超高清图像数据，从而优选实现接收侧的向后兼容性。
解决问题的方案
本技术的概念在于一种发送装置，包括：
图像处理单元，被配置为处理具有高帧速率的超高清图像数据，以获得用于获得具有基本帧速率的高清图像的基本格式的图像数据、用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据、以及用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据；
图像编码单元，其被配置为生成包括基本格式的图像数据的编码图像数据的基本视频流、以及分别包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
发送单元，其被配置为传输包括所述基本流和所述两个或一个扩展视频流的预定格式的容器，
其中，所述图像处理单元以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理，以获得具有基本帧速率的第一超高清图像数据，以两个时间上连续的图片为单位进行第二比率混合处理，以获得第二扩展格式的图像数据，对第一图像数据进行缩减处理，以获得基本格式的图像数据，并且在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据与第一图像数据之间取差值，以获得第一扩展格式的图像数据。
根据本技术，图像处理单元处理具有高帧速率的超高清图像数据，以获得用于获得具有基本帧速率的高清图像的基本格式的图像数据、用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据、以及用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据。
在此处，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，获得第二扩展格式的图像数据。通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。此外，通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据。
图像编码单元生成包括基本格式的图像数据的编码图像数据的基本视频流、以及分别包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流。然后，发送单元传输包括所述基本流和所述两个或一个扩展视频流的预定格式的容器。
根据本技术，传输以下：基本视频流，包括用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据；以及两个或一个扩展视频流，包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据。因此，传输具有高帧速率的超高清图像数据，在接收侧具有更好向后兼容性。
例如，具有处理具有基本帧速率的高清图像数据的解码能力的接收器可以仅处理基本视频流，并且可以显示具有基本帧速率的高清图像。此外，例如，具有处理具有基本帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有基本帧速率的超高清图像。此外，例如，具有处理具有高帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有高帧速率的超高清图像。
另外，根据本技术，通过对通过以两个时间上连续的图片为单位对具有基本帧速率的超高清图像数据进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。因此，通过仅处理基本视频流而显示的具有基本帧速率的高清图像在选通效应中被限制为平滑图像。
另外，根据本技术，例如，可以进一步提供信息插入单元，其被配置为将指示在空间上可扩展的标识信息插入到第一扩展格式的图像数据的编码图像数据和/或与编码的图像数据对应的容器位置中。通过插入的标识信息，接收侧可以容易地识别出第一扩展格式的图像数据用于获得超高清图像数据。
在这种情况下，例如，信息插入单元可以进一步插入指示在空间上可扩展的比率的信息。接收侧可以通过使用指示在空间上可扩展的比率的信息来适当地执行空间上可扩展的处理，从而优选地获得超高清图像数据。
此外，根据本技术，例如，可以进一步提供信息插入单元，其被配置为将指示在时间上可扩展的标识信息插入到第二扩展格式的图像数据的编码图像数据和/或与编码的图像数据对应的容器位置中。通过插入的标识信息，接收侧可以容易地识别出第二扩展格式的图像数据用于获得具有高帧速率的图像数据。
在这种情况下，例如，信息插入单元可以进一步插入指示通过执行所述混合处理而获得基本格式的图像数据的标识信息。通过插入的标识信息，接收侧可以容易地识别出通过执行混合处理获得基本格式的图像数据。
此外，在这种情况下，例如，信息插入单元可以进一步插入混合处理的比率信息(关于第一比率的信息和关于第二比率的信息)。接收侧可以通过使用混合处理的比率信息来适当地执行时间上可扩展的处理，从而优选地获得具有高帧速率的图像数据。
此外，根据本技术，例如，还提供了一种发送单元，其被配置为传输具有用于促使接收装置获得所述基本视频流和所述两个或一个扩展视频流的元信息的元文件，并且指示可扩展性的对应性的信息插入到所述元文件中。接收侧可以容易地从指示插入到元文件中的可扩展性的对应性的信息中识别可扩展性的对应性，并且可以获得并且有效地仅处理所需要的流或编码的图像数据。
此外，本技术的另一概念是一种接收装置，包括：接收单元，其被配置为接收预定格式的容器，所述容器包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流、以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流，
其中，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，获得第二扩展格式的图像数据，
通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据，
通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据，并且
所述接收装置还包括处理单元，其被配置为仅处理基本视频流，以获得具有基本帧速率的高清图像数据，或者处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
根据本技术，接收单元接收预定格式的容器，所述容器包括基本视频流和两个或一个扩展视频流。基本视频流具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据。两个或一个扩展视频流具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据。
在此处，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，获得第二扩展格式的图像数据。通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据。
处理单元仅处理基本视频流，以获得具有基本帧速率的高清图像数据，或者处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
如上所述，根据本技术，仅处理基本视频流以获得具有基本帧速率的高清图像数据，基本视频流包括用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据。即，具有处理具有基本帧速率的高清图像数据的解码能力的接收器可以仅处理基本视频流，并且可以显示具有基本帧速率的高清图像，从而实现向后兼容性。
在此处，通过对通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。因此，通过仅处理基本视频流而显示的具有基本帧速率的高清图像在选通效应中被限制为平滑图像。
此外，处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。即，具有处理具有基本帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有基本帧速率的超高清图像。此外，具有处理具有高帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有高帧速率的超高清图像。
另外，根据本技术，例如，指示空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，并且所述处理单元可以使用指示空间上可扩展的比率的插入信息来获得具有基本帧速率的超高清图像数据。在这种情况下，可以适当地执行空间上可扩展的处理，从而优选地获得具有基本帧速率的超高清图像数据。
此外，根据本技术，例如，指示空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，关于第一比率的信息和关于第二比率的信息插入到第二扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，并且所述处理单元可以使用指示空间上可扩展的比率的插入信息以及关于第一比率的信息和关于第二比率的信息来获得具有高帧速率的超高清图像数据。在这种情况下，可以适当地执行空间上可扩展和时间上可扩展的处理，从而优选地获得具有高帧速率的超高清图像速率。
本发明的效果
根据本技术，可以传输具有高帧速率的超高清图像数据，从而优选地在接收侧实现向后兼容性。另外，在本说明书中描述的效果仅仅是示例性的，而不是限制性的，并且可以获得额外的效果。
附图说明
图1是示出基于MPEG-DASH的流分发系统的示例性配置的方框图；
图2是示出按层级方式设置在MPD文件中的结构之间的示例性关系的示图；
图3是示出根据实施例的发送/接收系统的示例性配置的方框图；
图4是用于说明根据混合比而变化的快门开口率的示图；
图5是示出服务发送系统和服务接收器的处理概述的示图；
图6是示出在传输包括基本视频流Stb和扩展流STe1和STe2的三个流配置时的示例性流配置的示图；
图7是示出传输三个流配置时的DASH/MP4轨迹(track)配置的示图；
图8是示出包括轨迹B、轨迹E1和轨迹E2的每个轨迹数据的MP4流(文件)的示例性配置的示图；
图9是示出SPS(VPS)中的示例性元素的示图；
图10是示出视频可扩展性SEI的示例性结构的示图；
图11是示出视频可扩展性SEI的示例性结构中的主要信息的内容的示图；
图12是示出视频可扩展性信息描述符的示例性结构的示图；
图13是示出传输三个流配置时的MPD文件的示例性描述的示图；
图14是示出传输包括基本视频流STb和扩展流STe的两个流配置时的示例性流配置的示图；
图15是示出传输两个流配置时的DASH/MP4轨迹配置的示图；
图16是示出包括轨迹B和轨迹EH的每个轨迹数据的MP4流(文件)的示例性配置的示图；
图17是示出传输两个流配置时的MPD文件的示例性描述的示图；
图18是示出了服务发送系统的示例性配置的方框图；
图19是示意性地示出视频编码器的配置的示图；
图20是示出视频编码器中的被配置为执行处理1的信号处理单元和被配置为执行处理2的信号处理单元的示图；
图21是示出被配置为执行处理1的信号处理单元的示例性配置的方框图；
图22是示意性地示出被配置为执行处理1的信号处理单元中的输入数据(图像数据Va)与输出数据(图像数据Vb和Vc)之间的示例性关系的示图；
图23是示出被配置为执行处理2的信号处理单元的示例性配置的方框图；
图24是示出能够处理具有高帧速率的超高清运动图像数据的服务接收器的示例性配置的方框图；
图25是示意性地示出视频解码器的配置的示图；
图26是示出在视频解码器中的被配置为执行逆处理1的信号处理单元和被配置为执行逆处理2的信号处理单元的示图；
图27是示出被配置为执行逆处理2的信号处理单元的示例性配置的方框图；
图28是示出被配置为执行逆处理1的信号处理单元的示例性配置的方框图；
图29是示出能够处理具有基本帧速率的超高清运动图像数据的服务接收器的示例性配置的方框图；
图30是示出能够处理具有基本帧速率的高清运动图像数据的服务接收器的示例性配置的方框图；
图31是示出传输三个流配置时的传输流的示例性配置的示图；
图32是示出传输两个流配置时的传输流的示例性配置的示图；
图33是示出传输三个流配置时的MMT流的示例性配置的示图；
图34是示出传输两个流配置时的MMT流的示例性配置的示图。
具体实施方式
下面将描述用于执行本发明的模式(将在下面表示为“实施例”)。另外，将按以下顺序进行描述。
1、实施例
2、变形例
<1、实施例>
【基于MPEG-DASH的流分发系统的概述】
首先，将描述本技术适用的基于MPEG-DASH的流分发系统的概述。
图1的(a)示出了基于MPEG-DASH的流分发系统30A的示例性配置。在示例性配置中，媒体流和MPD文件经由通信网络传输路径(通信传输路径)传输。流分发系统30A被配置为使得N个服务接收器33-1、33-2、...和33-N经由内容分发网络(CDN)34连接到DASH流文件服务器31和DASH MPD服务器32。
DASH流文件服务器31基于预定内容的媒体数据(例如，视频数据、音频数据或字幕数据)来生成DASH规范的流片段(根据需要表示为“DASH片段”)，并且响应于来自服务接收器的HTTP请求发送片段。DASH流文件服务器31可以是流式专用服务器，或者可以与网络服务器共享。
此外，DASH流文件服务器31响应于从服务接收器33(33-1、33-2、...、和33-N)发送的对预定流的片段的请求，经由CDN 34向请求源接收器传输流片段。在这种情况下，服务接收器33选择具有最佳速率的流，并且参考在媒体呈现描述(MPD)文件中描述的速率值，根据客户端所在的网络环境的状态，做出请求。
引导DASH MPD服务器32生成MPD文件，以便获得在DASH流文件服务器31中生成的DASH片段。基于来自内容管理服务器(未示出)的内容元数据和在DASH流文件服务器31中生成的片段地址(url)，生成MPD文件。另外，DASH流文件服务器31和DASH MPD服务器32可以在物理上相同。
每个视频流、音频流等使用元素表示来描述MPD格式中的每个属性。例如，MPD文件描述具有不同速率的多个视频数据流中的每个的分割表示的相应速率。如上所述，服务接收器33可以参考速率值，根据服务接收器33所在的网络环境的状态，选择最佳流。
图1的(b)示出基于MPEG-DASH的流分发系统30B的示例性配置。在示例性配置中，媒体流和MPD文件经由RF传输路径(广播传输路径)传输。流分发系统30B由与DASH流文件服务器31和DASH MPD服务器32连接的广播发送系统36以及M个服务接收器35-1、35-2、...、和35-M构成。
在流分发系统30B中，广播发送系统36通过广播波传输在DASH流文件服务器31中生成的DASH规范的流片段(DASH片段)和在DASH MPD服务器32中生成的MPD文件。
图2示出按层级方式设置在MPD文件中的结构之间的示例性关系。如图2的(a)所示，在作为整个MPD文件的媒体呈现中，存在以时间间隔定界的多个周期。例如，假设第一周期在0秒开始，假设下一周期在100秒开始，以此类推。
如图2的(b)所示，在这些周期中存在多个适应集(AdaptationSet)。每个适配集取决于诸如视频或音频等媒体类型的差异、相同媒体类型的语言差异、视点差异等。如图2的(c)所示，多个表示(representation)存在于自适应集中。每个表示都依赖于流属性，例如，速率差异。
如图2的(d)所示，表示包括片段信息(segmentInfo)。如图2的(e)所示，在片段信息中存在初始片段和多个媒体片段，每个媒体片段描述每个片段的信息作为进一步定界的周期。用于实际获得视频、音频等的片段数据的地址(url)信息等存在于媒体片段中。
另外，可以在包括在自适应集中的多个表示中自由地执行流切换。由此，可以根据接收侧的网络环境的状态来选择具有最佳速率的流，并且实现无缝视频分发。
【发送/接收系统的示例性配置】
图3示出了根据实施例的发送/接收系统10的示例性配置。发送/接收系统10由服务发送系统100和服务接收器200构成。在发送/接收系统10中，服务发送系统100对应于图1的(a)所示的流分发系统30A中的DASH流文件服务器31和DASH MPD服务器32。此外，在发送/接收系统10中，服务发送系统100对应于图1的(b)所示的流分发系统30B中的DASH流文件服务器31、DASH MPD服务器32和广播发送系统36。
此外，在发送/接收系统10中，服务接收器200对应于图1的(a)所示的流分发系统30A中的服务接收器33(33-1、33-2、...、33-N)。此外，在发送/接收系统10中，服务接收器200对应于图1的(b)所示的流分发系统30B中的服务接收器35(35-1、35-2、...、35-M)。
服务发送系统100经由通信网络传输路径(参考图1的(a))或RF传输路径(参考图1的(b))传输包括MPD文件作为元文件和视频、音频等的媒体流(媒体片段)的DASH/MP4或MP4。
根据本实施例，媒体流是基本视频流和通过处理具有高帧速率(HFR)的超高清(UHD)图像数据(运动图像数据)而获得的两个或一个扩展视频流。具有高帧速率的超高清图像数据例如是120fps的4K/8K图像数据。
基本视频流具有基本格式的图像数据的编码图像数据，用于获得具有基本帧速率(正常帧速率)的高清图像。所述两个或一个扩展视频流具有第一扩展格式的图像数据的编码图像数据，用于获得具有基本帧速率的超高清图像；以及第二扩展格式的图像数据的编码图像数据，用于获得具有高帧速率的超高清图像。
在此处，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据执行第二比率混合处理，获得第二扩展格式的图像数据。通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据。
在此处，如图4的(a)所示，假设具有高帧速率的图像数据是原始图像序列(高速快门图像序列)。在该图中，“A”和“B”分别表示以两个时间上连续的图片为单位的第一图片的图像数据和第二图片的图像数据。原始图像序列的快门开口率是1(100％)。虽然没有示出，但是从具有高帧速率的图像数据中简单地提取的“A”或“B”的图像序列的快门开口率是1/2(50％)。
相反，如图4的(b)至图4的(d)所示，通过以两个时间上连续的图片为单位执行混合处理而获得的混合图像序列的快门开口率在1/2(50％)和1(100％)之间。在图中，“C”表示通过以两个图片为单位执行第一比率混合处理而获得的具有基本帧速率的图像数据，“D”表示通过以两个图片为单位执行第二比率混合处理而获得的扩展帧的高帧速率图像数据。在此处，“C”的混合图像序列是感兴趣的。
例如，如图4的(b)所示，当第一图片的系数α是1并且第二图片的系数β是0时，混合图像序列的快门开口率是1/2(50％)。此外，例如，如图4的(c)所示，当第一图片的系数α是3/4并且第二图片的系数β是1/4时，混合图像序列的快门开口率是3/4(75％)。此外，例如，如图4的(d)所示，当第一图片的系数α是1/2并且第二图片的系数β是1/2时，混合图像序列的快门开口率是1(100％)。
指示空间上可扩展的标识信息和指示空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据和与编码图像对应的容器位置数据中的一个或者两者中，这两者都根据本实施例。根据本实施例，具有该信息的SEI NAL单元插入到第一扩展格式的图像数据的编码图像数据(存取单元)中，并且具有该信息的描述符插入到MP4中的与第一扩展格式的图像数据对应的方框“moof”中。接收侧可以容易地识别出第一扩展格式的图像数据是在空间上可扩展的，并且识别出空间上可扩展的比率。
指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息、以及指示混合比率(第一比率和第二比率)的信息插入到第二扩展格式的图像数据的编码图像数据和与编码图像数据对应的容器位置中的一个或者两者中，这两者都根据本实施例。
根据本实施例，具有该信息的SEI NAL单元插入到第二扩展格式的图像数据的编码图像数据(存取单元)中，并且具有该信息的描述符插入到MP4中的与第二扩展格式的图像数据对应的方框“moof”中。接收侧可以容易地识别出第二扩展格式的图像数据是时间上可扩展的，通过执行混合处理获得基本格式的图像数据，并且识别出混合比率(第一和第二比率)。
此外，根据本实施例，指示可扩展性的对应性的信息插入到MPD文件中。即，表明通过将使用第一扩展格式的图像数据扩展到基本格式的图像数据上，来获得具有基本帧速率的超高清图像数据。此外，表明通过将使用第一和第二扩展格式的图像数据扩展到基本格式的图像数据上，来获得具有高帧速率的超高清图像数据。接收侧可以容易地识别出可扩展性的对应性，并且可以获得并且有效地仅处理所需的流或编码的图像数据。
服务接收器200经由通信网络传输路径(参考图1的(a))或RF传输路径(参考图1的(b))接收从服务发送系统100发送的MP4。在服务接收器200是具有处理具有基本帧速率的高清图像数据的解码能力的接收器的情况下，仅处理基本视频流，获得具有基本帧速率的高清图像数据，并且再现图像。
此外，在服务接收器200是具有处理具有基本帧速率的超高清图像数据的解码能力的接收器的情况下，处理基本视频流和扩展流，获得具有基本帧速率的超高清图像数据，并再现图像。此外，在服务接收器200是具有处理具有高帧速率的超高清图像数据的解码能力的接收器的情况下，处理基本视频流和扩展流，获得具有高帧速率的超高清图像数据，并再现图像。
在服务接收器200使用第一扩展格式的图像数据执行空间上可扩展处理的情况下，使用插入到第一扩展格式的图像数据的编码图像数据或者与编码图像数据对应的容器位置中的指示空间上可扩展的比率的信息。由此，服务接收器200可以适当地执行空间上可扩展的处理。
此外，在服务接收器200使用第二扩展格式的图像数据执行时间上可扩展处理的情况下，使用插入到第二扩展格式的图像数据的编码图像数据和对应于编码图像数据的容器位置中的指示混合比率(第一和第二比率)的信息。由此，服务接收器200可以适当地执行在时间上可扩展的处理。
图5示出了服务发送系统100和服务接收器200中的处理概述。具有高帧速率(HFR)的超高清(UHD)图像数据(“HFR/UHD视频”)输入到服务发送系统100中。在服务发送系统100中，编码器100处理图像数据“HFR/UHD视频”，获得并传输基本视频流STb和两个扩展视频流STe1和STe2，或者基本视频流STb和一个扩展视频流STe。
在此处，基本视频流STb具有基本格式的图像数据的编码图像数据，用于获得具有基本帧速率(LFR)的高清(HD)图像。扩展视频流STe1具有第一扩展格式的图像数据的编码图像数据，用于获得具有基本帧速率(LFR)的超高清(UHD)图像。扩展视频流STe2具有第二扩展格式的图像数据的编码图像数据，用于获得具有高帧速率(HFR)的超高清(UHD)图像。扩展视频流STe具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据。
在具有处理具有高帧速率的超高清图像数据的解码能力的服务接收器200A中，解码器203A处理基本视频流STb和扩展视频流STe1和STe2，或者基本视频流STb和扩展视频流STe，获得具有高帧速率的超高清图像数据“HFR/UHD视频”，并且再现图像。
此外，在具有处理具有基本帧速率的超高清图像数据的解码能力的服务接收器200B中，解码器203B处理基本视频流STb和扩展视频流STe1，或基本视频流STb和扩展视频流STe，获得具有基本帧速率的超高清图像数据“LFR/UHD视频”，并且再现图像。此外，在具有处理具有基本帧速率的高清图像数据的解码能力的服务接收器200C中，解码器203C处理基本视频流STb，获得具有基本帧速率的高清图像数据“LFR/HD视频”，并再现图像。
图6示出了在传输包括基本视频流STb和扩展视频流STe1和STe2的三个流配置时的示例性流配置。所示的示例表示具有120Hz的高帧速率的情况。横轴表示构图(POC)的图片顺序，其中，左侧表示较早的显示时间，而右侧表示较晚的显示时间。每个矩形框指示图片，箭头指示预测编码处理中的示例性图片参考关系。对于层间和层内预测，每个方框改变当前图片，并且预测的方向和参考的数量不限于所示的示例。
包括在层ID(layering_id)为“0”的基本视频流STb中的基本格式的图像数据“HD60Hz基本”的序列存在于最低级。图像数据“HD 60Hz基本”的层ID(Layer_id)是“0”。
包括在层ID(layering_id)为“1”的扩展视频流STe1中的第一扩展格式的图像数据“UHD 60Hz增强”的序列存在于其上。“UHD 60Hz增强”是相对于图像数据“HD 60Hz基本”在空间方向上的可扩展性。图像数据“UHD 60Hz增强”的层ID(Layer_id)是“1”。
包括在层ID(layering_id)为“2”的扩展视频流STe2中的第二扩展格式的图像数据“UHD HFR增强”的序列存在于其上。“UHD HFR增强”是相对于图像数据“UHD 60Hz增强”在时间方向上的可扩展性。图像数据“UHD HFR增强”的层ID(Layer_id)是“2”。
具有基本帧速率的高清(HD)图像(60Hz HD图像)可以基于基本格式的图像数据“HD 60Hz基本”再现。此外，具有基本帧速率的超高清(UHD)图像(60Hz UHD图像)可以基于基本格式的图像数据“HD 60Hz基本”以及第一扩展格式的图像数据“UHD 60Hz增强”再现。此外，可以基于基本格式的图像数据“HD 60Hz基本”、第一扩展格式的图像数据“UHD 60Hz增强”以及第二扩展格式的图像数据“UHD HFR增强”，再现具有高帧速率的超高清(UHD)图像(120Hz UHD图像)。
图7示出了传输三个流配置时的DASH/MP4轨迹(track)配置。在这种情况下，存在对应于基本视频流STb(HD基本流)的轨迹B、对应于扩展视频流(UHD E1流)的轨迹E1和对应于扩展视频流(UHD E2流)的轨迹E2。
每个矩形框表示图片，箭头表示可扩展性的对应性。即，通过使用包括在轨迹E1中的第一扩展格式的图像数据在空间上可扩展的扩展到包括在轨迹B中的基本格式的图像数据上，获得具有基本帧速率的超高清(UHD)图像或者60Hz UHD图像的图像数据。此外，通过使用包括在轨迹E1中的第一扩展格式的图像数据和包括在轨迹E2中的第二扩展格式的图像数据在空间上可扩展和在时间上可扩展的扩展到包括在轨迹B中的基本格式的图像数据上，获得具有高帧速率的超高清(UHD)图像或者120Hz UHD图像的图像数据。
图8示出了包括轨迹B、轨迹E1和轨迹E2的每个轨迹数据的MP4流(文件)的示例性配置。所示的示例是片段MP4的情况。由包括控制信息的方框“moof”和包括媒体数据的方框“mdat”配置成的预定数量的电影片段设置在MP4流中。在方框“mdat”中包括轨迹数据片段，因此包括在方框“moof”中的控制信息是关于片段的控制信息。此外，将通过在轨迹中每个存取单元设置被称为提取器的NAL型数据包，来定义将不会详细描述的轨迹间预测参考关系。
对于诸如1GOP等预定数量的图片，基本格式的图像数据的编码图像数据(存取单元)设置在对应于轨迹B的MP4流“video-basesubbitstream”中的每个电影片段中的方框“mdat”中。在此处，每个存取单元由诸如“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”和“SSEI”等NAL单元配置成。另外，例如，在GOP的头部图片中插入“VPS”和“SPS”。
图9的(b)示出了SPS(VPS)中的示例性元素。例如，如图9的(a)所示，配置基本视频流STb(HD基本流)、扩展视频流(UHD E1流)、扩展视频流(UHD E2流)。表明，假设“general_level_idc”的值为“156”，并且扩展视频流STe2、扩展视频流STe1和基本视频流Stb的整个流级别(可扩展编码的像素速率的复杂度)是“5.2级”。此外，表明，假设“general_profile_idc”的值为“7”，并且整个流简档(可扩展编码的类型)是“可扩展主要10简档”。
此外，假设“sublayer_level_present_flag[j-1]”为“1”，假设“sublayer_level_idc[j-1]”的值为“153”，并且假设“sublayer_profile_idc[j-1]”为“7”。由此，表明扩展视频流STe1和基本视频流STb的整个流级别是“级别5.1”，并且表明其简档是“可扩展主要10简档”。
此外，假设“sublayer_level_present_flag[j-2]”为“1”，假设“sublayer_level_idc[j-2]”的值为“123”，并且假设“sublayer_profile_idc[j-1]”为“2”。由此，表明基本视频流STb的级别是“级别4.1”，并且表示其简档是“主要10简档”。
返回到图8，在对应于轨迹B的MP4流“video-basesubbitstream”中的每个电影片段中的方框“moof”中，存在方框“traf”，并且在方框“traf”中存在方框“tfdt”。在方框“tfdt”中描述了方框“moof”之后的第一存取单元的解码器时间“baseMediaDecodeTime”。
此外，在方框“moof”中存在方框“tfdt”，在方框“tfdt”中存在方框“sgpd”，并且在方框“sgpd”中存在方框“tscl”。在方框“tscl”中描述了四个参数“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”。“temporalLayerId”表示时间ID(temporal_id)。假设“tlConstantFrameRate”为“1”，这表示帧速率是恒定的。
“tllevel_idc”表示基本视频流STb的级别，并且与SPS(VPS)中的元素“sublayer_level_idc[j-2]”匹配。在此处，假设“tllevel_idc”为“123”。“Tlprofile”表示基本视频流STb的简档，并且与SPS(VPS)中的元素“sublayer_profile_idc[j-2]”匹配。在此处，假设“Tlprofile”为“2”。
对于诸如1GOP等预定数量的图片，第一扩展格式的图像数据的编码图像数据(存取单元)设置在对应于轨迹E1的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中。在此处，每个存取单元由诸如“PPS”、“PSEI”、“SLICE”和“SSEI”等NAL单元配置成。
在对应于轨迹E1的MP4流“video-basesubbitstream”中的每个电影片段中，在方框“moof”中存在“traf”，并且在方框“traf”中存在方框“tfdt”。在方框“tfdt”中描述了在方框“moof”之后的第一存取单元的解码时间“baseMediaDecodeTime”。
此外，在方框“moof”中存在方框“tfdt”，在方框“tfdt”中存在方框“sgpd”，并且在方框“sgpd”中存在方框“tscl”。在方框“tscl”中描述了四个参数“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”。“temporalLayerId”表示时间ID(temporal_id)。假设“tlConstantFrameRate”为“1”，这表示帧速率是恒定的。
“tllevel_idc”表示扩展视频流STe1和基本视频流STb的整个流级别，并且与SPS(VPS)中的元素“sublayer_level_idc[j-1]”匹配。在此处，假设“tllevel_idc”为“153”。“Tlprofile”表示扩展视频流STe1和基本视频流STb的整个流简档，并且与SPS(VPS)中的元素“sublayer_profile_idc[j-1]”匹配。在此处，假设“Tlprofile”为“7”。
对于诸如1GOP等预定数量的图片，第二扩展格式的图像数据的编码图像数据(存取单元)设置在对应于轨迹E2的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中。在此处，每个存取单元由诸如“PPS”、“PSEI”、“SLICE”和“SSEI”等NAL单元配置成。
在对应于轨迹E2的MP4流“video-basesubbitstream”中的每个电影片段中，在方框“moof”中存在“traf”，并且在方框“traf”中存在方框“tfdt”。在方框“tfdt”中描述了在方框“moof”之后的第一存取单元的解码时间“baseMediaDecodeTime”。
此外，在方框“moof”中存在方框“tfdt”，在方框“tfdt”中存在方框“sgpd”，并且在方框“sgpd”中存在方框“tscl”。在方框“tscl”中描述了四个参数“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”。“temporalLayerId”表示时间ID(temporal_id)。假设“tlConstantFrameRate”为“1”，这表示帧速率是恒定的。
“tllevel_idc”表示扩展视频流STe2、扩展视频流STe1和基本视频流STb的整个流级别，并且与SPS(VPS)中的元素“general_level_idc”匹配。在此处，假设“tllevel_idc”为“156”。“Tlprofile”表示扩展视频流STe2、扩展视频流STe1和基本视频流STb的整个流简档，并且与SPS(VPS)中的元素“general_level_idc”匹配。在此处，假设“Tlprofile”为“7”。
如上所述，对于预定数量的图片，第一扩展格式的图像数据的存取单元设置在对应于轨迹E1的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中。具有指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息的SEI NAL单元插入到每个存取单元中。根据本实施例，新定义的视频可扩展性SEI(video_scalability_SEI)插入到存取单元(AU)中的部分“SEI”中。
此外，如上所述，对于预定数量的图片，第二扩展格式的图像数据的存取单元设置在对应于轨迹E2的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中。具有指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息的SEI NAL单元插入每个存取单元中。根据本实施例，新定义的视频可扩展性SEI(video_scalability_SEI)插入到存取单元(AU)中的部分“SEI”中。
图10示出了视频可扩展性SEI的示例性结构(语法)，并且图11示出了示例性结构中的主要信息的内容(语义)。“temporal_scalable_flag”中的1位字段指示流是否在时间上可扩展。例如，“1”表示在时间上可扩展，“0”表示在时间上不可扩展。
在插入到第一扩展格式的图像数据的存取单元中的视频可扩展性SEI中，“temporal_scalable_flag”被设置为“0”，并且指示该流是在时间上不可扩展的。另一方面，在插入到第二扩展格式的图像数据的存取单元中的视频可扩展性SEI中，“temporal_scalable_flag”被设置为“1”，并且指示该流在时间上可扩展。
“spatial_scalable_flag”中的1位字段指示流是否在空间上可扩展。例如，“1”表示在空间上可扩展，“0”表示在空间上不可扩展。在插入到第一扩展格式的图像数据的存取单元中的视频可扩展性SEI中，“spatial_scalable_flag”被设置为“1”，并且指示该流在空间上可扩展。另一方面，在插入到第二扩展格式的图像数据的存取单元中的视频可扩展性SEI中，“spatial_scalable_flag”被设置为“0”，并且指示该流是在空间上不可扩展的。
当“spatial_scalable_flag”是“1”时，存在3位字段“scaling_ratio”。该字段表示在空间上可扩展的比率或基本和扩展在一维方向上的放大比率。例如，“001”表示两倍，“010”表示三倍，“011”表示四倍。例如，当超高清(UHD)是4K清晰度时，“scaling_ratio”被设置为“001”，并且当超高清(UHD)是8K清晰度时，“scaling_ratio”被设置为“011”。
当“temporal_scalable_flag”是“1”时，存在1位字段“picture_blending_flag”。该字段指示是否对基本流(基本格式的图像数据)执行图片混合处理。例如，“1”表示进行混合处理，“0”表示不进行混合处理。
当“picture_blending_flag”是“1”时，存在指示混合比率(第一和第二比率)的字段，或者存在“blend_coef_alpha_alternatte_picture”、“blend_coef_beta_alternate_picture”、“blend_coef_alpha_current_picture”和“blend_coef_beta_current_picture”的3位字段。“blend_coef_alpha_alternatte_picture”的字段是要与基本层中的图片相乘的系数(对应于稍后描述的系数p)。“blend_coef_beta_alternate_picture”的字段是要与当前图片(在扩展流中)相乘的系数(对应于稍后描述的系数r)。“blend_coef_alpha_current_picture”的字段是要与扩展层中的图片相乘的系数(对应于稍后描述的系数q)。“blend_coef_beta_current_picture”的字段是要与当前图片(在扩展流中)相乘的系数(对应于稍后描述的系数s)。
返回图8，在与轨迹E1对应的MP4流“video-e1subbitstream”中的每个电影片段中的方框“moof”中，插入指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息。根据本实施例，在方框“moof”下方提供方框“udta”或“lays”，并传输视频可扩展性信息描述符(video_scalability_information_descriptor)的新定义的语法。
此外，指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息插入到对应于轨迹E2的MP4流“video-e1subbitstream”中的每个电影片段中的方框“moof”中。根据本实施例，在方框“moof”下方提供方框“udta”或“lays”，并且传输视频可扩展性信息描述符(video_scalability_information_descriptor)的新定义的语法。
图12示出了视频可扩展性信息描述符的示例性结构(语法)。另外，示例性结构中的主要信息的内容(语义)与上述视频可扩展性SEI的内容(语义)类似，并且将省略其描述。
图13示出了传输三个流配置(参考图6)时的MPD文件的示例性描述。对应于基本视频流STb(HD基本流)、扩展视频流STe1(UHD E1流)和扩展视频流STe2(UHD E2流)的表示存在于MPD文件中。
在与基本视频流STb(HD基本流)相关联的表示中存在“framerate＝“60””、“codecs＝“hev1.A.L123，xx””和“id＝“tag0””的描述。“framerate＝“60”&L123，没有dependencyid”表示2K 60P基本流，““A””指示表示“主要10简档”的值2。指示级别和简档的信息与SPS(VPS)中的元素“sublayer_level_idc[j-2]”和“sublayer_profile_idc[j-2]”匹配。此外，假设“sublayer_profile_idc[j-2]”＝“主要10简档(profile)”，并且假设“sublayer_level_idc[j-2]”＝“级别4.1”＝“123”。此外，通过描述“<BaseURL>video-basesubbitstream.mp4</BaseURL>”，将基本视频流STb(HD基本流)的位置目的地指示为“video-basesubbitstream.mp4”。
在与扩展视频流STe1(UHD E1流)相关联的表示中存在“framerate＝“60””、“codecs＝“hev1.B.L153，xx””、“id＝“tag1””和“i dependencyid＝“tag0””的描述。“framerate＝“60”&L153，将dependencyid标记为tag0”表示4K 60P流通过扩展到基本流实现，““B””指示表示“可扩展主要10简档”的值7。指示级别和简档的信息与SPS(VPS)中的元素“sublayer_level_idc[j-1]”和“sublayer_profile_idc[j-1]”匹配。另外，假设“sublayer_profile_idc[j-1]”＝“可扩展主要10简档”，并且假设“sublayer_level_idc[j-1]”＝“级别5.1”＝“153”。此外，通过描述“<BaseURL>video-e1subbitstream.mp4</BaseURL>”，将扩展视频流STe1(UHD E1流)的位置目的地指示为“video-e1subbitstream.mp4”。
在与扩展视频流STe2(UHD E2流)相关联的呈现中，存在“framerate＝“120””、“codecs＝“hev1.C.L156，xx””、“id＝“tag2””和“i dependencyid＝“tag0、tag1””的描述。“framerate＝“120”&L156，将dependencyid标记为tag0、tag1”表示对基本流执行4K 60P扩展，并且进一步向其添加扩展成分，从而实现4K 120P流，并且““C””指示表示“可扩展主要10简档”的值7。指示级别和简档的信息与SPS(VPS)中的元素“general_level_idc”和“general_profile_idc”匹配。另外，假设“general_level_idc”＝“可扩展主要10简档”，并且假设“general_level_idc”＝“级别5.2”＝“156”。此外，通过描述“<BaseURL>video-e2subset.mp4</BaseURL>”，将扩展视频流STe2(UHD E2流)的位置目的地指示为“video-e2subset.mp4”。
以这种方式将指示可扩展性的对应性的信息插入到MPD文件中，并且指示同时实现空间可扩展性和时间可扩展性。
图14示出了在传输包括基本视频流STb和扩展流STe的两个流配置时的示例性流配置。所示的示例表示具有120Hz的高帧速率的情况。横轴表示构图(POC)的图片顺序，其中，左侧表示较早的显示时间，而右侧表示较晚的显示时间。每个矩形框指示图片，箭头指示预测编码处理中的示例性图片参考关系。对于层间和层内预测，每个方框的当前图片改变，并且预测的方向和参考的数量不限于所示的示例。
包括在层ID(layering_id)为“0”的基本视频流STb中的基本格式的图像数据“HD60Hz基本”的序列存在于最低级。图像数据“HD 60Hz基本”的层ID(Layer_id)是“0”。
包括在层ID(layering_id)为“1”的扩展视频流STe中的第一扩展格式的图像数据“UHD 60Hz增强”的序列存在于其上。“UHD 60Hz增强”是相对于图像数据“HD 60Hz基本”在空间方向上的可扩展性。图像数据“UHD 60Hz增强”的层ID(Layer_id)是“1”。此外，假设图像数据“UHD60Hz增强”的时间ID(Temporal_id)是预定阈值TH或更小。
包括在层ID(layering_id)为“2”的扩展视频流STe中的第二扩展格式的图像数据“UHD HFR增强”的序列存在于其上。“UHD HFR增强”是相对于图像数据“UHD 60Hz增强”在时间方向上的可扩展性。图像数据“UHD HFR增强”的层ID(Layer_id)是“1”。此外，图像数据“UHD HFR增强”的时间ID(Temporal_id)高于预定阈值TH。
如上所述，假设图像数据“UHD 60Hz增强”的时间ID处于阈值TH或更小，而图像数据“UHD HFR增强”的时间ID高于阈值TH。由此，可以根据时间ID是否是阈值TH以下来区分图像数据“UHD 60Hz增强”和图像数据“UHD HFR增强”。
具有基本帧速率的高清(HD)图像(60Hz HD图像)可以基于基本格式的图像数据“HD 60Hz基本”再现。此外，具有基本帧速率的超高清(UHD)图像(60Hz UHD图像)可以基于基本格式的图像数据“HD 60Hz基本”以及第一扩展格式的图像数据“UHD 60Hz增强”再现。此外，可以基于基本格式的图像数据“HD 60Hz基本”、第一扩展格式的图像数据“UHD 60Hz增强”以及第二扩展格式的图像数据“UHD HFR增强”，再现具有高帧速率的超高清(UHD)图像(120Hz UHD图像)。
图15示出了传输两个流配置时的DASH/MP4轨迹配置。在这种情况下，存在对应于基本视频流STb(HD基本流)的轨迹B和对应于扩展视频流(UHD EH流)的轨迹EH。
每个矩形框表示图片，箭头表示可扩展性的对应性。即，通过使用包括在轨迹EH中的第一扩展格式的图像数据在空间上可扩展性而扩展到包括在轨迹B中的基本格式的图像数据，获得具有基本帧速率的超高清(UHD)图像或者60Hz UHD图像的图像数据。此外，通过使用包括在轨迹EH中的第一和第二扩展格式的图像数据在空间上可扩展性和在时间上可扩展性而扩展到包括在轨迹B中的基本格式的图像数据，获得具有高帧速率的超高清(UHD)图像或者120Hz UHD图像的图像数据。
图16示出包括轨迹B和轨迹EH的每个轨迹数据的MP4流(文件)的示例性配置。所示的示例是片段MP4的情况。由包括控制信息的方框“moof”和包括媒体数据的方框“mdat”配置成的预定数量的电影片段设置在MP4流中。在方框“mdat”中包括轨迹数据片段，因此包括在方框“moof”中的控制信息是关于片段的控制信息。此外，将通过在轨迹中每个存取单元设置被称为提取器的NAL型数据包，来定义将不会详细描述的轨迹间预测参考关系。
对于诸如1GOP等预定数量的图片，基本格式的图像数据的编码图像数据(存取单元)设置在对应于轨迹B的MP4流“video-basesubbitstream”中的每个电影片段中的方框“mdat”中。在此处，每个存取单元由诸如“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”和“SSEI”等NAL单元配置成。另外，例如，在GOP的头部图片中插入“VPS”和“SPS”。
在对应于轨迹B的MP4流“video-basesubbitstream”中的每个电影片段中的方框“moof”中，存在方框“traf”，并且在方框“traf”中存在方框“tfdt”。在方框“tfdt”中描述了方框“moof”之后的第一存取单元的解码时间“baseMediaDecodeTime”。
此外，在方框“moof”中存在方框“tfdt”，在方框“tfdt”中存在方框“sgpd”，并且在方框“sgpd”中存在方框“tscl”。在方框“tscl”中描述了四个参数“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”。“temporalLayerId”表示时间ID(temporal_id)。假设“tlConstantFrameRate”为“1”，这表示帧速率是恒定的。
“tllevel_idc”表示基本视频流STb的级别，并且与SPS(VPS)中的元素“sublayer_level_idc[j-2]”匹配。在此处，假设“tllevel_idc”为“123”。“Tlprofile”表示基本视频流STb的简档，并且与SPS(VPS)中的元素“sublayer_profile_idc[j-2]”匹配。在此处，假设“Tlprofile”为“2”。
对于诸如1GOP等预定数量的图片，第一扩展格式的图像数据的编码图像数据(存取单元)或第二扩展格式的图像数据的编码图像数据(存取单元)设置在对应于轨迹EH的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中。在此处，每个存取单元由诸如“PPS”、“PSEI”、“SLICE”和“SSEI”等NAL单元配置成。
在对应于轨迹EH的MP4流“video-basesubbitstream”中的每个电影片段中，在方框“moof”中存在“traf”，并且在方框“traf”中存在方框“tfdt”。在方框“tfdt”中描述了在方框“moof”之后的第一存取单元的解码时间“baseMediaDecodeTime”。
此外，在方框“moof”中存在方框“tfdt”，在方框“tfdt”中存在方框“sgpd”，并且在方框“sgpd”中存在方框“tscl”。在方框“tscl”中描述了四个参数“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”。“temporalLayerId”表示时间ID(temporal_id)。假设“tlConstantFrameRate”为“1”，这表示帧速率是恒定的。
“tllevel_idc”表示与第一扩展格式的图像数据对应的每个电影片段中的方框“moof”中的第一扩展视频流(由第一扩展格式的图像数据的存取单元配置成)和基本视频流STb的整个流级别，并且与SPS(VPS)中的元素“sublayer_level_idc[j-1]”匹配。在此处，假设“tllevel_idc”为“153”。“Tlprofile”表示第一扩展视频流和基本视频流STb的整个流简档，并且与SPS(VPS)中的元素“sublayer_profile_idc[j-1]”匹配。在此处，假设“Tlprofile”为“7”。
此外，在与第二扩展格式的图像数据对应的每个电影片段中的方框“moof”中，“tllevel_idc”表示扩展视频流STe和基本视频流STb的整个流级别，并且与SPS(VPS)中的元素“general_level_idc”匹配。在此处，假设“tllevel_idc”为“156”。“Tlprofile”表示扩展视频流STe和基本视频流STb的整个流简档，并且与SPS(VPS)中的元素“general_level_idc”匹配。在此处，假设“Tlprofile”为“7”。
第一扩展格式的图像数据的存取单元或用于预定数量的图片的第一扩展格式的图像数据的存取单元设置在对应于轨迹EH的MP4流“video-e1subbitstream”中的每个电影片段中的方框“mdat”中，如上所述。
具有指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息的SEINAL单元插入到第一扩展格式的图像数据的每个存取单元中。此外，具有指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息的SEI NAL单元插入到第二扩展格式的图像数据的每个存取单元中。根据本实施例，新定义的视频可扩展性SEI(video_scalability_SEI)插入到存取单元(AU)中的部分“SEI”中。
此外，在对应于轨迹EH的MP4流“video-e1subbitstream”中，指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息插入到与具有第一扩展格式的图像数据的存取单元的“mdat”对应的方框“moof”中。
此外，在对应于轨迹EH的MP4流“video-e1subbitstream”中，指示在时间上可扩展的标识信息、指示通过执行混合处理而获得基本格式的图像数据的标识信息、以及指示混合比率(第一和第二比率)的信息插入到与具有第二扩展格式的图像数据的存取单元的“mdat”对应的方框“moof”中。
根据本实施例，在方框“moof”下面提供方框“udta”或“lays”，并传输视频可扩展性信息描述符的新定义的语法(参考图12)。
图17示出了在传输两个流配置(参考图14)时MPD文件的示例性描述。对应于基本视频流STb(HD基本流)和扩展视频流STe(UHD EH流)的表示存在于MPD文件中。进一步地，对应于第一扩展视频流(由第一扩展格式的图像数据的存取单元构成)的子表示和对应于第二扩展视频流(由第二扩展格式的图像数据的存取单元构成)的子表示存在于扩展视频流STe的表示中。
在与基本视频流STb(HD基本流)相关联的表示中存在“framerate＝“60””、“codecs＝“hev1.A.L123，xx””和“id＝“tag0””的描述。“framerate＝“60”&L123，没有dependencyid”表示2K 60P基本流，““A””指示表示“主要10简档”的值2。指示级别和简档的信息与SPS(VPS)中的元素“sublayer_level_idc[j-2]”和“sublayer_profile_idc[j-2]”匹配。此外，假设“sublayer_profile_idc[j-2]”＝“主要10简档”，并且假设“sublayer_level_idc[j-2]”＝“级别4.1”＝“123”。此外，通过描述“<BaseURL>video-basesubbitstream.mp4</BaseURL>”，将基本视频流STb(HD基本流)的位置目的地指示为“video-basesubbitstream.mp4”。
在与第一扩展视频流相关联的表示中存在“framerate＝“60””、“codecs＝“hev1.B.L153，xx””、“id＝“tag1””和“i dependencyid＝“tag0””的描述。“framerate＝“60”&L153，将dependencyid标记为tag0”表示4K 60P流通过扩展到基本流实现，““B””指示表示“可扩展主要10简档”的值7。指示级别和简档的信息与SPS(VPS)中的元素“sublayer_level_idc[j-1]”和“sublayer_profile_idc[j-1]”匹配。另外，假设“sublayer_profile_idc[j-1]”＝“可扩展主要10简档”，并且假设“sublayer_level_idc[j-1]”＝“级别5.1”＝“153”。
在与第二扩展视频流相关联的表示中，存在“framerate＝“120””、“codecs＝“hev1.C.L156，xx””、“id＝“tag2””和“i dependencyid＝“tag0、tag1””的描述。“framerate＝“120”&L156，将dependencyid标记为tag0、tag1”表示对基本流执行4K 60P扩展，并且进一步向其添加扩展成分，从而实现4K 120P流，并且““C””指示表示“可扩展主要10简档”的值7。指示级别和简档的信息与SPS(VPS)中的元素“general_level_idc”和“general_profile_idc”匹配。另外，假设“general_level_idc”＝“可扩展主要10简档”，并且假设“general_level_idc”＝“级别5.2”＝“156”。
此外，通过与扩展视频流STe(UHD EH流)相关联的表示中的描述“<BaseURL>video-enhancesubstream.mp4</BaseURL>”，扩展视频流STe(UHD EH流)的位置目的地表示为“video-enhancedsubstream.mp4”。
以这种方式将指示可扩展性的对应性的信息插入到MPD文件中，并且指示同时实现空间可扩展性和时间可扩展性。
【服务发送系统的示例性配置】
图18示出了服务发送系统100的示例性配置。服务发送系统100包括控制单元101、视频编码器102、容器编码器103和发送单元104。
控制单元101包括中央处理单元(CPU)，并且基于控制程序来控制服务发送系统100中的每个单元的操作。视频编码器102输入具有高帧速率(HFR)的超高清(UHD)图像数据Va，并输出基本视频流STb和扩展视频流STe1和STe2，或基本视频流STb和扩展视频流STE。
图19示意性地示出了视频编码器102的配置。视频编码器102由被配置为执行处理1的信号处理单元102a、被配置为执行处理2的信号处理单元102b和被配置为执行通常编码处理的编码处理单元102c配置成。
图20示出了视频编码器102中的信号处理单元102a和信号处理单元102b。所示的示例示出具有120Hz的高帧速率的情况。信号处理单元102a处理具有高帧速率的超高清图像数据Va(120Hz UHD)，从而获得具有基本帧速率的超高清图像数据Vb(UHD 60Hz基本)以及图像数据Vc(UHD HFR增强)作为用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据ES2。
信号处理单元102b处理图像数据Vb(UHD 60Hz基本)，从而获得作为基本格式的图像数据BS的图像数据Vd(HD 60Hz基本)，用于获得具有基本帧速率的高清图像，并获得作为第一扩展格式的图像数据ES1的图像数据Ve(UHD 60Hz增强)，用于获得具有基本帧速率的超高清图像。
图21的(a)示出了信号处理单元102a的示例性配置。信号处理单元102a包括：延迟电路111，其被配置为延迟一帧120fps；计算电路112；以及锁存电路113，其被配置为以60Hz的锁存脉冲进行锁存。此外，计算电路112包括系数乘法单元112a、112b、112c和112d以及加法单元112e和112f。
系数乘法单元112a和112b以及加法单元112e用于以两个时间上连续的图片为单位执行第一比率混合处理。在系数乘法单元112a中乘以系数p，并且在系数乘法单元112b中乘以系数q。另外，假设p＝0到1和q＝1-p。此外，系数乘法单元112c和112d以及加法单元112f用于以两个时间上连续的图片为单位执行第二比率混合处理。在系数乘法单元112c中乘以系数r，并且在系数乘法单元112d中乘以系数s。另外，假设r＝0到1和s＝1-r。
具有高帧速率的超高清图像数据Va(120Hz UHD)在延迟电路111中延迟一帧，然后，输入到构成计算电路112的系数乘法单元112a和112c中。此外，图像数据Va照原样输入到构成计算电路112的系数乘法单元112b和112d中。系数乘法单元112a和112b的输出被输入到加法单元112e中并且在该加法单元中进行相加。此外，系数乘法单元112c和112d的输出被输入到加法单元112f中并在该加法单元中进行相加。
在此处，假设图像数据P的两个时间上连续的图片的图像数据A和B，则在延迟电路111的输出为A时，获得C(＝p*A+q*B)的混合输出，作为加法单元112e的输出，并且获得混合输出D(＝r*A+s*B)，作为加法单元112f的输出。图21的(b)表示计算电路112中以数学式进行的混合处理的计算。
计算电路112中的加法单元112e和112f的输出被输入到锁存电路113。计算电路112中的加法单元112e和112f的输出在锁存电路113中以60Hz的锁存脉冲被锁存，从而获得具有基本帧速率的超高清图像数据Vb(UHD60Hz基本)和作为用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据ES2的图像数据Vc(UHD HFR增强)。
在此处，通过以两个时间上连续的图片为单位对图像数据Va进行第一比率混合处理，获得图像数据Vb。此外，通过以两个时间上连续的图片为单位对图像数据Va进行第二比率混合处理，获得图像数据Vb。
图22示意性地示出信号处理单元102a中的输入数据(图像数据Va)与信号处理单元102a中的输出数据(图像数据Vb和Vc)之间的示例性关系。图22的(a)示出图像数据Va，图22的(b)示出图像数据Vb，图22的(c)示出图像数据Vc。获得60fps图像数据Vb的各个图片的图像数据F1'、F3'、F5'、...以及60fps图像数据Vc的各个图片的图像数据F2'、F4'、F6'、...，对应于120fps图像数据Va的各个图片的图像数据F1、F2、F3、F4、F5、F6、F7、F8、...。
图23示出了信号处理单元102b的示例性配置。信号处理单元102b包括缩减电路121、扩大电路122和计算电路123。将具有基本帧速率的超高清图像数据Vb(UHD 60Hz基本)输入到缩减电路121中。缩减电路121对图像数据Vb执行从超高清到高清的缩减处理，从而获得作为基本格式的图像数据BS的图像数据Vd(HD 60Hz基本)。
此外，在缩减电路121中获得的图像数据Vd输入到扩大电路122。扩大电路122对图像数据Vd执行从高清到超高清的扩大处理，从而获得具有基本帧速率的超高清图像数据。假设图像数据与图像数据Vb具有相同的清晰度，但是通过对图像数据Vb执行缩减处理，然后进行扩大处理，来获得该图像数据，并且不再现在缩减处理中丢失的信息。
图像数据Vb和在扩大电路122中获得的图像数据输入到计算电路123中。计算电路123在两项图像数据之间取差值，并且获得作为第一扩展格式的图像数据ES1的图像数据Ve(UHD 60Hz增强)。
返回图18，视频编码器102将新定义的视频可扩展性SEI(参考图10)插入到第一和第二扩展格式的图像数据ES1和ES2的存取单元(AU)中的部分“SEI”中。
由此，在第一扩展格式的图像数据ES1的每个存取单元中，插入指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息。此外，指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息、以及指示混合比率(第一和第二比率)的信息插入到第二扩展格式的图像数据ES2的每个存取单元。
容器编码器103生成包括在视频编码器102中获得的基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展视频流STe的容器或者在此处作为分发流STM的MP4(参考图8和图16)。
此时，容器编码器103在对应于扩展视频流STe1和STe2或扩展视频流STe的MP4流中的方框“moof”下方提供方框“udta”或“lays”，并插入视频可扩展性信息描述符(参考图12)。
由此，在与具有第一扩展格式的图像数据ES1的存取单元的方框“mdat”对应的方框“moof”中，插入指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息。此外，指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息插入到对应于具有第二扩展格式的图像数据ES2的存取单元的方框“mdat”的方框“moof”中。
发送单元104通过广播波或互联网分组将在容器编码器103中获得的MP4的分发流STM传输到服务接收器200。
将简要描述图18中所示的服务发送系统100的操作。具有高帧速率(HFR)的超高清(UHD)图像数据Va输入到视频编码器102。视频编码器102处理图像数据Va，从而获得基本视频流STb和扩展视频流STe1STe2，或基本视频流STb和扩展视频流STe。
在此处，基本视频流STb包括用于获得具有基本帧速率的高清图像的基本格式的图像数据BS的存取单元。扩展视频流STe1包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据ES1的存取单元。扩展视频流STe2包括用于获得具有基本帧速率的超高清图像的第二扩展格式的图像数据ES2的存取单元。此外，扩展视频流STe包括第一和第二扩展格式的图像数据ES1和ES2的存取单元。
视频编码器102将视频可扩展性SEI(参考图10)插入到第一和第二扩展格式的图像数据ES1和ES2的存取单元(AU)中的部分“SEI”中。由此，在图像数据ES1的每个存取单元中插入指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息。此外，指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息插入到图像数据ES2的每个存取单元中。
在视频编码器102中获得的基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展视频流STe提供给容器编码器103。容器编码器103生成MP4作为分发流STM(参考图8和图16)，MP4包括基本视频流STb和扩展视频流STe1和STe2或者基本视频流STb和扩展流Ste。
此时，容器编码器103在对应于扩展视频流STe1和STe2或扩展视频流STe的MP4流中的方框“moof”下方提供方框“udta”或“lays”，并插入视频可扩展性信息描述符(参考图12)。
由此，在与具有图像数据ES1的存取单元的方框“mdat”对应的方框“moof”中，插入指示在空间上可扩展的标识信息和指示在空间上可扩展的比率的信息。此外，指示在时间上可扩展的标识信息、指示通过执行混合处理获得基本格式的图像数据的标识信息以及指示混合比率(第一和第二比率)的信息插入到对应于具有图像数据ES2的存取单元的方框“mdat”的方框“moof”中。
在容器编码器103中生成的分发流STM提供给发送单元104。发送单元104通过广播波或互联网分组将MP4的分发流STM传输到服务接收器200。
【服务接收器的示例性配置】
图24示出了能够处理具有高帧速率的超高清运动图像数据的服务接收器200A的示例性配置。服务接收器200A包括控制单元201、接收单元202、容器解码器203和视频解码器204。
控制单元201包括中央处理单元(CPU)，并且基于控制程序来控制服务接收器200A中的每个单元的操作。接收单元202接收从服务发送系统100通过广播波或互联网分组发送的MP4的分发流STM。
容器解码器203从MP4中提取基本视频流STb和扩展视频流STe1和STe2或者基本视频流STb和扩展视频流STe。如上所述，基本视频流STb包括用于获得具有基本帧速率的高清图像的基本格式的图像数据BS的存取单元。
此外，扩展视频流STe1包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据ES1的存取单元。扩展视频流STe2包括用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据ES2的存取单元。此外，扩展视频流STe包括第一和第二扩展格式的图像数据ES1和ES2的存取单元。
此外，容器解码器203从MP4中提取元信息，并将其发送到控制单元201。元信息包括插入到MP4流中对应于扩展视频流STe1和STe2或扩展视频流STe的方框“moof”下方提供的方框“udta”或“lays”中的视频可扩展性信息描述符(参考图12)。
控制单元201从视频可扩展性信息描述符中识别出第一扩展格式的图像数据ES1的扩展是空间上可扩展的、在空间上可扩展的比率等。此外，控制单元201从视频可扩展性信息描述符中识别出第二扩展格式的图像数据ES2的扩展是在时间上可扩展的、通过执行混合处理获得基本格式的图像数据BS、混合比率(第一和第二比率)等。
视频解码器204处理在容器解码器203中提取的基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展视频流STe，从而获得具有高帧速率(HFR)的超高清(UHD)图像数据Va'。
在此处，视频解码器204提取插入到构成每个视频流的存取单元中的参数集或SEI，并将其发送到控制单元201。SEI包括插入到第一和第二扩展格式的图像数据ES1和ES2的存取单元(AU)中的视频可扩展性SEI(参考图10)。
控制单元201从视频可扩展性SEI识别出第一扩展格式的图像数据ES1的扩展是在空间上可扩展的、在空间上可扩展的比率等。此外，控制单元201从视频可扩展性SEI识别第二扩展格式的图像数据ES2的扩展是在时间上可扩展的、通过执行混合处理获得基本格式的图像数据BS、混合比率(第一和第二比率)等。
图25示意性地示出了视频解码器204的配置。视频解码器204由被配置为执行逆处理1的信号处理单元204a、被配置为执行逆处理2的信号处理单元204b和被配置为执行通用解码处理的解码处理单元204c配置成。在此处，逆处理1的处理与在视频编码器102中的信号处理单元102a中执行的处理1的处理相反。类似地，逆处理2的处理与在视频编码器102中的信号处理单元102b中执行的处理2的处理相反。
图26示出了在视频解码器204中的信号处理单元204a和信号处理单元204b。所示的示例示出具有120Hz的高帧速率的情况。信号处理单元204b处理作为基本格式的图像数据BS'的图像数据Vd'(HD 60Hz基本)和作为用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据ES1'的图像数据Ve'(UHD 60Hz增强)，从而获得具有基本帧速率的超高清图像数据Vb'(UHD 60Hz基本)。
信号处理单元204a处理图像数据Vb'(UHD 60Hz基本)和作为用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据ES2'的图像数据Vc'(UHD HFR增强)，从而获得具有高帧速率的超高清图像数据Va'(120Hz UHD)。
图27示出了信号处理单元204b的示例性配置。信号处理单元204b包括扩大电路211和计算电路212。作为基本格式的图像数据BS'的图像数据Vd'(HD 60Hz基本)输入到扩大电路211中。扩大电路211对图像数据Vd'执行从高清到超高清的扩大处理，从而获得具有基本帧速率的超高清图像数据。在此处，如上所述，扩大电路211通过使用插入到视频可扩展性SEI(参考图10)或视频可扩展性信息描述符(参考图12)中的指示空间可扩展比率的信息来执行适当的扩大处理。
作为第一扩展格式的图像数据ES1'的图像数据Ve'(UHD 60Hz增强)和在扩大电路211中获得的图像数据输入到计算电路212中。计算电路212使两项图像数据相加，从而获得具有基本帧速率的超高清图像数据Vb'(UHD 60Hz基本)。
图28示出了信号处理单元204a的示例性配置。信号处理单元204a包括计算电路241和开关电路242。此外，计算电路241包括系数乘法单元241a、241b、241c和241d以及加法单元241e和241f。计算电路241执行与图21的(a)中的信号处理单元102a中的计算电路112中的混合处理相反的处理(逆混合处理)。
系数乘法单元241a和241b以及加法单元241e用于从图像数据Vb'和图像数据Vc'中以两个时间上连续的图片为单位获得第一图片的图像数据。在系数乘法单元241a中乘以系数u，并且在系数乘法单元241b中乘以系数v。此外，系数乘法单元241c和241d以及加法单元241f用于从图像数据Vb'和图像数据Vc'中以两个时间上连续的图片为单位获得第二图片的图像数据。在系数乘法单元241c中乘以系数w，并且在系数乘法单元241d中乘以系数z。
具有基本帧速率的超高清图像数据Vb'(UHD 60Hz基本)输入到构成计算电路241的系数乘法单元241a和241c中。另外，作为第二扩展格式的图像数据ES2'的图像数据Vc'(UHD HFR增强)输入到构成计算电路241的系数乘法单元241b和241d中。系数乘法单元241a和241b的输出被输入到加法单元241e中并且在加法单元241e中进行相加。此外，系数乘法单元241c和241d的输出被输入到加法单元241f中并在加法单元241f中进行相加。
在这种情况下，获得以两个时间上连续的图片为单位的第一图片的图像数据A，作为加法单元241e的输出，并且获得以两个时间上连续的图片为单位的第二图片的图像数据B，作为加法单元241f的输出。图28的(b)以数学式表示计算电路241中的逆混合处理的计算。此外，图28的(c)示出了矩阵中的系数u、v、w和z与系数p、q、r和s之间的对应关系。
计算电路241中的加法单元241e和241f的输出分别被输入到开关电路242的a侧和b侧的固定端子中。开关电路242以120Hz的周期在a侧和b侧之间交替地切换。在开关电路242中获得其中组合了图像数据A和B的具有高帧速率的超高清图像数据Va'(120Hz UHD)。
在此处，计算电路241通过使用指示混合比率(第一和第二比率)的信息或插入到视频可扩展性SEI(参考图10)或视频可扩展性信息描述符(参考图12)中的关于p、q、r和s的信息来执行适当的逆混合处理。
将简要描述图24中所示的服务接收器200A的操作。接收单元202接收从服务发送系统100通过广播波或互联网分组发送的MP4的分发流STM。分发流STM提供给容器解码器203。容器解码器203从MP4中提取基本视频流STb和扩展视频流STe1和STe2或者基本视频流STb和扩展视频流STe。
基本视频流STb包括用于获得具有基本帧速率的高清图像的基本格式的图像数据BS的存取单元。此外，扩展视频流STe1包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据ES1的存取单元。扩展视频流STe2包括用于获得具有基本帧速率的超高清图像的第二扩展格式的图像数据ES2的存取单元。此外，扩展视频流STe包括第一和第二扩展格式的图像数据ES1和ES2的存取单元。
此外，容器解码器203从MP4中提取元信息，并将其发送到控制单元201。元信息包括插入到在MP4流中对应于扩展视频流STe1和STe2或扩展视频流STe的方框“moof”下方提供的方框“udta”或“lays”中的视频可扩展性信息描述符(参考图12)。
控制单元201从视频可扩展性信息描述符中识别出第一扩展格式的图像数据ES1的扩展是在空间上可扩展的、在空间上可扩展的比率等。此外，控制单元201从视频可扩展性信息描述符中识别出第二扩展格式的图像数据ES2的扩展是在时间上可扩展的、通过执行混合处理获得基本格式的图像数据BS、混合比率(第一和第二比率)等。
在容器解码器203中提取的基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展视频流STe提供给视频解码器204。视频解码器204处理基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展视频流STe，从而获得具有高帧速率(HFR)的超高清(UHD)图像数据Va'。
在此处，视频解码器204提取插入到构成每个视频流的存取单元中的参数集或SEI，并将其发送到控制单元201。SEI包括插入到第一和第二扩展格式的图像数据ES1和ES2的存取单元(AU)中的视频可扩展性SEI(参考图10)。
控制单元201从视频可扩展性SEI识别出第一扩展格式的图像数据ES1的扩展是在空间上可扩展的、在空间上可扩展的比率等。此外，控制单元201从视频可扩展性SEI识别出第二扩展格式的图像数据ES2的扩展是在时间上可扩展的、通过执行混合处理获得基本格式的图像数据BS、混合比率(第一和第二比率)等。
图29示出了能够处理具有基本帧速率的超高清运动图像数据的服务接收器200B的示例性配置。与图24中的部件对应的图29中的部件用相同的附图标记或带“B”的附图标记表示，并且根据需要省略其详细描述。服务接收器200B包括接收单元201、容器解码器203B和视频解码器204B。
接收单元201接收从服务发送系统100通过广播波或互联网分组发送的MP4的分发流STM。分发流STM提供给容器解码器203B。容器解码器203B从MP4中提取基本视频流STb和扩展视频流STe1或者基本视频流STb和扩展视频流STe。
在容器解码器203B中提取的基本视频流STb和扩展视频流STe1或基本视频流STb和扩展视频流STe提供给视频解码器204B。视频解码器204B处理基本视频流STb和扩展视频流STe1或基本视频流STb和扩展视频流STe，从而获得具有基本帧速率的超高清图像数据Vb'。
图30示出了能够处理具有基本帧速率的高清运动图像数据的服务接收器200C的示例性配置。与图24中的部件对应的图30中的部件用相同的附图标记或带“C”的附图标记表示，并且根据需要省略其详细描述。服务接收器200C包括接收单元201、容器解码器203C和视频解码器204C。
接收单元201接收从服务发送系统100通过广播波或互联网分组发送的MP4的分发流STM。分发流STM提供给容器解码器203C。容器解码器203C仅从MP4提取基本视频流STb。
在容器解码器203C中提取的基本视频流STb提供给视频解码器204C。视频解码器204C仅处理基本视频流STb，从而获得具有基本帧速率的高清图像数据Vd'。
如上所述，图3所示的发送/接收系统10传输包括用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流以及包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个或一个扩展视频流。因此，可以传输具有高帧速率的超高清图像数据，并在接收侧具有更好向后兼容性。
例如，具有处理具有基本帧速率的高清图像数据的解码能力的接收器可以仅处理基本视频流并且可以显示具有基本帧速率的高清图像。此外，例如，具有处理具有基本帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有基本帧速率的超高清图像。此外，例如，具有处理具有高帧速率的超高清图像数据的解码能力的接收器可以处理基本视频流和扩展流，并且可以显示具有高帧速率的超高清图像。
此外，在图3所示的发送/接收系统10中，通过对以两个时间上连续的图片为单位对具有基本帧速率的超高清图像数据进行第一比率混合处理所获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据。因此，通过仅处理基本视频流而显示的具有基本帧速率的高清图像在选通效应中被限制为平滑图像。
<2、变形例>
另外，上述实施例表明容器是MP4(ISOBMFF)。然而，本技术不限于作为容器的MP4，并且类似地可应用于诸如MPEG-2TS和MMT等其他格式的容器。
例如，在MPEG-2TS的情况下，图18所示的服务发送系统100中的容器编码器103生成包括基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展流Ste的传输流。
此时，容器编码器103将视频可扩展性信息描述符(参考图12)插入在节目映射表(PMT)下方的对应于扩展视频流的视频基本流循环中。
图31示出了传输三个流配置时的传输流的示例性配置。在示例性配置中存在由PID1标识的视频流的PES数据包“视频PES1”、由PID2标识的视频流的PES数据包“视频PES2”以及由PID3标识的视频流的PES数据包“视频PES3”。
PES数据包“视频PES1”的有效载荷包括基本视频流STb的存取单元(编码图像数据)。PES数据包“视频PES2”的有效载荷包括扩展视频流STe1的存取单元(编码图像数据)。PES数据包“视频PES3”的有效载荷包括扩展视频流STe2的存取单元(编码图像数据)。将视频可扩展性SEI(参考图10)插入到包含在PES数据包“视频PES2”和PES数据包“视频PES3”中的每个图片的存取单元(编码图像数据)中。
此外，传输流包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是描述传输流中包括的每个基本流属于哪个节目的信息。
在PMT中存在对应于每个视频流的视频基本流循环(视频ES循环)。在视频基本流循环(视频ES循环)中与视频流相关联地设置关于流类型、数据包标识符(PID)等的信息，并且还在其中设置描述与视频流相关联的信息的描述符。
在“视频ES1循环”中与基本视频流(视频PES1)相关联地设置关于流类型、数据包标识符(PID)等的信息，并且还在其中设置描述与视频流相关联的信息的描述符。假设流类型是指示基本视频流的“0×24”。
此外，在“视频ES2循环”中与扩展视频流(视频PES2)相关联地设置关于流类型、数据包标识符(PID)等的信息，并且描述与视频流相关联的信息的描述符也设置在其中。假设流类型是指示扩展视频流的“0×2X”。此外，插入视频可扩展性信息描述符(参考图12)作为一个描述符。
此外，在“视频ES3循环”中与扩展视频流(视频PES3)相关联地设置关于流类型、数据包标识符(PID)等的信息，并且描述与视频流相关联的信息的描述符也设置在其中。假设流类型是指示扩展视频流的“0×2X”。此外，插入视频可扩展性信息描述符(参考图12)作为一个描述符。
图32示出了传输两个流配置时的传输流的示例性配置。在示例性配置中存在由PID1标识的视频流的PES数据包“视频PES1”和由PID2标识的视频流的PES数据包“视频PES2”。
PES数据包“视频PES1”的有效载荷包括基本视频流STb的存取单元(编码图像数据)。PES数据包“视频PES2”的有效载荷包括扩展视频流STe的存取单元(编码图像数据)。将视频可扩展性SEI(参考图10)插入到包含在PES数据包“视频PES2”中的每个图片的存取单元(编码图像数据)中。
此外，在PMT下方存在与基本视频流“视频PES1”和扩展视频流“视频PES2”对应的视频基本流循环(视频ES循环)。关于流类型、数据包标识符(PID)等的信息与视频流相关联地设置在视频基本流循环(视频ES循环)中，并且描述与视频流相关联的信息的描述符也设置其中。
关于流类型、数据包标识符(PID)等的信息与基本视频流(视频PES1)相关联地设置在“视频ES1循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设流类型是指示基本视频流的“0×24”。
此外，关于流类型、数据包标识符(PID)等的信息与扩展视频流(视频PES2)相关联地设置在“视频ES2循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设流类型是指示扩展视频流的“0×2X”。此外，插入视频可扩展性信息描述符(参考图12)作为一个描述符。
此外，例如，在MMT的情况下，图18所示的服务发送系统100中的容器编码器103生成包括基本视频流STb和扩展视频流STe1和STe2或基本视频流STb和扩展流STe的MMT流。
此时，容器编码器103将视频可扩展性信息描述符(参考图12)插入到在MMT数据包表(MPT)下方对应于扩展视频流的视频资产(asset)循环中。
图33示出了传输三个流配置时的MMT流的示例性配置。在示例性配置中，存在由ID1标识的视频流的MPU数据包“视频MPU1”、由ID2标识的视频流的MPU数据包“视频MPU2”以及由ID3标识的视频流的MPU数据包“视频MPU3”。
MPU数据包“视频MPU1”的有效载荷包括基本视频流STb的存取单元(编码图像数据)。MPU数据包“视频MPU2”的有效载荷包括扩展视频流STe1的存取单元(编码图像数据)。MPU数据包“视频MPU3”的有效载荷包括扩展视频流STe2的存取单元(编码图像数据)。将视频可扩展性SEI(参考图10)插入包含在MPU数据包“视频MPU2”和MPU数据包“视频MPU3”中的每个图片的存取单元(编码图像数据)中。
此外，诸如分组接入(PA)消息数据包等消息数据包存在于MMT流中。PA消息数据包包括诸如MPT等表。在MPT中存在对应于每个资产(视频流)的视频资产循环。在视频资产循环中与资产(视频流)相关联地设置关于资产类型(Asset_type)、资产ID(Asset_id)等的信息，并且描述与视频流相关联的信息的描述符也设置在其中。
关于资产类型、资产ID等的信息与基本视频流(视频MPU1)相关联地设置在“视频资产1(asset1)循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设资产类型是指示基本视频流的“0×24”。
此外，关于资产类型、资产ID等的信息与扩展视频流(视频MPU2)相关联地设置在“视频资产2(asset2)循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设资产类型是指示扩展视频流的“0×2X”。此外，插入视频可扩展性信息描述符(参考图12)作为一个描述符。
此外，关于资产类型、资产ID等的信息与扩展视频流(视频MPU3)相关联地设置在“视频资产3(asset3)循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设流类型是指示扩展视频流的“0×2X”。此外，也插入视频可扩展性信息描述符(参考图12)作为一个描述符。
图34示出了传输两个流配置时的MMT流的示例性配置。在示例性配置中存在由ID1标识的视频流的MPU数据包“视频MPU1”和由PID2标识的视频流的MPU数据包“视频MPU2”。
MPU数据包“视频MPU1”的有效载荷包括基本视频流STb的存取单元(编码图像数据)。MPU数据包“视频MPU2”的有效载荷包括扩展视频流STe的存取单元(编码图像数据)。视频可扩展性SEI(参考图10)插入到包含在MPU数据包“视频PES2”中的每个图片的存取单元(编码图像数据)中。
此外，在MPT下方存在对应于基本视频流“视频MPU1”和扩展视频流“视频MPU2”的视频资产循环。关于资产类型、资产ID等的信息与视频流相关联地设置在视频资产循环中，并且描述与视频流相关联的信息的描述符也设置在其中。
关于流类型、分组标识符(PID)等的信息与基本视频流(视频MPU1)相关联地设置在“视频资产1循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设资产类型是指示基本视频流的“0×24”。
此外，关于资产类型、资产ID等的信息与扩展视频流(视频PES2)相关联地设置在“视频ES2循环”中，并且描述与视频流相关联的信息的描述符也设置在其中。假设资产类型是指示扩展视频流的“0×2X”。此外，插入视频可扩展性信息描述符(参考图12)作为一个描述符。
此外，本技术可以采取以下配置。
(1)一种发送装置，包括：
图像处理单元，其被配置为处理具有高帧速率的超高清图像数据，以获得用于获得具有基本帧速率的高清图像的基本格式的图像数据、用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据、以及用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据；
图像编码单元，其被配置为生成包括基本格式的图像数据的编码图像数据的基本视频流、以及分别包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
发送单元，其被配置为传输包括所述基本流和所述两个或一个扩展视频流的预定格式的容器，
其中，所述图像处理单元以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理，以获得具有基本帧速率的第一超高清图像数据，以两个时间上连续的图片为单位进行第二比率混合处理，以获得第二扩展格式的图像数据，对第一图像数据进行缩减处理，以获得基本格式的图像数据，并且在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，以获得第一扩展格式的图像数据。
(2)根据(1)所述的发送装置，还包括：
信息插入单元，其被配置为将指示在空间上可扩展的标识信息插入到第一扩展格式的图像数据的编码图像数据中。
(3)根据(2)所述的发送装置，
其中，所述信息插入单元还将指示在空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据中。
(4)根据(1)到(3)中任一项所述的发送装置，还包括：
信息插入单元，其被配置为将指示在时间上可扩展的标识信息插入到第二扩展格式的图像数据的编码图像数据中。
(5)根据(4)所述的发送装置，
其中，所述信息插入单元还将指示通过执行所述混合处理而获得基本格式的图像数据的标识信息插入到第二扩展格式的图像数据的编码图像数据中。
(6)根据(5)所述的发送装置，
其中，所述信息插入单元还将关于第一比率的信息和关于第二比率的信息插入到第二扩展格式的图像数据的编码图像数据中。
(7)根据(1)到(6)中任一项所述的发送装置，还包括：
信息插入单元，其被配置为将指示在空间上可扩展的标识信息插入到与第一扩展格式的图像数据的编码图像数据对应的容器的层中。
(8)根据(7)所述的发送装置，
其中，所述信息插入单元还将指示在空间上可扩展的比率的信息插入到与第一扩展格式的图像数据的编码图像数据对应的容器的层中。
(9)根据(1)到(8)中任一项所述的发送装置，还包括：
信息插入单元，其被配置为将指示在时间上可扩展的标识信息插入到与第二扩展格式的图像数据的编码图像数据对应的容器的层中。
(10)根据(9)所述的发送装置，
其中，所述信息插入单元还将指示通过执行混合处理而获得基本格式的图像数据的标识信息插入到与第二扩展格式的图像数据的编码图像数据对应的容器的层中。
(11)根据(10)所述的发送装置，
其中，所述信息插入单元还将关于第一比率的信息和关于第二比率的信息插入到与第二扩展格式的图像数据的编码图像数据对应的容器的层中。
(12)根据(1)到(11)中任一项所述的发送装置，还包括：
发送单元，其被配置为传输具有用于促使接收装置获得所述基本视频流和所述两个或一个扩展视频流的元信息的元文件，
其中，指示可扩展性的对应性的信息插入到所述元文件中。
(13)一种发送方法，包括：
图像处理步骤，用于处理具有高帧速率的超高清图像数据，以获得用于获得具有基本帧速率的高清图像的基本格式的图像数据、用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据、以及用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据；
图像编码步骤，用于生成包括基本格式的图像数据的编码图像数据的基本视频流、以及分别包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
传输步骤，用于由发送单元传输包括所述基本流和所述两个或一个扩展视频流的预定格式的容器，
其中，在图像处理步骤中，以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理，以获得具有基本帧速率的第一超高清图像数据，以两个时间上连续的图片为单位进行第二比率混合处理，以获得第二扩展格式的图像数据，对第一图像数据进行缩减处理，以获得基本格式的图像数据，并且在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，以获得第一扩展格式的图像数据。
(14)一种接收装置，包括：
接收单元，其被配置为接收预定格式的容器，所述容器包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流、以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流，
其中，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，获得第二扩展格式的图像数据，
通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据，
通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据，并且
所述接收装置还包括处理单元，其被配置为仅处理基本视频流，以获得具有基本帧速率的高清图像数据，或者处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
(15)根据(14)所述的接收装置，
其中，指示在空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，并且
所述处理单元使用指示在空间上可扩展的比率的插入信息来获得具有基本帧速率的超高清图像数据。
(16)根据(14)所述的接收装置，
其中，指示在空间上可扩展的比率的信息插入到第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，
关于第一比率的信息和关于第二比率的信息插入到第二扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中，并且
所述处理单元使用指示在空间上可扩展的比率的插入信息以及关于第一比率的信息和关于第二比率的信息来获得具有高帧速率的超高清图像数据。
(17)一种接收方法，包括：
接收步骤，用于由接收单元接收预定格式的容器，所述容器包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流、以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流，
其中，通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，获得第二扩展格式的图像数据，
通过对通过以两个时间上连续的图片为单位进行第一比率混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，获得基本格式的图像数据，
通过在通过对基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和第一图像数据之间取差值，获得第一扩展格式的图像数据，并且
所述接收方法还包括处理步骤，用于仅处理基本视频流，以获得具有基本帧速率的高清图像数据，或者处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
(18)一种发送装置，包括：
图像处理单元，其被配置为处理具有高帧速率的超高清图像数据，以获得用于获得具有基本帧速率的高清图像的基本格式的图像数据、用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据、以及用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据；
图像编码单元，其被配置为生成包括基本格式的图像数据的编码图像数据的基本视频流、以及分别包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者包括第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
发送单元，其被配置为传输包括所述基本流和所述两个或一个扩展视频流的预定格式的容器。
(19)一种接收装置，包括：
接收单元，其被配置为接收预定格式的容器，所述容易包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流、以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流、或者具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
处理单元，其被配置为仅处理基本视频流，以获得具有基本帧速率的高清图像数据，或者处理基本视频流和扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
本技术的主要特征在于，传输包括用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流以及包括用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个或一个扩展视频流，从而实现具有高帧速率的超高清图像数据以及在接收侧的更好向后兼容性(参考图5、图6和图14)。
此外，本技术的另一特征在于，对通过以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行混合处理而获得的具有基本帧速率的第一超高清图像数据进行缩减处理，从而获得基本格式的图像数据，因此仅处理基本视频流，以获得在选通效应中被限制为平滑图像的具有显示的基本帧速率的高清图像(参考图20和图21)。
附图标记列表
10：发送/接收系统
30A、30B：基于MPEG-DASH的流分发系统
31：DASH流文件服务器
32：DASH MPD服务器
33、33-1～33-N：服务接收器
34：CDN
35、35-1～35-M：服务接收器
36：广播发送系统
100：服务发送系统
101：控制单元
102：视频编码器
102a、102b：信号处理单元
102c：编码处理单元
103：容器编码器
104：发送单元
111：延迟电路
112：计算电路
112a、112b、112c、112d：系数乘法单元
112e、112f：加法单元
113：锁存电路
121：缩减电路
122：扩大电路
123：计算电路
200、200A、200B、200C：服务接收器
201：控制单元
202：接收单元
203、203B、203C：容器解码器
204、204B、204C：视频解码器
204a、204b：信号处理单元
204c：解码处理单元
211：扩大电路
212：计算电路
241：计算电路
241a、241b、241c、241d：系数乘法单元
241e、241f：加法单元
242：开关电路

Claims (17)

1.一种发送装置，包括：
图像处理单元，被配置为处理具有高帧速率的超高清图像数据，以获得基本格式的图像数据，所述基本格式的图像数据用于获得具有基本帧速率的高清图像；第一扩展格式的图像数据，所述第一扩展格式的图像数据用于获得具有基本帧速率的超高清图像；以及第二扩展格式的图像数据，所述第二扩展格式的图像数据用于获得具有高帧速率的超高清图像；
图像编码单元，被配置为生成包括所述基本格式的图像数据的编码图像数据的基本视频流，以及生成分别包括所述第一扩展格式的图像数据的编码图像数据和所述第二扩展格式的图像数据的编码图像数据的两个扩展视频流，或者生成包括所述第一扩展格式的图像数据的编码图像数据和所述第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
发送单元，被配置为发送包括所述基本视频流和所述两个扩展视频流或所述一个扩展视频流的预定格式的容器，
其中，所述图像处理单元以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理，以获得具有基本帧速率的第一超高清图像数据，以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，以获得所述第二扩展格式的图像数据，对所述具有基本帧速率的第一超高清图像数据进行缩减处理，以获得基本格式的图像数据，并且在通过对所述基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和所述具有基本帧速率的第一超高清图像数据之间取差值，以获得第一扩展格式的图像数据。
2.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为将指示在空间上可扩展的标识信息插入到所述第一扩展格式的图像数据的编码图像数据中。
3.根据权利要求2所述的发送装置，
其中，所述信息插入单元还将指示在空间上可扩展的比率的信息插入到所述第一扩展格式的图像数据的编码图像数据中。
4.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为将指示在时间上可扩展的标识信息插入到所述第二扩展格式的图像数据的编码图像数据中。
5.根据权利要求4所述的发送装置，
其中，所述信息插入单元还将指示通过执行混合处理而获得所述基本格式的图像数据的识别信息插入到所述第二扩展格式的图像数据的编码图像数据中。
6.根据权利要求5所述的发送装置，
其中，所述信息插入单元还将关于所述第一比率的信息和关于所述第二比率的信息插入到所述第二扩展格式的图像数据的编码图像数据中。
7.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为将指示在空间上可扩展的标识信息插入到与所述第一扩展格式的图像数据的编码图像数据对应的容器的层中。
8.根据权利要求7所述的发送装置，
其中，所述信息插入单元还将指示在空间上可扩展的比率的信息插入到与所述第一扩展格式的图像数据的编码图像数据对应的容器的层中。
9.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为将指示在时间上可扩展的标识信息插入到与所述第二扩展格式的图像数据的编码图像数据对应的容器的层中。
10.根据权利要求9所述的发送装置，
其中，所述信息插入单元还将指示通过执行混合处理而获得所述基本格式的图像数据的识别信息插入到与所述第二扩展格式的图像数据的编码图像数据对应的容器的层中。
11.根据权利要求10所述的发送装置，
其中，所述信息插入单元还将关于所述第一比率的信息和关于所述第二比率的信息插入到与所述第二扩展格式的图像数据的编码图像数据对应的容器的层中。
12.根据权利要求1所述的发送装置，还包括：
发送单元，被配置为发送具有用于促使接收装置获得所述基本视频流和所述两个扩展视频流或所述一个扩展视频流的元信息的元文件，
其中，指示可扩展性的对应性的信息插入到所述元文件中。
13.一种发送方法，包括：
图像处理步骤，用于处理具有高帧速率的超高清图像数据，以获得基本格式的图像数据，所述基本格式的图像数据用于获得具有基本帧速率的高清图像；第一扩展格式的图像数据，所述第一扩展格式的图像数据用于获得具有基本帧速率的超高清图像；以及第二扩展格式的图像数据，所述第二扩展格式的图像数据用于获得具有高帧速率的超高清图像；
图像编码步骤，用于生成包括所述基本格式的图像数据的编码图像数据的基本视频流，以及生成分别包括所述第一扩展格式的图像数据的编码图像数据和所述第二扩展格式的图像数据的编码图像数据的两个扩展视频流，或者生成包括所述第一扩展格式的图像数据的编码图像数据和所述第二扩展格式的图像数据的编码图像数据的一个扩展视频流；以及
发送步骤，用于由发送单元发送包括所述基本视频流和所述两个扩展视频流或所述一个扩展视频流的预定格式的容器，
其中，在所述图像处理步骤中，以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第一比率混合处理，以获得具有基本帧速率的第一超高清图像数据，以两个时间上连续的图片为单位对具有高帧速率的超高清图像数据进行第二比率混合处理，以获得所述第二扩展格式的图像数据，对所述基本帧速率的第一超高清图像数据进行缩减处理，以获得基本格式的图像数据，并且在通过对所述基本格式的图像数据进行扩大处理而获得的具有基本帧速率的第二超高清图像数据和所述基本帧速率的第一超高清图像数据之间取差值，以获得所述第一扩展格式的图像数据。
14.一种接收装置，包括：
接收单元，被配置为接收预定格式的容器，所述预定格式的容器包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流；以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流，或者具有第一扩展格式的图像数据的编码图像数据和第二扩展格式的图像数据的编码图像数据的一个扩展视频流，
其中，所述第二扩展格式的图像数据是以两个时间上连续的图片为单位将具有高帧速率的超高清图像数据以第二比率混合所获得的，
所述基本格式的图像数据是具有基本帧速率的第一超高清图像数据被缩减处理所获得的，其中，所述具有基本帧速率的第一超高清图像数据是以两个时间上连续的图片为单位将具有高帧速率的超高清图像数据以第一比率混合所获得的，
所述第一扩展格式的图像数据是具有基本帧速率的第二超高清图像数据和所述具有基本帧速率的第一超高清图像数据取差值所获得的，所述具有基本帧速率的第二超高清图像数据是所述基本格式的图像数据被扩大处理所获得的，并且
所述接收装置还包括处理单元，所述处理单元被配置为仅处理所述基本视频流，以获得具有基本帧速率的高清图像数据，或者处理所述基本视频流和所述扩展视频流两者，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
15.根据权利要求14所述的接收装置，
其中，所述第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中插入有指示在空间上可扩展的比率的信息，并且
所述处理单元使用指示在空间上可扩展的比率的插入信息来获得具有基本帧速率的超高清图像数据。
16.根据权利要求14所述的接收装置，
其中，所述第一扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中插入有指示在空间上可扩展的比率的信息，
所述第二扩展格式的图像数据的编码图像数据和/或与编码图像数据对应的容器位置中插入有关于所述第一比率的信息和关于所述第二比率的信息，并且
所述处理单元使用指示在空间上可扩展的比率的插入信息以及关于所述第一比率的信息和关于所述第二比率的信息来获得具有高帧速率的超高清图像数据。
17.一种接收方法，包括：
接收步骤，由接收单元接收预定格式的容器，所述预定格式的容器包括：具有用于获得具有基本帧速率的高清图像的基本格式的图像数据的编码图像数据的基本视频流、以及分别具有用于获得具有基本帧速率的超高清图像的第一扩展格式的图像数据的编码图像数据和用于获得具有高帧速率的超高清图像的第二扩展格式的图像数据的编码图像数据的两个扩展视频流，或者具有所述第一扩展格式的图像数据的编码图像数据和所述第二扩展格式的图像数据的编码图像数据的一个扩展视频流，
其中，所述第二扩展格式的图像数据是以两个时间上连续的图片为单位将具有高帧速率的超高清图像数据以第二比率混合所获得的，
所述基本格式的图像数据是具有基本帧速率的第一超高清图像数据被缩减处理所获得的，其中，所述基本帧速率的第一超高清图像数据是以两个时间上连续的图片为单位将具有高帧速率的超高清图像数据以第一比率混合所获得的，
所述第一扩展格式的图像数据是具有基本帧速率的第二超高清图像数据和所述具有基本帧速率的第一超高清图像数据取差值所获得的，所述具有基本帧速率的第二超高清图像数据是所述基本格式的图像数据被扩大处理所获得的，并且
所述接收方法还包括处理步骤，用于仅处理所述基本视频流，以获得具有基本帧速率的高清图像数据，或者处理所述基本视频流和所述扩展视频流，以获得具有基本帧速率的超高清图像数据或具有高帧速率的超高清图像数据。
CN201680055639.7A 2015-09-30 2016-09-13 发送装置、发送方法、接收装置和接收方法 Active CN108141622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194994 2015-09-30
JP2015-194994 2015-09-30
PCT/JP2016/076916 WO2017056956A1 (ja) 2015-09-30 2016-09-13 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108141622A CN108141622A (zh) 2018-06-08
CN108141622B true CN108141622B (zh) 2021-03-23

Family

ID=58423633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055639.7A Active CN108141622B (zh) 2015-09-30 2016-09-13 发送装置、发送方法、接收装置和接收方法

Country Status (8)

Country Link
US (1) US10567702B2 (zh)
EP (2) EP3358849B1 (zh)
JP (1) JP6848872B2 (zh)
KR (1) KR20180063063A (zh)
CN (1) CN108141622B (zh)
CA (1) CA2999684A1 (zh)
MX (1) MX2018003615A (zh)
WO (1) WO2017056956A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200077517A (ko) * 2017-11-02 2020-06-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN112154664B (zh) * 2018-05-30 2024-04-05 索尼公司 接收装置、接收方法、发送装置和发送方法
EP3843417A4 (en) * 2018-08-21 2021-09-01 Sony Group Corporation RECEIVING APPARATUS, RECEPTION PROCESS, TRANSMISSION APPARATUS, AND TRANSMISSION PROCESS
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US20200322656A1 (en) * 2019-04-02 2020-10-08 Nbcuniversal Media, Llc Systems and methods for fast channel changing
US11172232B2 (en) * 2019-09-06 2021-11-09 Sharp Kabushiki Kaisha Systems and methods for signaling level information in video coding
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883236A (zh) * 2010-07-14 2010-11-10 深圳市高斯贝尔家居智能电子有限公司 高清信号无线传输系统及方法
WO2014038522A1 (ja) * 2012-09-07 2014-03-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN104584562A (zh) * 2012-08-27 2015-04-29 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
EP1884063A1 (en) 2005-05-24 2008-02-06 Nokia Corporation Method and apparatuses for hierarchical transmission/reception in digital broadcast
AU2008204833A1 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
KR20150059722A (ko) * 2012-08-10 2015-06-02 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
US10531105B2 (en) * 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883236A (zh) * 2010-07-14 2010-11-10 深圳市高斯贝尔家居智能电子有限公司 高清信号无线传输系统及方法
CN104584562A (zh) * 2012-08-27 2015-04-29 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2014038522A1 (ja) * 2012-09-07 2014-03-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
EP3358849A1 (en) 2018-08-08
EP3358849A4 (en) 2019-04-03
US20190268565A1 (en) 2019-08-29
JPWO2017056956A1 (ja) 2018-07-19
JP6848872B2 (ja) 2021-03-24
EP3923586A1 (en) 2021-12-15
CA2999684A1 (en) 2017-04-06
WO2017056956A1 (ja) 2017-04-06
CN108141622A (zh) 2018-06-08
US10567702B2 (en) 2020-02-18
MX2018003615A (es) 2018-04-30
EP3358849B1 (en) 2021-03-10
KR20180063063A (ko) 2018-06-11

Similar Documents

Publication Publication Date Title
CN108141622B (zh) 发送装置、发送方法、接收装置和接收方法
US11082696B2 (en) Transmission device, transmission method, reception device, and reception method
US11606586B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
RU2678149C2 (ru) Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство
JP6809469B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20190142326A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant