CN104584562B - 发送设备、发送方法、接收设备和接收方法 - Google Patents

发送设备、发送方法、接收设备和接收方法 Download PDF

Info

Publication number
CN104584562B
CN104584562B CN201380044047.1A CN201380044047A CN104584562B CN 104584562 B CN104584562 B CN 104584562B CN 201380044047 A CN201380044047 A CN 201380044047A CN 104584562 B CN104584562 B CN 104584562B
Authority
CN
China
Prior art keywords
video
image data
stream
identification information
sending mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380044047.1A
Other languages
English (en)
Other versions
CN104584562A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50183278&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104584562(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104584562A publication Critical patent/CN104584562A/zh
Application granted granted Critical
Publication of CN104584562B publication Critical patent/CN104584562B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的目的是使得能够在接收端以更准确地适应于所传送的内容中的动态变化的方式进行正确的流接收。在第一发送模式中，发送基本视频流和预定数量的扩展视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个扩展视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，只发送包括基本图像数据的基本视频流。用于识别第一模式和第二模式的识别信息被插入到视频流中。在接收端，可以容易地确定发送模式，从而使得可以以更准确地适应于流组成中的变化、即所传送的内容中的动态变化的方式进行正确的流接收。

Description

发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及发送设备、发送方法、接收设备和接收方法，更具体地，涉及被配置为以时分方式发送常规图像的图像数据和空间上或时间上非常高分辨率图像的图像数据的发送设备等。
背景技术
过去，不仅已经考虑了对于有效像素数量是1920×1080像素的HD图像的服务，而且也考虑了对于空间上非常高分辨率图像的服务，比如4K、8K等图像，4K、8K图像分别具有在水平和垂直方向上都比有效像素数量多两倍和四倍的像素(例如，参见专利文献1)。另一方面，不仅已经考虑了对于帧频率是60Hz的60fps图像的服务，而且也考虑了对于帧频率是120Hz、240Hz等时间上非常高分辨率图像的服务。
引用列表
专利文献
专利文献1：JP 2011-057069 A
发明内容
本发明要解决的问题
例如，在诸如广播和网络的服务中，考虑了以时分方式发送常规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像数据)的方法。在这种情况下，对于在接收侧支持非常高分辨率图像的接收器来说，需要与图像数据的切换同步地切换处理。
问题的解决方案
本技术的目的是适当地处理流配置中的变化，更具体地，适当地处理分发内容的动态变化并且能够执行正确的流接收。
本技术的概念在于发送设备，该发生设备包括：
被配置为发送一个或多个视频流的发送单元；以及
被配置为将用于识别第一发送模式和第二发送模式的识别信息插入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流。
在本技术中，发送单元发送一个或多个视频流。在第一发送模式中，发送基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，只发送包括基本图像数据的基本视频流。
例如，在第一发送模式中，基本视频流和预定数量的增强视频流被插入到一个或多个视频基础流中并且被发送。在基本视频流和预定数量的增强视频流被插入到单个视频基础流中以被发送的情况下，指示流边界的信息可以被布置在视频流之间。因此，位于每个视频流的画面的头部的数据可以被立即访问。
识别信息插入单元将用于识别第一发送模式和第二发送模式的识别信息插入到视频流中。例如，识别信息插入单元可以至少按照节目单位、场景单位、画面组单位或画面单位来插入识别信息。
例如，在第一发送模式中，识别信息插入单元可以将指示第一发送模式的识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元可以将指示第二发送模式的识别信息插入到视频流中。例如，在第一发送模式中，识别信息插入单元可以将指示第一发送模式的识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元可以不将识别信息插入到视频流中。例如，在第一发送模式中，识别信息插入单元可以不将识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元可以将指示第二发送模式的识别信息插入到视频流中。
例如，当识别信息指示第一发送模式时，识别信息可以包括指示增强视频流的数量的信息。例如，当识别信息指示第一发送模式时，识别信息可以包括指示可伸缩性增强的类型的信息。例如，当识别信息指示第一发送模式时，识别信息可以包括指示在与可伸缩性增强中的上位阶层合成时的缩放比率的信息。
如上所述，根据本技术，在第一发送模式中，发送基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，只发送包括基本图像数据的基本视频流。然后，用于识别第一模式和第二模式的识别信息被插入到视频流中。
因此，接收侧可以容易地基于识别信息发现模式是第一发送模式还是第二发送模式，并且接收侧可以适当地处理流配置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执行正确的流接收。更具体地，当以时分方式发送常规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像数据)时，接收侧可以以优选的方式来切换处理。
根据本技术，例如，发送单元可以发送包括一个或多个视频流的预定格式的容器，并且发送设备还可以包括被配置为将用于识别模式是第一发送模式还是第二发送模式的识别信息插入到容器的层中的识别信息插入单元。如上所述，识别信息插入到容器的层中，因此接收侧可以执行灵活的操作。
例如，当识别信息指示第一发送模式时，识别信息可以附有指示可伸缩性增强的类型的信息。例如，识别信息可以附有指示是否在单个视频基础流中提供一个或多个视频流的信息。例如，当识别信息指示第一发送模式时，识别信息可以附有指示增强视频流的数量的信息。
根据本技术，发送单元可以发送包括一个或多个视频流的预定格式的容器，并且发送设备还可以包括被配置为将用于识别插入一个或多个视频流的视频基础流的数量的识别信息插入到容器的层中的识别信息插入单元。
本技术的另一个概念在于接收设备，该接收设备包括：
被配置为接收一个或多个视频流的接收单元；
被配置为基于插入到视频流中的识别信息识别第一发送模式和第二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；以及
被配置为基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据的处理单元。
根据本技术，接收单元接收一个或多个视频流。在第一发送模式中，接收基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，可以只接收到包括基本图像数据的基本视频流。
发送模式识别单元基于插入到视频流中的识别信息来识别模式是第一发送模式还是第二发送模式。处理单元基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据。
如上所述，根据本技术，在第一发送模式中，接收基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，只接收包括基本图像数据的基本视频流。然后，基于插入到视频流中的识别信息来识别模式是第一发送模式还是第二发送模式。
然后，基于识别的模式对接收到的视频流执行与每种模式对应的处理，并且获得要显示的图像数据。因此，接收侧可以容易地发现模式是第一发送模式还是第二发送模式，并且接收侧可以适当地处理流配置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执行正确的流接收。更具体地，当以时分方式发送常规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像数据)时，接收侧可以以优选的方式来切换处理。
根据本技术，例如，接收单元可以接收包括视频流的预定格式的容器，并且用于识别模式可以是第一发送模式还是第二发送模式的识别信息被插入到容器的层中，以及发送模式识别单元可以基于插入到容器的层中的识别信息和插入到视频流中的识别信息来识别模式是第一发送模式还是第二发送模式。
本发明的效果
根据本技术，可以适当地处理流配置中的变化，更具体地，可以适当地处理分发内容的动态变化并且能够执行正确的流接收。
附图说明
图1是示出根据实施例的图像发送/接收系统的配置的例子的框图。
图2(a)至图2(c)是示出空间分辨率不同的图像数据的例子的示图。
图3(a)至图3(c)是示出时间分辨率不同的图像数据的例子的示图。
图4是示出空间分辨率可伸缩性的例子的示图。
图5是示出在接收侧(解码侧)的空间分辨率可伸缩性的具体配置的例子的示图。
图6是示出空间分辨率可伸缩性的解码过程的例子的示图。
图7(a)至图7(c)是示出时间分辨率可伸缩性的例子的示图。
图8是示出在发送基本视频流和第一增强视频流的情况下解码的例子的示图。
图9是示出在接收侧(解码侧)的时间分辨率可伸缩性的具体配置的例子的示图。
图10是示出时间分辨率可伸缩性的解码过程的例子的示图。
图11(a)和图11(b)是示出视频基础流的例子的示图，其中视频基础流包括多个视频流(子流)的画面的编码数据。
图12是示出在将第一发送模式和第二发送模式布置成交替连续并且没有给出用于模式识别的识别信息(信令)的情况下的例子的示图。
图13是用于解释在根据“方法1”将识别信息插入到视频流中的情况下的例子的示图。
图14是用于解释在根据“方法2”将识别信息插入到视频流中的情况下的例子的示图。
图15是用于解释在根据“方法3”将识别信息插入到视频流中的情况下的例子的示图。
图16是示出被配置为在广播站中产生传输流的发送数据产生单元的配置的例子的框图。
图17是示出在基本视频流和预定数量的增强视频流被插入到单个视频基础流(单个PID)中的情况下流中的编码分组顺序的示图。
图18是示出在包括基本视频流和预定数量的增强视频流的每个视频流被插入到多个视频基础流(多个PID)中的情况下每个流中的编码分组顺序的示图。
图19(a)和图19(b)是示出位于GOP(画面组)头部的访问单元和位于除其头部以外的访问单元的配置的例子的示图。
图20(a)和图20(b)是示出SEI消息“增强可伸缩性SEI消息”的结构的例子的示图。
图21是示出增强可伸缩性数据(enhancement_scalability_data())的结构的例子的示图。
图22是示出在增强可伸缩性数据(enhancement_scalability_data())的结构的例子中主信息的内容的示图。
图23是示出可伸缩增强描述符(Scalable_enhancement_descriptor)的结构的例子的示图。
图24是示出在可伸缩增强描述符(Scalable_enhancement_descriptor)的结构的例子中主信息的内容的示图。
图25是示出多流描述符(Multiple_stream_descriptor)的结构的例子的示图。
图26是示出在只有一个视频基础流(单个PID)的情况下TS的配置的例子的示图，其中视频流(子流)被插入到这一个视频基础流中。
图27是示出在有多个视频基础流(多个PID)的情况下TS的配置的例子的示图，其中视频流(子流)被插入到这多个视频基础流中。
图28是示出构成图像发送/接收系统的接收器的配置的例子的示图。
图29是用于解释当切换高精度节目和常规节目时接收处理的切换控制的示图。
图30是用于解释当切换高精度节目和常规节目时接收处理的切换控制的示图。
具体实施方式
在下文中，将解释用于执行本发明的模式(在下文中被称为“实施例”)。应当注意，将以下面的顺序给出该解释。
1.实施例
2.修改
<1.实施例>
[图像发送/接收系统]
图1示出根据实施例的图像发送/接收系统10的配置的例子。这种图像发送/接收系统10包括广播站100和接收器200。广播站100以通过广播波携载传输流TS的方式发送用作容器的传输流TS。
更具体地，在第一发送模式中，在发送用于使得空间上或时间上非常高分辨率的图像能够显示的可伸缩编码的图像数据期间，传输流TS包括多个视频流(视频子流)。在这种情况下，传输流TS包括基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。
更具体地，在第二发送模式中，在发送常规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据期间，传输流TS包括单个视频流(视频子流)。在这种情况下，传输流TS只包括基本视频流，该基本视频流包括常规图像的图像数据作为基本图像数据。
图2(a)示出有效像素数量是1920*1080的HD图像的图像数据，其用作常规图像的图像数据。图2(b)示出有效像素数量在水平和垂直方向上是HD(高清晰)有效像素数量的两倍的4K的图像数据，其用作空间上非常高分辨率的图像数据。图2(c)示出有效像素数量在水平和垂直方向上是HD有效像素数量的四倍的8K的图像数据，其用作空间上非常高分辨率的图像数据。
图3(a)示出帧频率是60Hz的60fps的图像数据，其用作常规图像的图像数据。图3(b)示出帧频率是120Hz的120fps的图像数据，其用作时间上非常高分辨率的图像数据。图3(c)示出帧频率是240Hz的240fps的图像数据，其用作时间上非常高分辨率的图像数据。
图4示出空间分辨率可伸缩性的例子。这个例子是用于处理例如8K图像数据S-8K的例子，8K图像数据S-8K是空间上非常高分辨率的图像数据。首先，将解释发送侧(编码侧)。下采样单元301对图像数据S-8K应用1/β倍的下采样处理。在这个例子中，下采样单元301对图像数据S-8K应用1/2倍的下采样处理，以产生4K图像数据S-4K。此外，下采样单元302对图像数据S-4K应用1/α倍的下采样处理。在这个例子中，下采样单元302对图像数据S-4K应用1/2倍的下采样处理，以产生HD图像数据S-HD。
上采样单元303对图像数据S-HD应用α倍的上采样处理。在这个例子中，上采样单元303对图像数据S-HD应用两倍的上采样处理，以产生4K图像数据S-4K_L。这个4K图像数据S-4K_L是通过对图像数据S-4K应用下采样处理和上采样处理而获得的，并且该4K图像数据S-4K_L缺少4K级别中的高频成分。减法器304从图像数据S-4K中减去图像数据S-4K_L并产生4K级别中的高频成分S-4K_H。
上采样单元305对图像数据S-4K应用β倍的上采样处理。在这个例子中，上采样单元305对图像数据S-4K应用两倍的上采样处理，以产生8K图像数据S-8K_L。这个8K图像数据S-8K_L是通过对图像数据S-8K应用下采样处理和上采样处理而获得的，并且该8K图像数据S-8K_L缺少8K级别中的高频成分。减法器306从图像数据S-8K中减去图像数据S-8K_L并产生8K级别中的高频成分S-8K_H。
图像数据S-HD构成第一阶层(最下位阶层)的图像数据。图像数据S-HD被视频编码器307编码，以便获得基本视频流St1。这个基本视频流St1被临时累积到编码缓冲器308。4K级别中的高频成分S-4K_H构成第二阶层的图像数据。这个高频成分S-4K_H被视频编码器309编码，以便获得第一增强视频流St2。这个第一增强视频流St2被临时存储到编码缓冲器310。
8K级别中的高频成分S-8K_H构成第三阶层的图像数据。这个高频成分S-8K_H被视频编码器311编码，以便获得第二增强视频流St3。这个第二增强视频流St3被临时存储到编码缓冲器312。基本视频流St1、第一增强视频流ST2以及第二增强视频流St3被多路复用器313合并，并且合并的流被发送到接收侧。
接下来，将解释接收侧(解码侧)。多路解复用器351从合并的流中分离基本视频流St1、第一增强视频流St2以及第二增强视频流St3。基本视频流St1被临时累积在解码缓冲器352中。然后，这个基本视频流St1被解码器353解码，从而获得作为第一阶层(最下位阶层)的图像数据的HD图像数据S-HD。利用这个图像数据S-HD，就可以显示HD图像。
第一增强视频流St2被临时存储到解码缓冲器354。然后，这个第一增强视频流St2被解码器355解码，从而获得作为第二阶层的图像数据的4K级别中的高频成分S-4K_H。上采样单元356对图像数据S-HD应用α倍的上采样处理。在这个例子中，上采样单元356对图像数据S-HD应用2倍的上采样处理，以产生4K图像数据S-4K_L。加法器357把4K级别中的高频成分S-4K_H添加到4K图像数据S-4K_L，从而获得4K图像数据S-4K。利用图像数据S-4K，就可以显示4K图像。
第二增强视频流St3被临时存储到解码缓冲器358。然后，这个第二增强视频流St3被解码器359解码，从而获得作为第三阶层的图像数据的8K级别中的高频成分S-8K_H。上采样单元360对图像数据S-4K应用β倍的上采样处理。在这个例子中，上采样单元360对图像数据S-4K应用两倍的上采样处理，以产生8K图像数据S-8K_L。加法器361把8K级别中的高频成分S-8K_H添加到8K图像数据S-8K_L，从而获得8K图像数据S-8K。利用图像数据S-8K，就可以显示8K图像。
图5示出具有上述空间分辨率可伸缩性的接收侧(解码侧)的具体配置的例子。这个配置的例子示出了存在两个层(第一阶层、第二阶层)的情况。熵解码单元353a对基本视频流St1执行熵解码处理，并且量化解码单元353b对基本视频流St1执行逆量化处理。此外，频率转换解码器353c处理逆量化的数据，以把数据从频率轴数据变回到时间轴数据，从而获得数据D1(n)。
加法器353f把从帧缓冲器353d获得的、已在由运动补偿单元353e执行的运动补偿处理中处理的之前帧的图像数据S-HD(n-1)添加到已在频率转换解码中被处理的数据D1(n)。然后，这个加法器353f提供当前帧的HD图像数据S-HD(n)。
熵解码单元355a对第一增强视频流St2执行熵解码处理，并且量化解码单元355b对第一增强视频流St2执行逆量化处理。此外，频率转换解码器355c处理逆量化的数据，以把数据从频率轴数据变回到时间轴数据，从而获得数据D2(n)。
加法器355f把从帧缓冲器355d获得的、已在由运动补偿单元355e执行的运动补偿处理中处理的之前帧的高频成分S-4K_H(n-1)添加到已在频率转换解码中被处理的数据D2(n)。这个加法器355f提供当前帧的4K级别中的高频成分S-4K_H(n)。上采样单元356对图像数据S-HD(n)应用α倍的上采样处理。在这个例子中，上采样单元356对图像数据S-HD(n)应用2倍的上采样处理，以产生4K图像数据S-4K_L(n)。加法器357把4K级别中的高频成分S-4K_H(n)添加到4K图像数据S-4K_L(n)，从而产生当前帧的4K图像数据S-4K(n)。
图6示出空间分辨率可扩展性的解码过程的例子。在这个例子中，存在包括第一阶层(最下位阶层)的图像数据的基本视频流(基流)。在这个例子中，存在包括第二阶层(高频成分)的图像数据的第一增强视频流(第一增强流)和包括第三阶层(高频成分)的图像数据的第二增强视频流(第二增强流)。在这个例子中，基本视频流的空间分辨率利用第一增强视频流按照“放大比率1”被放大，并且利用第二增强视频按照“放大比率2”被进一步放大。
第一阶层的图像数据V1是通过解码基本视频流而获得的。图像数据V1被上采样，以便通过按照“放大比率1”放大图像数据V1的水平和垂直分辨率来获得图像数据V2L。第二阶层的图像数据V2H是通过解码第一增强视频流而获得的。将图像数据V2L、V2H相加，并且通过相对于图像数据V1按照“放大比率1”放大水平和垂直分辨率来获得图像数据V2。
图像数据V2被上采样，以便通过按照“放大比率2”放大图像数据V2的水平和垂直分辨率来获得图像数据V3L。第三阶层的图像数据V3H是通过解码第二增强视频流而获得的。将图像数据V3L、V3H相加，并且通过相对于图像数据V2按照“放大比率2”放大水平和垂直分辨率来获得要显示的图像数据V3。
图7(a)至图7(c)示出时间分辨率可伸缩性的例子。在这个例子中，如在图7(a)中所示出的，120fps的图像数据S-120被视为时间上非常高分辨率的图像数据。图像数据S-120被分成两个阶层，包括第一阶层(最下位阶层)和第二阶层。
例如，如在图7(b)中所示出的，第一阶层的图像数据(偶数帧的图像数据)被编码，从而产生基本视频流St1。这个基本视频流St1由I画面(帧内画面)、P画面(预测画面)和B画面(双向预测画面)构成。I画面不参考其它的画面，而P画面和B画面只参考基本视频流St1中的I画面或P画面。因此，这个基本视频流St1可被单独地解码，而不依赖任何其它流。
例如，如在图7(c)中所示出的，第二阶层的图像数据(奇数帧的图像数据)被编码，从而产生第一增强视频流St2。这个第一增强视频流St2由P画面和B画面构成。P画面和B画面不仅参考这个第一增强视频流St2中的P画面，而且还参考基本视频流St1中的I画面、P画面以及还有B画面。因此，这个第一增强视频流St2不仅需要这个流，而且还需要基本视频流St1的解码结果。
图7(c)中的第一增强视频流St2中的B画面被表示为“B”，而图7(b)中的基本视频流St1中的B画面被表示为“Br”。“B”指示它是不被其它画面参考的B画面，而“Br”指示它是被其它画面参考的B画面。
以上解释的基本视频流St1和第一增强视频流St2从发送侧(编码侧)发送到接收侧(解码侧)。在接收侧，通过解码基本视频流St1可以获得60fps的图像数据S-60。在接收侧，基本视频流St1和第一增强视频流St2两者都被解码并合并，从而可以获得120fps的图像数据S-120。
图8是示出在发送基本视频流St1和第一增强视频流St2的情况下解码的例子的示图。按照下面的顺序对基本视频流St1执行解码处理：第0帧的I画面(I_0)，第6帧的P画面(P_6)，第2帧的B画面(Br_2)，然后第4帧的B画面(Br_4)…。图中的箭头示出了画面的参考关系。基本视频流St1因此被解码，从而可以获得60fps的图像数据S-60。
按照下面的顺序对第一增强视频流St2执行解码处理：第1帧的P画面(P_1)，第7帧的P画面(P_7)，第3帧的B画面(B_3)，然后第5帧的B画面(B_5)…。图中的箭头示出了画面的参考关系。不仅基本视频流St1被解码，而且第一增强视频流St2也被如上所述地解码，从而可以获得120fps的图像数据S-120。
图9示出在接收侧(解码侧)的时间分辨率可伸缩性的具体配置的例子。这个配置的例子示出了存在两个层(第一阶层，第二阶层)的情况。熵解码单元403a对基本视频流St1执行熵解码处理，并且量化解码单元403b对基本视频流St1执行逆量化处理。此外，频率变换解码器403c处理逆量化的数据，以把数据从频率轴数据变回到时间轴数据，从而获得当前帧的解码数据D1(n)。
加法器403f把从帧缓冲器403d获得的、已在由运动补偿单元403e执行的运动补偿处理中被处理的参考画面的图像数据添加到解码数据D1(n)。然后，这个加法器403f提供当前帧的60fps的图像数据S-60(n)。
熵解码单元405a对第一增强视频流St2执行熵解码处理，并且量化解码单元405b对第一增强视频流St2执行逆量化处理。此外，频率变换解码器405c处理逆量化的数据，以把数据从频率轴数据变回到时间轴数据，从而获得当前帧的解码数据D2(n)。
加法器405f把从帧缓冲器403d和帧缓冲器405d获得的、已在由运动补偿单元405e执行的运动补偿处理中处理的参考画面的图像数据添加到解码数据D2(n)。这个加法器405f提供当前帧的60fps的图像数据S-60(n)'。然后，合并单元406把60fps的图像数据S-60(n)'与上面解释的60fps的图像数据S-60(n)合并，从而获得120fps的图像数据S-120。
一个或多个视频流(视频子流)被插入到一个或多个视频基础流中并且被发送。更具体地，传输流TS包括一个或多个视频基础流。当基本视频流和预定数量的增强视频流被插入到单个视频基础流中并且被发送时，单个访问单元(access unit)包括所有流的画面。
图10是示出时间分辨率可伸缩性的解码过程的例子的示图。图10中的箭头表示所参考的画面的方向。在这个例子中，存在包括第一阶层(最下位阶层)的图像数据的基本视频流(基流)。在这个例子中，存在包括第二阶层的图像数据的第一增强视频流(第一增强流)和包括第三阶层的图像数据的第二增强视频流(第二增强流)。于是，在这个例子中，基本视频流的帧显示频率利用第一增强视频流被增加了两倍，并且利用第二增强视频流被进一步增加了两倍。
在这个例子中，在基本视频流与第一增强视频流之间，增强层(Enhanced layer)中插入的画面具有一个画面。在第一增强视频流与第二增强视频流之间，增强层(Enhancedlayer)中插入的画面具有一个画面。
通过只参考这个基本视频流中的画面，基本视频流的每个画面被解码。通过参考基本视频流中的画面，第一增强视频流的每个画面被解码。通过参考基本视频流和第一增强视频流中的画面，第二增强视频流的每个画面被解码。
如上所述，基本视频流、第一增强视频流和第二增强视频流被解码，并且最终地，获得具有比基本视频流的帧显示频率高四倍的显示频率的图像数据。
图11(a)和图11(b)示出视频基础流的例子，其中视频基础流包括多个视频流(子流)的画面的编码数据。在每个访问单元中，每个子流的画面的编码数据按顺序布置。在这个例子中，第一子流的画面的编码数据由“SPS至编码的片段(Coded Slice)”构成。第二和后续子流的画面的编码数据由“子集SPS(Subset SPS)至编码的片段(Coded Slice)”构成。在这个例子中，采用了根据MPEG4-AVC的编码。但是，也可以采用其它的编码方法。应当注意，图中的十六进制数字表示“NAL单元类型”。
当子流的画面的编码数据共同存在于单个视频基础流中时，需要立即识别画面之间的边界。但是，AUD(访问单元分隔符)只可被添加到单个访问单元的头部。因此，如图11(b)中所示出的，可以在子流的画面的编码数据之间定义和布置指示边界的新的“NAL单元”：“子流分隔标志(Substream Separation Marker)”。
因此，位于每个子流的画面的头部的数据可以被立即访问。图11(a)示出没有在子流的画面的编码数据之间布置“子流分隔标志(Substream Separation Marker)”的例子。
图12示出在将第一发送模式和第二发送模式布置成交替连续并且没有给出用于模式识别的识别信息(信令)的情况下的例子。时间段A和时间段C表示第一发送模式中的时间段。时间段B表示第二发送模式中的时间段。例如，每个时间段表示节目单位或场景单位。
第一发送模式的时间段不仅包括基本视频流，而且包括用于获得空间上或时间上非常高分辨率的增强视频流。第二发送模式的时间段只包括基本视频流。在基本视频流中，SPS被布置在基本视频流的头部，并且随后布置预定数量的访问单元(AU)。在增强视频流中，子集SPS(SSSPS)被布置在增强视频流的头部，并且随后布置预定数量的访问单元(AU)。访问单元(AU)由“PPS，子流SEI(Substream SEIs)，编码的片段(Coded Slice)”构成。
当在从时间段A切换到时间段B的时间点没有向接收器的接收缓冲器提供任何增强视频流时，接收器不能确定流是由于编码器或发送路径的原因而要花更多的时间到达接收器，还是编码器停止编码增强视频流并且只提供基本视频流。在这种情况下，在接收器处的缓冲器可能不得不等待比需要更长的时间，并且因此可能发生下溢(underflow)。
在这种情况下，在接收器的处置中，例如，与预先设定的超时时间进行比较，并且接收器可以例如将显示模式从用于非常高分辨率图像的显示模式改变成基本图像(常规图像)的显示模式。但是，当这种决定由接收器做出时，需要占用处理时间来执行该决定，这使得不可能立即作出决定。更具体地，接收器不能执行正确的流接收以适当地处理流配置中的变化，更具体地，不能适当地处理分发内容中的动态变化。
为了避免这种情况，可能需要提供与发送模式的切换同步的模式识别信息(信令)，从而使得接收器能够检测信号并立即确定用于切换发送模式的时间点。在这个实施例中，用于识别第一发送模式和第二发送模式的识别信息被插入到视频流中。
例如，根据以下解释的“方法1”、“方法2”或“方法3”来插入识别信息。如图13中所示出的，在“方法1”中，指示第一发送模式的识别信息“EHF”被插入到视频流中，或者指示第二发送模式(不存在增强视频流)的识别信息“BCF”被插入到视频流中。更具体地，在第一发送模式中，识别信息“EHF”被插入到视频流中，并且在第二发送模式中，识别信息“BCF”被插入到视频流中。
如图14中所示出的，在“方法2”中，指示第一发送模式(存在增强视频流)的识别信息“EHF”被插入到视频流中。更具体地，在第一发送模式中，识别信息“EHF”被插入到视频流中，并且在第二发送模式中，识别信息不被插入到视频流中。
如图15中所示出的，在“方法3”中，指示第二发送模式的识别信息“BCF”被插入到视频流中。更具体地，在第一发送模式中，识别信息不被插入到视频流中，并且在第二发送模式中，识别信息“BCF”被插入到视频流中。
在第一发送模式的情况下，更具体地，在识别信息“EHF”的情况下，这个识别信息包括指示增强视频流的数量的信息、指示可伸缩性增强的类型的信息、指示在与可伸缩性增强中的上位阶层合并时的缩放比率的信息，等等。
例如，这个识别信息被插入到视频流的序列头部或画面头部的用户数据区域中。这个识别信息至少按照节目单位、场景单位、画面组单位或画面单位来插入。在以上解释的图13、图14和图15中所示出的例子示出了按照画面单位来插入识别信息的例子。
如上所述，发送模式的识别信息被插入到视频流中，使得接收侧可以根据发送模式的切换来适当地切换非常高分辨率图像的显示处理和常规图像的显示处理。当执行常规图像的显示处理时，执行分辨率提高处理。识别信息(“EHF”，“BCF”)的细节将在后面解释。
此外，用于识别模式是第一发送模式还是第二发送模式的识别信息被插入到传输流TS的层中。这个识别信息被布置在事件单元或临时静态或动态使用例子中的最佳位置。例如，这个识别信息被插入到传输流TS中所包含的节目映射表(PMT)的视频基础环路(视频ES环路)中。利用这个识别信息，接收侧可以大概地确定模式是第一发送模式还是第二发送模式，而无需解码视频流。
当识别信息指示第一发送模式时，识别信息包括指示增强视频流的数量的信息、指示可伸缩性增强的类型的信息、指示是否在单个视频基础流中提供预定数量的增强视频流的信息，等等。这种识别信息的细节将在后面解释。
另外，用于识别插入一个或多个视频流(子流)的视频基础流的数量的识别信息被插入到传输流TS的层中。这个识别信息被布置在事件单元或临时静态或动态使用例子中的最佳位置。例如，这个识别信息被插入到传输流TS中所包含的节目映射表(PMT)的节目环路(Program_loop)中。利用这个识别信息，接收侧可以确定要解码的视频基础流的数量。这种识别信息的细节将在后面解释。
接收器200以通过广播波携载传输流TS的方式接收从广播站100发送的传输流TS。在第一发送模式的时间段中，接收器200解码在传输流TS中包含的视频流(基本视频流和预定数量的增强视频流)，并获得非常高分辨率图像的显示图像数据。在第二发送模式的时间段中，接收器200解码在这个传输流TS中包含的视频流(基本视频流)，并获得常规图像的显示图像数据。
“发送数据产生单元的配置的例子”
图16示出在广播站100中产生上述传输流TS的发送数据产生单元110的配置的例子。这个发送数据产生单元110包括图像数据输出单元111、视频编码器112、图形数据输出单元113、图形编码器114、音频数据输出单元115、音频编码器116和多路复用器117。
首先，将解释第一发送模式的情况。图像数据输出单元111输出空间上或时间上非常高分辨率图像的图像数据。这个图像数据输出单元111包括例如用于捕获被摄体的图像并且输出图像数据的相机和用于从存储介质读取图像数据并且输出该图像数据的图像数据读取单元。例如，图像数据对应于4K图像数据、8K图像数据等等，用于显示空间上非常高分辨率的图像。可替代地，例如，图像数据对应于120fps的图像数据、240fps的图像数据等等，用于显示时间上非常高分辨率的图像。
视频编码器112对从图像数据输出单元111输出的图像数据执行可伸缩编码处理，并且产生基本视频流(子流)和预定数量的增强视频流，其中基本视频流(子流)包括最下位阶层的图像数据，每个增强视频流(子流)包括除最下位层之外的阶层的图像数据。每个视频流(子流)根据例如MPEG4-AVC、MPEG2视频等进行编码。然后，视频编码器112产生具有基本视频流和预定数量的增强视频流的一个或多个视频基础流，其中基本视频流和预定数量的增强视频流利用后面阶段提供的流格式器(未示出)插入到一个或多个视频基础流中。
当采用上面解释的“方法1”或“方法2”时，视频编码器112将指示第一发送模式的识别信息“EHF”插入到基本视频流中。这个识别信息“EHF”包括指示增强视频流的数量的信息、指示可伸缩性增强的类型的信息、指示在与可伸缩性增强中的上位阶层合并时的伸缩比率的信息，等等。
图17示出基本视频流和预定数量的增强视频流被插入到单个视频基础流(单个PID)中的情况下流中的编码分组顺序。这个例子示出了存在单个增强视频流的情况。识别信息“EHF”被插入到基本视频流中作为SEI消息，SEI消息的细节将在后面解释。
图18示出包括基本视频流和预定数量的增强视频流的每个视频流被插入到多个视频基础流(多个PID)中的情况下每个流中的编码分组顺序。这个例子示出了存在单个增强视频流的情况。
返回到图16，图形数据输出单元113输出叠加在图像上的图形数据(也包括打印的外文翻译的字幕)。图形编码器114产生包括从图形数据输出单元113输出的图形数据的图形流(图形基础流)。在这种情况下，图形构成叠加的信息并且例如是徽标、字幕，等等。
图形数据主要是位图数据。图形数据附有指示在图像上的叠加位置的偏移信息。例如，这个偏移信息指示从图像左上方的起始点到图形叠加位置的左上方像素的在垂直方向和水平方向上的偏移值。应当注意，把字幕数据作为位图数据发送的标准被标准化和操作为例如DVB中的“DVB_Subtitling”，其中DVB是欧洲的数字广播规范。
音频数据输出单元115输出对应于图像数据的音频数据。例如，这个音频数据输出单元115包括麦克风、或从存储介质中读取音频数据并输出该音频数据的音频数据读取单元。音频编码器116对从音频数据输出单元115输出的音频数据应用诸如MPEG-2音频、AAC等编码，并且产生音频流(音频基础流)。
多路复用器117分组化并且多路复用由视频编码器112、图形编码器114和音频编码器116产生的每个基础流，从而产生传输流TS。在这个例子中，PTS(呈现时间戳)被插入到每个PES(分组化的基础流)的头部，用于在接收侧的同步重放。
多路复用器117将用于识别模式是第一发送模式还是第二发送模式的识别信息插入到传输流TS的层中。在这个例子中，这个识别信息指示第一发送模式。例如，这个识别信息被插入到在传输流TS中所包含的节目映射表(PMT)的视频基础环路(视频ES环路)中。
这个多路复用器117将用于识别插入一个或多个视频流(子流)的视频基础流的数量的识别信息插入到传输流TS的层中。在这个例子中，这个识别信息指示“1”或“增强视频流的数量+1”。例如，
这个识别信息被插入到在传输流TS中所包含的节目映射表(PMT)的节目环路(Program_loop)中。
下面，将解释第二发送模式的情况。图像数据输出单元111输出常规图像(例如，HD图像)的图像数据。视频编码器112对从图像数据输出单元111输出的图像数据应用诸如MPEG4-AVC、MPEG2视频等编码，并产生基本视频流(子流)。然后，视频编码器112产生具有基本视频流的单个视频基础流，其中基本视频流利用后面阶段提供的流格式器(未示出)插入到单个视频基础流中。
当采用以上解释的“方法1”或“方法3”时，视频编码器112将指示第二发送模式的识别信息“BCF”插入到基本视频流中。
虽然省略了图形数据输出单元113、图形编码器114、音频数据输出单元115和音频编码器116的详细解释，但是它们以与第一发送模式相同的方式操作。
多路复用器117分组化并多路复用由视频编码器112、图形编码器114和音频编码器116产生的每个基础流，从而产生传输流TS。在这个例子中，PTS(呈现时间戳)被插入到每个PES(分组化的基础流)头部，用于在接收侧的同步重放。
多路复用器117将用于识别模式是第一发送模式还是第二发送模式的识别信息插入到传输流TS的层中。在这个例子中，这个识别信息指示第二发送模式。例如，这个识别信息被插入到在传输流TS中所包含的节目映射表(PMT)的视频基础环路(视频ES环路)中。
这个多路复用器117将用于识别插入一个或多个视频流(子流)的视频基础流的数量的识别信息插入到传输流TS的层中。在这个例子中，这个识别信息指示“1”。例如，这个识别信息被插入到在传输流TS中所包含的节目映射表(PMT)的节目环路(Program_loop)中。
将简要地解释如图16中所示出的发送数据产生单元110的操作。首先，将解释第一发送模式的情况。从图像数据输出单元111输出的空间上或时间上非常高分辨率的图像的图像数据被提供给视频编码器112。
这个视频编码器112对该图像数据应用可伸缩编码处理，并产生基本视频流(子流)和预定数量的增强视频流(子流)，其中基本视频流(子流)包括最下位阶层的图像数据，增强视频流(子流)包括除最下位层之外的阶层的图像数据。然后，视频编码器112产生插入了基本视频流和预定数量的增强视频流的一个或多个视频基础流。这种视频基础流被提供给多路复用器117。当采用以上解释的“方法1”或“方法2”时，这个视频编码器112将指示第一发送模式的识别信息“EHF”插入到基本视频流中(参见图13和图14)。
从图形数据输出单元113输出的图形数据(也包括字幕数据)被提供给图形编码器114。这个图形编码器114产生包括图形数据的图形流(图形基础流)。这个图形流被提供给多路复用器115。
从音频数据输出单元115输出的音频数据被提供给音频编码器116。这个音频编码器116对该音频数据应用诸如MPEG-2音频、AAC等编码，从而产生音频流(音频基础流)。这个音频流被提供给多路复用器117。
多路复用器117分组化并多路复用由每个编码器提供的基础流，从而产生传输流TS。在这个例子中，PTS被插入到每个PES的头部，用于在接收侧的同步重放。多路复用器117在PMT的视频基础环路(视频ES环路)中插入用于识别模式是第一发送模式还是第二发送模式的识别信息。多路复用器117在PMT的节目环路中插入用于识别视频基础流的数量的识别信息。
下面，将解释第二发送模式的情况。从图像数据输出单元111输出的常规图像(例如，HD图像)的图像数据被提供给视频编码器112。这个视频编码器112对该图像数据应用诸如MPEG4-AVC、MPEG2视频等编码，从而产生基本视频流(子流)。然后，这个视频编码器112产生插入了基本视频流的单个视频基础流。当采用以上解释的“方法1”或“方法3”时，这个视频编码器112将指示第二发送模式的识别信息“BCF”插入到基本视频流中(参见图13和图15)。
多路复用器117分组化并多路复用由视频编码器112、图形编码器114和音频编码器116产生的每个基础流，从而产生传输流TS。在这个例子中，PTS被插入到每个PES头部，用于在接收侧的同步重放。例如，多路复用器117在PMT的视频基础环路(视频ES环路)中插入用于识别模式是第一发送模式还是第二发送模式的识别信息。例如，多路复用器117在PMT的节目环路中插入用于识别视频基础流的数量的识别信息。
[每种识别信息的结构和TS配置]
如上所述，用于识别第一发送模式和第二发送模式(“EHF”，“BCF”)的识别信息被插入到视频流中。例如，当编码方法为MPEG4-AVC时，或者当编码方法是编码结构(诸如NAL分组)类似于诸如HEVC的编码方法时，这个识别信息被插入到访问单元(AU)的“SEI”部分作为SEI消息(增强可伸缩性SEI消息)。
图19(a)示出位于GOP(画面组)的头部的访问单元。图19(b)示出位于除了GOP的头部以外的访问单元。当识别信息(“EHF”，“BCF”)被插入在GOP单元中时，“增强可伸缩性SEI消息(Enhancement scalability SEI message)”仅被插入到位于GOP头部的访问单元中。在示图中，除“增强可伸缩性SEI消息(Enhancement scalability SEI message)”之外的SEI消息对应于上述在图17和图18中被描述为“常规SEI(conventional SEI)”的部分。
图20(a)示出“增强可伸缩性SEI消息(Enhancement scalability SEI message)”的配置(语法)的例子。“uuid_iso_iec_11578”具有在“ISO/IEC 11578:1996Annex A”中所指示的UUID值。“userdata_for_enhancement_scalability_data()”被插入到“user_data_payload_byte”的字段中。图20(b)示出“userdata_for_enhancement_scalability_data()”的配置(语法)的例子。在这种配置中，增强可伸缩性数据(enhancement_scalability_data()))被插入。“userdata_id”是由无符号的16比特指示的增强可伸缩性数据的标识符。
图21示出增强可伸缩性数据(enhancement_scalability_data())的配置的例子。图22示出在增强可伸缩性数据的结构的例子中主信息的内容(语义)。
两比特字段“enhancement_scalability_type”指示可伸缩性增强的类型。例如，“00”指示不可伸缩。“01”指示空间分辨率可伸缩性。“10”指示时间分辨率可伸缩性。在指示第一发送模式的识别信息“EHF”的情况下，这个两比特字段是例如“01”或“10”。在指示第二发送模式的识别信息“BCF”的情况下，这个两比特字段是“00”。因此，这个两比特字段允许识别模式是第一发送模式还是第二发送模式。
三比特字段“number_of_enhanced_streams”指示增强视频流的数量。例如，“000”指示零个流。“001”指示一个流。“010”指示两个流。“011”指示三个流。在指示第一发送模式的识别信息“EHF”的情况下，这个三比特字段指示一个或多个流。另一方面，在指示第二发送模式的识别信息“BCF”的情况下，这个三比特字段指示零个流。
当两比特字段“enhancement_scalability_type”指示空间分辨率可伸缩性时，存在与增强视频流的数量一样多的三比特字段“spatial_scaling_ratio”。这个三比特字段指示在与紧挨着上面增强层中的解码画面(图像)(增强层)合并时的空间缩放比率，并且表示用于缩放较下位层的解码画面(较下位层)的水平像素率和垂直像素率的组合(参见图6)。
例如，“000”表示不缩放。“001”指示在水平和垂直方向上的放大比率都是50％(扩大3/2倍)。“010”指示在水平和垂直方向上的放大比率都是100％(扩大2倍)。此外，“011”指示在水平和垂直方向上的放大比率都是150％(扩大5/2倍)
当两比特字段“enhancement_scalability_type”指示时间分辨率可伸缩性时，存在与增强视频流的数量一样多的三比特字段“temporal_scaling_ratio”。这种三比特字段指示在与紧挨着的上面增强层中的解码画面(增强层)合并时的时间缩放比率，并且指示在较下位层(lower layer)中的解码画面(图像)之间显示的增强层(enhanced layer)中的画面的数量(参见图10)。
例如，“000”指示在增强层中没有画面插入。“001”指示增强层中插入的画面包括一个画面。“010”指示增强层中插入的画面包括二个画面。“011”指示增强层中插入的画面包括三个画面。
如上所述，例如，用于识别模式是第一发送模式还是第二发送模式的识别信息被插入到传输流TS的节目映射表(PMT)的视频基础环路(视频ES环路)中。图23指示用作这种识别信息的可伸缩增强描述符(Scalable_enhancement_descriptor)的配置(语法)的例子。图24示出在结构的例子中主信息的内容(语义)。
这种可伸缩增强描述符只在例如第一发送模式的情况下插入。因此，当描述符存在时，这允许识别出模式在传输流TS的层中是第一发送模式，相反，当该描述符不存在时，这允许识别出模式在传输流TS的层中是第二发送模式。
八比特字段“scalable_enhancement_tag”指示描述符类型，并且在这个例子中，八比特字段“scalable_enhancement_tag”指示可伸缩增强描述符。八比特字段“scalable_enhancement_length”指示描述符的长度(大小)，并且指示后续字节的数量，这是描述符的长度。
两比特字段“Scalable_enhancement_type”指示可扩展性增强的类型。例如，“01”指示空间分辨率可伸缩性。“10”指示时间分辨率可伸缩性。
一比特字段“stream_delivery_type”指示提供基本视频流和增强视频流的视频基础流的配置。“1”指示在单个视频基础流中提供每个视频流。“0”指示在多个视频基础流中提供每个视频流。
三比特字段“number_of_enhanced_streams”指示增强视频流的数量。例如，“000”指示零个流。“001”指示一个流。“010”指示两个流。“011”指示三个流。
如上所述，例如，用于识别插入了一个或多个视频流(子流)的视频基础流的数量的识别信息被插入到传输流TS的节目映射表(PMT)的节目环路(Program_loop)中。图25(a)示出用作这个识别信息的多流描述符(Multiple_stream_descriptor)的配置(语法)的例子。
八比特字段“multiple_stream_tag”指示描述符类型，并且在这个例子中，八比特字段“multiple_stream_tag”指示多流描述符。八比特字段“multiple_stream_length”指示描述符的长度(大小)，并且指示后续字节的数量，这是该描述符的长度。
三比特字段“number_of_video_streams”指示视频基础流的数量。例如，如图25(b)中所示出的，“001”指示一个流。“010”指示两个流。“011”指示三个流。“100”指示四个流。在第一发送模式的情况下，这个三比特字段指示一个或多个流。另一方面，在第二发送模式的情况下，这个三比特字段指示只有一个流。
图26示出传输流TS的配置的例子。在这个例子中，为了简化示图，有关音频和图形的部分在图中被省略。这个例子示出了只有基本视频流、或基本视频流和预定数量的增强视频流被插到单个视频基础流中并且被发送的情况(单个PID)。更具体地，在第一发送模式中，基本视频流和预定数量的增强视频流被插入到这个单个视频基础流中，并且在第二发送模式中，只有基本视频流被插入到这个单个视频基础流中。
传输流TS包括单个视频基础流的PES分组“PID1：视频PES1”。用于识别第一发送模式和第二发送模式(“EHF”，“BCF”)的识别信息作为SEI消息(增强可伸缩性SEI消息)(参见图21)被插入到基本视频流(子流)中，其中基本视频流(子流)被插入到这个视频基础流中。
传输流TS包括作为PSI(节目特定信息)的PMT(节目映射表)。这个PSI是描述传输流中所包含的每个基础流属于哪个节目的信息。
在PMT中，存在具有与每个基础流相关的信息的基础环路。在这个配置的例子中，存在视频基础环路(视频ES环路)。在这个视频基础环路中，诸如流类型和分组标识符(PID)的信息被布置成与上述单个视频基础流相关联，并且描述关于视频基础流的信息的描述符也被布置在其中。
在PMT的视频基础环路(视频ES环路)中，与上述单个视频基础流相关联地插入可伸缩增强描述符(Scalable_enhancement_descriptor)(参见图23)。在PMT的节目环路(Program loop)中，插入多流描述符(Multiple_stream_descriptor)(参见图25)。应当注意，可伸缩增强描述符只在例如上述第一发送模式的情况下插入。
图27也示出传输流TS的配置的例子。在这个例子中，为了简化示图，有关音频和图形的部分也在示图中省略。这个例子示出了基本视频流和预定数量的增强视频流被插入到不同的视频基础流中并被发送的情况(多个PID)。这个例子示出了存在两个增强视频流的情况。
这个配置的例子包括插入了基本视频流(子流)的视频基础流的PES分组“PID1：视频PES1”。用于识别第一发送模式和第二发送模式(“EHF”，“BCF”)的识别信息被插入到这个基本视频流中作为SEI消息(增强可伸缩性SEI消息)(参见图21)。
这个配置的例子包括插入了第一增强视频流(子流)的视频基础流的PES分组“PID2：视频PES2”和插入了第二增强视频流(子流)的视频基础流的PES分组“PID3：视频PES3”。
传输流TS包括作为PSI(节目特定信息)的PMT(节目映射表)。这个PSI是描述在传输流中所包含的每个基础流属于哪个节目的信息。
在PMT中，存在具有与每个基础流相关的信息的基础环路。在这个配置的例子中，存在视频基础环路(视频ES环路)。在这个视频基础环路中，针对每个视频基础流布置了诸如流类型和分组标识符(PID)的信息，并且还在其中布置了描述关于视频基础流的信息的描述符。
在PMT的视频基础环路(视频ES环路)中，与上述每个视频基础流相关联地插入相同内容的可伸缩增强描述符(Scalable_enhancement_descriptor)(参见图23)。只可以与插入了基本视频流的视频基础流相关联地插入可伸缩增强描述符(Scalable_enhancement_descriptor)。在PMT的节目环路(Program loop)中，插入多流描述符(Multiple_stream_descriptor)(参见图25)。应当注意，可伸缩增强描述符只在例如上述第一发送模式的情况下插入。
“接收器的配置的例子”
图28示出接收器200的配置的例子。这个接收器200包括CPU201、快闪ROM 202、DRAM 203、内部总线204、遥控接收单元(RC接收单元)205和遥控发送器(RC发送器)206。这个接收器200包括天线端子211、数字调谐器212、传输流缓冲器(TS缓冲器)213和多路解复用器214。
这个接收器200包括编码缓冲器215、视频解码器216、基本流解码缓冲器217、增强流解码缓冲器218、合并处理单元219、视频RAM 220、分辨率提高处理单元221、以及叠加单元222。这个接收器200包括编码缓冲器231、图形解码器232、像素缓冲器233、缩放器234、编码缓冲器241、音频解码器242和声道混合单元243。
CPU 201控制接收器200的每个单元的操作。快闪ROM 202存储控制软件并保持数据。DRAM 203构成CPU 201的工作区域。CPU 201提取从快闪ROM 202读取到DRAM 203的软件和数据以激活软件，从而控制接收器200的每个单元。RC接收单元205接收从RC发送器206发送的遥控信号(遥控代码)，并且向CPU 201提供该遥控信号(遥控代码)。CPU 201根据遥控代码来控制接收器200的每个单元。CPU 201、快闪ROM 202和DRAM 203连接到内部总线204。
天线端子211是用于输入由接收天线(未示出)接收到的电视广播信号的端子。数字调谐器212处理输入到天线端子211中的电视广播信号，并且输出对应于用户所选频道的预定的传输流(比特流数据)TS。传输流缓冲器(TS缓冲器)213临时累积从数字调谐器212输出的传输流TS。
这个传输流TS包括一个或多个视频基础流、图形基础流和音频基础流。在第一发送模式和第二发送模式中，下面的子流被插入到一个或多个视频基础流中。
更具体地，在第一发送模式中，插入基本视频流和预定数量的增强视频流。在这种情况下，基本视频流包括构成可伸缩编码的图像数据(空间上或时间上非常高分辨率图像的图像数据)的最下位阶层的图像数据。预定数量的增强视频流中的每个包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，
只将基本视频流插入到这个传输流TS中。在这种情况下，基本视频流包括用作基本图像数据的常规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据。
用作用于识别第一发送模式和第二发送模式的识别信息(“EHF”，“BCF”)的SEI消息(增强可伸缩性SEI消息)被插入到基本视频流中(参见图21)。用作用于识别模式是第一发送模式还是第二发送模式的识别信息的可伸缩增强描述符(Scalable_enhancement_descriptor)被插入到传输流TS的层中(参见图23)。此外，用作用于识别视频基础流的数量的识别信息的多流描述符(Multiple_stream_descriptor)被插入到传输流TS的层中(参见图25)。
多路解复用器214从在TS缓冲器213中临时累积的传输流TS中提取视频、图形和音频的每个基础流。多路解复用器214从这个传输流TS中提取可伸缩增强描述符和多流描述符，并将它们发送到CPU 201。
CPU 201基于包含在描述符中的信息来控制处理，诸如接收器200中的解码。例如，CPU 201执行控制，以便针对在多流描述符中包括的视频基础流的数量，解码视频基础环路(视频ES环路)中的可伸缩增强描述符和与其相关联的视频基础流(PES流)。
编码缓冲器215临时累积由多路解复用器214提取的一个或多个视频基础流。在CPU 201的控制下，视频解码器216检索并解码插入到存储在编码缓冲器215中的视频基础流中的一个或多个视频流(子流)。
在第一发送模式中，基本视频流和预定数量的增强视频流被检索并被解码。在这种情况下，通过解码基本视频流获得构成可伸缩编码的图像数据(例如，HD分辨率、25fps、30fps图像等的图像数据)的最下位阶层的图像数据。通过解码预定数量的增强视频流中的每个获得构成除可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式下，只有基本视频流被检索并被解码。在这种情况下，通过解码基本视频流获得常规图像(例如，HD分辨率、25fps、30fps图像等)的图像数据。
视频解码器216提取插入到基本视频流中的SEI消息(增强可伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不仅基于上述可伸缩增强描述符的存在/不存在，而且基于SEI消息中的模式信息来识别该模式是第一发送模式还是第二发送模式，并且控制接收器200的每个单元，以便执行对应于每种模式的处理。例如，当CPU 201基于可伸缩增强描述符的存在/不存在来确定传输流TS的层中的模式切换时，当此后基于SEI消息中的模式信息识别了模式切换时，CPU 201切换处理。
基本流解码缓冲器217临时累积当视频解码器216解码基本视频流时所获得的图像数据。在第一发送模式中，图像数据是构成可伸缩编码的图像数据的最下位阶层的图像数据，并且在第二发送模式中，图像数据是常规图像的图像数据。增强流解码缓冲器218临时累积当视频解码器216解码预定数量的增强视频流时获得的每个图像数据。该图像数据仅在第一发送模式中获得，并且是除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。
合并处理单元219只在第一发送模式中执行处理。这个合并处理单元219执行用于合并在基本流解码缓冲器217中存储的最下位阶层的图像数据和在增强流解码缓冲器218中存储的除最下位阶层之外的阶层的图像数据的合并处理，从而产生非常高分辨率图像的显示图像数据Va(参见图6和图10)。在这种情况下，合并处理单元219根据可伸缩性增强的类型参考诸如在SEI消息(增强可伸缩性SEI消息)中包含的缩放比率的信息，并执行空间分辨率可伸缩性或时间分辨率可伸缩性的合并处理。
分辨率提高处理单元221只在第二发送模式中执行处理。这个分辨率提高处理单元221对存储在基本流解码缓冲器217中的常规图像的图像数据执行分辨率提高处理，并产生具有与上述非常高分辨率图像的显示图像数据Va的分辨率相等的分辨率的显示图像数据Vb。在这种情况下，在空间分辨率可伸缩性的情况下，执行提高处理以提高空间分辨率，而在时间分辨率可伸缩性的情况下，执行提高处理以提高帧频率。
在第一发送模式中，视频RAM 220临时累积由合并处理单元219产生的图像数据Va。在第二发送模式中，视频RAM 220临时累积由分辨率提高处理单元221产生的图像数据Vb。
编码缓冲器231临时累积由多路解复用器214提取的图形流。图形解码器232执行与上述发送数据产生单元110的图形编码器114(参见图16)相反的处理。更具体地，图形解码器232执行解码处理以解码存储在编码缓冲器231中的图形流，从而获得解码的图形数据(包括字幕数据)。图形解码器232基于图形数据产生叠加在图像数据上的图形的位图数据。
像素缓冲器233临时累积由图形解码器232产生的图形的位图数据。缩放器234调整在像素缓冲器233中累积的图形的位图数据的尺寸，使得它对应于显示图像数据的尺寸。叠加单元222将缩放的图形的位图数据叠加到存储在视频RAM 220中的显示图像数据Va、Vb上，从而获得最终的显示图像数据。
编码缓冲器241临时累积由多路解复用器214提取的音频流。音频解码器242执行与上述发送数据产生单元110的音频编码器116(参见图16)相反的处理。更具体地，音频解码器242执行存储在编码缓冲器241中的音频流的解码处理，从而获得解码的音频数据。声道混合单元243从由音频解码器242获得的音频数据中获得每个声道的音频数据，用于实现例如5.1ch的环绕声音，等等。
应当指出，基于PTS来执行从基本流解码缓冲器217和增强视频流解码缓冲器218中读取图像数据以及从像素缓冲器233中读取图形的位图数据，并且建立了传输同步。
将解释接收器200的操作。首先，将解释在第一发送模式的情况。输入到天线端子211的电视广播信号被提供给数字调谐器212。这个数字调谐器212处理电视广播信号，并且输出对应于用户所选频道的预定传输流TS。这个传输流TS被临时累积在TS缓冲器213中。
这个传输流TS包括一个或多个视频基础流、图形基础流和音频基础流。基本视频流和预定数量的增强视频流被插入到一个或多个视频基础流中。
多路解复用器214从临时存储在TS缓冲器213中的传输流TS中提取视频、图形和音频的每个基础流。多路解复用器214从该传输流TS中提取可伸缩增强描述符(Scalable_enhancement_descriptor)和多流描述符(Multiple_stream_descriptor)，并将该可伸缩增强描述符(Scalable_enhancement_descriptor)和多流描述符(Multiple_stream_descriptor)发送到CPU 201。CPU 201基于包括在描述符中的信息来控制处理，诸如在接收器200中的解码。
由多路解复用器214提取的一个或多个视频基础流被提供给编码缓冲器215并临时累积在编码缓冲器215中。在CPU 201的控制下，视频解码器216检索并解码插入到存储在编码缓冲器215中的视频基础流中的一个或多个视频流(子流)。
在这种情况下，基本视频流和预定数量的增强视频流被检索并被解码。通过解码基本视频流获得构成可伸缩编码的图像数据(例如，HD分辨率、25fps、30fps图像等的图像数据)的最下位阶层的图像数据。通过解码预定数量的增强视频流中的每个获得除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。
视频解码器216提取插入到基本视频流中的SEI消息(增强可伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不仅基于上述可伸缩增强描述符的存在/不存在而且基于SEI消息中的模式信息来识别该模式是第一发送模式还者第二发送模式。在这种情况下，CPU 201识别模式是第一发送模式，并且控制接收器200的每个单元，以便按照该第一发送模式执行处理。
通过视频解码器216获得的构成可伸缩编码的图像数据的最下位阶层的图像数据被临时累积在基本流解码缓冲器217中。通过视频解码器216获得的除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据被临时累积在增强流解码缓冲器218中。
合并处理单元219执行用于合并在基本流解码缓冲器217中存储的最下位阶层的图像数据和在增强流解码缓冲器218中存储的除最下位阶层之外的阶层的图像数据的合并处理。于是，这个合并处理单元219产生非常高分辨率图像的显示图像数据Va。这个显示图像数据Va被临时累积在视频RAM 220中。
由多路解复用器214提取的图形流被提供给编码缓冲器231以临时累积在编码缓冲器231中。图形解码器232执行存储在编码缓冲器231中的图形流的解码处理，并且获得解码的图形数据(包括字幕数据)。图形解码器232基于该图形数据产生叠加在图像数据上的图形的位图数据。
由图形解码器232产生的图形的位图数据被提供给像素缓冲器233以临时累积在像素缓冲器233中。缩放器234调整在像素缓冲器233中累积的图形的位图数据的尺寸，使得它对应于显示图像数据Va的尺寸。叠加单元222将缩放的图形的位图数据叠加到存储在视频RAM 220中的显示图像数据Va上，从而获得最终的显示图像数据。通过向显示器提供该显示图像数据，就显示了空间上或时间上非常高分辨率的图像。
通过多路解复用器214提取的音频流被提供给编码缓冲器241并临时累积在编码缓冲器241中。音频解码器242执行解码处理，以解码存储在编码缓冲器241中的音频流，从而获得解码的音频数据。音频数据被提供给声道混合单元243。声道混合单元243从该音频数据中获得每个声道的音频数据，用于实现例如5.1ch的环绕声音，等等。音频数据被提供给例如扬声器，并且音频与图像显示同步地输出。
下面，将解释第二发送模式的情况。输入到天线端子211中的电视广播信号被提供给数字调谐器212。这个数字调谐器212处理电视广播信号，并且输出对应于用户所选频道的预定传输流TS。这个传输流TS被临时累积在TS缓冲器213中。
这个传输流TS包括单个视频基础流、图形基础流和音频基础流。基本视频流被插入到单个视频基础流中。
多路解复用器214从临时存储在TS缓冲器213中的传输流TS中提取视频、图形和音频的每个基础流。多路解复用器214从该传输流TS中提取多流描述符(Multiple_stream_descriptor)，并将该多流描述符(Multiple_stream_descriptor)发送到CPU 201。CPU 201基于包含在描述符中的信息来控制处理，诸如接收器200中的解码。
通过多路解复用器214提取的单个视频基础流被提供给编码缓冲器215并临时累积在编码缓冲器215中。在CPU 201的控制下，视频解码器216检索并解码插入到存储在编码缓冲器215中的视频基础流中的基本视频流(子流)。作为这个解码的结果，获得常规图像(例如，HD分辨率、25fps、30fps图像等)的图像数据。图像数据被临时累积在基本流解码缓冲器217中。
视频解码器216提取插入到基本视频流中的SEI消息(增强可伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不仅基于上述可伸缩增强描述符的存在/不存在而且基于SEI消息的模式信息来识别模式是第一发送模式还者第二发送模式。在这个例子中，CPU 201识别出模式是第二发送模式，并控制接收器200的每个单元，以便按照这种第二发送模式执行处理。
分辨率提高处理单元221对基本流解码缓冲器217中存储的常规图像的图像数据执行分辨率提高处理，并产生与上述非常高分辨率图像的显示图像数据Va的分辨率相等的分辨率的显示图像数据Vb。在这个例子中，在空间分辨率可伸缩性的情况下，执行提高处理以提高空间分辨率，并且在时间分辨率可伸缩性的情况下，执行提高处理以提高帧频率。
通过多路解复用器214提取的图形流被提供给编码缓冲器231以临时累积在编码缓冲器231中。图形解码器232执行存储在编码缓冲器231中的图形流的解码处理，并获得解码的图形数据(包括字幕数据)。图形解码器232基于图形数据产生叠加在图像数据上的图形的位图数据。
通过图形解码器232产生的图形的位图数据被提供给像素缓冲器233以临时累积在像素缓冲器233中。缩放器234调整在像素缓冲器233中累积的图形的位图数据的尺寸，使得它对应于显示图像数据Vb的尺寸。叠加单元222将缩放的图形的位图数据叠加到存储在视频RAM 220的显示图像数据Vb上，从而获得最终的显示图像数据。通过向显示器提供显示图像数据，就显示了通过应用分辨率提高处理所获得的图像。
应当指出，音频系统的操作与第一发送模式的情况相同，并且关于其的解释被省略。
[当在高精度节目和常规节目之间切换时，接收处理的切换控制]
现在，将解释当在高精度节目和常规节目之间切换时，在接收器200中的接收处理的切换。在这种情况下，高精度节目以第一发送模式发送，而常规节目以第二发送模式发送。
图29示出接收处理的切换控制的例子。在这个例子中，在第一发送模式中，基本视频流和预定数量的增强视频流被插入到单个视频基础流中并且被提供。在这种情况下，基本视频流包括最下位阶层(第一阶层)的图像数据(HD图像数据)，并且预定数量的增强视频流包括除最下位阶层之外的阶层(增强层)的图像数据。在第二发送模式中，提供具有插入到其中的基本视频流的单个视频流。
在高精度节目的时间段(第一发送模式)和常规节目的时间段(第二发送模式)中，插入到传输流TS的层中的多流描述符(Multiple_stream_descriptor)的“number_of_video_streams”是“001”，并且这指示视频基础流的数量在任何时间段都是一个。
另一方面，在高精度节目(第一发送模式)中插入到传输流TS的层中的可伸缩增强描述符(Scalable_enhancement_descriptor)的“scalable_enhancement_type”是“01”，并且这指示空间分辨率可伸缩性。该描述符的“stream_delivery_type”是“1”，并且这指示在单个视频基础流中提供基本视频流和增强视频流。
SEI消息(增强可伸缩性SEI消息)被插入到基本流中。在高精度节目(第一发送模式)的时间段中，包括在这个SEI消息中的“enhancement_scalability_type”是指示空间分辨率可扩展性的“01”，并且这意味着高精度节目(第一发送模式)可以被识别。另一方面，在常规节目(第二传输模式)的时间段中，“enhancement_scalability_type”是“00”，并且这指示该常规节目(第二发送模式)的时间段可以被识别。
例如如下地执行接收器200中的接收处理的切换控制。当接收处理从常规节目(第二发送模式)切换到高精度节目(第一发送模式)时，首先，可伸缩增强描述符(Scalable_enhancement_descriptor)的存在允许接收器200识别传输流TS的层中的到高精度节目(第一发送模式)的切换。此后，当插入到基本流中的SEI消息(增强可伸缩性SEI消息)的“enhancement_scalability_type”变成“01”时，这允许接收器200识别在视频层中的到高精度节目(第一发送模式)的切换。在这个识别的时间点(在图中表示为“Ta”)，接收处理从常规节目(第二发送模式)切换到高精度节目(第一发送模式)。
另一方面，当接收处理从高精度节目(第一发送模式)切换到常规节目(第二发送模式)时，首先，可伸缩增强描述符(Scalable_enhancement_descriptor)的不存在使得接收器200识别传输流TS的层中的到常规节目(第二发送模式)的切换。此后，插入到基本流中的SEI消息(增强可伸缩性SEI消息)的“enhancement_scalability_type”变成“00”，并且这允许接收器200识别视频层中的到常规节目(第二发送模式)的切换。在这个识别的时间点(在图中表示为“Tb”)，接收处理从高精度节目(第一发送模式)切换到常规节目(第二发送模式)。
图30示出接收处理的切换控制的例子。在这个例子中，在第一发送模式中，基本视频流和两个增强视频流被插入到三个视频基础流中并且被提供。在这种情况下，基本视频流包括最下位阶层(第一阶层)的图像数据(HD图像数据)。第一增强视频流包括第二阶层的图像数据(高频成分)，并且第二增强视频流包括第三阶层的图像数据(高频成分)。在第二发送模式下，提供了插入基本视频流的单个视频流。
在高精度节目(第一发送模式)的时间段中，插入到传输流TS的层中的多流描述符(Multiple_stream_descriptor)的“number_of_video_streams”是“011”，并且这意味着视频基础流的数量是三个。另一方面，在常规节目(第二发送模式)的时间段中，这个“number_of_video_streams”是“001”，并且这意味着视频基础流的数量是一个。
另一方面，在高精度节目(第一发送模式)中的插入到传输流TS的层中的可伸缩增强描述符(Scalable_enhancement_descriptor)的“scalable_enhancement_type”是“01”，并且这指示空间分辨率可伸缩性。这个描述符的“stream_delivery_type”是“0”，并且这指示在多个视频基础流中提供基本视频流和增强视频流。
SEI消息(增强可伸缩性SEI消息)被插入到基本流中。在高精度节目(第一发送模式)的时间段中，包括在这个SEI消息中的“enhancement_scalability_type”是指示空间分辨率可伸缩性的“01”，并且使得接收器200识别高精度节目(第一发送模式)。另一方面，在常规节目(第二发送模式)的时间段中，“enhancement_scalability_type”是“00”，并且这使得接收器200识别常规节目(第二发送模式)的时间段。
虽然省略了图30的详细解释，但是在图30中示出的例子与上述在图29中示出的例子的相同之处在于：在接收器200中的接收处理的切换控制是基于在传输流TS的层中的节目切换的识别和其后在视频层中的节目切换的识别来执行的。
如上所述，在第一发送模式中，如图1中所示的图像发送/接收系统10发送基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图形数据，增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，并且在第二发送模式中，图像发送/接收系统10只发送包括基本图像数据的基本视频流。然后，用于识别第一模式和第二模式的识别信息(“EHF”，“BCF”)被插入到视频流中。
因此，接收侧可以容易地基于识别信息发现模式是第一发送模式还是第二发送模式，并且接收侧可以适当地处理流配置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执行正确的流接收。更具体地，当以时分方式发送常规图像的图像数据和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像数据)时，接收侧可以以优选的方式切换处理。
<2.修改>
在以上实施例中，已经示出了容器是传输流(MPEG-2TS)的例子。但是，本技术也可以应用到用于经由诸如因特网的网络分发到接收终端的系统。在因特网的分发中，分发通常利用容器以MP4和其它格式的格式来执行。更具体地，容器可以是各种类型格式的容器，诸如，在数字广播规范中采用的传输流(MPEG-2TS)和在因特网的分发中使用的MP4。
本技术可以被如下地配置。
(1)一种发送设备，包括：
被配置为发送一个或多个视频流的发送单元；以及
被配置为将用于识别第一发送模式和第二发送模式的识别信息插入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流。
(2)如(1)所述的发送设备，其中，在第一发送模式中，识别信息插入单元将指示第一发送模式的识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元不将识别信息插入到视频流中。
(3)如(1)所述的发送设备，其中，在第一发送模式中，识别信息插入单元将指示第一发送模式的识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元将指示第二发送模式的识别信息插入到视频流中。
(4)如(1)所述的发送设备，其中，在第一发送模式中，识别信息插入单元不将识别信息插入到视频流中，并且在第二发送模式中，识别信息插入单元将指示第二发送模式的识别信息插入到视频流中。
(5)如(1)至(4)中任何一项所述的发送设备，其中，识别信息插入单元至少按照节目单位、场景单位、画面组单位或画面单位将识别信息插入到基本视频流中。
(6)如(1)至(5)中任何一项所述的发送设备，其中，在第一发送模式中，发送单元将基本视频流和预定数量的增强视频流插入到一个或多个视频基础流中并且发送所述一个或多个视频基础流。
(7)如(6)所述的发送设备，其中，当基本视频流和预定数量的增强视频流被插入到单个视频基础流中并且被发送时，指示流边界的信息被布置在视频流之间。
(8)如(1)至(7)中任何一项所述的发送设备，其中，当识别信息指示第一发送模式时，识别信息包括指示增强视频流的数量的信息。
(9)如(1)至(8)中任何一项所述的发送设备，其中，当识别信息指示第一发送模式时，识别信息包括指示可伸缩性增强的类型的信息。
(10)如(1)至(9)中任何一项所述的发送设备，其中，当识别信息指示第一发送模式时，识别信息包括关于在与可伸缩性增强中的上位阶层合成时的缩放比率的信息。
(11)如(1)至(10)中任何一项所述的发送设备，其中，发送单元发送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别模式是第一发送模式还是第二发送模式的识别信息插入到容器的层中的识别信息插入单元。
(12)如(11)所述的发送设备，其中当识别信息指示第一发送模式时，识别信息附有指示可伸缩性增强的类型的信息。
(13)如(11)或(12)所述的发送设备，其中，识别信息附有指示是否在单个视频基础流中提供一个或多个视频流的信息。
(14)如(11)至(13)中任何一项所述的发送设备，其中当识别信息指示第一发送模式时，识别信息附有指示增强视频流的数量的信息。
(15)如(1)至(14)中任何一项所述的发送设备，其中，发送单元发送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别插入一个或多个视频流的视频基础流的数量的识别信息插入到容器的层中的识别信息插入单元。
(16)一种发送方法，包括：
发送一个或多个视频流的步骤；以及
将用于识别第一发送模式和第二发送模式的识别信息插入到基本视频流中的步骤，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的除最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流。
(17)一种接收设备，包括：
被配置为接收一个或多个视频流的接收单元；
被配置为基于插入到视频流中的识别信息识别第一发送模式和第二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；以及
被配置为基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据的处理单元。
(18)如权利要求17所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，
用于识别模式是第一发送模式还是第二发送模式的识别信息被插入到容器的层中，以及
发送模式识别单元根据插入到容器的层中的识别信息和插入到视频流中的识别信息来识别模式是第一发送模式还是第二发送模式。
(19)一种接收方法，包括：
接收一个或多个视频流的步骤；
基于插入到视频流中的识别信息来识别第一发送模式和第二发送模式的步骤，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；以及
基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据的步骤。
本技术的主要特征在于，当以时分方式发送非常高分辨率的图像(基本流和增强流)和常规图像(基本流)时，发送模式识别信息(EHF，BCF)被插入到视频流中，使得接收侧可以适当地处理流配置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执行正确的流接收(参见图13)。
参考符号列表
10 图像发送/接收系统
100 广播站
110 发送数据产生单元
111 图像数据输出单元
112 视频编码器
113 图形数据输出单元
114 图形编码器
115 音频数据输出单元
116 音频编码器
117 多路复用器
200 接收器
201 CPU
211 天线端子
212 数字调谐器
213 传输流缓冲器(TS缓冲器)
214 多路解复用器
215 编码缓冲器
216 视频解码器
217 基本流解码缓冲器
218 增强流解码缓冲器
219 合并处理单元
220 视频RAM
221 分辨率提高处理单元
222 叠加单元
231 编码缓冲器
232 图形解码器
233 像素缓冲器
234 缩放器
241 编码缓冲器
242 音频解码器
243 声道混合单元

Claims (15)

1.一种发送设备，包括：
被配置为发送一个或多个视频流的发送单元；以及
被配置为将用于识别第一发送模式和第二发送模式的识别信息插入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括用于使得空间上或时间上非常高分辨率的除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；
其中，所述识别信息插入单元被配置为在第一发送模式中，将识别信息插入到视频流中，并且在第二发送模式中，不将识别信息插入到视频流中，其中识别信息包括指示可伸缩性增强的类型的信息，所述可伸缩性增强的类型指示可伸缩性增强是空间分辨率可伸缩性还是时间分辨率可伸缩性。
2.如权利要求1所述的发送设备，其中，识别信息插入单元至少按照节目单位、场景单位、画面组单位或画面单位将识别信息插入到基本视频流中。
3.如权利要求1所述的发送设备，其中，在第一发送模式中，发送单元将基本视频流和预定数量的增强视频流插入到一个或多个视频基础流中并且发送所述一个或多个视频基础流。
4.如权利要求3所述的发送设备，其中，当基本视频流和预定数量的增强视频流被插入到单个视频基础流中并且被发送时，指示流边界的信息被布置在视频流之间。
5.如权利要求1所述的发送设备，其中，当识别信息指示第一发送模式时，识别信息包括指示增强视频流的数量的信息。
6.如权利要求1所述的发送设备，其中，当识别信息指示第一发送模式时，识别信息包括关于在与可伸缩性增强中的上位阶层合成时的缩放比率的信息。
7.如权利要求1所述的发送设备，其中，发送单元发送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别模式是第一发送模式还是第二发送模式的识别信息插入到容器的层中的识别信息插入单元。
8.如权利要求7所述的发送设备，其中当识别信息指示第一发送模式时，识别信息附有指示可伸缩性增强的类型的信息。
9.如权利要求7所述的发送设备，其中，识别信息附有指示是否在单个视频基础流中提供一个或多个视频流的信息。
10.如权利要求7所述的发送设备，其中当识别信息指示第一发送模式时，识别信息附有指示增强视频流的数量的信息。
11.如权利要求1所述的发送设备，其中，发送单元发送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别插入一个或多个视频流的视频基础流的数量的识别信息插入到容器的层中的识别信息插入单元。
12.一种发送方法，包括：
发送一个或多个视频流的步骤；以及
将用于识别第一发送模式和第二发送模式的识别信息插入到视频流中的步骤，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括用于使得空间上或时间上非常高分辨率的除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；
其中，在第一发送模式中，将识别信息插入到视频流中，并且在第二发送模式中，不将识别信息插入到视频流中，其中识别信息包括指示可伸缩性增强的类型的信息，所述可伸缩性增强的类型指示可伸缩性增强是空间分辨率可伸缩性还是时间分辨率可伸缩性。
13.一种接收设备，包括：
被配置为接收一个或多个视频流的接收单元；
被配置为基于插入到视频流中的识别信息识别第一发送模式和第二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括用于使得空间上或时间上非常高分辨率的除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；以及
被配置为基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据的处理单元；
其中，在第一发送模式中，将识别信息插入到视频流中，并且在第二发送模式中，不将识别信息插入到视频流中，其中识别信息包括指示可伸缩性增强的类型的信息，所述可伸缩性增强的类型指示可伸缩性增强是空间分辨率可伸缩性还是时间分辨率可伸缩性。
14.如权利要求13所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，
用于识别模式是第一发送模式还是第二发送模式的识别信息被插入到容器的层中，以及
发送模式识别单元根据插入到容器的层中的识别信息和插入到视频流中的识别信息来识别模式是第一发送模式还是第二发送模式。
15.一种接收方法，包括：
接收一个或多个视频流的步骤；
基于插入到视频流中的识别信息来识别第一发送模式和第二发送模式的步骤，其中第一发送模式用于发送基本视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频流包括用于使得空间上或时间上非常高分辨率的除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本图像数据的基本视频流；以及
基于模式识别结果对接收到的视频流执行与每种模式对应的处理并且获得要显示的图像数据的步骤；
其中，在第一发送模式中，将识别信息插入到视频流中，并且在第二发送模式中，不将识别信息插入到视频流中，其中识别信息包括指示可伸缩性增强的类型的信息，所述可伸缩性增强的类型指示可伸缩性增强是空间分辨率可伸缩性还是时间分辨率可伸缩性。
CN201380044047.1A 2012-08-27 2013-08-19 发送设备、发送方法、接收设备和接收方法 Expired - Fee Related CN104584562B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012187073 2012-08-27
JP2012-187073 2012-08-27
PCT/JP2013/072088 WO2014034463A1 (ja) 2012-08-27 2013-08-19 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN104584562A CN104584562A (zh) 2015-04-29
CN104584562B true CN104584562B (zh) 2018-10-09

Family

ID=50183278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044047.1A Expired - Fee Related CN104584562B (zh) 2012-08-27 2013-08-19 发送设备、发送方法、接收设备和接收方法

Country Status (7)

Country Link
US (1) US9525895B2 (zh)
EP (1) EP2890139A4 (zh)
JP (5) JP6003992B2 (zh)
CN (1) CN104584562B (zh)
BR (1) BR112015003707A2 (zh)
RU (1) RU2015105986A (zh)
WO (1) WO2014034463A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11134254B2 (en) * 2014-04-25 2021-09-28 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
WO2016006971A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016006970A1 (ko) 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
MX2017001032A (es) * 2014-07-31 2017-05-09 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
JP6301816B2 (ja) * 2014-11-17 2018-03-28 株式会社東芝 送信装置及び送受信システム
JP6448386B2 (ja) * 2015-01-21 2019-01-09 キヤノン株式会社 符号化装置、復号化装置及び映像送受信システム
BR112017019754A2 (pt) * 2015-03-24 2018-05-29 Sony Corp dispositivos de transmissão e recepçao, e, métodos de transmissão e recepção
JP6671120B2 (ja) * 2015-08-03 2020-03-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017056956A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
CA3009777C (en) 2016-02-09 2024-04-16 Sony Corporation Transmission device, transmission method, reception device and reception method
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
US11523120B2 (en) * 2017-04-17 2022-12-06 Saturn Licensing Llc Transmission apparatus, transmission method, reception apparatus, reception method, recording apparatus, and recording method
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
US11196669B2 (en) * 2018-05-17 2021-12-07 At&T Intellectual Property I, L.P. Network routing of media streams based upon semantic contents
CN115606186A (zh) * 2020-05-19 2023-01-13 松下电器(美国)知识产权公司（Us） 编码装置、解码装置、编码方法以及解码方法
CN116636203A (zh) * 2021-04-15 2023-08-22 深圳市大疆创新科技有限公司 无人机的图像传输方法、无人机及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1890974A (zh) * 2003-12-03 2007-01-03 皇家飞利浦电子股份有限公司 用于mpeg－2系统中的改进缩放性支持的系统和方法
JP2009267537A (ja) * 2008-04-22 2009-11-12 Toshiba Corp 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム
CN101998139A (zh) * 2009-08-21 2011-03-30 索尼公司 内容传输方法和显示设备
CN102474657A (zh) * 2010-04-06 2012-05-23 索尼公司 图像数据发送装置、图像数据发送方法和图像数据接收装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053442A1 (en) * 1995-09-18 2006-03-09 Stefan Ridderheim Apparatus and method for insertion of material in broadcasting
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
KR100580540B1 (ko) * 1997-11-03 2006-05-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 부가 정보를 사용하여 인코딩된 디지탈 데이터를 갖는 정보 패킷 스트림을 식별하는 삽입장치를 구비한 장치
US6323909B1 (en) * 1998-10-28 2001-11-27 Hughes Electronics Corporation Method and apparatus for transmitting high definition television programming using a digital satellite system transport and MPEG-2 packetized elementary streams (PES)
JP2000209565A (ja) * 1999-01-19 2000-07-28 Fujitsu Ltd 画像配信方法及び画像配信システム
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US6871006B1 (en) * 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US20030079222A1 (en) * 2000-10-06 2003-04-24 Boykin Patrick Oscar System and method for distributing perceptually encrypted encoded files of music and movies
US6937770B1 (en) * 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
JP2004186992A (ja) * 2002-12-03 2004-07-02 Victor Co Of Japan Ltd 符号化装置
US20040152479A1 (en) * 2003-01-31 2004-08-05 Rainbolt Bradley J. Data channel procedure for systems employing frequency diversity
JP4329358B2 (ja) * 2003-02-24 2009-09-09 富士通株式会社 ストリーム配信方法、及びストリーム配信システム
JP4340970B2 (ja) * 2004-07-05 2009-10-07 ソニー株式会社 記録情報生成装置および記録情報生成方法、情報再生装置および情報再生方法、記録再生装置および記録再生方法、並びに、プログラム
KR100662350B1 (ko) * 2004-08-23 2007-01-02 엘지전자 주식회사 영상 전송 장치 및 방법
WO2006100736A1 (ja) * 2005-03-18 2006-09-28 Fujitsu Limited 動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法
JP2009508454A (ja) * 2005-09-07 2009-02-26 ヴィドヨ，インコーポレーテッド スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法
JP5697332B2 (ja) * 2006-03-27 2015-04-08 ヴィドヨ，インコーポレーテッド スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法
EP1855478A1 (en) * 2006-05-09 2007-11-14 Alcatel Lucent Method for fast zapping between tv channels
WO2007148863A1 (en) * 2006-06-20 2007-12-27 Lg Electronics Inc. Digital broadcasting system and method of processing data
WO2008019524A1 (en) * 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
JP5155323B2 (ja) * 2006-09-29 2013-03-06 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化サーバ及びマルチキャストを用いる多地点会議のためのシステム及び方法
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP5257367B2 (ja) * 2008-02-20 2013-08-07 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法
US20090265751A1 (en) * 2008-04-22 2009-10-22 Limberg Allen Leroy Reception of ancillary 8VSB signals controlled responsive to information signaling version of broadcast standard being used
TWI471016B (zh) * 2009-05-11 2015-01-21 Mstar Semiconductor Inc 重建數位視訊資料流的方法與裝置
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5271211B2 (ja) 2009-09-09 2013-08-21 本田技研工業株式会社 自動二輪車用シート高調整装置
JP2011109469A (ja) 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
US9118939B2 (en) * 2010-12-20 2015-08-25 Arris Technology, Inc. SVC-to-AVC rewriter with open-loop statistical multiplexer
WO2012108181A1 (en) * 2011-02-08 2012-08-16 Panasonic Corporation Methods and apparatuses for encoding and decoding video using multiple reference pictures
JP2012235308A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US20130125188A1 (en) * 2011-11-16 2013-05-16 General Instrument Corporation Multimedia presentation processing
US8793721B1 (en) * 2012-02-23 2014-07-29 The Directv Group, Inc. System and method for providing multiple rating versions in media programming
KR101699367B1 (ko) * 2012-05-16 2017-02-14 한국전자통신연구원 3ｄｔｖ 다중화 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1890974A (zh) * 2003-12-03 2007-01-03 皇家飞利浦电子股份有限公司 用于mpeg－2系统中的改进缩放性支持的系统和方法
JP2009267537A (ja) * 2008-04-22 2009-11-12 Toshiba Corp 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム
CN101998139A (zh) * 2009-08-21 2011-03-30 索尼公司 内容传输方法和显示设备
CN102474657A (zh) * 2010-04-06 2012-05-23 索尼公司 图像数据发送装置、图像数据发送方法和图像数据接收装置

Also Published As

Publication number Publication date
EP2890139A4 (en) 2016-04-06
RU2015105986A (ru) 2016-09-10
JP6397855B2 (ja) 2018-09-26
JP2016220218A (ja) 2016-12-22
BR112015003707A2 (pt) 2017-07-04
JPWO2014034463A1 (ja) 2016-08-08
JP6004133B1 (ja) 2016-10-05
EP2890139A1 (en) 2015-07-01
US20150195587A1 (en) 2015-07-09
JP6004132B1 (ja) 2016-10-05
JP2016220217A (ja) 2016-12-22
US9525895B2 (en) 2016-12-20
JP6003992B2 (ja) 2016-10-05
JP6567747B2 (ja) 2019-08-28
CN104584562A (zh) 2015-04-29
WO2014034463A1 (ja) 2014-03-06
JP2018186583A (ja) 2018-11-22
JP2016195449A (ja) 2016-11-17

Similar Documents

Publication Publication Date Title
CN104584562B (zh) 发送设备、发送方法、接收设备和接收方法
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
US10129525B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
KR20130008440A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치
US20140111612A1 (en) Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
CN110324628A (zh) 发送装置、发送方法、接收装置以及接收方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181009

Termination date: 20210819

CF01 Termination of patent right due to non-payment of annual fee