CN105340283A - 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法 - Google Patents

发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法 Download PDF

Info

Publication number
CN105340283A
CN105340283A CN201480034649.3A CN201480034649A CN105340283A CN 105340283 A CN105340283 A CN 105340283A CN 201480034649 A CN201480034649 A CN 201480034649A CN 105340283 A CN105340283 A CN 105340283A
Authority
CN
China
Prior art keywords
layer
picture
image data
video flowing
coded image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480034649.3A
Other languages
English (en)
Other versions
CN105340283B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105340283A publication Critical patent/CN105340283A/zh
Application granted granted Critical
Publication of CN105340283B publication Critical patent/CN105340283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明的目标在于，允许根据在接收侧上的解码能力执行优异的解码处理。将构成运动图像数据的多个图片中的每个的图像数据分类成多个层，并且编码分类的层的图像数据，从而生成具有编码的层的图片的图像数据的视频流。然后，传输包含这个视频流并且具有预定格式的容器。将解码时间信息加入所述层的图片的编码图像数据中，所述解码时间信息被确立以便层越高，每个图片的编码图像数据的解码时间间隔就越短。

Description

发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
技术领域
本技术涉及一种发送装置、一种发送方法、一种接收装置、一种接收方法、一种编码装置以及一种编码方法。尤其地，本技术涉及一种发送装置，其执行构成动态图像数据的每个图片的分层编码图像数据并且传输该数据。
背景技术
在通过广播、网络等提供压缩动态图像的服务时，根据接收器的解码能力，限定可再现帧频率的上限。因此，考虑分布式接收器的再现能力，服务提供侧需要限制仅仅提供低帧频率的服务，或者需要同时提供多个高帧频率和低帧频率的服务。
与高帧频率的服务兼容的接收器导致高成本，这是阻碍其分布的一个因素。由于一开始只分布有专用于低帧频率的服务的廉价接收器，所以如果服务提供商在未来开始高帧频率的服务，那么在没有新接收器的情况下，也不能查看服务，这是阻碍服务的分布的另一个因素。
例如，在高效率视频编码(HEVC)中，提出了时间方向可扩展性，其中，构成动态图像数据的相应图片的图像数据经受分层编码(参照非专利文献1)。接收侧可以根据插入网络抽象层(NAL)单元的报头内的时间ID(temporal_id)，识别每个图片的层，并且可以执行选择性解码，直到与解码能力相当的层。
引用列表
非专利文献
非专利文献1：作者为GaryJ.Sullivan、Jens-RainerOhm、Woo-JinHan以及ThomasWiegand的“OverviewoftheHighEfficiencyVideoCoding(HEVC)Standard”，IEEETRANSACTIONSONCIRCUITSANDSYSTEMSFORVIDEOTECNOROGY，2012年12月、第22卷、第12号、第1649-1668页。
发明内容
技术问题
本技术的一个目标在于，使接收侧能够执行与其解码能力相当的有利解码处理。
问题的解决方案
本技术的一个概念是一种发送装置，包括：图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及发送单元，配置为发送包括所生成的视频流的具有预定格式的容器。所述图像编码单元将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
在本技术中，所述图像编码单元通过编码构成动态图像数据的每个图片的图像数据来生成视频流(编码流)。在这种情况下，将构成动态图像数据的每个图片的图像数据分类成多个层并且编码，并且生成具有每层的图片的图像数据的视频流。在这种情况下，将解码时间信息加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔，例如，解码时间戳。
发送单元发送包括上述视频流的具有预定格式的容器。例如，容器可以是用于数字广播标准内的传输流(MPEG-2TS)。此外，例如，容器可以是用于在互联网等上分布的MP4或者是具有除了该格式以外的格式的容器。
例如，所述图像编码单元可以生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，并且将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将用于识别附属层组的识别信息加入每个所述层组的图片的编码图像数据中。在这种情况下，例如，所述识别信息是位流的等级指定值，并且可以给在更高层侧上的层组设置其更高值。
此外，例如，所述图像编码单元可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成预定数量的视频流，每个视频流具有层组的图片的编码图像数据。在这种情况下，例如，所述图像编码单元可以将用于识别附属层组的识别信息加入每个层组的图片的编码图像数据中。此外，在这种情况下，例如，所述识别信息可以是位流的等级指定值，并且可以给在更高层侧上的层组设置其更高值。
如上所述，在本技术中，将解码时间信息加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔。为此，接收侧可以根据解码性能执行有利的解码处理。甚至在解码能力较低时，例如，低层的图片的编码图像数据可以选择性解码，而不造成缓冲故障。
在本技术中，例如，所述图像编码单元可以生成具有每层的图片的编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个层组的图片的编码图像数据的预定数量的视频流，并且进一步包括信息插入单元，其被配置为将包含在所述容器内的视频流的配置信息插入所述容器的层内。在这种情况下，例如，接收侧可以根据包含在容器内的视频流的配置信息，容易确定视频流的配置，从而可以执行适当的解码处理。
在本技术中，例如，所述发送单元可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含在更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。在这种情况下，例如，接收侧可以根据数据包的优先级，仅仅将与其自身的解码能力相当的层组的图片的编码图像数据放入缓冲器内。
本技术的另一个概念是一种接收装置，包括：接收单元，配置为接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中，所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的。将解码时间信息加入到每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。所述接收装置进一步包括：处理单元，配置为通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
在本技术中，接收单元接收具有预定格式的容器。这个容器包括具有每层的图片的图像数据的视频流，通过将构成动态图像数据的每个图片的图像数据分成多个层并且编码所述数据，来获得所述视频流。将解码时间信息(例如，时间戳)加入每层的图片的编码图像数据中，所述解码时间信息设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔。
处理单元通过将等于或低于从包含在所接收的容器内的视频流中选择的预定层的层的图片的编码图像数据解码，获得等于或低于预定层的所述层的图片的图像数据。在这种情况下，在由最近加入其中的解码时间信息指示的解码时间，执行每个图片的编码图像数据的解码。
例如，所述接收的容器可以包括具有每层的图片的编码图像数据的单个视频流。可以将所述多个层分成预定数量的层组，所述数量等于或大于2，并且可以设置包含在更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。所述处理单元可以将包含在具有根据解码能力选择的优先级的数据包内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
例如，所述接收的容器可以包括预定数量的视频流，所述数量等于或大于2，所述视频流具有通过分割多个层所获得的预定数量的层组的图片的编码图像数据。所述处理单元可以将包含在根据解码能力选择的视频流内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
如上所述，在本技术中，将解码时间戳加入每层的图片的编码图像数据中，所述解码时间戳设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔，并且在由其中的解码时间信息指示的解码时间，执行等于或低于所选择的预定层的所述层的图片的编码图像数据的解码。为此，能够根据解码性能执行有利的解码处理。甚至在解码能力较低时，例如，低层的图片的编码图像数据可以选择性解码，而不造成缓冲故障。
应注意的是，在本技术中，例如，可以进一步包括后处理单元，其促使由所述处理单元获得的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，甚至在解码能力较低时，可以获得与高显示能力相当的帧速率的图像数据。
本技术的另一个概念是一种编码装置，包括：图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流。所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内。插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
在本技术中，由图像编码单元将构成动态图像数据的每个图片的图像数据分成多个层，编码每个分类的层的图片的图像数据，并且生成具有每层的图片的编码图像数据的视频流。
在这种情况下，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个层组的子流内。此外，在这种情况下，插入对应于每个层组的子流内的位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
例如，所述图像编码单元可以生成包括对应于每个层组的子流的预定数量的视频流。此外，例如，所述图像编码单元可以生成包括对应于每个层组的所有子流的单个视频流。
如上所述，在本技术中，将位流的等级指定值插入对应于每个层组的子流内，并且该值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。为此，视频流的接收侧可以根据位流的插入的等级指定值，容易确定每个子流是否能够解码。
本技术的另一个概念是一种发送装置，包括：图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流。所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入到对应于每个所述层组的子流内。插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。所述发送装置进一步包括：发送单元，配置为传输包括所生成的视频流的具有预定格式的容器，以及信息插入单元，配置为在所述容器的层内插入标志信息，所述标志信息表示插入到每个所述层组的所述子流内的所述位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的所述图片。
在本技术中，图像编码单元将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个分类的层的图片的图像数据，并且生成具有每层的图片的编码图像数据的视频流。
在这种情况下，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个层组的子流内。此外，在这种情况下，插入对应于每个层组的子流内的位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。
发送单元传输包括所生成的视频流的具有预定格式的容器。信息插入单元在所述容器的层内插入标志信息，所述标志信息表示插入每个层组的子流内的位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片。
如上所述，在本技术中，接收侧可以了解插入每个层组的子流内的位流的等级指定值是包括包含在等于或低于所述层组的层组内的所有层的图片的等级的值，标志信息插入所述容器的层内。为此，接收侧可以实现解码处理的效率，无需使用每层的等级指定值等检查包括包含在等于或低于预定层组的每个子流内的所有层的图片的等级的值的处理。
本发明的有利效应
根据本技术，根据解码能力，能够具有有利的解码处理。应注意的是，在本文中描述的效应不必具有限制性，并且可以显示在本公开中描述的任何效应。
附图说明
图1是示出一个实施方式的传输和接收系统的一个配置实例的方框图；
图2是示出发送装置的一个配置实例的方框图；
图3是示出由编码器执行的分层编码的一个实例的示图；
图4是示出NAL单元报头的结构实例(语法)以及在结构实例中的主要参数的内容(语义)的示图；
图5是用于描述基于HEVC的每个图片的编码图像数据的配置的示图；
图6是示出在分层编码时的编码、解码、显示顺序以及延迟的一个实例的示图；
图7是示出在指定层次内的分层编码和显示期望(显示顺序)的编码流的示图；
图8是示出在指定层次内的编码器输入顺序以及解码器输出的显示顺序的示图；
图9是示出在分层编码时(在解码时的解码时间)的图片的编码时间的一个实例的示图；
图10是示出编码器的单个视频流(编码流)的一个输出实例的示图；
图11是示出编码器的包括基础流(B流)和扩展流(E流)的两个视频流(编码流)的一个输出实例的示图；
图12是示出编码器的一个配置实例的方框图；
图13是示出编码器的处理流程的一个实例的示图；
图14是示出HEVC描述符(HEVC_descriptor)的一个结构实例(语法)的示图；
图15是示出HEVC描述符的结构实例的主要信息的内容(语义)的示图；
图16是示出可伸缩性扩展描述符(scalability_extension_descriptor)的一个结构实例(语法)的示图；
图17是示出在可伸缩性扩展描述符的结构实例中的主要信息的内容(语义)的示图；
图18是示出TS数据包的一个结构实例(语法)的示图；
图19是示出在包含在VPS内的位速率的等级指定值(general_level_idc)与TS数据包报头的“transport_priority”的设定值之间的关系的示图；
图20是示出多路复用器的一个配置实例的方框图；
图21是示出多路复用器的处理流程的一个实例的示图；
图22是示出在使用单个流执行分布时传输流TS的一个配置实例的示图；
图23是示出在使用单个流执行分布时传输流TS的一个特定配置实例的示图；
图24是示出在使用多个流(两个流)执行分布时传输流的一个配置实例的示图；
图25是示出在使用两个流执行分布时传输流TS的一个特定配置实例的示图；
图26是示出在使用两个流执行分布时传输流TS的另一个特定配置实例的示图；
图27是示出接收装置的一个配置实例的方框图；
图28是示出多路分用器的一个配置实例的方框图；
图29是示出在传输流TS内包括单个视频流(编码流)的情况的示图；
图30是示出在传输流TS内包括包含基础流(B流)和扩展流(E流)的两个视频流(编码流)的情况的示图；
图31是示出多路分用器的处理流程(用于一个帧)的一个实例的示图；
图32是示出多路分用器的处理流程(用于两个帧)的一个实例的示图；
图33是示出解码器的一个配置实例的方框图；
图34是示出考虑到接收装置的解码器处理能力的用于每个视频流的解码处理程序的一个实例的流程图；
图35是示出后处理单元的一个配置实例的示图；
图36是示出解码器和后处理单元的处理流程的一个实例的示图。
具体实施方式
在后文中，描述用于实现本技术的实施方式(在后文中称为“实施方式”)。要注意的是，按照以下顺序提供描述。
1、实施方式
2、修改实例
<1、实施方式>
【传输和接收系统】
图1示出一个实施方式的发送和接收系统10的一个配置实例，作为一个实施方式。这个发送和接收系统10被配置为具有发送装置100和接收装置200。
发送装置100通过促使在广播波上传送流，来发送作为容器的传输流TS。传输流TS包括视频流，其具有每层的图片的图像数据的编码数据，其中所述层是通过将构成动态图像数据的每个图片的图像数据分成多个层而获得的。在这种情况下，例如，在H.264/AVC、H.265/HEVC等内部进行编码，并且对参考源图片进行编码，以附属于其自身的层和/或比其自身的层更低的层。
将用于识别每个图片的附属层的层识别信息加入每层的图片的编码图像数据中。在每个图片的NAL单元(nal_unit)的报头部分内设置层识别信息(“nuh_temporal_id_plus1”，其表示temporal_id)。通过以这种方式加入的层识别信息，接收侧可以选择性取出等于或低于预定层的层的编码图像数据，并且在其上执行解码处理。
传输流TS包括具有每层的图片的编码图像数据的单个视频流或者具有每个层组的图片的编码图像数据的预定数量的视频流，其中所述层组是通过将多个层分成预定数量的层组所获得的，所述数量等于或大于2。此外，将分层编码的层信息和视频流的配置信息插入传输流TS内。该信息插入传输层内。通过该信息，接收侧可以容易确定层配置或流配置，从而可以执行适当的解码处理。
此外，如上所述，将多个层分成预定数量的层组，并且TS数据包(传输流数据包)的优先级被设置为较高，所述TS数据包包含低层侧上的层组的图片的编码图像数据。根据这个优先级，接收侧可以仅仅将与其自身的解码能力相当的层组的图片的编码图像数据放入缓冲器内，并且处理该数据。
此外，如上所述，将多个层分成预定数量的层组，并且将用于识别附属层组的识别信息加入每个层组的图片的编码图像数据中。例如，位流的等级指定值(level_idc)用作这个识别信息，并且在更高层侧上的层组具有更高的值。
接收装置200从发送装置100接收通过在广播波上传送来发送的上述传输流TS。接收装置200可以从包含在传输流TS内的视频流中选择性取出等于或低于预定层的层的编码图像数据，根据其解码能力，解码该数据，并且获取每个图片的图像数据，以执行图像再现。
如上所述，具有以下情况：例如，传输流TS包括具有多个层的图片的编码图像数据的单个视频流。在这种情况下，包含在具有根据解码能力选择的优先级的TS数据包内的预定层组的每个图片的编码图像数据放入缓冲器内并且解码。
此外，如上所述，具有以下情况：例如，传输流TS包括预定数量的视频流，其中每个视频流具有预定数量的层组的图片的编码图像数据，所述层组通过分割多个层而获得，并且所述数量等于或大于2。在这种情况下，根据解码能力选择的视频流的预定层组的每个图片的编码图像数据被放入缓冲器内并且解码。
此外，接收装置200执行后处理，促使通过如上所述的解码所获得的每个图片的图像数据的帧速率与显示能力匹配。通过这个后处理，例如，即便在解码能力较低时，也能够获得与高显示能力相当的帧速率的图像数据。
【发送装置的配置】
图2示出发送装置100的一个配置实例。发送装置100具有中央处理单元(CPU)101、编码器102、压缩数据缓冲器(编码图片缓冲器或cpb)103、多路复用器104以及发送单元105。CPU101是控制单元，其控制发送装置100的每个单元的操作。
编码器102接收未压缩的动态图像数据的输入，并且执行分层编码。编码器102将构成动态图像数据的相应图片的图像数据分成多个层。然后，编码器102对每个分类的层的图片的图像数据进行编码，并且生成具有相应层的图片的编码图像数据的视频流。编码器102在例如H.264/AVC、H.265/HEVC等内部进行编码。此时，编码器102进行编码，以便要参考的图片(参考源图片)附属于其自身的层和/或比其自身的层更低的层。
图3示出由编码器102执行的分层编码的一个实例。这是一个实例，其中，层分成0到4这5层，并且在相应层的图片的图像数据上进行编码。
垂直轴表示相应层。0到4分别设置作为temporal_id(层识别信息)，其设置在NAL单元(nal_unit)的报头部分内，所述NAL单元构成层0到4内的图片的编码图像数据。另一方面，水平轴表示显示顺序(组成的图片顺序或POC)，其左边表示更早的显示时间，其右边表示更晚的显示时间。
图4(a)示出NAL单元的报头的结构实例(语法)，并且图4(b)示出在结构实例中的主要参数的内容(语义)。一位字段“forbidden_zero_bit”应具有0。6位字段“nal_unit_type”表示NAL单元的类型。假设6位字段“nuh_layer_id”具有0。3位字段“nuh_temporal_id_plus1”表示temporal_id，并且具有通过加上1所获得的值(1到7)。
参照图3，每个矩形帧表示图片，并且在其内的数字表示编码图片的顺序，即，编码顺序(在接收侧上的解码顺序)。例如，图片的子组由“2”到“17”这16个图片构成，并且“2”是图片的子组的领先图片。“1”是前一个图片子组的图片。图片的几个这种子组构成图片组(GOP)。
如图5中所示，GOP的领先图片的编码图像数据由NAL单元构成，即，AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI以及EOS。另一方面，除了GOP的领先图片以外的图片由NAL单元构成，即，AUD、PPS、PSEI、SLICE、SSEI以及EOS。VPS可以与SPS一起在序列(GOP)中发送一次，并且可以给每个图片发送PPS。
参照图3，实线箭头表示用于编码的图片的参考关系。例如，图片“2”是P图片，并且参考图片“1”编码。此外，图片“3”是B图片，并且参考图片“1”和“2”编码。同样，其他图片在显示顺序中参考附近图片编码。应注意的是，其他图片不参考在层4内的图片。
编码器102生成具有每层的图片的编码图像数据的视频流。例如，编码器102将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成预定数量的包括对应于每个层组的子流的视频流，或者生成包括对应于每个层组的所有子流的单个视频流。
例如，在图3的分层编码的实例中，在层分成2个层组，以便层0到3被视为低层的层组并且层4被视为高层的层组时，具有两个子流。换言之，存在具有层0到3的图片的编码图像数据的子流以及具有层4的图片的编码图像数据的子流。在这种情况下，编码器102生成包括两个子流的单个视频流或者每个均包括两个子视频流的两个视频流。
与所生成的视频流的数量无关，编码器102将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将用于识别附属层组的识别信息加入每个层组的图片的编码图像数据中。在这种情况下，例如，作为包含在序列参数组(SPS)和增强的序列参数组(ESPS)内的位流的等级指定值的“general_level_idc”被用作识别信息。
SPS是过去众所周知的NAL单元，并且包含在最低层组的子流(即，基础子流)的每个序列(GOP)内。另一方面，ESPS是最近限定的NAL单元，并且包含在比最低层更高的层组的子流(即，增强子流)的每个序列(GOP)内。更高层组具有包含在SPS和ESPS内的“general_level_idc”的更高值。
应注意的是，由于可以使用SPS和ESPS将“sub_layer_level_idc”发送给每个子层，所以这个“sub_layer_level_idc”可以用作用于识别层组的识别信息。也可以不仅在SPS内，而且在VPS内供应上述内容。
在这种情况下，假设插入在每个层组的子流的SPS和ESPS内的值“general_level_idc”是等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。例如，在图3的分层编码的实例中，假设插入到层0到层3的层组的子流的SPS内的“general_level_idc”的值是仅仅包括层0到层3的图片的等级的值。例如，在其帧速率设置为60P时，该值是“等级5.1”。此外，例如，在图3的分层编码的实例中，假设插入到层4的层组的子流的ESPS内的“general_level_idc”的值是包括层0到层4的所有图片的等级的值。例如，在其帧速率设置为120P时，该值是“等级5.2”。
图6示出在分层编码时的编码、解码、显示顺序以及延迟的一个实例。这个实例对应于上述图3的分层编码的实例。这个实例显示了所有层经受具有完整时间分辨率的分层编码的情况。图6(a)示出编码器输入。如图6(b)中所示，相应图片以具有具有16个图片的延迟的编码顺序编码，从而获得编码流。而且，图6(b)也示出解码器输入，并且相应图片以解码顺序解码。此外，如图6(c)所示，相应解码图片的图像数据以具有4个图片的延迟的显示顺序解码，。
图7(a)示出与在上述图6(b)中显示的编码流相同的编码流，其中，流分成层0到2、层3以及层4的三个阶段。在此处，“Tid”表示temporal_id。图7(b)示出在层0到2(即，Tid＝0到2的部分层)的相应图片被选择性解码时的显示期望(显示顺序)。此外，图7(c)示出在层0到3(即，Tid＝0到3的部分层)的相应图片被选择性解码时的显示期望(显示顺序)。而且，图7(d)示出在层0到4(即，Tid＝0到4的所有层)的相应图片选择性解码时的显示期望(显示顺序)。
在根据解码能力在图7(a)的编码流上执行解码处理时，需要完整时间分辨率的解码能力。然而，要在Tid＝0到2的层上执行解码时，具有相对于编码的完整时间分辨率的解码能力的1/4的解码器应能够执行该处理。此外，在Tid＝0到3的层上执行解码时，具有相对于编码的完整时间分辨率的解码能力的1/2的解码器应能够执行该处理。
然而，在附属于低层的图片(所述图片在分层编码中被参考)是连续的并且以完整时间分辨率编码时，执行局部解码的解码器的能力不能跟上。图7(a)的周期A对应于该情况。要解码一些Tid＝0到2的层或Tid＝0到3的层的解码器执行解码并且如在显示实例中所示，以时间轴的1/4或1/2的能力显示，从而因此不能解码在周期A期间以完整时间分辨率编码的连续图片。在这个周期内，cpb具有编码器的非预期的缓冲占有量。
Ta表示解码Tid＝0到2的层的解码器执行每个图片的解码处理所需要的间。Tb表示解码层Tid＝0到3的解码器执行每个图片的解码处理所需要的间。Tc表示解码层Tid＝0到4(所有层)的解码器执行每个图片的解码处理所需要的间。在时间之间的关系是Ta>Tb>Tc。
因此，在这个实施方式中，执行缓冲控制，以便在分层编码中附属于更低层的图片对于相应的图片具有长解码间隔，并且对于更高的层，解码间隔变得更短。此时，限定相对于层数的最小解码能力(目标最小解码器能力)。例如，在图3的分层编码的实例中，如果最小解码能力设置为解码直到层2的能力，那么采用编码间隔，以便在这5层之中的层0到2的图片可以通过1/4时间分辨率解码，并且在由下面描述的多路复用器104多路复用时，在解码时间戳(DTS)的值内反应与解码时间的不同之处。
如在图3的分层编码的实例中所示，在层数是5(包括0到4)时，附属于层0到2的图片的间隔设置为完整分辨率的4倍的时间间隔，附属于层3的图片的间隔设置为完整分辨率的2倍的时间间隔，并且附属于层4的图片的间隔设置为完整分辨率的时间间隔。
另一方面，编码器102将图片的编码(＝解码)时间设置为在层之间不重叠。换言之，在通过上述方法编码每个图片并且低层的图片和高层的图片的编码时间重叠时，编码器102在被更多图片参考的下层的图片的编码上放置优先级，并且相应地设置高层的图片的编码时间。然而，由于附属于最高层的图片是非参考的B图片，所以可以控制为对图片进行解码并且直接显示图片的时间(换言之，不保存在解码的图片缓冲器(dpb)内)。
图8(a)示出编码器输入顺序(与图6(a)相同)。此外，8(b)到(d)示出了显示顺序(对应于作为系统层的PTS)(与图7(b)到(d)相同)。
图9示出了在分层编码时图片的编码时间的一个实例(在解码期间的解码时间)。这个实例对应于上述图3的分层编码的实例。此外，这个实例对应于最小解码能力，其中，直到层2的图片可以解码。具有实线下划线的部分显示了附属于一个图片子组(SGP)的图片(“2”到“17”这16个图片)。此外，通过具有实线的矩形帧表示的图片附属于当前SGP，并且通过具有虚线的矩形帧表示的图片附属于当前SGP，这不影响使用附属于当前SGP的图片的预测。
在这种情况下，在附属于层0到2的图片(即，图片“2”、“3”、“4”、“11”…)之间的间隔设置为Ta，其为完整分辨率的4倍的时间间隔。此外，在附属于层3的图片(即，图片“5”、“8”、“12”…)之间的间隔基本上设置为Tb，其为完整分辨率的2倍的时间间隔。
然而，为了避免图片“8”的时间与图片“11”的时间重叠，编码时间设置为下一个时间间隔位置。同样，调整图片“12”和“15”的时间，以避免随后与附属于层0到2的图片重叠。结果，附属于层3的图片的时间设置在附属于层0到2的图片的时间之间。
此外，附属于层4的图片(即，图片“6”、“7”、“9”…)的间隔本上设置为Tc，其为完整分辨率的时间间隔。然而，由于调整为避免与附属于层0到3的相应图片的时间重叠，所以附属于层4的图片的时间设置在附属于层0到3的图片的时间之间。
如图所示，在1SGP的周期内，在对应于1SGP的图片(“2”到“17”这16个图片)上执行编码处理。这表示甚至在如上所述，当对附属于低层的图片采用长编码间隔时，也能够进行实时处理。
图10示出编码器102的一个输出实例。这是一个实例，其中，编码器102输出单个视频流(编码流)。这个实例对应于图3的分层编码的实例，其中，在图9中显示的时间对相应的图片编码。
在这个视频流内，附属于层0到4的图片的编码图像数据按照编码的顺序(编码顺序)排列。应注意的是，在接收侧解码这个视频流时，在解码以便准备由其他图片参考之后，附属于当前SGP(在具有粗线的帧内的图片)的参考源图片(层0到3的图片)停留在未压缩数据缓冲器(解码的图片缓冲器或dpb)内。
图11示出编码器102的一个输出实例。这是一个实例，其中，编码器102输出两个视频流(编码流)，包括基础流(B_str)和扩展流(E_str)。这个实例对应于图3的分层编码的实例，其中，各个图片在图9中显示的时间编码。
基础流(B流)具有附属于按照编码的顺序(编码顺序)排列的层0到3的图片的编码图像数据。此外，扩展流(E流)具有按照编码的顺序(编码顺序)排列，附属于层4的图片的编码图像数据。应注意的是，在接收侧解码这个视频流时，在解码以便准备由其他图片参考之后，附属于当前SGP(在具有粗线的帧内的图片)的参考源图片(层0到3的图片)停留在未压缩数据缓冲器(解码的图片缓冲器或dpb)内。
图12示出编码器102的一个配置实例。这个编码器102具有时间ID生成单元121、缓冲延迟控制单元122、假设参考解码器(HRD)设置单元123、参数组/SEI编码单元124、切片编码单元125以及NAL包格式化单元126。
时间ID生成单元121从CPU101中接收关于层数的信息的供应。时间ID生成单元121基于关于层数的信息生成对应于层数的temporal_id。例如，在图3的分层编码的实例中，生成temporal_id＝0到4。
缓冲延迟控制单元122从CPU101中接收关于最小解码能力(minimum_target_decoder_level_idc)以及由时间ID生成单元121生成的temporal_id的信息的供应。缓冲延迟控制单元122计算用于每个层的每个图片的“cpb_removal_delay”和“dpb_output_delay”。
在这种情况下，通过将目标解码器(对层解码)的最小解码能力指定为层数，决定要被参考的低层的图片的编码时间和在解码之后立即显示的在高层内的图片的编码时间(见图9)。这些编码时间的意义与由接收侧从压缩数据缓冲器(编码的图片缓冲器或cpb)中读取的解码时间相同。
通过反映图片附属的层，决定“cpb_removal_delay”。例如，层数设置为N，并且temporal_id(Tid)设置为具有在0到N-1范围内的值。此外，最小解码能力设置为解码temporal_id＝K的层的图片的能力。缓冲延迟控制单元122使用以下表达式(1)获得在每层的图片之间的编码间隔D，并且在“cpb_removal_delay”and“dpb_output_delay”内反映所述值。
D＝2**(N-1-K)(Tid≤K)
D＝2**(N-1-Tid)(K<Tid<N-1)
D＝输入序列间隔(Tid＝N-1)…(1)
应注意的是，在层的编码时间在时间上彼此重叠时，更低层优先编码，并且更高层在通过以上表达式分配的下一个时隙内编码。
假设参考解码器(HRD)设置单元123接收由缓冲延迟控制单元122计算的每层的图片的“cpb_removal_delay”和“dpb_output_delay”的供应以及从CPU101接收流的数量的供应。HRD设置单元123根据该信息执行HRD设置。
参数组/SEI编码单元124接收temporal_id以及HRD设置信息的供应。参数组/SEI编码单元124根据要编码的流的数量，生成每层的图片的参数组和SEI，例如，VPS、SPS(ESPS)以及PPS。
例如，生成包括“cpb_removal_delay”和“dpb_output_delay”的图片时间SEI。此外，例如，生成包括“initial_cpb_removal_time”的缓冲周期SEI。针对GOP的领先图片(访问单元)生成缓冲周期SEI。
“initial_cpb_removal_time”表示在解码期间从压缩数据缓冲器(cpb)中挑出图片组(GOP)的领先图片的编码图像数据的时间(初始时间)。“cpb_removal_delay”表示从压缩数据缓冲器(cpb)中挑出每个图片的编码图像数据的时间，并且根据“initial_cpb_removal_time”决定。此外，“dpb_output_delay”表示数据解码、放入未压缩数据缓冲器(dpb)内并且然后从中挑出的时间。
切片编码单元125通过对每层的图片的图像数据进行编码，获得切片数据(切片段报头和切片段数据)。切片编码单元125使用帧缓冲器将“ref_idx_l0_active”(ref_idx_l1_active)(其表示作为“预测单元”的预测目标的图片的索引)插入“切片段报头”内作为表示的时间方向预测的状态的信息。因此，在解码期间，参考源图片以及由temporal_id表示的层的等级一起被决定。此外，切片编码单元125将当前切片的索引插入“切片段报头”内作为“short_term_ref_pic_set_idx”或“it_idx_sps”。
NAL包格式化单元126根据由参数组/SEI编码单元124生成的参数组和SEI以及由切片编码单元125生成的切片数据，生成每层的图片的编码图像数据，并且输出在数量上等于流的数量的视频流(编码流)。
此时，将表示每个图片的层的temporal_id加入NAL单元报头内(见图4)。此外，附属于由temporal_id表示的层的图片归类为子层(sub_layer)，并且每个子层的位速率的等级指定值“level_idc”设置为“sublayer_level_idc”，并且插入VPS或SPS(ESPS)内。
图13示出编码器102的处理流程。编码器102在步骤ST1中开始处理，然后，移动到步骤ST2的处理。在步骤ST2中，编码器102设置层N的数量用于分层编码。接下来，编码器102在步骤ST3中将每层的图片的temporal_id设置为0到(N-1)。
然后，在步骤ST4中，编码器102将在目标解码器之中具有最小能力的解码器能够解码的层的等级K设置为在0到(N-1)的范围内的值。然后，在步骤ST5中，编码器102使用缓冲延迟控制单元122根据上述表达式(1)获得每层的图片编码间隔D。
然后，在步骤ST6中，编码器102确定层的编码时间是否在时间上重叠。在步骤ST7中，在编码时间重叠时，编码器102优先编码更低层的图片，并且在下一个编码间隔D时，编码更高层的图片。然后，编码器102移动到步骤ST8的处理中。
在编码时间在步骤ST6中不重叠时，编码器102直接移动到步骤ST8。在步骤ST8中，编码器102在“cpb_removal_delay”和“dpb_output_delay”中反映在步骤ST5中获得的每层的图片的编码间隔D，执行HRD的设置、参数组/SEI的编码以及切片编码，并且将结果以NAL单元的形式传递给多路复用模块。然后，在步骤ST9中，编码器102完成该处理。
返回图2，压缩数据缓冲器(cpb)103暂时累积视频流，所述视频流包括由编码器102生成的每层的图片的编码数据。多路复用器104读取在压缩数据缓冲器103内累积的视频流，将视频流制造成PES数据包，进一步将视频流制造成传输数据包并且多路复用视频流，从而获得传输流TS，作为多路复用流。
这个传输流TS包括单个视频流(其具有每层的图片的编码图像数据)或者预定数量的视频流(其具有每个层组的图片的编码图像数据，所述层组通过将多个层分成预定数量的层组所获得，所述数量等于或大于2)。多路复用器104将层信息和流配置信息插入传输流TS内。
作为节目专用信息(PSI)，传输流TS包括节目映射表(PMT)。这个PMT具有视频基本循环(视频ES1循环)，其具有与每个视频流相关的信息。在这个视频基本循环中，流类型的信息、数据包标识符(PID)等以及描述与视频流相关的信息的描述符设置为对应于每个视频流。
多路复用器104插入HEVC描述符(HEVC_descriptor)，作为一个描述符，并且进一步插入最近限定的可伸缩性扩展描述符(scalability_extension_descriptor)。
图14示出HEVC描述符(HEVC_descriptor)的一个结构实例(语法)。图15示出该结构实例的主要信息的内容(语义)。
8位字段“descriptor_tag”表示描述符的类型，在此处表示HEVC描述符。8位字段“descriptor_length”表示描述符的长度(大小)，显示后续字节的数量，作为描述符的长度。
8位字段“level_idc”表示位速率的等级指定值。此外，在“temporal_layer_subset_flag＝1”的情况下，具有5位字段“temporal_id_min”和5位字段“temporal_id_max”。“temporal_id_min”表示包含在相应视频流内的分层编码数据的最低层的temporal_id的值。“temporal_id_max”表示相应视频流的分层编码数据的最高层的temporal_id的值。
最近限定1位字段“level_constrained_flag”，表示在相应的子流内具有SPS或ESPS，并且作为其元素的“general_level_idc”具有包括等于或低于子流的temporal_id(层识别信息)的图片的等级的值。“1”表示在子流内具有SPS或ESPS，并且作为其元素的“general_level_idc”具有包括等于或低于子流的temporal_id的图片的等级的值。“0”表示在构成目标服务的一组子流内具有一个SPS，并且其“general_level_idc”具有不仅包括所述子流而且包括在相同服务下的其他子流的等级的值。
最近限定3位字段“scalability_id”，表示一ID，其在多个视频流提供可伸缩服务时表示提供给各个流的可伸缩性。“0”表示基础流，并且“1”到“7”是根据从基础流开始的可伸缩性的程度而增大的ID。
图16示出可伸缩性扩展描述符(scalability_extension_descriptor)的一个结构实例(语法)。图17示出在该结构实例中的主要信息的内容(语义)。
8位字段“scalability_extension_descriptor_tag”表示描述符的类型，在此处表示可伸缩性扩展描述符。8位字段“scalability_extension_descriptor_length”表示描述符的长度(大小)，表示后续字节的数量，作为描述符的长度。1位字段“extension_stream_existing_flag”是一标志，其表示根据另一个流，具有扩展的服务。“1”表示具有扩展流，并且“0”表示没有扩展流。
3位字段“extension_type”表示扩展的类型。“001”表示扩展是时间方向可伸缩的。“010”表示扩展是空间方向可伸缩的。“011”表示扩展是位速率可伸缩的。
4位字段“number_of_streams”表示在分布式服务中涉及的流的总数。3位字段“scalability_id”是ID，其在多个视频流提供可伸缩服务时表示提供给各个流的可伸缩性。“0”表示基础流，并且“1”到“7”是从基础流开始增大可伸缩性的程度的ID。8位字段“minimum_target_decoder_level_idc”表示流针对的解码器的能力。在接收器于对流进行解码之前确定编码图片的预期解码时间是否超过解码器的图片解码处理能力的范围时，使用该信息。
在这个实施方式中，在多个层分成预定数量的层组时，包含在SPS或ESPS等内的位速率的等级指定值(general_level_idc)被用作附属层组的识别信息，所述数量等于或大于2。每个层组的等级指定值设置为对应于帧速率的值，该帧速率从该层组的图片以及除了上述层组以外的在更低层组侧上的所有层的图片中获得。
多路复用器104设置更高优先级的TS数据包，该数据包包含在更低层侧上的层组的图片的编码图像数据。例如，在多个层分成低层组和高层组这两个层组时，多路复用器104使用TS数据包报头的1位字段“transport_priority”。
图18示出TS数据包的一个结构实例(语法)。“transport_priority”的1位字段在TS数据包包含基础层(即，在低层侧上的层组)的图片的编码图像数据的情况下，设置为“1”，并且在TS数据包包含非基础层(即，在高层侧上的层组)的图片的编码图像数据的情况下，设置为“0”。
图19示出在包含SPS和ESPS的NAL单元内的位速率的等级指定值(general_level_idc)与TS数据包报头的“transport_priority”的设定值之间的关系。使用这一种或全部两种类型的信息，接收侧可以区分在低层侧上的层组的图片的编码图像数据和在高层侧上的层组的图片的编码图像数据。
图20示出多路复用器104的一个配置实例。多路复用器具有TS优先级生成单元141、分段编码单元142、PES包格式化单元143-1到143-N、开关单元144以及传输包格式化单元145。
PES包格式化单元143-1到143-N均读取在压缩数据缓冲器103内累积的视频流1到N，以生成PES数据包。此时，PES包格式化单元143-1到143-N根据视频流1到N的HRD信息，将时间戳(例如，解码时间戳(DTS)和呈现时间戳(PTS)放入PES报头中，并且在这种情况下，参考每个图片的“cpu_removal_delay”和“dpb_output_delay”，在与系统时钟(STC)的时间的同步精度中，将时间戳转换成每个DTS和PTS，并且所述时间戳设置在PES报头的预定位置内。
开关单元144根据数据包标识符(PID)，选择性将由PES包格式化单元143-1到143-N生成的PES数据包，并且将其发送给传输包格式化单元145。传输包格式化单元145生成在其有效载荷内包括PES数据包的TS数据包，从而获得传输流。
TS优先级生成单元141从CPU101中接收层数以及流的数量的信息的供应。在由层数表示的多个层分成预定数量的层组时，TS优先级生成单元141生成每个层组的优先级，所述数量等于或大于2。在所述层分成两个层时，例如，生成要插入TS数据包报头的1位字段“transport_priority”内的值(见图19)。
TS优先级生成单元141将每个层组的优先级的信息发送给传输包格式化单元145。传输包格式化单元145根据该信息设置每个TS数据包的优先级。在这种情况下，如上所述，更高值被设置为(包含更低层侧上的层组的图片的编码图像数据的)TS数据包的优先级。
分段编码单元142从CPU101中接收关于层数、流的数量以及最小目标解码器等级(minimum_target_decoder_level_idc)的信息的供应。根据该信息，分段编码单元142生成要插入传输流TS内的各种分段数据，例如，上述HEVC描述符(HEVC_descriptor)、可伸缩性扩展描述符(scalability_extension_descriptor)等。
分段编码单元142将所述各种分段数据发送给传输包格式化单元145。传输包格式化单元145生成包括分段数据的TS数据包，并且将其插入传输流TS内。
图21示出多路复用器104的处理流程。这一个实例，其中，多个层分成包括低层组合高层组的两个层组。多路复用器104在步骤ST11中开始处理，然后，移动到步骤ST12的处理。在步骤ST12中，多路复用器104设置视频流(视频基础流)的每个图片的temporal_id_以及构成编码流的数量。
接下来，在步骤ST13中，当多路复用低层组的图片或者包括低层组的图片的视频流时，多路复用器104将“transport_priority”设置为“1”。此外，在步骤ST14中，多路复用器104决定参考HRD信息(“cpu_removal_delay”和“dpb_output_delay”)的DTS和PTS，并且将其插入PES报头内。
接下来，在步骤ST15中，多路复用器104确定是否具有单个流。在具有单个流时，多路复用器104在步骤ST16中通过一个PID(数据包标识符)执行多路复用处理，然后，移动到步骤ST17的处理。另一方面，在没有单个流时，多路复用器104在步骤ST18中通过多个数据包PID(数据包标识符)执行多路复用处理，然后，移动到步骤ST17的处理。
在步骤ST17中，多路复用器104编码HEVC描述符、可伸缩性扩展描述符等。然后，在步骤ST19中，多路复用器104将视频流插入PES有效载荷内，以制造PES数据包，然后，在步骤ST20中，制造传输数据包，以获得传输流TS。然后，在步骤ST21中，多路复用器104完成该处理。
图22示出在使用单个视频流执行分布时传输流TS的一个配置实例。这个传输流TS包括单个视频流。换言之，在这个配置实例中，存在具有多个层的图片的编码图像数据的视频流的PES数据包“视频PES1”(例如，在HEVC内)以及音频流的PES数据包“音频PES1”。
该单个视频流包括通过将分层编码的多个层分成预定数量的层组所获得的预定数量的子流，所述数量等于或大于2。在此处，最低层组的子流(基础子流)包括SPS，并且比最低层组更高的层组的子流(增强子流)包括ESPS。此外，SPS和ESPS的元素的值“general_level_idc”设置为等级的值，该等级包括包含在等于或低于相应层组的层组内的所有层的图片。
每个图片的编码图像数据具有NAL单元，例如，VPS、SPS、ESPS、SEI等。如上所述，表示图片的层的temporal_id插入每个图片的NAL单元的报头内。此外，例如，SPS和ESPS包括位速率的等级指定值(general_level_idc)。此外，例如，图片时间SEI包括“cpb_removal_delay”和“dpb_output_delay”。
应注意的是，在TS数据包的报头内具有表示“transport_priority”的1位的优先级的字段，所述TS数据包包含每个图片的编码图像数据。通过这个“transport_priority”，能够确定所包含的编码图像数据是低层组的图片的数据还是高层组的图片的数据。
此外，传输流TS包括节目映射表(PMT)，作为节目专用信息(PSI)。这个PSI是描述包含在传输流内的每个基本流附属哪个节目的信息。
在PMT中，具有节目循环，其描述与整个节目相关的信息。此外，在PMT中，具有基本循环，其具有与每个基本流相关的信息。在这个配置实例中，具有视频基本循环(视频ES1循环)和音频基本循环(音频ES1循环)。
在视频基本循环中，设置流的类型的信息、数据包标识符(PID)等，并且描述与视频流相关的信息的描述符也对应于视频流(视频PES1)而被描述。作为一个描述符，插入上述HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extension_descriptor)。
图23示出一种情况，其中，在图3的分层编码的实例中，通过层0到3的图片生成基础子流(B子流)，并且通过层4的图片生成增强子流(E子流)。在这种情况下，包含在基础子流内的相应图片构成60P，并且在整个PES内除了包含在基础子流内的图片以外，包含在增强子流(E子流)内的相应图片构成120P。
基础子流的图片由NAL单元构成，例如，“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”以及“EOS”。“VPS”和“SPS”例如插入GOP的领先图片内。作为SPS的元素的值“general_level_idc”设置为“等级5.1”。可以省略“EOS”。
另一方面，增强子流的图片由NAL单元构成，例如，“AUD”、“ESPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”以及“EOS”。“ESPS”例如插入GOP的领先图片内。作为ESPS的元素的值“general_level_idc”设置为“等级5.2”。可以省略“PSEI”、“SSEI”以及“EOS”。
在“视频ES1循环”中，设置流的类型的信息、数据包标识符(PID)等，并且也设置描述与视频流相关的信息的描述符以便与视频流(视频PES1)对应。这个流的类型设置为“0×24”，表示基础流。此外，作为一个描述符，插入上述HEVC描述符。
1位字段“level_constrained_flag”设置为“1”。这表示“在子流内具有SPS或ESPS，并且作为其元素的‘general_level_idc’具有等级的值，所述等级包括等于或低于包含在子流内的temporal_id的图片。此外，值“level_idc”设置为“等级5.2”，这表示视频流(视频PES1)的整个等级的值。此外，“temporal_id_min”设置为0，并且“temporal_id_max”设置为4，这表示视频流(视频PES1)包括层0到4的图片。
在执行使用单个视频流的这种分布时，接收侧根据SPS和ESPS的元素“level_constrained_flag”和“general_level_idc”，确定相应的子流是否落入其自身解码器处理能力的范围内，并且对包含在该范围内的子流执行解码。
图24示出在使用多个流(即，在此处使用两个流)执行分布时，传输流TS的一个配置实例。这个传输流TS包括两个视频流。换言之，在这个配置实例中，多个层分成2个层组，包括低层组和高层组，并且存在具有2个层组的图片的编码图像数据的视频流的PES数据包“视频PES1”和“视频PES2”(例如，在HEVC内)以及音频流的PES数据包“音频PES1”。
这两个视频流两个子流中的每一个，所述子流通过将分层编码的多个层分成2个层组而获得。在此处，低层组的子流(基础子流)包括SPS，并且高层组的子流(增强子流)包括ESPS。此外，SPS和ESPS的元素“general_level_idc”的值设置为等级的值，所述等级包括包含等于或低于相应层组的层组内的所有层的图片。
在每个图片的编码图像数据内，具有NAL单元，例如，SPS、ESPS等。如上所述，表示每个图片的层的temporal_id插入到图片的NAL单元的报头内。此外，例如，在SPS和ESPS内包括位速率的等级指定值(general_level_idc)。此外，例如，图片时间SEI包括“cpb_removal_delay”和“dpb_output_delay”。
此外，在包含每个图片的编码图像数据的TS数据包的报头内，具有表示“transport_priority”的1位的优先级的字段。通过这个“transport_priority”，能够确定所包含的编码图像数据是低层组的图片的数据还是高层组的图片的数据。
此外，传输流TS包括节目映射表(PMT)，作为节目专用信息(PSI)。这个PSI是描述在传输流内的每个基本流附属哪个节目的信息。
在PMT中，具有节目循环，其描述与整个节目相关的信息。此外，在PMT中，具有基本循环，其具有与每个基本流相关的信息。在这个配置实例中，具有两个视频基本循环(视频ES1循环和视频ES2循环)和一个音频基本循环(音频ES1循环)。
在每个视频基本循环中，设置流的类型的信息、数据包标识符(PID)等，并且描述与视频流相关的信息的描述符也与视频流(视频PES1和视频PES2)相对应地描述。作为一个描述符，插入上述HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extension_descriptor)。
图25示出一种情况，其中，在图3的分层编码的实例中，通过层0到3的图片，生成基础子流(B子流)，并且通过层4的图片，生成增强子流(E子流)。在这种情况下，包含在基础子流内的相应图片构成60P，并且在整个PES内除了包含在基础子流内的图片以外，包含在增强子流(E子流)内的相应图片构成120P。
基础子流的图片由NAL单元构成，例如，“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”以及“EOS”。“VPS”和“SPS”例如插入到GOP的领先图片内。作为SPS的元素的值“general_level_idc”设置为“等级5.1”。可以省略“EOS”。
另一方面，增强子流的图片由NAL单元构成，例如，“AUD”、“ESPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”以及“EOS”。“ESPS”例如插入到GOP的领先图片内。作为ESPS的元素“general_level_idc”的值设置为“等级5.2”。可以省略“PSEI”、“SSEI”以及“EOS”。
在“视频ES1循环”中，设置流的类型的信息、数据包标识符(PID)等，并且也设置描述与视频流相关的信息的描述符以便与视频流(视频PES1)对应。这个流的类型设置为“0×24”，表示基础流。此外，作为一个描述符，插入上述HEVC描述符。
1位字段“level_constrained_flag”设置为1。这表示“在子流内具有SPS或ESPS，并且作为其元素的‘general_level_idc’具有等级的值，所述等级包括等于或低于包含在子流内的temporal_id的图片。此外，“level_idc”的值设置为“等级5.1”，这表示基础子流(B子流)的等级的值。此外，“temporal_id_min”设置为0，并且“temporal_id_max”设置为3，这表示基础子流(B子流)包括层0到3的图片。
在“视频ES2循环”中，设置流的类型的信息、数据包标识符(PID)等，并且描述与视频流相关的信息的描述符也对应于视频流(视频PES2)而设置。这个流的类型设置为“0×25”，表示增强流。此外，作为一个描述符，插入上述HEVC描述符。
1位字段“level_constrained_flag”设置为1。这表示“在子流内具有SPS或ESPS，并且作为其元素的‘general_level_idc’具有等级的值，所述等级包括等于或低于包含在子流内的temporal_id的图片。此外，值“level_idc”设置为“等级5.2”，这表示基础子流(B子流)和增强子流(E子流)的等级的值。此外，“temporal_id_min”设置为4，并且“temporal_id_max”设置为4，这表示增强子流(E子流)包括层4的图片。
在执行使用多个视频流的这种分布时，接收侧根据SPS和ESPS的元素“level_constrained_flag”和“general_level_idc”，确定相应的子流是否落入其自身解码器处理能力的范围内，并且对包含在该范围内的子流执行解码。
图26示出在以下情况下的传输流TS的另一个配置实例，其中，在图3的分层编码的实例中，通过层0到3的图片，生成基础子流(B子流)，并且通过层4的图片，生成增强子流(E子流)。在这种情况下，包含在基础子流内的相应图片构成60P，并且在整个PES内除了包含在基础子流内的图片以外，包含在增强子流(E子流)内的相应图片构成120P。
基础子流的图片由NAL单元构成，例如，“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”、“SSEI”以及“EOS”。“VPS”和“SPS”例如插入GOP的领先图片内。作为SPS的元素的“general_level_idc”的值设置为“等级5.2”。在这种情况下，作为SPS的元素的“sub_layer_level_present_flag”设置为“1”，并且在“sublayer_level_idc[3]”中，指示基础子流的等级的“等级5.1”的值。可以省略“EOS”。
增强子流的图片由NAL单元构成，例如，“AUD”、“PPS”以及“SLICE”。然而，没有在图25中显示的“ESPS”的NAL单元。
在“视频ES1循环”中，设置流的类型的信息、数据包标识符(PID)等，并且描述与视频流相关的信息的描述符也对应于视频流(视频PES1)而设置。这个流的类型设置为“0×24”，表示基础流。此外，作为一个描述符，插入上述HEVC描述符。
没有在图25中显示的“level_constrained_flag”。“level_idc”的值设置为“等级5.1”，这表示基础子流(B子流)的等级的值。此外，“temporal_id_min”设置为0，并且“temporal_id_max”设置为3，这表示基础子流(B子流)包括层0到3的图片。
在“视频ES2循环中”中，设置流的类型的信息、数据包标识符(PID)等，并且描述与视频流相关的信息的描述符也对应于视频流(视频PES2)而设置。这个流的类型设置为“0×25”，表示增强流。此外，作为一个描述符，上述HEVC描述符被插入。
没有在图25中显示的“level_constrained_flag”。“level_idc”的值设置为“等级5.2”，这表示基础子流(B子流)和增强子流(E子流)的等级的值。此外，“temporal_id_min”设置为4，并且“temporal_id_max”设置为4，这表示增强子流(E子流)包括层4的图片。
在执行使用多个视频流的这种分布时，接收侧根据SPS的元素“general_level_idc”和“sublayer_level_idc”，确定相应的子流是否落入其自身解码器处理能力的范围内，并且对包含在该范围内的子流执行解码。
返回图2，发送单元105在适合于广播的调制方案(例如，QPSK-OFDM)中调制传输流TS，并且从发送天线中发送RF调制信号。
简单描述在图2中显示的发送装置100的操作。编码器102接收未压缩的动态图像数据的输入。编码器102对这个动态图像数据执行分层编码。换言之，编码器102将构成动态图像数据的相应图片的图像数据分类成多个层，并且编码该数据，从而生成具有每层的图片的编码图像数据的视频流。此时，进行编码，以便要参考的图片附属于其自身的层和/或比其自身的层更低的层。
编码器102生成具有每层的图片的编码图像数据的视频流。例如，编码器102将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成预定数量的视频流(其包括对应于每个层组的每个子流)，或者生成单个视频流(其包括对应于每个层组的所有子流)。
编码器102将用于识别附属层组的识别信息加入每个层组的图片的编码图像数据中。在这种情况下，例如，作为SPS和ESPS的元素的“general_level_idc”被用作识别信息。SPS包含在用于每个序列(GOP)的最低层组的子流(即，基础子流)内。另一方面，ESPS包含在用于每个序列(GOP)的比最低层组更高的层组的子流(即，增强子流)内。更高层组具有包含在SPS和ESPS内的“general_level_idc”的更高值。例如，包含在每个层组的子流的SPS和ESPS内的“general_level_idc”的值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
由编码器102生成的，包括每层的图片的编码数据的视频流被供应给压缩数据缓冲器(cpb)103，并且暂时储存在其内。在多路复用器104中，读取在压缩数据缓冲器103内累积的视频流，将视频流进行PES包格式化，进一步将视频流进行传输包格式化并且多路复用视频流，从而获得传输流TS，作为多路复用流。
这个传输流TS包括具有每层的图片的编码图像数据的单个视频流或者预定数量的视频流，所述数量等于或大于2。在多路复用器104中，将层信息和流配置信息插入传输流TS内。换言之，在多路复用器104中，将HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extension_descriptor)插入对应于每个视频流的视频基本循环内。
多路复用器104设置更高优先级的TS数据包，其包含在更低层侧上的层组的图片的编码图像数据。例如，在多个层分成两个层组(包括低层组和高层组)时，多路复用器104使用TS数据包报头的“transport_priority”的1位字段来设置优先级。
将由多路复用器104生成的传输流TS发送给发送单元105。在发送单元105中，在适合于广播的调制方案(例如，QPSK-OFDM)中调制传输流TS，并且从发送天线中发送RF调制信号。
<接收装置的配置>
图27示出接收装置200的一个配置实例。这个接收装置200具有中央处理单元(CPU)201、接收单元202、多路分用器203以及压缩数据缓冲器(编码图片缓冲器或cpb)204。进一步，接收装置200具有解码器205、解压缩数据缓冲器(解码图片缓冲器或dpb)206以及后处理单元207。CPU201构成控制单元，其控制接收装置200的每个单元的操作。
接收单元202解调由接收天线接收的RF调制信号，以获取传输流TS。多路分用器203根据解码能力(解码器时间层能力)，从传输流TS中选择性取出层组的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(编码图片缓冲器或cpb)204。
图28示出多路分用器203的一个配置实例。这个多路分用器203具有PCR提取单元231、时间戳提取单元232、分段提取单元233、TS优先级提取单元234、PES有效载荷提取单元235以及图片选择单元236。
PCR提取单元231从包括PCR的TS数据包中提取PCR(节目时钟参考)，并且将PCR发送给CPU201。时间戳提取单元232提取插入每个图片的PES报头内的时间戳(DTS或PTS)，并且将时间戳发送给CPU201。分段提取单元233从传输流TS中提取分段数据，并且将该数据发送给CPU201。这个分段数据包括上述HEVC描述符(HEVC_descriptor)、可伸缩性扩展描述符(scalability_extension_descriptor)等。
TS优先级提取单元234提取为每个TS数据包设置的优先级信息。在多个层分成预定数量的层组时，这个优先级是每个层组的优先级，所述数量等于或大于2，并且如上所述在更低层侧上的层组设置为具有更高优先级。例如，在层组分成包括低层组和高层组的两个层组时，提取TS数据包报头的1位字段“transport_priority”的值。对于低层组，这个值设置为“1”，并且对于高层组，这个值设置为“0”。
PES有效载荷提取单元235从传输流TS中提取PES有效载荷，即，每层的图片的编码图像数据。图片选择单元236根据解码能力(解码器时间层能力)，从由PES有效载荷提取单元235取出的每层的图片的编码图像数据中选择性取出层组的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(编码图片缓冲器或cpb)204。在这种情况下，图片选择单元236参考由分段提取单元233获得的层信息以及流配置信息以及由TS优先级提取单元234提取的优先级信息。
考虑以下情况：例如，包含在传输流TS(编码流)内的视频流的帧速率是120fps。例如，假设多个层分成包括在低层侧上的层组和在高层侧上的层组的两个层组，并且相应层组的图片的帧速率是60fps。在图3中所示的分层编码的上述实例中，例如，层0到3设置为附属于在低层侧上的层组并且层4设置为附属于在高层侧上的层组。
包含在TS数据包的报头内的1位字段“transport_priority”在TS数据包包含基础层(即，在低层侧上的层组)的图片的编码图像数据的情况下设置为“1”，并且在TS数据包包含非基础层(即，在高层侧上的层组)的图片的编码图像数据的情况下设置为“0”。
在这种情况下，传输流TS可以包括单个视频流(编码流)，其具有每层的图片的编码图像数据(见图10)。此外，在这种情况下，传输流TS可以包括两个视频流(编码流)，即，具有在低层侧上的层组的图片的编码图像数据的基础流(B流)和具有在高层侧上的层组的图片的编码图像数据的增强流(E流)(见图11)。
在解码能力等于120P(120fps)时，例如，图片选择单元236取出所有层的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb)204。另一方面，在解码能力不等于120P，而是等于60P(60fps)时，例如，图片选择单元236仅仅取出在低层侧上的层组的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb)204。
图29示出在传输流TS内包括单个视频流(编码流)的情况。在此处，“高”表示在高层侧上的层组的图片，并且“低”表示在低层侧上的层组的图片。此外，“P”表示“transport_priority”。
在解码能力等于120P(120fps)时，图片选择单元236取出所有层的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb)204，以在区域1(cpb_1)内累积。另一方面，在解码能力不等于120P，而是等于60P(60fps)时，根据“transport_priority”，进行过滤，并且仅仅取出在低层侧上的层组的图片(P＝1)，将该数据发送给压缩数据缓冲器(cpb)204，并且在区域1(cpb_1)内累积。
图30示出在传输流TS内包括两个视频流(编码流)的情况，包括基础流和扩展流。在此处，“高”表示在高层侧上的层组的图片，并且“低”表示在低层侧上的层组的图片。此外，“P”表示“transport_priority”。进一步，基础流的数据包标识符(PID)设置为PID1，并且扩展流的数据包标识符(PID)设置为PID2。
在解码能力等于120P(120fps)时，图片选择单元236取出所有层的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb)204。然后，在低层侧上的层组的图片的编码图像数据在区域1(cpb_1)内累积，并且在低层侧上的层组的图片的编码图像数据在区域2(cpb_2)内累积。
另一方面，在解码能力不等于120P，而是等于60P时，通过根据数据包标识符(PID)进行的过滤，仅仅取出在低层侧上的层组的图片(PID1)，发送给压缩数据缓冲器(cpb)204，并且在区域1(cpb_1)内累积。应注意的是，这种情况下，也可以根据“transport_priority”，进行过滤。
图31示出多路分用器203的处理流程的一个实例。这个处理流程示出了以下情况下：传输流TS包括单个视频流(编码流)。
多路分用器203在步骤ST31中开始处理，然后，移动到步骤ST32的处理。在步骤ST32中，从CPU201中设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST33中确定是否具有解码所有层的能力。
在具有解码所有层的能力时，在步骤ST34中，多路分用器203多路分用穿过相应PID滤波器的所有TS数据包，以执行分段解析。然后，多路分用器203移动到步骤ST35的处理。
在步骤ST33中没有解码所有层的能力时，在步骤ST36中，多路分用器203多路分用“transport_priority”为“1”的TS数据包，以执行分段解析。然后，多路分用器203移动到步骤ST35的处理。
在步骤ST35中，多路分用器203在目标PID的部分之中读取HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extension_descriptor)，并且获得关于扩展流的存在、可伸缩性的类型、流的数量和ID、temporal_id的最大和最小值以及最小目标解码器等级的信息。
接下来，多路分用器203在步骤ST37中将PID的编码流传输给压缩数据缓冲器(cpb)204并且将DTS和PTS通知CPU201。在步骤ST37的处理之后，多路分用器203在步骤ST38中完成处理。
图32示出多路分用器203的另一个处理流程的一个实例。这个处理流程示出了以下情况下：传输流TS包括两个视频流(编码流)，包括基础流和扩展流。
多路分用器203在步骤ST41中开始处理，然后，移动到步骤ST42的处理。在步骤ST42中，从CPU201中设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST43中确定是否具有解码所有层的能力。
在具有解码所有层的能力时，在步骤ST44中，多路分用器203多路分用穿过相应PID滤波器的所有TS数据包，以执行分段解析。然后，多路分用器203移动到步骤ST45的处理。
在步骤ST43中没有解码所有层的能力时，在步骤ST46中，多路分用器203多路分用PID＝PID1的TS数据包，以执行分段解析。然后，多路分用器203移动到步骤ST45的处理。
在步骤ST45中，多路分用器203在目标PID的部分之中读取HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extension_descriptor)，并且获得关于扩展流的存在、可伸缩性的类型、流的数量和ID、temporal_id的最大和最小值以及最小目标解码器等级的信息。
接下来，多路分用器203在步骤ST47中将针对PID的编码流传输给压缩数据缓冲器(cpb)204并且将DTS和PTS通知CPU201。在步骤ST47的处理之后，多路分用器203在步骤ST48中完成处理。
返回图27，压缩数据缓冲器(cpb)204暂时累积从多路分用器203中取出的视频流(编码流)。解码器205从在压缩数据缓冲器(cpb)204中累积的视频流中取出指定为要解码的层的图片的编码图像数据。然后，解码器205在图片的解码时间对取出的每个图片的编码图像数据进行解码，并且将该数据发送给解压缩数据缓冲器(dpb)206。
在此处，在解码器205中，从CPU201中给要解码的层指定temporal_id。这个层指定(layerdesignation)由CPU201自动或者根据用户操作设置为包含在从多路分用器203中取出的视频流(编码流)内的所有层或者在低层侧上的一些层。此外，CPU201根据解码时间戳(DTS)给解码器205提供解码时间。应注意的是，在解码器205解码每个图片的编码图像数据时，解码器读取并且使用来自解压缩数据缓冲器206的参考源图片的图像数据。
图33示出解码器205的一个配置实例。这个解码器205包括时间ID分析单元251、目标层选择单元252、流整合单元253以及解码单元254。时间ID分析单元251读取在压缩数据缓冲器204内累积的视频流(编码流)，并且分析插入每个图片的编码图像数据的NAL单元报头内的temporal_id。
目标层选择单元252根据时间ID分析单元251的分析结果，从压缩数据缓冲器204中读取的视频流中取出指定为要解码的层的图片的编码图像数据。在这种情况下，目标层选择单元252根据从压缩数据缓冲器204中读取的视频流的数量以及指定的层，输出一个或多个视频流(编码流)。
流整合单元253将从目标层选择单元252中输出的预定数量的视频流(编码流)整合成1个流。解码单元254在解码时间依次解码包含在由流整合单元253整合的视频流(编码流)内的每个图片的编码图像数据，并且将该数据发送给解压缩数据缓冲器(dpb)206。
在这种情况下，解码单元254通过使用从多路分用器203中获得的level_constrained_flag分析SPS和ESPS，来识别“general_level_idc”和“sublayer_level_idc”，并且检查在其自身的解码器处理能力的范围内是否可以解码流或子流。此外，在这种情况下，解码单元254分析SEI，以识别(例如)“initial_cpb_removal_time”和“cpb_removal_delay”，并且检查来自CPU201的解码时间是否合适。
此外，在解码切片时，解码单元254从切片报头中获取“ref_idx_l0_active”(ref_idx_l1_active)，作为表示在时间方向的预测目标的信息，以在时间方向进行预测。应注意的是，处理解码图片，以由其他的，将从切片报头中获取的“short_term_ref_pic_set_idx”或“it_idx_sps”用作索引的图片参考。
图34的流程图示出考虑到接收装置200的解码器处理能力的用于每个视频流的解码处理程序的一个实例。接收装置200在步骤ST61中开始处理，并且在步骤ST62中读取HEVC描述符(HEVC_descriptor)。
接下来，接收装置200在步骤ST63中确定HEVC描述符是否包括“level_constrained_flag”。在包括时，接收装置200在步骤ST64中确定“level_constrained_flag”是否是“1”。在是“1”时，接收装置200移动到步骤ST65的处理。
在步骤ST65中，接收装置200参考相应PID的PES数据包的时间戳，并且读取在有效载荷部分内的视频流的SPS或ESPS。然后，接收装置200在步骤ST66中读取SPS或ESPS的元素，“general_level_idc”。
接下来，接收装置200在步骤ST67中确定“general_level_idc”是否在解码器处理能力的范围内。在解码器处理能力的范围内时，接收装置200在步骤ST68中解码相应流或子流。然后，接收装置200在步骤ST69中完成处理。另一方面，在步骤ST67中，不在解码器处理能力的范围内时，接收装置200直接继续进入步骤ST69，并且完成处理。
此外，在步骤ST63内不包括“level_constrained_flag”时，或者在步骤ST64内“level_constrained_flag”为“0”时，接收装置200移动到步骤ST70的处理。在步骤ST70中，接收装置200参考相应PID的PES数据包的时间戳，并且读取在有效载荷部分内的视频流的SPS。另一方面，在相应视频流没有SPS时，参考子流的SPS，其中，temporal_layer包括低侧上的图片。
接下来，接收装置200在步骤ST71中读取SPS的元素“general_level_idc”。然后，接收装置200在步骤ST72中确定“general_level_idc”是否在解码器处理能力的范围内。在解码器处理能力的范围内时，接收装置200移动到步骤ST73的处理。
另一方面，不在解码器处理能力的范围内时，接收装置200在步骤ST74中检查SPS的元素“sublayer_level_idc”。然后，接收装置200在步骤ST75中确定是否具有子层，该子层的“sublayer_level_idc”在解码器处理能力的范围内。在没有时，直接继续进入步骤ST69，并且处理结束。另一方面，在具有一个时，接收装置200移动到步骤ST73的处理。
在步骤ST73中，接收装置200解码参考temporal_id的值的整个流或子层部分。然后，接收装置200在步骤ST69中完成处理。
返回图27，解压缩数据缓冲器(dpb)206暂时储存由解码器205解码的每个图片的图像数据。后处理单元207在显示时间对依次从解压缩数据缓冲器(dpb)206中读取的每个图片的图像数据执行处理，以促使其帧速率与显示能力匹配。在这种情况下，根据呈现时间戳(PTS)，从CPU201中提供显示时间。
例如，在图片的解码图像数据的帧速率是120fps并且显示能力是120fps时，后处理单元207将图片的解码图像数据原封不动地发送给显示器。此外，例如，在图片的解码图像数据的帧速率是120fps并且显示能力是60fps时，后处理单元207执行子采样处理，以便时间方向分辨率是图片的解码图像数据的分辨率的一半，并且发送该数据至显示器，作为60fps的图像数据。
此外，在图片的解码图像数据的帧速率是60fps并且显示能力是120fps时，后处理单元207执行插入处理，以便时间方向分辨率是图片的解码图像数据的分辨率的两倍，并且发送该数据至显示器，作为120fps的图像数据。此外，例如，在图片的解码图像数据的帧速率是60fps并且显示能力是60fps时，后处理单元207将图片的解码图像数据原封不动地发送至显示器。
图35示出后处理单元207的一个配置实例。这是可以处理上述情况的实例，其中，图片的解码图像数据的帧速率是120fps或60fps并且显示能力是120fps或60fps。
后处理单元207具有插入单元271、子采样单元272以及开关单元273。将来自解压缩数据缓冲器206的图片的解码图像数据直接输入开关单元273中，或者在穿过插入单元271(以具有两倍的帧速率)之后输入开关单元273中，或者在穿过子采样单元272(以具有一半的帧速率)之后输入开关单元273中。
开关单元273从CPU201中接收选择信息的供应。CPU201参考显示能力或者根据用户操作自动生成这个选择信息。开关单元273根据选择信息选择性输出任何输入。因此，在显示时间依次从解压缩数据缓冲器(dpb)206中读取的图片的图像数据的帧速率与显示能力匹配。
图36示出解码器205和后处理单元207的处理流程的一个实例。解码器205和后处理单元207在步骤ST51中开始处理。然后，移动到步骤ST52的处理。在步骤ST52中，解码器205读取在压缩数据缓冲器(cpb)204内累积的要解码的视频流，并且根据temporal_id，选择指定作为来自CPU201的解码目标的层的图片。
接下来，在步骤ST53中，解码器205在解码时间依次解码所选图片的编码图像数据，并且将图片的解码图像数据传输给解压缩数据缓冲器(dpb)206，以促使暂时储存数据。接下来，在步骤ST54，后处理单元207在显示时间从解压缩数据缓冲器(dpb)206中读取图片的图像数据。
接下来，后处理单元207确定所读取的图片的图像数据的帧速率是否与显示能力匹配。在帧速率与显示能力不匹配时，后处理单元207在步骤ST56中促使帧速率与显示能力匹配，并且将数据发送给显示器，然后，在步骤ST57中完成处理。另一方面，在帧速率与显示能力匹配时，后处理单元207在步骤ST58中将具有该帧速率的数据无变化地发送给显示器，然后，在步骤ST57中完成处理。
简单描述图27中显示的接收装置200的操作。接收单元202解调通过接收天线接收的RF调制信号，以获取传输流TS。将这个传输流TS发送给多路分用器203。多路分用器203根据解码能力(解码器时间层能力)，从传输流TS中选择性取出层组的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb)204，以促使暂时储存数据。
解码器205从在压缩数据缓冲器204中累积的视频流中取出指定为要解码的层的图片的编码图像数据。然后，解码器205在图片的解码时间，对每个取出的图片的编码图像数据进行解码，并且将该数据发送给解压缩数据缓冲器(dpb)206，以促使暂时储存数据。在这种情况下，在相应图片的编码图像数据要解码时，从解压缩数据缓冲器206中读取参考源图片的图像数据以便使用。
将在显示时间依次从解压缩数据缓冲器(dpb)206中读取的图片的图像数据发送给后处理单元207。后处理单元207执行插入或者子采样，以促使图片的图像数据的帧速率与显示能力匹配。将由后处理单元207处理的图片的图像数据供应给显示器，并且显示图片的图像数据的动态图像。
如上所述，在图1中显示的发送和接收系统10内的接收侧上，为每个层计算编码间隔，并且将解码时间戳(其设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔)加入每层的图片的编码图像数据中。为此，例如，接收侧可以根据解码能力执行有利的解码处理。甚至例如在解码能力较低的情况下，能够选择性解码低层的图片的编码图像数据，而不造成压缩数据缓冲器204的故障。
此外，在图1中显示的发送和接收系统10内的发送侧上，将可伸缩性扩展描述符(scalability_extension_descriptor)等插入传输流TS的层内。为此，例如，接收侧可以容易确定分层编码的层信息、包含在传输流TS内的视频流的配置信息等，从而可以执行适当的解码处理。
此外，在图1中显示的发送和接收系统10中，发送单元将多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含更低层侧上的层组的图片的编码图像数据的TS数据包的更高优先级。例如，在具有2个分割的情况下，对于包含基础层侧(即，低层侧)上的层组的图片的编码图像数据的TS数据包，1位字段“transport_priority”设置为“1”，并且对于包含非基础层侧(即，高层侧)上的层组的图片的编码图像数据的TS数据包，设置为“0”。为此，接收侧可以根据这个TS数据包的优先级，仅仅将与其解码能力相当的层组的编码图像数据放入压缩数据缓冲器(cpb)204内，从而可以容易避免缓冲故障。
此外，在图1中显示的发送和接收系统10中，发送侧将位流的等级指定值插入对应于每个层组的子流内，并且假设该值为等级的值，该等级包括包含在等于或低于相应层组的层组内的所有层的图片。为此，视频流的接收侧可以根据插入的位流的等级指定值，容易地确定每个子流是否能够解码。
此外，在图1中显示的发送和接收系统10中，发送侧将标志信息(level_constrained_flag)插入传输流TS的层(容器的层)内，所述标志信息表示插入每个层组的子流内的位流的等级指定值是等级的值，所述等级包括包含在来自相应层组以及更低层组的层组内的所有层的图片。为此，通过这个标志信息，接收侧了解插入每个层组的子流内的位流的等级指定值是等级的值，该等级包括包含在来自相应层组以及更低层组的层组内的所有层的图片的等级的值，从而不需要使用sublayer_level_idc的检查处理，并且可以实现解码处理的效率。
<2、修改实例>
应注意的是，虽然上述实施方式显示了由发送装置100和接收装置200构成的传输和接收系统10，但是可以应用本技术的传输和接收系统的配置不限于此。例如，接收装置200部分可以配置有与数字接口(例如，高清晰度多媒体接口(HDMI)和显示器)连接的机顶盒等。
此外，上述实施方式显示了容器是传输流(MPEG-2TS)的实例。然而，本技术还可以同样应用于系统中，该系统被配置为使用网络(例如，互联网)将数据分布给接收终端。在互联网上分布时，具有使用具有MP4或其他格式的容器来分布的多种情况。换言之，包括在数字广播标准中使用的传输流(MPEG-2TS)、用于互联网分布内的MP4等的各种格式等同于容器。
此外，本技术还可以如下配置。
(1)一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述图像编码单元将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
(2)根据(1)所述的发送装置，其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，并且
将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将用于识别附属层组的识别信息加入每个所述层组的图片的编码图像数据中。
(3)根据(2)所述的发送装置，其中，所述识别信息是位流的等级指定值，并且为更高层侧的层组设置更高值。
(4)根据(1)所述的发送装置，其中，所述图像编码单元：
将所述多个层分成预定数量的层组，所述数量等于或大于2，
并且
生成具有每个所述层组的图片的编码图像数据的预定数量的视频流。
(5)根据(4)所述的发送装置，其中，所述图像编码单元将用于识别附属层组的识别信息加入每个所述层组的所述图片的所述编码图像数据中。
(6)根据(5)所述的发送装置，其中，所述识别信息是位流的等级指定值，并且为更高层侧的层组设置更高值。
(7)根据(1)到(6)中任一项所述的发送装置，其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个所述层组的图片的编码图像数据的预定数量的视频流，并且
进一步包括信息插入单元，配置为将包含在所述容器内的视频流的配置信息插入所述容器的层内。
(8)根据(1)到(8)中任一项所述的发送装置，其中，所述发送单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且对包含更低层侧上的层组的图片的编码图像数据的数据包，设置更高优先级。
(9)一种传输方法，包括：
图像编码步骤，将构成动态图像数据的每个图片的图像数据分分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
由发送单元执行的发送步骤，发送包括所生成的视频流的具有预定格式的容器，
其中，在所述图像编码步骤中，将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
(10)一种接收装置，包括：
接收单元，配置为接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中，所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的，
其中，将解码时间信息加入到每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息，
其中，所述接收装置进一步包括：
处理单元，配置为通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
(11)根据(10)所述的接收装置，
其中，所述接收的容器包括具有每个所述层的所述图片的所述编码图像数据的单个视频流，
其中，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级，并且
其中，所述处理单元将包含在具有根据解码能力选择的优先级的数据包内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
(12)根据(10)所述的接收装置，
其中，所述接收的容器包括预定数量的视频流，所述数量等于或大于2，所述视频流具有通过分割所述多个层所获得的所述预定数量的层组的图片的编码图像数据，并且
其中，所述处理单元将包含在根据解码能力选择的视频流内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
(13)根据(10)到(12)中任一项所述的接收装置，进一步包括：
后处理单元，配置为促使由所述处理单元获得的每个图片的图像数据的帧速率与显示能力匹配。
(14)一种接收方法，包括：
接收步骤，由接收单元接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的，
其中，将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息，
其中，所述接收方法进一步包括：
处理步骤，通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
(15)一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个所述层组的图片的编码图像数据的所述预定数量的视频流，并且
进一步包括信息插入单元，配置为将包含在所述容器内的视频流的配置信息插入到所述容器的层内。
(16)一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述发送单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。
(17)一种编码装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内，并且
其中，插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
(18)根据(17)所述的编码装置，其中，所述图像编码单元生成所述预定数量的视频流，所述视频流包括对应于每个所述层组的所述子流，或者生成包括对应于每个所述层组的所有子流的单个视频流。
(19)一种编码方法，包括：
图像编码步骤，由图像编码单元将构成动态图像数据的每个图片的图像数据分成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，在所述图像编码步骤中，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内，并且
其中，插入到对应于每个所述层组的所述子流内的所述位流的所述等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
(20)一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入到对应于每个所述层组的子流内，
其中，插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片，并且
其中，所述发送装置进一步包括：
发送单元，配置为传输包括所生成的视频流的具有预定格式的容器，以及
信息插入单元，配置为在所述容器的层内插入标志信息，所述标志信息表示插入到每个所述层组的所述子流内的所述位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的所述图片。
本技术的主要特征在于，通过计算每层的编码间隔并且将设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔的解码时间戳加入每层的图片的编码图像数据中，接收侧可以根据其解码性能执行有利的解码处理(见图9)。此外，本技术的另一个主要特征在于，通过将多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含在更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级，接收侧仅仅根据优先级，将与其解码能力相当的层组的图片的编码图像数据放入缓冲器内，从而可以避免缓冲故障(见图19)。
参考符号列表
10：发送和接收系统
100：发送装置
101：CPU
102：编码器
103：压缩数据缓冲器(cpb)
104：多路复用器
105：发送单元
121：时间ID生成单元
122：缓冲延迟控制单元
123：HRD设置单元
124：参数组/SEI编码单元
125：切片编码单元
126：NAL包格式化单元
141：TS优先级生成单元
142：部分编码单元
143-1到143-N：PES包格式化单元
144：传输包格式化单元
200：接收装置
201：CPU
202：接收单元
203：多路分用器
204：压缩数据缓冲器(cpb)
205：解码器
206：解压缩数据缓冲器(dpb)
207：后处理单元
231：PCR提取单元
232：时间戳提取单元
233：部分提取单元
234：TS优先级提取单元
235：PES有效载荷提取单元
236：图片选择单元
251：时间ID分析单元
252：目标层选择单元
253：流整合单元
254：解码单元
271：插入单元
272：二次采样单元
273：开关单元

Claims (20)

1.一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述图像编码单元将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
2.根据权利要求1所述的发送装置，其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，并且
将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将用于识别附属层组的识别信息加入每个所述层组的图片的编码图像数据中。
3.根据权利要求2所述的发送装置，其中，所述识别信息是位流的等级指定值，并且为更高层侧的层组设置更高值。
4.根据权利要求1所述的发送装置，其中，所述图像编码单元：
将所述多个层分成预定数量的层组，所述数量等于或大于2，并且
生成具有每个所述层组的图片的编码图像数据的预定数量的视频流。
5.根据权利要求4所述的发送装置，其中，所述图像编码单元将用于识别附属层组的识别信息加入每个所述层组的所述图片的所述编码图像数据中。
6.根据权利要求5所述的发送装置，其中，所述识别信息是位流的等级指定值，并且为更高层侧的层组设置更高值。
7.根据权利要求1所述的发送装置，其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个所述层组的图片的编码图像数据的预定数量的视频流，并且
进一步包括信息插入单元，配置为将包含在所述容器内的视频流的配置信息插入所述容器的层内。
8.根据权利要求1所述的发送装置，其中，所述发送单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且对包含更低层侧上的层组的图片的编码图像数据的数据包，设置更高优先级。
9.一种发送方法，包括：
图像编码步骤，将构成动态图像数据的每个图片的图像数据分分类成多个层，对每个所述分类后的层的图片的图像数据进行编码，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
由发送单元执行的发送步骤，发送包括所生成的视频流的具有预定格式的容器，
其中，在所述图像编码步骤中，将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息。
10.一种接收装置，包括：
接收单元，配置为接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中，所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的，
其中，将解码时间信息加入到每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息，
其中，所述接收装置进一步包括：
处理单元，配置为通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
11.根据权利要求10所述的接收装置，
其中，所述接收的容器包括具有每个所述层的所述图片的所述编码图像数据的单个视频流，
其中，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级，并且
其中，所述处理单元将包含在具有根据解码能力选择的优先级的数据包内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
12.根据权利要求10所述的接收装置，
其中，所述接收的容器包括预定数量的视频流，所述数量等于或大于2，所述视频流具有通过分割所述多个层所获得的所述预定数量的层组的图片的编码图像数据，并且
其中，所述处理单元将包含在根据解码能力选择的视频流内的预定层组的图片的编码图像数据放入缓冲器内，以解码所述编码图像数据。
13.根据权利要求10所述的接收装置，进一步包括：
后处理单元，配置为促使由所述处理单元获得的每个图片的图像数据的帧速率与显示能力匹配。
14.一种接收方法，包括：
接收步骤，由接收单元接收具有预定格式的容器，所述容器包括具有每个层的图片的编码图像数据的视频流，其中所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的，
其中，将解码时间信息加入每个所述层的所述图片的所述编码图像数据中，其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式，设置所述解码时间信息，
其中，所述接收方法进一步包括：
处理步骤，通过在由所述解码时间信息指示的解码时间，将等于或低于预定层的层的图片的编码图像数据解码，获得等于或低于所述预定层的所述层的所述图片的图像数据，其中所述预定层是从包含在所接收的容器内的所述视频流中选择的。
15.一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述图像编码单元：
生成具有每个所述层的所述图片的所述编码图像数据的单个视频流，或者将所述多个层分成预定数量的层组，所述数量等于或大于2，并且生成具有每个所述层组的图片的编码图像数据的所述预定数量的视频流，并且
进一步包括信息插入单元，配置为将包含在所述容器内的视频流的配置信息插入到所述容器的层内。
16.一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流；以及
发送单元，配置为发送包括所生成的视频流的具有预定格式的容器，
其中，所述发送单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且设置包含更低层侧上的层组的图片的编码图像数据的数据包具有更高优先级。
17.一种编码装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内，并且
其中，插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
18.根据权利要求17所述的编码装置，其中，所述图像编码单元生成所述预定数量的视频流，所述视频流包括对应于每个所述层组的所述子流，或者生成包括对应于每个所述层组的所有子流的单个视频流。
19.一种编码方法，包括：
图像编码步骤，由图像编码单元将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，在所述图像编码步骤中，将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入对应于每个所述层组的子流内，并且
其中，插入到对应于每个所述层组的所述子流内的所述位流的所述等级指定值设置为等级的值，所述等级包括包含在等于或低于相应层组的层组内的所有层的图片。
20.一种发送装置，包括：
图像编码单元，配置为将构成动态图像数据的每个图片的图像数据分类成多个层，编码每个所述分类后的层的图片的图像数据，并且生成具有每个所述层的所述图片的所述编码图像数据的视频流，
其中，所述图像编码单元将所述多个层分成预定数量的层组，所述数量等于或大于2，并且将位流的等级指定值插入到对应于每个所述层组的子流内，
其中，插入到对应于每个所述层组的所述子流内的所述位流的等级指定值设置为等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的图片，并且
其中，所述发送装置进一步包括：
发送单元，配置为传输包括所生成的视频流的具有预定格式的容器，以及
信息插入单元，配置为在所述容器的层内插入标志信息，所述标志信息表示插入到每个所述层组的所述子流内的所述位流的等级指定值是等级的值，所述等级包括包含在等于或低于所述层组的层组内的所有层的所述图片。
CN201480034649.3A 2013-08-09 2014-07-11 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法 Active CN105340283B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-167168 2013-08-09
JP2013167168 2013-08-09
JP2014-007306 2014-01-17
JP2014007306A JP5789004B2 (ja) 2013-08-09 2014-01-17 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
PCT/JP2014/068643 WO2015019798A1 (ja) 2013-08-09 2014-07-11 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
CN105340283A true CN105340283A (zh) 2016-02-17
CN105340283B CN105340283B (zh) 2019-06-18

Family

ID=52461137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480034649.3A Active CN105340283B (zh) 2013-08-09 2014-07-11 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法

Country Status (7)

Country Link
US (2) US10306296B2 (zh)
EP (3) EP3585060A3 (zh)
JP (1) JP5789004B2 (zh)
CN (1) CN105340283B (zh)
BR (1) BR112015030897B1 (zh)
RU (1) RU2674890C2 (zh)
WO (1) WO2015019798A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566837A (zh) * 2017-08-30 2018-01-09 苏州科达科技股份有限公司 视频的时间标记方法及系统
CN107925776A (zh) * 2015-08-25 2018-04-17 索尼公司 发送装置、发送方法、接收装置和接收方法
CN114666006A (zh) * 2020-12-22 2022-06-24 通用汽车环球科技运作有限责任公司 用于优先分段数据的速率自适应编码解码方案

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10205949B2 (en) * 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US9686074B2 (en) * 2014-10-09 2017-06-20 Xerox Corporation Methods and systems of securely storing documents on a mobile device
KR102423610B1 (ko) 2015-02-27 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP5976188B2 (ja) * 2015-11-30 2016-08-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CA3009777C (en) 2016-02-09 2024-04-16 Sony Corporation Transmission device, transmission method, reception device and reception method
EP3503564A4 (en) * 2016-08-22 2019-09-04 Sony Corporation TRANSMISSION APPARATUS, TRANSMISSION METHOD, RECEIVING APPARATUS, AND RECEIVING METHOD
US10491964B2 (en) * 2017-01-23 2019-11-26 Cisco Technology, Inc. Assisted acceleration for video streaming clients
CN109151612B (zh) * 2017-06-27 2020-10-16 华为技术有限公司 一种视频传输方法、设备及系统
JP7067367B2 (ja) * 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法
WO2020256048A1 (ja) * 2019-06-18 2020-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207809A (zh) * 2006-12-19 2008-06-25 浙江工业大学 基于视频帧拆分的实时流媒体传输方法及系统
CN101610391A (zh) * 2008-06-20 2009-12-23 韩国放送公社 用于保护可伸缩视频编码内容的方法与装置
CN101626510A (zh) * 2003-07-24 2010-01-13 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824678B2 (ja) * 1995-05-09 2006-09-20 株式会社ルネサステクノロジ 画像復号表示装置
TW527832B (en) * 2000-04-20 2003-04-11 Matsushita Electric Ind Co Ltd Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US20020191625A1 (en) * 2001-05-25 2002-12-19 Patrick Kelly Table-based correlation of base and enhancement layer frames
WO2003075524A1 (en) * 2002-03-04 2003-09-12 Fujitsu Limited Hierarchical encoded data distributor and distributing method
JP4281309B2 (ja) 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
US8155115B2 (en) * 2003-03-03 2012-04-10 Nokia Corporation Method, system and network entity for indicating hierarchical mode for transport streams carried in broadband transmission
CN100568933C (zh) 2003-07-25 2009-12-09 松下电器产业株式会社 广播频道变更检测装置
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
JP2005192013A (ja) 2003-12-26 2005-07-14 Sharp Corp 圧縮動画データデコード装置および圧縮動画データデコードプログラム
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
TWI289998B (en) * 2004-10-06 2007-11-11 Nippon Telegraph & Telephone Scalable encoding method and apparatus, scalable decoding method and apparatus, and computer readable storage medium therefor
US8245264B2 (en) * 2006-05-26 2012-08-14 John Toebes Methods and systems to reduce channel selection transition delay in a digital network
JP2008109637A (ja) * 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
JP2008167061A (ja) 2006-12-27 2008-07-17 Toshiba Corp 符号化装置及び符号化方法
KR101072341B1 (ko) * 2007-01-18 2011-10-11 노키아 코포레이션 Ｒｔｐ 페이로드 포맷에서의 ｓｅｉ 메시지들의 전송
WO2009120047A2 (ko) * 2008-03-28 2009-10-01 한국전자통신연구원 셀룰러 시스템에서 가변 품질 서비스를 위한 계층적 전송 장치 및 방법
WO2009129838A1 (en) * 2008-04-25 2009-10-29 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Flexible sub-stream referencing within a transport data stream
JP5335294B2 (ja) 2008-06-16 2013-11-06 キヤノン株式会社 動画像処理システム、動画像処理方法、プログラム及び記憶媒体
WO2010032636A1 (ja) * 2008-09-17 2010-03-25 シャープ株式会社 スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置
JP5199196B2 (ja) 2009-08-04 2013-05-15 日本電信電話株式会社 動画像復号方法，動画像復号装置および動画像復号プログラム
JP5295381B2 (ja) 2009-10-27 2013-09-18 キヤノン株式会社 映像再生装置及び映像再生装置の制御方法
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2012100162A (ja) 2010-11-04 2012-05-24 Toshiba Corp 画像デコード装置及びデコードプログラム
EP2664075A4 (en) * 2011-01-14 2015-08-19 Vidyo Inc ENHANCED NAL UNIT HEADER
US20120183055A1 (en) * 2011-01-18 2012-07-19 Vidyo, Inc. Temporal Prediction Structure Aware Temporal Filter
EP2525587B1 (en) * 2011-05-17 2017-07-05 Alcatel Lucent Method for streaming video content, node in a network for monitoring video content streaming
MX2014003992A (es) * 2011-10-19 2014-05-07 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626510A (zh) * 2003-07-24 2010-01-13 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法
CN101207809A (zh) * 2006-12-19 2008-06-25 浙江工业大学 基于视频帧拆分的实时流媒体传输方法及系统
CN101610391A (zh) * 2008-06-20 2009-12-23 韩国放送公社 用于保护可伸缩视频编码内容的方法与装置
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925776A (zh) * 2015-08-25 2018-04-17 索尼公司 发送装置、发送方法、接收装置和接收方法
CN107925776B (zh) * 2015-08-25 2021-06-08 索尼公司 发送装置、发送方法、接收装置和接收方法
CN107566837A (zh) * 2017-08-30 2018-01-09 苏州科达科技股份有限公司 视频的时间标记方法及系统
CN107566837B (zh) * 2017-08-30 2019-05-07 苏州科达科技股份有限公司 视频的时间标记方法及系统
CN114666006A (zh) * 2020-12-22 2022-06-24 通用汽车环球科技运作有限责任公司 用于优先分段数据的速率自适应编码解码方案

Also Published As

Publication number Publication date
EP4354889A3 (en) 2024-04-24
EP3585060A3 (en) 2020-01-15
US20190222887A1 (en) 2019-07-18
EP3032834A4 (en) 2017-05-10
EP4354889A2 (en) 2024-04-17
US10306296B2 (en) 2019-05-28
JP2015057875A (ja) 2015-03-26
EP3585060A2 (en) 2019-12-25
EP3032834A1 (en) 2016-06-15
JP5789004B2 (ja) 2015-10-07
RU2674890C2 (ru) 2018-12-13
WO2015019798A1 (ja) 2015-02-12
RU2015153006A3 (zh) 2018-05-30
BR112015030897A2 (zh) 2017-07-25
BR112015030897B1 (pt) 2023-02-23
EP3032834B1 (en) 2019-09-04
CN105340283B (zh) 2019-06-18
US20160142762A1 (en) 2016-05-19
RU2015153006A (ru) 2017-06-15
US11368744B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN105340283A (zh) 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
EP3041240B1 (en) Transmission device, transmission method, receiving device, and receiving method
JP2023016995A (ja) 受信装置および受信方法
JP5947269B2 (ja) 符号化装置、符号化方法、送信装置および受信装置
JP7338745B2 (ja) 受信装置
JP6614275B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP6341228B2 (ja) 符号化装置、符号化方法、送信装置、送信方法、受信装置および受信方法
JP5954509B2 (ja) 符号化装置、符号化方法、送信装置および受信装置
JP5954508B2 (ja) 符号化装置、符号化方法、送信装置および受信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant