CN105075281A - 数据解码方法、数据解码装置及数据发送方法 - Google Patents
数据解码方法、数据解码装置及数据发送方法 Download PDFInfo
- Publication number
- CN105075281A CN105075281A CN201480019590.0A CN201480019590A CN105075281A CN 105075281 A CN105075281 A CN 105075281A CN 201480019590 A CN201480019590 A CN 201480019590A CN 105075281 A CN105075281 A CN 105075281A
- Authority
- CN
- China
- Prior art keywords
- data
- bag
- buffer
- decoding
- mmt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 183
- 239000000872 buffer Substances 0.000 claims abstract description 231
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000012546 transfer Methods 0.000 claims description 128
- 238000012545 processing Methods 0.000 claims description 61
- 230000011218 segmentation Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 51
- 239000012634 fragment Substances 0.000 description 25
- 238000012856 packing Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- DQNSKXYRRRCKGH-UHFFFAOYSA-N 1-methoxy-4-methylsulfanylbenzene Chemical compound COC1=CC=C(SC)C=C1 DQNSKXYRRRCKGH-UHFFFAOYSA-N 0.000 description 18
- 230000009471 action Effects 0.000 description 16
- 230000033228 biological regulation Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000033458 reproduction Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000926 separation method Methods 0.000 description 10
- 238000000151 deposition Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 230000000576 supplementary effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- CZMRCDWAGMRECN-UGDNZRGBSA-N Sucrose Chemical compound O[C@H]1[C@H](O)[C@@H](CO)O[C@@]1(CO)O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 CZMRCDWAGMRECN-UGDNZRGBSA-N 0.000 description 5
- 229930006000 Sucrose Natural products 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008929 regeneration Effects 0.000 description 5
- 238000011069 regeneration method Methods 0.000 description 5
- 239000005720 sucrose Substances 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
本发明的数据解码方法，包括：接收步骤，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤，将接收到的多个编码流的多个包存放到第1缓冲器；排序步骤，将存放在第1缓冲器中的多个包按解码顺序排序；以及解码步骤将按解码顺序排序后的多个包解码。
Description
技术领域
本发明涉及数据解码方法、数据解码装置及数据发送方法。
背景技术
以往，已知有将编码数据以规定的传送格式进行传送的技术。编码数据通过将包含影像数据及声音数据的内容基于HEVC(HighEfficiencyVideoCoding)等运动图像编码标准进行编码来生成。
规定的传送格式例如包括MPEG-2TS(MovingPictureExpertsGroup-2TransportStream)或MMT(MPEGMediaTransport)等(参照非专利文献1)。例如，专利文献1中公开了按照MMT将被编码的媒体数据按每个包发送的技术。
在上述以往的技术中公开了发送编码数据的技术，但没有公开在接收到所发送的编码数据的情况下如何将编码数据解码。
现有技术文献
专利文献
专利文献1：美国专利第8638818号说明书
非专利文献
非专利文献1：Informationtechnology-Highefficiencycodingandmediadeliveryinheterogeneousenvironment-Part1：MPEGmediatransport(MMT)，ISO/IECDIS23008-1
发明内容
本发明的一形态的数据解码方法包括：接收步骤(S110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤(S120)，将接收到的多个编码流的多个包存放到第1缓冲器(120a)；排序步骤(S150)，将存放在所述第1缓冲器中的多个包以解码顺序排序；以及解码步骤(S160)，将以解码顺序排序后的多个包解码。
此外，本发明的一形态的数据发送方法包括以下步骤：生成标志的步骤(S220)，该标志表示是否需要对构成编码数据中包含的多个编码流的多个包进行排序；以及使用多个传送路径中的各个传送路径将对应的所述编码流以包单位发送，并且使用所述多个传送路径中的至少一个发送所述标志的步骤(S240)。
由此，能够将编码数据适当地解码。
附图说明
图1是表示实施方式1的数据解码装置的结构的一例的框图。
图2是表示实施方式1的MMT流的数据构造的一例的图。
图3是表示实施方式1的MPU的数据构造的一例的图。
图4是表示实施方式1的MMT包的数据的流向的一例的图。
图5是表示实施方式1的多个传送路径中的各个传送路径上传送的MMT流的一例的图。
图6是表示实施方式1的将多个MMT包进行排序的情形的一例的图。
图7是表示实施方式1的数据解码装置的动作的一例的流程图。
图8是表示实施方式1的数据解码装置中的DTS的决定方法的一例的流程图。
图9是表示实施方式1的排序部的动作模式的一例的图。
图10是实施方式1的数据发送装置的结构的一例的框图。
图11是实施方式1的数据发送装置的动作的一例的流程图。
图12是实施方式1的变形例1的MMT流的数据构造的一例的图。
图13是表示实施方式1的变形例2的MMT包的数据的流向的一例的图。
图14是表示实施方式1的变形例3的MMT包的数据的流向的一例的图。
图15是表示实施方式1的变形例4的数据解码方法的一例的流程图。
图16是表示实施方式1的变形例4的数据发送方法的一例的流程图。
图17是实现内容分发服务的内容供给系统的整体结构图。
图18是数字广播用系统的整体结构图。
图19是表示电视机的结构例的框图。
图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
图21是表示作为光盘的记录介质的构造例的图。
图22A是表示便携电话的一例的图。
图22B是表示便携电话的结构例的框图。
图23是表示复用数据的结构的图。
图24是示意地表示各流在复用数据中怎样被复用的图。
图25是更详细地表示在PES包序列中视频流怎样被存放的图。
图26是表示复用数据中的TS包和源包的构造的图。
图27是表示PMT的数据结构的图。
图28是表示复用数据信息的内部结构的图。
图29是表示流属性信息的内部结构的图。
图30是表示识别影像数据的步骤的图。
图31是表示各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的结构例的框图。
图32是表示切换驱动频率的结构的图。
图33是表示识别影像数据、切换驱动频率的步骤的图。
图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图35A是表示将信号处理部的模块共用的结构的一例的图。
图35B是表示将信号处理部的模块共用的结构的其他一例的图。
具体实施方式
(本发明的基础知识)
关于“背景技术”一栏中记载的以往的数据解码方法等，本发明者发现了以下的问题。
MMT中规定了构成MMT封装包(package)的数据的形式或数据传送时的打包方法，能够将构成MMT封装包的多个资源(asset)的数据进行复用而传送。具体而言，通过将多个资源的数据进行复用而生成相互不同的多个流，使用多个传送路径中的各个传送路径按每个包(packet)发送流。
但是，对于MMT没有规定系统解码器的模型。因此，在接收MMT的数据并解码时，无法保证在编码数据中包含的访问单元的解码时刻，访问单元的数据齐全等。
另外，系统解码器的模型是如下的模型：例如通过接收装置具备规定尺寸的缓冲器，使得不会发生缓冲器的上溢以及下溢，保证将接收到的编码数据中包含的多个访问单元分别在对应的解码时刻进行解码。另外，MPEG-2系统中有系统目标解码器(STD：SystemTargetDecoder)模型。
MMT中能够使用多个传送路径将多个流按每个包发送，因此接收到的包不一定是解码顺序。根据各流的结构或传送路径的结构，有时先接收到在解码顺序上靠后的包。在该情况下，必须将先接收到的包保持在缓冲器中直到能够解码，缓冲器有可能发生上溢。
另一方面，根据各流的结构或传送路径的结构，有时接收接下来应解码的包为止需要更多的时间。在该情况下，缓冲器有可能发生下溢。
像这样，现有技术中存在不能保证减少缓冲器的上溢或下溢的发生而将编码数据解码的问题。
为了解决上述问题，本发明的一形态的数据解码方法包括：接收步骤(S110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤(S120)，将接收到的多个编码流的多个包存放到第1缓冲器(120a)；排序步骤(S150)，将存放在所述第1缓冲器中的多个包以解码顺序排序；以及解码步骤(S160)，将以解码顺序排序后的多个包解码。
由此，在使用多个传送路径发送了包的情况下也由于将存放在第1缓冲器中的多个包以解码顺序排序并解码，因此能够适当地解码包。例如，通过以解码顺序排序，能够在适当的定时解码包，因此能够抑制缓冲器的上溢或下溢的发生。
此外，例如也可以是，所述多个包分别与构成所述编码数据的1个以上的资源建立对应，1个以上的所述第1缓冲器分别与所述资源建立对应，在所述存放步骤(S120)中，将所述多个包分别分配给对应的资源，并存放到对应的所述第1缓冲器。
由此，1个以上的第1缓冲器分别与资源建立对应，因此一个第1缓冲器中存放一个资源的数据。因此，能够容易地进行缓冲器管理，使包的排序等处理高速化，减小延迟。此外，通过使处理高速化，能够减少缓冲器的上溢的发生。
此外，例如也可以是，所述多个包分别包含表示对应的资源的包识别符(packet_id)，在所述存放步骤(S120)中，通过从所述包取得所述包识别符来分配所述包。
由此，仅通过判别包识别符便能够确定与包对应的资源以及第1缓冲器。因此，能够容易地进行分配处理，使处理高速化，减小延迟。
此外，例如也可以是，在所述排序步骤(S150)中，还选择与从所述第1缓冲器读出所述包的定时有关的多个模式中的一个，按照选择的模式即选择模式，从所述第1缓冲器读出所述包并存放到第2缓冲器，在所述解码步骤(S160)中，将存放在所述第2缓冲器中的包解码。
由此，由于从多个模式中选择一个，因此例如能够基于能够进一步减小延迟的模式来解码包。
此外，例如也可以是，所述多个模式包括：第1模式(MPUmode)，在所述包被存放到所述第1缓冲器之后，能够从所述第1缓冲器读出所述包；第2模式(Fragmentmode)，在作为构成所述包的多个分割单位中的一个的对象分割单位被存放到所述第1缓冲器之后，能够从所述第1缓冲器读出所述对象分割单位；以及第3模式(Mediaunitmode)，在所述包的所述对象分割单位向所述第1缓冲器的存放完成之前，能够从所述第1缓冲器读出所述对象分割单位的一部分。
由此，例如在选择了第2模式或第3模式的情况下，能够在包的存放完成之前读出数据，因此能够使处理高速化。此外，能够抑制缓冲器的上溢的发生。
此外，例如也可以是，所述多个分割单位是访问单元或NAL单元。
由此，由于以访问单元或NAL单元的单位进行解码，因此能够削减处理的待机时间等，能够使处理高速化。
此外，例如也可以是，在所述排序步骤(S150)中，从所述编码数据取得表示所述选择模式的模式标志，基于所取得的模式标志选择所述选择模式。
由此，通过在发送时预先设定模式标志，在接收侧能够以在发送时设想的模式解码包。
此外，例如也可以是，所述数据解码方法还包括：时刻取得步骤(S142)，取得用于决定所述多个包各自的解码时刻的第1时刻信息；以及时刻计算步骤(S143)，基于所述第1时刻信息，计算第2时刻信息，该第2时刻信息表示构成所述包的多个分割单位各自的解码时刻；在所述排序步骤(S150)中，参照所述第2时刻信息，将所述包按每个所述分割单位存放到第2缓冲器。
由此，基于解码时刻来进行从第1缓冲器的数据读出，因此能够将各分割单位(例如，访问单元)按照解码时刻进行解码。
此外，例如也可以是，将所述多个包分别通过所述多个传送路径中的某一个发送，将所述传送路径内的包以解码顺序发送。
由此，能够将各个编码流单独解码。例如，仅将在第1传送路径中发送的第1编码流进行解码并再现。
此外，例如也可以是，所述包是MPU(MediaProcessingUnit)。
由此，能够进行依据MMT标准的处理。
此外，例如也可以是，所述多个传送路径包括广播和通信。
由此，能够利用广播和通信这两个在物理上不同的媒体来发送编码数据。
此外，本发明的一个技术方案的数据解码装置具备：接收部(110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；缓冲器(120)，存放由所述接收部接收到的多个编码流的多个包；排序部(150)，将存放在所述缓冲器中的多个包以解码顺序排序；以及解码部(170)，将由所述排序部排序后的多个包解码。
由此，与上述的数据解码方法同样，在使用多个传送路径发送了包的情况下也由于将存放在第1缓冲器中的多个包以解码顺序排序并解码，因此能够适当地解码包。例如，通过以解码顺序排序，能够在适当的定时解码包，因此能够抑制缓冲器的上溢或下溢的发生。
此外，本发明的一个技术方案的数据发送方法以下步骤：生成标志的步骤(S220)，该标志表示是否需要对构成编码数据中包含的多个编码流的多个包进行排序；以及使用多个传送路径中的各个传送路径将对应的所述编码流以包单位发送，并且使用所述多个传送路径中的至少一个发送所述标志的步骤(S240)。
由此，在解码侧能够通过判别标志来判定是否需要排序，因此例如在不需要排序的情况下能够减少处理量。
以下，参照附图具体说明实施方式。
另外，以下说明的实施方式都表示总括性的或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是要限定本发明。此外，关于以下的实施方式中的构成要素之中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。
(实施方式1)
[数据解码装置]
首先，使用图1对本实施方式的数据解码装置(系统解码器)的概要进行说明。图1是表示本实施方式的数据解码装置100的结构的框图。
本实施方式的数据解码装置100对包含使用多个传送路径发送的多个编码流的编码数据进行解码。如图1所示，数据解码装置100具备过滤部110、MMT缓冲部120、解码顺序取得部130、时刻取得部140、排序部150、编码数据存储部160以及解码部170。
过滤部110将编码流按每个包接收，对接收到的包进行过滤。具体而言，过滤部110将接收到的包按每个资源进行分配。过滤部110具备接收部111和存放部112。
接收部111将编码数据中包含的、使用多个传送路径中的各个传送路径来发送的多个编码流按每个包接收。也就是说，接收部111从多个传送路径的各个传送路径按每个包接收对应的编码流。编码数据中包含的多个编码流与多个传送路径一对一地对应而经由对应的传送路径按每个包传送。例如，各个编码流是能够独立地解码的流，具体而言是由多个MMT包构成的MMT流。
另外，多个包分别与构成编码数据的1个以上的资源建立对应。例如，多个包分别包含表示对应的资源的包识别符(packet_id)。
另外，资源是包含相同的传送端口特性的数据的数据实体，例如是影像数据、声音数据等中的某一个。具体而言，资源对应于AV数据的编码流。例如，在影像数据被层次编码的情况下，各层次的流分别对应于不同的资源。关于MMT包、MMT流、资源以及包识别符的详细内容，使用图2在后面进行说明。
存放部112将接收到的多个编码流的多个包存放到第1缓冲器120a。另外，第1缓冲器120a的个数是1个以上，1个以上的第1缓冲器120a分别与一个资源建立对应。
存放部112将多个包分别分配给对应的资源，并存放到对应的第1缓冲器120a。例如，存放部112通过从包取得包识别符来分配包。
MMT缓冲部120具备1个以上的第1缓冲器120a。具体而言，1个以上的第1缓冲器120a与1个以上的资源一对一地建立对应。例如，MMT缓冲部120具备与构成编码流的多个资源的数量相同数量的第1缓冲器120a。例如，在编码流包含影像数据和声音数据的情况下，MMT缓冲部120具备包括用于存放影像数据的缓冲器和用于存放声音数据的缓冲器的两个第1缓冲器120a。
第1缓冲器120a是MMT包的输入缓冲器。在第1缓冲器120a内，将MMT包的有效载荷的数据按解码顺序排序。具体而言，将访问单元的数据按解码顺序排序。并且，按照规定的定时，排序后的访问单元的数据以解码顺序存放到对应的第2缓冲器160a。
解码顺序取得部130从多个包分别取得表示该包的解码顺序的信息。例如，解码顺序取得部130通过对包的头信息进行解析，取得有效载荷的解码顺序。具体而言，解码顺序取得部130取得有效载荷中包含的访问单元或将访问单元分割而得到的单位(例如NAL单元)的解码顺序。
时刻取得部140取得用于决定多个包各自的解码时刻(DTS：DecodeTimeStamp)或提示时刻(PTS：PresentationTimeStamp)的第1时刻信息。具体而言，时刻取得部140通过取得并解析MMT流的头部中包含的构成信息(CI：CompositionInformation)，取得第1时刻信息。第1时刻信息例如是包中包含的访问单元的开头的DTS或PTS的绝对值。
排序部150将存放在第1缓冲器120a中的多个包按解码顺序排序。例如，排序部150在第1缓冲器120a的存储区域内将多个包按解码顺序排序。或者，排序部150也可以通过使第1缓冲器120a以解码顺序输出包，来将多个包按解码顺序排序。
此外，例如，排序部150选择与从第1缓冲器120a读出包的定时有关的多个模式中的一个，按照选择的模式即选择模式，从第1缓冲器120a读出包并存放到第2缓冲器160a。具体而言，排序部150从编码数据取得表示选择模式的模式标志，基于取得的模式标志对选择模式进行选择。
另外，多个模式例如包括MPU模式、Fragment模式、MediaUnit模式。关于这些多个模式的详细情况，使用图9在后面进行说明。
此外，排序部150例如基于第1时刻信息计算表示构成包的各个分割单位的解码时刻的第2时刻信息。排序部150参照第2时刻信息，将包按每个分割单位存放到第2缓冲器160a。另外，分割单位例如是访问单元或NAL单元。
编码数据存储部160具备1个以上的第2缓冲器160a。具体而言，1个以上的第2缓冲器160a与1个以上的资源一对一地建立对应。例如，编码数据存储部160具备与构成编码流的多个资源的数量相同数量的第2缓冲器160a。
解码部170将按解码顺序排序后的多个包解码。例如，解码部170将存放在编码数据存储部160中的包解码。具体而言，解码部170基于HEVC等运动图像编码标准，以访问单元或NAL单元单位将包解码。通过解码生成的解码数据(视频数据或声音数据等)例如被输出到显示器、扬声器等。
[MMT流的数据构造]
接下来，使用图2对本实施方式的MMT流的数据构造进行说明。图2是表示本实施方式的MMT流200的数据构造的图。
MMT流200是构成一个MMT封装包的1个以上的流中的一个。MMT封装包相当于一个编码数据。例如，MMT封装包相当于一个广播节目内容。一个MMT封装包被分割为多个MMT流200，经由多个传送路径进行传送。
编码数据例如是基于HEVC等运动图像编码标准进行编码而得到的AV数据。具体而言，编码数据包含影像数据、声音数据、以及这些所附带的元数据、静止图像以及文件等。
编码数据按照作为系统复用标准之一的MP4文件格式被变换为MP4数据。并且，通过将MP4数据打包，生成MMT包。MMT流200通过将多个MMT包进行复用而生成。另外，MP4数据并不一定是完整的形式，只要至少包含MP4的编码数据的存放单位即样本的数据即可。
如图2所示，MMT流200包含多个MMT包210。换言之，MMT流200是多个MMT包210的包序列。
MMT包210是将1个以上的MPU(MediaProcessingUnit)打包而得到的数据。本实施方式中，一个MPU或将MPU分割而得到的单位构成一个MMT包210。另外，MPU是在MMT标准中定义的数据单位，例如是MP4数据。
MMT包210与构成编码数据的1个以上的资源建立对应。资源例如是影像数据、声音数据或元数据等。
如图2所示，MMT包210包含头220和有效载荷230。此外，有效载荷230包含1个以上的访问单元231。
头220是与有效载荷230有关的附属信息。例如，头220包含包识别符221和时刻信息222。
包识别符221是表示构成编码数据的1个以上的资源之中的与该包对应的资源的识别号(packet_id)。具体而言，包识别符221表示与有效载荷230对应的资源。例如，图2中将包识别符221用“ID1”以及“ID2”表示。另外，packet_id是构成MMT封装包的每个资源所固有的识别信息。
时刻信息222是用于决定访问单元231的提示时刻(PTS)或解码时刻(DTS)的时刻信息。例如，时刻信息222是相对于规定时刻的PTS或DTS的相对值。关于使用时刻信息222决定访问单元231的PTS或DTS的具体的方法，在后面进行说明。
有效载荷230包含1个以上的资源之中的对应的资源所包含的1个以上的访问单元231。访问单元231例如包含1个以上的NAL单元。
例如，有效载荷230包含一个GOP(GroupOfPictures)所包含的多个访问单元231。或者，有效载荷230也可以仅包含一个NAL单元或将NAL单元分割而得到的单位。
此外，如图2所示，MMT流200包含对应信息240和时刻偏移信息250，作为服务信息。
对应信息240包含表示例如广播及通信等多个传送路径与多个封装包的对应关系的信息(例如MPT(MMTPackageTable))。此外，对应信息240包含表示影像数据及声音数据等多个资源与识别号(packet_id)的对应关系的信息。
时刻偏移信息250是用于决定访问单元231的PTS或DTS的时刻信息。例如，时刻偏移信息250表示规定的访问单元的绝对的PTS或DTS。
[MPU的数据构造]
接下来，对本实施方式的MPU进行说明。图3是表示本实施方式的MPU的数据构造的图。另外，如上所述，本实施方式中一个MPU构成一个MMT包。
如图3所示，MPU300由多个框构成。具体而言，MPU300包含ftyp/styp框310、mmpu框320以及N(N为1以上的整数)个框组330。N个框组330分别包含moof框331以及mdat框332。
ftyp/styp框310例如包含表示MPU300的文件类型的信息。
mmpu框320包含MPU300的序列号以及packet_id等。
moof框331包含MP4的头信息。例如，moof框331包含mdat框332中包含的样本等的提示时刻或解码时刻等时刻信息。moof框331包括未图示的traf框以及tfdt框等。
mdat框332包含影像以及声音等内容数据。例如，mdat框332包含样本或子样本，具体而言包含访问单元或NAL单元等。
[MMT包的数据流]
接下来，使用图4说明使用多个传送路径传送一个MMT封装包的情况下的MMT包的数据流。图4是表示本实施方式的MMT包的数据的流向的一例的图。
多个传送路径是物理上相互不同的传送路径。具体而言，多个传送路径是数据解码装置100所具备的接口，例如与相互不同的连接器或连接口等接口连接。多个传送路径例如包括广播和通信。广播包括地面波广播、卫星广播以及CATV等。通信包括互联网等无线通信、以及光纤通信等有线通信。
例如，本实施方式中，将一个电视节目内容使用地面波广播和互联网通信这两个传送路径来传送。例如，将60fps的基本层的数据经由地面波广播传送，将60fps的扩展层的数据经由互联网通信传送。
此时，在接收侧，在接受到仅地面波广播的数据的情况下，能够以60fps的帧速率再现电视节目内容。此外，在接受到地面波广播和互联网通信双方的数据的情况下，能够以120fps的帧速率再现、即能够再现更高精细的电视节目内容。
例如，图4所示的例中，第s个传送路径是广播，第t个传送路径是通信。图4表示第s个MMT流的第i个MMT包(MMTs(i))到达的情况下的数据流。
过滤部110基于packet_id将MMT流按每个MMT包进行过滤。具体而言，在接收部111接收到MMT包时，过滤部110从该MMT包的头取得packet_id。并且，存放部112基于取得的packet_id，向对应的资源分配MMT包。例如，在接收到的MMT包的packet_id为“m”的情况下，存放部112在MMTBm121中存放MMT包。
另外，图4中，MMTBm121是与packet_id为“m”的资源对应的第1缓冲器。此外，MMTBn122是与packet_id为“n”的资源对应的第1缓冲器。MMTBm121和MMTBn122分别是MMT有效载荷数据的存放用的缓冲器，是图1所示的MMT缓冲部120所具备的1个以上的第1缓冲器120a(MMTB)的一例。
在此，“m”、“n”以及“k”分别表示第m个、第n个以及第k个资源。具体而言，“m”表示影像数据，“n”表示声音数据，“k”表示元数据等其他数据。其他数据例如还包含构成信息等。
存放在MMTBm121或MMTBn122中的多个MMT包按解码顺序被排序并输出至图片缓冲器161或音频缓冲器162。图片缓冲器161以及音频缓冲器162分别是图1所示的第2缓冲器160a的一例。
图片缓冲器161是视频流的存放用缓冲器(EB：ElementarystreamBuffer)。例如，图片缓冲器161是MPEG-4AVC或HEVC中的CPB(CodedPictureBuffer)。或者，图片缓冲器161是MPEG-2Video中的VBV(VideoBufferVerifier)缓冲器。
音频缓冲器162是音频流的存放用缓冲器。
图片缓冲器161中，构成相同资源的多个访问单元以解码顺序输入并以解码顺序输出。具体而言，图片缓冲器161中，构成相同影像数据的多个访问单元以解码顺序输入并以解码顺序输出。例如，图片缓冲器161基于DTS将所存放的访问单元输出给图像解码部171。图4中表示输出与第m个资源对应的第j个访问单元AUm(j)的例子。关于音频缓冲器162也同样。
图像解码部171将从图片缓冲器161输入的访问单元解码。例如，图像解码部171基于HEVC等运动图像编码标准将访问单元解码，将解码后的视频数据存放到参照缓冲器181。此外，图像解码部171输出基于PTS解码后的视频数据。
在此，参照缓冲器181是影像数据中的参照用图片、即已解码图片的保存用缓冲器。例如，参照缓冲器181是MPEG-4AVC、HEVC中的DPB(DecodedPictureBuffer)。或者，参照缓冲器181是MPEG-2Video中的re-order缓冲器。
声音解码部172将从音频缓冲器162输入的访问单元解码。例如，声音解码部172基于MPEG-2AAC、MPEG-4AAC等声音编码标准将访问单元解码，将解码后的音频数据与视频数据同步地输出。
另外，图像解码部171以及声音解码部172分别包含于图1所示的解码部170。
如以上那样，在输入了第m个资源、具体而言与影像数据对应的MMT包的情况下，该MMT包依次经过MMTBm121、图片缓冲器161、图像解码部171以及参照缓冲器181，作为视频数据而被输出。此外，在输入了第n个资源、具体而言与声音数据对应的MMT包的情况下，该MMT包依次经过MMTBn122、音频缓冲器162以及声音解码部172，作为音频数据而被输出。此外，在输入了第k个资源、具体而言与元数据等对应的MMT包的情况下，对该MMT包实施必要的处理。
[MMT包的过滤以及排序]
接下来，使用图5及图6对本实施方式的MMT包的排序的具体例进行说明。图5是表示本实施方式的多个传送路径中的各个传送路径上传送的MMT流的一例的图。图6是表示本实施方式的将多个MMT包排序的情形的一例的图。
另外，在图5及图6中，“MPUxy”的“x”表示packet_id，“y”表示相同资源中的MPU的序列号。例如，“MPU10”表示packet_id为“1”、序列号为“0”的MPU。序列号的升序相当于解码顺序。
如图5所示，在传送路径#0上传送包含多个资源的MMT包的MMT流。具体而言，在传送路径#0上传送的MMT流包含packet_id为“1”的MMT包(MPU10等)和packet_id为“2”的MMT包(MPU20等)。此外，在传送路径#1上传送的MMT流包含packet_id为“1”的MMT包(MPU12等)。
将构成MMT封装包的多个MMT包在多个传送路径中的某一个上发送。换言之，本实施方式中，将MMT包仅在多个传送路径中的某一个上发送，而不会在两个以上的传送路径上发送。图5所示的例中，例如，将MPU10仅在传送路径#0上发送，而在传送路径#1及其他传送路径上不进行传送。
此外，将传送路径内的包以解码顺序发送。例如，将MMT包在传送路径内按每个packet_id以序列号的升序传送。具体而言，若关注图5所示的packet_id为“1”的MMT，则成为MPU10、MPU11、MPU14、MPU15，以序列号的升序传送。
因此，对于在传送路径上传送的MMT流，能够与在其他传送路径上传送的其他MMT流独立地解码。
过滤部110例如仅对packet_id为“1”的包进行过滤。由此，如图6的(a)所示，在MMTB中只有packet_id为“1”的包以到达的顺序被存放。
在此，如图5所示，将构成相同资源的MMT包、即packet_id相同的MMT包分多个传送路径传送。因而，即使是相同资源的MMT包，向系统解码器的到达顺序也不一定与解码顺序一致。例如，如图6的(a)所示，序列号大的MPU14比序列号小的MPU14先到达。
因此，需要将MMT包重新排序。因此，如图6的(b)所示，排序部150对MMT包进行排序，以使得成为解码顺序即序列号的升序。
另外，实际上存放到MMTB的不是MPU本身，而是从MPU分离的访问单元的数据。
[数据解码装置的动作]
接下来，使用图7对本实施方式的数据解码装置100(系统解码器)的动作的一例进行说明。图7是表示本实施方式的数据解码装置100的动作的一例的流程图。
另外，本实施方式的数据解码装置100中，MMT的基准时钟为NTP(NetworkTimeProtocol)，DTS以及PTS也基于NTP来设定。但是，NTP也可以不是从NTP服务器取得的值，例如可以用广播站独自设定的值代替。
首先，本实施方式的数据解码装置100取得构成信息(S100)。具体而言，数据解码装置100通过取得及解析传送MMT封装包的多个传送路径的构成信息，将从各传送路径的接收所需的信息、以及表示资源与包识别符的对应关系的信息等作为构成信息来取得。例如，在广播的情况下，接收所需的信息为网络ID，在通信的情况下，接收所需的信息为URL(UniformResorceLocator)。
构成信息例如包含于多个MMT流的开头的头等。具体而言，构成信息是图2所示的对应信息240以及时刻偏移信息250等。例如，图1中，时刻取得部140取得构成信息中包含的时刻偏移信息250。接收到构成信息之后，开始接收MMT的资源。
接着，接收部111从多个传送路径的一个接收MMT包(S110)。具体而言，接收部111将在多个传送路径上分别传送的MMT包以到达的顺序取得。
接着，存放部112将接收到的MMT包基于packet_id进行分配并存放到MMTB(S120)。换言之，存放部112通过对MMT包进行过滤，按每个资源进行分配，并存放到与分配的资源对应的MMTB。
接着，解码顺序取得部130通过对MMT包的头信息进行解析，取得访问单元的解码顺序(S130)。具体而言，解码顺序取得部130基于表示向MMT包的头存放的MPU的序列号的参数，决定MPU的解码顺序。或者，解码顺序取得部130也可以取得将访问单元分割而得到的单位(子样本)的解码顺序。
接着，排序部150计算每个访问单元的DTS(S140)。另外，排序部150在将访问单元以子样本单位解码时，计算每个子样本的DTS。关于DTS的计算方法的具体例，使用图8在后面进行说明。
接着，排序部150进行排序以使接收到的MMT包的有效载荷数据成为解码顺序，并以访问单元单位进行分离并存放到第2缓冲器160a(例如图片缓冲器)(S150)。此时，从第1缓冲器120a(MMTB)向第2缓冲器160a的访问单元的读出(抽出)定时由预先定义的多个模式中的一个(选择模式)定义。
接着，解码部170基于DTS将访问单元进行解码(S160)。具体而言，编码数据存储部160基于访问单元的DTS，从第2缓冲器160a抽出对象访问单元向解码部170输出。例如，编码数据存储部160按照由排序部150计算出的访问单元或子样本的解码时刻，将访问单元或子样本从第2缓冲器160a抽出并向解码部170输出。并且，解码部170将所输入的对象访问单元进行解码。
另外，关于是否以子样本单位将访问单元进行解码，既可以由数据解码装置100设定，也可以根据MMT的构成信息或MMT消息中包含的信息来设定。
在没有新的MMT包输入的情况下(S170中是)，数据解码装置100结束解码处理。在包的接收没有结束的情况下(S170中否)，重复从包的接收(S110)起的处理。
[PTS以及DTS的决定方法]
接下来，对决定访问单元的PTS(提示时刻)以及DTS(解码时刻)的方法(图7的S140)的一例进行说明。
第m个MPU(MMT包)中的在显示顺序上为第i个的访问单元的提示时刻即PTSm(i)可用以下的(式1)计算。
(式1)PTSm(i)＝PTSm(0)+deltaPTS(i)
PTSm(0)为第m个MPU的在显示顺序上为开头的访问单元的提示时刻。此外，deltaPTS(i)为PTSm(i)与PTSm(0)的差分值。
此外，第m个MPU(MMT包)中的在解码顺序上为第i个的访问单元的解码时刻即DTSm(i)可用以下的(式2)计算。
(式2)DTSm(i)＝DTSm(0)+deltaDTS(i)
DTSm(0)为第m个MPU的在解码顺序上为开头的访问单元的解码时刻。此外，deltaDTS(i)为DTSm(i)与DTSm(0)的差分值。
另外，开头访问单元的提示时刻PTSm(0)以及解码时刻DTSm(0)是与影像数据以及声音数据等另行取得的构成信息(CI)中包含的第1时刻信息的一例。例如，PTSm(0)以及DTSm(0)相当于图2所示的时刻偏移信息250。此外，deltaPTS(i)以及deltaDTS(i)通过对作为MP4的头信息的moof框中包含的traf框进行解析来取得。例如，deltaPTS(i)以及deltaDTS(i)相当于图2所示的时刻信息222。
以下，PTS的决定方法与DTS的决定方法大致相同，因此使用图8主要对DTS的决定方法进行说明。图8是表示本实施方式的数据解码装置中的DTS的决定方法的一例的流程图。
为了使用(式2)进行计算，如图8所示，排序部150取得MPU内的在解码顺序上为开头的访问单元的DTS(S141)。例如，排序部150通过取得由时刻取得部140从构成信息提取的第1时刻信息，取得DTSm(0)。
接着，排序部150从对象访问单元的头取得差分信息(deltaDTS(i))(S142)。例如，排序部150对MP4的头信息即moof框内的traf框进行解析而取得差分信息。另外，在MPU不包含moof框的情况下，也可以基于MMT包或MMT有效载荷的头信息、通过MMT消息发送的时刻信息等，决定每个访问单元的DTS或PTS。
接着，排序部150计算对象访问单元的DTS(S143)。具体而言，排序部150通过将取得的DTSm(0)与deltaDTS(i)相加，如(式2)所示计算DTSm(i)。
在对全部的访问单元完成了DTS的计算的情况下(S144中是)，结束DTS的计算处理，进行访问单元向第2缓冲器160a的存放处理(S150)。在没有完成全部的DTS的计算的情况下(S144中否)，从差分信息的取得处理(S142)开始重复。
另外，在将MMT有效载荷通过RTP(Real-timeTransportProtocol)等传送的情况下，也可以在RTP包的头中传递(signaling)每个访问单元的PTS以及DTS。在MMT包中，也能够取得与RTP同样的包构造，因此也能够作为MMT包的头或MMT有效载荷的头信息来传递。同样，在将MMT有效载荷通过MPEG-2TS传送的情况下，也可以在PES(PacketizedElementaryStream)包的头中传递每个访问单元的PTS以及DTS。由此，排序部150通过对RTP包的头或PES包的头进行解析，能够取得每个访问单元的PTS以及DTS。
此外，如果MPU的在显示顺序上为开头的访问单元的PTS是已知的，则也可以对MPU的头信息moof框内的traf框进行解析而取得该访问单元的PTS与DTS的差分之后，基于PTSm(0)进行计算。
此外，第2个以后的MPU的开头访问单元的DTS或PTS有时不包含于构成信息等。在该情况下，排序部150也可以基于表示构成MPU的多个分割单位的开头样本的DTS(或PTS)与开头MPU的开头样本的DTS(或PTS)之间的差分时间的绝对值的信息，计算各分割单位的开头访问单元的DTS(或PTS)。若计算出DTS，则能够通过对分割单位内的信息进行解析来取得PTS。
另外，在此，分割单位例如是作为MP4中的片断(Fragment)单位的TrackFragment。此外，作为表示差分时间的绝对值的信息，通过tfdt框表示相同资源的开头MPU的开头样本的DTS与存放tfdt框的TrackFragment的开头访问单元的DTS的差分时间的绝对值。
[排序部的动作模式]
接下来，使用图9对本实施方式的排序部150的动作模式进行说明。具体而言，对与从MMT缓冲部120的第1缓冲器120a读出数据的定时有关的模式进行说明。图9是表示本实施方式的排序部150的动作模式的一例的图。
本实施方式的排序部150能够按照三个动作模式中的某一个执行处理。
第1模式是在包被存放到第1缓冲器120a中之后能够从第1缓冲器120a读出包的模式。具体而言，第1模式是MPU模式。
如图9所示，排序部150在按照MPU模式的情况下，待机直到MPU的全部数据齐全，从MMTB读出对象包。例如，排序部150以访问单元单位从MMTB读出包，将读出的访问单元存放到第2缓冲器160a。
第2模式是在作为构成包的多个分割单位的一个的对象分割单位被存放到第1缓冲器120a中之后能够从第1缓冲器120a读出包的模式。具体而言，第2模式是Fragment模式。
如图9所示，排序部150在按照Fragment模式的情况下，待机直到作为MPU的分割单位的Fragment的全部数据齐全之后，从MMTB读出对象Fragment。排序部150将读出的Fragment存放到第2缓冲器160a。另外，Fragment是MP4中的样本(相当于访问单元)或作为将样本分割而得到的单位的子样本。
第3模式是在包的对象分割单位向第1缓冲器120a的存放完成之前能够从第1缓冲器120a读出对象分割单位的一部分的模式。具体而言，第3模式是MediaUnit模式。
如图9所示，排序部150在按照MediaUnit模式的情况下，不待机到MPU或Fragment的全部数据齐全，而从MMTB读出MPU或Fragment的一部分。排序部150将读出的MPU或Fragment的一部分存放到第2缓冲器160a。
存放在第2缓冲器160a中的数据基于DTS以访问单元单位输出至解码部170。
另外，在上述的各模式中，也可以将MPEG-4AVC或HEVC的NAL单元、或者HEVC的解码单元等作为子样本，在子样本的解码时刻从第2缓冲器160a向解码部170输出。
此时，关于子样本的解码时刻，在固定帧速率的情况下，能够将帧间隔除以访问单元内的子样本(或包含切片数据的子样本)或解码单元的数量来计算。或者，关于子样本的解码时刻，在可变帧速率的情况下，能够基于PictureTimingSEI等附加信息来决定。
在本实施方式中，排序部150能够与MMT的打包的单位相独立地应用上述三个模式。
例如，在打包的单位为访问单元的情况下，能够以子样本单位或规定的位速率连续地进行从MMTB的数据读出(抽出)。进而，在解码部170以子样本单位解码的情况下，也以子样本单位进行从第2缓冲器160a的抽出。
或者，在打包的单位为MPU的情况下，也能够以访问单元单位进行从MMTB的数据抽出。同样，在打包的单位为子样本的情况下，能够以访问单元单位进行从MMTB的数据抽出。在以RTP或TS等协议进行打包的情况也同样。
由此，能够不依赖于打包的单位而减少在解码器侧开始解码前的缓冲时间。此外，在以子样本单位解码时，通过使用Fragment模式或MediaUnit模式，能够减少接收到的数据的缓冲时间。像这样，通过利用Fragment模式或MediaUnit模式，能够以低延迟进行处理。即，能够使解码处理高速化。
另外，本实施方式中，在将相同资源的数据用单一的传送路径传送时，MMT包的接收顺序(到达顺序或存放顺序)与解码顺序相同。因此，排序部150也可以不进行MMT包的排序。例如，也可以在发送侧将表示是否需要排序的标志包含于构成信息或MMT消息等中来发送。由此，排序部150在不需要排序的情况下，动作为不进行排序。
例如，在将相同资源的数据用单一的广播通道传送的情况下，排序部150也可以不进行MMT包的排序。但是，即使在作为传送路径而仅使用广播的情况下，在用多个广播通道传送相同资源的数据时，排序部150将MMT包按解码顺序排序。
另一方面，即使在将相同资源的数据用单一的传送路径传送的情况下，在IP网络等通信路径中有时MMT包的接收顺序与解码顺序不相同。在该情况下，排序部150将MMT包按解码顺序排序。
另外，在本实施方式中，排序部150为了与MPEG-2TS的系统目标解码器取得匹配，也可以仅选择能够进行访问单元单位的处理的Fragment模式或MediaUnit模式。
[缓冲器的抽出率]
接下来，对从第1缓冲器120a的抽出率以及尺寸进行说明。
例如，排序部150能够利用规定从第1缓冲器120a的抽出率的2种模式。
第一个模式是Leak模型模式。Leak模型模式中，从第1缓冲器120a向第2缓冲器160a的数据的抽出率例如是对在存放于MPU的影像或声音的编码方式中规定的配置文件或级别(level)等中的位速率的上限值乘以系数而得到的值。由此，能够确保与MPEG-2TS的系统目标解码器的匹配性。
第二个模式是vbv_delay或HRD(HypotheticalReferenceDecoder)模型模式。在该模式中，在影像数据的情况下，能够以由MPEG-2video中的vbv_delay模型、或MPEG-4AVC或HEVC中的HRD模型规定的速率进行抽出。
另外，排序部150在第2缓冲器160a的缓冲器占有量比规定值高的情况下，例如是100％的情况下，停止抽出。此外，排序部150在第1缓冲器120a的缓冲器占有量比规定值低的情况下，例如是空(0％)的情况下，停止抽出。
关于2种模式之中的所使用的模式以及抽出率，能够通过MMT的消息信息等能够在MMT内容的解码开始前取得的信息表示。或者，在用TS传送MMT包时，能够通过MPEG-2系统的描述符表示。
[缓冲器的尺寸]
接着，对第1缓冲器120a的尺寸进行说明。
第1缓冲器120a的尺寸例如是对在存放于MPU的影像数据或声音数据的编码方式中规定的配置文件或级别等中的编码图片缓冲器的尺寸的上限值乘以系数而得到的值。系数可基于MPU的头信息(moof框)相对于MPU中的访问单元尺寸的总和的比率等来决定。另外，与声音数据对应的第1缓冲器120a的尺寸还能够根据通道数等而另行定义。
第1缓冲器120a的尺寸能够用MMT的消息信息等能够在MMT内容的解码开始前取得的信息表示。或者，在用TS传送MMT包时，能够通过MPEG-2系统的描述符表示。
此外，关于第1缓冲器120a的尺寸，可以在上述三个动作模式(MPU模式、Fragment模式、MediaUnit模式)中分别设定不同的缓冲器尺寸。或者，关于第1缓冲器120a的尺寸，也可以根据解码的处理单位为访问单元单位还是子样本单位来设定不同的缓冲器尺寸。例如，能够使第1缓冲器120a的尺寸在子样本单位的解码时比访问单元单位的解码时小。
另外，也可以在第1缓冲器120a与第2缓冲器160a之间设置第3缓冲器。第3缓冲器例如是MB(MultiplexingBuffer)。在该情况下，排序部150对从第3缓冲器向第2缓冲器160a的数据的抽出进行控制。由此，能够确保与MPEG-2TS的系统目标解码器的匹配。
[数据发送装置的结构]
在此，使用图10对本实施方式的生成编码数据并发送的数据发送装置进行说明。图10是表示本实施方式的数据发送装置400的结构的框图。
如图10所示，数据发送装置400具备标志生成部410、编码部420、复用部430以及发送部440。
标志生成部410生成表示是否对构成编码数据中包含的多个编码流的多个包进行排序的标志。例如，标志生成部410根据在MMT封装包的资源的传送中使用的传送路径的数量生成标志。具体而言，在将相同资源的数据用单一的传送路径传送时，不需要排序，因此标志生成部410生成表示不需要排序的标志。或者，在将相同资源的数据用多个传送路径传送时，需要排序，因此标志生成部410生成表示需要排序的标志。
此外，标志生成部410也可以生成用于选择数据解码装置100的排序部150的动作模式的模式标志。进而，标志生成部410也可以生成用于决定数据解码装置100所具备的缓冲器的尺寸等的信息。
编码部420基于HEVC等运动图像编码标准对包含影像数据以及声音数据的内容进行编码，从而生成编码数据。
复用部430通过将编码数据按每个包进行复用而生成多个编码流。例如，复用部430按照MP4文件格式将编码数据变换为MP4数据。并且，复用部430通过将MP4数据打包而生成MMT包。进而，复用部430通过将多个MMT包进行复用而生成多个MMT流。
此时，所生成的MMT流的数量依赖于发送部440在发送中使用的传送路径的数量。具体而言，复用部430以与多个传送路径一对一地对应的方式生成编码流。
此外，复用部430将由标志生成部410生成的标志存放到编码流的头等。例如，复用部430在构成信息或MMT消息等中存放标志。
发送部440使用多个传送路径中的各个传送路径将对应的编码流以包单位发送，并且使用多个传送路径中的至少一个发送标志。具体而言，发送部440将由复用部430生成的多个编码流使用多个传送路径发送。具体而言，发送部440使传送路径与编码流一对一地对应并使用多个传送路径的各个传送路径发送编码流。
此时，发送部440也可以将标志等构成信息在MMT流之前另行发送。例如，发送部440使用多个传送路径中的至少一个发送包含标志的构成信息。
另外，在数据解码装置100中选择了MPU模式或Fragment模式的情况下，需要将MPU或Fragment的全部数据进行缓冲。因此，复用部430以使至少MPU或Fragment的尺寸成为缓冲器尺寸以下的方式构建MPU或Fragment的大小。具体而言，复用部430以使MPU的最大尺寸不比第1缓冲器120a(MMTB)的尺寸的总和大的方式构建MPU。
此外，在数据解码装置100中选择了MPU模式的情况下，第1缓冲器120a所需的尺寸比其他模式大，缓冲器管理变得烦杂。因此，复用部430也可以限制复用，以使得不进行多个资源向相同传送路径的复用。也就是说，复用部430也可以将一个资源仅用一个传送路径发送。
此外，在为了削减排序部150中的包的排序所需要的处理而将相同资源的数据使用多个传送路径发送时，也可以将打包的单位仅限定于MPU。即，也可以禁止使用后述的MFU(MovieFragmentUnit)的打包。
例如，也可以通过设置能够将相同资源的数据使用多个传送路径传送的配置文件，在该配置文件中禁止MFU的打包。此时，可以将配置文件的信息在构成信息或MMT消息中传递。或者，也可以使用构成信息或MMT消息将表示打包的单位仅限于MPU的信息按每个传送路径传递。
此外，在将编码数据打包时，复用部430也可以在构成MMT封装包的各资源中使MPU的单位相同。例如，在MMT封装包包含影像的资源和声音的资源的情况下，使MPU的再现时间长相同。具体而言，复用部430决定MPU的单位，以使得在声音的第i个MPU中在显示(再现)顺序上为开头的访问单元的DTS成为在影像的第i个MPU中在显示顺序上为开头的访问单元的DTS的紧前或紧后。
[数据发送装置的动作]
接下来，使用图11对本实施方式的数据发送装置400的动作的一例进行说明。图11是表示本实施方式的数据发送装置400的动作的一例的流程图。
首先，编码部420基于规定的运动图像编码标准对包含影像数据等的内容进行编码(S210)。接着，标志生成部410生成表示是否需要排序的标志(S220)。如上所述，标志生成部410也可以生成模式标志等其他信息。
接着，复用部430通过将标志和编码数据按每个包进行复用，生成多个编码流(S230)。并且，发送部440使用多个传送路径将对应的编码流以包单位发送(S240)。另外，在标志不包含于编码流的情况下，发送部440使用多个传送路径中的至少一个发送标志。
[对起伏较大的传送路径的对应]
接下来，说明在使用端对端(end-to-end)的延迟或抖动等起伏较大的传送路径的情况下的数据发送装置400以及数据解码装置100的处理。
数据发送装置400也可以发送对与传送路径所固有的信息相应的系统解码器的动作进行控制的信息或指示系统解码器的动作的信息。传送路径所固有的信息例如是端对端的延迟或抖动等。
例如，数据解码装置100在不能忽视端对端的延迟或网络的抖动的情况下，也可以另行具备为了补偿这些而需要的缓冲器。
此时，数据发送装置400例如将延迟或抖动的信息作为构成信息等初始化信息进行发送。或者，数据发送装置400也可以将延迟等信息作为MMT消息等能够作为MMT流来传送的辅助信息来发送。在该情况下，数据发送装置400也可以将延迟等信息定期地发送。或者，数据发送装置400也可以决定并发送解码开始时需要的缓冲量。
数据解码装置100能够取得从数据发送装置400发送的延迟、抖动或缓冲量等信息，基于所取得的信息，进行缓冲器尺寸的设定以及解码开始时的缓冲量的决定等。
在作为多个传送路径而利用广播和通信的情况下，广播中的端对端的延迟是一定的，抖动也不存在。
在此，在MMT包的头中包含包的开头1位的送出时刻信息。数据解码装置100在广播中在时刻T1接收包送出时刻S1的包，在通信中在时刻T2接收包送出时刻S1的包。
时刻T1与时刻T2的差分表示通信相对于广播的延迟时间。另外，在通信较早的情况下，该延迟时间为负值。
在延迟时间超过规定的值的情况下，不用等待通信侧的包的到达而仅将通过广播接收到的可解码的数据进行解码。此时，通信侧中延迟时间超过规定的值的包被废弃。
数据发送装置400将表示是否将延迟较大的传送路径的包废弃的信息、或用于判定是否废弃的信息(延迟时间等)包含于初始化信息或MMT消息中而发送。例如，如果将延迟时间设定为0，则通过广播接收到的数据不会受通信中的传送延迟或抖动的影响而解码时刻延迟地进行解码。
另外，关于传送路径的端对端的延迟以及抖动，也可以在数据解码装置100的前级另行设置缓冲器来补偿。
[效果等]
如以上那样，在本实施方式的数据解码方法中，包括：接收步骤，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤，将接收到的多个编码流的多个包存放到第1缓冲器120a；排序步骤，将存放在所述第1缓冲器120a中的多个包按解码顺序排序；以及解码步骤，将按解码顺序排序后的多个包解码。
由此，在使用多个传送路径发送了包的情况下，也由于将存放在第1缓冲器中的多个包按解码顺序排序并解码，因此能够适当地解码包。例如，通过按解码顺序排序，能够以适当的定时解码包，因此能够减少缓冲器的上溢或下溢的发生。
(变形例1)
在上述的实施方式中，对将MMT包以MPU单位打包的情况进行了说明，但在本变形例中，对将MMT包以对MPU进行分割而得到的分割单位打包的情况进行说明。具体而言，本变形例的MMT包以使用MFU将MPU进行片断化后的单位(MPUFragment)被打包。
图12是表示本变形例的MMT流的数据构造的一例的图。
在图12所示的例中，将各MPU片断化为三个MFU。并且，通过将与多个资源对应的多个MFU进行交织，将与不同的资源对应的MFU复用到一个MMT流。例如，如图12所示，在与影像数据对应的MFU11之后配置与声音数据对应的MFU21。
在此，在如上述的实施方式那样以MPU单位打包以及复用的情况下，例如，图5中，在将MPU11(影像数据)接收完之前不能接收MPU20(声音数据)。因此，在MPU20的解码开始之前发生延迟时间。
相对于此，在如本变形例那样以MFU单位打包以及复用的情况下，能够在将MFU11(影像数据)接收完之后接收MFU21(声音数据)。在该情况下，也在MFU21的解码开始之前发生延迟时间，但MFU11的尺寸比MPU11的尺寸小、接收所需要的时间也变短，因此延迟时间也变短。
像这样，通过以Fragment单位将影像数据以及声音数据的样本进行交织，与以MPU单位的交织相比能够使延迟时间变短。特别是在利用图9所示的Fragment模式以及MediaUnit模式的情况下，优选在复用侧即数据发送侧也进行低延迟化。在本变形例中，通过以Fragment单位复用，能够减小发送侧的复用所需要的延迟时间、以及接收侧的解码之前所需要的延迟时间。
例如，如上述的实施方式以及本变形例所示的那样能够将编码数据以MPU单位或MFU单位打包。此时，在将相同资源的数据使用多个传送路径传送的情况下，使每个传送路径的打包的单位相同。这是因为发送侧的打包所需要的延迟时间和接收侧的解码所需要的延迟依赖于打包的单位。
例如，在使用广播和通信这两个传送路径的情况下，在广播侧以样本单位(访问单元单位)打包时，在通信侧也以样本单位打包。另外，在打包的单位比下位的传送层的MTU(MaximumTransmissionUnit)大的情况下，也可以将打包单位分割。也就是说，每个传送路径的打包的单位也可以不同。打包的单位是MPU、样本(访问单元)或子样本(NAL单元)等。
此时，也可以禁止广播侧以MPU单位打包、并且通信侧以样本单位打包等。
另外，在复用中，将MMT流输入到数据解码装置100的情况下，保证能够将访问单元或子样本解码，以使缓冲器(第2缓冲器160a)不发生上溢以及下溢。
另外，在MMT包以MPUFragment单位被打包的情况下，数据解码装置100的解码顺序取得部130使用MMT包的头中表示MPU中的MPUFragment的解码顺序的参数，决定存放于MFU的访问单元或子样本的解码顺序。表示MPUFragment的解码顺序的参数是MFU所属的MovieFragment的索引号、MovieFragment内的样本的索引号或表示样本内的存放位置的偏移信息等。
此外，关于访问单元以及子样本的解码顺序，在使用RTP等协议的情况下也能够从包的头信息等取得。
(变形例2)
在上述的实施方式中，对从第1缓冲器120a向第2缓冲器160a输出数据的例子进行了说明，但在本变形例中，不设置第2缓冲器160a，解码部170将从第1缓冲器120a直接输出的数据解码。
图13是表示本变形例的MMT包的数据的流向的一例的图。
如图13所示，本变形例的数据解码装置500不具备第2缓冲器160a。从MMTBm121输出的访问单元直接由图像解码部171解码。同样，从MMTBn122输出的访问单元直接由声音解码部172解码。
本变形例的数据解码装置500是实施方式1的数据解码装置100的简易版、即简易方式的系统解码器。具体而言，本变形例的数据解码装置500中，仅规定构成MMT封装包的资源间的同步再现所需要的最小的缓冲器尺寸。
具体而言，按照运动图像编码方式中的等级等规定第1缓冲器120a(MMTB)的尺寸。此外，在MPU模式或Fragment模式中，使MPU或Fragment的尺寸分别为缓冲器尺寸以下。
例如，在与作为同步再现的对象的全部的资源(例如，影像以及声音)对应的第1缓冲器120a中存放了规定量以上的数据的时刻，解码部170开始解码。例如，时刻取得部140从声音或影像的编码流或另行传送的辅助信息取得各资源的解码开始时所需要的初始缓冲器占有量。排序部150基于由时刻取得部140取得的初始缓冲器占有量，在与全部的资源对应的第1缓冲器120a中存放了初始缓冲器占有量以上的数据的时刻，从第1缓冲器120a向解码部170抽出数据。并且，解码部170将所输入的数据解码。另外，也可以在某一个资源的缓冲器变满(占有量为100％)的时刻，排序部150从缓冲器向解码部170抽出数据。
另外，本变形例的系统解码器的简易方式能够适用于至少不发生下溢的情况。例如，简易方式能够适用于MMT封装包的传送速率比构成MMT封装包的各资源的位速率的总和充分大的情况。此外，简易方式能够适用于将硬盘或光盘等记录介质中积蓄的MMT封装包以充分大的传送速率连续读出并再现的情况。
或者，在传送路径中的传送速率或抖动的变动较大而难以适用规定传送速率或抖动为一定以下的动作的系统解码器的情况下，也能够适用本变形例的系统解码器的简易方式。
(变形例3)
在上述的实施方式中，对在广播以及通信的任何情况下都以MMT传送MMT包的例子进行了说明，但例如在广播的情况下可以想到使用MPEG-2TS传送MMT包。
在本变形例中，使用图14对通过传输流(TS)传送MMT包的情况进行说明。图14是表示本变形例的MMT包的数据的流向的一例的图。
如图14所示，本变形例的数据解码装置600(系统解码器)与图4所示的数据解码装置100相比新具备过滤部610和输入缓冲器615。
如图14所示，首先，过滤部610基于传输流的包识别符(PID)对传送MMT封装包的TS包进行过滤。具体而言，过滤部610通过对传输流中包含的TS包的头进行解析而取得PID。并且，过滤部610将与表示MMT流的PID对应的TS包存放到输入缓冲器615。此时，输入缓冲器615中存放TS包的有效载荷。
输入缓冲器615从存放的有效载荷分离MMT封装包的数据并向过滤部110输出。过滤部110以后的处理与实施方式1同样，因此省略说明。
另外，本变形例的数据解码装置600中，作为基准时钟能够使用MPEG-2系统的PCR(ProgramClockReference)。在该情况下，取得表示PCR与NTP(MMT中的基准时钟)的对应关系的信息，计算访问单元的DTS等作为PCR基值的时刻信息。
此外，数据解码装置600基于具有PCR_PID的TS包的PCR能够进行再同步。
(变形例4)
此外，在上述的实施方式中，示出了本发明的数据解码方法以及数据发送方法的具体的实施方式，但不限于此。例如，本变形例的数据解码方法也可以包括如图15所示的多个步骤。图15是表示本变形例的数据解码方法的一例的流程图。
具体而言，首先，按每个包接收编码数据中包含的、且使用多个传送路径的各个传送路径发送的多个编码流(S310)。接着，将接收到的多个编码流的多个包存放到第1缓冲器(S320)。接着，将存放在第1缓冲器中的多个包按解码顺序排序(S330)。并且，将按解码顺序排序后的多个包解码(S340)。
此外，例如，本变形例的数据发送方法也可以包括如图16所示的多个步骤。图16是表示本变形例的数据发送方法的一例的流程图。
具体而言，首先，生成表示是否需要对构成编码数据中包含的多个编码流的多个包进行排序的标志(S410)。接着，使用多个传送路径的各个传送路径将对应的编码流以包单位发送，并且使用多个传送路径的至少一个发送标志(S420)。
(实施方式2)
通过将用来实现上述各实施方式所示的数据发送方法(运动图像编码方法(图像编码方法))或数据解码方法(运动图像解码方法(图像解码方法))的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的数据发送方法(运动图像编码方法(图像编码方法))及数据解码方法(运动图像解码方法(图像解码方法))的应用例和使用它的系统。该系统的特征在于，具有由使用数据发送方法(图像编码方法)的数据发送装置(图像编码装置)及使用数据解码方法(图像解码方法)的数据解码装置(图像解码装置)构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
图17是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA(PersonalDigitalAssistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等各设备。
但是，内容供给系统ex100并不限定于图17那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是数字摄像机等能够进行运动图像摄影的设备，照相机ex116是数字照相机等能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(GlobalSystemforMobileCommunications)方式、CDMA(CodeDivisionMultipleAccess)方式、W-CDMA(Wideband-CodeDivisionMultipleAccess)方式、或LTE(LongTermEvolution)方式、HSPA(HighSpeedPacketAccess)的便携电话机、或PHS(PersonalHandyphoneSystem)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到计算机ex111等可读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统ex100的例子，如图18所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图19是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图20中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
在图21中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图19所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图22A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图22B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystalDisplay：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式3)
也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。
图23是表示复用数据的结构的图。如图23所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或装置编码。音频流由杜比AC-3、DolbyDigitalPlus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图24是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图25更详细地表示在PES包序列中怎样保存视频流。图25的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图25的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为VideoPresentationUnit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(PresentationTime-Stamp)及作为图片的解码时刻的DTS(DecodingTime-Stamp)。
图26表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID过滤器的转送开始时刻。在复用数据中，源包如图26下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(ProgramAssociationTable)、PMT(ProgramMapTable)、PCR(ProgramClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(ArrivalTimeClock)与作为PTS及DTS的时间轴的STC(SystemTimeClock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图27是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图28所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图28所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID过滤器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图29所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图30中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
(实施方式4)
在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图31中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AVI/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(FieldProgrammableGateArray)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这样的可编程逻辑器件典型地通过将软件或构成软件的程序加载或从存储器等读入，能够执行上述各实施方式所示的运动图像编码方法或运动图像解码方法。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式5)
在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图32表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图31的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图31的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图34所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图33表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式6)
在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共用的结构。图35A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4-AVC标准的运动图像解码方法在熵编码、逆量化、解块过滤器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4-AVC标准的解码处理部ex902，关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在包的排序方面具有特征，因此例如可以考虑对于包的排序使用专用的解码处理部ex901，对于除此之外的熵解码、解块过滤器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4-AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图35B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
(其他实施方式)
以上，基于实施方式说明了一个或多个方式的数据解码方法、数据解码装置以及数据发送方法，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域技术人员想到的各种变形的形态、以及将不同的实施方式中的构成要素组合而构建的形态也包含在本发明的范围内。
例如，在上述的实施方式中，说明了将包识别符(packet_id)通过MMT包的头进行传递的例子，但不限于此。例如，MMT包的有效载荷也可以使用MPEG2-TS或RTP等协议来传送。在该情况下，对于包识别符，可以在该协议的包头或在该协议中定义MMT存放用的有效载荷格式，通过定义的有效载荷头等另行传递。
此外，在上述的实施方式中，说明了使用多个传送路径传送一个MMT封装包的例子，但也可以使用多个传送路径传送多个MMT封装包。在该情况下，能够使用用于识别封装包的封装包识别符(package_id)对各MMT包进行过滤。
另外，在MMT封装包为一个、并且构成MMT封装包的资源为一个的情况下，也可以不进行过滤。
此外，在上述的实施方式中，第1缓冲器120a以及第2缓冲器160a只要与资源一对一地对应即可，资源的个数可以与第1缓冲器120a以及第2缓冲器160a的各自的个数不同。例如，第1缓冲器120a以及第2缓冲器160a的个数可以比资源的个数少。具体而言，对于不需要第2缓冲器160a的资源，也可以不分配第2缓冲器160a。
此外，在上述的实施方式中，示出了在MMTB(第1缓冲器)内明确地进行重排(排序)的例子，但不限于此。例如，也可以对表示存放于MMTB的有效载荷的数据在解码顺序上为第几个的索引号另行进行管理，基于索引号，将访问单元从MMTB向图片缓冲器等输入。
此外，上述的实施方式中，说明了在将相同资源使用多个传送路径传送的情况下需要排序的例子，但不限于此。例如，在互联网等通信路径中，在将相同资源使用一个传送路径传送时也有向系统解码器的到达顺序不是解码顺序的情况。对于该情况，也能够适用上述实施方式的排序。
此外，也可以将表示所传送的MMT流所依据的系统解码器的模型的识别信息存放在构成信息或MMT消息等辅助信息中。所谓系统解码器的模型，例如有实施方式1所示的基本方式以及实施方式1的变形例2所示的简易方式等。另外，除了构成信息以外，在通过RTP等协议传送MMT封装包时，也还可以将表示模型的识别信息包含于SDP(SessionDescriptionProtocol)等再现辅助信息中。或者，在将MMT封装包通过MPEG-2TS传送时，也可以将表示模型的识别信息存放在由MPEG-2系统规定的描述符中，作为PAT(ProgramAssociationTable)或PMT(ProgramMapTable)等的分段(section)数据的一部分进行传送。
此外，也可以将所传递的MMT封装包依据于系统解码器的动作的再现模式包含于辅助信息中。作为再现模式，有MPU模式、Fragment模式以及MediaUnit模式。
此外，在将MMT封装包下载之后再现的情况等作为预先储存的内容来使用的情况下，即使MMT封装包不依据于系统解码器也能够再现。例如，特别是在PC等的存储器或处理速度有富余的的环境中，即使MMT封装包不依据于系统解码器也能够再现。因此，也可以设置不保证依据于系统解码器的模型的模式，使其包含于辅助信息中。
或者，也可以根据MMT封装包(i)依据于系统解码器的基本方式、(ii)依据于系统解码器的简易方式、(iii)不保证对系统解码器的依据等，来规定MMT的配置文件。并且，也可以将配置文件信息包含于辅助信息中。
此外，在以MPU等单位表示配置文件信息等时，也可以另行定义MP4的品种，并将其包含于fytp/sytp框中。
此外，MMT中，能够将不同的资源的数据进行组合而构成1条流。例如，设为第1资源和第2资源分别由五个MPU构成，两者的MPU的各MPU的解码时刻和与系统解码器关联的参数相互匹配。在此，参数例如是解码开始时刻的缓冲器占有量、编码时的峰值速率等。
此时，只有第1资源的第3个MPU替换为第2资源的第3个MPU，其他利用第1资源的MPU。在该情况下，能够使替换后的流也依据于系统解码器的动作。
此外，也可以将一个MMT包通过多个传送路径发送。也就是说，也可以通过不同的传送路径传送相同资源的相同数据。
在该情况下，使先接收到的数据有效，将后来接收到的数据(冗余数据)废弃。例如，可以预料随着天气恶化导致的广播波的接收状况的恶化，通过通信也发送相同的数据，从通信取得无法从广播取得的数据。此时，将广播侧已接收的数据废弃。
像这样，也可以将用于对传送冗余数据的传送路径进行识别的信息包含于构成信息等辅助信息中发送。在接收侧，判定是否传送着冗余数据，在传送的情况下，判定是否已接收冗余数据。
此外，上述实施方式的系统解码器不限定于MMT。系统解码器能够将相同的封装包(相当于MPEG-2系统中的程序)的数据打包，还应用于能够使用一个以上的传送路径传送的其他格式。此时，打包的最小单位例如是访问单元或将访问单元分割而得到的单位。
另外，构成上述实施方式的数据解码装置100的各构成要素(过滤部110、MMT缓冲部120、解码顺序取得部130、时刻取得部140、排序部150、编码数据存储部160以及解码部170等)既可以通过在具备CPU(CentralProcessingUnit)、RAM、ROM(ReadOnlyMemory)、通信接口、I/O端口、硬盘、显示器等的计算机上执行的程序等软件实现，也可以通过电子电路等硬件实现。
此外，上述的各实施方式能够在权利要求书或其等效的范围中进行各种变更、置换、附加、省略等。
工业实用性
本发明能够作为数据解码方法、数据解码装置或数据发送方法等来利用，例如能够利用于记录器、电视机、平板终端装置、便携式电话等。
附图标记说明
100、500、600数据解码装置
110、610过滤部
111接收部
112存放部
120MMT缓冲部
120a第1缓冲器
121MMTBm
122MMTBn
130解码顺序取得部
140时刻取得部
150排序部
160编码数据存储部
160a第2缓冲器
161图片缓冲器
162音频缓冲器
170解码部
171图像解码部
172声音解码部
181参照缓冲器
200MMT流
210MMT包
220头
221包识别符
222时刻信息
230有效载荷
231访问单元
240对应信息
250时刻偏移信息
300MPU
310ftyp/styp框
320mmpu框
330框组
331moof框
332mdat框
400数据发送装置
410标志生成部
420编码部
430复用部
440发送部
615输入缓冲器
Claims (13)
1.一种数据解码方法，包括：
接收步骤(S110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；
存放步骤(S120)，将接收到的多个编码流的多个包存放到第1缓冲器(120a)；
排序步骤(S150)，将存放在所述第1缓冲器中的多个包按解码顺序排序；以及
解码步骤(S160)，将按解码顺序排序后的多个包解码。
2.如权利要求1所述的数据解码方法，
所述多个包中的各个包对应于构成所述编码数据的1个以上的资源，
1个以上的所述第1缓冲器分别与所述资源建立对应，
在所述存放步骤(S120)中，将所述多个包中的各个包分配给对应的资源，存放到对应的所述第1缓冲器。
3.如权利要求2所述的数据解码方法，
所述多个包中的各个包包含表示对应的资源的包识别符(packet_id)，
在所述存放步骤(S120)中，通过从所述包取得所述包识别符来分配所述包。
4.如权利要求1～3中任一项所述的数据解码方法，
在所述排序步骤(S150)中，还选择与从所述第1缓冲器读出所述包的定时有关的多个模式中的一个，按照选择的模式即选择模式，从所述第1缓冲器读出所述包并存放到第2缓冲器，
在所述解码步骤(S160)中，将存放在所述第2缓冲器中的包解码。
5.如权利要求4所述的数据解码方法，
所述多个模式包括：
第1模式(MPUmode)，在所述包被存放到所述第1缓冲器之后，能够从所述第1缓冲器读出所述包；
第2模式(Fragmentmode)，在作为构成所述包的多个分割单位中的一个的对象分割单位被存放到所述第1缓冲器之后，能够从所述第1缓冲器读出所述对象分割单位；以及
第3模式(Mediaunitmode)，在所述包向所述对象分割单位的所述第1缓冲器的存放完成之前，能够从所述第1缓冲器读出所述对象分割单位的一部分。
6.如权利要求5所述的数据解码方法，
所述多个分割单位是访问单元或NAL单元。
7.如权利要求4～6中任一项所述的数据解码方法，
在所述排序步骤(S150)中，从所述编码数据取得表示所述选择模式的模式标志，基于所取得的模式标志选择所述选择模式。
8.如权利要求1～3中任一项所述的数据解码方法，
所述数据解码方法还包括：
时刻取得步骤(S142)，取得第1时刻信息，该第1时刻信息用于决定所述多个包中的各个包的解码时刻；以及
时刻计算步骤(S143)，基于所述第1时刻信息，计算第2时刻信息，该第2时刻信息表示构成所述包的多个分割单位中的各个分割单位的解码时刻；
在所述排序步骤(S150)中，参照所述第2时刻信息，将所述包按每个所述分割单位存放到第2缓冲器。
9.如权利要求1～8中任一项所述的数据解码方法，
将所述多个包中的各个包通过所述多个传送路径中的某一个发送，
所述传送路径内的包以解码顺序被发送。
10.如权利要求1～9中任一项所述的数据解码方法，
所述包是MPU即媒体处理单元。
11.如权利要求1～10中任一项所述的数据解码方法，
所述多个传送路径包括广播和通信。
12.一种数据解码装置，具备：
接收部(110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；
缓冲器(120)，存放由所述接收部接收到的多个编码流的多个包；
排序部(150)，将存放在所述缓冲器中的多个包按解码顺序排序；以及
解码部(170)，将由所述排序部排序后的多个包解码。
13.一种数据发送方法，包括以下步骤：
生成标志的步骤(S220)，该标志表示是否对构成编码数据中包含的多个编码流的多个包进行排序；以及
使用多个传送路径中的各个传送路径将对应的所述编码流以包单位发送、并且使用所述多个传送路径中的至少一个发送所述标志的步骤(S240)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477957.XA CN109889888B (zh) | 2013-06-05 | 2014-06-03 | 再现方法、装置及生成方法、装置 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361831173P | 2013-06-05 | 2013-06-05 | |
| US61/831,173 | 2013-06-05 | ||
| JP2014107476 | 2014-05-23 | ||
| JP2014-107476 | 2014-05-23 | ||
| PCT/JP2014/002936 WO2014196189A1 (ja) | 2013-06-05 | 2014-06-03 | データ復号方法、データ復号装置及びデータ送信方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477957.XA Division CN109889888B (zh) | 2013-06-05 | 2014-06-03 | 再现方法、装置及生成方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105075281A true CN105075281A (zh) | 2015-11-18 |
| CN105075281B CN105075281B (zh) | 2019-01-01 |
Family
ID=52007846
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477957.XA Active CN109889888B (zh) | 2013-06-05 | 2014-06-03 | 再现方法、装置及生成方法、装置 |
| CN201480019590.0A Active CN105075281B (zh) | 2013-06-05 | 2014-06-03 | 数据解码方法、数据解码装置及数据发送方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477957.XA Active CN109889888B (zh) | 2013-06-05 | 2014-06-03 | 再现方法、装置及生成方法、装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11070828B2 (zh) |
| EP (2) | EP3007454A4 (zh) |
| JP (4) | JP5788622B2 (zh) |
| CN (2) | CN109889888B (zh) |
| WO (1) | WO2014196189A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113396568A (zh) * | 2019-01-29 | 2021-09-14 | 微软技术许可有限责任公司 | 用于处理编解码器切换的同步抖动缓冲器 |
| WO2021179557A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳创维－Rgb电子有限公司 | 视频流播放方法、系统、终端及存储介质 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3007454A4 (en) * | 2013-06-05 | 2016-06-01 | Panasonic Ip Corp America | DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD |
| JP6445552B2 (ja) | 2013-07-15 | 2018-12-26 | ジーイー ビデオ コンプレッション エルエルシー | 拡張機構を使用している層ｉｄの信号 |
| JP2015226305A (ja) * | 2014-05-30 | 2015-12-14 | 三菱電機株式会社 | 符号化装置 |
| WO2016125654A1 (ja) * | 2015-02-02 | 2016-08-11 | 日立マクセル株式会社 | 放送受信装置、放送受信方法及びコンテンツ出力方法 |
| US10085051B2 (en) * | 2015-02-13 | 2018-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for converting MMTP stream to MPEG-2TS |
| US10631037B2 (en) | 2015-03-02 | 2020-04-21 | Nec Corporation | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein |
| KR101995194B1 (ko) | 2015-03-02 | 2019-07-02 | 닛본 덴끼 가부시끼가이샤 | 디코딩 장치, 수신기기, 송신기기, 송수신 시스템, 디코딩 방법, 및 디코딩 프로그램이 저장된 저장매체 |
| EP3280150A4 (en) * | 2015-03-31 | 2018-02-07 | Panasonic Intellectual Property Corporation of America | Transmission method, reception method, transmission device and reception device |
| JP6585508B2 (ja) * | 2015-04-02 | 2019-10-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 送信方法、受信方法、送信装置及び受信装置 |
| CN113038188B (zh) | 2015-03-31 | 2023-06-06 | 松下电器（美国）知识产权公司 | 发送方法、接收方法、发送装置以及接收装置 |
| CN111769968A (zh) * | 2016-11-04 | 2020-10-13 | 华为技术有限公司 | 一种混合接入网络中处理报文的方法及网络设备 |
| US11190462B2 (en) * | 2017-02-12 | 2021-11-30 | Mellanox Technologies, Ltd. | Direct packet placement |
| US11979340B2 (en) | 2017-02-12 | 2024-05-07 | Mellanox Technologies, Ltd. | Direct data placement |
| WO2018173780A1 (ja) * | 2017-03-24 | 2018-09-27 | ソニー株式会社 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
| US11252464B2 (en) | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
| EP3750020A4 (en) * | 2018-02-05 | 2021-11-10 | D&M Holdings, Inc. | SYSTEM AND METHOD FOR SYNCHRONIZATION OF NETWORKED PLAYBACK DEVICES |
| JP6879344B2 (ja) * | 2019-08-22 | 2021-06-02 | 三菱電機株式会社 | 復号装置 |
| JP2020145682A (ja) * | 2020-04-15 | 2020-09-10 | 松野 桂子 | 信号処理装置 |
| CN111628996A (zh) * | 2020-05-26 | 2020-09-04 | 南通职业大学 | 一种基于物联网的电子数据通信方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458768A (zh) * | 2002-05-15 | 2003-11-26 | 华为技术有限公司 | 通信网络中实现播放提示音和信号音功能的方法 |
| US20050254427A1 (en) * | 2004-05-12 | 2005-11-17 | Nokia Corporation | Buffer level signaling for rate adaptation in multimedia streaming |
| JP2009239444A (ja) * | 2008-03-26 | 2009-10-15 | Mitsubishi Electric Corp | パケット順序制御方法、受信装置、送信装置および通信システム |
| EP2194669A1 (en) * | 2004-10-05 | 2010-06-09 | Qualcom Incorporated | Enhanced block acknowledgement |
| CN102833685A (zh) * | 2005-03-25 | 2012-12-19 | 桥扬科技有限公司 | 用于蜂窝广播和通信系统的方法和设备 |
| CN102983938A (zh) * | 2012-11-13 | 2013-03-20 | 中国人民解放军72671部队 | 基于qr码的无反馈单向数据传输方法及装置 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9008812B2 (en) * | 2008-06-19 | 2015-04-14 | Sirius Xm Radio Inc. | Method and apparatus for using selected content tracks from two or more program channels to automatically generate a blended mix channel for playback to a user upon selection of a corresponding preset button on a user interface |
| JP3888642B2 (ja) * | 2001-10-05 | 2007-03-07 | アルパイン株式会社 | マルチメディア情報提供方法及び装置 |
| JP4876504B2 (ja) * | 2005-09-27 | 2012-02-15 | 株式会社日立製作所 | 再生装置および再生方法 |
| JPWO2007043235A1 (ja) * | 2005-10-07 | 2009-04-16 | パナソニック株式会社 | ストリーム再生制御装置 |
| KR20080108432A (ko) * | 2006-02-27 | 2008-12-15 | 파나소닉 주식회사 | 재생장치, 휴대전화기 및 재생방법 |
| US7992175B2 (en) * | 2006-05-15 | 2011-08-02 | The Directv Group, Inc. | Methods and apparatus to provide content on demand in content broadcast systems |
| CN101674393A (zh) * | 2006-06-16 | 2010-03-17 | 三星电子株式会社 | 一种数字广播接收设备及其方法 |
| JP5025225B2 (ja) * | 2006-10-31 | 2012-09-12 | 株式会社東芝 | 通信装置、通信装置の制御方法および制御プログラム |
| KR101407634B1 (ko) * | 2007-09-20 | 2014-06-13 | 삼성전자주식회사 | 다중 채널의 영상을 동시에 재생하는 장치 및 방법 |
| US8111971B2 (en) * | 2007-12-05 | 2012-02-07 | Cisco Technology, Inc. | Systems and methods of reducing media stream delay through independent decoder clocks |
| US20110023079A1 (en) * | 2008-03-20 | 2011-01-27 | Mark Alan Schultz | System and method for processing priority transport stream data in real time in a multi-channel broadcast multimedia system |
| US8369413B2 (en) * | 2009-04-23 | 2013-02-05 | Mediatek Inc. | Transport stream processing system and related method thereof |
| US8355433B2 (en) * | 2009-08-18 | 2013-01-15 | Netflix, Inc. | Encoding video streams for adaptive video streaming |
| JP5512038B2 (ja) | 2010-04-20 | 2014-06-04 | サムスン エレクトロニクス カンパニー リミテッド | メディアデータを送受信するためのインターフェース装置及び方法 |
| JPWO2012017643A1 (ja) * | 2010-08-06 | 2013-10-03 | パナソニック株式会社 | 符号化方法、表示装置、及び復号方法 |
| JP2012095053A (ja) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム |
| US20130342648A1 (en) * | 2011-03-10 | 2013-12-26 | Electronics And Telecommunications Research Institute | Transmisson apparatus and method and reception apparatus and method for providing program associated stereoscopic broadcasting service |
| KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
| US8996719B2 (en) * | 2011-04-03 | 2015-03-31 | Jeremiah Condon | System and method of adaptive transport of multimedia data |
| JPWO2013011696A1 (ja) * | 2011-07-21 | 2015-02-23 | パナソニック株式会社 | 送信装置、受信再生装置、送信方法及び受信再生方法 |
| KR101946861B1 (ko) * | 2011-09-21 | 2019-02-13 | 삼성전자주식회사 | 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치 |
| KR20130040090A (ko) * | 2011-10-13 | 2013-04-23 | 삼성전자주식회사 | 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법 |
| KR20130040132A (ko) * | 2011-10-13 | 2013-04-23 | 한국전자통신연구원 | 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법 |
| US9319721B2 (en) * | 2011-10-13 | 2016-04-19 | Electronics And Telecommunications Research Institute | Method of configuring and transmitting an MMT transport packet |
| WO2013077670A1 (ko) * | 2011-11-23 | 2013-05-30 | 한국전자통신연구원 | 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치 |
| US9813350B2 (en) * | 2012-01-31 | 2017-11-07 | Sharp Kabushiki Kaisha | Generation device, reproduction device, data structure, generation method, reproduction method, control program, and recording medium |
| US20140079368A1 (en) * | 2012-03-12 | 2014-03-20 | Panasonic Corporation | Display device and transmission device |
| JP6122626B2 (ja) * | 2012-12-06 | 2017-04-26 | 日本放送協会 | 復号装置およびプログラム |
| JP5641090B2 (ja) * | 2013-03-14 | 2014-12-17 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP6237547B2 (ja) * | 2013-03-14 | 2017-11-29 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| EP3007454A4 (en) | 2013-06-05 | 2016-06-01 | Panasonic Ip Corp America | DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD |
-
2014
- 2014-06-03 EP EP14808058.3A patent/EP3007454A4/en not_active Ceased
- 2014-06-03 WO PCT/JP2014/002936 patent/WO2014196189A1/ja active Application Filing
- 2014-06-03 CN CN201811477957.XA patent/CN109889888B/zh active Active
- 2014-06-03 EP EP20153166.2A patent/EP3697100A1/en not_active Ceased
- 2014-06-03 JP JP2015501964A patent/JP5788622B2/ja active Active
- 2014-06-03 CN CN201480019590.0A patent/CN105075281B/zh active Active
-
2015
- 2015-07-28 JP JP2015148193A patent/JP6026599B2/ja active Active
- 2015-11-17 US US14/943,060 patent/US11070828B2/en active Active
-
2016
- 2016-10-12 JP JP2016200548A patent/JP6280182B2/ja active Active
-
2018
- 2018-01-18 JP JP2018006551A patent/JP6431217B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458768A (zh) * | 2002-05-15 | 2003-11-26 | 华为技术有限公司 | 通信网络中实现播放提示音和信号音功能的方法 |
| US20050254427A1 (en) * | 2004-05-12 | 2005-11-17 | Nokia Corporation | Buffer level signaling for rate adaptation in multimedia streaming |
| EP2194669A1 (en) * | 2004-10-05 | 2010-06-09 | Qualcom Incorporated | Enhanced block acknowledgement |
| CN102833685A (zh) * | 2005-03-25 | 2012-12-19 | 桥扬科技有限公司 | 用于蜂窝广播和通信系统的方法和设备 |
| JP2009239444A (ja) * | 2008-03-26 | 2009-10-15 | Mitsubishi Electric Corp | パケット順序制御方法、受信装置、送信装置および通信システム |
| CN102983938A (zh) * | 2012-11-13 | 2013-03-20 | 中国人民解放军72671部队 | 基于qr码的无反馈单向数据传输方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113396568A (zh) * | 2019-01-29 | 2021-09-14 | 微软技术许可有限责任公司 | 用于处理编解码器切换的同步抖动缓冲器 |
| WO2021179557A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳创维－Rgb电子有限公司 | 视频流播放方法、系统、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3007454A4 (en) | 2016-06-01 |
| JP6280182B2 (ja) | 2018-02-14 |
| CN105075281B (zh) | 2019-01-01 |
| JP6431217B2 (ja) | 2018-11-28 |
| EP3007454A1 (en) | 2016-04-13 |
| JPWO2014196189A1 (ja) | 2017-02-23 |
| US20160080755A1 (en) | 2016-03-17 |
| US11070828B2 (en) | 2021-07-20 |
| CN109889888B (zh) | 2022-04-01 |
| JP5788622B2 (ja) | 2015-10-07 |
| JP2018093511A (ja) | 2018-06-14 |
| JP6026599B2 (ja) | 2016-11-16 |
| JP2017069961A (ja) | 2017-04-06 |
| EP3697100A1 (en) | 2020-08-19 |
| CN109889888A (zh) | 2019-06-14 |
| JP2016027705A (ja) | 2016-02-18 |
| WO2014196189A1 (ja) | 2014-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105075281B (zh) | 数据解码方法、数据解码装置及数据发送方法 | |
| CN103650501B (zh) | 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置 | |
| CN103621092B (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码和解码装置 | |
| CN103348680B (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置 | |
| CN102771127B (zh) | 图像编码装置、图像解码装置、图像编码方法及图像解码方法 | |
| CN103843349B (zh) | 用于使用周期性缓冲器描述对视频进行编码和解码的方法和装置 | |
| CN104429080B (zh) | 解码方法及解码装置 | |
| CN103119944A (zh) | 用于使用色彩平面间预测对视频进行编码和解码的方法和装置 | |
| CN104604225A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 | |
| CN103718553A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 | |
| CN103109534A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置 | |
| CN105325010A (zh) | 图像编码方法、图像解码方法、图像编码装置及图像解码装置 | |
| CN103650500B (zh) | 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置 | |
| CN103621088A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置 | |
| CN103636221A (zh) | 图像编码方法、图像解码方法、图像编码装置、图像解码装置以及图像编码解码装置 | |
| CN104429075A (zh) | 图像编码方法、图像解码方法、图像编码装置及图像解码装置 | |
| CN103119943A (zh) | 图像编码方法及图像解码方法 | |
| CN103828371A (zh) | 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置 | |
| CN104509116A (zh) | 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置 | |
| CN105308972A (zh) | 图像编码方法以及图像编码装置 | |
| CN103039076A (zh) | 图像编码方法、图像解码方法、图像编码装置及图像解码装置 | |
| WO2012124347A1 (en) | Methods and apparatuses for encoding and decoding video using reserved nal unit type values of avc standard | |
| CN105284110A (zh) | 图像编码方法及图像编码装置 | |
| CN104769946A (zh) | 图像编码方法、图像解码方法、图像编码装置以及图像解码装置 | |
| CN103688535A (zh) | 图像编码方法、图像解码方法、图像编码装置及图像解码装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160927 Address after: American New York Applicant after: Sun patent hosting Co. Address before: American California Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |