CN110062257A - 发送方法以及接收方法 - Google Patents

发送方法以及接收方法 Download PDF

Info

Publication number
CN110062257A
CN110062257A CN201910226317.XA CN201910226317A CN110062257A CN 110062257 A CN110062257 A CN 110062257A CN 201910226317 A CN201910226317 A CN 201910226317A CN 110062257 A CN110062257 A CN 110062257A
Authority
CN
China
Prior art keywords
time
stratum
access unit
information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910226317.XA
Other languages
English (en)
Other versions
CN110062257B (zh
Inventor
远间正真
井口贺敬
西孝启
加藤久也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Publication of CN110062257A publication Critical patent/CN110062257A/zh
Application granted granted Critical
Publication of CN110062257B publication Critical patent/CN110062257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

将影像进行阶层编码而得的编码数据的发送方法包括：生成步骤，生成包含表示进行编码数据的解码或显示的处理的时刻的时刻信息以及编码数据的编码流；以及发送步骤，发送所生成的编码流；编码数据具有各自由多个访问单元构成的多个集合，时刻信息包括表示进行针对第1集合的第1访问单元进行的处理的、以基准时钟为基准的时刻的第1时刻信息、以及用于确定进行针对第2集合的第2访问单元进行的处理的、以基准时钟为基准的时刻的第2时刻信息。

Description

发送方法以及接收方法
本申请是申请日为2014年6月16日、申请号为201480023859.2、名称为“发送方法以及接收方法”的中国专利申请的分案申请。
技术领域
本申请涉及数据的发送方法以及接收方法。
背景技术
以往，已知以规定的传送格式传送编码数据的技术。编码数据通过基于HEVC(高效率视频编码，High Efficiency Video Coding)等运动图像编码标准对包含影像数据及声音数据的内容进行编码来生成。
在规定的传送格式中，例如有MPEG-2 TS(运动图像专家组-2传送流，MovingPicture Experts Group-2 Transport Stream)或MMT(运动图像专家组媒体传送，MPEGMedia Transport)等(参照非专利文献1)。例如，在非专利文献1中，公开了按照MMT按每个包发送被编码的媒体数据的技术。
为了实现编码数据的解码以及显示中的可适性，探讨了将影像阶层化地编码，但尚未考虑被阶层化的编码数据的发送方法。
现有技术文献
非专利文献
非专利文献1：Information technology-High efficiency coding and mediadelivery in heterogeneous environment-Part1:MPEG media transport(MMT)、ISO/IECDIS 23008-1
发明内容
本申请的一方式所涉及的发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：控制信息生成步骤，生成控制信息，该控制信息包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息；编码流生成步骤，生成包含所述编码数据的编码流；控制信息发送步骤，发送所述控制信息；以及编码流发送步骤，发送所生成的所述编码流，所述编码数据具有分别由多个访问单元构成的多个集合，构成第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，所述第1集合是所述多个集合中的所述基本阶层的所述集合，构成第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述第2集合是所述多个集合中的所述扩展阶层的所述集合，所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。
本申请的一方式所涉及的发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。
另外，这些整体或具体的方式也可以通过数据接收方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以通过数据发送方法、数据接收方法、集成电路、计算机程序以及记录介质的任意组合来实现。
附图说明
图1是表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。
图2是表示图1的各图片的解码时刻(解码时间戳，DTS：Decode Time Stamp)与显示时刻(显示时间戳，PTS：Presentation Time Stamp)的关系的图。
图3是表示基本阶层与扩展阶层中的开头的图片的DTS的差分的图。
图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。
图5是用于说明MMT中的编码流的数据结构的图。
图6是用于说明MMT中的编码流的数据结构的图。
图7是表示实施方式所涉及的发送装置的构成的模块图。
图8是实施方式所涉及的发送方法的流程图。
图9是表示包含基本阶层的编码数据的MP4文件、以及包含扩展阶层的编码数据的MP4文件的图。
图10是表示基本阶层以及扩展阶层的RAU的构成例的图。
图11是表示使用MMT来发送基本阶层与扩展阶层的数据的例子的图。
图12是表示接收装置的构成的一例的模块图。
图13是示出了表示决定扩展阶层所包含的访问单元的DTS的动作的流程的图。
图14是表示通过MMT复用图1中的编码数据的例子的图。
图15是表示在设基本阶层以及扩展阶层的编码数据为一条编码流(包序列)时的发送包序列的一例的图。
图16是表示接收装置的构成的另一例的模块图。
图17是表示接收基本阶层以及扩展阶层的编码数据的接收方法的流程图。
图18是表示接收装置的构成的另一例的模块图。
图19是表示接收方法的流程的图。
具体实施方式
(成为本申请的基础的知识)
编码数据的解码或显示的可适性(可缩放性)能够通过对编码数据的访问单元进行阶层编码来实现。例如，在如果仅解码以多阶层编码而得的多个编码数据之中的低阶层的编码数据则帧率为60fps的情况下，如果解码到高阶层的编码数据则帧率变为120fps等。
在此，考虑独立发送低阶层的编码数据与高阶层的编码数据的情况。接收低阶层的编码数据与高阶层的编码数据的接收装置在希望通过解码两阶层的编码数据来得到例如帧率120fps的影像的情况下，需要在按照解码顺序重排所接收的各阶层的编码数据之后解码。可是，存在如下课题：需要基于访问单元的DTS(Decoding Time Stamp：解码时刻)或PTS(Presentation Time Stamp：显示时刻)等按照解码顺序重排所接收的数据，并且扩展阶层中的访问单元的DTS或PTS无法唯一确定。
在MPEG-4 AVC或HEVC(High Efficiency Video Coding)等编码方式中，通过使用能够从其他图片参照的B图片(双向参照预测图片)，能够实现时间方向的可适性(时间可适性)。
图1为表示为了实现时间可适性而阶层编码的每个阶层中的图片的预测构造的一例的图。
图1中的TemporalId(时间ID)为编码结构的阶层的识别符，TemporalId的数字越大表示越是深的阶层。多个方形的块表示图片，多个块内的Ix表示I图片(帧内预测图片)、Px表示P图片(前方参照预测图片)、Bx或bx表示B图片(双向参照预测图片)。此外，Ix、Px以及Bx中的x表示显示次序。即、x表现显示图片的顺序。
此外，多个图片间的箭头表示参照关系，例如B4的图片表示以I0及B8为参照图像而生成的预测图像。
在此，禁止使用具有大于自身的TemporalId的TemporalId的图片作为参照图像。具体而言，TemporalId为3的B2的图片不能使用TemporalId为4的b1的图片作为参照图像。
如图1所示，通过多个阶层规定编码数据的数据结构，是为了具有时间可适性。例如，在解码图1中TemporalId从0到4的全部图片的情况下，能够得到120fps(帧每秒，frameper second)的影像，在仅解码TemporalId从0到3的阶层的情况下，能够得到60fps的影像。在图1中，TemporalId为0～3表示的阶层为基本阶层，TemporalID为4表示的阶层为扩展阶层。即、在仅解码基本阶层的编码数据的情况下能够得到60fps的影像，如果解码到扩展阶层则能够得到120fps的影像。另外，这只是一例，基本阶层或扩展阶层与TemporalId的关联也可以是其他组合。此外，也可以在基本阶层以及扩展阶层这两种类阶层以外还有阶层。即、阶层也可以为3种以上。
图2为表示图1的各图片的解码时刻(DTS：Decode Time Stamp)与显示时刻(PTS：Presentation Time Stamp)的关系的图。如图2所示，多个图片存在解码顺序与显示顺序不同的情况。该情况下，为了在显示的处理中不产生间隙(gap)，图片I0在图片B4解码完成后显示。具体而言，为了在显示中不产生间隙，在显示顺序中图片I0紧后的图片b1必须解码完，因此通过使图片I0在图片B4的解码完成后显示，能够成为在显示图片I0紧后能够显示图片b1的状态。即、该情况下，作为解码图片I0的时刻与显示图片I0的时刻之间的时间即显示时刻偏移，设定为显示图片I0紧后能够显示图片b1的时间。
在此，考虑以下情况：在能够解码到扩展阶层的编码数据的接收装置中，再现120fps的影像，在根据处理能力等的状况而仅能解码到基本阶层的接收装置中以60fps再现等，根据接收装置的能力切换所解码的阶层。此时，只要基本阶层中的编码数据与扩展阶层中的编码数据以能够识别的方式传送，则接收装置能够通过根据接收装置的能力等对接收数据进行过滤来进行解码。即、在能够解码到扩展阶层的编码数据的接收装置中，能够解码基本阶层的编码数据以及扩展阶层的编码数据双方，在仅能解码到基本阶层的接收装置中，能够通过仅对基本阶层的编码数据进行过滤来进行解码。
此外，阶层化的编码数据通过MPEG-2 TS(Transport Stream)、MMT(MPEG MediaTransport)、MPEG-DASH(HTTP上的动态自适应流，Dynamic Adaptive Streaming overHTTP)、RTP(实时传送协议，Real-time Transport Protocol)等多种多样的复用格式来复用并发送。在此，在MMT或MPEG-DASH中，使用MP4(以MPEG的ISO基本媒体文件格式(ISO BaseMedia File Format)为基础的文件格式)的复用是基础。特别是，在MP4中，DTS或PTS的信息表现为连续的两个访问单元(若为视频则与图片相当)之间的DTS或PTS的差分信息。
图3是表示基本阶层与扩展阶层的开头的图片的DTS的差分的图。具体而言，图3是将按照图2的解码顺序排列的图片划分为属于基本阶层的图片与属于扩展阶层的图片来记述的图。图4是表示基本阶层的编码数据与扩展阶层的编码数据的图。
如图3所示，在基本阶层的开头的图片I0的DTS11与扩展阶层的开头的图片b1的DTS21之间产生差分(以下称为“解码时刻偏移”)。但是，在基于MP4的复用方法中存在以下课题：仅能表示基本阶层或扩展阶层中的相对的时刻信息，而无法表现解码时刻偏移。即、存在以下课题：在解码基本阶层之后无法确定解码扩展阶层的图片的时刻。
因此，若独立地发送基本阶层的编码数据与扩展阶层的编码数据，则接收装置分别接收如图4所示的基本阶层的编码数据与扩展阶层的编码数据。此时，在解码两阶层的编码数据的情况下，需要将两阶层的编码数据按照图3所示的解码顺序重排后输入到解码器(decoder)中。因此，还存在以下课题：发生取得每个访问单元的DTS并基于DTS将访问单元按照解码顺序重排的处理，解码前的处理量增加。
为了解决这样的问题，本申请的一方式所涉及的数据发送方法是一种发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据的发送方法，包括：生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括第1时刻信息和第2时刻信息，所述第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，所述第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。
据此，即使将基本阶层与扩展阶层的编码数据作为不同的数据来发送，也能够确定针对扩展阶层的访问单元进行的处理的时刻。
例如也可以是，所述第1访问单元是在所述第1集合中最先被进行所述处理的访问单元，所述第2访问单元是在所述第2集合中最先被进行所述处理的访问单元。
例如也可以是，所述处理为解码，所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元与以所述第1时刻信息所示的时刻为基准的第1相对时间建立了对应，针对所述第1集合的多个访问单元中的各个访问单元进行的显示的时刻通过以该访问单元的解码的时刻为基准的第2相对时间来确定，所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元与以所述第2时刻信息所示的时刻为基准的第3相对时间建立了对应，针对所述第2集合的多个访问单元中的各个访问单元进行的显示的时刻通过以该访问单元的解码的时刻为基准的第4相对时间来确定。
例如也可以是，所述处理为显示，所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元与以所述第1时刻信息所示的时刻为基准的第5相对时间建立了对应，针对所述第1集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第6相对时间来确定，所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元与以所述第2时刻信息所示的时刻为基准的第7相对时间建立了对应，针对所述第2集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第8相对时间来确定。
例如，所述第2时刻信息也可以是作为与所述第1时刻信息所示的第1绝对时刻的差分值的时刻偏移。
例如也可以是，所述集合是能够随机访问的随机访问单元，所述第1访问单元以及所述第2访问单元是随机访问点。
例如，多个第1集合与多个第2集合也可以分别一对一地建立了对应。
例如，所述第2集合也可以能够通过仅参照与该第2集合一对一地建立了对应的所述第1集合的解码后的数据来解码。
例如，所述第2集合也可以还包括第2头信息，该第2头信息保存有用于识别与该第2集合一对一地建立了对应的所述第1集合的识别信息、以及所述第2时刻信息。
例如，所述第1集合也可以还包括第1头信息，该第1头信息保存有用于识别与该第1集合一对一地建立了对应的所述第2集合的识别信息、以及所述第2时刻信息。
例如，所述编码流也可以还包括将用于识别所述第1集合的第1识别信息与用于识别与该第1集合一对一地建立了对应的所述第2集合的第2识别信息建立了对应而得的对应信息。
例如，所述时刻信息也可以保存在所述编码流的控制信息中。
例如，所述第2时刻信息也可以表示与所述第1时刻信息所示的第1绝对时刻不同的第2绝对时刻。
例如也可以是，在所述生成步骤中，生成包含所述第1集合的第1编码流、以及包含所述第2集合的第2编码流，在所述发送步骤中，利用第1传送路径发送所述第1编码流，利用不同于所述第1传送路径的第2传送路径发送所述第2编码流。
例如也可以是，在所述生成步骤中，按照MPEG2-TS(运动图像专家组-2传送流，Moving Picture Experts Group-2 Transport Stream)生成所述第1编码流以及所述第2编码流中的一方，按照MMT(运动图像专家组媒体传送，MPEG Media Transport)生成所述第1编码流以及所述第2编码流中的另一方。
例如也可以是，所述第1传送路径以及所述第2传送路径中的一方为在广播中使用的传送路径，所述第1传送路径以及所述第2传送路径中的另一方为在通信中使用的传送路径。
另外，这些整体性或者具体性的方式可以通过数据接收方法、集成电路、计算机程序或者可计算机读取的CD-ROM等记录介质来实现，也可以通过数据接收方法、集成电路、计算机程序或者记录介质的任意组合来实现。
以下，参照附图具体说明本申请的一方式所涉及的数据发送方法及接收方法。
另外，以下说明的实施方式均为本申请的一具体例。在以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例，并非意在限定本申请。另外，在以下实施方式的构成要素中，对于表示最上位概念的独立权利要求没有记载的构成要素，作为任意的构成要素进行说明。
(实施方式)
[发送方法]
以下，参照附图说明实施方式所涉及的发送方法(发送装置)。在实施方式中，作为一例说明按照MMT发送编码数据的发送方法。
首先，说明MMT下的编码流的数据结构。图5以及图6为用于说明MMT中的编码流的数据结构的图。
如图5所示，编码数据由多个访问单元(AU：Access Unit)构成。编码数据例如为基于HEVC等运动图像编码标准编码而得的AV数据。具体而言，编码数据包括影像数据、声音数据、以及附随于它们的元数据、静止图像及文件等。在编码数据为影像数据的情况下，1个AU为与1个图片(1帧)相当的单位。
在MMT中，编码数据以GOP(图片组，Group Of Picture)单位按照文件格式被进行MP4数据化(被赋予MP4头)。即、编码数据具有各自由多个访问单元构成的多个集合(GOP)。GOP为编码数据中的随机访问点，按照GOP中的解码顺序处于开头的访问单元与HEVC或AVC的IDR图片或者non-IDR(非IDR)的I图片相当。该多个集合分别属于基本阶层以及扩展阶层中的任一阶层。在此，设属于基本阶层的集合为第1集合，设属于扩展阶层的集合为第2集合。
另外，由于构成第1集合的多个访问单元中的各个访问单元属于基本阶层，因此能够独立地解码，或者能够通过参照基本阶层的其他访问单元的解码后的数据来解码。此外，由于构成第2集合的多个访问单元的各个访问单元属于扩展阶层，因此能够通过参照基本阶层的访问单元的解码后的数据来解码。
在MP4数据所包含的MP4头中，记述有访问单元的显示时刻(上述的PTS)或解码时刻(上述的DTS)的相对值。此外，在MP4头中，记述有MP4数据的序列号。另外，MP4数据(MP4文件)是作为在MMT标准中定义的数据单位的MPU(媒体处理单元，Media Processing Unit)的一例。在MPU中，也可以不发送MP4的头，而仅发送MPU中的样本数据等。该情况下，MPU与随机访问单位相当，构成MPU的样本与MPU一对一地建立了对应。此外，MPU也可以由多个GOP构成。
并且，如图6所示，MMT中的编码流10包括控制信息11、时刻信息12以及多个MMT包13。换言之，编码流10为MMT包13的包序列。
编码流10(MMT流)为构成一个MMT封装的1个以上的流中的一个。MMT封装例如与一个广播节目内容相当。
控制信息11包括表示编码流10是被可适(可缩放)编码的流(包括基本层与扩展层双方的流)的信息、可适编码的种类及阶层等级数量(阶层数量)的信息。在此，可适编码的种类是指时间可适性、空间可适性及SNR可适性等，阶层等级数量是指基本层及扩展层等层的数量。
此外，控制信息11例如包括表示多个资源(asset)与包ID的对应关系的信息等。另外，资源为包括同一传送特性的数据的数据实体，例如为影像数据及声音数据等的任一个。
控制信息11具体而言，为MMT中的CI(构成信息，Composition Information)及MPT(MMT封装表，MMT Package Table)。另外，控制信息11在MPEG2-TS中为PMT(节目映射表，Program Map Table)，在MPEG-DASH中为MPD(媒体演示描述，Media PresentationDescription)等。
时刻信息12为用于决定访问单元的PTS或DTS的信息。时刻信息12具体而言，例如是作为属于基本阶层的MPU中的开头的访问单元的绝对时刻的PTS或DTS。具体而言，在PTS的情况下，能够表示在MPU中按照显示顺序处于开头的访问单元的PTS的绝对值，在DTS的情况下，能够表示在MPU中按照解码顺序处于开头的访问单元的DTS的绝对值。此外，时刻信息12也可以作为节目信息保存在控制信息11中。在作为节目信息保存的情况下，作为一例，能够将节目信息保存在MMT报文(消息)中，将时刻信息12作为节目信息内的记述符来保存。
例如，若假设图3中的基本阶层的多个图片全部构成一个第1集合，则按照第1集合的解码顺序首先解码的第1访问单元即图片I0在DTS11所示的时刻解码。此时，表示进行针对第1集合的第1访问单元进行的解码的、以基准时钟为基准的时刻(DTS11)的第1时刻信息也可以作为编码流10的时刻信息12(第1绝对时刻)被保存。即、第1绝对时刻例如表示DTS11本身。
此外，若假设图3的扩展阶层的多个图片全部构成一个第2集合，则按照第2集合的解码顺序首先解码的第2访问单元即图片b1在DTS21所示的时刻解码。此时，用于确定进行针对第2集合的第2访问单元进行的解码的、以基准时钟为基准的时刻(DTS21)的第2时刻信息如上所述，是作为与由第1时刻信息表示的第1绝对时刻的差分值的解码时刻偏移。第2时刻信息与第1时刻信息同样地，也可以作为编码流10的时刻偏移信息(解码时刻偏移)被保存。即、DTS21能够通过在由第1时刻信息表示的DTS11上加上由第2时刻信息表示的解码时刻偏移来确定。此外，作为第2时刻信息，也可以并非保存与第1时刻信息的时刻偏移信息，而是保存第2集合的访问单元的时刻信息的绝对值本身。
另外，基准时钟在按照MMT方式发送编码流的情况下为NTP(网络时间协议，Network Time Protocol)，在按照MPEG2-TS发送编码流的情况下为PCR(节目时钟参照，Program Clock Reference)。在此，NTP为发送装置所设定的基准时钟即可，也可以不一定与互联网中通常使用的NTP服务器中的NTP值一致。
MMT包13为MP4数据被打包而成的数据。在实施方式中，1个MMT包13中包含1个MP4数据(MPU)。如图6所示，MMT包13包括头13a(MTT包头。在MPEG2-TS的情况下为TS包头)、以及有效载荷13b。
在有效载荷13b中，保存有MP4数据。另外，有时在有效载荷13b中保存有分割MP4而得的数据。
头13a为与有效载荷13b有关的附随信息。例如，在头13a中，包含包ID与时刻信息。这里的时刻信息为MP4数据的显示时刻(PTS)或者解码时刻(DTS)的相对值。
包ID为表示MMT包13(有效载荷13b)所包含的数据的资源的识别号。包ID为按构成MMT封装的每个资源固有的识别号。
这样，编码流包括表示进行编码数据的解码或显示的处理的时刻的时刻信息(DTS或PTS)、以及编码数据(图6中的ID1_#0、ID2_#0、ID1_#1、ID1_#2、ID2_#1、ID2_#2、…)。该时刻信息包括上述的第1时刻信息以及第2时刻信息。
图7为表示实施方式所涉及的发送装置的构成的模块图。图8是实施方式所涉及的发送方法的流程图。
如图7所示，发送装置15具备编码部16以及发送部17。另外，发送装置15的构成要素具体而言通过微型计算机、处理器或者专用电路等来实现。
在实施方式所涉及的编码流10的发送方法中，首先，生成编码流10，该编码流10包括表示进行由多个访问单元构成的集合的解码或显示的时刻的时刻信息、以及构成该集合的多个访问单元(S11：生成步骤)。
生成的编码流10由发送部17使用传送路径传送(S12：发送步骤)。
(实施例1)
接着，具体说明通过基于MP4的复用格式发送扩展阶层的编码数据时的发送方法以及接收方法。
在此，基于MP4的复用格式例如也可以为MMT、DASH、或MP4的文件数据本身。在MMT中，MPU(媒体处理单元，Media Processing Unit)与MP4文件相当，在DASH中，段(segment)与MP4的视频片段(Movie Fragment)相当。
如图3所示，只要是通过多个访问单元的DTS(或PTS)的相对时间(样本间的差分等)表现进行每个样本的解码(显示)的时刻信息、而在集合中的多个访问单元全部中不表示进行该解码(显示)的时刻信息的绝对值的复用格式，则也能够适用于MP4以外的格式。另外，这里所说的样本为在MP4中处理数据的单位，与访问单元相当。
(解码时刻以及显示时刻〕
首先，以MP4文件为例说明扩展阶层中的访问单元的解码时刻(DTS)。图9是表示包含基本阶层的编码数据的MP4文件(MP4b)与包含扩展阶层的编码数据的MP4文件(MP4e)的图。
如图9所示，设为存在包含基本阶层的编码数据的MP4文件(MP4b)、以及包含扩展阶层的编码数据的MP4文件(MP4e)。在此，若设MP4b与MP4e之间的解码时刻偏移为dec_offset，则MP4e中的扩展阶层的每个样本的DTS由下式表示。
sample_e(i)_dec＝sample_e(i)_dec_base+dec_offset (式1)
sample_e(i)_dec：扩展阶层中的第i个样本的DTS
sample_e(i)_dec_base：根据扩展阶层中的第0个到第i个样本的解码时刻的差分总和(MP4的‘stts’中的sample_delta、或者MovieFragment中的sample_duration的总和)算出的样本的修正前DTS(设开头样本的DTS为0时的各样本的DTS)。
在上述(式1)中，解码时刻偏移(dec_offset)为假设按照基本阶层的解码顺序处于开头的样本的DTS为0时的偏移值。
在此，若设基本阶层的开头样本的DTS为delta，则MP4e中的扩展阶层的每个样本的DTS由下式表示。
sample_e(i)_dec＝sample_e(i)_dec_base+dec_offset+delta (式2)
具体而言，在计算图3中的扩展阶层中第3个样本即图片b5的DTS23的情况下，sample_e(i)_dec_base为将相对时间21以及相对时间22相加而得的值，delta为DTS11，据此使用(式2)如下求得。
DTS23＝相对时间21+相对时间22+dec_offset+DTS11 (式3)
此外，MP4b中的基本阶层的每个样本的DTS由下式表示。
sample_b(i)_dec＝sample_b(i)_dec_base+dec_offset (式4)
sample_b(i)_dec：基本阶层中的第i个样本的DTS
sample_b(i)_dec_base：根据基本阶层中的第0个到第i个样本的解码时刻的差分总和(MP4的‘stts’中的sample_delta、或者MovieFragment中的sample_duration的总和)算出的样本的修正前DTS(设开头样本的TS为0时的各样本的DTS)。
在此，若设基本阶层的开头样本的DTS为delta，则MP4b中的基本阶层的每个样本的DTS由下式表示。
sample_b(i)_dec＝sample_b(i)_dec_base+dec_offset+delta (式5)
即、第1集合的第1访问单元以外的多个访问单元中的各个访问单元与以第1时刻信息(例如DTS11)所示的时刻为基准的第1相对时间(相对时间11～18)建立了对应。此外，针对第1集合的多个访问单元中的各个访问单元进行的显示的时刻(PTS11～19)通过以该访问单元的解码的时刻为基准的第2相对时间来确定。即、例如，图3中的进行图片B8的显示的时刻PTS15如下求出：与进行图片B8的解码的时刻DTS13的差分即第2相对时间和图片B8建立了对应，在DTS13上加上与图片B8建立了对应的第2相对时间，由此求出进行图片B8的显示的时刻PTS15。
此外，第2集合的第2访问单元以外的多个访问单元中的各个访问单元与以第2时刻信息(例如DTS21)所示的时刻为基准的第3相对时间(相对时间21～27)建立了对应。此外，针对第2集合的多个访问单元中的各个访问单元进行的显示的时刻(PTS21～28)通过以该访问单元的解码的时刻为基准的第4相对时间来确定。即、例如，图3中的进行图片b11的显示的时刻PTS26如下求出：与进行图片b11的解码的时刻DTS26的差分即第4相对时间和图片b11建立了对应，在DTS26上加上与图片b11建立了对应的第4相对时间，由此求出进行图片b11的显示的时刻PTS26。
(解码时刻偏移的保存)
另外，表示解码时刻偏移的信息(解码时刻偏移信息)的保存目的地可以考虑下面的三种情形。
(1)在包含扩展阶层的轨道的MP4文件中保存解码偏移信息的情形
解码时刻偏移信息至少包括解码时刻偏移、以及基本阶层的轨道的识别信息。基本阶层的轨道的识别信息包括基本阶层的轨道的轨道ID、以及包含基本阶层的轨道在内的MP4文件的识别信息(MP4文件的文件名等)等。即、扩展阶层的第2集合也可以还包括第2头信息，该第2头信息保存着用于识别与该第2集合建立了对应的第1集合的识别信息、以及第2时刻信息。
(2)在包含基本阶层的轨道的MP4文件中保存解码偏移信息的情形
解码时刻偏移信息至少包括解码时刻偏移、以及扩展阶层的轨道的识别信息。即、基本阶层的第1集合也可以还包括第1头信息，该第1头信息保存着用于识别与该第1集合建立了对应的第2集合的识别信息、以及第2时刻信息。
(3)在将包含基本阶层的轨道的MP4文件与包含扩展阶层的轨道的MP4文件建立对应的信息中保存解码偏移信息的情形
解码时刻偏移信息至少包括解码时刻偏移、基本阶层的轨道的识别信息以及扩展阶层的轨道的识别信息。即、编码流也可以还包括将用于识别第1集合的第1识别信息和用于识别与该第1集合一对一地建立了对应的第2集合的第2识别信息建立对应而得的对应信息，第2时刻信息被保存在对应信息中。
另外，在上述的(1)或(2)的情况下，能够定义用于保存解码时刻偏移信息的框(Box)，配置在轨道层(track level)的框的紧下、或者与轨道层相同或上级的层中。此外，也可以不定义新的框，而通过扩展已有的框等来包含解码时刻偏移信息。
此外，也可以使用‘moov’的‘elst’或‘moof’的‘traf’中的无再现区间(emptyduration)的功能来实现解码时刻偏移。该情况下，也需要扩展阶层的轨道与基本阶层的轨道被建立对应。
此外，在上述的(3)情况下，解码时刻偏移信息既可以保存在与基本阶层和扩展阶层不同的相互独立的MP4文件的轨道中，也可以保存在同一MP4文件内的不同轨道中。
在保存在同一MP4文件内的不同轨道中的情况下，解码时刻偏移信息能够保存在‘moov’或‘moof’紧下等、与轨道单位的框相比更上级的框中。此时，作为解码时刻偏移信息无需MP4文件的识别信息。
在MP4中DTS与PTS不同的情况下，在MP4的头信息中，包含其差分信息(第2相对时间或第4相对时间)，而该差分信息适用于反映了解码时刻偏移之后的DTS。
优选的是，在基本阶层与扩展阶层中轨道中的时间尺度的值一致。在时间尺度不同的情况下，在上述(3)的情形中，也可以另行表示解码时刻偏移信息的时间尺度，或者事先规定使用某一方的阶层的轨道中的时间尺度等。
另外，解码时刻偏移仅适用于扩展阶层的DTS。
另外，保存基本阶层或扩展阶层的MP4文件既可以仅由这些各阶层的轨道构成，也可以包含其他轨道。
(实施例2)
在一边接收一边再现MP4的数据(渐进式下载或HTTP流等)的情况下，能够从视频片段的开头等起进行随机访问并进行解码、再现。
将如视频片段那样能够随机访问的单位称为“随机访问单元(RAU：Random AccessUnit)”，将RAU的开头数据称为“随机访问点(RAP：Random Access Point)”。即、将由多个访问单元构成的集合(GOP)称为“随机访问单元”，将第1集合的第1访问单元以及第2集合的第2访问单元称为“随机访问点”。该情况下，在包含扩展阶层的编码数据的RAU(即、第2集合)中，决定该RAU的样本(在MP4的数据单位中与访问单元相当)的DTS时，需要反映解码时刻偏移。
图10是表示基本阶层以及扩展阶层的RAU的构成例的图。图中的RAUb表示基本阶层的RAU(第1集合)，RAUe表示扩展阶层的RAU(第2集合)。
RAUb与RAUe构成为相互成对。即、多个第1集合与多个第2集合分别一对一地建立了对应。构成RAUe的样本参照成对的RAUb所包含的样本，但不参照其外的RAUb所包含的样本。即、第2集合能够通过仅参照与该第2集合一对一地建立了对应的第1集合的解码后的数据来解码。因此，通过取得相互成对的RAUb与RAUe，保证能够解码基本阶层以及扩展阶层这两阶层的RAU所包含的样本。
在此，相互成对的RAU能够通过用于识别RAU的序列号等建立对应。此时，扩展阶层的RAU中按照解码顺序处于开头的样本的解码时刻，能够通过成对的基本阶层的RAU中按照解码顺序处于开头的样本的解码时刻与解码时刻偏移相加来决定。
基本阶层的RAU中按照解码顺序处于开头的样本的DTS为第1绝对时刻。第1绝对时刻例如为由UTC(世界调整时间，Coordinated Universal Time)决定的时刻。第1绝对时刻也可以保存在如MPEG-2 TS中的PMT(Program Map Table)那样的内容的管理信息、或者在接收内容之前取得的内容的管理信息等中。或者，也可以在视频片段的头信息内等中保存表示DTS的绝对值的信息。另外，基本阶层的RAU中的开头样本的解码时刻也可以在接收装置中任意设定。
解码时刻偏移信息仅在随机访问了的最初的RAU中需要，只要在最初的RAU中的按照解码顺序处于开头的样本中反映解码时刻偏移，则该最初的RAU内的后续样本、以及后续于最初的RAU的RAU内的样本的解码时刻能够通过将MP4的头信息所包含的连续的样本间的DTS的差分信息依次相加来决定。
因此，也可以另行保存表示解码时刻偏移信息仅在决定随机访问后的最初的RAU的开头样本的DTS时需要之意的信息。
也可以将表示基本阶层以及扩展阶层的RAU是否成对的信息，表示于包含基本阶层或者扩展阶层的轨道的MP4文件内、或者内容的管理信息中。
另外，基本阶层以及扩展阶层的RAU也可以不一定成对。在不成对的情况下，也可以将表示扩展阶层的RAU内按照解码顺序处于开头的样本的DTS的绝对值的信息，表示于MP4文件的头信息或内容的管理信息等中。另外，即使基本阶层以及扩展阶层的RAU成对，也可以保存表示扩展阶层的RAU的开头样本的DTS的绝对值的信息。即、第2时刻信息也可以表示与由第1时刻信息表示的第1绝对时刻不同的第2绝对时刻。
此外，例如在使用MPEG-2 TS发送基本阶层，通过DASH或MMT等发送扩展阶层的情况下，若不在TS中另行定义RAU的信令方法，则无法进行RAU的成对。在这种情况下，优选的是，能够从内容的管理信息等中取得扩展阶层的解码时刻偏移、或者RAU内的开头样本的DTS的绝对值。
另外，在MPEG-2 TS中，通过保存TS包的头信息或RAU的信令信息的PES包等，也能够表示RAU的边界。进而，在使用RTP等的面向流的格式进行发送的情况下，能够在RTP包的有效载荷头等中，表示RAU的序列号等边界信息。在使用RTP的情况下，能够在SDP(会话描述协议，Session Description Protocol)等用于会话记述的元信息中，记述基本阶层与扩展阶层的会话的识别信息或依存关系。
解码时，基于基本阶层的RAU以及扩展阶层的RAU的彼此的DTS等将基本阶层以及扩展阶层的样本按照解码顺序重排，并输入至解码器。在此，在接收数据中基本阶层以及扩展阶层的编码数据是按照解码顺序的情况下，无需重排。
(实施例3)
图11是表示使用MMT来发送基本阶层与扩展阶层的数据的例子的图。
在图11中，将基本阶层与扩展阶层作为各不相同的资源发送，MPU与随机访问单位相当。在图11中，以MPUb表示基本阶层的MPU，以MPUe表示扩展阶层的MPU。若设基本阶层的MPUb以及扩展阶层的MPUe相互成对，则扩展阶层的MPUe中的开头样本的DTS能够与通过图10说明的MP4数据的RAU同样地决定。
在此，MPU并非与视频片段相当，而是与MP4文件相当，因此解码时刻偏移信息也可以保存于‘moov’紧下、或者作为表示MPU的序列号等MPU的属性信息的框的‘mmpu’紧下等。
此外，关于解码时刻偏移信息中的基本阶层以及扩展阶层的轨道的识别信息，在MPU仅由包含各资源的编码数据的一个轨道构成时，也可以仅是用于识别表示MPU的MP4文件的信息(文件名、资源的ID、MPU的序列号等)。
在使用DASH的情况下，段(准确而言是Media segment(媒体段))与一个以上的视频片段相当，因此能够与上述MP4数据的方法同样地决定解码时刻。
在DASH中，也能够通过TS数据构成段，但在此设为通过MP4(ISO Base Media FileFormat)构成段。
[接收方法]
图12是表示接收装置的构成的一例的模块图。图13是示出了表示决定扩展阶层所包含的访问单元的DTS的动作的流程的图。
说明在解码扩展阶层的访问单元时，决定构成扩展阶层的访问单元的DTS的动作例。
如图12所示，接收装置20具备取得部21、开始判定部22、偏移反映部23以及后续DTS决定部24。另外，接收装置15的构成要素具体而言，通过微型计算机、处理器或者专用电路等来实现。
在此，在接收装置20中，是仅解码基本阶层还是解码基本阶层以及扩展阶层这两个阶层，设为根据预先由用户选择的信息、或者接收装置的解码能力等，在步骤S21之前已决定。
首先，接收装置20的取得部21接收编码流10，解析编码流10的解码时刻偏移信息，从而取得基本阶层的轨道、扩展阶层的轨道、以及解码时刻偏移(S21)。
另外，在解码时刻偏移信息包含于保存扩展阶层的编码数据的文件、或者轨道的情况下，也可以在接着的步骤S22与步骤S23之间进行步骤S21。
此外，在表示扩展阶层的RAU中按照解码顺序处于开头的访问单元的DTS的绝对值的信息被示出的情况下，扩展阶层的访问单元的DTS能够仅从扩展阶层的信息中取得。但是，在决定开始解码的访问单元时，使用在基本阶层开始解码的访问单元的DTS。
接着，接收装置20的开始判定部22判定是否为开始解码的访问单元的处理(S22)。
在通过接收装置20的开始判定部22判定为是开始解码的访问单元的处理的情况下(S22为是)，偏移反映部23决定扩展阶层中最初解码的访问单元，算出反映了解码时刻偏移的DTS(S23)。具体而言，通过基本阶层中最初解码的访问单元的DTS即第1绝对时刻与解码时刻偏移相加来算出扩展阶层中的最初解码的访问单元的DTS。
在此，若设基本阶层中开始解码的访问单元为AU_b，则在扩展阶层中，DTS为Au_b的DTS紧后的访问单元，成为扩展阶层中开始解码的访问单元(AU_e)。
若基本阶层以及扩展阶层的RAU成对，则基本阶层中解码开始的RAU的成对的扩展阶层的RAU成为扩展阶层中开始解码的RAU。在开始解码的RAU中的按照解码顺序处于开头的访问单元为AU_e。与基本阶层成对的扩展阶层的RAU能够通过搜索MPU的序列号与基本阶层的MPU相同的MPU来取得。在此，MPU的序列号能够保存在MMT包的头信息等中。
若基本阶层以及扩展阶层的RAU不成对，则检索DTS为AU_b紧后的扩展阶层的访问单元，并设该访问单元为AU_e。即、基于表示扩展阶层的RAU内按照解码顺序处于开头的样本的DTS的绝对值的信息来决定DTS。
另外，在上述中，与基本阶层以及扩展阶层的RAU成对的情况以及不成对的情况相应地决定DTS，但只要存在表示两阶层是否成对的信息，也可以与该信息相应地切换上述动作。
此外，如(式2)所示，在基本阶层中的文件开头或者RAU开头的访问单元的解码时刻不为0(delta不为0，例如、示出17：00：00开始等的绝对时刻)的情况下，另行加上delta的值来决定DTS。或者，也可以将解码时刻偏移与delta相加而得的值作为解码时刻偏移信息来表示。
在阶层存在3个以上(扩展阶层存在2种以上)的情况下，也可以保存用于相互识别不同的扩展阶层的信息，在再现时选择并决定所解码的扩展阶层。该情况下，解码时刻偏移信息按不同的每个扩展阶层设定。
在通过接收装置20的开始判定部22判定为不是开始解码的访问单元的处理的情况下(S22为否)，接收装置20的后续DTS决定部24将按照解码顺序处于紧前的访问单元的DTS和当前访问单元与紧前的访问单元的DTS的差分(相对时间)相加，来决定当前访问单元的DTS(S24)。
另外，偏移反映部23以及后续DTS决定部24通过未图示的输入取得算出DTS所需的MP4的头信息(‘trak’中的‘stbl’、或者‘traf’中的‘trun’等)。
(扩展阶层中的RAU)
在此，详细说明扩展阶层中的RAP、RAU的定义。
在扩展阶层的解码中，参照基本阶层的解码结果，因此不能单独解码扩展阶层。因此，在单独考虑扩展阶层的情况下，RAP不存在。可是，优选的是，为了在内容内的随机访问时有效地检索与基本阶层的RAP对应的扩展阶层的访问单元，针对扩展阶层也定义RAP、RAU。
扩展阶层的RAU能够如下定义。另外，RAP为在RAU中解码顺序为开头的访问单元。即、扩展阶层的RAUe为与基本阶层的RAUb成对的单位。此外，扩展阶层的RAUe为MP4中的视频片段、MMT中的MPU或者DASH中的段等、在基本阶层中作为RAP使用的单位等。
此外，在扩展阶层的RAU中，该RAU中按照解码顺序处于开头的访问单元也可以并非I图片或者IDR图片等能够单独解码的访问单元(MP4中的同步样本(sync sample))。此外，也可以不设定用于表示是同步样本的信息。
此外，在接收装置的再现时，在接收装置中，在检索与基本阶层中开始解码的访问单元对应的扩展阶层的访问单元时，参照扩展阶层的RAU信息。例如，检索每个RAU的开头访问单元的DTS。
在接收装置中，在检索扩展阶层的RAU时，也可以看作视频片段或MPU与RAU相当地进行动作。也可以将表示扩展阶层中的RAU的单位的信息，保存在扩展阶层的轨道或包含扩展阶层的轨道的MP4文件等中。在检索扩展阶层的RAU时，设为忽略RAU的开头访问单元是否为同步样本。或者，也可以如下动作：针对扩展阶层不保存用于随机访问的信息，在决定基本阶层的随机访问点之后，从具有与成为基本阶层的随机访问点的MPU相同的序列号的扩展阶层的MPU开始解码。
或者，在扩展阶层中，也可以看作扩展阶层中的RAP与同步样本相当。此时，也可以在‘stss’或‘mfra’等、MP4数据中的能够随机访问的访问单元(样本)的表中，表示扩展阶层中的RAP。在接收装置中，能够基于这些表检索RAP。此外，也可以在视频片段中设定表示‘traf’中开头样本是否为同步样本的标志信息，在接收装置中根据是否为同步样本来检索RAP。’
上述内容在MPEG-2 TS中定义RAU的情况下也同样。
(其他)
MP4的数据包含扩展阶层的访问单元这一情况，也可以在MP4内的数据、或者MPEG-2 TS的PMT或内容的管理信息等与MP4数据相比更上级的层中进行信令。作为MP4内的数据，例如可以是MP4文件的品牌(brand)、或者若是MMT的MPU则可以是‘mmpu’等。
在并用广播以及通信的内容分发中，也可以将基本阶层通过广播并将扩展阶层通过通信网络分别发送等。即、在发送方法的生成步骤中，也可以按照MPEG-2 TS生成包含基本阶层(第1集合)的第1编码流，按照MMT生成包含扩展阶层(第2集合)的第2编码流。并且，在发送步骤中，也可以使用在广播中使用的传送路径发送第1编码流，使用在通信中使用的传送路径发送第2编码流。另外，第1编码流以及第2编码流也可以按照与上述相反的方式来生成。此外，该情况下，在发送步骤中使用的传送路径也使用相反的传送路径来发送。
此外，例如在广播中的PMT(Program Map Table)中，也可以保存扩展阶层的编码数据的发送源服务器的URL、访问目的地的文件名、或者访问方法(若是下载则为HTTP GET，若是流则为RTSP(实时流协议，Real Time Streaming Protocol)的指令等)等、取得扩展阶层的编码数据所需的信息。在PMT中，保存表示作为同一内容的构成数据且从不同于广播的传送路径发送的数据的访问目的地或访问方法等的信息的方法，不限于基本阶层以及扩展阶层的例子，能够一般性地广泛适用例如视频数据以及音频数据的组合等。
(以基本阶层以及扩展阶层的编码数据成为解码顺序的方式发送的方法)
在将基本阶层以及扩展阶层的编码数据作为一条编码流发送时，能够以两阶层的编码数据成为解码顺序的方式发送。另外，不仅在发送时，而且在蓄积时等也能够适用。
图14是表示利用MMT复用图1中的编码数据的例子的图。基本阶层保存于资源1，扩展阶层保存于资源2，资源1由MPU_b构成，资源2由MPU_e构成。
在MMT中，各资源的MPU通过MMT包或RTP(Real-time Transport Protocol)包等被打包并发送。此时，保存在包的有效载荷中的基本阶层以及扩展阶层的编码数据以成为解码顺序的方式打包。图14的中央的线表示在打包MPU_b与MPU_e并发送时保存在包的有效载荷中的数据的顺序，与编码数据的解码顺序一致。
这样，在将基本阶层以及扩展阶层的编码数据作为一条编码流发送时，通过使得两阶层的编码数据成为解码顺序，由此在接收装置中，通过从基本阶层的RAP起依次解码，能够取得所对应的扩展阶层的访问单元的数据。因此，无需按照解码顺序重排基本阶层以及扩展阶层的编码数据的动作，能够降低接收装置的处理负担。
在MPEG-4 AVC或HEVC等编码方式中，解码顺序以及显示顺序能够从编码数据中得到，因此在固定帧率的情况下，扩展阶层的访问单元的DTS与PTS能够根据基本阶层的访问单元的DTS、PTS以及帧率决定。该情况下，也可以不对扩展阶层中的解码时刻偏移信息进行信令。
(基本阶层与扩展阶层的编码数据为解码顺序的数据的接收方法)
说明通过在图14中说明的发送方法发送的流的接收方法。
图15是表示设基本阶层以及扩展阶层的编码数据为一条编码流(包序列)时的发送包序列的一例的图。如图15所示，作为发送的编码流(由接收装置接收的编码流)，基本阶层以及扩展阶层的MPU被打包为发送包序列。保存基本阶层的编码数据的包与保存扩展阶层的编码数据的包通过保存在包的头等中的识别信息来区别。作为识别信息，例如若是MMT包则能够使用packet_id、若是TS包则能够使用PID、若是RTP包则能够使用SSID等。在通过MMT包以外的方式打包时，例如也能够将TS包序列定义为MPU，在TS有效载荷中保存MPU等。此外，有效载荷也可以不是MPU，若为TS包，则也可以将对编码数据进行PES打包而得的数据保存在TS有效载荷中。
此外，两阶层不一定必须按照相同的包格式发送，例如也可以将基本阶层打包为TS包、将扩展阶层打包为MMT包等，分别按照不同的格式打包。
此外，在DASH中，也可以区分基本阶层以及扩展阶层的段，两段的访问单元的数据按照解码顺序保存。
阶层数量也可以为3以上(例如，基本阶层与两个扩展阶层)，该情况下，全部阶层的编码数据以成为解码顺序的方式被发送。
图16是表示接收装置的构成的另一例的模块图。图17是表示接收基本阶层以及扩展阶层的编码数据的接收方法的流程图。
如图16所示，接收装置30具备解码开始位置决定部31、解码模式选择部32、数据取得部33以及解码部34。另外，接收装置30的构成要素具体而言，通过微型计算机、处理器或者专用电路等来实现。
首先，接收装置30的解码开始位置决定部31取得保存基本阶层的编码数据的包，并决定在基本阶层中开始解码的访问单元(S31)。此时，基于另行取得的包的识别信息，至少取得基本阶层的包，基于基本阶层的随机访问点来决定开始解码的访问单元。
接着，接收装置30的解码模式选择部32判定是否解码扩展阶层的编码数据(S32)。
在通过解码模式选择部32判定为解码扩展阶层的编码数据的情况下(S32为是)，数据取得部33一起取得保存基本阶层的编码数据的包与保存扩展阶层的编码数据的包(S33：模式2)。在此，例如在基本阶层的包ID为1且扩展阶层的包ID为2的情况下，也可以一起取得包ID为1和2的包。或者，也可以另行设置以下步骤：在分别按每个包ID进行过滤之后，在包ID为2的情况下，看作ID为1，与ID为1的情况同样地处理。即、在该情况下，仅取得ID为1的包。
另外，也可以在MMT中的控制信息(PA表或MP表)、或者MPEG-2TS的PMT等控制信息中，设定解码顺序是否为升序的识别信息。在接收装置30中，也可以解析该识别信息，若为升序则不执行将基本阶层以及扩展阶层的编码数据按照解码顺序重排的处理，若不是升序则进行重排的处理。
在通过解码模式选择部32判定为不解码扩展阶层的编码数据的情况下(S32为否)，数据取得部33仅取得保存基本阶层的编码数据的包(S34：模式1)。
并且，接收装置30的解码部34根据模式1以及模式2，依次解码所取得的访问单元(S35)。另外，在模式2的情况下，基本阶层以及扩展阶层这两阶层的编码数据也按照解码顺序排列，因此无需编码数据的重排。此外，解码后的数据例如若是模式1则为60fps、若是模式2则为120fps的数据等，根据扩展阶层的可适性被显示(再现)。
(变形例1)
另外，说明最简单的接收装置以及接收方法。
图18是表示接收装置的构成的另一例的模块图。图19是表示接收方法的流程的图。
如图18所示，接收装置40具备接收部41以及解码部42。另外，接收装置15的构成要素具体而言，通过微型计算机、处理器或者专用电路等来实现。
首先，接收装置40的接收部41接收包含表示进行编码数据的解码的处理的时刻的时刻信息以及编码数据的编码流(S41)。
接着，接收装置40的解码部42在由时刻信息表示的时刻，进行针对所接收的编码流的编码数据的解码(S42)。
另外，时刻信息也可以为进行显示的处理的时刻。该情况下，未图示的显示部在由时刻信息表示的时刻，进行显示由解码部42解码而得的数据的处理。
(变形例2)
此外，在上述中，以时间方向的可适性为例来说明，但关于空间方向的可适性，在构成同一帧的基本阶层与扩展阶层的DTS不同等情况下，也能够适用同样的方法。
(变形例3)
此外，在上述实施方式中，表示了基本阶层的开头样本的DTS的绝对值，但不限于此，即使通过表示基本阶层中按照显示顺序处于开头的样本的PTS的绝对值，也可以从MP4的头信息中取得PTS与DTS的差分，据此决定DTS的绝对值。此外，DTS以及PTS的差分(即、第2相对时间以及第4相对时间)保存在MP4的头信息中。因此，即便不表示DTS的绝对值，也可以表示PTS的绝对值。
即、该情况下，第1时刻信息为表示进行针对第1集合的第1访问单元进行的显示的、以基准时钟为基准的时刻的信息。此外，第2时刻信息为用于确定进行针对第2集合的第2访问单元进行的显示的、以基准时钟为基准的时刻的信息。此外，第1集合的第1访问单元以外的多个访问单元中的各个访问信息与以由第1时刻信息表示的时刻为基准的第5相对时间建立了对应。针对第1集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第6相对时间来确定。再有，第2集合的第2访问单元以外的多个访问单元中的各个访问单元与以由第2时刻信息表示的时刻为基准的第7相对时间建立了对应。并且，针对第2集合的多个访问单元中的各个访问单元进行的解码的时刻通过以该访问单元的显示的时刻为基准的第8相对时间来确定。
另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过由CPU或者处理器等程序执行部读出并执行硬盘或者半导体存储器等记录介质中记录的软件程序来实现。在此，实现上述各实施方式的发送装置、接收装置等的软件为如下的程序。
即、该程序使计算机执行发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据的发送方法，该发送方法包括：生成步骤，生成包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及发送步骤，发送所生成的所述编码流；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻的第1时刻信息、以及用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻的第2时刻信息。
此外，该程序也可以使计算机执行接收将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据的接收方法，该接收方法包括：接收步骤，接收包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息以及所述编码数据的编码流；以及处理步骤，在由所述时刻信息表示的时刻，进行针对所接收的所述编码流的所述编码数据的所述处理；所述编码数据具有各自由多个访问单元构成的多个集合，构成所述多个集合中的所述基本阶层的所述集合即第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，构成所述多个集合中的所述扩展阶层的所述集合即第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述时刻信息包括表示进行针对所述第1集合的第1访问单元进行的所述处理的时刻的第1时刻信息、以及用于确定进行针对所述第2集合的第2访问单元进行的所述处理的时刻的第2时刻信息。
此外，在上述实施方式中，特定的处理部所执行的处理也可以由其他处理部执行。此外，也可以变更多个处理的顺序，还可以并行地执行多个处理。
另外，本申请的整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现。此外，本申请的整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以上，基于实施方式说明了本申请的一个或多个方式所涉及的发送方法以及接收方法，但本申请并不限于该实施方式。只要不脱离本发明的主旨，将本领域技术人员所想到的各种变形施行于本实施方式而得到的方式、或者组合不同实施方式中的构成要素来构筑的方式，也可以包含于本申请的一个或者多个方式的范围内。
工业实用性
本申请作为能够确定扩展阶层中的访问单元的处理时刻的发送方法、接收方法等是有用的。
标号说明
10 编码流
11 控制信息
12 时刻信息
13 MMT包
13a 头
13b 有效载荷
15 发送装置
16 编码部
17 发送部
20、30、40 接收装置
21 取得部
22 开始判定部
23 偏移反映部
24 后续DTS决定部
31 解码开始位置决定部
32 解码模式选择部
33 数据取得部
34 解码部
41 接收部
42 解码部

Claims (17)

1.一种发送方法，发送将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：
控制信息生成步骤，生成控制信息，该控制信息包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息；
编码流生成步骤，生成包含所述编码数据的编码流；
控制信息发送步骤，发送所述控制信息；以及
编码流发送步骤，发送所生成的所述编码流，
所述编码数据具有分别由多个访问单元构成的多个集合，
构成第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，所述第1集合是所述多个集合中的所述基本阶层的所述集合，
构成第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述第2集合是所述多个集合中的所述扩展阶层的所述集合，
所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的、以基准时钟为基准的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的、以所述基准时钟为基准的时刻。
2.如权利要求1所述的发送方法，
所述第1访问单元是在所述第1集合中最先被进行所述处理的访问单元，
所述第2访问单元是在所述第2集合中最先被进行所述处理的访问单元。
3.如权利要求2所述的发送方法，
所述处理是解码，
所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元，与以所述第1时刻信息所示的时刻为基准的第1相对时间建立了对应，
针对所述第1集合的多个访问单元中的各个访问单元进行的显示的时刻，通过以该访问单元的解码的时刻为基准的第2相对时间来确定，
所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元，与以所述第2时刻信息所示的时刻为基准的第3相对时间建立了对应，
针对所述第2集合的多个访问单元中的各个访问单元进行的显示的时刻，通过以该访问单元的解码的时刻为基准的第4相对时间来确定。
4.如权利要求2所述的发送方法，
所述处理是显示，
所述第1集合的所述第1访问单元以外的多个访问单元中的各个访问单元，与以所述第1时刻信息所示的时刻为基准的第5相对时间建立了对应，
针对所述第1集合的多个访问单元中的各个访问单元进行的解码的时刻，通过以该访问单元的显示的时刻为基准的第6相对时间来确定，
所述第2集合的所述第2访问单元以外的多个访问单元中的各个访问单元，与以所述第2时刻信息所示的时刻为基准的第7相对时间建立了对应，
针对所述第2集合的多个访问单元中的各个访问单元进行的解码的时刻，通过以该访问单元的显示的时刻为基准的第8相对时间来确定。
5.如权利要求1～4中任一项所述的发送方法，
所述第2时刻信息是作为与所述第1时刻信息所示的第1绝对时刻的差分值的时刻偏移。
6.如权利要求1～4中任一项所述的发送方法，
所述集合是能够随机访问的随机访问单元，
所述第1访问单元以及所述第2访问单元是随机访问点。
7.如权利要求6所述的发送方法，
多个所述第1集合与多个所述第2集合分别一对一地建立了对应。
8.如权利要求7所述的发送方法，
所述第2集合能够通过仅参照与该第2集合一对一地建立了对应的所述第1集合的解码后的数据来解码。
9.如权利要求8所述的发送方法，
所述第2集合还包括第2头信息，该第2头信息保存着用于识别与该第2集合一对一地建立了对应的所述第1集合的识别信息、以及所述第2时刻信息。
10.如权利要求8所述的发送方法，
所述第1集合还包括第1头信息，该第1头信息保存着用于识别与该第1集合一对一地建立了对应的所述第2集合的识别信息、以及所述第2时刻信息。
11.如权利要求8所述的发送方法，
所述编码流还包括将用于识别所述第1集合的第1识别信息和用于识别与该第1集合一对一地建立了对应的所述第2集合的第2识别信息建立对应的对应信息，
所述第2时刻信息被保存在所述对应信息中。
12.如权利要求1～4中任一项所述的发送方法，
所述时刻信息保存在所述编码流的控制信息中。
13.如权利要求1或2所述的发送方法，
所述第2时刻信息表示与所述第1时刻信息所示的第1绝对时刻不同的第2绝对时刻。
14.如权利要求1～4中任一项所述的发送方法，
在所述编码流生成步骤中，生成包含所述第1集合的第1编码流、以及包含所述第2集合的第2编码流，
在所述编码流发送步骤中，使用第1传送路径发送所述第1编码流，使用不同于所述第1传送路径的第2传送路径发送所述第2编码流。
15.如权利要求14所述的发送方法，
在所述编码流生成步骤中，
按照MPEG2-TS即运动图像专家组-2传送流生成所述第1编码流及所述第2编码流中的一方，
按照MMT即运动图像专家组媒体传送生成所述第1编码流及所述第2编码流中的另一方。
16.如权利要求14所述的发送方法，
所述第1传送路径及所述第2传送路径中的一方为在广播中使用的传送路径，
所述第1传送路径及所述第2传送路径中的另一方为在通信中使用的传送路径。
17.一种接收方法，接收将影像以基本阶层和扩展阶层进行阶层编码而得的编码数据，包括：
控制信息接收步骤，接收控制信息，该控制信息包含表示进行所述编码数据的解码或显示的处理的时刻的时刻信息；
编码流接收步骤，接收包含所述编码数据的编码流；以及
处理步骤，在所述时刻信息所示的时刻，进行针对所接收的所述编码流的所述编码数据的所述处理；
所述编码数据具有分别由多个访问单元构成的多个集合，
构成第1集合的所述多个访问单元中的各个访问单元能够独立地解码，或者能够通过参照所述基本阶层的其他访问单元的解码后的数据来解码，所述第1集合是所述多个集合中的所述基本阶层的所述集合，
构成第2集合的所述多个访问单元中的各个访问单元能够通过参照所述基本阶层的所述访问单元的解码后的数据来解码，所述第2集合是所述多个集合中的所述扩展阶层的所述集合，
所述时刻信息包括第1时刻信息和第2时刻信息，该第1时刻信息表示进行针对所述第1集合的第1访问单元进行的所述处理的时刻，该第2时刻信息用于确定进行针对所述第2集合的第2访问单元进行的所述处理的时刻。
CN201910226317.XA 2013-06-18 2014-06-16 发送方法以及接收方法 Active CN110062257B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361836291P 2013-06-18 2013-06-18
US61/836,291 2013-06-18
JP2014-116098 2014-06-04
JP2014116098A JP6605789B2 (ja) 2013-06-18 2014-06-04 送信方法、受信方法、送信装置、および、受信装置
CN201480023859.2A CN105165014B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480023859.2A Division CN105165014B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法

Publications (2)

Publication Number Publication Date
CN110062257A true CN110062257A (zh) 2019-07-26
CN110062257B CN110062257B (zh) 2021-09-14

Family

ID=52301498

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910226317.XA Active CN110062257B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法
CN201480023859.2A Active CN105165014B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480023859.2A Active CN105165014B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法

Country Status (5)

Country Link
US (2) US10448033B2 (zh)
EP (3) EP3723380B1 (zh)
JP (5) JP6605789B2 (zh)
CN (2) CN110062257B (zh)
WO (1) WO2014203516A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
KR102423610B1 (ko) 2015-02-27 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3280150A4 (en) * 2015-03-31 2018-02-07 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmission device and reception device
CN113038188B (zh) 2015-03-31 2023-06-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
JP6679314B2 (ja) * 2015-03-31 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、受信装置及び送受信システム
JP6585508B2 (ja) * 2015-04-02 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2016157817A1 (ja) * 2015-03-31 2016-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
US10834444B2 (en) 2015-08-25 2020-11-10 Sony Corporation Transmitting apparatus, transmission method, receiving apparatus, and reception method
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックＩｐマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
WO2017047014A1 (ja) * 2015-09-14 2017-03-23 パナソニックＩｐマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
CN109691120B (zh) * 2016-09-06 2021-10-22 麦克赛尔株式会社 广播接收系统
MX2019008890A (es) * 2017-02-03 2019-09-10 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de reception y metodo de recepcion.
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6415652B1 (ja) * 2017-07-18 2018-10-31 三菱電機株式会社 映像再生装置、映像記録装置および映像記録方法
JP7356786B2 (ja) 2017-09-13 2023-10-05 住友化学株式会社 リチウム二次電池用正極活物質の製造方法
JP7067367B2 (ja) * 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法
US11533474B2 (en) 2019-03-11 2022-12-20 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
EP3941079B1 (en) * 2019-03-11 2024-04-24 Sony Group Corporation Information processing device, regeneration processing device, information processing method, and regeneration processing method
KR102311046B1 (ko) 2019-03-11 2021-10-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 프레임 레이트 스케일러블 비디오 코딩
EP4011079A1 (en) 2019-08-06 2022-06-15 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
US20220070495A1 (en) 2020-09-02 2022-03-03 Lemon Inc. Pictures and layers included in a vvc image item
EP3965424A1 (en) * 2020-09-02 2022-03-09 Lemon Inc. Transition period for image transitions in a media file

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
CN101895748A (zh) * 2010-06-21 2010-11-24 华为终端有限公司 一种编解码方法以及编解码装置
CN102017624A (zh) * 2008-04-25 2011-04-13 弗劳恩霍夫应用研究促进协会 传输数据流中的灵活子流参考
CN102160375A (zh) * 2008-09-16 2011-08-17 汤姆逊许可证公司 使用可扩展视频编码的数字线性tv节目的递送方法
US20120099656A1 (en) * 2010-10-26 2012-04-26 Ohya Yasuo Transmitting system, receiving device, and a video transmission method
CN102860008A (zh) * 2010-01-06 2013-01-02 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
US20130033642A1 (en) * 2011-08-05 2013-02-07 Broadcom Corporation Data transmission across independent streams
CN103004215A (zh) * 2011-05-19 2013-03-27 索尼公司 图像数据传送装置、图像数据传送方法和图像数据接收装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864228B1 (en) * 1996-07-05 2001-04-04 Matsushita Electric Industrial Co., Ltd. Method for display time stamping and synchronization of multiple video object planes
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN1258922C (zh) * 2000-09-22 2006-06-07 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
JP2005527138A (ja) 2002-03-08 2005-09-08 フランス　テレコム 従属データストリームの送信方法
CA2486448C (en) * 2002-06-13 2012-01-24 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
KR101029808B1 (ko) * 2004-01-27 2011-04-20 엘지전자 주식회사 싱크 레이어 패킷의 패킷화 방법
US8358704B2 (en) 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
EP2009828B1 (en) 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system
US7953882B2 (en) * 2007-07-26 2011-05-31 Realnetworks, Inc. Adaptive variable fidelity media distribution system and method
JP5156517B2 (ja) * 2008-07-23 2013-03-06 株式会社ジャパンディスプレイイースト 液晶表示装置
CN102106156B (zh) * 2008-07-26 2013-06-19 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
WO2010032636A1 (ja) * 2008-09-17 2010-03-25 シャープ株式会社 スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP5338394B2 (ja) * 2009-03-10 2013-11-13 日本電気株式会社 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
EP2413513A4 (en) * 2009-03-27 2016-04-06 Fujitsu Ltd METHOD FOR WIRELESS COMMUNICATION, MOBILE STATION, BASE STATION AND WIRELESS COMMUNICATION SYSTEM
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
JP5452428B2 (ja) * 2010-09-07 2014-03-26 日本放送協会 ストリーム分割装置及び受信装置
JP6018799B2 (ja) * 2011-05-20 2016-11-02 日本放送協会 放送通信連携システム
JP2013009332A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
US20150124818A1 (en) * 2011-10-13 2015-05-07 Electronics And Telecommunications Research Institute Method for transmitting media data interlinked with composition information and transmission characteristics information via a heterogeneous ip network
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
KR101620776B1 (ko) * 2012-03-28 2016-05-12 닛폰 호소 교카이 인코딩 장치, 디코딩 장치 및 이와 관련된 프로그램
JP6986671B2 (ja) 2015-10-07 2021-12-22 パナソニックＩｐマネジメント株式会社 受信装置及び受信方法
EP3361741A4 (en) 2015-10-07 2019-01-23 Panasonic Intellectual Property Management Co., Ltd. RECEIVING DEVICE AND RECEIVING METHOD

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US20100266052A1 (en) * 2007-12-10 2010-10-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
CN102017624A (zh) * 2008-04-25 2011-04-13 弗劳恩霍夫应用研究促进协会 传输数据流中的灵活子流参考
CN102160375A (zh) * 2008-09-16 2011-08-17 汤姆逊许可证公司 使用可扩展视频编码的数字线性tv节目的递送方法
CN102860008A (zh) * 2010-01-06 2013-01-02 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
CN101895748A (zh) * 2010-06-21 2010-11-24 华为终端有限公司 一种编解码方法以及编解码装置
US20120099656A1 (en) * 2010-10-26 2012-04-26 Ohya Yasuo Transmitting system, receiving device, and a video transmission method
CN103004215A (zh) * 2011-05-19 2013-03-27 索尼公司 图像数据传送装置、图像数据传送方法和图像数据接收装置
US20130033642A1 (en) * 2011-08-05 2013-02-07 Broadcom Corporation Data transmission across independent streams

Also Published As

Publication number Publication date
EP3013057B1 (en) 2018-10-03
JP2018113715A (ja) 2018-07-19
US11265562B2 (en) 2022-03-01
EP3013057A1 (en) 2016-04-27
CN105165014A (zh) 2015-12-16
EP3445053B1 (en) 2020-04-08
EP3013057A4 (en) 2016-06-08
EP3445053A1 (en) 2019-02-20
EP3723380B1 (en) 2022-08-10
EP3723380A1 (en) 2020-10-14
JP2020031447A (ja) 2020-02-27
CN110062257B (zh) 2021-09-14
WO2014203516A1 (ja) 2014-12-24
JP6605789B2 (ja) 2019-11-13
JP6625684B2 (ja) 2019-12-25
US10448033B2 (en) 2019-10-15
JP2015005977A (ja) 2015-01-08
JP2017175657A (ja) 2017-09-28
US20190394475A1 (en) 2019-12-26
US20160073119A1 (en) 2016-03-10
JP6606125B2 (ja) 2019-11-13
JP6606529B2 (ja) 2019-11-13
JP2017175658A (ja) 2017-09-28
JP6839257B2 (ja) 2021-03-03
CN105165014B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN105165014B (zh) 发送方法以及接收方法
EP3257255B1 (en) Low latency video streaming
KR101620151B1 (ko) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
CN105230006B (zh) 保存方法、再现方法、保存装置及再现装置
AU2011282166B2 (en) Arranging sub-track fragments for streaming video data
US11381867B2 (en) Multiple decoder interface for streamed media data
CN108702527A (zh) 用于使用通用夹层分发格式的媒体传送的系统和方法
CN105144724A (zh) 发送方法
US20150312303A1 (en) Determining whether to use sidx information when streaming media data
CA2786812A1 (en) Method and arrangement for supporting playout of content
OA18391A (en) Low latency video streaming.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant