CN103650523B - 发送装置以及发送装置的控制方法 - Google Patents

发送装置以及发送装置的控制方法 Download PDF

Info

Publication number
CN103650523B
CN103650523B CN201280034339.2A CN201280034339A CN103650523B CN 103650523 B CN103650523 B CN 103650523B CN 201280034339 A CN201280034339 A CN 201280034339A CN 103650523 B CN103650523 B CN 103650523B
Authority
CN
China
Prior art keywords
data
segment data
information
content
index information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280034339.2A
Other languages
English (en)
Other versions
CN103650523A (zh
Inventor
高桥真毅
渡部秀
渡部秀一
德毛靖昭
荻泽义昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201810841327.XA priority Critical patent/CN109194980A/zh
Publication of CN103650523A publication Critical patent/CN103650523A/zh
Application granted granted Critical
Publication of CN103650523B publication Critical patent/CN103650523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

服务器（2）包括：索引信息生成部（24），关于多个分段数据（27），直到预先决定的子分段数据为止进行了编码时，生成用于以该子分段数据切换再现对象的内容的索引信息（28）；以及编码器（23），使客户机（1）取得索引信息生成部（24）生成的索引信息（28）。

Description

发送装置以及发送装置的控制方法
技术领域
本发明涉及在将内容从服务器发送给客户机的系统中，服务器以不同的编码参数进行多个编码，客户机在该内容的接收/再现时，根据通信环境等的条件，从上述编码参数中选择适当的再现对象，并在该内容的再现中，能够根据上述通信环境的变化，适当地切换再现对象的技术。
背景技术
以往，广泛地使用经由通信网络进行内容的提供的技术。例如，在下述的专利文献1中，公开了如下的内容流服务系统：从客户机对服务器以HTTP发送内容的请求，客户机将作为对于该请求的响应而接收到的内容进行流再现。
此外，作为这样的系统的一种，举出当前通过MPEG(Moving Picture ExpertsGroup，运动图像专家组)进行标准化作业的、在非专利文献1中示出的DASH(DynamicAdaptive Streaming over HTTP，基于HTTP的动态自适应流媒体)。在DASH中，将被称为MPD数据(Media Presentation Description，媒体描述文件)的记述信息(元数据)用于流控制。在MPD数据中，记述了内容的属性、构成内容的资源的再现顺序等。客户机在流服务的事前或者服务中途接收MPD数据，并参照该MPD数据，决定对服务器请求的资源。
该MPD数据将对象内容的再现期间分割为多个再现期间，并将进行了分割的再现期间中的信息记述为周期(Period)。此外，记述表示在每个周期再现的资源的信息的表示法(Representation)。在一个周期中能够记述多个表示法。即，客户机在一个再现期间中，将从多个表示法中选择的一个表示法作为再现对象。
由此，例如通过将比特率不同的多个表示法记述在MPD数据中，客户机能够选择与此时的通信状况或本装置的再现能力对应的比特率的表示法，取得并再现由该表示法确定的资源。
使用图17的例说明使用了DASH的流再现动作的细节。图17是表示在使用了DASH的流再现中，动态地进行表示法的切换的例的图，同图的(a)是表示服务器和客户机的处理的一例的定时图，同图的(b)表示客户机使用的MPD数据的一例。
首先，使用同图的(b)，说明MPD数据的细节。MPD数据是由XML记述的元数据。MPD数据将记述有关流发布整体的信息的MPD元素作为根元素，作为MPD元素的属性而记述了流发布方式(type)、流再现开始所需的最小缓冲时间(minBufferTime)、流发布的开始时刻(availabilityStartTime)。此外，MPD元素作为子元素而具有表示前述的周期的周期(Period)元素(在图示的例中为1个)。
周期具有表示前述的表示法的表示法元素(在图示的例中为两个)。在1个周期中包含的多个表示法表示该周期中的再现对象的选项。换言之，在同一个周期中包含的多个表示法表示能够选择其中任一个而进行再现。
此外，各表示法具有与该表示法对应的再现对象的属性。在表示法能够具有的属性中，能够记述编码解码器、比特率、帧率、分辨率等的与该再现对象的编码条件有关的信息(尤其与内容的再现有关的信息)，客户机参考这些属性，选择表示法。
例如，关于某一影像内容，在记述了编码解码器、比特率、帧率、分辨率等不同的多个表示法的情况下，客户机能够选择与本机能够再现的编码解码器、比特率、帧率、分辨率等对应的表示法。
在图示的例中，作为属性而记述了该表示法的识别符(id)、表示数据格式的MIME类型(mimeType)及比特率(在图中，用于对该表示法进行流再现所需的网络带宽：bandwidth)。
此外，在周期中，使用SegmentInfoDefault(分段信息默认)元素以及SegmentInfo(分段信息)元素记述了有关分段数据的信息。另外，分段数据是，由1个URL(UniformResource Locator，统一资源定位符)指定的再现对象内容的构成资源的接入单位。在图示的例中，在SegmentInfoDefault元素中，记述了对在该周期中包含的全部分段数据应用的参数的规定值，且记述了各分段数据的再现期间(duration)。此外，在每个前述的表示法中，记述了SegmentInfo元素，且对作为SegmentInfo元素的子元素的Url元素中记述了各分段数据的URL，客户机通过接入该URL能够取得构成所选择的表示法的分段数据。
在图示的例中，对各表示法的每个记述了多个URL，由各URL取得的分段数据的再现期间应用在前述的SegmentInfoDefault元素中记载的再现期间且为10秒。即，在SegmentInfo元素内记述的第一个URL对应于就在从流再现开始之后的10秒钟(0秒至10秒)的分段数据，第二个URL对应于再现期间为10秒至20秒为止的分段数据，第三个URL对应于再现期间20秒至30秒为止的分段数据。
这里，如图所示，在各表示法的属性中记述了不同的值。即，在第一个表示法中，在MIME类型中记述表示MPEG2-TS(ISO/IEC 13818)的“video/mpeg2ts”，带宽记述为“1024000”，相对于此，在第二个表示法中，MIME类型记述为与第一个表示法相同的“video/mpeg2ts”，但带宽记述为“102400”。
因此，客户机在使用了该MPD数据的情况下，能够选择由带宽为“1024000”的MPEG2－TS或者带宽为“102400”的MPEG2－TS构成的表示法中的任一个。由于这些表示法的内容为同一个影像内容，所以在带宽中有富余且想要取得高质量的影像时选择第一个表示法，在带宽中没有富余时等选择第二个表示法即可。另外，在图示的例中，例示了作为分段数据而使用MPEG2－TS的情况，但在DASH中，也能够作为分段数据而使用MP4。
同图的(a)表示使用该MPD数据而再现内容的处理的流程。如图所示，首先，客户机对服务器发送MPD数据的取得请求，服务器根据该请求，对客户机发送MPD数据。
接着，取得了该MPD数据的客户机从在MPD数据中记述的表示法中选择1个表示法，使用在所选择的表示法中包含的URL进行分段数据的取得请求。在该例中，选择第一个表示法，使用该第一个URL请求“Sample-div1.ts”。另外，如在MPD数据中所记载，配合流发布的开始时刻(availabilityStartTime，可用性开始时间)，进行该分段数据的取得请求。即，在图示的例中，在2011年5月1日12:00进行“Sample-div1.ts”的取得请求。
接收到该请求的服务器将所请求的分段数据发送给客户机。
另外，分段数据被分割为多个IP分组，依次发送给客户机，从发送开始至发送完成所需的时间根据连接客户机和服务器的网络的业务量等而变化。
客户机开始分段数据的接收，并在接收到相当于在MPD数据中记述的流再现开始所需的最小缓冲时间(minBufferTime)、图示的例中再现期间6秒的分段数据的时刻，开始再现。
此外，在“Sample-div1.ts”的接收完成的时刻，客户机进行后续的“Sample-div2.ts”的取得请求，服务器根据该请求，将“Sample-div2.ts”的数据发送给客户机。然后，客户机在“Sample-div1.ts”的再现完成后再现该接收到的分段数据。
这里，假设因业务量的增大等原因，客户机、服务器间的吞吐量降低、分段数据接收发生了延迟。若长时间延迟，则频繁发生基于缓冲的再现中断，难以视听内容，所以客户机判断为需要分段数据的切换。由于在同图的(b)的MPD数据中包含第二个表示法所需的带宽小的分段数据，所以客户机判断将再现对象切换为第二个表示法。
由于客户机已经进行了相当于再现期间0秒至20秒的“Sample1-div1.ts”、“Sample1-div2.ts”的取得请求，所以在“Sample1-div2.ts”的接收完成后，取得相当于第二个表示法的再现期间20秒至30秒的分段的“Sample2-div3.ts”，并在“sample1-div2.ts”的再现完成后再现。之后，依次接收并再现构成第二个表示法的分段数据。
这样在DASH中，能够进行根据网络状况动态地以分段数据单位切换表示法的自适应流。
但是，为了实现上述的自适应流，由于应对时时刻刻发生变化的网络业务量的变化，在变化大的网络中，需要能够在短期间内进行表示法的切换。换言之，作为表示法的切换单位的、分段数据的再现期间需要充分短(例如2秒)。
另外，将分段数据的再现期间设定得短的情况存在MPD数据的数据量增大的问题。此外，存在在再现内容时根据分段取得请求而产生的网络业务量增大的问题。
为了解决这样的问题，提出了如下方法：代替将一个分段数据的再现期间设定得短，将分段数据分割为多个子分段数据，记述用于参考各子分段数据的索引信息。另外，子分段数据并不是将分段数据物理方式分割的数据，而是将分段数据的一部分设为能够通过索引信息作为子分段数据而参考的数据。即，索引信息被称为表示分段数据的逻辑性的分割位置的控制信息。
对此，基于图18至图20进行说明。图18是使用索引信息而实现在前述的图17中例示的流的MPD数据的例。与图17的(b)的MPD数据相同地，包含两个表示法，但在各个表示法中仅包含1个分段数据。分段数据“sample1.ts”是从图17的分段数据“sample1-div1.ts”连接了“sample1-div180.ts”的数据，分段数据“sample2.ts”是从图17的分段数据“sample2-div1.ts”连接了“sample2-div180.ts”的数据，如SegmentInfoDefault元素的duration(持续期间)属性所表示，设定为再现期间30分钟。此外，用于参考各分段数据的索引信息而记述的Index(索引)元素以与SegmentInfo元素成对的方式记述。在该Index元素中，记述了用于接入到索引信息的URL。
并且，通过接入到在Index元素中记述的URL，能够取得用于确定逻辑性地分割了分段数据的子分段的索引信息。
图19是说明在图18中例示的成对的分段数据“sample1.ts”和索引信息“index1.mp4”、及分段数据“sample2.ts”和索引信息“index2.mp4”的细节的图。如图所示，分段数据由子分段1～N构成。分段数据“sample1.ts”的子分段1～N分别相当于图17的分段数据“sample1-div1.ts”～“sample1-div180.ts”，分段数据“sample2.ts”的子分段1～N分别相当于图17的分段数据“sample2-div1.ts”～“sample2-div180.ts”。
此外，分段数据“sample1.ts”中的子分段1、2、…N的数据大小分别为S1_1,S1_2，…,S1_N，分段数据“sample2.ts”中的子分段1、2、…N的数据大小分别为S2_1,S2_2，…,S2_N，各子分段再现期间为10秒。
另一方面，在索引信息“index1.mp4”、“index2.mp4”中，分别记录对象分段数据“Sample1.ts”、“Sample2.ts”的每个子分段的数据大小、再现期间、表示各子分段的开头是否为随机接入点的RAP标记，作为条目信息(图中的条目1～N)。
另外，在DASH中，索引信息的数据格式与分段数据的数据格式无关地使用MP4格式，管理上述的条目信息的条目信息管理区域设置在索引信息开头。
在条目信息管理区域中，记录有索引信息整体的数据大小Si以及在该索引信息中包含的条目数(在对象分段数据中包含的子分段数)N。
因此，通过取得索引信息“index1.mp4”、“index2.mp4”，客户机能够求出对象分段数据内的子分段1～N的再现期间分别为0～10秒、10秒～20秒、…1790秒～1800秒的情况以及分段数据内的子分段1～N的字节偏移(byte offset)。
由此，通过例如图20的(a)所示的HTTP请求，能够取得分段数据“sample2.ts”的子分段2以后，或者通过如同图的(b)所示的指定了字节范围(字节位置)的HTTP请求，能够取得子分段3以后，能够实现以子分段单位的表示法切换。
在使用上述的索引信息而实现以子分段单位的表示法切换(自适应流)的现有技术中，具有如下等优点：(1)与以使用了MPD数据的分段单位实现表示法切换(自适应流)的现有技术相比，MPD数据的记述简化；(2)只有在表示法切换时，发生索引信息以及分段数据(或者子分段)的取得请求，能够减轻在流中产生的HTTP请求所产生的通信业务量；(3)在不发生表示法的切换的情况下，不需要取得索引信息。
现有技术文献
专利文献
专利文献1:日本公开专利公报「特开2005－110244号公报(2005年4月21日公开)」
非专利文献
非专利文献1:“Information technology-MPEG systems technologies-Part6:Dynamic Adaptive streaming over HTTP(DASH)”、[online]、2011年1月28日、[2011年6月3日检索]、ISO/IEC、因特网<http://www.itscj.ipsj.or.jp/sc29/open/29view/29n11873t.doc>
发明内容
发明要解决的课题
另一方面，在上述现有技术中，存在如下问题：在实时流(live streaming)中使用的情况下，不能实现低延迟的发布。
具体而言，在以利用了索引信息的子分段单位的表示法切换中，需要与实时发布中的分段数据有关的索引信息。但是，如上所述，在索引信息中，包含该索引信息整体的数据大小、在对象分段数据中包含的子分段数、各子分段的数据大小等，直到分段数据的编码完成为止，不能生成。
因此，从分段数据的实时编码开始直到分段数据的实时编码完成以及对于该分段数据的索引信息的生成完成为止，需要延迟分段数据以及索引信息的发布开始。另外，虽然索引信息的生成基本不需要时间，但完成分段数据的实时编码需要与该分段数据的再现相同的时间，因此可以说需要使发布开始延迟相当于分段数据的再现期间的时间。
本发明是鉴于上述的问题点而完成的，其目的在于，提供一种在进行低延迟的实时流的系统中，不等待一个分段数据的实时编码完成，就能够开始分段数据以及索引数据的发布，能够进行表示法的切换(自适应流)的发送装置等。
为了解决课题的手段
为了解决上述的课题，本发明的发送装置是对与同一个再现期间对应的多个内容进行编码，并将在进行了编码的内容中作为再现对象而选择的内容发送给再现装置的发送装置，其特征在于，包括：参考信息生成单元，关于上述多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在上述再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供单元，使上述再现装置取得上述参考信息生成单元生成的参考信息。
此外，为了解决上述的课题，本发明的发送装置的控制方法是对与同一个再现期间对应的多个内容进行编码，并将在进行了编码的内容中作为再现对象而选择的内容发送给再现装置的发送装置的控制方法，其特征在于，包括：参考信息生成步骤，关于上述多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在上述再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供步骤，使上述再现装置取得在上述参考信息生成步骤中生成的参考信息。
根据上述的结构，在关于多个内容进行了部分再现期间的编码时，生成用于在部分再现期间切换再现对象的内容的参考信息，并使再现装置取得该参考信息。
因此，再现装置在内容的编码完成之前的期间，能够以部分再现期间切换再现对象的内容。即，根据上述的结构，能够在内容的编码完成之前的期间，使再现装置在一个再现期间的中途切换再现对象的内容。
此外，再现装置进行再现的内容为编码完成的部分，关于这样的部分，能够进行基于参考信息的切换。因此，根据上述的结构，保证了再现装置进行再现的再现位置中的内容的切换。
另外，上述发送装置及上述再现装置可以通过计算机实现，此时，通过使计算机作为上述发送装置及上述再现装置的各单元动作而使计算机实现上述发送装置及上述再现装置的控制程序以及记录了该控制程序的计算机可读取的记录介质也属于本发明的范围中。
发明效果
如以上所述，本发明的发送装置包括：参考信息生成单元，关于多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供单元，使再现装置取得上述参考信息生成单元生成的参考信息。
此外，本发明的发送装置的控制方法包括：参考信息生成步骤，关于多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供步骤，使再现装置取得在上述参考信息生成步骤中生成的参考信息。
根据上述的结构，再现装置能够在内容的编码完成之前的期间，在部分再现期间切换再现对象的内容。即，根据上述的结构，起到能够在内容的编码完成之前的期间，使再现装置在一个再现期间的中途切换再现对象的内容的效果。
附图说明
图1是表示在本发明的一实施方式的内容发送接收系统中包含的客户机和服务器的主要部分结构的框图。
图2表示在上述内容发送接收系统中使用的MPD数据的一例。
图3是表示索引信息和分段数据的关系的图。
图4是表示服务器中的索引信息生成部的动作的流程图。
图5是用于说明服务器中的MPD数据生成定时以及可进行MPD数据发布的定时的定时图。
图6是用于说明服务器中的分段数据生成定时以及可进行分段数据发布的定时的定时图。
图7是用于说明服务器中的子分段生成定时以及可进行子分段发布的定时的定时图。
图8是用于说明服务器中的索引信息生成定时以及可进行索引数据发布的定时的定时图。
图9是用于说明服务器中的索引信息的各条目信息的生成定时以及可进行各条目信息发布的定时的定时图。
图10是表示自适应流再现的一例的客户机的定时图。
图11是表示由普通索引信息、层次索引信息构成的索引信息的构造的图。
图12是表示将普通索引信息、层次索引信息分别分离为个别的数据结构的例的图。
图13是表示将普通索引信息、层次索引信息设为能够分别独立参照的MPD数据的记述例。
图14是表示具有将普通索引信息、层次索引信息的各条目汇集而记录的数据结构的索引信息的例的图。
图15是表示在索引信息的各条目中记述了表示条目是否为有效的信息的索引信息的一例的图。
图16是表示将表示有效的条目的信息记述在管理区域中的索引信息的一例的图。
图17是表示自适应流再现的一例的图，同图的(a)是表示服务器和客户机的处理的一例的定时图，同图的(b)表示将该流用于控制的MPD数据的一例。
图18是表示能够利用索引信息的MPD数据的例的图。
图19是表示索引信息和分段数据的关系的图。
图20是表示用于以使用了索引信息的子分段单位进行分段数据的部分取得的HTTP请求的一例的图。
图21是表示包含用于识别发布方式的标记的MPD数据的一例的图。
图22是表示包含用于识别发布方式的标记的MPD数据的另一例的图。
具体实施方式
〔实施方式1〕
以下，基于图1～图10详细说明本发明的一实施方式。
〔系统的概要〕
首先，基于图1说明本实施方式的内容发送接收系统的概要。图1是表示本发明的一实施方式的图，且是表示在内容发送接收系统3中包含的客户机(再现装置)1和服务器(发送装置)2的主要部分结构的框图。
〔客户机的结构〕
如图所示，客户机1包括：客户机通信部11，用于客户机1与外部的装置经由网络进行通信；记述信息分析部12；内容再现部13；以及索引信息分析部14。
客户机通信部11将构成记述信息分析部12选择的表示法的分段数据或者子分段的取得请求发送给服务器2，由此，取得分段数据或者子分段。此外，取得索引信息分析部14请求的索引信息。这里，假设客户机通信部11以HTTP发送请求。
记述信息分析部12取得在内容的每个再现期间(周期)包含表示能够对服务器2请求的资源的信息的内容的记述信息，并根据所取得的记述信息，选择再现对象的表示法。具体而言，记述信息分析部12从服务器2作为记述信息而接收MPD数据，决定再现对象的表示法。此外，当在内容再现部13对某一表示法的分段数据进行再现时检测出需要表示法的切换的规定的事项的情况下，进行将再现对象切换为对应于所检测的事项的其他的表示法的决定。
内容再现部13依次再现通过客户机通信部11的请求而接收到的分段数据或者子分段。另外，进行了再现的内容既可以从客户机1具有的显示器或扬声器等输出，也可以从对客户机1进行有线或者无线连接的显示器或扬声器等输出。
索引信息分析部14分析经由客户机通信部11接收到的索引信息，并将分析结果通知给记述信息分析部12。
〔服务器的结构〕
另一方面，服务器2包括服务器通信部(参考信息提供单元、记述信息提供单元)21、服务器存储部22、编码器23、索引信息生成部(参考信息生成单元)24、记述信息生成部(记述信息生成单元)25以及服务器控制部26。
此外，在服务器存储部22中，存储有在服务器2中生成并发布的分段数据27、索引信息28、记述信息29。
服务器通信部21根据来自客户机1的记述信息的取得请求，将记述信息29发送给客户机1。具体而言，读出在服务器存储部22中存储的记述信息29，发送给客户机1。如上所述，这里，作为记述信息29而使用MPD数据。
此外，同样地，服务器通信部21根据来自客户机1的分段数据27的取得请求、或者索引信息28的取得请求，读出在服务器存储部22中存储的分段数据27或者索引信息28，发送给客户机1。
服务器控制部26将在服务器2中生成并发布的数据的生成定时以及数据生成所需的发布参数等的信息指示给编码器23、索引信息生成部24、记述信息生成部25。
编码器23对通过摄像机等(未图示)拍摄且从外部实时输入的内容，根据服务器控制部26指示的每个表示法的编码条件(编码参数)分别进行编码而生成分段数据27，存储在服务器存储部22中。另外，同一周期中的多个表示法同时并行进行实时编码，对每个表示法生成一个分段数据27。
索引信息生成部24关于各分段数据27，生成用于以在该分段数据27中包含的子分段单位进行切换的索引信息28。另外，索引信息28及其生成方法的细节在后面叙述。
如上所述，分段数据27是将能够对客户机1提供的内容根据规定的编码条件进行编码，并以规定的再现期间单位进行了分割的数据。
索引信息28是用于能够以子分段数据进行切换的信息。客户机1通过参照索引信息28而确定子分段数据的位置，能够以子分段数据单位切换再现对象。
记述信息29是与从服务器2能够对客户机1提供的内容(这里，在服务器存储部22中存储的分段数据27)有关的信息。具体而言，记述信息29是对每个周期记述了表示选择候选的表示法的MPD数据。MPD数据的细节在后面叙述。
另外，分段数据27、索引信息28及记述信息29中的至少一个既可以记录在能够对服务器2进行装卸的外部的记录介质中，也可以存储在服务器2能够接入的外部的装置中。即，分段数据27、索引信息28及记述信息29只要以服务器2能够取得的状态存储即可，并不特别限定存储目标。
此外，也可以构成为，内容发送接收系统由多个服务器2构成，分段数据27、索引信息28及记述信息29分别从不同的服务器2提供。
〔在系统中使用的数据的细节〕
图2是在内容发送接收系统3中使用的MPD数据的一例。除了表示流的发布方式的MPD元素的Type属性为实时流的点之外，与前述的图18的MPD数据相同，省略详细的说明。
图3是表示与图2所示的MPD数据一同在内容发送接收系统3中使用的分段数据及索引信息的一例的图。为了实现实时流中的自适应流，除了子分段的再现期间被设定为比前述的图19所示的例短的2秒之外，与图19相同，省略详细的说明。
〔在服务器2中进行的处理的细节〕
接着，关于内容发送接收系统3中的服务器2的动作，基于图4～9说明细节。
图4是表示在内容发送接收系统3中，生成用于实现自适应流的索引信息的索引信息生成部24的动作的流程图。
若在内容发送接收系统3中实时流开始，则索引信息生成部24生成索引信息中的条目信息管理区域(S1)。如前所述，在条目信息管理区域中，需要记述索引信息整体的数据大小Si和条目数(子分段数)N。由于条目信息管理区域的数据大小以及各条目的数据大小为固定长，所以若在分段数据中包含的子分段数确定，则能够生成条目信息管理区域。
例如，在进行使用了图2所示的MPD数据的实时发布的情况下，在实时流开始时刻，从服务器控制部26输入分段数据的再现期间30分、子分段的再现期间2秒作为发布参数，从而子分段数被确定为1800，条目信息管理区域被立即生成。
接着，索引信息生成部24为了生成条目，等待编码器23中的子分段编码完成(S2)。
若从编码器23被通知通过编码器23完成了子分段的编码，则索引信息生成部24生成对于该子分段的新条目(参考信息生成步骤)，并追加到索引信息中(S3)。另外，在条目中，记载子分段的数据大小、再现期间、RAP标记。子分段的数据大小在子分段的编码完成通知时设定为从编码器23被通知的值。关于子分段的再现期间，被设定以来自服务器控制部26的发布参数提供的2秒。另外，在本系统中，由于子分段是实现自适应流时的表示法的切换点，所以始终作为随机接入点进行编码，因此，RAP标记始终设定为“是(Yes)”。
在生成的条目数小于在S1中求出的条目数N的情况下(S4中“是”的情况下)，返回到S2继续处理，在生成的条目数达到N的情况下(S4中“否(No)”的情况下)，结束索引信息的生成。
接着，使用图5～9说明有关服务器中的各数据的生成定时和该数据的能够发布定时的服务器动作。图5是用于说明服务器2中的MPD数据生成定时以及能够进行MPD数据发布的定时的动作的定时图。
在图5中，时刻t0为MPD数据的生成开始时刻。若成为时刻t0，则由于是MPD数据的生成开始，所以服务器控制部26对记述信息生成部25以规定的发布参数指示记述信息生成。记述信息生成部25受理记述信息生成指示，并基于所指定的发布参数(表示法数目、发布开始时刻、分段的再现期间、子分段的再现期间、最小缓冲时间等)生成记述信息。另外，服务器控制部26为了实现客户机中的自适应流，控制发布参数，使得在最小缓冲时间内包含多个子分段。例如，在图2、图3的数据结构的情况下，最小缓冲时间被设定为6秒，子分段的再现期间被设定为2秒。记述信息生成部25立即生成MPD数据，并在服务器存储部22中存储所生成的MPD数据。
时刻t0也是客户机1能够取得MPD数据的时刻。若在时刻t0，服务器通信部21受理来自客户机1的MPD取得请求，则检索在服务器存储部22中是否存在被请求的MPD数据。如图5所示，在执行该检索时，已经完成MPD数据的生成，服务器通信部21从服务器存储部22读出该MPD数据，并发送给客户机1。另外，在图5中，从MPD取得请求到响应为止，产生时间延迟(Δt)，但该时间延迟Δt并没有如用户能够感觉到延迟那么大，是充分短的时间。
另外，在服务器2中，由于生成的MPD数据保存在服务器存储部22中，所以在t0以后的任意的时刻t，客户机1能够取得MPD数据。
图6是用于说明服务器2中的分段数据生成定时以及能够进行分段数据发布的定时的动作的定时图。
在图6中，时刻t1是服务器2中的实时编码的开始时刻。此外，图中的分段数据[n,m]表示分段数据内的子分段n中的第m个数据。另外，分段数据[n,m]是输入内容[n,m]通过编码器23的编码结果。
若成为时刻t1，则为了分段数据的实时编码，服务器控制部26对编码器23以规定的发布参数指示编码开始。编码器23基于被指定的发布参数(编码解码器、比特率、图像大小、分段的再现期间、子分段的再现期间等)开始编码。另外，发布参数按每个表示法提供给编码器23。
若有内容的输入，则编码器23以多个发布参数并行进行分段数据的编码。在图2的例中，由于存在两个表示法，所以编码器23对两个分段数据并行进行编码。另外，如图所示，若内容[1,1]输入到编码器23，则立即实时编码为分段数据[1,1]，并存储在服务器存储部22中。以后，每次在编码器23中依次被输入内容[1,2]、内容[1,3]、内容[1,4]……时，编码为分段数据[1,2]、分段数据[1,3]、分段数据[1,4]、…，并追加到服务器存储部22的分段数据中。
此外，时刻t1也是分段数据的发布开始时刻(在图2的MPD数据中，在availabilityStartTime属性中设定的“2011年5月1日12:00”)。与前述的MPD数据的情况相同地，在时刻t1以后从客户机1受理分段数据的取得请求的服务器通信部21检索在服务器存储部22中是否存在被请求的分段数据。如图6所示，若该分段数据至少存在一部分(在图中，检索时存在分段数据[1,1])，则服务器通信部21开始对客户机1发送。以后，在每次追加剩余的分段数据时，依次发送给客户机1。
图7是用于说明服务器2中的子分段生成定时以及能够发布子分段的定时的动作的定时图。
在图7中，时刻tn是开始生成子分段n的时刻。如图所示，在时刻tn中，从摄像机输入作为子分段n的开头数据的内容[n,1]，该内容[n,1]在编码器23中作为子分段n的开头数据(分段数据[n,1])进行编码，并追加到在服务器存储部22中存储的分段数据中。
此外，时刻tn也是子分段n的发布开始时刻。与前述的分段数据的情况相同地，在时刻tn以后从客户机1受理以子分段数据n开始的分段数据的部分取得请求的服务器通信部21检索在服务器存储部22中是否存在被请求的分段数据。另外，分段数据的部分取得请求如图20的例所示，由分段数据的取得开始字节位置指定而进行。因此，服务器通信部21在存在被请求的分段数据的情况下，进一步确认是否存在被指定的取得开始字节位置的数据，若存在指定字节位置的数据，则开始对客户机1发送。
图8是用于说明服务器2中的索引信息生成定时以及能够发布索引信息的定时的动作的定时图。
在图8中，时刻t1表示与在图6中说明的时刻t1相同的时刻，是索引信息的生成开始的时刻。若成为时刻t1，则为了索引信息的生成，服务器控制部26对索引信息生成部24基于规定的发布参数而指示索引信息生成。如前所述，索引信息生成部24基于被指定的发布参数(分段的再现期间、子分段的再现期间)，开始索引信息的生成。在时刻t1，只生成条目信息管理区域，并存储在服务器存储部22中。另外，与分段数据相同地，索引信息也根据发布的表示法数目，并行生成多个索引信息。
此外，时刻t1也是索引信息的发布开始时刻。即，在时刻t1中，客户机1能够将分段数据、索引信息一同接收。在时刻t1以后从客户机1受理索引信息的取得请求的服务器通信部21检索在服务器存储部22中是否存在被请求的索引信息。如图8所示，若该索引信息至少存在一部分(在图中，检索时只存在条目信息管理区域)，则服务器通信部21开始对客户机1发送。以后，每次在索引信息中追加条目时，依次发送给客户机1。
图9是用于说明服务器2中的索引信息的各条目信息的生成定时以及能够进行各条目信息的发布的定时的动作的定时图。
在图9中，时刻tn表示与在图7中说明的时刻tn相同时刻(子分段n的生成开始时刻)，是生成索引信息的条目n-1的时刻。
如图所示，编码器23在时刻tn中，完成子分段n-1的生成，开始子分段n的生成。完成了子分段n-1的生成的编码器23对索引信息生成部24通知子分段n-1的生成完成。
受理子分段n-1的生成完成的通知的索引信息生成部24生成索引信息的条目n-1，并追加到在服务器存储部22中存储的索引信息。
此外，时刻tn也是索引信息的条目n-1的发布开始时刻。如图所示，与在tn>t的时刻t从客户机1受理索引信息的取得请求的前述的分段数据的情况相同地，在时刻tn以后从客户机1受理以子分段数据n开始的分段数据的部分取得请求的服务器通信部21检索在服务器存储部22中是否存在被请求的索引信息。若存在索引信息的一部分，则服务器通信部21依次将数据发送给客户机1。
由于就在时刻tn之前，作为索引信息，条目n-2为止存储在服务器存储部22中，所以条目n-2为止能够发送。如前所述，在时刻tn中，生成条目n-1并立即追加到服务器存储部22中。服务器通信部21将被追加的条目n-1立即发送给客户机1。
如以上所说明，服务器2在分段数据中的子分段n的发布开始时刻tn，能够作为索引信息，将直到该分段数据的子分段1～子分段n-1为止的信息发布给客户机1。
〔在客户机1中进行的处理的细节〕
接着，基于图10说明使用了索引信息的自适应流再现的细节。
图10是表示在流再现中发生了表示法切换的情况下的客户机1的动作的定时图。
首先，客户机1在MPD数据的发布开始时刻t0(与图5所示的t0相同时刻)，记述信息分析部12对客户机通信部11指示MPD数据的取得，客户机通信部11对服务器2发行MPD数据的取得请求。
记述信息分析部12经由客户机通信部11接收图2所示的MPD数据。作为流开始时的再现对象，选择由id＝“rep1”表示的表示法，待机至流开始时刻(t0:2011年5月1日12:00)。
在流开始时刻t1，记述信息分析部12对客户机通信部11指示构成由id＝“rep1”表示的表示法的分段数据“sample1.ts”的取得，客户机通信部11对服务器2发行分段数据“sample1.ts”的取得请求。
此外，记述信息分析部12基于在MPD数据中记载的最小缓冲时间，对内容再现部13指示缓冲时间。由于在图2的MPD数据中，最小缓冲时间被设定为6秒，所以指示该值。
从服务器2接收到的分段数据“sample1.ts”依次输入到内容再现部13。内容再现部13直到接收到的分段数据的再现期间达到被指示的缓冲时间6秒为止，不开始再现，进行缓冲。
内容再现部13在接收到的分段数据的再现期间达到缓冲时间6秒的时刻，开始再现。另外，在服务器2中，在时刻t1开始内容的实时编码，在内容再现部13的再现开始中，无论网络状况如何，至少发生6秒钟的缓冲延迟。这里，设为以最小的缓冲延迟(6秒)开始再现，以下进行说明。
在rep1(sample1.ts)的再现中，客户机和服务器间的网络状况良好、确保了流再现所需的吞吐量的情况下，在内容再现部13中始终缓冲相当于缓冲时间6秒的分段数据。另一方面，在客户机和服务器间的吞吐量降低、发生了分段数据的接收的延迟的情况下，在内容再现部13中缓冲的分段数据量减少。例如，在被缓冲的分段数据成为再现期间4秒的时刻，内容再现部13检测再现延迟，并通知给记述信息分析部12。
受理延迟的通知的记述信息分析部12选择流再现所需的带宽小于rep1的rep2，对客户机通信部11指示中止rep1(sample1.ts)的取得的同时，记述信息分析部12为了确定切换目标的子分段，对客户机通信部11指示rep2的索引信息“index2.mp4”的取得。
从服务器2取得的索引信息index2.mp4在索引信息分析部14中进行分析，与各子分段有关的数据大小、再现期间作为分析结果而通知给记述信息分析部12。另外，在进行了索引信息取得请求的时刻t，在服务器2中处于子分段n的实时编码及实时发布中时，在取得的索引信息中包含至条目n-1为止。即，在记述信息分析部12中，被通知直到子分段n-1为止的分析结果。另一方面，在时刻t，在内容再现部13中进行从服务器2的发布延迟6秒的子分段n-3的再现。此外，由于在内容再现部13中缓冲4秒钟的分段数据，所以缓冲子分段n-2以及子分段n-1的一部分。
记述信息分析部12在受理与子分段n-1有关的索引信息的分析结果的通知的时刻，对客户机通信部11指示索引信息“index2.mp4”的取得中止的同时，指示构成rep2的分段数据“sample2.ts”的部分取得。另外，分段数据的取得范围为子分段n-1以后的数据，根据索引信息的分析结果而指示子分段n-1的字节偏移。
若子分段n-1以后的“sample2.ts”的接收开始，则关于依次输入到内容再现部13中、与已经缓冲的rep1(“sample1.ts”)重复的再现期间的数据。只有解码处理并行进行，不进行显示而被丢弃。之后，在已经缓冲的rep1(“sample1.ts”)的再现完成时刻，切换到rep2的再现并继续流再现，用户能够舒适地视听内容。
另外，在上述的说明中，由于将高质量的表示法的再现优先，所以关于在rep1、rep2中重复接收的再现期间的数据，作为并行解码的结构，但在这样的结构中，在客户机1中需要多个解码器。因此，也可以是代替将重复再现期间的数据与re1、rep2一同进行解码，丢弃一部分已经缓冲的rep1的子分段数据n-1，关于子分段n-1的数据，进行rep2的解码以及显示的结构。
另外，在上述的例中，表示了切换到带宽不同的内容的例，但成为切换对象的内容并不限定于这样的例。例如，在内容由多角度(multi angle)的影像构成的情况下，也可以对不同的角度的内容无缝地进行切换。此外，在上述的例中，表示了切换到对应的再现位置的例，但只要是能够根据索引信息确定的范围，则也可以切换到除此之外的再现位置。即，也可以进行能够根据索引信息确定的范围中的时间偏移再现。
如以上所说明，在本实施方式的内容发布系统中，能够进行使用了索引信息的自适应流，能够实现MPD数据的简化。
此外，客户机只有在发生表示法的切换时，进行索引信息及分段数据的取得请求，所以能够减轻在流中产生的HTTP请求次数以及通信业务量，在客户机和服务器间的网络状况良好、不发生表示法的切换的情况下，在流再现开始以后不需要一切的HTTP请求。
此外，由于内容按每个表示法作为单一的分段数据来提供，所以不具有MPD数据或索引信息的分析功能(不具有自适应流功能)的客户机、例如网页浏览器也能够受理该分段数据的URL的通知、进行再现。
〔发布方式的选择〕
此外，也可以设为能够选择在子分段和/或条目的生成(编码)完成的定时能够发布这些数据的发布方式(在上述的实施方式中的发布方式)和在分段数据中包含的全部子分段和/或在索引信息中包含的全部条目的生成(编码)完成的定时能够发布这些数据的发布方式，能够通过MPD数据来识别这些发布方式。
这里，基于图21说明识别多个发布方式的方法。图21是表示包含用于识别发布方式的标记的MPD数据的一例的图。
与图2的MPD数据的不同点在于，图示的MPD数据在SegmentInfo元素中附加了表示发布方式的partialAvailability属性。该partialAvailability属性能够取"true(真)"或者"false(假)"作为值。partialAvailability＝"true"表示能够以子分段和/或条目的单位进行发布，partialAvailability＝"false"表示能够以分段数据和/或索引信息的单位进行发布。在省略了partialAvailability属性的记述的情况下，设为与"false"的情况同样地解释。
另外，在图21的例中，partialAvailability属性作为SegmentInfo元素的属性而记述，但并不限定于此。例如，也可以作为Representation元素或Period元素等比SegmentInfo上位的元素的属性而记述。此外，也可以作为例如Index元素或Url元素等比SegmentInfo下位的元素的属性而记述。
在生成这样的MPD数据的情况下，服务器控制部26对记述信息生成部25，除了上述的规定的发布参数(表示法数目、发布开始时刻、分段的再现期间、子分段的再现期间、最小缓冲时间等)之外，还指定partialAvailability属性的值，指示记述信息生成。
由此，记述信息生成部25生成包含partialAvailability属性的MPD数据，该partialAvailability属性作为表示是否能够在分段数据(再现期间整体)的编码完成之前发送子分段(部分再现期间的内容)的信息。该MPD数据作为记述信息29存储在服务器存储部22中。
然后，服务器通信部21根据来自客户机1的MPD取得请求，将如上所述那样生成的MPD数据从服务器存储部22中读出并发送给客户机1。另外，使客户机1取得MPD数据的方法并不限定于此。
接收到这样的MPD数据的客户机1在通过参考该MPD数据进行表示法的切换的情况下，能够发送与上述两种发布方式对应的HTTP请求。具体而言，客户机1的客户机通信部11若取得的MPD数据的partialAvailability属性的值为"true"，则由于即使是在分段中包含的全部子分段和/或在索引信息中包含的全部条目的生成(编码)完成之前，也能够取得与完成了生成(编码)的子分段对应的条目，所以通过发送指定了如图20所示的字节范围(字节位置)的HTTP请求，能够取得切换后的表示法中的指定的子分段以后的数据。因此，能够实现低延迟的发布。另一方面，若取得的MPD数据的partialAvailability属性的值为"false"，则直到在分段中包含的全部子分段和/或在索引信息中包含的全部条目的生成(编码)完成为止，不能取得这些数据。因此，在完成该数据的生成(编码)之后，能够识别需要发送指定了字节范围的HTTP请求的情况。
由此，通过在MPD数据中记述partialAvailability属性，客户机1能够发送对应于发布方式的适当的HTTP请求。
此外，在服务器2中，也通过在对应于指定了字节范围的HTTP请求的情况下，记述信息生成部25生成在partialAvailability属性的值中设定了"true"的MPD数据，在不对应于指定了字节范围的HTTP请求的情况下，生成在partialAvailability属性的值中设定了"false"的MPD数据，从而能够提高设计的自由度。
〔其他的构成例〕
在上述的说明中，说明了索引信息28为图3中记载的数据结构的情况，但在DASH中，为了实现倍速再现等的特技(trick)再现，也能够使用图11所示的数据结构的索引信息。图11所示的索引信息成为在图3中记载的数据结构的后半部分赋予了用于实现特技再现所需的层次索引信息的数据结构。层次索引信息也以子分段单位具有条目信息，按每个条目具有层次数以及每个层次进行特技再现的信息。另外，除了图11所示的层次索引信息之外，将与图3中记载的索引信息具有相同的数据结构的部分，在以后的说明中称为普通索引信息，加以区分。
在内容发送接收系统3中使用具有图11所示的数据结构的索引信息的情况下，如前所述，普通索引信息的发布完成是实时流完成时，所以存在客户机1在实时流中取得层次索引信息，不能实现特技再现的问题。为了解决这个问题，如图12所示，将普通索引信息和层次索引信息分别作为独立的数据而生成，如图13的MPD数据所示，记述Index元素和ExtIndex元素即可。然后，通过在Index元素中记载用于参考普通索引信息的URL、在ExtIndex元素中记载用于参考层次索引信息的URL，作为能够分别独立取得的结构即可。
或者，如图14的索引信息的数据结构例所示，也可以使用将在普通索引信息以及层次索引信息各自的条目中包含的信息按每个子分段汇集为1个条目而记载的结构的索引信息。
或者，如图15的索引信息的数据结构例所示，也可以在普通索引信息以及层次索引信息的各条目中设置表示在该条目中是否设定有效值的字段“isValid”。并且，也可以在每次完成子分段的编码时，索引信息生成部24在与已经编码的子分段对应的条目中记述条目信息，且在“isValid”中设定表示该条目为有效的条目的“是”，另一方面，关于有关未编码的子分段的条目，通过在“isValid”中设定“否”而表示是无效的条目，从而生成索引信息整体，能够立即发布。此时，通过参考“isValid”的值，能够确定在预先决定的数目的条目中哪个条目有效(是否包含条目信息)。
或者，普通索引信息、层次索引信息的数据结构也可以使用在图11中记载的数据结构，在子分段每次完成编码时生成包含在索引信息整体的开头部分记载了在该索引信息中包含的有效条目数的索引管理信息的图16所示的数据结构的索引信息。
此外，也可以与不使用层次索引信息的情况(图21的例)相同地，能够选择在子分段和/或条目(包含普通索引信息的条目和层次索引信息的条目)的生成(编码)完成的定时能够发布这些数据的发布方式、和在分段数据中包含的全部子分段和/或在普通索引信息中包含的全部条目和在层次索引信息中包含的全部条目的生成(编码)完成的定时能够发布这些数据的发布方式，能够通过MPD数据来识别这些发布方式。
对此，基于图22进行说明。图22是表示包含用于识别发布方式的标记的MPD数据的另一例的图。
与图13的MPD数据的不同点在于，图示的MPD数据在SegmentInfo元素中附加了表示发布方式的partialAvailability属性。该partialAvailability属性能够取"true(真)"或者"false(假)"作为值。partialAvailability＝"true"表示能够以子分段和/或条目的单位进行发布，partialAvailability＝"false"表示能够以分段数据和/或索引信息(包含普通索引信息和层次索引信息)的单位进行发布。在省略了partialAvailability属性的记述的情况下，设为与"false"的情况同样地解释。
另外，在图22的例中，partialAvailability属性作为SegmentInfo元素的属性而记述，但并不限定于此。例如，也可以作为Representation元素或Period元素等比SegmentInfo上位的元素的属性而记述。此外，例如也可以作为Index元素、ExtIndex元素、Url元素等比SegmentInfo下位的元素的属性而记述。
在生成这样的MPD数据的情况下，服务器控制部26对记述信息生成部25，除了上述的规定的发布参数(表示法数目、发布开始时刻、分段的再现期间、子分段的再现期间、最小缓冲时间等)之外，还指定partialAvailability属性的值，指示记述信息生成。
由此，记述信息生成部25生成包含partialAvailability属性的MPD数据，该partialAvailability属性作为表示是否能够在分段数据(再现期间整体)的编码完成之前发送子分段(部分再现期间的内容)的信息。该MPD数据作为记述信息29存储在服务器存储部22中。
然后，服务器通信部21根据来自客户机1的MPD取得请求，将如上所述那样生成的MPD数据从服务器存储部22中读出并发送给客户机1。另外，使客户机1取得MPD数据的方法并不限定于此。
接收到这样的MPD数据的客户机1在通过参考该MPD数据进行表示法的切换的情况下，能够发送与上述两种发布方式对应的HTTP请求。具体而言，客户机1的客户机通信部11若取得的MPD数据的partialAvailability属性的值为"true"，则由于即使是在分段中包含的全部子分段和/或在普通或层次索引信息中包含的全部条目的生成(编码)完成之前，也能够取得与完成了生成(编码)的子分段对应的条目，所以通过发送指定了如图20所示的字节范围(字节位置)的HTTP请求，能够取得切换后的表示法中的指定的子分段以后的数据。因此，能够实现低延迟的发布。另一方面，若取得的MPD数据的partialAvailability属性的值为"false"，则直到在分段中包含的全部子分段和/或在普通或层次索引信息中包含的全部条目的生成(编码)完成为止，不能取得这些数据。因此，在完成该数据的生成(编码)之后，能够识别需要发送指定了字节范围的HTTP请求的情况。
由此，通过在MPD数据中记述partialAvailability属性，客户机1能够发送对应于发布方式的适当的HTTP请求。
此外，在服务器2中，也通过在对应于指定了字节范围的HTTP请求的情况下，记述信息生成部25生成在partialAvailability属性的值中设定了"true"的MPD数据，在不对应于指定了字节范围的HTTP请求的情况下，生成在partialAvailability属性的值中设定了"false"的MPD数据，从而能够提高设计的自由度。
〔备注事项〕
如上所述，本发明的发送装置是对与同一个再现期间对应的多个内容进行编码，并将在进行了编码的内容中作为再现对象而选择的内容发送给再现装置的发送装置，其特征在于，包括：参考信息生成单元，关于上述多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在上述再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供单元，使上述再现装置取得上述参考信息生成单元生成的参考信息。
此外，如上所述，本发明的发送装置的控制方法是对与同一个再现期间对应的多个内容进行编码，并将在进行了编码的内容中作为再现对象而选择的内容发送给再现装置的发送装置的控制方法，其特征在于，包括：参考信息生成步骤，关于上述多个内容，直到预先决定的再现位置为止进行了编码时，生成用于在上述再现期间中上述再现位置为止的部分再现期间切换再现对象的内容的参考信息；以及参考信息提供步骤，使上述再现装置取得在上述参考信息生成步骤中生成的参考信息。
根据上述的结构，在关于多个内容进行了部分再现期间的编码时，生成用于在部分再现期间切换再现对象的内容的参考信息，并使再现装置取得该参考信息。
因此，再现装置在内容的编码完成之前的期间，能够以部分再现期间切换再现对象的内容。即，根据上述的结构，能够在内容的编码完成之前的期间，使再现装置在一个再现期间的中途切换再现对象的内容。
此外，再现装置进行再现的内容为编码完成的部分，关于这样的部分，能够进行基于参考信息的切换。因此，根据上述的结构，保证了再现装置进行再现的再现位置中的内容的切换。
此外，优选地，上述参考信息生成单元在直到预先决定的再现位置为止进行了内容的编码时，生成表示直到该内容的该再现位置为止的部分再现期间的数据大小的参考信息，之后，在每次直至后续的预先决定的再现位置为止进行编码时，将表示该内容的该再现位置与其紧跟前的预先决定的再现位置之间的部分再现期间的数据大小的信息追加到上述参考信息中。
根据上述的结构，在直到预先决定的再现位置为止进行了内容的编码时，生成表示内容的部分再现期间的数据大小的参考信息，之后，在编码每次进行后续的预先决定的再现位置为止时，将表示部分再现期间的数据大小的信息追加到上述参考信息中。
在上述的结构中，由于根据编码的进行而追加表示部分再现期间的数据大小的信息，所以生成的参考信息成为表示了已经编码的各部分再现期间的数据大小的信息。
因此，通过使用根据上述的结构而生成的参考信息，能够以部分再现期间切换再现对象的内容。例如，在直到第1～3个为止的部分再现期间的数据大小分别为Sz1～Sz3的情况下，在第2个部分再现期间切换时，再现装置指定Sz1以后并进行内容的请求即可。
此外，上述参考信息也可以是包含预先决定的数目的条目和记述表示在该条目中有效的条目的有效信息的记述区域的信息，上述参考信息生成单元在直到预先决定的再现位置为止进行了内容的编码时，在与直到该再现位置为止的部分再现期间对应的条目中，追加用于在该部分再现期间切换再现对象的内容的信息，并且将表示该条目有效的有效信息记述在上述记述区域中。
根据上述的结构，在直到预先决定的再现位置为止进行了内容的编码时，在与直到该再现位置为止的部分再现期间对应的条目中，追加用于在该部分再现期间切换再现对象的内容的信息，并且将表示该条目有效的有效信息记述在记述区域中。
取得了这样的参考信息的再现装置能够根据有效信息来确定在该参考信息中包含的条目中哪个条目有效，并使用在有效的条目中包含的信息，在与该条目对应的部分再现期间切换内容。即，根据上述的结构，能够使用包含有效的条目和不是有效的条目的参考信息，使再现装置在一个再现期间的中途切换再现对象的内容。
此外，优选地，上述发送装置还包括：记述信息生成单元，生成记述信息，该记述信息包含表示是否能够在上述再现期间的整体的编码完成之前发送上述部分再现期间的内容的信息；以及记述信息提供单元，使上述再现装置取得上述记述信息生成单元生成的记述信息。
根据上述的结构，生成记述信息，该记述信息包含表示是否能够在再现期间的整体的编码完成之前发送部分再现期间的内容的信息，并使再现装置取得生成的记述信息。
因此，能够使客户机适当地识别是能够在部分再现期间切换再现对象的内容的发布方式，还是能够在再现期间整体的编码完成的时刻发布内容的发布方式。
另外，上述发送装置及上述再现装置既可以通过计算机实现，此时，通过使计算机作为上述发送装置及上述再现装置的各单元动作而使计算机实现上述发送装置及上述再现装置的控制程序以及记录了该控制程序的计算机可读取的记录介质也属于本发明的范围中。
〔基于软件的构成例〕
最后，客户机1及服务器2的各模块既可以通过在集成电路(IC芯片)上形成的逻辑电路以硬件方式实现，也可以使用CPU(Central Processing Unit，中央处理器)以软件方式实现。
在后者的情况下，客户机1及服务器2包括执行用于实现各功能的程序的命令的CPU、存储了上述程序的ROM(Read Only Memory，只读存储器)、展开上述程序的RAM(RandomAccess Memory，随机存取存储器)、存储上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且，通过将作为实现上述的功能的软件的客户机1及服务器2的控制程序的程序代码(执行形式程序、中间代码程序、源程序)以计算机可读取的方式记录的记录介质提供给客户机1及服务器2，该计算机(或者CPU或MPU)读出并执行在记录介质中记录的程序代码，也能够实现本发明的目的。
作为上述记录介质，例如能够使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩模ROM/EPROM/EEPROM(注册商标)/闪速ROM等的半导体存储器类、或者PLD(Programmable logic device，可编程逻辑电路)或FPGA(Field Programmable GateArray，现场可编程门阵列)等的逻辑电路类等。
此外，由于客户机1及服务器2构成为能够与通信网络连接，所以也可以经由通信网络而提供上述程序代码。该通信网络只要能够传输程序代码即可，不特别限定。例如，可以利用因特网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtualprivate network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也只要是能够传输程序代码的介质即可，并不限定于特定的结构或者种类。例如可使用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line，非对称数字用户线路)线路等的有线，也可以使用IrDA或遥控那样的红外线、蓝牙(Bluetooth(注册商标))、IEEE802.11无线、HDR(High Data Rate，高数据率)、NFC(Near Field Communication，近距离无线通信)、DLNA(Digital Living NetworkAlliance，数字生活网络联盟)、移动电话网、卫星线路、地面波数字网等的无线。另外，即使是通过电子传输而将上述程序代码具体化的、在载波中搭载的计算机数据信号的方式，也可以实现本发明。
产业上的可利用性
本发明能够利用于经由网络的内容的发送接收系统。
符号说明
1 客户机(再现装置)
2 服务器(发送装置)
11 客户机通信部
12 记述信息分析部
13 内容再现部
14 索引信息分析部
21 服务器通信部(参考信息提供单元、记述信息提供单元)
22 服务器存储部
23 编码器
24 索引信息生成部(参考信息生成单元)
25 记述信息生成部(记述信息生成单元)
26 服务器控制部
27 分段数据
28 索引信息(参考信息)
29 记述信息

Claims (2)

1.一种发送装置，对包括多个再现期间的内容进行编码，并发送所述内容，其特征在于，上述发送装置包括：
分段数据生成电路，
首先，开始对周期中包含的分段数据进行编码，所述周期记述与所述内容被分割的所述多个再现期间中的一个对应的数据，
第二，当正执行所述分段数据的编码时，生成partialAvailability属性，所述partialAvailability属性指示是否能够在所述分段数据的编码已经完成之前发送小于所述分段数据的整体的所述分段数据的一部分，以及
第三，根据再现装置进行的客户机请求，将能够在所述分段数据的编码已经完成之前发送的所述分段数据的至少一部分与所述partialAvailability属性一起发布给所述再现装置；
记述信息生成电路，生成与所述内容对应的、并且包括多个所述周期的媒体描述文件；以及
记述信息提供电路，向所述再现装置提供所述媒体描述文件。
2.一种发送装置的控制方法，上述发送装置对包括多个再现期间的内容进行编码，并发送所述内容，其特征在于，上述发送装置的控制方法包括：
首先，开始对周期中包含的分段数据进行编码，所述周期记述与所述内容被分割的所述多个再现期间中的一个对应的数据，
第二，当正执行所述分段数据的编码时，生成partialAvailability属性，所述partialAvailability属性指示是否能够在所述分段数据的编码已经完成之前发送小于所述分段数据的整体的所述分段数据的一部分，以及
第三，根据再现装置进行的客户机请求，将能够在所述分段数据的编码已经完成之前发送的所述分段数据的至少一部分与所述partialAvailability属性一起发布至所述再现装置；
生成与所述内容对应的、并且包括多个所述周期的媒体描述文件；以及
向所述再现装置提供所述媒体描述文件。
CN201280034339.2A 2011-07-12 2012-07-11 发送装置以及发送装置的控制方法 Active CN103650523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810841327.XA CN109194980A (zh) 2011-07-12 2012-07-11 再现装置以及再现方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011154350 2011-07-12
JP2011-154350 2011-07-12
JP2012099296A JP2013038766A (ja) 2011-07-12 2012-04-24 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
JP2012-099296 2012-04-24
PCT/JP2012/067755 WO2013008867A1 (ja) 2011-07-12 2012-07-11 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810841327.XA Division CN109194980A (zh) 2011-07-12 2012-07-11 再现装置以及再现方法

Publications (2)

Publication Number Publication Date
CN103650523A CN103650523A (zh) 2014-03-19
CN103650523B true CN103650523B (zh) 2018-08-24

Family

ID=47506146

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280034339.2A Active CN103650523B (zh) 2011-07-12 2012-07-11 发送装置以及发送装置的控制方法
CN201810841327.XA Pending CN109194980A (zh) 2011-07-12 2012-07-11 再现装置以及再现方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810841327.XA Pending CN109194980A (zh) 2011-07-12 2012-07-11 再现装置以及再现方法

Country Status (5)

Country Link
US (1) US20140137168A1 (zh)
EP (1) EP2733936A4 (zh)
JP (1) JP2013038766A (zh)
CN (2) CN103650523B (zh)
WO (1) WO2013008867A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
US9369512B2 (en) * 2010-10-06 2016-06-14 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
US9357275B2 (en) 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
JP6097840B2 (ja) 2012-10-18 2017-03-15 ヴィド スケール インコーポレイテッド 移動マルチメディアストリーミングに対する復号複雑度
US20140156865A1 (en) * 2012-11-30 2014-06-05 Futurewei Technologies, Inc. Generic Substitution Parameters in DASH
US9647818B2 (en) 2013-01-03 2017-05-09 Intel IP Corporation Apparatus and method for single-tone device discovery in wireless communication networks
EP2947887A4 (en) * 2013-01-18 2016-08-24 Sony Corp CONTENT SERVICES, CONTENT PROCESSING, CONTENT PROCESSING SYSTEM, CLIENT DEVICE AND CONTENT MANAGEMENT PROCESS
EP2947886A4 (en) * 2013-01-18 2016-08-17 Sony Corp CONTENT SERVER AND CONTENT DISTRIBUTION METHOD
US20160050246A1 (en) * 2013-03-29 2016-02-18 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
BR112015025871A8 (pt) * 2013-04-19 2019-12-31 Sony Corp dispositivo servidor, método, e, mídia legível por computador não-transitória
JP2014239278A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
JP2014239291A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP6173085B2 (ja) * 2013-07-18 2017-08-02 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP6257197B2 (ja) * 2013-07-18 2018-01-10 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
EP2849437B1 (en) * 2013-09-11 2015-11-18 Axis AB Method and apparatus for selecting motion videos
JP2015056879A (ja) * 2013-09-13 2015-03-23 富士通株式会社 コンテンツ配信装置、コンテンツ配信方法およびコンテンツ配信プログラム
CN105659623B (zh) * 2013-10-30 2019-04-26 索尼公司 发送装置、发送方法、接收装置以及接收方法
JP6289076B2 (ja) * 2013-12-18 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9787751B2 (en) 2014-08-06 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content utilizing segment and packaging information
US9398330B2 (en) * 2014-08-22 2016-07-19 Sony Corporation Information processing device, information recording medium, information processing method, and program
CN104301743B (zh) * 2014-09-11 2018-02-23 华为技术有限公司 传输视频的方法、网关设备和视频传输系统
JP6258168B2 (ja) * 2014-09-12 2018-01-10 株式会社東芝 配信装置、再生装置および配信システム
JP2016123097A (ja) * 2014-12-24 2016-07-07 沖電気工業株式会社 配信サーバ、配信方法、配信プログラム、及び配信システム
US20170054780A1 (en) * 2015-03-24 2017-02-23 ART19, Inc. Real-time file generation and delivery
US9426543B1 (en) * 2015-12-18 2016-08-23 Vuclip (Singapore) Pte. Ltd. Server-based video stitching
US20180069909A1 (en) * 2016-09-08 2018-03-08 Sonic Ip, Inc. Systems and Methods for Adaptive Buffering for Digital Video Streaming
CN109787983A (zh) 2019-01-24 2019-05-21 北京百度网讯科技有限公司 直播流切片方法、装置和系统
GB2603751A (en) * 2021-01-28 2022-08-17 Openwave Mobility Inc A Method for Determining a Play Duration Estimate of an Adaptive Bit Rate Media Presentation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608715B1 (ko) 2003-09-27 2006-08-04 엘지전자 주식회사 ＱｏＳ보장형 멀티미디어 스트리밍 서비스 시스템 및 방법
JP4275611B2 (ja) * 2004-12-02 2009-06-10 ソニー株式会社 再生装置、再生方法および再生プログラム、記録媒体、ならびに、データ構造体
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
US9497290B2 (en) * 2010-06-14 2016-11-15 Blackberry Limited Media presentation description delta file for HTTP streaming
WO2012096372A1 (ja) * 2011-01-14 2012-07-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000228669A (ja) * 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DASH DELTA FILES;DAVID FURBECK;《MOTION PICTURE EXPERT GROUP OR IOS/IEC JTC1/SC29/WG11》;20101028(第94期);从第1页至第10页 *
DASH EVALUATON EXPERIMENT#4：DELIVERY FORMAT ADDRESSION;GERARD FERNANDO ET AL;《MOTION PICTURE EXPERT FROUP OR ISO/IEC JTC1/SC29/WG11》;20101028(第94期);第1部分至第4部分 *
TEXT AMENDMENTS RELATED TO MPEG-2 TX IN ANNEX-B OF DASH DIS;WAQAR ZIA AL;《MOTION PICTURE EXPERT GROUP OR IOS/IEC JTC1/SC29/WG11》;20110325(第96期);第3段至第4段 *

Also Published As

Publication number Publication date
CN109194980A (zh) 2019-01-11
EP2733936A1 (en) 2014-05-21
US20140137168A1 (en) 2014-05-15
EP2733936A4 (en) 2014-12-03
JP2013038766A (ja) 2013-02-21
WO2013008867A1 (ja) 2013-01-17
CN103650523A (zh) 2014-03-19

Similar Documents

Publication Publication Date Title
CN103650523B (zh) 发送装置以及发送装置的控制方法
JP6453291B2 (ja) ハイパーテキスト転送プロトコルを使用してＭａｔｒｏｓｋａコンテナファイル中に記憶されるメディアの適応型ビットレートストリーミング
JP5288710B2 (ja) マルチメディアデータを記録した情報保存媒体、その再生方法及び再生装置
CN107105351B (zh) 再生装置
CN105230006B (zh) 保存方法、再现方法、保存装置及再现装置
JP5840702B2 (ja) 適応ストリーミングのための様々なビットのビデオストリーム
CN105814900B (zh) 用于在自适应流播环境中管理相邻频道的系统和方法
CN1985321B (zh) 再现多媒体数据的方法和设备
CN103974147A (zh) 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
JP2003114845A (ja) メディア変換方法およびメディア変換装置
CN108924582A (zh) 视频录制方法、计算机可读存储介质及录播系统
CN105122828B (zh) 信息处理装置、内容请求方法以及计算机程序
JP2015136059A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
US20190327425A1 (en) Image processing device, method and program
EP3734594A1 (en) Information processing device, information processing method and program
CN103945260B (zh) 一种流媒体点播编辑系统及点播方法
JP2016072858A (ja) メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
JP2015136058A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
EP3193508B1 (en) Distribution device and information device
US20190387271A1 (en) Image processing apparatus, image processing method, and program
CN105122821A (zh) 服务器装置、内容提供方法以及计算机程序
JP6294527B2 (ja) 送信装置、送信方法、再生装置、及び再生方法
CN111869225B (zh) 信息处理装置、信息处理方法及非暂时性计算机可读存储介质
JP2006339980A (ja) 映像再生装置
US10984638B1 (en) Systems, devices, and methods for encoding haptic tracks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant