CN106105239B - 发送设备、发送方法、接收设备、接收方法和程序 - Google Patents

发送设备、发送方法、接收设备、接收方法和程序 Download PDF

Info

Publication number
CN106105239B
CN106105239B CN201580015015.8A CN201580015015A CN106105239B CN 106105239 B CN106105239 B CN 106105239B CN 201580015015 A CN201580015015 A CN 201580015015A CN 106105239 B CN106105239 B CN 106105239B
Authority
CN
China
Prior art keywords
segment
sample
moof
lct
header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580015015.8A
Other languages
English (en)
Other versions
CN106105239A (zh
Inventor
山岸靖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106105239A publication Critical patent/CN106105239A/zh
Application granted granted Critical
Publication of CN106105239B publication Critical patent/CN106105239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本技术涉及实现迅速数据传送的发送设备、发送方法、接收设备、接收方法和程序。LCT分组被传送,其中LCT分组包含部和LCT标头,部是包含片段的部分的数据。片段包含moof和mdat,其中mdat包含mdat标头和样本组。moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime。LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于BaseMediaDecodeTime的NTP时间;表示片段的部分的第一样本相对于片段的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。本技术可应用到例如多播传送内容的状况。

Description

发送设备、发送方法、接收设备、接收方法和程序
技术领域
本技术涉及发送设备、发送方法、接收设备、接收方法和程序,并且更明确地说涉及例如实现迅速数据传送的发送设备、发送方法、接收设备、接收方法和程序。
背景技术
近年来,过顶视频(OTT-V)已成为因特网上的流式传输服务的主流。例如,运动图像专家组-通过超本文传输协议(HTTP)的动态自适应流式传输 (MPEG-DASH)(下文中,也称为DSAH)已开始作为OTT-V的基本技术而传播。
例如,在DASH中,充当元数据(包含用于从同一源最佳地选择具有不同特性的流的属性信息)的媒体呈现描述(MPD)通过传送流的服务器而被通知给接收流的客户端,并且客户端使用MPD,因此,网络环境自适应流式传输得以实施(参见例如非专利文献1)。
具体来说,在DASH中,服务器根据传送路径通信环境、客户端的能力或状态等而将具有不同图像质量、不同图像大小等的多个流作为相同内容而准备。
另一方面,客户端从服务器所准备的多个流自适应地选择可由客户端接收并适合于客户端的能力(解码能力等)的流,并接收和再现流。
在DASH中,为了使客户端可自适应地选择和接收流,被称为MPD并用于内容再现控制的元数据从服务器传送到客户端。
例如,MPD描述充当内容被划分而成的段(媒体数据,例如,音频/视频 /字幕)的地址的统一资源定位符(URL)。客户端基于MPD中所述的URL 等而将http请求发送到充当内容传送源的(web)服务器,并且接收并再现由服务器响应于http请求而单播传送的段。
引用文献列表
非专利文献
非专利文献1:2012.3.19日经电子(NIKKEI ELECTRONICS),MitsuhiroHirabayashi的“使用现有Web服务器来实现不间断视频流式传输(AchievingUninterrupted Video Streaming Using Existing Web Servers)”。
发明内容
将解决的问题
以DASH进行的内容传送是通过点对点http流式传输来实施的。因此,当以DASH进行的内容传送应用到(例如)可能被极大量的用户同时观看的内容(节目)的流式传输(例如,体育直播)时,以DASH进行的内容传送需要使用阿卡迈(Akamai)的内容传送网络(CDN)等(由所述CDN等支持)。
然而,即使使用CDN,也由于CDN的成本约束而难以获得与现有广播传送相当的可缩放性。
DASH是基于使用http的流式传输协议。对于例如被大量用户同时观看的内容等来说,希望通过使用DASH与例如多播或广播(MC/BC)承载(例如,实时传输协议(RTP)或通过单向传输的文件传送(FLUTE))来执行广播传送而减少网络资源负载。
同时,在当前DASH中,内容流被划分而成的段(文件)用作DASH文件传送单元(控制对象),并且文件是以段单元传送的。
因此,在当前DASH中,当内容被多播传送(包含广播传送)时,内容传送需要等待直到生成段为止。
预期在未来,具有较高图像质量的运动图像的传送将变得常见。在具有高图像质量的运动图像的此传送中,内容流的比特率提高。
如果当内容流的比特率较高时,在等待完成段的生成之后以段单元执行内容传送(即,批量传输),那么可过度使用网络带宽,并且因此可需要整形。
因此,等待完成段的生成之后以段单元传送内容以客户端进行的内容接收的延迟和缓冲的开始而告终。因此,预期提出用于迅速内容传送的技术。
已鉴于这些情形想到本技术,并且本技术的目标在于实现例如内容等数据的迅速传送。
问题的解决方案
本技术的发送设备或第一程序是发送设备或用于使计算机充当此发送设备的程序,发送设备包含传送单元,传送单元传送分层编码传输(LCT)分组,LCT分组包含部和LCT标头,部是包含片段的部分的数据,其中片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和一个或更多个样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于BaseMediaDecodeTime的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
本技术的发送方法包含传送分层编码传输(LCT)分组的步骤,LCT分组包含部和LCT标头,部是包含片段的部分的数据,其中片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于 BaseMediaDecodeTime的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
在发送设备、发送方法和第一程序(例如上文所述的发送设备、发送方法和第一程序)中,传送LCT分组,LCT分组包含部和分层编码传输(LCT) 标头,部是包含片段的部分的数据。片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于BaseMediaDecodeTime 的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
本技术的接收设备或第二程序是接收设备或用于使计算机充当此接收设备的程序,接收设备包含接收单元,接收单元接收分层编码传输(LCT)分组,LCT分组包含部和LCT标头,部是包含片段的部分的数据,其中片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且 LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于BaseMediaDecodeTime的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
本技术的接收方法包含接收分层编码传输(LCT)分组的步骤,LCT分组包含部和LCT标头,部是包含片段的部分的数据,其中片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于 BaseMediaDecodeTime的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
在接收设备、接收方法和第二程序(例如上文所述的接收设备、接收方法和第二程序)中,接收LCT分组,LCT分组包含部和分层编码传输(LCT) 标头,部是包含片段的部分的数据。片段包含:电影片段(moof);以及媒体数据(mdat),包含mdat标头和样本组,moof包含表示mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且LCT标头包含:表示片段的位置的序号;表示片段的部分在片段中的位置的版本;对应于BaseMediaDecodeTime 的网络时间协议(NTP)时间;表示来自片段的第一样本的片段的部分的第一样本的位置的样本计数开始信息;以及作为moof的至少部分的moof子集。
应注意,发送设备和接收设备可以是独立设备,或者可以是形成一个设备的内部块。
效果
根据本技术,例如,可迅速传送数据。
应注意,此处所述的效果不必受限制,并且效果可以是本公开中所述的效果中的任一个。
附图说明
图1是示出本技术被应用到其中的内容提供系统的一个实施例的示范性配置的框图。
图2是示出传送服务器11的示范性配置的框图。
图3是示出客户端12的示范性配置的框图。
图4是描述内容提供系统进行的内容的提供的过程的实例的图。
图5是示出内容提供系统中经由网络10而传送的数据的实例的图。
图6是描述MPD、SDP、USD和OMA-ESG的图。
图7是描述作为DASH文件传送单元的段的配置的图。
图8是示出包含一个片段的段以及包含多个片段的段的示范性配置的图。
图9是示出在DASH中将段用作文件传送单元而进行的内容传送的实例的图。
图10是示出在传送服务器11中将部用作文件传送单元而进行的内容传送的概述的图。
图11是示出段与部之间的关系的实例的图。
图12是充当部60的http响应的实例的图。
图13是充当部70的http响应的实例的图。
图14是描述以部单元进行的内容传送的过程的实例的流程图。
图15是描述以部单元进行的内容接收的过程的实例的流程图。
图16是描述通过使用LCT分组进行的部(和段)的多播传送的图。
图17是示出LCT分组的格式的图。
图18是示出LCT标头的格式的图。
图19是示出以部单元进行的内容传送的实例的图。
图20是示出LCT标头的标头扩展的格式的图。
图21是示出存储优先度参数的新标头扩展的定义的实例的图。
图22是示出优先度参数(筛选参数)的定义的实例的图。
图23是示出MVC筛选器的定义的实例的图。
图24是描述包含优先度参数的LCT分组的传送的过程的实例的流程图。
图25是描述客户端12所执行的分组筛选的过程的实例的流程图。
图26是示出存储解码相关信息的LCT标头的新标头扩展的定义的实例的图。
图27是示出将解码相关信息存储在标头扩展中的LCT分组的第一实例的图。
图28是描述通过使用第一实例的LCT分组以部单元进行的内容传送的过程的实例的流程图。
图29是描述通过使用第一实例的LCT分组以部单元传送的内容的接收的过程的实例的流程图。
图30是示出将解码相关信息存储在标头扩展中的LCT分组的第二实例的图。
图31是描述通过使用第二实例的LCT分组以部单元进行的内容传送的过程的实例的流程图。
图32是示出本技术被应用到其中的计算机的一个实施例的示范性配置的框图。
具体实施方式
<本技术被应用到其中的内容提供系统的一个实施例>
图1是示出本技术被应用到其中的内容提供系统的一个实施例的示范性配置的框图。
在图1中,内容提供系统被配置成使得一个或更多个传送服务器11、一个或更多个客户端12和网络时间协议(NTP)服务器13连接到网络10。
在图1的内容提供系统中,内容使用DASH经由网络10而从传送服务器 11提供到客户端12。
此处,虽然在当前DASH中,假设流式传输自身通过在过顶/内容传送网络(OTT/CDN)上通过单播执行,但图1的内容提供系统不仅单播传送内容,而且例如在蜂窝式网络上在保质的可广播多播网络(eMBMS等)上多播传送内容。
网络10包含可单播且可多播的双向网络,例如,因特网;以及可广播且可多播的广播系统网络。对于网络10来说,例如,可采用第三代合作伙伴 (3GPP)多媒体广播多播服务(MBMS)(包含演进型MBMS(eMBMS)) 等。
传送服务器11例如对应于广播站,并且将作为相同素材的内容的流并具有不同比特率、不同图像大小等的多个流作为广播站的频道(服务)的节目经由网络10来传送。
客户端12经由网络10而接收传送服务器11所传送的内容(的流),并且再现内容。
NTP服务器13经由网络10而提供NTP时间,NTP时间是与世界标准时间(UTC)时间格式相符的时间信息。
传送服务器11和客户端12可与从NTP服务器13提供的NTP时间同步而操作。
应注意,将由传送服务器11传送的节目可以是实时节目(直播节目)或可以是预先录制的节目。
<传送服务器11的示范性配置>
图2是示出图1的传送服务器11的示范性配置的框图。
在图2中,传送服务器11包含频道流式传输器21、分段器22、元数据生成器23、通过单向传输的文件传送(FLUTE)流式传输器24、多播服务器 25和web服务器26。
此处,频道流式传输器21到web服务器26可设置在网络10上的一个位置中,或可按分散式方式设置在网络10上。当频道流式传输器21到web服务器26按分散式方式设置在网络10上时,可不仅经由网络10,而且经由专用线路或任何其它通信线路来执行相互通信。
频道流式传输器21管理充当将作为传送服务器11的频道的节目传送的内容的源数据的视频、音频、字幕等,并且从充当内容的源数据的视频等生成具有不同比特率的多条流式传输数据,并将多条流式传输数据供应到分段器22。
分段器22创建来自频道流式传输器21的每一条流式传输数据在时间方向上被划分而成的段文件,并且将段文件供应到FLUTE流式传输器24和web 服务器26。
具体来说,分段器22划分流式传输数据并因此生成例如fragmentedMP4 片段(moof和mdat),并且收集片段中的一个或更多个以创建段文件。
此外,分段器22将与段相关并且是MPD的生成所需的相关信息供应到元数据生成器23,例如,段的URL(提供段的服务器(例如,传送服务器11) 的URL)和段范围(指示段中所包含的视频等在内容方面的范围的信息)。
此处,代替收集片段的段,分段器22可在片段的生成期间生成由片段的部分构成的部(稍后描述),并且代替段而将部供应到FLUTE流式传输器24。
元数据生成器23使用从分段器22供应的段的相关信息等而生成例如 MBMS用户服务描述(USD)、DASH MPD和因特网工程任务组(IETF)会话描述协议(SDP)(文件)的组合、或开放移动联盟-电子服务指南(OMA-ESG) 作为例如客户端12进行的段的接收所需的内容元数据而与USD、MPD和SDP 相加的组合。
即,元数据生成器23使用从分段器22供应的段的相关信息而生成描述段的URL等并且是客户端12执行段的接收和再现控制所需的MPD。
此外,元数据生成器23将USD和SDP、或USD、SDP和OMA-ESG作为通知内容被多播传送(包含广播传送)的通知信息而生成。
元数据生成器23将元数据供应到FLUTE流式传输器24和web服务器 26。
FLUTE流式传输器24存储以FLUTE分组,即,分层编码传输(LCT) 分组(在本实施例中,LCT分组表示具有LCT标头的分组,并且包含异步分层编码(ALC)分组)从分段器22供应的内容(的段或部),并将LCT分组供应到多播服务器25。
此外,FLUTE流式传输器24以LCT分组存储从元数据生成器23供应的元数据,并且将LCT分组供应到多播服务器25。
多播服务器25经由网络10(FLUTE)多播传送从FLUTE流式传输器24 供应的LCT分组。
此处,因为从FLUTE流式传输器24供应的LCT分组如上所述存储内容 (的段或部)和元数据,所以多播服务器25多播传送内容和元数据。
响应于来自客户端12的请求(http请求),web服务器26经由网络10 而将从元数据生成器23供应的元数据或从分段器22供应的内容(的段)单播传送到客户端12。
如上所述,多播服务器25和web服务器26充当传送内容和元数据的传送单元。
应注意,虽然在图2中,web服务器26单播传送内容的段,但如同多播服务器25,web服务器26可单播传送内容的部,而不是段。
<客户端12的示范性配置>
图3是示出图1的客户端12的示范性配置的框图。
在图3中,客户端12包含接收单元30和再现单元33。
接收单元30充当例如响应于客户端12上的用户操作等接收从传送服务器11接收的内容和元数据的接收单元。
具体来说,接收单元30接收从传送服务器11传送的元数据。此外,接收单元30例如响应于客户端12上的用户操作等并且基于从传送服务器11接收的元数据而接收从传送服务器11传送的内容(的段或部)。
接着,接收单元30将从传送服务器11接收的内容供应到再现单元33,并且基于从传送服务器11接收的元数据而控制再现单元33进行的内容的再现。
再现单元33根据接收单元30进行的控制而再现充当从接收单元30供应的内容的视频、音频、字幕等。
此处,接收单元30包含中间件31和DASH客户端32。
必要时,DASH客户端32将请求MPD的http请求或请求内容的段的http 请求输出到中间件31。
必要时,中间件31接收从传送服务器11多播传送的内容(的段或部) 和元数据。当DASH客户端32输出http请求时,中间件31基于元数据而确定http请求所请求的MPD或段是否被多播传送。
接着,当从DASH客户端32输出的http请求所请求的MPD或段被多播传送时,中间件31接收被多播传送的MPD或段(或包含段的部分的部),并且将MPD或段供应到DASH客户端32。
应注意,当已接收到从DASH客户端32输出的http请求所请求的MPD 或段时,中间件31将已接收的MPD或段供应到DASH客户端32。
另一方面,当从DASH客户端32输出的http请求所请求的MPD或段没有被多播传送时,中间件31将从DASH客户端32输出的http请求按原样发送到网络10(上的传送服务器11)。接着,中间件31接收响应于http请求而 (从传送服务器11)单播传送的MPD或段,并且将MPD或段供应到DASH 客户端32。
因此,如同常用DASH客户端,DASH客户端32输出请求所需MPD或段的http请求,并且接收且处理响应于http请求而从中间件31供应的MPD 或段。
<内容提供系统的过程>
图4是描述图1的内容提供系统进行的内容的提供的过程的实例的图。
在步骤S11中,频道流式传输器21(图2)从充当将作为传送服务器11 的频道的节目传送的内容的源数据的视频等生成具有不同比特率的多条流式传输数据。
接着,在步骤S12中,频道流式传输器21将具有不同比特率的内容的多条流式传输数据供应到分段器22。
在步骤S21中,分段器22(图2)接收从频道流式传输器21供应的内容 (的多条流式传输数据)。
在步骤S22中,分段器22从供应自频道流式传输器21的内容生成作为 DASH文件传送单元的段。在步骤S23中,分段器22将段供应到FLUTE流式传输器24和web服务器26。
此外,在步骤S24中,分段器22生成段的相关信息,并且将段的相关信息供应到元数据生成器23。
在步骤S31中,元数据生成器23(图2)接收在步骤S24中从分段器22 供应的段的相关信息。
接着,在步骤S32中,元数据生成器23使用来自分段器22的相关信息等而生成内容的元数据,并且将元数据供应到FLUTE流式传输器24和web 服务器26。
在步骤S41中,FLUTE流式传输器24(图2)接收在步骤S23中从分段器22供应的内容(的段)。在步骤S42中,FLUTE流式传输器24生成包含内容的LCT分组,并且将LCT分组供应到多播服务器25。
此外,在步骤S43中,FLUTE流式传输器24接收在步骤S32中从元数据生成器23供应的元数据。在步骤S44中,FLUTE流式传输器24生成包含元数据的LCT分组,并且将LCT分组供应到多播服务器25。
在步骤S51中,多播服务器25(图2)接收包含内容并且在步骤S42中从FLUTE流式传输器24供应的LCT分组。在步骤S52中,多播服务器25 接收包含元数据的LCT分组。
接着,在步骤S53中,多播服务器25多播传送包含元数据并且从FLUTE 流式传输器24供应的LCT分组。在步骤S54中,多播服务器25多播传送包含内容并且从FLUTE流式传输器24供应的LCT分组。
在步骤S61中,web服务器26(图2)接收在步骤S23中从分段器22供应的内容(的段)。在步骤S62中,web服务器26接收在步骤S32中从元数据生成器23供应的元数据。
接着,在步骤S63中,当客户端12将请求元数据的http请求发送到web 服务器26时,web服务器26接收http请求。
此后,在步骤S64中,web服务器26将从客户端12发送的http请求所请求的元数据单播传送到客户端12。
此外,在步骤S65中,当客户端12将请求内容(的段)的http请求发送到web服务器26时,web服务器26接收http请求。
此后,在步骤S66中,web服务器26将从客户端12发送的http请求所请求的内容(的段)单播传送到客户端12。
在客户端12(图3)中,在步骤S71中,接收单元30接收在步骤S53中从多播服务器25多播传送的元数据(的LCT分组)。
或者,在客户端12中,在步骤S72中,接收单元30发送请求元数据的 http请求。
在步骤S72中从客户端12发送的http请求如上所述是在步骤S63中由web服务器26接收。在步骤S64中,http请求所请求的元数据被单播传送到客户端12。
在步骤S73中,客户端12的接收单元30接收以上述方式单播传送的元数据。
接着,在步骤S74中,客户端12的接收单元30基于在步骤S71或S73 中接收的元数据而接收在步骤S54中从多播服务器25多播传送的内容(的 LCT分组)。
或者,在客户端12中,在步骤S75中,接收单元30基于在步骤S71或 S73中接收的元数据而发送请求内容的http请求。
在步骤S75中从客户端12发送的http请求如上所述是在步骤S65中由 web服务器26接收。在步骤S66中,http请求所请求的内容被单播传送到客户端12。
在步骤S76中,客户端12的接收单元30接收以上述方式单播传送的内容。
接着,在步骤S77中,客户端12的再现单元33基于元数据(MPD)而再现在步骤S74或S76中由接收单元30接收的内容。
<经由网络10而传送的数据的描述>
图5是示出图1的内容提供系统中经由网络10而传送的数据的实例的图。
在内容提供系统中,例如MPD、SDP、USD和OMA-ESG等元数据和内容(的段或部)被传送到客户端12。
元数据和内容可被多播传送,并且可被单播传送。
对于元数据来说,使用MPD、SDP和USD的组合或OMA-ESG与MPD、 SDP和USD相加的组合。
图6是描述MPD、SDP、USD和OMA-ESG的图。
现在,假设给定的节目是受到关注的感兴趣节目,感兴趣节目的OMA-ESG描述感兴趣节目的详细信息、感兴趣节目的USD的访问方法等。
因此,当客户端12获得感兴趣节目的OMA-ESG时,客户端12可通过参考OMA-ESG中所述的USD的访问方法而获得感兴趣节目的USD。
感兴趣节目的USD描述感兴趣节目的SDP的统一资源标识符(URI)、感兴趣节目的MPD的URI等。
因此,当客户端12获得感兴趣节目的USD时,客户端12可通过参考 USD中所述的SDP和MPD的URI而获得感兴趣节目的SDP和MPD。
感兴趣节目的SDP例如描述用于多播传送感兴趣节目的内容的传输属性,例如,IP地址和端口号。
因此,通过获得感兴趣节目的SDP,可接收基于SDP中所述的IP地址和端口号而多播传送的感兴趣节目的内容。
如上所述,根据USD和SDP的组合或USD、SDP和OMA-ESG的组合,客户端12可识别出内容被多播传送,并且接收被多播传送的内容。
感兴趣节目的MPD描述感兴趣节目的段的URL、控制段的再现所需的信息等。
因此,通过获得感兴趣节目的MPD,可基于MPD中所述的URL通过单播来接收感兴趣节目的段。此外,可基于感兴趣节目的MPD来再现感兴趣节目的段。
即,因为MPD包含控制段的再现所需的信息,所以不仅通过单播接收段需要MPD,而且再现段也需要MPD。
<段的配置>
图7是描述作为DASH文件传送单元的段的配置的图。
此处,将通过DASH传送的内容的格式不受特定限制,但是在本实施例中,例如,fragmentedMP4(文件)用作将通过DASH传送的内容的格式。
段(媒体段)包含styp(段类型)(框)、所需sidx(段索引)(框)以及一个或更多个片段(MP4片段)。
此处,styp被设定为“msdh”或“msix”。当styp是“msdh”时,段不包含sidx。当styp是“msix”时,段包含sidx。在下文中,视需要而省略sidx 的描述。
每一片段包含电影片段(moof)(框)和媒体数据(mdat)(框)。
mdat包含mdat标头和一个或更多个样本。样本是用于访问MP4文件中的媒体数据(例如视频等数据)的最小访问单元。因此,无法以小于样本的单元访问MP4文件中的媒体数据。
moof包含电影片段标头(mfhd)(框)和traf(轨迹片段)(框)。
mfhd存储序号(sequence_number)。sequence_number表示包含 sequence_number的片段的位置。
Traf包含tfhd(轨迹片段标头)(框)、轨迹片段解码时间(tfdt)(框)、轨迹片段行程(trun)(框)、独立样本(sdtp)(框)等。
tfdt存储BaseMediaDecodeTime。BaseMediaDecodeTime表示包含BaseMediaDecodeTime的片段中所包含的样本中的第一样本的呈现时间。
trun存储计算包含trun的片段中所包含的每一样本的呈现时间所需的信息。
图8是示出包含一个片段的段以及包含多个片段的段的示范性配置的图。
图8的A示出包含一个片段的段的示范性配置。
在图8的A中,三个连续段#1、#2和#3中的每一个包含一个片段。
在此状况下,当起始段#1中所包含的一个片段的序号(sequence_number) (下文中,也称为sqn)例如是1时,第二段#2中所包含的一个片段的sqn 例如是相对于先前片段的sqn=1而以1递增的2。此外,第三段#3中所包含的一个片段的sqn例如是相对于先前片段的sqn=2而以1递增的3。
图8的B示出包含多个片段的段的示范性配置。
在图8的B中,段#1包含三个片段。
在此状况下,当段#1中的起始片段的sqn例如是1时,段#1中的第二片段的sqn例如是相对于先前片段的sqn=1而以1递增的2。此外,段#1中的第三片段的sqn例如是相对于先前片段的sqn=2而以1递增的3。
在下文中,为便于描述,段如图8的A所示包含一个片段,除非另有注明。
<将段用作文件传送单元而进行的内容传送>
图9是示出在DASH中将段用作文件传送单元而进行的内容传送的实例的图。
在图9中,多个(例如,三个)样本组#1、#2和#3依序作为形成片段的样本组而生成。接着,在完成片段的最后样本组#3的生成之后,传送服务器 11中的分段器22(图2)生成包含样本组#1到#3被设置在其中的mdat以及样本组#1到#3的moof的片段,并且生成包含片段的段。此后,FLUTE流式传输器24和多播服务器25传送段。
此处,样本组#1、#2和#3中的每一个由一个或更多个样本构成。此外,例如与样本组#1到#3的生成并行地执行样本组#1到#3的moof。
应注意,对于充当片段(样本组#1到#3作为片段的mdat而设置)的内容的范围来说,例如,可采用作为最小可随机访问单元的图片组(GOP)范围。
然而,充当片段的内容的范围不限于GOP范围。
同时,对于GOP时间来说,例如,通常采用约0.5到2秒。因此,当GOP 范围用作充当片段的内容的范围时,在至少等待约0.5到2秒的GOP时间之后,生成moof,并且还生成段。即,段的生成至少需要GOP时间。
因此,当将段用作文件传送单元来执行多播传送时,段的传送需要至少等待生成段所需的GOP时间。
在未来预期具有较高图像质量的运动图像的传送。在此状况下,段的数据的量变得极大。当在等待GOP时间之后传送具有极大量的数据的此段时,可过度使用网络带宽,并且因此可需要整形。
因此,将段用作文件传送单元以客户端进行的内容接收的延迟和缓冲的开始而告终。
因此,传送服务器11将包含小于段的片段的部分的数据(下文中,也称为部)用作文件传送单元,并且多播传送部,并因此迅速传送内容(的数据)。因此,客户端进行的内容接收的延迟和缓冲的开始受到抑制。
<将部用作文件传送单元而进行的内容传送>
图10是示出在传送服务器11中将部用作文件传送单元而进行的内容传送的概述的图。
在图10中,如同在图9的状况下,样本组#1、#2和#3依序作为形成片段的样本组而生成。
然而,在图10中,包含样本组#1并且充当文件传送单元的部在不等待完成片段的最后样本组#3的生成的情况下并且在已生成样本组#1的时间点,在传送服务器11的分段器22(图2)处生成,并且在FLUTE流式传输器24与多播服务器25处多播传送。
此外,在图10中,包含样本组#2并且充当文件传送单元的部在已生成下一样本组#2的时间点,在分段器22处生成,并且在FLUTE流式传输器24 与多播服务器25处多播传送。
接着,包含样本组#3并且充当文件传送单元的部在分段器22完成片段的最后样本组#3的生成时,在分段器22处生成,并且在FLUTE流式传输器24 与多播服务器25处多播传送。
如上所述,通过生成小于段并包含作为片段的部分的样本组(在图10中,样本组#1、#2和#3中的每一个)的部,并且多播传送部,内容被迅速传送,从而使得能够抑制客户端进行的内容接收的延迟和缓冲的开始。
此处,当样本组#1到#3例如是单GOP数据时,样本组#1对应于GOP 中首先编码的I图片的数据。接着,样本组#2对应于在GOP的I图片之后编码的一个或更多个P图片或B图片的数据,并且样本组#3对应于GOP的剩余P图片或B图片的数据。
<部>
图11是示出段与部之间的关系的实例的图。
图11的A示出段的实例。
在图11的A中,段50包含styp 51和(一个)片段52。
片段52由moof 53和mdat 54构成。
如图7所述,moof 53至少存储片段52的序号sqn;以及表示片段52的 mdat 54中的第一样本(在图11的A中,样本组56中的第一样本)的呈现时间的BaseMediaDecodeTime(下文中,也称为bmdt)。
此处,在图11的A中,片段52的序号sqn被设定为1。
mdat 54将mdat标头55和三个样本组56、57和58以此次序存储。样本组56到58分别对应于例如图10的样本组#1到#3。
mdat 54中所存储的三个样本组56到58中的第二样本组57中的第一样本是从起始样本组56的顶部起的第n1样本。
此外,三个样本组56到58中的第三样本组58中的第一样本是从起始样本组56的顶部起的第n2(>n1)样本。
此处,下文中,mdat中所存储的给定样本相对于mdat的第一样本所处的部也称为样本号。
在图11的A中,样本组57中的第一样本的样本号是n1,并且样本组58 中的第一样本的样本号是n2。
图11的B、C和D示出在生成图11的A中的段50时,包含段50中所包含的片段52的部分的部的实例。
具体来说,图11的B示出包含作为片段52的部分的样本组56的部的实例。此外,图11的C示出包含作为片段52的另一部分的样本组57的部的实例,并且图11的D示出包含作为片段52的又一部分的样本组58的部的实例。
在图11中,http响应(文件)被用作部(文件)。
在图11的B中,部60是包含片段52的起始样本组56的http响应。在部60中,http标头61、MS/BR 62、styp 51、moof子集64、MS/BR 65、mdat 标头55、MS/BR 66、样本组56和MS67是以此次序设置。MS/BR 62到MS 67构成消息体。
http标头61是指示消息体是多部分消息体的http标头。http标头61包含序号sqn、版本v和NTP时间nt。
http标头61中的序号sqn被设定为与包含部60中所包含的样本组56(充当片段52的部分)的片段52的moof 53中所存储的序号sqn相同的1。
版本v表示充当片段的部分并且包含在包含版本v的部中的样本组在片段中的位置。版本v例如是针对相同序号sqn(在sqn范围中)以1递增的整数,其中起始值是1。
包含在将版本v包含在http标头61中的部60中的片段52的部分是样本组56,并且样本组56在片段52中的位置是第一位置,并且因此,http标头 61中的版本v被设定为1。
应注意,在段例如如图9所示包含三个片段作为多个片段并且三个片段的序号分别是1、2和3的状况下,当例如生成各自包含将每一片段的样本组一分为二而获得的样本组的六个(=3×2)部时,相应六个部的序号sqn和版本v的集合(sqn,v)分别是(1,1)、(1,2)、(2,1)、(2,2)、(3,1)和(3,2)。
http标头61中的NTP时间nt表示对应于其部分(样本组56)包含在包含NTP时间nt的部60中的片段52的moof 53中所存储的 BaseMediaDecodeTime(bmdt)的NTP时间NT,即,bmdt表示片段52的第一样本(样本组56中的第一样本)的呈现时间。
MS/BR 62表示多部分分隔符以及紧接此后设置的styp 51的字节范围。
MS/BR 63表示多部分分隔符以及紧接此后设置的moof子集64的字节范围。
moof子集64是可直到生成片段52的三个样本组56到58中的设置在部 60中的第一(起始)样本组56为止生成的moof 53的子集。moof子集64包含moof 53中所存储的序号sqn和bmdt。
根据作为moof 53的子集并且可直到生成样本组56为止生成的moof子集64,可再现样本组56。
MS/BR 65表示多部分分隔符以及紧接此后设置的mdat标头55的字节范围。
MS/BR 66表示多部分分隔符以及紧接此后设置的样本组56的字节范围。
MS 67表示多部分分隔符。
应注意,虽然在图11的B中,styp 51包含在包含片段52的起始样本组 56的部60中,但不同于部60的http响应中所包含的styp 51(此外,未示出的sidx)可被传送。
在图11的C中,部70是包含片段52的第二样本组57的http响应。在部70中,http标头71、MS/BR 72、moof子集73、MS/BR 74、样本组57和 MS 75是以此次序设置。MS/BR 72到MS75构成消息体。
http标头71是指示消息体是多部分消息体的http标头。http标头71包含序号sqn、版本v和NTP时间nt以及样本计数开始SampleCountStart(scs)。
http标头71中的序号sqn被设定为与包含部70中所包含的样本组57(充当片段52的部分)的片段52的moof 53中所存储的序号sqn相同的1。
http标头71中的版本v被设定为2。即,因为部70包含片段52的样本组56到58中的第二样本组57,所以http标头71中的版本v被设定为2。
http标头71中的NTP时间nt表示对应于其部分(样本组57)包含在包含NTP时间nt的部70中的片段52的moof 53中所存储的bmdt的NTP时间。 http标头71中的NTP时间nt与http标头61中的NTP时间nt=NT相同。
样本计数开始scs表示包含样本计数开始scs的部中所包含的样本组中的第一样本相对于片段的第一样本的位置。
部70所包含的样本组57中的第一样本如图11的A所述是从起始样本组 56的顶部起的第n1样本,并且因此,http标头71中的样本计数开始scs被设定为n1。
MS/BR 72表示多部分分隔符以及紧接此后设置的moof子集73的字节范围。
moof子集73是可直到生成片段52的三个样本组56到58中的设置在部 70中的第二样本组57为止生成的moof 53的子集。moof子集73包含moof 53 中所存储的序号sqn和bmdt。
在作为moof 53的子集并且可直到生成样本组57为止生成的moof子集 73中,再现样本组57所需的信息与直到生成样本组56为止生成的moof子集64相加。因此,根据moof子集73,可再现样本组57并且还再现直到生成样本组57为止生成的样本组56。
MS/BR 74表示多部分分隔符以及紧接此后设置的样本组57的字节范围。
MS 75表示多部分分隔符。
在图11的D中,部80是包含片段52的第三样本组58的http响应。在部80中,http标头81、MS/BR 82、moof子集83、MS/BR 84、样本组58和 MS 85是以此次序设置。MS/BR 82到MS85构成消息体。
http标头81是指示消息体是多部分消息体的http标头。http标头81包含序号sqn、版本v和NTP时间nt以及样本计数开始scs。
http标头81中的序号sqn被设定为与包含部80中所包含的样本组58(充当片段52的部分)的片段52的moof 53中所存储的序号sqn相同的1。
http标头81中的版本v被设定为3。即,因为部80包含片段52的样本组56到58中的第三样本组58,所以http标头81中的版本v被设定为3。
此外,因为部80中所包含的样本组58是片段52的最后样本组,即,因为样本组58是具有序列号sqn 1的最后样本组,所以http标头81中的版本v 被设定为3和“-end”,其中3是样本组58在片段52中的位置,并且“-end”是指示样本组是片段的最后样本组的信息。
因此,例如接收部的客户端12可通过版本v而识别出部中所包含的样本组(充当片段的部分)的位置以及样本组是否是片段的最后样本组。
http标头81中的NTP时间nt表示对应于其部分(样本组58)包含在包含NTP时间nt的部80中的片段52的moof 53中所存储的bmdt的NTP时间。 http标头81中的NTP时间nt与http标头61和71中的NTP时间nt=NT相同。
样本计数开始scs如上所述表示包含样本计数开始scs的部中所包含的样本组中的第一样本相对于片段的第一样本的位置。
因此,http标头81中的样本计数开始scs被设定为n2。即,因为部80 中所包含的样本组58中的第一样本如图11的A所述是从起始样本组56的顶部起的第n2样本,所以http标头81中的样本计数开始scs被设定为n2。
MS/BR 82表示多部分分隔符以及紧接此后设置的moof子集83的字节范围。
moof子集83是可直到生成片段52的三个样本组56到58中的设置在80 中的第三样本组58为止生成的moof 53的子集。moof子集83包含moof 53 中所存储的序号sqn和bmdt。
此处,moof子集83是可直到生成部80中所设置的第三样本组58(即,片段52的最后样本组58)为止生成的moof 53的子集,并且因此,等于moof 53。
如上所述,因为作为可直到生成样本组58为止生成的moof 53的子集的 moof子集83等于moof 53,所以根据moof子集83,可再现样本组58并且还再现直到生成样本组58为止生成的样本组56和57。
MS/BR 84表示多部分分隔符以及紧接此后设置的样本组58的字节范围。
MS 85表示多部分分隔符。
如上所述,因为作为http响应的部在http标头中包含序号sqn和版本v,所以已接收部的客户端12(其它设备)可执行再现以使得部中所包含的样本组在片段中的位置是基于序号sqn和版本v来识别,或执行再现以使得段在必要时形成。
此外,部包含作为再现部中所包含的样本组所需的moof信息的moof子集。因此,客户端12可在接收形成段的所有部(样本组)之前并且在已接收一个部的时间点,当所述一个部中所包含的样本组是可独立再现的样本组(例如,I图片样本组)时或当样本组可使用已接收的样本组而再现时,开始一个所接收部中所包含的样本组的再现。
应注意,版本v可与序号sqn一起包含在moof子集中。然而,当版本v 与序号sqn一起包含在moof子集中时,现有moof定义需要扩展以便将版本 v包含在moof中。另一方面,当版本v包含在http标头中时,不需要扩展现有moof定义。
此外,在图11中,分别包含片段52的第二样本组57和后续样本组58 的部70和80的http标头71和81包含样本计数开始scs,并且包含片段52 的起始样本组56的部60的http标头61不包含样本计数开始scs;然而,样本计数开始scs还可包含在包含片段52的起始样本组56的部60的http标头 61中。
然而,片段的起始样本组中的第一样本相对于片段的第一样本的位置始终是1并且是固定值,并且因此,对于包含片段的起始样本组的部的http标头(具有版本v 1的http标头)来说,如图11的B所示,样本计数开始scs 可被省去。因此,可减小http标头的大小。
此外,作为http响应的部可将对应于片段的moof中所存储的bmdt(bmdt 表示片段的第一样本的呈现时间)的NTP时间nt包含在http标头中。因此,即使在对应MPD在客户端12接收部时不可用的情况下,客户端12也可再现部中所包含的样本组。
即,内容包含例如再现定时需要在NTP时间所表示的绝对时间的时间轴上进行控制的内容,例如,直播节目。对于此内容的样本来说,需要计算充当映射(显示)每一样本的绝对时间的NTP时间。
此处,可根据下式来计算片段的第N样本的呈现时间(第N样本的PresentationTime(CompositionTime))。
第N样本的PresentationTime(CompositionTime)=
BaseMediaDecodeTime+(N-1)个样本的SampleDuration的总和+第N 样本的CompositionTimeOffset
应注意,可从片段的moof中所存储的信息(sampleCount、SampleDuration 和CompositionTimeOffset)获得(N-1)个样本的SampleDuration的总和以及第 N样本的CompositionTimeOffset,并且BaseMediaDecodeTime是作为bmdt 而存储在moof中。
如果已知对应于用于计算样本的呈现时间的BaseMediaDecodeTime的 NTP时间,那么可获得样本的绝对时间。
DASH MPD描述对应于作为开始点的BaseMediaDecodeTime(BaseMediaDecodeTime=0)的NTP时间,并且因此,当例如MPD的获得得以确保时,http标头不需要包含对应于片段的moof中所存储的bmdt的NTP 时间nt。
然而,通过将对应于片段的moof中所存储的bmdt(表示片段的第一样本的呈现时间的bmdt)的NTP时间nt包含在http标头中,当客户端12接收部时,即使在对应MPD不可用的状况下,客户端12也可基于部的http标头中所包含的NTP时间而计算充当部中所包含的样本组中的相应样本的绝对时间的NTP时间,并且可根据NTP时间来再现样本。
此外,作为http响应的部可将表示部中所包含的样本组中的第一样本相对于片段的第一样本的位置的样本计数开始scs包含在http标头中。因此,即使在形成段的多个部(分别包含段中所包含的多个样本组的多个部)中的一个遗失的情况下,也可再现遗失的部之后的部(中所包含的样本组)。
即,当确保客户端12接收形成段的所有多个部时,即使在不存在样本计数开始scs的情况下,也可识别指示每一部的每一样本相对于片段的第一样本所处的位置的样本号,并且基于样本号,从moof子集获得再现样本所需的信息,并且可再现样本。
然而,当形成段的多个部中的一个遗失时,对于遗失的部之后的部中所包含的样本来说,如果样本计数开始scs不可用,那么,无法识别样本号,从而使得难以执行再现。
通过将样本计数开始scs包含在部的http标头中,即使在形成段的多个部中的一个遗失的情况下,对于遗失的部之后的部中所包含的样本来说,通过样本计数开始scs来识别样本号,并且因此可执行再现。
此外,部包含作为moof 53的子集并且可直到生成部中所包含的样本组为止生成的moof子集。因此,已接收部的客户端12可基于部中所包含的moof 子集而开始所接收部中所包含的样本组的再现,而不等待后续部。
应注意,除上述之外,部的http标头可例如包含文件传送表(FDT),FDT 是将由多播传送部的FLUTE传送的各种属性信息。在此状况下,客户端12 可将部的http标头中所包含的FDT用于将FLUTE多播传送的数据的接收。
图12是充当图11的部60的http响应的描述的实例的图。
描述100是http标头61,并且http标头61的描述101中的“X-MoofSeqNumVersion”以及描述102中的“X-NTPTimeStamp”是新定义的标头。
描述101中的“X-MoofSeqNumVersion”是表示序号sqn和版本v的标头,并且具有表示序号的变量sqn和表示版本的变量v。变量sqn被设定为作为片段52的序号sqn的1,并且变量v被设定为作为部60中所包含的样本组56 在片段52中的位置的1。
描述102中的“X-NTPTimeStamp”是表示NTP时间nt(对应于BaseMediaDecodeTime)的标头。在图12中,“X-NTPTimeStamp”作为对应于表示片段52的第一样本(样本组56中的第一样本)的呈现时间的bmdt的 NTP时间NT而被设定为2890844526。
描述103是MS/BR 62,并且描述103中的“SEPARATER_STRING”表示多部分分隔符。此外,描述103中的“Content-range:bytes 492-499/124567654”表示紧接此后的styp 51的字节范围。
此处,描述103中的“Content-range:bytes 492-499/124567654”指示片段大小是124567654个字节,并且紧接此后的styp 51具有124567654个字节中的第492-499字节。
描述103之后是styp 51的字节序列。
styp 51的字节序列之后的描述104是MS/BR 63,并且描述104中的“Content-range:bytes 500-991/124567654”表示紧接此后的moof子集64的字节范围。
此处,对于moof子集的字节范围来说,在包含片段的起始样本组的部(在图11中,部60)的生成时,片段的moof(在图11中,moof 53)的字节范围被预测,并且moof的字节范围的预测值被用作包含片段的样本组的相应部 (在图11中,部60、70和80)的moof子集的字节范围。因此,部60的 moof子集64、部70的moof子集73和部80的moof子集83的字节范围具有相同值(moof 53的字节范围的预测值)。
描述104之后是moof子集64的字节序列。
moof子集64的字节序列之后的描述105是MS/BR 65,并且描述105中的“Content-range:bytes 992-999/124567654”表示紧接此后的mdat标头55 的字节范围。
描述105之后是mdat标头55的字节序列。
mdat标头55的字节序列之后的描述106是MS/BR 66,并且描述106中的“Content-range:bytes 1000-4999/124567654”表示紧接此后的样本组56的字节范围。
描述106之后是样本组56的字节序列。
样本组56的字节序列之后的描述107是MS 67。
图13是充当图11的部70的http响应的描述的实例的图。
描述120是http标头71,并且http标头71的描述121中的“X-MoofSeqNumVersion”、描述122中的“X-NTPTimeStamp”以及描述123 中的“X-SampleCountStart”是新定义的标头。
描述121中的“X-MoofSeqNumVersion”如图12所述是表示序号sqn和版本v的标头。表示序号的变量sqn被设定为作为片段52的序号sqn的1,并且表示版本的变量v被设定为作为部70中所包含的样本组57在片段52中的位置的2。
描述122中的“X-NTPTimeStamp”如图12所述是表示NTP时间nt的标头,并且作为对应于表示片段52的第一样本的呈现时间的bmdt的NTP时间 nt而被设定为与图11的状况相同的2890844526。
描述123中的“X-SampleCountStart”是表示样本计数开始scs的标头。在图13中,“X-SampleCountStart”被设定为片段70中所包含的样本组57中的第一样本的样本号n1。
描述124是MS/BR 72,并且描述124中的“Content-range:bytes 500-991/124567654”表示紧接此后的moof子集73的字节范围,并且与图12 的描述105中的moof子集64的字节范围相同(moof 53的字节范围的预测值)。
描述124之后是moof子集73的字节序列。
moof子集73的字节序列之后的描述125是MS/BR 74,并且描述125中的“Content-range:bytes 5000-7999/124567654”表示紧接此后的样本组57的字节范围。
描述125之后是样本组57的字节序列。
样本组57的字节序列之后的描述126是MS 75。
图11的部80是以类似于图13的部70的方式配置。
<以部单元进行的内容传送>
图14是描述以部单元进行的内容传送的过程的实例的流程图。
在步骤S101中,在样本组将被生成的片段(例如,图11的片段52)作为感兴趣片段的情况下,传送服务器11的分段器22(图2)生成感兴趣片段的mdat标头和起始样本组,并且处理进行到步骤S102。
在步骤S102中,分段器22生成起始样本组的http标头(例如,图11的 http标头61),并且处理进行到步骤S103。
具体来说,分段器22生成包含以下各者的http标头作为起始样本组的http 标头:与感兴趣片段的moof中所存储的序号相同的序号sqn;表示起始样本组在感兴趣片段中的位置的版本v 1;以及对应于感兴趣片段的moof中所存储的bmdt的NTP时间nt。
在步骤S103中,分段器22获得可直到生成起始样本组为止生成的感兴趣片段的moof的部分(再现起始样本组所需的moof的部)作为起始样本组的moof子集,并且处理进行到步骤S104。
在步骤S104中,分段器22将起始样本组的http标头与包含感兴趣片段的段的styp(和所需sidx)、起始样本组的moof子集、感兴趣片段的mdat标头和起始样本组相加,并且因此生成充当部的http响应,并将http响应供应到FLUTE流式传输器24,并且处理进行到步骤S105。
此处,当包含感兴趣片段的段包含多个片段并且感兴趣片段并非多个片段中的起始片段时,充当部并且在步骤S104中生成的http响应不包含styp(和所需sidx)。
在步骤S105中,FLUTE流式传输器24将充当部并且从分段器22供应的http响应分组化为LCT分组,并且多播服务器25多播传送LCT分组,并且处理进行到步骤S106。
在步骤S106中,分段器22生成感兴趣片段的下一样本组作为感兴趣样本组,并且处理进行到步骤S107。
在步骤S107中,分段器22生成感兴趣样本组的http标头(例如,图11 的http标头71或81),并且处理进行到步骤S108。
具体来说,分段器22生成包含以下各者的http标头作为感兴趣样本组的 http标头:与感兴趣片段的moof中所存储的序号相同的序号sqn;表示感兴趣样本组在感兴趣片段中的位置的版本v;对应于感兴趣片段的moof中所存储的bmdt的NTP时间nt;以及表示第一样本在感兴趣样本组中的样本号的样本计数开始scs。
在步骤S108中,分段器22获得可直到生成感兴趣样本组为止生成的并且是再现感兴趣样本组(以及直到生成感兴趣片段的感兴趣样本组为止生成的样本组)所需的感兴趣片段的moof的部分作为感兴趣样本组的moof子集,并且处理进行到步骤S109。
在步骤S109中,分段器22将感兴趣样本组的http标头与感兴趣样本组的moof子集和感兴趣样本组相加,并且因此生成充当部的http响应,并将 http响应供应到FLUTE流式传输器24,并且处理进行到步骤S110。
在步骤S110中,如同步骤S105,FLUTE流式传输器24将充当部并且从分段器22供应的http响应分组化为LCT分组,并且多播服务器25多播传送 LCT分组,并且处理进行到步骤S111。
在步骤S111中,分段器22确定感兴趣样本组是否是感兴趣片段的最后样本组。
如果在步骤S111中确定感兴趣样本组不是感兴趣片段的最后样本组,即,如果感兴趣片段具有感兴趣样本组之后的下一样本组,那么处理返回到步骤 S106,并且类似过程在感兴趣样本组之后的下一样本组作为新的感兴趣样本组的情况下重复。
此外,如果在步骤S111中确定感兴趣样本组是感兴趣片段的最后样本组,那么处理返回到步骤S101,并且此后,类似过程例如在感兴趣片段之后的下一片段作为新的感兴趣片段的情况下重复。
<以部单元进行的内容接收>
图15是描述以部单元进行的内容接收的过程的实例的流程图。
在步骤S121中,客户端12的接收单元31(图3)等待充当部的http响应被多播传送,并接收充当部的http响应,并且处理进行到步骤S122。
在步骤S122中,再现单元33必要时使用http响应中所包含的moof子集以及包含在http响应的http标头中的序号sqn、版本v、NTP时间nt和样本计数开始scs来再现充当部并且由接收单元31接收的http响应中所包含的样本组。
接着,处理从步骤S122返回到步骤S121,并且此后,类似过程重复。
如上所述,传送服务器11在不等待生成段的情况下并且在已生成作为段中所包含的片段的部分的样本组的时间点,传送充当包含样本组的部的http 响应。因此,传送服务器11可迅速传送内容。
因此,客户端12进行的内容接收的延迟和缓冲的开始可受到抑制。
<LCT分组>
图16是描述通过使用LCT分组进行的部(和段)的多播传送的图。
FLUTE流式传输器24将部(和段)分组化为LCT分组,并且多播服务器25多播传送LCT分组。
FLUTE流式传输器24将部分组化为LCT分组是通过例如如图16所示将部划分为预定大小的一个或更多个小条并且将每一小条存储在LCT分组中来执行。
图17是示出LCT分组的格式的图。
LCT分组是由LCT标头、FEC净荷ID和编码符号构成,其中它们是以此次序设置。
部(的一小条)作为编码符号而存储在LCT分组中。
图18是示出LCT标头的格式的图。
LCT标头包含传输会话标识符(TSI)、传输对象标识符(TOI)和所需标头扩展。
TSI是对LCT分组的会话进行标识的标识符。例如,针对包含样本组56、 57和58的部60、70和80中的每一个被分组化而成的LCT分组的TSI而设定相同值,样本组56、57和58最初被假设为在一个段50(图11)中传送。
TOI是对数据存储在LCT分组的编码符号中的对象进行标识的标识符。例如,针对将部60被划分而成的小条存储在编码符号中的LCT分组的TOI 而设定相同值。
然而,例如,将部60被划分而成的小条存储在编码符号中的LCT分组以及将部70被划分而成的小条存储在编码符号中的LCT分组在数据(小条) 存储在编码符号中的对象方面彼此不同,并且因此,部60和70具有不同TOI。
客户端12接收具有相同TOI的LCT分组,并且因此收集LCT分组中所存储的部的小条,并且因此可重构原始部。
图19是示出以部单元进行的内容传送的实例的图。
在图19中,给定片段包含样本组#1、#2、#3、……。
接着,样本组#1是例如不参考其它视角的基本视角(基本层/视角)视频,并且样本组#2、#3、……是例如可参考例如基本视角等其它视角的非基本视角(增强层/视角)。
在以部单元进行的内容传送中,传送服务器11生成包含样本组#i的部#i (i=1、2、3……)。接着,部#i被划分为小条,部#i的小条存储在LCT分组 #i中并被传送。
因为存储给定部#i的小条的LCT分组#i的TOI具有相同值,所以客户端 12接收LCT分组,并且收集所接收LCT分组中具有相同TOI的LCT分组中所存储的部#i的小条,并且因此可重构原始部#i。
此处,如上所述,在图19中,部#1中所包含的样本组#1是基本视角视频,并且样本组#2、#3、……是非基本视角视频。
当如上所述,部中所包含的样本组是可通过某一种准则(例如,基本视角视频或非基本视角视频)来分类的数据(处理单元),选择LCT分组的分组筛选可以以部(中所包含的样本组)为单位来执行。
即,当例如由于例如传送LCT分组的网络环境的改变而难以将充足的资源(包含最终接收LCT分组的客户端12的资源)分配给LCT分组传送时, LCT分组的传送路径上的路由器(例如,FLUTE多播路由器)或客户端12 的网络堆栈(处理LCT分组的块)可仅选择最少必要的或具有高处理优先度的LCT分组,并且执行过程(例如传输和堆栈等过程)。
明确地说,使用例如网络环境存在大量改变的蜂窝式网络进行的内容传送高度需要仅选择和处理最少必要的LCT分组或具有高处理优先度的LCT 分组的分组筛选技术,例如上文所述的技术。
对于执行以部单元选择LCT分组的分组筛选的方法来说,存在如下方法:部的http标头包含例如指示部中所包含的样本例如是基本视角视频或非基本视角视频的样本组的属性信息(例如,FDT等),并且存储包含样本组的部(的小条)的LCT分组是基于样本组的属性信息来选择。
然而,将部中所包含的样本组的属性信息包含在部的http标头中需要每次执行分组筛选时,从LCT分组重构原始部,以便识别样本组的属性信息。因此,难以有效地执行分组筛选。
因此,在传送服务器11中,FLUTE流式传输器24生成具有包含表示LCT 分组处理的优先度的优先度参数的LCT标头的LCT分组,并且多播服务器 25可多播传送具有包含优先度参数的LCT标头的LCT分组。在此状况下,可执行有效分组筛选,并且因此可迅速传送或处理所需LCT分组。
<优先度参数>
在本技术中,LCT标头被扩展成使得优先度参数可存储在LCT标头的标头扩展中,因此优先度参数包含在LCT标头中。
图20是示出图18的LCT标头的标头扩展的格式的图。
表示标头扩展的类型(作为HEC存储在标头扩展中的实际数据的类型) 的标头扩展类型(HET)存储在标头扩展的前8个比特中。
当8比特HET是127或更小时,8比特标头扩展长度(HEL)存储在HET 之后。在HEL中,表示32×N个比特的标头扩展的长度的值N被设定。
接着,具有32×N-8-8个比特的可变长度的标头扩展内容(HEC)存储在HEL之后。HEC是标头扩展的实际数据。
另一方面,当8比特HET是128或更大时,32-8比特HEC存储在HET 之后。
对于HET来说,一些值已被指定,但在本实施例中,尚未指定的值用于 HET,因此,存储优先度参数的新标头扩展被定义。
图21是示出存储优先度参数的新标头扩展的定义的实例的图。
新标头扩展由8比特HET、8比特HEL、8比特筛选方案URI、8比特筛选参数长度和8×FPLN比特筛选参数构成,其中它们是以此次序设置。
新标头扩展的HET作为指示优先度参数存储在标头扩展中的值而被设定为例如120。在此状况下,因为HET是127或更小,所以如图20所示,HEL 设置在HET之后。
HEL被设定为处于0到255的范围中的整数值HELN。对于整数值HELN 来说,采用32×HELN是标头扩展的长度的值。
筛选方案URI是定义筛选参数的方案标识符(SchemeURI)。
筛选参数长度被设定为处于0到255的范围中的整数值FPLN。对于整数值FPLN来说,采用32×FPLN是筛选参数的长度的值。
筛选参数是优先度参数,并且其定义(结构)由筛选方案URI标识。
图22是示出优先度参数(筛选参数)的定义的实例的图。
例如,筛选方案URI=1000表示图22的定义。
在图22中,优先度参数(筛选参数)是64比特,并且由8比特轨迹参考索引、8比特优先度、8比特依赖度计数器、8比特MVC筛选器长度和32 比特MVC筛选器构成,其中它们是以此次序设置。
轨迹参考索引被设定为处于0到255的范围中的整数值中的值,所述值标识充当片段的部分并且存储在LCT分组中的样本组(小条存储在LCT分组中的部中所包含的样本组)所属的轨迹(MP4文件中的轨迹)。
根据充当优先度参数的轨迹参考索引,例如,可执行分组筛选,其中优先选择并处理存储包含属于预定轨迹的样本组的部的小条的LCT分组。
针对具有相同TOI的LCT分组的每一集合而设定优先度。优先度被设定为表示具有每一TOI值的LCT分组的处理的优先度的索引。
针对优先度而设定的索引是对LCT分组处理的优先度进行排名的处于0 到255的范围中的整数值。例如,索引的值越大,优先度越低。
根据充当优先度参数的优先度,例如,可执行分组筛选,其中优先选择并处理具有被设定为具有低于或等于预定值的优先度的TOI的LCT分组。
依赖度计数器被设定为受包含依赖度计数器的LCT分组影响的后续LCT 分组的数量K。在依赖度计数器=K的状况下,具有依赖度计数器=K的 LCT分组之后的K个LCT分组的过程取决于具有依赖度计数器=K的LCT 分组的过程。
根据充当优先度参数的依赖度计数器,例如,可执行分组筛选,其中优先选择并处理具有依赖度计数器1或更大的LCT分组,即,影响后续一个或更多个LCT分组的LCT分组。
MVC筛选器长度采用布尔值,并且当真时,指示存在后续MVC筛选器。
MVC筛选器是用于执行筛选的信息,其中当小条存储在LCT分组中的部中所包含的样本组是多视角视频编码(MVC)数据时,MVC数据被选择。
对于MVC筛选器来说,例如,可采用priority_id(PRID)、temporal_id (TID)和View_id(VID)中的一个或更多个,它们被定义为将存储在RTP 分组中的MVC网络抽象层(NAL)单元标头。
图23是示出MVC筛选器的定义的实例的图。
32比特MVC筛选器由6比特priority_id(PRID)、3比特temporal_id (TID)、10比特View_id(VID)和13比特预留构成,其中它们是以此次序设置。
PRID、TID、VID和预留被如下定义。
PRID:6个比特
priority_id。此标记指定NAL单元的优先度标识符。PRID的较低值指示较高优先度。
TID:3个比特
temporal_id。此分量指定时间层(或帧率)层次结构。非正式地说,由具有较小temporal_id的视角分量组成的时间层对应于较低帧率。
给定时间层通常取决于较低时间层(即,具有较低temporal_id值的时间层),但绝不取决于任何较高时间层(即,具有较高temporal_id值的时间层)。
VID:10个比特
view_id。此分量指定NAL单元所属的视角的视角标识符。
预留:13个比特
(用于未来扩展的预留比特)
PID表示NAL单元(小条存储在LCT分组中的部中所包含的样本组是 NAL单元时的NAL单元)的优先度。PID越小,NAL单元的优先度越高。
TID表示视频(小条存储在LCT分组中的部中所包含的样本组是视频(数据)时的视频)的时间层(或帧率)。具有较小TID的层具有较低帧率。给定层可取决于具有比所述层小的TID的较低层,但绝不取决于具有较大TID的较高层。
VID表示NAL单元所属的视角。
预留是用于未来的预留比特。
根据MVV筛选器(例如,上文所述的筛选器),例如,可执行分组筛选,其中当LCT分组包含充当视频的NAL单元(的部分)时,基于PID来优先选择并处理包含具有高优先度的NAL单元的LCT分组。
此外,例如,可执行分组筛选,其中基于TID来优先选择并处理包含时间层小于或等于预定层的视频(的NAL单元),即,充当时间分辨率的帧率小于或等于预定值的视频(的NAL单元)的LCT分组。
此外,例如,可执行分组筛选,其中基于VID来优选选择并处理包含预定视角的视频(的NAL单元)的LCT分组。
除上述之外,对于优先度参数来说,可采用各种信息。
具体来说,例如,当LCT分组包含运动图像和静止图像中的任一个的视频时,指示视频是运动图像或静止图像的信息可用作优先度参数。在此状况下,可执行分组筛选,其中优先选择并处理包含运动图像或静止图像的视频的LCT分组。
此外,例如,当LCT分组包含不参考其它层的基本层以及可参考其它层的一个或更多个非基本层中的任一个的视频时,指示视频层的信息可用作优先度参数。在此状况下,例如,可执行分组筛选,其中优先选择并处理包含基本层视频的LCT分组。
此外,例如,当LCT分组包含多个视角中的任一个的视频时,指示视频视角的信息可用作优先度参数。在此状况下,例如,可执行分组筛选,其中优先选择并处理包含用户期望的视角的视频(例如,在棒球广播中,从例如一垒侧、三垒侧和挡网侧等多个位置拍摄的多个视角的视频中的从挡网侧拍摄的视角的视频)的LCT分组。
此外,例如,当LCT分组包含多个分辨率中的任一个的视频时,指示分辨率的信息可用作优先度参数。在此状况下,例如,可执行分组筛选,其中优先选择并处理包含预定分辨率(或更小)的视频的LCT分组。对于指示分辨率并且充当优先度参数的信息来说,可采用时间分辨率和空间分辨率中的任一个或两条信息。
应注意,可不仅基于一种类型的优先度参数,而且基于多种类型的优先度参数来执行分组筛选。
具体来说,例如,在分组筛选中,基于例如充当优先度参数的指示视频视角的信息和指示分辨率的信息,可优先选择并处理包含预定视角和预定分辨率的视频的LCT分组。
<包含优先度参数的LCT分组的传送的过程>
图24是描述包含优先度参数的LCT分组的传送的过程的实例的流程图。
在步骤S201中,传送服务器11的FLUTE流式传输器24(图2)基于 LCT分组(图17)的编码符号中所存储的数据(从分段器22供应的部的小条)、传送服务器11的操作员的操作等而设定优先度参数,并且处理进行到步骤S202。
在步骤S202中,FLUTE流式传输器24生成包含步骤S201中所设定的优先度参数的标头扩展(图21)(图22),并且处理进行到步骤S203。
在步骤S203中,FLUTE流式传输器24生成具有包含步骤S202中所生成的标头扩展的LCT标头(图18))并且具有从分段器22供应并设置在编码符号中的部的小条的LCT小组(图17),并将LCT分组供应到多播服务器25,并且处理进行到步骤S204。
在步骤S204中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组,并且处理返回到步骤S201,并且此后,类似过程重复。
<分组筛选的过程>
图25是描述客户端12(接收被多播传送的LCT分组的其它设备,例如,路由器)所执行的分组筛选的过程的实例的流程图。
在步骤S211中,客户端12的接收单元30(图3)基于网络环境和设备 (客户端12)的资源、用户操作、用户偏好等而设定作为在处理LCT分组时使用的阈值的优先度(下文中,也称为阈值优先度),并且处理进行到步骤 S212。
在步骤S212中,接收单元30等待LCT分组被多播传送,并接收LCT 分组,并且处理进行到步骤S213。
在步骤S213中,接收单元30基于步骤S212中所接收的LCT分组的LCT 标头中所包含的优先度参数和步骤S211中所设定的阈值优先度而执行确定是允许还是拒绝LCT分组处理的允许/拒绝确定,并且处理进行到步骤S214。
在步骤S214中,接收单元30根据步骤S213中的允许/拒绝确定的确定结果而选择LCT分组,因此,处理针对具有优先度低于阈值优先度的优先度参数的LCT分组而停止,并且处理针对具有优先度高于或等于阈值优先度的优先度参数的LCT而继续。接着,处理从步骤S214返回到步骤S211,并且此后,类似过程重复。
<解码相关信息>
图26是示出存储解码相关信息的LCT标头的新标头扩展的定义的实例的图。
此处,在对包含在充当LCT分组的编码符号中所存储的部的http响应中的样本组进行解码(包含渲染(显示))时,首先,需要信息,例如,包含在 moof中的解码时间和合成时间(显示时间)以及包含在http标头中的序号sqn、版本v、NTP时间nt和样本计数开始scs。
应注意,对样本组进行解码所需的信息(例如,上文所述的信息),例如,解码时间、合成时间、序号sqn、版本v、NTP时间nt和样本计数开始scs也被称为解码相关信息。
如同上述优先度参数,解码相关信息可用于例如LCT分组的分组筛选。
此外,解码相关信息可用于例如样本组的解码的预处理,例如,处理包含在充当LCT分组的编码符号中所存储的部的http响应中的样本组的处理次序的确定。
同时,在上述状况下,解码相关信息,例如,包含解码时间和合成时间的moof子集以及序号sqn、版本v、NTP时间nt和样本计数开始scs,包含在充当LCT分组的编码符号中所存储的部的http响应中。
因此,为了使用解码相关信息来执行LCT分组的分组筛选或执行解码的预处理,需要分析LCT分组并且从充当LCT分组的编码符号中所存储的部的 http响应提取解码相关信息。
然而,分析LCT分组以提取解码相关信息需要时间,这阻碍所需LCT 分组的有效分组筛选或迅速过程。
因此,在传送服务器11中,FLUTE流式传输器24生成具有包含解码相关信息的LCT标头的LCT分组,并且多播服务器25多播传送具有包含解码相关信息的LCT标头的LCT分组,因此,可执行所需LCT分组的有效分组筛选或迅速过程。
在本技术中,为了生成具有包含解码相关信息的LCT标头的LCT分组,如同生成具有包含优先度参数的LCT标头的LCT分组的上述状况,尚未指定的值用于HET,因此,存储解码相关信息的新标头扩展被定义。
具体来说,存储解码相关信息的新标头扩展例如如图26所示由8比特 HET、8比特HEL、64比特NTPTimeStamp、16比特MoofSequenceNumber、 16比特MoofVersion、16比特SampleCountStart、8比特部分moof长度和8× FPLN比特部分moof构成,其中它们是以此次序设置。
新标头扩展的HET作为指示解码相关信息存储在标头扩展中的值而被设定为例如101。在此状况下,因为HET是127或更小,所以如图20所示, HEL设置在HET之后。
HEL被设定为处于0到255的范围中的整数值HELN。对于整数值HELN 来说,采用32×HELN是标头扩展的长度的值。
NTPTimeStamp、MoofSequenceNumber、MoofVersion和SampleCountStart 分别被设定为存储在充当LCT分组中所存储的部的http响应的http标头中的 NTP时间nt、序号sqn、版本v和样本计数开始scs。
部分moof长度被设定为处于0到255的范围中的整数值PMLN。对于整数值PMLN来说,采用32×PMLN是部分moof的长度的值。
部分moof被设定为充当LCT分组中所存储的部的http响应的消息体中所存储的(二进制)moof子集。
此处,在下文中,为易于描述,部在没有被划分的情况下存储在LCT分组的编码符号中。
应注意,当部存储在LCT分组的编码符号中以便划分为多个小条时,例如,相同解码相关信息存储在分别存储一个部被划分而成的小条的LCT分组的标头扩展中。
<将解码相关信息存储在标头扩展中的LCT分组的第一实例>
图27是示出将解码相关信息存储在标头扩展中的LCT分组的第一实例的图。
在图27中,如同图11的状况,充当三个部的http响应400、420和440 从一个分段生成。
此外,在图27中,分别将http响应400、420和440存储在编码符号中的LCT分组是从http响应400、420和440生成。
充当从一个片段生成的三个部中的第一部的http响应400是以类似于充当图11的B中包含第一(起始)样本组56的部60的http响应的方式配置。
具体来说,http响应400包含http标头401和消息体402。
如同充当图11的B中的部60的http响应的http标头61,http标头401 包含序号sqn、版本v和NTP时间nt。
如同充当图11的B中的部60的http响应的消息体(在图11的B中,在 http标头61之后的部),消息体402由MS/BR、styp、moof子集、MS/BR、mdat标头、MS/BR、对应于第一样本组56的样本组#1和MS构成,其中它们是以此次序设置。
FLUTE流式传输器24(图2)通过参考充当部并从分段器22供应的http 响应400而识别http标头401中所包含的序号sqn、版本v和NTP时间nt以及消息体402中所包含的moof子集,并且将序号sqn、版本v、NTP时间nt 和moof子集存储在LCT标头411的标头扩展中。
此外,FLUTE流式传输器24将充当部的http响应400存储在编码符号 412中,并将编码符号412添加到LCT标头411,并且因此,生成LCT符号 410。
充当从一个片段生成的三个部中的第二部的http响应420是以类似于充当图11的C中包含第二样本组56的部70的http响应的方式配置。
具体来说,http响应420包含http标头421和消息体422。
如同充当图11的C中的部70的http响应的http标头71,http标头421 包含序号sqn、版本v、NTP时间nt和样本计数开始scs。
如同充当图11的C中的部70的http响应的消息体(在图11的C中,在 http标头71之后的部),消息体422由MS/BR、moof子集、MS/BR、对应于第二样本组57的样本组#2和MS构成,其中它们是以此次序设置。
FLUTE流式传输器24(图2)通过参考充当部并从分段器22供应的http 响应420而识别http标头421中所包含的序号sqn、版本v、NTP时间nt和样本计数开始scs以及消息体422中所包含的moof子集,并且将序号sqn、版本v、NTP时间nt、样本计数开始scs和moof子集存储在LCT标头431的标头扩展中。
此外,FLUTE流式传输器24将充当部的http响应420存储在编码符号 432中,并将编码符号432添加到LCT标头431,并且因此,生成LCT符号 430。
充当从一个片段生成的三个部中的第三部的http响应440是以类似于充当图11的D中包含第三(最后)样本组58的部80的http响应的方式配置。
具体来说,http响应440包含http标头441和消息体442。
如同充当图11的D中的部80的http响应的http标头81,http标头441 包含序号sqn、版本v、NTP时间nt和样本计数开始scs。
如同充当图11的D中的部80的http响应的消息体(在图11的D中,在http标头81之后的部),消息体442由MS/BR、moof子集、MS/BR、对应于第三样本组58的样本组#3和MS构成,其中它们是以此次序设置。
此处,消息体442中所包含的moof子集是可直到生成消息体442中所包含的第三样本组#3(即,生成充当三个部的http响应400、420和440的一个原始片段中的最后样本组#3)为止生成的moof子集,并且因此等于原始片段中所包含的所有样本组#1到#3的moof。
FLUTE流式传输器24(图2)通过参考充当部并从分段器22供应的http 响应440而识别http标头441中所包含的序号sqn、版本v、NTP时间nt和样本计数开始scs以及消息体442中所包含的moof子集,并且将序号sqn、版本v、NTP时间nt、样本计数开始scs和moof子集存储在LCT标头451的标头扩展中。
此外,FLUTE流式传输器24将充当部的http响应440存储在编码符号 452中,并将编码符号452添加到LCT标头451,并且因此,生成LCT符号 450。
根据将作为解码相关信息(例如,上文所述的解码相关信息)的moof子集、序号sqn、版本v、NTP时间nt和样本计数开始scs包含在LCT标头中的LCT分组,还执行以部单元进行的内容传送,并且因此,可迅速传送内容。
此外,因为作为解码相关信息的moof子集、序号sqn、版本v、NTP时间nt和样本计数开始scs共同存储在LCT标头(的标头扩展)中,所以可使用共同存储在LCT标头中的解码相关信息来有效地执行对样本组进行解码所需的时间(日历时间)的计算。
此外,因为作为解码相关信息的moof子集、序号sqn、版本v、NTP时间nt和样本计数开始scs设置(存储)(设定)在LCT标头的二进制标头扩展的预定位置中,所以通过参考二进制标头扩展,基于包含在moof子集中的序号sqn、版本v、BaseMediaDecodeTime(bmdt)等来有效地执行选择LCT分组(的编码符号中所存储的部)的分组筛选,从而使得能够优先并迅速处理所需LCT分组。
图28是描述通过使用图27的第一实例的LCT分组以部单元进行的内容传送的过程的实例的流程图。
在步骤S401到S404中,传送服务器11执行与图14的步骤S101到S104 中的过程类似的过程。因此,分段器22(图2)生成充当包含感兴趣片段的起始样本组的部的http响应,并将http响应供应到FLUTE流式传输器24,并且处理进行到步骤S405。
在步骤S405中,FLUTE流式传输器24从充当部并从分段器22供应的 http响应识别解码相关信息(moof子集、序号sqn、版本v和NTP时间nt),并且生成存储解码相关信息的LCT标头。
此外,在步骤S405中,FLUTE流式传输器24将从分段器22供应并且充当部的http响应作为编码符号与存储解码相关信息的LCT标头相加,并且因此生成LCT分组并将LCT分组供应到多播服务器25,并且处理进行到步骤S406。
在步骤S406中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组,并且处理进行到步骤S407。
在步骤S407到S410中,传送服务器11执行与图14的步骤S106到S109 中的过程类似的过程。因此,在感兴趣片段的下一样本组作为感兴趣样本组的情况下,分段器22(图2)生成充当包含感兴趣样本组的部的http响应,并将http响应供应到FLUTE流式传输器24,并且处理进行到步骤S411。
在步骤S411中,FLUTE流式传输器24从充当部并从分段器22供应的 http响应识别解码相关信息(moof子集、序号sqn、版本v、NTP时间nt和样本计数开始scs),并且生成存储解码相关信息的LCT标头。
此外,在步骤S411中,FLUTE流式传输器24将从分段器22供应并且充当部的http响应作为编码符号与存储解码相关信息的LCT标头相加,并且因此生成LCT分组并将LCT分组供应到多播服务器25,并且处理进行到步骤S412。
在步骤S412中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组,并且处理进行到步骤S413。
在步骤S413中,分段器22确定感兴趣样本组是否是感兴趣片段的最后样本组。
如果在步骤S413中确定感兴趣样本组不是感兴趣片段的最后样本组,即,如果感兴趣片段具有感兴趣样本组之后的下一样本组,那么处理返回到步骤 S407,并且类似过程在感兴趣样本组之后的下一样本组作为新的感兴趣样本组的情况下重复。
此外,如果在步骤S413中确定感兴趣样本组是感兴趣片段的最后样本组,那么处理返回到步骤S401,并且此后,类似过程例如在感兴趣片段之后的下一片段作为新的感兴趣片段的情况下重复。
图29是描述通过使用图27的第一实例的LCT分组以部单元传送的内容的接收的过程的实例的流程图。
在步骤S431中,客户端12的接收单元30(图3)等待LCT分组被多播传送,并接收LCT分组,并且处理进行到步骤S432。
在步骤S432中,接收单元30基于步骤S431中所接收的LCT分组的LCT 分组中所包含的解码相关信息(moof子集(中所包含的bmdt等)、序号sqn、版本v、NTP时间nt和样本计数开始scs)等而执行选择LCT分组的分组筛选,并且处理进行到步骤S433。
在步骤S433中,接收单元30必要时使用LCT分组的LCT标头中所包含的解码相关信息而执行例如因分组筛选而保留的LCT分组中所存储的样本组的解码等过程。接着,处理从步骤S433返回到步骤S431,并且此后,类似过程重复。
<将解码相关信息存储在标头扩展中的LCT分组的第二实例>
图30是示出将解码相关信息存储在标头扩展中的LCT分组的第二实例的图。
应注意,在图中,与图27的状况的部对应的部由相应附图标记表示,并且其描述在下文中在适当时被省去。
在图30中,FLUTE流式传输器24生成仅将包含在http响应400中的样本组#1而不是http响应400存储在编码符号中的LCT分组,作为LCT分组 410。
同样,FLUTE流式传输器24生成仅将包含在http响应420中的样本组 #2而不是http响应420存储在编码符号中的LCT分组,作为LCT分组430。此外,同样,FLUTE流式传输器24生成仅将包含在http响应440中的样本组#3而不是http响应440存储在编码符号中的LCT分组,作为LCT分组450。
因此,因为第二实例的LCT分组不将http标头、moof子集等存储在编码符号中,所以相比第一实例的LCT分组,传输、接收和堆栈过程的额外开销可减小。
应注意,虽然在图30中,为了易于描述,将http消息作为部,示出与充当部的http消息比较的LCT分组,但可原样使用片段中所包含的样本组(中的一个)、moof、mdat标头等作为部而生成图30的第二实例的LCT分组。
具体来说,假设一个片段例如如图11的A所示由styp(和所需sidx)和一个片段构成,并且所述一个片段包含moof、mdat标头和三个样本组#1到 #3。
在此状况下,分段器22(图2)将作为一个片段的部分的样本组#1到#3 中的每一个作为部供应到FLUTE流式传输器24,并且FLUTE流式传输器24 生成将充当部并且从分段器22供应的样本组#1到#3分别存储在编码符号 412、432和452中的LCT分组410、430和450。
此外,当分段器22已生成将包含在一个片段中的所有样本组#1到#3并且生成样本组#1到#3的moof时,分段器22最终针对所述一个片段而将充当所述一个片段的部分的mdat标头和moof以及包含所述一个片段的段中所包含的styp(和所需sidx)作为部供应到FLUTE流式传输器24。
FLUTE流式传输器24生成将充当部并且从分段器22供应的mdat标头、 moof和styp(和所需sidx)存储在编码符号462中的LCT分组460。
应注意,样本组#1到#3的moof可不仅存储在LCT分组460的编码符号 462中,而且存储在LCT分组460的LCT标头461(的标头扩展中的部分moof (图26))中。
此外,样本组#1到#3的moof可仅存储在LCT标头461中,而不是编码符号462中。
图31是描述通过使用图30的第二实例的LCT分组以部单元进行的内容传送的过程的实例的流程图。
在步骤S451中,在样本组将被生成的片段(例如,图11的片段52)作为感兴趣片段的情况下,传送服务器11的分段器22(图2)生成感兴趣片段的mdat标头,并且将mdat标头作为部(的部分)供应到FLUTE流式传输器 24。
此外,在步骤S451中,分段器22生成感兴趣片段的起始样本组,并将起始样本组作为部供应到FLUTE流式传输器24,并且处理进行到步骤S452。
在步骤S452中,分段器22生成充当部的起始样本组的解码相关信息,即,与感兴趣片段的moof中所存储的序号相同的序号sqn、表示起始样本组在感兴趣片段中的位置的版本v 1以及对应于感兴趣片段的moof中所存储的 bmdt的NTP时间nt,并且将解码相关信息供应到FLUTE流式传输器24。
此外,在步骤S452中,分段器22获得再现起始样本组所需的并且可直到生成起始样本组为止生成的感兴趣片段的moof的部分,作为起始样本组的 moof子集,并将moof子集供应到FLUTE流式传输器24,并且处理进行到步骤S453。
在步骤S453中,FLUTE流式传输器24生成存储从分段器22供应的解码相关信息(即,moof子集、序号sqn、版本v和NTP时间nt)的LCT标头。
此外,在步骤S453中,FLUTE流式传输器24将从分段器22供应并且充当部的起始样本组作为编码符号与存储解码相关信息的LCT标头相加,并且因此生成LCT分组(对应于图30的LCT分组410的LCT分组)并将LCT 分组供应到多播服务器25,并且处理进行到步骤S454。
在步骤S454中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组,并且处理进行到步骤S455。
在步骤S455中,分段器22生成感兴趣片段的下一样本组作为感兴趣样本组,并将感兴趣样本组作为部供应到FLUTE流式传输器24,并且处理进行到步骤S456。
在步骤S456中,分段器22生成充当部的感兴趣样本组的解码相关信息,即,与感兴趣片段的moof中所存储的序号相同的序号sqn、表示感兴趣样本组在感兴趣片段中的位置的版本v、对应于感兴趣片段的moof中所存储的 bmdt的NTP时间nt以及表示第一样本在感兴趣样本组中的样本号的样本计数开始scs,并且将解码相关信息供应到FLUTE流式传输器24。
此外,在步骤S456中,分段器22获得再现感兴趣样本组(以及直到生成感兴趣片段的感兴趣样本组为止生成的样本组)所需的并且可直到生成感兴趣样本组为止生成的感兴趣片段的moof的部分作为感兴趣样本组的moof 子集,并将moof子集供应到FLUTE流式传输器24,并且处理进行到步骤 S457。
在步骤S457中,FLUTE流式传输器24生成存储从分段器22供应的解码相关信息(即,moof子集、序号sqn、版本v、NTP时间nt和样本计数开始scs)的LCT标头。
此外,在步骤S457中,FLUTE流式传输器24将从分段器22供应并且充当部的感兴趣样本组作为编码符号与存储解码相关信息的LCT标头相加,并且因此生成LCT分组(对应于图30 的LCT分组430或450的LCT分组) 并将LCT分组供应到多播服务器25,并且处理进行到步骤S458。
在步骤S458中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组,并且处理进行到步骤S459。
在步骤S459中,分段器22确定感兴趣样本组是否是感兴趣片段的最后样本组。
如果在步骤S459中确定感兴趣样本组不是感兴趣片段的最后样本组,即,如果感兴趣片段具有感兴趣样本组之后的下一样本组,那么处理返回到步骤 S455,并且类似过程在感兴趣样本组之后的下一样本组作为新的感兴趣样本组的情况下重复。
此外,如果在步骤S459中确定感兴趣样本组是感兴趣片段的最后样本组,那么处理进行到步骤S460,并且FLUTE流式传输器24从分段器22获得包含感兴趣片段的段的styp(和所需sidx)。
此外,FLUTE流式传输器24生成将从分段器22供应的mdat标头、直到感兴趣片段的最后样本组的生成为止生成并且从分段器22供应的moof子集(即,感兴趣片段的所有样本组的moof)以及从分段器22获得的styp(和所需sidx)存储在编码符号中的LCT分组(对应于图30的LCT分组460的 LCT分组),并将LCT分组供应到多播服务器25,并且处理进行到步骤S461。
在步骤S461中,多播服务器25多播传送从FLUTE流式传输器24供应的LCT分组。
此后,处理从步骤S461返回到步骤S451,并且此后,类似过程例如在感兴趣片段之后的下一片段作为新的感兴趣片段的情况下重复。
应注意,使用图30的第二实例的LCT分组进行的内容接收的过程类似于使用描述在图29中的第一实例的LCT分组进行的内容接收的过程,并且因此其详细描述将被省去。
<本技术被应用到其中的计算机的描述>
接着,上述系列的过程可由硬件执行并且可由软件执行。当所述系列的过程由软件执行时,形成软件的程序安装在通用计算机等上。
因此,图32示出上面安装了执行上述系列的过程的程序的计算机的一个实施例的示范性配置。
程序可预先记录在充当计算机中所包含的记录介质的硬盘305或ROM 303中。
或者,程序可存储(记录)在可拆卸式记录介质311中。此可拆卸式记录介质311可作为所谓的套装软件来提供。此处,可拆卸式记录介质311的实例包含软盘、光盘-只读存储器(CD-ROM)、磁光(MO)盘、数字多功能光盘(DVD)、磁盘和半导体存储器。
应注意,程序可不仅从可拆卸式记录介质311(例如,上文所述的可拆卸式记录介质)安装在计算机上,而且通过经由通信网络或广播网络而将程序下载到计算机而安装在计算机中所包含的硬盘305上。即,程序可例如针对数字卫星广播经由人造卫星而从下载站点无线传输到计算机,或经由例如局域网(LAN)或因特网等网络而从下载站点有线传输到计算机。
计算机包含中央处理单元(CPU)302。输入/输出接口310经由总线301 而连接到CPU 302。
当命令通过用户操作输入单元307等经由输入/输出接口310输入到CPU 302时,CPU 302根据命令而执行只读存储器(ROM)303中所存储的程序。或者,CPU 302将硬盘305中所存储的程序加载到随机存取存储器(RAM) 304并执行所述程序。
因此,CPU 302执行根据上述流程图的过程或由上述框图配置执行的过程。接着,在必要时,CPU 302例如经由输入/输出接口310而从输出单元306 输出过程的结果,或从通信单元308发送过程的结果,或另外将过程的结果记录在硬盘305中。
应注意,输入单元307由键盘、鼠标、麦克风等构成。此外,输出单元 306由液晶显示器(LCD)、扬声器等构成。
此处,在本说明书中,计算机根据程序而执行的过程未必需要以流程图中所述的次序以时间次序执行。即,计算机根据程序而执行的过程还包含并行地执行或个别地执行的过程(例如,并行处理或对象处理)。
此外,程序可由单个计算机(处理器)处理或可由多个计算机以分散式方式处理。此外,程序可在传输到远程计算机之后被执行。
此外,在本说明书中,系统表示一组多个组件(设备、模块(部件)等),并且所有组件是否被包含在同一机壳中是无关紧要的。因此,不同机壳中所含有的并且经由网络而彼此连接的多个设备以及将多个模块包含在一个机壳内的单个设备都是系统。
应注意,本技术的实施例不限于上文所述的实施例,并且可进行各种改变,而不偏离本技术的实质和范围。
例如,本技术可使用云计算的配置,其中一个功能通过经由网络来分享和合作而由多个设备处理。
此外,上述流程图中所述的每一步骤可不仅由单个设备执行,而且由多个设备以分享方式执行。
此外,当一个步骤包含多个过程时,一个步骤中所包含的多个过程可不仅由单个设备执行,而且由多个设备以分享方式执行。
此外,对于由分段器22生成部的目标片段来说,除fragmentedMP4 (ISO/IEC14496-14)片段之外,还可采用呈任何数据格式的片段(的数据的部分)。
具体来说,对于生成部的目标片段来说,例如,可采用呈ISO基本媒体文件格式(ISO/IEC 14496-12)、呈ISO/IEC 14496-15中所指定的格式、呈 QuickTime格式或呈具有所谓的框结构的其它数据格式的片段,并且还可采用呈不具有框结构的数据格式的数据(例如,传输流(TS)等)被片段化的片段。
此外,对于生成部的目标片段来说,例如,可采用呈MPEG传输流(TS)、呈webM或呈任何其它运动图像格式的片段。
此外,本技术可应用到除内容以外的任何数据的传送。
此处,本说明书所述的效果仅是示范,并因此不受限制,并且可存在其它效果。
应注意,本技术可使用以下配置。
<1>一种发送设备,包含传送单元,所述传送单元传送分层编码传输 (LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和一个或更多个样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
<2>根据<1>的发送设备,其中所述片段是fragmentedMP4片段。
<3>根据<2>的发送设备,其中
所述部是
充当所述片段的部分的样本组,或
充当所述片段的部分的所述moof和所述mdat标头。
<4>根据<2>的发送设备,其中
所述部是超本文传输协议(http)响应,并且
所述http响应包含
消息体中的样本组和所述moof子集,所述样本组是所述片段的部分,以及
http标头中的所述序号、所述版本、所述NTP时间和所述样本计数开始信息。
<5>根据<1>到<4>中任一项的发送设备,其中所述moof子集是直到生成样本组为止生成的所述moof的部,所述样本组充当所述片段的部分。
<6>一种发送方法,包含传送分层编码传输(LCT)分组的步骤,所述 LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
<7>一种用于使计算机充当传送单元的程序,所述传送单元传送分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
<8>一种接收设备,包含接收单元,所述接收单元接收分层编码传输 (LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
<9>根据<8>的接收设备,其中所述片段是fragmentedMP4片段。
<10>根据<9>的接收设备,其中
所述部是
充当所述片段的部分的样本组,或
充当所述片段的部分的所述moof和所述mdat标头。
<11>根据<9>的接收设备,其中
所述部是超本文传输协议(http)响应,并且
所述http响应包含
消息体中的样本组和所述moof子集,所述样本组是所述片段的部分,以及
http标头中的所述序号、所述版本、所述NTP时间和所述样本计数开始信息。
<12>根据<8>到<11>中任一项的接收设备,其中所述moof子集是直到生成样本组为止生成的所述moof的部,所述样本组充当所述片段的部分。
<13>一种接收方法,包含接收分层编码传输(LCT)分组的步骤,所述 LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
<14>一种用于使计算机充当接收单元的程序,所述接收单元接收分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的 BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
附图标记列表
10 网络
11 发送服务器
12 客户端
13 NTP服务器
21 频道流式传输器
22 分段器
23 元数据生成器
24 FLUTE流式传输器
25 多播服务器
26 web服务器
30 接收单元
31 中间件
32 DASH客户端
33 再现单元
301 总线
302 CPU
303 ROM
304 RAM
305 硬盘
306 输出单元
307 输入单元
308 通信单元
309 驱动器
310 输入/输出接口
311 可拆卸式记录介质。

Claims (12)

1.一种发送设备,包括传送单元,所述传送单元传送分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和一个或更多个样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
2.根据权利要求1所述的发送设备,其中
所述部是
充当所述片段的部分的样本组,或
充当所述片段的部分的所述moof和所述mdat标头。
3.根据权利要求1所述的发送设备,其中
所述部是超本文传输协议(http)响应,并且
所述http响应包含
消息体中的样本组和所述moof子集,所述样本组是所述片段的部分,以及
http标头中的所述序号、所述版本、所述NTP时间和所述样本计数开始信息。
4.根据权利要求1所述的发送设备,其中所述moof子集是直到生成样本组为止生成的所述moof的部,所述样本组充当所述片段的部分。
5.一种发送方法,包括传送分层编码传输(LCT)分组的步骤,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
6.一种包含用于使计算机充当传送单元的程序的非暂态记录介质,所述传送单元传送分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
7.一种接收设备,包括接收单元,所述接收单元接收分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
8.根据权利要求7所述的接收设备,其中
所述部是
充当所述片段的部分的样本组,或
充当所述片段的部分的所述moof和所述mdat标头。
9.根据权利要求7所述的接收设备,其中
所述部是超本文传输协议(http)响应,并且
所述http响应包含
消息体中的样本组和所述moof子集,所述样本组是所述片段的部分,以及
http标头中的所述序号、所述版本、所述NTP时间和所述样本计数开始信息。
10.根据权利要求7所述的接收设备,其中所述moof子集是直到生成样本组为止生成的所述moof的部,所述样本组充当所述片段的部分。
11.一种接收方法,包括接收分层编码传输(LCT)分组的步骤,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
12.一种包含用于使计算机充当接收单元的程序的非暂态记录介质,所述接收单元接收分层编码传输(LCT)分组,所述LCT分组包含部和LCT标头,所述部是包含片段的部分的数据,其中
所述片段是fragmentedMP4片段并且包含:
电影片段(moof);以及
媒体数据(mdat),包含mdat标头和样本组,
所述moof包含表示所述mdat的第一样本的呈现时间的BaseMediaDecodeTime,并且
所述LCT标头包含:
表示所述片段的位置的序号;
表示所述片段的所述部分在所述片段中的位置的版本;
对应于所述BaseMediaDecodeTime的网络时间协议(NTP)时间;
表示来自所述片段的第一样本的所述片段的所述部分的第一样本的位置的样本计数开始信息;以及
作为所述moof的至少部分的moof子集。
CN201580015015.8A 2014-03-28 2015-03-13 发送设备、发送方法、接收设备、接收方法和程序 Active CN106105239B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014069940A JP2015192407A (ja) 2014-03-28 2014-03-28 送信装置、送信方法、受信装置、受信方法、及び、プログラム
JP2014-069940 2014-03-28
PCT/JP2015/057533 WO2015146647A1 (ja) 2014-03-28 2015-03-13 送信装置、送信方法、受信装置、受信方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN106105239A CN106105239A (zh) 2016-11-09
CN106105239B true CN106105239B (zh) 2019-09-10

Family

ID=54195170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580015015.8A Active CN106105239B (zh) 2014-03-28 2015-03-13 发送设备、发送方法、接收设备、接收方法和程序

Country Status (8)

Country Link
US (1) US10432989B2 (zh)
EP (1) EP3125563A4 (zh)
JP (1) JP2015192407A (zh)
KR (1) KR102137858B1 (zh)
CN (1) CN106105239B (zh)
CA (1) CA2941367A1 (zh)
MX (1) MX362219B (zh)
WO (1) WO2015146647A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499094B2 (en) 2013-10-30 2019-12-03 Saturn Licensing Llc Transmission apparatus, transmitting method, reception apparatus, and receiving method
EP4054199A1 (en) * 2013-12-16 2022-09-07 Panasonic Intellectual Property Corporation of America Receiving device and reception method
KR102421791B1 (ko) * 2016-05-26 2022-07-15 삼성전자주식회사 Mmt 네트워크 시스템에서 미디어 시간 정보를 전송 하는 방법 및 장치
JP7061121B2 (ja) * 2016-11-10 2022-04-27 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 配信性能を改善するためのリソースセグメント化
CN109391551B (zh) * 2017-08-14 2021-10-12 中兴通讯股份有限公司 一种多端口组播方法、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283251A (zh) * 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
CN103518351A (zh) * 2011-04-05 2014-01-15 高通股份有限公司 使用文件递送方法的ip广播流式传输服务分布

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
WO2009087563A2 (en) * 2008-01-09 2009-07-16 Nokia Corporation Systems and methods for media container file generation
US20150172348A1 (en) 2012-01-17 2015-06-18 Telefonaktiebolaget L M Ericsson (Publ) Method for sending respectively receiving a media stream
MX2014008657A (es) * 2012-01-24 2014-10-06 Sony Corp Dispositivo de recepcion, metodo de recepcion, programa y sistema de procesamiento de informacion.
US9843845B2 (en) * 2012-11-28 2017-12-12 Sinclair Broadcast Group, Inc. Terrestrial broadcast market exchange network platform and broadcast augmentation channels for hybrid broadcasting in the internet age
US9426196B2 (en) * 2013-01-04 2016-08-23 Qualcomm Incorporated Live timing for dynamic adaptive streaming over HTTP (DASH)
WO2015064384A1 (ja) * 2013-10-30 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置、及び、受信方法
US10499094B2 (en) * 2013-10-30 2019-12-03 Saturn Licensing Llc Transmission apparatus, transmitting method, reception apparatus, and receiving method
CA2922174C (en) 2013-11-01 2017-09-19 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283251A (zh) * 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
CN103518351A (zh) * 2011-04-05 2014-01-15 高通股份有限公司 使用文件递送方法的ip广播流式传输服务分布

Also Published As

Publication number Publication date
KR102137858B1 (ko) 2020-07-24
EP3125563A1 (en) 2017-02-01
WO2015146647A1 (ja) 2015-10-01
MX362219B (es) 2019-01-09
KR20160138401A (ko) 2016-12-05
JP2015192407A (ja) 2015-11-02
US10432989B2 (en) 2019-10-01
CA2941367A1 (en) 2015-10-01
US20170134773A1 (en) 2017-05-11
EP3125563A4 (en) 2017-09-06
CN106105239A (zh) 2016-11-09
MX2016012218A (es) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6545804B2 (ja) オーバージエアブロードキャストメディアデータに関するセッション記述情報
US10693936B2 (en) Transporting coded audio data
JP6014870B2 (ja) ストリーミング・メディア・コンテンツのリアルタイム・トランスマックス変換の方法およびシステム
CN105900436B (zh) 通信设备、通信数据生成方法、以及通信数据处理方法
CN105210372B (zh) 内容供应装置、内容供应方法、程序以及内容供应系统
US10499094B2 (en) Transmission apparatus, transmitting method, reception apparatus, and receiving method
CN106105239B (zh) 发送设备、发送方法、接收设备、接收方法和程序
JP2017517167A (ja) メディアデータをストリーミングするためのターゲット広告挿入
US20190014165A1 (en) Processing media data using a generic descriptor for file format boxes
KR102499231B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
CN105325005B (zh) 内容供应装置、内容供应方法、存储介质、终端装置以及内容供应系统
EP3065409A1 (en) Transmission device, transmission method, reception device, and reception method
KR102103054B1 (ko) 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
CN105706453B (zh) 发送装置、发送方法、接收装置和接收方法
JPWO2018043134A1 (ja) 配信装置、配信方法、受信装置、受信方法、プログラム、およびコンテンツ配信システム
US9332421B2 (en) Method and apparatus for random access to multimedia content in wireless communication system
JP2015002513A (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
WO2015064384A1 (ja) 送信装置、送信方法、受信装置、及び、受信方法
KR20160060056A (ko) 콘텐츠 공급 장치, 콘텐츠 공급 방법, 프로그램, 단말 장치, 및 콘텐츠 공급 시스템
RU2658672C2 (ru) Устройство предоставления контента, программа, оконечное устройство и система предоставления контента

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Sony Corp

Address before: Japan's Tokyo port harbor 1-7-1

Applicant before: Sony Corp

COR Change of bibliographic data
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant