CN102217322B - 媒体发送方法、媒体接收方法和客户端及系统 - Google Patents
媒体发送方法、媒体接收方法和客户端及系统 Download PDFInfo
- Publication number
- CN102217322B CN102217322B CN2011800007556A CN201180000755A CN102217322B CN 102217322 B CN102217322 B CN 102217322B CN 2011800007556 A CN2011800007556 A CN 2011800007556A CN 201180000755 A CN201180000755 A CN 201180000755A CN 102217322 B CN102217322 B CN 102217322B
- Authority
- CN
- China
- Prior art keywords
- format
- video
- information
- burst
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种媒体发送方法、媒体接收方法和客户端及系统。媒体接收方法包括:接收媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;根据所述3D格式描述信息选择展现,并根据所述媒体展现描述中分片信息向被选择展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;接收所述分片获取请求所请求的分片。本发明解决现有技术中接收器启动媒体接收较长一段时间后才能接收到3D格式描述信息的缺陷,缩短了客户端确定发送媒体中视频采用的3D格式的时间。
Description
技术领域
本发明实施例涉及媒体技术,尤其涉及一种媒体发送方法、媒体接收方法和客户端及系统。
背景技术
3D(Three Dimensional)视频在传输或存储时可以采用不同格式。常见的3D格式类型如:帧包装(frame packing)、2D(Two Dimensional)加辅助视频(2d plus auxiliary video)、联播(Simulcast)。为了正确处理3D视频,服务器需要提供给客户端一些信息,这些信息统称为3D格式描述信息。3D格式描述信息可以使客户端确定视频采用的3D格式,从而使客户端对服务器发送的3D视频进行处理。例如处理3D视频,得到供投影到人的左眼的左视图、供投影到人的右眼的右视图。
现有媒体传输方法中,如果媒体中包括帧包装格式的视频时,将描述帧包装格式的3D格式描述信息封装到frame packing arrangement SEI message(帧包装排列补充增强信息消息)中,然后将frame packing arrangement SEImessage封装到视频样本中,再将视频样本封装到分片中。客户端获取媒体展现描述(Media Presentation Description,简称MPD)后,根据MPD中展现对应的分片信息获取展现的分片,接收到携带视频样本的分片后,从分片中获取包含帧包装排列补充增强信息消息的视频样本,再从所述视频样本中获取帧包装排列补充增强信息消息,然后从中获取描述帧包装格式的3D格式描述信息。展现为某种形式的媒体,是一个或多个媒体组件的结构化集合,而媒体组件指特定属性的单个媒体类型,如音频、视频、实时文本等。由于该方法中,通过视频样本中的帧包装排列补充增强信息消息携带描述帧包装格式的3D格式描述信息,并且每若干个视频样本中只有一个视频样本中包含所述帧包装排列补充增强信息消息,客户端只有在启动媒体接收较长一段时间后才能获取描述帧包装格式的3D格式描述信息,然后才能确定媒体中视频采用的3D格式。
由于多媒体系统通常是一个异构系统,可能出现一些客户端不支持某个视频采用的3D格式的情况。如果采用现有技术方案,客户端要在启动媒体接收较长一段时间后,即获取到携带3D格式描述信息的视频样本后,才能确定媒体中视频采用的3D格式,进而确定自身不支持视频采用的3D格式。这样,一方面会影响用户体验,比如,用户点击播放媒体后,等待较长一段时间才向用户展示错误信息,说明客户端不支持该媒体中视频的处理和显示;另一方面增加了接收和处理媒体的开销,增加了电力消耗,尤其会增加对电力敏感的移动客户端的负担。
发明内容
本发明实施例提供一种媒体发送方法、媒体接收方法和客户端及系统,用以解决现有技术中客户端启动媒体接收较长一段时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷,缩短了客户端确定接收到的媒体中视频采用的3D格式的时间。
本发明实施例提供一种媒体发送方法,包括:
向客户端发送媒体展现描述MPD,所述媒体展现描述包括视频的3D格式描述信息;
接收所述客户端发送的分片获取请求;所述分片获取请求用于获取被选择展现的分片,所述被选择展现为所述客户端根据3D格式描述信息选择的展现;
根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片。
本发明实施例提供一种媒体接收方法,包括:
接收媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;
根据所述3D格式描述信息选择展现,并根据所述媒体展现描述中分片信息向被选择展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;
接收所述分片获取请求所请求的分片。
本发明还提供一种客户端,包括:
MPD接收模块,用于接收媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;
选择模块,用于根据所述3D格式描述信息选择展现;
发送模块,用于根据所述媒体展现描述中分片信息向被选择展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;
分片接收模块,用于接收所述分片获取请求所请求的分片。
本发明还提供一种媒体发送系统,包括:
第一服务器,用于向客户端发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;所述第一服务器为保存有所述媒体展现描述的服务器;
所述第二服务器,用于接收所述客户端发送的分片获取请求,并根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片;所述分片获取请求用于获取所述被选择展现的分片;所述被选择展现为所述客户端根据3D格式描述信息选择的展现;所述第二服务器为保存有所述被选择展现的分片的服务器。
本发明还提供一种媒体传输系统,包括:
第一服务器,用于向客户端发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;所述第一服务器为保存有所述媒体展现描述的服务器;
所述客户端,用于根据所述3D格式描述信息选择展现,并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;所述被选择展现为所述客户端根据3D格式描述信息选择的展现;
所述第二服务器,用于根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片,所述第二服务器为保存有所述被选择展现的分片的服务器。
本发明实施例的媒体发送方法、媒体接收方法和客户端及系统,服务器在MPD中增加了视频的3D格式描述信息。服务器先向客户端发送包括视频的3D格式描述信息的MPD,客户端获取媒体之前,可根据MPD中的3D格式描述信息确定媒体中的视频采用的3D格式,从而确定是否选择相应的展现。客户端选择展现后,才根据MPD中被选择展现对应的分片信息从相应的服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收一段较长时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。由于,服务器只将分片提供给与相应媒体中的视频采用的3D格式匹配的客户端,客户端只获取相应媒体中的视频采用的3D格式与自身支持的3D格式相匹配的分片,因此,在服务器发送能力不变的情况下,增加了被服务的客户端的数量,减少了发送媒体的开销。由于,3D格式描述信息的发送和获取均可以通过软件升级方式实现,不涉及硬件改动,可以最大限度保护运营商原有的投资。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种媒体发送方法流程图;
图2为本发明实施例提供的一种媒体接收方法流程图;
图3为本发明实施例提供的另一种媒体接收方法流程图;
图4为本发明实施例提供的又一种媒体接收方法流程图;
图5为本发明实施例提供的客户端结构示意图;
图6为本发明实施例提供的媒体发送系统结构示意图;
图7为本发明实施例提供的媒体传输系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例所揭示的技术方案可以应用于HTTP Streaming系统中。HTTP Streaming系统可以通过已有的HTTP协议,实现多媒体内容的传输,并提供给用户类似于传统流媒体的良好体验。HTTP Streaming系统是在传统HTTP Progressive Download的基础上进行的一种改进,目的是带来更好的用户体验。并且HTTP Streaming系统能够借助已广泛布署的HTTP服务器及缓存设备,把已经按照HTTP Streaming要求进行分片后的多媒体内容传输给终端设备进行播放。
图1为本发明实施例提供的一种媒体发送方法流程图。如图1所示,本实施例包括:
步骤11:服务器向客户端发送MPD,MPD包括视频的3D格式描述信息。其中,该服务器为保存有MPD的服务器。
发送媒体之前保存有MPD的服务器先向客户端发送MPD。客户端根据MPD选择展现后,根据MPD中被选择展现对应的分片信息获取被选择展现的分片。MPD为媒体展现的形式化描述,MPD可能描述的是多个展现,不同展现中的视频可以采用不同的3D格式。每个展现包含一组分片。不同展现的分片可能来自不同的服务器。同一展现的分片也可能来自不同的服务器。
为了在客户端接收到媒体之前使客户端确定该媒体中的视频采用的3D格式,服务器将媒体中视频的3D格式描述信息封装到MPD中。MPD通常为可扩展标记语言(Extensible Markup Language,简称XML)形式,可以对MPD进行扩展,在MPD中增加用于携带3D格式描述信息的XML元素或属性。
3D格式描述信息包括用于指示视频所采用的3D格式的3D格式标识信息,3D格式标识信息至少包括3D格式类型标识,3D格式类型标识指示视频采用的3D格式类型。3D格式标识信息还可以包括组件类型标识,组件类型标识指示组成3D视频的视频组件的类型。进一步,MPD中的3D格式描述信息还包括3D视频处理参数信息,3D视频处理参数信息用于客户端对接收到的3D视频进行处理,得到供投影到人的左眼的左视图和供投影到人的右眼的右视图。另外,3D视频处理参数信息也可封装在初始化分片或自初始化媒体分片中。
步骤12:被选择展现对应的服务器接收客户端发送的分片获取请求;分片获取请求用于获取被选择展现的分片,被选择展现为客户端根据3D格式描述信息选择的展现。
客户端根据MPD中3D格式描述信息可以确定MPD描述的展现中的视频采用的3D格式。如果客户端支持展现中的视频采用的3D格式,可以选择展现。选择展现后,根据MPD中被选择展现对应的分片信息,向被选择展现对应的服务器发送分片获取请求,以获取被选择展现的分片。如果不支持MPD描述的展现中的视频采用的3D格式,客户端可以输出3D格式不匹配的提示信息。其中,被选择展现对应的服务器为,存储有被选择展现的分片的服务器。
步骤13:被选择展现对应的服务器根据分片获取请求向客户端发送客户端请求的被选择展现的分片。
本发明实施例服务器在MPD中增加了视频的3D格式描述信息。服务器先向客户端发送包括视频的3D格式描述信息的MPD,客户端获取媒体之前,可根据MPD中的3D格式描述信息确定媒体中的视频采用的3D格式,从而确定是否选择相应的展现。客户端选择展现后,才根据MPD中被选择展现对应的分片信息从相应的服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收较长一段时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。由于,服务器只将分片提供给与相应媒体中的视频采用的3D格式匹配的客户端,客户端只获取相应媒体中的视频采用的3D格式与自身支持的3D格式相匹配的分片,因此,在服务器发送能力不变的情况下,增加了被服务的客户端的数量,减少了发送媒体的开销。由于,3D格式描述信息的发送、获取均可以通过软件升级方式实现,不涉及硬件改动,可以最大限度保护运营商原有的投资。
图2为本发明实施例提供的一种媒体接收方法流程图。如图2所示,本实施例包括:
步骤21:客户端接收服务器发送的MPD,MPD包括视频的3D格式描述信息。其中,该服务器为保存有MPD的服务器。
步骤22:客户端根据3D格式描述信息选择展现,并根据MPD中分片信息向被选择展现对应的服务器发送分片获取请求,分片获取请求用于获取被选择展现的分片。
客户端从MPD中获取3D格式描述信息,根据3D格式描述信息确定MPD描述的展现中的视频采用的3D格式,客户端支持展现中的视频采用的3D格式时,客户端可以选择展现,并根据MPD中的分片信息向被选择展现对应的服务器发送分片获取请求以获取被选择展现的分片。被选择展现的分片包含一组分片,由于MPD中不同展现的不同分片可能来自不同的服务器。甚至同一展现的不同分片也可能来自不同的服务器,因此,为了获取被选择展现的分片,客户端需要发送一组分片获取请求,并且客户端有可能向多个服务器分别发送分片获取请求。其中,被选择展现对应的服务器为,存储有被选择展现对应的一个或多个分片的服务器。
若被选择展现对应的分片信息中包括初始化分片的HTTP URL,被选择展现的分片包括初始化分片和一组媒体分片。初始化分片中携带有用于初始化播放媒体分片的媒体引擎的初始化信息。客户端在获取媒体分片前,先根据初始化分片的HTTP URL向相应服务器发送用于获取初始化分片的分片获取请求。此时,第一个分片获取请求所请求的是初始化分片。媒体分片携带一段时间或者一段长度的媒体内容,根据展现的组成结构,媒体分片可以包括一段时长或者一段长度的一个或多个媒体组件。同一媒体分片中包括视频类型的媒体组件时,可在媒体分片中获取视频样本。分片通过超文本传输协议(Hypertext Transfer Protocol,简称HTTP)统一资源定位符(UniformResource Locator,简称URL)唯一标示,或者通过HTTP URL和字节范围(byterange)唯一标示。媒体分片中携带有被选择展现的媒体内容。用户选择播放媒体后,客户端根据被选择展现对应的分片信息中提供的用于获取媒体分片的HTTP URL或者HTTP URL和字节范围依次向相应服务器发送分片获取请求,从相应服务器获取媒体分片,依次播放,直到用户选择停止播放媒体。本发明实施例中,分片获取请求可以是HTTP GET请求消息。
若MPD中被选择展现对应的分片信息中不包括初始化分片的URL,则被选择展现的分片不包括初始化分片,只包含一组媒体分片,但每个媒体分片都是自初始化的(称为自初始化媒体分片)。即每个自初始化媒体分片中都携带有用于初始化播放媒体分片的媒体引擎的初始化信息,还携带有媒体内容。此时,第一个分片获取请求所请求的是自初始化媒体分片。
步骤23:客户端接收分片获取请求所请求的被选择展现的分片。
如果在步骤22中第一个分片获取请求所请求的是初始化分片,则在步骤23中先接收到初始化分片,再接收后续媒体分片。如果步骤22中第一个分片获取请求所请求的是自初始化媒体分片,则步骤23中获取的都是自初始化媒体分片。
本发明实施例。客户端先接收服务器发送的包括视频的3D格式描述信息的MPD,因此,客户端获取媒体之前,可根据MPD中的3D格式描述信息确定媒体中视频采用的3D格式,从而确定是否可以选择相应的展现。客户端选择展现后,才根据MPD中被选择展现对应的分片信息从相应服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收较长一段时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。由于,服务器只为支持媒体中的视频采用的3D格式的客户端接收器提供对应展现的分片,客户端只获取媒体中的视频采用的3D格式与自身支持的3D格式匹配的对应展现的分片,因此,在发送器发送能力不变的情况下,增加了被服务客户端的数量;减少了接收和处理媒体的开销,降低了接收器的电力损耗。
图3为本发明实施例提供的另一种媒体接收方法流程图。本实施例MPD中视频的3D格式描述信息包括3D格式标识信息,3D视频处理参数信息也可以包括在MPD的3D格式描述信息中。如图3所示,本实施例包括:
步骤31:客户端接收服务器发送的MPD,MPD包括视频的3D格式描述信息,其中3D格式描述信息包括3D格式标识信息,或者3D格式描述信息包括3D格式标识信息和3D视频处理参数信息。
MPD中视频的3D格式描述信息可只包括3D格式标识信息,而将3D视频处理参数信息携带在视频样本中。3D格式标识信息包括3D格式类型标识,用于指示视频采用的3D格式的类型为帧包装、2D加辅助视频、联播等中的其中一种。
另外,3D格式标识信息还可以包括组件类型标识。组件类型标识指示组成3D视频的视频组件的类型。具体地,若3D格式类型为帧包装,则组件类型标识指示视频组件的类型是按并排(side by side;SBS)、上下(top andbottom,简称TAB)、行交织(line interleaved,简称LIl)、列交织(columninterleaved,简称CIl)、棋盘(Chessboard,简称CHB)、帧序列(frame sequential,简称SEQ)等帧包装排列方式排列的视频中的其中一种。若3D格式类型为2D加辅助视频,则组件类型标识指示视频组件的类型为是2D视频、辅助视频、既包括2D视频又包括辅助视频中的其中一种。组件类型标识还可以进一步指示其中的辅助视频的类型,辅助视频的类型可以是深度图、视差图、空洞数据等中的其中一种;组件类型标识还可以进一步指示其中的2D视频是携带左视图、右视图还是中间视图的视频中的其中一种。若3D格式类型为联播,则组件类型标识指示视频组件的类型是携带左视图的视频、携带右视图的视频、同时携带左、右视图的视频中的其中一种。
MPD中3D格式描述信息除了包括3D格式标识信息以外,还可以进一步包括3D视频处理参数信息。具体地,若3D格式类型为帧包装,3D视频处理参数信息包括但不限于进行帧包装时采样类型的标识信息、进行帧包装操作时帧放置顺序的标识信息等参数信息;若3D格式类型为2D加辅助视频且辅助视频为深度图,3D视频处理参数信息包括但不限于深度样本在2D视频的空间采样网格中的水平偏移量、垂直偏移量,深度的取值范围指示信息,也即在屏幕之后的最大距离、在屏幕之前的最大距离等参数信息;若3D格式类型为2D加辅助视频且辅助视频为视差图,3D视频处理参数信息包括但不限于视差样本在2D视频的空间采样网格中的水平偏移量、垂直偏移量、代表零视差的值、用于定义视差值取值范围的缩放比例、参考观看距离以及参考屏幕宽度等参数信息。
步骤32:客户端根据3D格式标识信息确定MPD描述的展现中视频采用的3D格式,并判断客户端是否支持MPD描述的展现中的视频采用的3D格式。如果客户端至少支持MPD描述的一个展现中的视频采用的3D格式执行步骤33;如果客户端不支持MPD描述的所有展现中的视频采用的3D格式,则执行步骤311。
客户端从3D格式描述信息中获取3D格式标识信息,3D格式标识信息指示视频采用的3D格式。根据3D格式标识信息客户端可确定MPD描述的展现中的视频采用的3D格式,并判断客户端是否支持MPD描述的展现中的视频采用的3D格式。另外还可以从3D格式描述信息中获取3D视频处理参数信息。
其中,3D格式标识信息至少包括3D格式类型标识,客户端可以根据3D格式类型标识确定3D视频采用的3D格式类型并判断客户端是否支持所述3D格式类型。支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式。
3D格式标识信息还可以包括组件类型标识,在支持所述3D格式类型时,客户端进一步根据组件类型标识,确定组成3D视频的组件类型,并判断是否支持所述组件类型。支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式。
步骤33:确定客户端至少支持MPD描述的一个展现中的视频采用的3D格式时,客户端选择MPD描述的一个或多个展现。
需要说明是,MPD中有可能包括多个展现,在客户端不支持所有展现中视频采用的3D格式时,执行步骤311:客户端输出不支持视频3D格式的提示信息。客户端可以将所述提示信息展现给用户,由用户选择后续操作,比如重新选择播放其他媒体内容。另外,在步骤33中客户端选择的展现包括:客户端支持其中视频采用的3D格式的一个或多个展现。
当3D格式类型为帧包装时,3D视频由一个视频组件组成。如果客户端支持3D视频采用的3D格式,在步骤33中客户端选择的展现包括:包含该3D视频的展现。
当3D格式类型为2D加辅助视频或者联播时,3D视频由两个视频组件组成。这两个视频组件可以包含在一个展现中,此时在步骤33中客户端选择的展现包括:包含该3D视频的展现;这两个视频组件也可以包括在两个不同的展现中,此时在步骤33中客户端选择的展现包括:分别包含组成3D视频的两个不同视频组件的两个不同展现。
步骤34:客户端判断MPD中被选择展现的分片信息中是否包括初始化分片的HTTP URL,如果是则依次执行步骤35至步骤38,否则依次执行步骤39至步骤310。
客户端从MPD中获取该展现的分片信息。分片信息中包括媒体分片的HTTP URL或者HTTP URL和字节范围。客户端可以根据媒体分片的HTTPURL或者HTTP URL和字节范围获取被选择展现的媒体分片。分片信息中还可以包括初始化分片的HTTP URL,客户端可以根据初始化分片的HTTPURL获取被选择展现的初始化分片。
在步骤31之后或步骤33之后,客户端接收到MPD后,还可以解析MPD,根据MPD中的分片信息为MPD描述的展现生成分片列表,分片列表中包括用于获取MPD描述的展现的分片的HTTP URL或者HTTP URL和字节范围。在步骤34中客户端判断分片列表中是否包含初始化分片的HTTP URL。分片列表可以采用如表3(图4对应实施例中)所示的形式。
步骤35:客户端根据初始化分片的HTTP URL,或者HTTP URL和字节范围,向被选择展现对应的服务器发送初始化分片获取请求。初始化分片获取请求用于获取被选择展现的初始化分片。
初始化分片中携带有用于初始化播放媒体分片的媒体引擎的初始化信息,媒体分片携带有媒体内容。客户端在获取媒体分片前,先根据初始化分片的HTTP URL向相应服务器发送用于获取初始化分片的分片获取请求。
步骤36:客户端接收被选择展现对应的服务器返回的根据初始化分片获取请求中的HTTP URL,或者HTTP URL和字节范围所确定的被选择展现的初始化分片。
步骤37:客户端根据媒体分片的HTTP URL,或者HTTP URL和字节范围,向被选择展现对应的服务器发送媒体分片获取请求。媒体分片获取请求用于获取被选择展现的媒体分片。
步骤38:客户端接收被选择展现对应的服务器返回的根据媒体分片获取请求中的媒体分片的HTTP URL,或者HTTP URL和字节范围确定的被选择展现的媒体分片。
一个展现通常包括一组媒体分片,因此步骤37和步骤38可能循环多次,直至客户端完成媒体接收,比如用户选择停止播放媒体,客户端结束媒体接收。
步骤39:客户端根据媒体分片的HTTP URL,或者HTTP URL和字节范围,向相应的服务器发送自初始化媒体分片获取请求。此处相应的服务器为被选择展现对应的服务器。
自初始化媒体分片获取请求用于获取被选择展现的自初始化媒体分片。
步骤310:客户端接收被选择展现对应的服务器返回的根据自初始化媒体分片获取请求中的自初始化媒体分片的HTTP URL,或者HTTP URL和字节范围确定的自初始化媒体分片。
自初始化媒体分片包括用于初始化播放媒体分片的媒体引擎的初始化信息,还可以包括媒体内容。
一个展现通常包括一组自初始化媒体分片,因此步骤39和步骤310可能循环多次,直至客户端完成媒体接收。
步骤311:客户端输出不支持视频3D格式的提示信息。
如表1所示,本实施例中给出一种通过XML元素或属性来携带3D格式标识信息的具体方法:
若3D格式类型为帧包装,通过XML元素或属性FramePacking携带3D格式标识信息。FramePacking指示3D格式类型为帧包装,并进一步指示组件类型为按并排(side by side;SBS)、上下(top and bottom,简称TAB)、行交织(line interleaved,简称LIl)、列交织(column interleaved,简称CIl)、棋盘(Chessboard,简称CHB)、帧序列(frame sequential,简称SEQ)等帧包装排列方式排列的视频中的其中一种。
若3D格式类型为2D加辅助视频,通过XML元素2DAux携带3D格式标识信息。2DAux指示3D格式类型为2D加辅助视频。可以进一步通过2DAux的子元素或属性Type,指示组件类型为2D视频、辅助视频、既包括2D视频又包括辅助视频中的其中一种。如果组件类型是辅助视频,或者是既包括2D视频,又包括辅助视频,还可以通过2DAux的子元素或属性AuxType指示辅助视频的类型为深度图、视差图、空洞数据等中的其中一种;如果组件类型是2D视频,或者是既包括2D视频,又包括辅助视频,还可以通过2DAux的子元素或属性ViewType指示2D视频携带的视图类型为左视图、右视图、中间视图中的其中一种。
若3D格式类型为联播,通过XML元素或属性StereoID携带3D格式标识信息。StereoID指示3D格式类型为联播,并进一步指示携带的视图类型。
表1为用于携带3D格式标识信息的XML元素或属性语法定义的一个实例
本实施例还给出一种通过XML元素或属性来携带3D格式标识信息的具体方法:
通过XML元素或属性3DFormatType携带3D格式类型标识,通过XML元素或属性3DComponentType携带组件类型标识,具体参见表2所示。
表2为用于携带3D格式标识信息的XML元素或属性语法定义的另一个实例
本实施例中给出一种通过XML元素或属性来携带3D视频处理参数信息的具体实施方法。具体是:
若3D格式类型为帧包装,通过XML元素FramePackingParameters携带相应的3D视频处理参数信息。FramePackingParameters可以包括XML元素或属性:SamplingType或ContentInterpretationType,分别指示进行帧包装时的采样类型、进行帧包装操作时帧放置顺序;
若3D格式类型为2D加辅助视频且辅助视频类型为深度图,通过XML元素DepthParameters携带相应的3D视频处理参数信息。DepthParameters可以包括XML元素或属性:position_offset_h、position_offset_v、nkfar或nknear,分别指示深度样本在2D视频的空间采样网格中的水平偏移量、垂直偏移量,在屏幕之后的最大距离、在屏幕之前的最大距离;
若3D格式类型为2D加辅助视频且辅助视频为视差图,通过XML元素ParallaxParameters携带相应的3D视频处理参数信息。ParallaxParameters可以包括XML元素或属性position_offset_h、position_offset_v、parallax_zero、parallax_scale、dref或wref,分别指示视差样本在2D视频的空间采样网格中的水平偏移量、垂直偏移量、代表零视差的值、用于定义视差值取值范围的缩放比例、参考观看距离以及参考屏幕宽度。
本发明实施例。服务器发送的MPD中3D格式描述信息包括3D格式标识信息,还可以包括3D视频处理参数信息。客户端获取媒体之前,可根据MPD中的3D格式标识信息确定媒体中的视频采用的3D格式,从而确定是否可以选择对应的展现。客户端选择展现后,才从根据MPD中被选择展现的分片信息从相应的服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间。
图4为本发明实施例提供的又一种媒体接收方法流程图。本实施例中MPD中3D格式描述信息只包括3D格式标识信息,初始化信息包括3D视频处理参数信息。初始化信息包括在初始化分片或者自初始化媒体分片中的元数据部分。如图4所示,本实施例包括:
步骤41:客户端接收服务器发送的包括3D格式描述信息的MPD,其中3D格式描述信息包括3D格式标识信息,该服务器为保存有MPD的服务器。
步骤42:客户端根据3D格式标识信息确定MPD描述的展现中视频采用的3D格式,并判断客户端是否支持MPD描述的展现中的视频采用的3D格式。如果客户端至少支持MPD描述的一个展现中的视频采用的3D格式则执行步骤43;如果客户端不支持MPD描述的所有展现中的视频采用的3D格式,则执行步骤411。
步骤43:确定客户端至少支持MPD描述的一个展现中的视频采用的3D格式时,客户端选择该支持的MPD描述的一个或多个展现。
步骤44:客户端判断MPD中被选择展现的分片信息中是否包括初始化分片的HTTP URL,如果是则依次执行步骤45至步骤48,否则依次执行步骤49至步骤410。
在步骤41之后或步骤43之后,客户端接收到MPD后,还可以解析MPD,根据MPD中的分片信息为MPD描述的展现生成分片列表,分片列表中包括用于获取MPD描述的展现的分片的HTTP URL,或者HTTP URL和字节范围。在步骤44中客户端判断分片列表中是否包含初始化分片的HTTP URL。分片列表可以采用如表3所示的形式。
表3为一种分片列表
步骤45:客户端根据初始化分片的HTTP URL,或者HTTP URL和字节范围,向被选择展现对应的服务器发送初始化分片获取请求。初始化分片获取请求用于获取被选择展现的初始化分片。步骤46:客户端接收被选择展现对应的服务器返回的根据初始化分片获取请求中的HTTP URL,或者HTTPURL和字节范围所确定的被选择展现的初始化分片,从初始化分片的初始化信息中获取3D视频处理参数信息。
初始化分片获取请求可以是HTTP Get请求,此时,被选择展现对应的服务器将初始化分片放在HTTP Get响应的消息体中返回给客户端。
步骤47:客户端根据媒体分片的HTTP URL,或者HTTP URL和字节范围,向被选择展现对应的服务器发送媒体分片获取请求。媒体分片获取请求用于获取被选择展现的媒体分片。
步骤48:客户端接收被选择展现对应的服务器返回的、根据媒体分片获取请求中的媒体分片的HTTP URL,或者HTTP URL和字节范围确定的被选择展现的媒体分片。
媒体分片获取请求可以是HTTP Get请求,此时,被选择展现对应的服务器将媒体分片放在HTTP Get响应的消息体中返回给客户端。
之后,客户端可以根据3D视频处理参数信息对媒体分片中的3D视频进行处理,得到供投影到人的左眼的左视图、供投影到人的右眼的右视图,呈现给用户。
一个展现通常包括一组媒体分片,因此步骤47和步骤48可能循环多次,直至客户端完成媒体接收,比如用户选择停止播放媒体,客户端结束媒体接收。
步骤49:客户端根据媒体分片的HTTP URL,或者HTTP URL和字节范围,向相应的服务器发送自初始化媒体分片获取请求。
自初始化媒体分片获取请求用于获取被选择展现的自初始化媒体分片。此处相应的服务器为被选择展现对应的服务器。
步骤410:客户端接收被选择展现对应的服务器返回的根据自初始化媒体分片获取请求中的自初始化媒体分片的HTTP URL,或者HTTP URL和字节范围确定的被选择展现的自初始化媒体分片,从自初始化媒体分片的初始化信息中获取3D视频处理参数信息。
自初始化媒体分片获取请求可以是HTTP Get请求,此时,被选择展现对应的服务器将自初始化媒体分片放在HTTP Get响应的消息体中返回给客户端。
步骤410之后,客户端可以根据3D视频处理参数信息对自初始化媒体分片中的3D视频进行处理,得到供投影到人的左眼的左视图、供投影到人的右眼的右视图,呈现给用户。
一个展现通常包括一组自初始化媒体分片,因此步骤49和步骤410可能循环多次,直至客户端完成媒体接收,比如用户选择停止播放媒体,客户端结束媒体接收。
步骤411:客户端输出不支持视频3D格式的提示信息。对于3D格式描述信息中3D格式标识信息的具体携带方法,可参见图3对应实施例中描述。本实施例中给出一种通过初始化分片或自初始化媒体分片的初始化信息携带3D视频处理参数信息的实施方式,在以下实施方式中3D视频处理参数信息封装在元数据项中,元数据项中还可以封装有3D格式标识信息。具体如下:
通过不同元数据项携带不同3D格式相应的3D视频处理参数信息和3D格式标识信息。通过元数据项的类型或名字指示3D格式标识信息中的3D格式类型标识。3D格式相应的其他信息:例如,3D组件类型标识和3D视频处理参数信息,作为元数据项的内容携带。元数据项的类型或名字、元数据项的内容可以通过不同的Box(箱)携带。可以通过Item Info Box(项目信息箱)携带元数据项的类型或名字;通过Item Data Box(项目数据项)携带元数据项的内容。然后将Box封装到Metadata Box(元数据箱)中,随后将Metadata Box封装到3D视频轨道箱(track box)中,然后将3D视频轨道箱封装到初始化分片或自初始化媒体分片包含的Movie Box中。
具体地,如果3D格式类型为帧包装,则可将相应的3D组件类型标识和3D视频处理参数信息作为类型为fpdt的元数据项封装到帧包装视频相应的轨道箱(track box)中;然后将轨道箱封装到初始化分片或自初始化媒体分片包含的Movie Box中。其中,将帧包装格式类型相应的3D组件类型标识和3D视频处理参数信息作为类型为fpdt的元数据项封装到帧包装视频相应的轨道箱(track box)中的一种可行的实施方式为:在Item Info Box中标识元数据项的类型为fpdt,将携带帧包装格式相应的3D格式描述信息的SEI消息封装放到Item Data Box中;再将Item Info Box和Item Data Box封装到MetadataBox中;将Metadata Box封装到Track Box中。
如果3D格式类型为2D加辅助视频,则可以将相应的3D组件类型标识和3D视频处理参数信息作为类型为sirp的元数据项封装到辅助视频相应的轨道箱中;然后将辅助视频相应的轨道箱封装到初始化分片或自初始化媒体分片中的Movie Box中。其中,将2D加辅助视频格式的3D组件类型标识和3D视频处理参数信息作为类型为sirp的元数据项封装到辅助视频相应的轨道箱中的一种可行的实施方式为:在Item Info Box中标识元数据项的类型为sirp;将si_rbsp()封装放到Item Data Box中;将Item Info Box和Item Data Box封装到Metadata Box中;将Metadata Box封装到Track Box中。
如果3D格式类型为联播,则可以将相应的3D组件类型标识和3D视频处理参数信息作为类型为stvw的元数据项分别封装到携带左视图的视频相应的轨道箱、携带右视图的视频相应的轨道箱中;然后将上述轨道箱封装到初始化分片或自初始化媒体分片中的Movie Box中。其中,将联播格式类型相应的3D组件类型标识和3D视频处理参数信息作为类型为stvw的元数据项封装到携带左视图的视频或携带右视图的视频相应的轨道箱中的一种可行的实施方式为:在Item Info Box中标识元数据项的类型为stvw;将stero_view_Info()封装放到Item Data Box中;将Item Info Box和Item Data Box封装到Metadata Box中;将Metadata Box封装到Track Box中。其中,stereo_view_info()结构的定义如表4所示。
表4为stereo_view_info()结构的定义
本实施例中还给出另一种通过初始化分片或自初始化媒体分片的初始化信息携带3D视频处理参数信息的实施方式:
通过不同类型的box携带不同3D格式类型相应的3D格式标识信息和3D视频处理参数信息。通过Box的类型指示3D格式类型。类型为fpdt的box用于携带帧包装格式类型相应的3D组件类型标识和3D视频处理参数信息。类型为spif的box用于携带2d加辅助视频格式类型相应的3D组件类型标识和3D视频处理参数信息。类型为stif的box用于携带联播格式类型相应的3D组件类型标识和3D视频处理参数信息。
box的定义如下所示。
将Box封装Sample Description Box(样本描述箱)中,将样本描述箱封装到相应的轨道箱中,将轨道箱封装到初始化分片或自初始化媒体分片中的Movie Box中。
本实施例中MPD中3D格式描述信息包括3D格式标识信息,初始化分片或自初始化分片的初始化信息中3D格式描述信息包括3D视频处理参数信息。客户端根据MPD中3D格式标识信息确定客户端是否支持媒体中视频采用的3D格式,如果支持,客户端可以选择对应的展现,并,根据MPD中对应展现的分片信息中初始化分片的HTTP URL,获取相应初始化分片,从相应初始化分片的初始化信息中获取3D视频处理参数信息,之后再获取媒体分片,再从媒体分片中获取视频样本,根据3D视频处理参数信息对视频样本进行处理。或者MPD中对应展现的分片信息中不包括初始化分片的HTTPURL时,直接根据被选择展现的媒体分片的HTTP URL或者HTTP URL和字节范围获取自初始化的媒体分片,从接收到的第一个自初始化的媒体分片的初始化信息中获取视频处理参数信息,在从自初始化的媒体分片中获取视频样本,根据3D视频处理参数信息对视频样本进行处理。
图5为本发明实施例提供的客户端结构示意图。如图5所示,本实施例包括:MPD接收模块51、选择模块52、发送模块53和分片接收模块54。
MPD接收模块51,用于接收媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息。其中,3D格式描述信息包括3D格式标识信息。进一步,3D格式描述信息还包括3D视频处理参数信息。
选择模块52,用于根据MPD接收模块51接收到的3D格式描述信息选择展现。
发送模块53,用于根据所述MPD中分片信息向被选择模块52选择的展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片。
分片接收模块54,用于接收发送模块53发送的分片获取请求所请求的分片。
在MPD中3D格式描述信息不包括3D视频处理参数信息时,分片接收模块54接收到的初始化分片或自初始化媒体分片中的初始化信息包括3D视频处理参数信息。
具体地,选择模块52包括:判断单元和选择单元。
判断单元,用于根据所述3D格式描述信息,确定是否所述MPD描述的展现中视频的3D格式;选择单元,用于确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现。
进一步,所述3D格式标识信息包括3D格式类型标识时,所述判断单元,具体用于根据3D格式类型标识确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式。
进一步,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识时,所述判断单元,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式。
进一步,MPD中3D视频处理参数信息时,所述选择单元,具体用于根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得到供投影到人的左眼的左视图和供投影到人的右眼的右视图。
本发明实施例。客户端先通过MPD接收模块51接收服务器发送的包括视频的3D格式描述信息的MPD,因此,分片接收模块54获取媒体之前,选择模块52可根据MPD中的3D格式描述信息确定媒体中视频采用的3D格式,从而确定是否可以选择相应的展现。选择模块52选择展现后,才根据MPD中被选择展现对应的分片信息从相应服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收较长一段时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。
图6为本发明实施例提供的媒体发送系统结构示意图。如图6所示,本实施例包括:第一服务器61和第二服务器63。
第一服务器61,用于向客户端发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息。第一服务器为保存有所述媒体展现描述的服务器。其中,3D格式描述信息包括3D格式标识信息。进一步,3D格式描述信息还包括3D视频处理参数信息。
所述第二服务器63,用于接收所述客户端发送的分片获取请求,并根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片。所述分片获取请求用于获取所述被选择展现的分片,被选择展现为所述客户端根据3D格式描述信息选择的展现,第二服务器为保存有所述被选择展现的分片的服务器。
在MPD中3D格式描述信息不包括3D视频处理参数信息时,第二服务器63发送的初始化分片或自初始化媒体分片中的初始化信息包括3D视频处理参数信息。所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
本发明实施例,第一服务器在MPD中增加了视频的3D格式描述信息。服务器先向客户端发送包括视频的3D格式描述信息的MPD,客户端获取媒体之前,可根据MPD中的3D格式描述信息确定媒体中的视频采用的3D格式,从而确定是否选择相应的展现。客户端选择展现后,才根据MPD中被选择展现对应的分片信息从第二服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收一段较长时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。
图7为本发明实施例提供的媒体传输系统结构示意图。如图7所示,本实施例包括:第一服务器61、客户端62和第二服务器63。
第一服务器61,用于向客户端62发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;所述第一服务器61为保存有所述媒体展现描述的服务器。其中,3D格式描述信息包括3D格式标识信息。进一步,3D格式描述信息还包括3D视频处理参数信息。
客户端62,用于根据所述3D格式描述信息选择展现,并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;所述被选择展现为所述客户端根据3D格式描述信息选择的展现。
第二服务器63,用于根据所述分片获取请求向所述客户端62发送所述客户端请求的被选择展现的分片,所述第二服务器63为保存有所述被选择展现的分片的服务器。
在MPD中3D格式描述信息不包括3D视频处理参数信息时,第二服务器63发送的初始化分片或自初始化媒体分片中的初始化信息包括3D视频处理参数信息。
具体地,客户端62具体用于根据所述3D格式描述信息,确定所述MPD描述的展现中视频的3D格式;确定是否支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求。
进一步,所述3D格式标识信息包括3D格式类型标识时:
所述客户端62,具体用于根据3D格式类型标识确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求。
进一步,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识时:
客户端62,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求。
进一步,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;3D视频处理参数信息包括在3D格式描述信息、所述初始化分片或所述自初始化媒体分片的初始化信息中时:
所述客户端62,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求;根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得到供投影到人的左眼的左视图和供投影到人的右眼的右视图。
本发明实施例,第一服务器在MPD中增加了视频的3D格式描述信息。服务器先向客户端发送包括视频的3D格式描述信息的MPD,客户端获取媒体之前,可根据MPD中的3D格式描述信息确定媒体中的视频采用的3D格式,从而确定是否选择相应的展现。客户端选择展现后,才根据MPD中被选择展现对应的分片信息从第二服务器获取被选择展现的分片。因此,本发明实施例缩短了客户端确定服务器要发送的媒体中的视频采用的3D格式的时间,改变了现有技术中客户端启动媒体接收一段较长时间后,即获取到携带3D格式描述信息的视频样本后,才能获取到3D格式描述信息的缺陷。
当然,本发明实施例的装置及系统的相关描述可以进一步参照方法实施例相关部分的描述,在此不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (34)
1.一种媒体发送方法,其特征在于,包括:
向客户端发送媒体展现描述MPD,所述媒体展现描述包括视频的3D格式描述信息;
接收所述客户端发送的分片获取请求;所述分片获取请求用于获取被选择展现的分片,所述被选择展现为所述客户端根据所述3D格式描述信息选择的展现;
根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片。
2.根据权利要求1所述媒体发送方法,其特征在于,所述3D格式描述信息包括3D格式标识信息。
3.根据权利要求1所述媒体发送方法,其特征在于,所述3D格式描述信息包括3D格式标识信息和3D视频处理参数信息。
4.根据权利要求1所述媒体发送方法,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述分片为初始化分片或自初始化媒体分片时,所述分片封装有3D视频处理参数信息。
5.根据权利要求1至4任一项所述媒体发送方法,其特征在于,所述3D格式描述信息用XML元素或属性携带。
6.根据权利要求2所述媒体发送方法,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
7.根据权利要求3所述媒体发送方法,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
8.根据权利要求4所述媒体发送方法,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标 识和3D组件类型标识。
9.根据权利要求5所述媒体发送方法,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
10.一种媒体接收方法,其特征在于,包括:
接收媒体展现描述MPD,所述MPD包括视频的3D格式描述信息;
根据所述3D格式描述信息选择展现,并根据所述MPD中的分片信息向被选择展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;
接收所述对应的服务器根据所述分片获取请求所返回的分片。
11.根据权利要求10所述媒体接收方法,其特征在于,根据所述3D格式描述信息选择展现包括:
根据所述3D格式描述信息,确定是否支持所述MPD描述的展现中视频的3D格式;
确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现。
12.根据权利要求11所述媒体接收方法,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识;
根据所述3D格式描述信息,确定是否支持所述MPD描述的展现中视频的3D格式,包括:
根据3D格式类型标识确定MPD描述的展现中视频采用的3D格式类型;
判断是否支持所述3D格式类型;
当支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式。
13.根据权利要求11所述媒体接收方法,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型 标识和3D组件类型标识;
根据所述3D格式描述信息,确定是否支持所述MPD描述的展现中视频的3D格式,包括:
根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型;
判断是否支持所述3D格式类型;
当支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型;
判断是否支持所述3D格式标识信息中组件类型;
支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式。
14.根据权利要求12所述媒体接收方法,其特征在于,所述3D格式描述信息还包括3D视频处理参数信息;
在所述接收所述对应的服务器根据所述分片获取请求所返回的分片之后,还包括:
根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的左视图和供投影到人的右眼的右视图。
15.根据权利要求11所述媒体接收方法,其特征在于,所述3D格式描述信息包括3D格式标识信息,初始化分片包括3D视频处理参数信息或自初始化媒体分片的初始化信息中包括3D视频处理参数信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;
根据所述3D格式描述信息,确定是否支持所述MPD描述的展现中视频的3D格式,包括:
根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;
支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;
支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;
在所述接收所述对应的服务器根据所述分片获取请求所返回的分片之后,还包括:
根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的视图和供投影到人的右眼的右视图。
16.一种客户端,其特征在于,包括:
媒体展现描述MPD接收模块,用于接收媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;
选择模块,用于根据所述3D格式描述信息选择展现;
发送模块,用于根据所述媒体展现描述中分片信息向被选择展现对应的服务器发送分片获取请求,所述分片获取请求用于获取所述被选择展现的分片;
分片接收模块,用于接收所述分片获取请求所请求的分片。
17.根据权利要求16所述客户端,其特征在于,所述选择模块包括:
判断单元,用于根据所述3D格式描述信息,确定是否所述MPD描述的展现中视频的3D格式;
选择单元,用于确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现。
18.根据权利要求17所述客户端,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识;
所述判断单元,具体用于根据3D格式类型标识确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式。
19.根据权利要求17所述客户端,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;
所述判断单元,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式。
20.根据权利要求18所述客户端,其特征在于,所述3D格式描述信息还包括3D视频处理参数信息;
所述选择单元,还用于根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的左视图和供投影到人的右眼的右视图。
21.根据权利要求17所述客户端,其特征在于,所述3D格式描述信息包括3D格式标识信息,初始化分片包括3D视频处理参数信息或自初始化媒体分片的初始化信息中包括3D视频处理参数信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;
所述判断单元,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;
所述选择单元,具体用于根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的左视图和供投影到人的右眼的右视图。
22.一种媒体发送系统,其特征在于,包括:
第一服务器,用于向客户端发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;所述第一服务器为保存有所述媒体展现描述的服务器;
第二服务器,用于接收所述客户端发送的分片获取请求,并根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片;所述分片获取请求用于获取所述被选择展现的分片;所述被选择展现为所述客户端根据3D格式描述信息选择的展现;所述第二服务器为保存有所述被选择展现的分片的服务器。
23.根据权利要求22所述媒体发送系统,其特征在于,所述3D格式描述信息包括3D格式标识信息。
24.根据权利要求23所述媒体发送系统,其特征在于,所述3D格式描述信息还包括3D视频处理参数信息。
25.根据权利要求22或23所述媒体发送系统,其特征在于,所述3D格式描述信息包括3D格式标识信息,初始化分片包括3D视频处理参数信息或自初始化媒体分片的初始化信息中包括3D视频处理参数信息。
26.根据权利要求23所述媒体发送系统,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
27.根据权利要求24所述媒体发送系统,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
28.根据权利要求25所述媒体发送系统,其特征在于,所述3D格式标识信息包括3D格式类型标识,或,所述3D格式标识信息包括3D格式类型标识和3D组件类型标识。
29.一种媒体传输系统,其特征在于,包括:
第一服务器,用于向客户端发送媒体展现描述,所述媒体展现描述包括视频的3D格式描述信息;所述第一服务器为保存有所述媒体展现描述的服务器;
所述客户端,用于根据所述3D格式描述信息选择展现,并根据所述媒 体展现描述中分片信息向第二服务器发送分片获取请求,所述分片获取请求用于获取被选择展现的分片;所述被选择展现为所述客户端根据3D格式描述信息选择的展现;
所述第二服务器,用于根据所述分片获取请求向所述客户端发送所述客户端请求的被选择展现的分片,所述第二服务器为保存有所述被选择展现的分片的服务器。
30.根据权利要求29所述媒体传输系统,其特征在于,所述客户端,具体用于根据所述3D格式描述信息,确定是否MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求。
31.根据权利要求29所述媒体传输系统,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识;
所述客户端,具体用于根据3D格式类型标识确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求。
32.根据权利要求29所述媒体传输系统,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;
所述客户端,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述 中分片信息向第二服务器发送分片获取请求。
33.根据权利要求29所述媒体传输系统,其特征在于,所述3D格式描述信息包括3D格式标识信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;所述3D格式描述信息还包括3D视频处理参数信息;
所述客户端,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求;根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的左视图和供投影到人的右眼的右视图。
34.根据权利要求29所述媒体传输系统,其特征在于,所述3D格式描述信息包括3D格式标识信息,初始化分片包括3D视频处理参数信息或自初始化媒体分片的初始化信息中包括3D视频处理参数信息;所述3D格式标识信息包括3D格式类型标识和3D组件类型标识;
所述客户端,具体用于根据所述3D格式类型标识,确定MPD描述的展现中视频采用的3D格式类型,判断是否支持所述3D格式类型;支持所述3D格式类型时,根据所述组件类型标识,确定组成MPD描述的展现中视频的组件类型,判断是否支持所述3D格式标识信息中组件类型;支持所述组件类型时,确定支持所述MPD描述的展现中视频的3D格式;确定支持所述MPD描述的展现中视频的3D格式时,选择所述展现;并根据所述媒体展现描述中分片信息向第二服务器发送分片获取请求;根据3D视频处理参数信息对媒体分片中的3D视频进行处理,获得供投影到人的左眼的左视图和供投影到人的右眼的右视图。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/074814 WO2011144117A2 (zh) | 2011-05-27 | 2011-05-27 | 媒体发送方法、媒体接收方法和客户端及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102217322A CN102217322A (zh) | 2011-10-12 |
CN102217322B true CN102217322B (zh) | 2013-10-09 |
Family
ID=44746768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011800007556A Active CN102217322B (zh) | 2011-05-27 | 2011-05-27 | 媒体发送方法、媒体接收方法和客户端及系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140089398A1 (zh) |
EP (1) | EP2706755A4 (zh) |
CN (1) | CN102217322B (zh) |
WO (1) | WO2011144117A2 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9584793B2 (en) | 2012-04-09 | 2017-02-28 | Intel Corporation | Signaling three-dimensional video information in communication networks |
CN102857779A (zh) * | 2012-09-12 | 2013-01-02 | 康佳集团股份有限公司 | 利用云端服务器实现3d视频信号自动识别的方法及系统 |
CN104243954A (zh) * | 2014-08-26 | 2014-12-24 | 小米科技有限责任公司 | 3d视频播放方法、装置及终端、服务器 |
US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
EP3300375A4 (en) * | 2015-05-18 | 2018-11-21 | LG Electronics Inc. | Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method |
KR102473346B1 (ko) * | 2015-06-23 | 2022-12-05 | 삼성전자주식회사 | 디지털 방송 서비스 방법 및 장치 |
GB202108749D0 (en) * | 2016-05-23 | 2021-08-04 | Canon Kk | Method, device, and computer program for adaptive streaming of virtual reality media content |
US10104143B1 (en) | 2016-06-03 | 2018-10-16 | Amazon Technologies, Inc. | Manifest segmentation |
US10116719B1 (en) * | 2016-06-03 | 2018-10-30 | Amazon Technologies, Inc. | Customized dash manifest |
US10432690B1 (en) * | 2016-06-03 | 2019-10-01 | Amazon Technologies, Inc. | Manifest partitioning |
CN107959861B (zh) * | 2016-10-18 | 2020-08-25 | 华为技术有限公司 | 一种数据处理方法、相关设备及系统 |
CN108282449B (zh) * | 2017-01-06 | 2020-10-09 | 华为技术有限公司 | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 |
CN108574881B (zh) * | 2017-03-07 | 2020-08-25 | 华为技术有限公司 | 一种投影类型推荐方法、服务器及客户端 |
CN108989826B (zh) * | 2017-06-05 | 2023-07-14 | 上海交通大学 | 视频资源的处理方法及装置 |
US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
US10791366B2 (en) * | 2017-11-30 | 2020-09-29 | Hulu, LLC | Fast channel change in a video delivery network |
CN108156436A (zh) * | 2017-12-27 | 2018-06-12 | 武汉微梦文化科技有限公司 | 三维宣传视频的在线处理方法 |
EP3777136A4 (en) | 2018-04-03 | 2021-05-19 | Huawei Technologies Co., Ltd. | MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS |
US11546402B2 (en) * | 2019-01-04 | 2023-01-03 | Tencent America LLC | Flexible interoperability and capability signaling using initialization hierarchy |
CN111510789B (zh) | 2019-01-30 | 2021-09-21 | 上海哔哩哔哩科技有限公司 | 视频播放方法、系统、计算机设备及计算机可读存储介质 |
CN113518215B (zh) * | 2021-05-19 | 2022-08-05 | 上海爱客博信息技术有限公司 | 3d动态效果生成方法、装置、计算机设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2527281C (en) * | 2003-06-13 | 2013-09-17 | Equifax, Inc. | Systems and processes for automated criteria and attribute generation, searching, auditing and reporting of data |
US9432433B2 (en) * | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US20120229473A1 (en) * | 2007-07-17 | 2012-09-13 | Airgini Group, Inc. | Dynamic Animation in a Mobile Device |
CN101499915A (zh) * | 2008-02-03 | 2009-08-05 | 突触计算机系统(上海)有限公司 | 互联网中为用户提供多媒体内容描述信息的方法和装置 |
US7984097B2 (en) * | 2008-03-18 | 2011-07-19 | Media Patents, S.L. | Methods for transmitting multimedia files and advertisements |
RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
CN102055773B (zh) * | 2009-11-09 | 2013-10-09 | 华为技术有限公司 | 实现基于http的流媒体业务的方法、系统和网络设备 |
CN101789975B (zh) * | 2010-03-23 | 2013-01-23 | 深圳市龙视传媒有限公司 | 用于推送视频点播业务的下载内容的方法及系统 |
US9596447B2 (en) * | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
BR112013001884B1 (pt) * | 2010-08-10 | 2021-06-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Método em um cliente de mídia, método para controlar uma transmissão de um fluxo de mídia, cliente de mídia, entidade de controle, e, método em uma entidade de controle |
US20120066648A1 (en) * | 2010-09-14 | 2012-03-15 | Xerox Corporation | Move and turn touch screen interface for manipulating objects in a 3d scene |
US20120092469A1 (en) * | 2010-10-15 | 2012-04-19 | Albert Kovalick | Switchable 3d stereoscopic and 2d multiprogram viewing system and method |
WO2012071063A1 (en) * | 2010-11-23 | 2012-05-31 | Circa3D, Llc | Blanking inter-frame transitions of a 3d signal |
US9438818B2 (en) * | 2012-06-20 | 2016-09-06 | Qualcomm Incorporated | Device and method for multimedia communications with picture orientation information |
-
2011
- 2011-05-27 CN CN2011800007556A patent/CN102217322B/zh active Active
- 2011-05-27 WO PCT/CN2011/074814 patent/WO2011144117A2/zh active Application Filing
- 2011-05-27 EP EP11783034.9A patent/EP2706755A4/en not_active Withdrawn
-
2013
- 2013-11-27 US US14/092,366 patent/US20140089398A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20140089398A1 (en) | 2014-03-27 |
WO2011144117A2 (zh) | 2011-11-24 |
WO2011144117A3 (zh) | 2012-04-26 |
CN102217322A (zh) | 2011-10-12 |
EP2706755A4 (en) | 2014-07-16 |
EP2706755A2 (en) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102217322B (zh) | 媒体发送方法、媒体接收方法和客户端及系统 | |
KR101783579B1 (ko) | 파일 포맷 기반의 적응적 스트림 생성, 재생 방법 및 장치와 그 기록 매체 | |
KR101786276B1 (ko) | 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치 | |
CN104126308B (zh) | 用于递送补充内容的方法、计算机可读存储介质和接收设备 | |
US20190286684A1 (en) | Reception device, information processing method in reception device, transmission device, information processing device, and information processing method | |
JP5670637B2 (ja) | コンテンツ情報提供/再生方法及び装置 | |
US10826956B2 (en) | Apparatus and method for providing content | |
CN102137298B (zh) | 3d格式描述信息的获取方法和装置 | |
CN102217313B (zh) | 重排、抽取分片中媒体数据的方法、设备及系统 | |
CN104618738A (zh) | 一种智能电视节目播放方法及装置 | |
CN103747365A (zh) | 基于http流的媒体内容动态插播方法、装置及系统 | |
CN103873956B (zh) | 媒体文件播放方法、系统、播放器、终端及媒体存储平台 | |
CN113923473A (zh) | 影音播放方法、装置、电子设备和存储介质 | |
US20110213812A1 (en) | Device and a method for providing metadata to be stored | |
CN104469414A (zh) | 基于多屏互动的信息系统及信息投放方法、iptv系统 | |
CN104954832A (zh) | 基于机顶盒的用户交互方法及系统 | |
CN106303754A (zh) | 一种音频数据播放方法及装置 | |
US11575951B2 (en) | Method, device, and computer program for signaling available portions of encapsulated media content | |
CN105095216A (zh) | 一种数据组装方法、装置及资源传播系统 | |
CN101369860A (zh) | 一种显示点播电子节目指南的方法和机顶盒 | |
KR102196504B1 (ko) | 콘텐츠 제공 장치 및 방법 | |
KR101710452B1 (ko) | 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조 | |
JP2003333489A (ja) | データ再生装置およびデータ再生方法 | |
CN105025379B (zh) | 电子节目菜单界面中的信息推送方法、终端及系统 | |
CN105812893A (zh) | 页面视频播放的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |