CN103339930A - 合作媒体系统中管理多个终端设备上内容分配的方法和装置 - Google Patents
合作媒体系统中管理多个终端设备上内容分配的方法和装置 Download PDFInfo
- Publication number
- CN103339930A CN103339930A CN2010800705623A CN201080070562A CN103339930A CN 103339930 A CN103339930 A CN 103339930A CN 2010800705623 A CN2010800705623 A CN 2010800705623A CN 201080070562 A CN201080070562 A CN 201080070562A CN 103339930 A CN103339930 A CN 103339930A
- Authority
- CN
- China
- Prior art keywords
- media data
- media
- quality
- predetermined value
- channel path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000012372 quality testing Methods 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/123—Evaluation of link metrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W40/00—Communication routing or communication path finding
- H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
- H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
提供了一种用于管理合作系统中多个终端设备上的内容分配的方法和装置。在所述合作媒体系统中，第一媒体数据通过第一信道路径传输至第一媒体终端，与所述第一媒体数据相关的第二媒体数据通过第二信道传输至第二媒体终端。所述方法包括：检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量（S202）；和当检测到第一媒体数据的质量低于第一预定值并且第二媒体数据的质量大于第二预定值时，不通过第一信道路径传输第一媒体数据，而转换为通过第二信道路径将第二媒体数据将传输至所述第一媒体终端（S204）。
Description
技术领域
本发明总体上涉及合作媒体（collaborative media），具体而言，本发明涉及合作媒体系统中管理多个终端设备上内容分配的方法和装置。
背景技术
需要指出，本发明用于向读者介绍各个方面的有关技术，其可能与下述本发明的各个方面相关。这部分介绍有助于向读者介绍背景信息以促进对于本发明的各个方面的理解。因此，可以理解，本发明的讨论是出于上述的目的，而非构成对于现有技术的承认。
在当前的连接家庭（connected home）环境中，越来越多的终端设备成组地进行合作媒体呈现。此处的“合作媒体”是指媒体部分由多个多媒体流（例如视频、动画、flash、音乐、图片等）组成，这些多媒体流具有相同的内容或者在时间和空间顺序上都具有很强的内部关联性。例如，当在电视屏幕上显示时装表演，终端用户所选择的感兴趣区域内的内容将呈现在其手机屏幕上，两个屏幕在节目全程都同步。上述情况可称为合作媒体呈现。另一个例子是，电视屏幕被分为多个区域，用于足球比赛的多视角显示――一个视角用于整个体育馆全景，另一个视角用于从不同角度提供运动员的近景。在这种情况下，观看者还可以把某个屏幕上的一个部分（例如体育明星的近景）转移到附近的个人平板电脑上，同时保持电视屏幕上的全景。上述情况也可以用在F1大奖赛的实况转播中，观看者可以选择通过安装在选手头盔上的内部摄像机拍摄的视频流，从而体验选手的感觉，同时还能观看转播的节目。
在Li Jun等在2010年3月31日提交的名称为“SCENE BASED TRICKMODE USING STORYBOOK”的国际专利申请PCT/CN2010/000413中提出了一种用于在合作媒体呈现中一个终端与另一终端的同步的媒体分布方法。在Chen Jian Feng等在2010年2月12日提交的名称为“VISUAL RHYTHMBASED MULTIMEDIA DISTRIBUTION IN CONNECTED HOME”的国际专利申请PCT/CN2010/000201中提出，根据视频内容的视觉节奏通过时延抖动标准确定具有同步要求的合作媒体的传输速率。在上述两个申请中，认为传输信道是可靠的传输路径并且很少发生丢包。即，并不考虑丢包。但是，在实际的连接家庭环境中，可能采用不同类型的接入网络。对于具有无线传输的接入网络，例如WiFi、WiMAX或数据接口通过用于HSDPA（高速下行分组接入）的分组交换网络、WCDMA（宽带码分多址）、LTE（长期演进）等，由于无线传输信道的易错特性，丢包是不可避免的。
考虑到上述技术问题，一些方案对于合作媒体系统考虑丢包的情况。ZhiLi等在2007年2月14日提交的名称为“SYSTEM AND METHOD OFMANAGING VIDEO CONTENT”的美国专利申请US2008/0192119提出了一种预测机顶盒接收到的视频内容的质量并确定头端与机顶盒之间的当前传输是否满足性能要求的方法。上述预测方法基于视频质量模型和经验视频性能测试数据，其中定义了一个阈值，用于当网络元件未满足性能要求时提供报警。Cheuk Chan等在2006年8月2日提交的名称为“SYSTEM AND METHODFOR TRANSFERRING MULTIPLE DATA CHANNELS”的美国专利申请US7676591提出了一种用于在第一和第二轨道之间快速播放转换的方法。但是在此专利中，通过终端用户从一个媒体源转移至另一媒体源的操作触发转换操作，而不是由内部设备基于传输视频质量确定。在Shridhar Krishnamurthy等在2001年4月19日提交的名称为“SYSTEM AND METHOD FORWIRELESS PACEKT DATA CONTENT SWITCH”的美国专利申请US9839830中，内容转换系统从无线分组数据中提取一个或多个预定数据字段，其目的是将数据通过不同协议规格的各种网络提供至无线设备。在此专利申请中，在更高层对服务关系没有要求。
发明内容
本发明提供了一种合作媒体系统中管理多个终端设备上内容分配的方法和装置。
根据本发明的一个方面，提供了一种用于管理合作媒体系统中内容分配的方法。在所述合作媒体系统中，第一媒体数据通过第一信道路径传输至第一媒体终端，与所述第一媒体数据相关的第二媒体数据通过第二信道传输至第二媒体终端。所述方法包括：检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量；和当检测到第一媒体数据的质量低于第一预定值并且第二媒体数据的质量大于第二预定值时，不通过第一信道路径传输第一媒体数据，而转换为通过第二信道路径将第二媒体数据将传输至所述第一媒体终端。
根据本发明的另一个方面，提供了一种合作媒体系统中的网关，其接收第一媒体数据并将所述第一媒体数据通过第一信道路径传输至第一媒体终端，并接收与所述第一媒体数据相关的第二媒体数据并将所述第二媒体数据通过第二信道传输至第二媒体终端，所述网关包括：控制装置，用于检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量，并当检测到第一媒体数据的质量低于第一预定值并且第二媒体数据的质量大于第二预定值时，不通过第一信道路径传输第一媒体数据，而转换为通过第二信道路径将第二媒体数据将传输至所述第一媒体终端。
在通过下面对本发明的实施方式进行的详细说明，本发明的更多方面和优点将得到理解。
附图说明
通过结合附图对本发明的实施方式进行详细说明，从而解释本发明的原理。因此本发明并不局限于所述实施方式。在附图中：
图1是现有技术中连接家庭网络的结构示意图；
图2是根据本发明的实施方式的合作媒体系统中管理内容分配的方法的流程图；
图3是根据本发明实施方式的家庭网关的框图；
图4是图3所示家庭网关从缓存器1转换至缓存器2的示意图；和
图5是由图3所示家庭网关执行的图4所示将媒体流从缓存器1转换至缓存器2的流程图。
具体实施方式
下面将结合附图对本发明的实施方式进行说明。在说明中，为了简洁的目的，将省略对某些已知功能和结构的详细说明。
图1是现有技术中连接家庭网络的结构示意图。如图1所示，机顶盒（STB）通过内容分配网络的第一信道路径（图1中用虚线表示）接收从服务器1传输的实况电视节目的第一数据流。平板电脑（tablet）通过内容分配网络的第二信道路径（图1中用实线表示）接收从服务器2传输的上述实况电视节目的辅助内容的第二数据流。例如，上述辅助内容可以是与实况电视节目不同的第二视角。以同步方式分别在与STB连接的电视和平板电脑上显示上述第一数据流和第二数据流，这就构成了上述的合作媒体呈现。在这种情况下，第一数据流和第二数据流被定义为处于相同的合作媒体组。
如图1所示，家庭网关可以作为第一和第二数据流的代理以执行内容分配的中央控制功能。所述从服务器1和服务器2发出的数据可以由相同的内容提供者产生，例如国家或地方电视台。所述数据流也可以来自不同来源。例如，在电视屏幕上显示的第一数据流可以从有线接收，而在平板电脑上显示的辅助内容的第二数据流是从第三方网址上检索的，只要第一和第二数据流用于相同的节目或者时间和空间顺序上具有很强的内部关联性、即同步。第一和第二数据流可以从服务器1和服务器2分别发送至STB和平板电脑。但是，可以理解，本发明并不局限于数据流技术。
可以理解，在图1所示连接家庭环境中的合作媒体分配过程中，在第一和第二信道路径上传输的第一和第二数据流可能受到各种丢包条件的影响。另外，对于对于流视频内容传输，丢包对视觉体验造成的影响可能由于不同的压缩视频包类型而变化。虽然可以在应用层采用某些差错复原（errorresilience）方法来降低丢包对视觉体验造成的影响，但还是很难提供满意的结果，例如当表示视频序列中新场景（scene）的独立解码帧丢失时。
为了便于说明，在本发明中假设从家庭网关至终端设备的数据流传输是理想的。即，从家庭网关向终端设备的数据传输不存在质量下降。因此，当提到信道路径的内容质量时，实际上其只取决于从服务器至家庭网关的传输质量。
考虑到属于相同合作媒体组的不同传输信道路径的内容的强关联性，可以将在一个信道路径上传输的内容认为是另一信道路径上传输的内容的有效补充或备用内容。因此，当一个信道路径上的内容质量（例如由于独立解码帧的丢包）严重下降，从此信道路径向具有较佳质量的另一信道路径进行内容转换将有助于改善视频观看体验的QoE（体验质量）。
基于上述发现，本发明的一个实施方式提供了一种用于管理在合作媒体系统中多个媒体终端上属于一个合作媒体组的内容分配的方法。在所述合作媒体系统中，属于相同合作媒体组的多个媒体数据在不同的信道路径上传输并在不同媒体终端上显示。为了便于说明，下面将以图1所示连接家庭网络的应用场景进行说明，其中合作媒体组包括在两个信道路径上将两个媒体内容分别传输至两个终端。但是可以理解，本发明的方法并不局限于这种情况。
图2是根据本发明的实施方式的合作媒体系统中管理内容分配的方法的流程图。在所述合作媒体系统中，第一媒体数据通过第一信道路径传输至第一媒体终端，与第一媒体数据相关（或同步）的第二媒体数据通过第二信道路径传输至第二媒体终端。
如图2所示，首先，过程以步骤S201开始，其中检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量。
接下来，在步骤S202，判断第一媒体数据的质量是否低于第一预定值并且第二媒体数据的质量是否大于第二预定值。
如果步骤S202的结果为“否”，过程将返回步骤S201并继续检测第一媒体数据和第二媒体数据的质量。如果步骤S202的结果为“是”，则过程将进行至步骤S203，其中将第二媒体数据而非第一媒体数据传输至第一媒体终端。
所述方法还可以包括一个附加步骤S204，其中当检测到第一媒体数据改善并大于第三预定值时，媒体分配将转换回将第一媒体数据传输至第一媒体终端。
本领域普通技术人员可以理解，上述第一、第二和第三预定值定义相应媒体数据的质量。因此，通常第一预定值将低于第二预定值，而第三预定值将大于第一预定值。
采用上述方法，当合作媒体系统中一个信道路径的媒体质量下降至不可接受的水平时，此信道路径的媒体终端将转而显示具有较佳质量的其他信道路径上的媒体数据。这将有助于改善视频视觉体验QoE。
对于图1所示连接家庭网络，上述方法优选地通过家庭网关来实施。下面将参照图3至5对在连接家庭网络中用于实施根据本发明实施方式和的方法的家庭网关进行说明。在图3所示家庭网关中，通过监控媒体数据流在每个服务器及其连接终端之间的信道路径上的丢包状态来检测媒体数据流的质量。
图3是根据本发明实施方式的家庭网关300的框图。该家庭网关作为从服务器1至STB中的媒体播放器和从服务器2至平板电脑中的媒体播放器的数据流的媒体代理。
如图3（a）所示，家庭网关300包括包捕获单元1和包捕获单元2，其用于例如从网络接口卡（未示出）根据由协议（例如目的端口、服务类型等）组成的不同的过滤器设置分别捕获服务器1和服务器2发出的媒体数据流中的IP包。每个捕获单元用于获得输入数据包，用于在后面的模块中进行分析。从给定的网络接口，捕获单元将覆盖所有类型的动态网络应用，因此过滤器用于选择具体应用所需目标包。对于一个应用可能存在数个通信协议。例如，对于VOD（视频点播）服务，实时传输协议（realtime transmission protocol/RTP）和用户数据报协议（user datagram protocol/UDP）将在互联网协议（InternetProtocol/IP）上运行。在此实施方式中，服务器的IP地址和端口可以设置为目标视频服务的源地址和端口，用于与其他服务包（例如电子邮件、上网等）区分。
家庭网关300还包括缓存器1和缓存器2，用于分别从包捕获单元1和包捕获单元2接收捕获的IP包并存储接收的包。
家庭网关300还包括控制单元301，用于检测存储在缓存器1和缓存器2中的各自的质量并判断是否将质量下降至预定数值的数据流转换至具有更好质量的其他数据流。
如上所述，根据数据流中丢包状态检测媒体数据流的质量。即，可以基于丢失包的优先级和媒体数据流的丢包率估计媒体数据流的质量。如图3（b）所示，控制单元301包括丢包检测单元301a，用于检测媒体数据流中的丢包。例如，可以基于对各个缓存器中的包的序号的连续性分析进行所述检测。如果连续包中序号有缺失，则丢包检测单元301a可以判断发生了丢包。控制单元301还包括预测单元301b，用于在从丢包检测单元301a接收到发生丢包的消息时预测丢包的类型和优先级。对于此预测，一种方法是解码当前视频包以验证视频序列中的丢帧或条（slice），但是这种方法将给网关侧的解码工作带来更重的负担和更大的资源消耗。
另一种方法是解析存储在缓存器中的包的特定字段（例如包的优先级）以确定丢包的重要性。在名为“H.264音频的RTP有效负荷格式”的RFC3984中，在RTP有效负荷的开始定义了NAL（网络抽象层）单元八位字节，其中2位用于NAL。只要连续RTP包之间的有效负荷的内容类型相同，数值00和非零数值的语义与H.264规格书保持相同。数值00表示NAL单元的内容不用于重建参考图像，而数值11表示视频包可能包含重要信息，例如序列参数集或图像参数集，或者视频包是作为其他视频包的参考的即时解码刷新（IDR）单元。
在用于MPEG1/MPEG2视频的RTP有效负荷格式的RFC2250中，MPEG视频特定报头在RTP固定报头之后连接至每个RTP包。
在报头中，P字段用于图像类型（3字节），即I（1）、P（2）、B（3）或D（4）。该数值对于给定图像的每个RTP包是恒定的。I帧具有最高优先级，B/D帧具有最低优先级。基于此RFC定义，控制单元301的预测单元301b可以通过解析RTP有效负荷中的特定字段检测用于视频质量的视频包的优先级，这将降低网关侧视频内容解码的开销。丢包的优先级只能通过观察当前接收到的包进行预测，包括具有序号的最接近变化的邻近包。因此，这些邻近包中的优先级数值将提供足够的参考信息以预测丢包的优先级类型。可以使用来自丢包附近的最接近的两个包（一个前面的包和一个后面的包）的信息。先前包的优先级历史可以提供周期IDR单元或I帧出现的某些附加参考信息，通过这些信息可以进行匹配处理以确定丢包的可能类型。
控制单元301还包括估计单元301c，用于基于来自预测单元301b的丢包状态输入估计两个媒体流的媒体数据质量。例如，如果在媒体流中具有丢包并且丢包覆盖高优先级独立解码视频包，媒体质量将被估计为低于不具有丢包或者丢包发生在低优先级视频帧的媒体流。另外，预测单元301b还可以预测媒体数据流的丢包率。如果虽然媒体流中未发生优先级包的丢失而丢包率超过预定水平，媒体质量也将被估计为低于没有高优先级丢包和具有低丢包率的媒体流。可以用任何现有技术中已知的任何适当方式表示或者指示估计结果，在本发明中将不再说明。
控制单元301包括流转换单元301d，其根据估计单元301c的估计结果运转。更具体地，如果一个媒体流的质量被估计为下降至低于某个数值而同时另一媒体流的质量被估计为保持高于某个数值，则流转换单元301d将具有较低质量数值的媒体流转换至具有较高质量数值的另一媒体流。如图3所示，媒体流通过套接字传输至相应的媒体终端而进行传输。
例如，如果在缓存器2的媒体流丢失了一个或多个高优先级的包，则只要缓存器1的媒体流中不存在丢包或者只有低优先级丢包，即可以进行流转换操作。如果在缓存器1的媒体流中也存在高优先级的丢包，则不执行所述转换。
优选地，流转换单元301d从下一独立解码帧开始转换媒体流以防止在媒体终端的媒体播放器上显示所述媒体流时产生马赛克（mosaic）。例如，可以在I帧或IDR单元选择转换点。图4是图3所示家庭网关从缓存器1转换至缓存器2的示意图。如图4所示，缓存器2中SN=15的包丢失。控制单元301根据序号对比检测到此丢包，并基于帧优先级序列的有序性来预测丢包覆盖I帧，因为在以前的历史中通常I帧出现在B帧之后和P帧之前。另外，如果控制单元301判断在缓存器1中不存在丢包，从缓存器1的下一I帧（此例中为SN＝6的包）开始，缓存器2中的包（或包的有效负荷）将由缓存器1中的相应内容所代替。对于另外一个实施方式，下面的表格包括了当发生单一丢包时只具有两个优先级等级（高/低）的更为一般的预测判断结果。如果具有更多优先级等级或者发生一个以上的丢包时，也可以采用其他可能性预测方法。
另外，当估计单元301c显示上述具有较低质量数值的媒体流改善至高于某个数值，流转换单元301d可以转换回原始媒体流传输至相应的媒体终端。本领域普通技术人员可以理解，考虑到马赛克问题，上述转换回的操作也从下一独立解码帧开始进行。
本领域普通技术人员可以理解，还可以使用其他媒体质量估计方法。
另外，如上所述，对于媒体质量，家庭网关300只考虑其与服务器之间的信道路径并假设其与终端设备之间的传输是理想的。本领域普通技术人员可以理解，可以根据本发明的应用场景确定家庭网关与终端设备之间的信道路径是否为理想的。
图5是由图3所示家庭网300关执行的图4所示将媒体流从缓存器1转换至缓存器2的流程图。
如图5所示，在步骤S501，对于每个媒体流，从网络接口捕获包并存储在各个缓存器中，即缓存器1和缓存器2.
在步骤S502，解析缓存器中包的特定字段以获得所述包的序号及其优先级信息。
接下来，在步骤S503，判断在一个缓存器（此例中为缓存器2）中是否发生丢帧。
如图5所示，在步骤S502之后，还存在步骤S504更新每个缓存器中的序列优先级历史。
如果步骤S503的结果为“是”，在下一步骤S505，通过将当前包的优先级序列与步骤S504获得的优先级序列历史进行比较预测丢包的优先级。
随后在步骤S506，判断丢包是否具有高优先级。
如果步骤S506的结果为“是”，在后续步骤，也将在步骤S507和S508判断在另一缓存器（此例中为缓存器1）中是否存在丢包以及是否有高优先级的丢包。如果步骤S507或S508的结果为“否”，从下一独立解码帧开始内容从缓存器2转换至缓存器1并传输至缓存器2的显示设备。
如图5所示，如果步骤S506的结果为“否”，在步骤S509，判断缓存器2的统计丢包率是否大于预定阈值。如果步骤S509的结果为“是”，过程将转至步骤S507和S508。如果步骤S509的结果为“否”，将不进行转换，即，将仍旧传输缓存器2中的包。
如图5所示，如果步骤S506的结果为“否”，并且在步骤S512的判断结果显示缓存器2的统计丢包率恢复至可接受的预定数值，将进行转换回的操作。即将再次传输缓存器2中的包。
可以理解，对于缓存器1和缓存器2中的包的操作可以并行进行。因此，虽然根据特定顺序对上述步骤进行了说明，但是某些步骤也可以同时或者按照相反顺序进行。
在上述本发明的实施例中，合作媒体组只包括在两个信道路径上分别传输至两个终端设备的两个媒体内容。但是对于具有在两个以上信道路径上分别传输至两个以上终端设备的多个媒体内容的合作媒体组，本发明同样适用。
可以理解，通过实施例对本发明进行了说明，但可以在本发明的原理和范围内做出很多修改。说明书、权利要求和附图中所述的每个特征都（以合适方式）单独或者以任何适当的结合方式提供。所述特征可以用硬件、软件及其结合进行实施。
Claims (13)
1.一种用于管理合作媒体系统中内容分配的方法，其中第一媒体数据通过第一信道路径传输至第一媒体终端，与所述第一媒体数据相关的第二媒体数据通过第二信道路径传输至第二媒体终端，所述方法包括：
检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量；和
当检测到第一媒体数据的质量低于第一预定值并且第二媒体数据的质量大于第二预定值时，不通过第一信道路径传输第一媒体数据，而转换为通过第二信道路径将第二媒体数据将传输至所述第一媒体终端。
2.根据权利要求1所述的方法，还包括：
当检测到第一媒体数据的质量改善至大于第三预定值时，转换回通过第一信道路径将第一媒体数据传输至第一媒体终端。
3.根据权利要求1所述的方法，其中所述第一预定值小于所述第二预定值。
4.根据权利要求2所述的方法，其中所述第三预定值大于所述第一预定值。
5.根据上述权利要求任一所述的方法，其中分别根据第一媒体数据和第二媒体数据的丢包的优先级等级和丢包率检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量。
6.根据权利要求5所述的方法，还包括：
当检测到丢包为高优先级时将第一媒体数据的质量检测为低于所述第一预定值。
7.根据权利要求5所述的方法，还包括：
当检测到第一媒体数据的丢包率超过阈值时将第一媒体数据的质量检测为低于所述第一预定值。
8.根据权利要求1或2所述的方法，还包括：
选择进行所述转换和转换回的点以防止第一媒体终端上发生马赛克显示。
9.一种合作媒体系统中的网关，其接收第一媒体数据并将所述第一媒体数据通过第一信道路径传输至第一媒体终端，并接收与所述第一媒体数据相关的第二媒体数据并将所述第二媒体数据通过第二信道传输至第二媒体终端，所述网关包括：
控制装置，用于检测第一信道路径上的第一媒体数据的质量和第二信道路径上的第二媒体数据的质量，并当检测到第一媒体数据的质量低于第一预定值并且第二媒体数据的质量大于第二预定值时，不通过第一信道路径传输第一媒体数据，而转换为通过第二信道路径将第二媒体数据将传输至所述第一媒体终端。
10.根据权利要求9所述的网关，还包括：
当检测到第一媒体数据的质量改善至大于第三预定值时、转换回通过第一信道路径将第一媒体数据传输至第一媒体终端的装置。
11.根据权利要求9所述的网关，其中所述第一预定值小于所述第二预定值。
12.根据权利要求10所述的网关，其中所述第三预定值大于所述第一预定值。
13.根据上述权利要求任一所述的网关，其中所述控制装置包括：
丢包检测单元，用于检测媒体数据中的丢包；
预测单元，用于预测丢包检测单元检测的丢包的优先级等级和媒体数据的丢包率；
估计单元，用于根据预测单元预测的丢包优先级等级和媒体数据的丢包率估计媒体数据的质量；和
转换单元，用于根据估计单元的估计结果在第一媒体数据和第二媒体数据之间进行转换。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2010/001979 WO2012075601A1 (en) | 2010-12-07 | 2010-12-07 | Method and apparatus for managing content distribution over multiple terminal devices in collaborative media system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103339930A true CN103339930A (zh) | 2013-10-02 |
| CN103339930B CN103339930B (zh) | 2016-11-02 |
Family
ID=46206506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080070562.3A Expired - Fee Related CN103339930B (zh) | 2010-12-07 | 2010-12-07 | 合作媒体系统中管理多个终端设备上内容分配的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9344478B2 (zh) |
| EP (1) | EP2649794B1 (zh) |
| JP (1) | JP5715262B2 (zh) |
| KR (1) | KR20130124348A (zh) |
| CN (1) | CN103339930B (zh) |
| WO (1) | WO2012075601A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11159804B1 (en) * | 2012-09-13 | 2021-10-26 | Arris Enterprises Llc | QoE feedback based intelligent video transport stream tuning |
| US9887914B2 (en) * | 2014-02-04 | 2018-02-06 | Fastly, Inc. | Communication path selection for content delivery |
| US9491504B1 (en) * | 2014-04-02 | 2016-11-08 | Cox Communications, Inc. | Wireless set-top box pairing and quality of service user interface |
| US9900626B2 (en) * | 2015-10-28 | 2018-02-20 | Intel Corporation | System and method for distributing multimedia events from a client |
| US10735989B2 (en) * | 2017-08-16 | 2020-08-04 | Atc Technologies, Llc | Multi-path TCP over dual networks |
| CN109788337B (zh) * | 2017-11-15 | 2021-03-09 | 浙江宇视科技有限公司 | 一种对所采集的视频数据进行发送处理的方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4230487B2 (ja) * | 1997-10-07 | 2009-02-25 | 雅信 鯨田 | Ｗｅｂページ連動型の複数連携型表示システム |
| US20020131447A1 (en) | 2000-03-27 | 2002-09-19 | Shridhar Krishnamurthy | System and method for wireless packet data content switch |
| US20030101460A1 (en) | 2001-11-29 | 2003-05-29 | Meng-Hsien Liu | Video-on-demand system and method to reduce network bandwidth used thereby |
| US7062712B2 (en) | 2002-04-09 | 2006-06-13 | Fuji Xerox Co., Ltd. | Binding interactive multichannel digital document system |
| JP4088096B2 (ja) * | 2002-04-16 | 2008-05-21 | 株式会社日立製作所 | デジタル放送用コンテンツ配信局及びコンテンツ配信方法 |
| JP2004040604A (ja) * | 2002-07-05 | 2004-02-05 | Nippon Hoso Kyokai <Nhk> | 放送通信コンテンツ送出方法、放送通信コンテンツ送出装置、放送通信コンテンツ送出プログラムおよび放送通信コンテンツ受信方法、放送通信コンテンツ受信装置、放送通信コンテンツ受信プログラム |
| JP4306355B2 (ja) | 2003-07-16 | 2009-07-29 | ソニー株式会社 | コンテンツ提供システム、コンテンツの提供方法、及びテレビジョン装置 |
| US20060161621A1 (en) | 2005-01-15 | 2006-07-20 | Outland Research, Llc | System, method and computer program product for collaboration and synchronization of media content on a plurality of media players |
| CN1928901A (zh) * | 2005-09-09 | 2007-03-14 | 上海强众信息科技有限公司 | 多路信息综合处理系统及其信息播放的统计方法 |
| US7676591B2 (en) * | 2005-09-22 | 2010-03-09 | Packet Video Corporation | System and method for transferring multiple data channels |
| US8839325B2 (en) * | 2007-02-14 | 2014-09-16 | At&T Intellectual Property I, L.P. | System and method of managing video content quality |
| JP5194673B2 (ja) | 2007-09-26 | 2013-05-08 | 株式会社日立製作所 | 携帯端末、及び情報の送受信方法 |
| FR2923111A1 (fr) * | 2007-10-25 | 2009-05-01 | Thomson Licensing Sas | Procede de selection de service audio et/ou video recu. |
| JP2010074487A (ja) * | 2008-09-18 | 2010-04-02 | Panasonic Corp | 映像受信システム、映像受信端末および双方向リモコン |
| US8289368B2 (en) | 2008-12-15 | 2012-10-16 | Avaya Inc. | Intelligent grouping and synchronized group switching for multimedia conferencing |
| US8838824B2 (en) * | 2009-03-16 | 2014-09-16 | Onmobile Global Limited | Method and apparatus for delivery of adapted media |
| JP2011041229A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 送信装置、受信装置、無線装置および送信装置における伝送モード制御方法 |
-
2010
- 2010-12-07 WO PCT/CN2010/001979 patent/WO2012075601A1/en active Application Filing
- 2010-12-07 EP EP10860559.3A patent/EP2649794B1/en not_active Not-in-force
- 2010-12-07 CN CN201080070562.3A patent/CN103339930B/zh not_active Expired - Fee Related
- 2010-12-07 US US13/991,283 patent/US9344478B2/en not_active Expired - Fee Related
- 2010-12-07 JP JP2013542323A patent/JP5715262B2/ja not_active Expired - Fee Related
- 2010-12-07 KR KR1020137017575A patent/KR20130124348A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| US20130262554A1 (en) | 2013-10-03 |
| EP2649794A1 (en) | 2013-10-16 |
| WO2012075601A1 (en) | 2012-06-14 |
| WO2012075601A8 (en) | 2013-06-20 |
| JP5715262B2 (ja) | 2015-05-07 |
| US9344478B2 (en) | 2016-05-17 |
| KR20130124348A (ko) | 2013-11-13 |
| EP2649794A4 (en) | 2017-07-19 |
| JP2014506030A (ja) | 2014-03-06 |
| EP2649794B1 (en) | 2019-10-30 |
| CN103339930B (zh) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101505316B (zh) | 重排和复用属于互相关会话的多媒体流的包的方法和设备 | |
| US9565482B1 (en) | Adaptive profile switching system and method for media streaming over IP networks | |
| CN101568027B (zh) | 转发视频数据的方法、装置和系统 | |
| US20150181003A1 (en) | Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt | |
| KR101757771B1 (ko) | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 | |
| CN104038844B (zh) | 一种基于mpeg‑2标准的移动直播系统 | |
| KR20130040090A (ko) | 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법 | |
| WO2012047004A2 (ko) | Ｈｔｔｐ 스트리밍의 표현 스위칭시 자연스런 재생을 위한 스케일러블한 ｈｔｔｐ 스트리밍 전송 방법 | |
| US20150110168A1 (en) | Video data transmission method and apparatus | |
| CN103339930A (zh) | 合作媒体系统中管理多个终端设备上内容分配的方法和装置 | |
| US20100161823A1 (en) | A streaming service system and method for universal video access based on scalable video coding | |
| CN109905729B (zh) | 使用跨层优化发送多媒体数据封包的方法和装置 | |
| KR20130119885A (ko) | 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치 | |
| CN102333209B (zh) | 应用于视频监控系统的数据传输方法及设备 | |
| CA2625025A1 (en) | Ip broadcast system, and multiplexer, receiving apparatus and method used in ip broadcast system | |
| JP2011216950A (ja) | 基地局装置、基地局装置における無線送信方法、及び無線通信システム | |
| US8565083B2 (en) | Thinning of packet-switched video data | |
| Chen et al. | Study on relationship between network video packet loss and video quality | |
| Zhu et al. | Research on adaptive transmission of H. 264 video stream and QoS guarantee based on SIP | |
| KR20110051733A (ko) | 비디오 스트리밍을 위한 네트워크 적응형 가변 스트림 계층화 장치 및 방법 | |
| Tsakos et al. | Multiport streaming of matroska (MKV) video over IP | |
| KR20130007993A (ko) | 프레임별 전송 시간 정보 할당을 이용한 상호 의존성 프레임을 가지는 미디어 스트림의 전송 방법 | |
| Shi et al. | Network parameters for network video quality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190521 Address after: Paris France Patentee after: Interactive digital CE patent holding Co. Address before: I Si Eli Murli Nor, France Patentee before: THOMSON LICENSING |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161102 Termination date: 20211207 |