CN101860471B - 一种媒体流切换方法、装置和系统 - Google Patents
一种媒体流切换方法、装置和系统 Download PDFInfo
- Publication number
- CN101860471B CN101860471B CN 200910106639 CN200910106639A CN101860471B CN 101860471 B CN101860471 B CN 101860471B CN 200910106639 CN200910106639 CN 200910106639 CN 200910106639 A CN200910106639 A CN 200910106639A CN 101860471 B CN101860471 B CN 101860471B
- Authority
- CN
- China
- Prior art keywords
- message
- messages
- media stream
- visual sensitivity
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 99
- 230000035945 sensitivity Effects 0.000 claims abstract description 97
- 238000013507 mapping Methods 0.000 claims description 32
- 230000001629 suppression Effects 0.000 claims description 25
- 230000005764 inhibitory process Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
- H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及网络通信领域，尤其涉及一种媒体流切换方法、装置和系统。该方法包括，接收并缓存报文，所述报文用于承载媒体流；获取所述报文的视觉敏感度；当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文；重新编排所述视觉敏感度高的报文的序列号；将经过重新编排序列号的所述视觉敏感度高的报文发送给终端。采用本发明实施例提供的技术方案，因为只发送视觉敏感度高的报文给终端，降低了媒体流切换对传送带宽的要求，增加了可推送的单播码流数量，并且发送的报文的序列号经过重新编排，终端无需请求报文重传，解决了媒体流切换对传送带宽有较高要求、可推送的单播码流数量有限、推送持续时间比较长的问题。
Description
技术领域
本发明涉及网络通信领域，尤其涉及一种媒体流切换方法、装置和系统。
背景技术
网络协议电视(Internet Protocol Television，IPTV)逐渐普及，但是困扰着用户及运营商的一个问题是，IPTV频道切换有较大的延时。
IPTV频道切换延时由多个因素构成，例如：离开旧媒体流组播组消耗的时间，加入新媒体流组播组消耗的时间，机顶盒(Set Top Box，STB)抖动缓存填充数据消耗的时间，等待I帧消耗的时间。其中，等待I帧的时间是最关键的一部分。
IPTV、数字电视(Digital Television，DTV)普遍在用运动图像专家组压缩标准第2版(MPEG-2，Moving Picture Experts GroupCompression Standard Version 2)、H.264/AVC(MPEG-4高级视频编码，Advanced Video Coding)、视频编解码器-1(Video Codec 1，VC-1)、数字音视频编解码标准(AVS，Audio Coding Standard)等视音频压缩编码算法，电视画面被编码为内部编码帧(I帧)、前向预测帧(P帧)和双向内插帧(B帧)组成的图像序列。其中，I帧是整个画面完整编码的帧，又称为完整帧、关键帧，I帧可以独立解码显示，也能为相关的P帧、B帧的解码提供参照。P帧是编码与前一帧差异的帧，P帧不能独立解码显示，必须在它参照的I帧预先收到时才能解码显示。B帧是编码与前一帧和后一帧差异的帧，B帧不能独立解码显示，必须在它参照的I帧预先收到时才能解码显示。由于绝大部分画面是连续的，连续2帧大体相同而差异较小，P帧、B帧主要编码帧间差异，不必编码整个画面，因而比I帧具有更高的编码效率。广播电视运营时为了获取更高的压缩率采用的编码序列通常I帧间隔0.55秒左右，就形成了例如IBBPBBPBBPBBIBBPBBP...的形式，这样由于P帧、B帧的数量远远多于I帧，当用户切换频道时，大部分情况下遇到的是P帧或B帧，然而，由于P帧、B帧必须依靠前面的I帧才能解码，因此收到的P帧、B帧只能丢弃，只有等到下一个I帧后才有可能开始解码，因此就引起了在频道切换时速度慢的问题。
H.264有更好的数据压缩率，在相同视觉体验的情况下，H.264编码的视频码流约为MPEG-2的1/2至1/3，因此H.264更适合做IPTV的媒体编码格式。
但由于H.264的一个画面组(Group of Pictures，GOP)时间比较长，可以根据实际环境设置成4至8秒之多，因此I帧间的间隔更长。在频道切换时，终端需要等待接收到一个完整的I帧后才能开始解码，等待I的过程有可能是0至8秒，因此就引起了在媒体流切换时速度慢的问题。
在IP网络中，报文丢失难以完全避免，报文丢失会产生画面花屏或停顿等不好的视觉体验。为了解决丢失报文问题，STB普遍使用丢失错误报文重传技术，即在接收到错误报文或者没有接收到数据报文时主动向服务器请求丢失或错误的报文，服务器以单播方式向终端重发终端请求的报文。
媒体流切换的时候，终端即STB的解码器必须缓存一个完整的I帧才能开始解码显示。为了解决I帧等待引入的媒体流切换时间过程的问题，现有媒体流切换如下：
(1).服务器缓存IPTV媒体流对应的多媒体数据流；
(2).媒体流切换的时候，STB发起会话从服务器请求突发媒体码流，其内容为I帧开始的实时传送协议(Real-time Transport Protocol，RTP)连续码流；
(3).服务器将I帧开始的RTP码流通过单播推送给终端；
(4).终端缓存获得的RTP码流，开始解码显示；
(5).终端请求加入媒体流对应组播组，组播组码流开始到达终端；
(6).当终端发现从服务器获取到的RTP码流与实时组播流在RTP重复的时候，就停止从服务器获取突发媒体码流；
(7).当终端发现丢失报文时，主动向服务器请求错误报文重传。
直播电视在使用H.264格式时，由于I帧间隔时间比较长，在终端用户请求媒体流切换时，服务器需要快速推送的突发码流会比较大，这样一来，对STB的缓存器有较高要求，中低端的STB会因缓存溢出而丢失报文，影响画面质量；媒体流切换对传送带宽有较高要求，并且相同传送带宽下可推送的单播码流数量有限，推送持续时间比较长。
发明内容
本发明实施例的目的是提供一种媒体流切换方法和装置，解决了媒体流切换对传送带宽有较高要求的问题。
本发明实施例的目的是通过以下技术方案实现的：
一种媒体流切换方法，包括：
接收并缓存报文，所述报文用于承载媒体流；
获取所述报文的视觉敏感度；
当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文；
重新编排所述视觉敏感度高的报文的序列号；
将经过重新编排序列号的所述视觉敏感度高的报文发送给终端。
一种媒体流切换服务器，包括，存储模块、获取模块、选择模块、编排模块和发送模块；其中，
所述存储模块，用于接收并缓存报文，所述报文用于承载媒体流；
所述获取模块，用于获取所述存储模块中缓存的报文的视觉敏感度；
所述选择模块，用于当收到终端的媒体流切换请求时，在所述存储模块缓存的报文中选择视觉敏感度高的报文；
所述编排模块，用于重新编排所述选择模块选择的报文的序列号；
所述发送模块，用于将经过所述编排模块重新编排序列号的报文发送给终端。
一种媒体流切换系统，包括媒体流切换服务器和头端；其中，
所述媒体流切换服务器，用于接收并缓存所述头端发送的报文，所述报文用于承载媒体流，获取所述报文的视觉敏感度，当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文，重新编排所述视觉敏感度高的报文的序列号，将经过重新编排序列号的所述视觉敏感度高的报文发送给终端；
所述头端，用于发送报文，所述报文用于承载媒体流。
采用本发明实施例提供的技术方案，因为只发送视觉敏感度高的报文给终端，降低了媒体流切换对传送带宽的要求，增加了可推送的单播码流数量，并且发送的报文的序列号经过重新编排，终端无需请求报文重传，解决了媒体流切换对传送带宽有较高要求、可推送的单播码流数量有限、推送持续时间比较长的问题。
附图说明
图1为本发明一个实施例中媒体流切换方法流程图；
图2为本发明实施例中向所选择的报文中RTP序列号较大的一端连续映射的示意图；
图3为本发明一个实施例中媒体流切换服务器框图；
图4为本发明一个实施例中媒体流切换系统示意图；
图5为本发明一个实施例中媒体流切换方法流程图；
图6为本发明实施例中向所选择的报文中RTP序列号较小的一端连续映射的示意图；
图7为本发明一个实施例中媒体流切换服务器框图；
图8为本发明一个实施例中媒体流切换系统示意图。
具体实施方式
以下结合图1至图4说明本发明一个实施例：
图1为本发明一个实施例中媒体流切换方法流程图。该方法包括：
102、接收并缓存报文，所述报文用于承载媒体流。
例如，媒体流切换服务器对每个媒体流进行缓存，缓存的内容为承载媒体流的报文。所述媒体流切换服务器可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。
104、获取所述报文的视觉敏感度。
在本发明实施例的第一个具体应用场景中，媒体流切换服务器以深度报文检测(Deep Packets Inspect，DPI)等方式识别视频关键信息，获取画面组(Group of Pictures，GOP)、I帧、P帧和B帧等信息作为视觉敏感度信息，并得到可以独立解码的报文以及各帧的起始位置。此外，对不同编码格式，还可以检测其它信息，例如，对于MPEG-TS(Transport Stream)格式，可以检测缓存的报文的节目关联表(ProgramAssociation Table，PAT)、节目映射表(Program Map Table，PMT)等。媒体流切换服务器也可以根据视频源即头端(Head End)在报文头中的某些字段或比特位进行的特殊信息，识别出视频关键信息并得到可以独立解码的报文以及各帧的起始位置。
在本发明实施例的第二个具体应用场景中，所述视觉敏感度是媒体流切换服务器根据报文所对应内容的运动矢量丰富度、在画面中的位置、解码端的错误隐藏机制、解码参考关系、亮度与色度、帧类型或条带(SLICE)类型、画面位置及残差或其中部分因素进行评估得到的。所述视觉敏感度的定义的单位为报文。视觉敏感度也可以是上游节点根据报文所对应内容的上述各种因素进行综合评估得到的，举例来说，所述上游节点可以是头端、专用评估设备或具有评估功能的网络设备。媒体流切换服务器接收头端发送的包括视觉敏感度的承载媒体流的报文，获取报文的视觉敏感度。
106、当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文。
在本发明实施例的第一个具体应用场景中，媒体流切换服务器根据各帧的起始位置，以帧为单位，丢弃B帧的报文，选择I帧和P帧的报文，对所选择的报文执行108。或者媒体流切换服务器根据各帧的起始位置，以帧为单位，丢弃B帧和P帧的报文，选择I帧的报文，对所选择的报文执行108。
在本发明实施例的第二个具体应用场景中，媒体流切换服务器根据各帧或各报文的视觉敏感度，以帧或报文为单位，丢弃视觉敏感度低的报文，选择视觉敏感度高的报文，对所选择的报文执行108。所述视觉敏感度高的标准由预设阈值给定。举例来说，当以帧为单位选择视觉敏感度高的报文时，可以计算或估算各帧视觉敏感度的平均值，根据该平均值和预设阈值以帧为单位选择视觉敏感度高的报文。当以报文为单位选择视觉敏感度高的报文时，视觉敏感度低的报文可以来自于B帧图像，可以来自P帧图像，也可以来自I帧图像。
108、重新编排所述视觉敏感度高的报文的序列号。
举例来说，媒体流切换服务器将所选择的报文的RTP序列号，向所选择的报文中RTP序列号较大的一端连续映射。例如，所选择的第一个报文的RTP序列号为X，最后一个报文的RTP序列号为Y，共选择了n个被评估为视觉敏感度高的报文。将这n个报文的RTP序列号重新编排，所选择的第一个报文的RTP序列号重新编排为Y-n+1，第二个报文的RTP序列号重新编排为Y-n+2，依此类推，最后一个报文的RTP序列号仍为Y。
参见图2，图2为本发明实施例中向所选择的报文中RTP序列号较大的一端连续映射的示意图。选择的报文的RTP序列号以100开始，112结束，共7个报文。将这7个报文的RTP序列号重新编排为从106至112的连续序列号。使得终端将要接收的报文的RTP序列号连续，在选择的报文正确传输时，终端将不会发起重传请求。
110、将经过重新编排报文序列号的所述视觉敏感度高的报文发送给终端。
举例来说，媒体流切换服务器将经过重新编排序列号的所述视觉敏感度高的报文单播推送给终端。所述报文推送过程中，单播推送的码流率可以大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。单播推送的码流率也可以等于或小于实时组播码流率，因为媒体流切换服务器丢弃部分视觉敏感度低的报文，不发送给终端，所以单播推送的码流率也可以等于或小于实时组播码流率，只要发送给用户的码流率与丢弃的报文码流率之和大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。
在本发明实施例的某些具体应用场景中，可以在媒体流切换服务器中记录重新编排后的报文序列号与原始报文序列号的映射关系，或者将所述映射关系发送给终端，或者既在媒体流切换服务器中记录所述映射关系也将该映射关系发送给终端。在头端需要对丢包情况进行统计时，存储所述映射关系的媒体流切换服务器或终端向头端发送所述映射关系，或者终端根据所述映射关系得到丢失报文的原始序列号，发送该原始序列号给头端。
图3为本发明一个实施例中媒体流切换服务器框图。所述媒体流切换服务器可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。该媒体流切换服务器包括，存储模块302、获取模块304、选择模块306、编排模块308和发送模块310；其中，
存储模块302，用于接收并缓存报文，所述报文用于承载媒体流。
例如，存储模块302对每个媒体流进行缓存，缓存的内容为承载媒体流的报文。
获取模块304，用于获取存储模块302中缓存的报文的视觉敏感度。
在本发明实施例的第一个具体应用场景中，获取模块304以DPI等方式识别存储模块302中缓存的报文的视频关键信息，获取画面组(Groupof Pictures，GOP)、I帧、P帧和B帧等信息作为视觉敏感度信息，并得到可以独立解码的报文以及各帧的起始位置。此外，对不同编码格式，还可以检测其它信息，例如，对于MPEG-TS格式，可以检测缓存的报文的PAT、PMT等。获取模块304也可以根据视频源即头端在报文头中的某些字段或比特位进行的特殊信息，识别出视频关键信息并得到可以独立解码的报文以及各帧的起始位置。
在本发明实施例的第二个具体应用场景中，所述视觉敏感度是获取模块304根据媒体流切换服务器根据报文所对应内容的运动矢量丰富度、在画面中的位置、解码端的错误隐藏机制、解码参考关系、亮度与色度、帧类型或SLICE类型、画面位置及残差或其中部分因素进行评估得到的。所述视觉敏感度的定义的单位为报文。低视觉敏感度标识的非重要数据报文里的数据可以来自于B帧图像，可以来自P帧图像，也可以来自I帧图像。视觉敏感度也可以是头端根据报文所对应内容的上述各种因素进行综合评估得到的。获取模块304获取头端发送的包括视觉敏感度的承载媒体流的报文中的视觉敏感度。
选择模块306，用于当收到终端的媒体流切换请求时，在存储模块302缓存的报文中选择视觉敏感度高的报文。
在本发明实施例的第一个具体应用场景中，选择模块306根据标识的各帧的起始位置，以帧为单位，丢弃B帧的报文，在存储模块302缓存的报文中选择I帧和P帧的报文，将所选择的报文交给编排模块308。或者媒体流切换服务器根据各帧的起始位置，以帧为单位，丢弃B帧和P帧的报文，选择I帧的报文，将所选择的报文交给编排模块308。
在本发明实施例的第二个具体应用场景中，选择模块306根据各帧或各报文的视觉敏感度，以帧或报文为单位，丢弃视觉敏感度低的报文，在存储模块302缓存的报文中选择视觉敏感度高的报文，将所选择的报文交给编排模块308。所述视觉敏感度高的标准由选择模块306中的预设阈值给定。
编排模块308，用于重新编排选择模块306选择的报文的序列号。
举例来说，编排模块308将选择模块306选择的报文的RTP序列号，向所选择的报文中RTP序列号较大的一端连续映射。例如，选择模块306选择的第一个报文的RTP序列号为X，最后一个报文的RTP序列号为Y，共选择了n个报文。编排模块308将这n个报文的RTP序列号重新编排，所选择的第一个报文的RTP序列号重新编排为Y-n+1，第二个报文的RTP序列号重新编排为Y-n+2，依此类推，最后一个报文的RTP序列号仍为Y。
发送模块310，用于将经过编排模块308重新编排序列号的报文发送给终端。
举例来说，发送模块310将经过编排模块308重新编排序列号的报文单播推送给终端。所述报文推送过程中，单播推送的码流率可以大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。单播推送的码流率也可以等于或小于实时组播码流率，因为选择模块306丢弃部分视觉敏感度低的报文，不发送给终端，所以单播推送的码流率也可以等于或小于实时组播码流率，只要发送给用户的码流率与丢弃的报文码流率之和大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。
在本发明实施例的某些具体应用场景中，发送模块310还用于将重新编排后的报文序列号与原始报文序列号的映射关系发送给终端。在头端需要对丢包情况进行统计时，终端向头端发送所述映射关系，或者根据所述映射关系得到丢失报文的原始序列号，发送该原始序列号给头端。
在本发明实施例的某些具体应用场景中，媒体流切换服务器还可以包括，记录模块，用于记录重新编排后的报文序列号与原始报文序列号的映射关系。在头端需要对丢包情况进行统计时，所述记录模块向头端发送所述映射关系。
图4为本发明一个实施例中媒体流切换系统示意图。该系统包括媒体流切换服务器402和头端404；其中，
媒体流切换服务器402，用于接收并缓存头端发送的报文，所述报文用于承载媒体流，获取所述报文的视觉敏感度，当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文，重新编排所述视觉敏感度高的报文的序列号，将经过重新编排序列号的所述视觉敏感度高的报文发送给终端。
媒体流切换服务器402可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。
头端404，用于发送报文，所述报文用于承载媒体流。
头端404是媒体流发起的源头设备，其获取媒体流的方式可以是从卫星电视录制，或从其它有线网络转发等，头端404也可以是其它网络设备，例如侧挂于城域网络设备的边缘服务器。
头端404与媒体流切换服务器或接入节点之间的网络连接可以有多种方式，例如，通过核心网、城域网、汇聚网或其他网络连接方式连接。
所述接入节点，可以是数字用户线路接入复用器(DigitalSubscriber Line Access Multiplexer，DSLAM)设备、光缆终端(opticalline terminal，OLT)设备、下层运营商边缘(Underlay Provider Edge，UPE)设备或IP交换机等设备，也可以是应用于其它在接入节点网络位置上的设备，例如汇聚路由器等。接入节点和终端之间的连接可以包括各种接入技术，例如，数字用户线路(Digital Subscriber Line，DSL)、无源光纤网络(Passive Optical Network，PON)、以太网等。
采用本实施例提供的技术方案，因为只发送视觉敏感度高的报文给终端，降低了媒体流切换对传送带宽的要求，增加了可推送的单播码流数量，并且将选择的报文的序列号，向所选择的报文中序列号较大的一端连续映射，使得终端将要接收的报文的序列号连续，在选择的报文正确传输时，终端将不会发起重传请求。因此不需要终端支持重传抑制就可以解决媒体流切换对传送带宽有较高要求、可推送的单播码流数量有限、推送持续时间比较长的问题。
以下结合图5至图6说明本发明一个实施例：
图5为本发明一个实施例中媒体流切换方法流程图。该方法包括：
502、接收并缓存报文，所述报文用于承载媒体流。
例如，媒体流切换服务器对每个媒体流进行缓存，缓存的内容为承载媒体流的报文。所述媒体流切换服务器可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。
504、获取所述报文的视觉敏感度。
在本发明实施例的第一个具体应用场景中，媒体流切换服务器以DPI等方式识别视频关键信息，获取画面组(Group of Pictures，GOP)、I帧、P帧和B帧等信息作为视觉敏感度信息，并得到可以独立解码的报文以及各帧的起始位置。此外，对不同编码格式，还可以检测其它信息，例如，对于MPEG-TS格式，可以检测缓存的报文的PAT、PMT等。媒体流切换服务器也可以根据视频源即头端在报文头中的某些字段或比特位进行的特殊信息，识别出视频关键信息并得到可以独立解码的报文以及各帧的起始位置。
在本发明实施例的第二个具体应用场景中，所述视觉敏感度是媒体流切换服务器根据报文所对应内容的运动矢量丰富度、在画面中的位置、解码端的错误隐藏机制、解码参考关系、亮度与色度、帧类型或SLICE类型、画面位置及残差或其中部分因素进行评估得到的。所述视觉敏感度的定义的单位为报文。视觉敏感度标识低的非重要数据报文里的数据可以来自于B帧图像，可以来自P帧图像，也可以来自I帧图像。视觉敏感度也可以是头端根据报文所对应内容的上述各种因素进行综合评估得到的。媒体流切换服务器接收头端发送的包括视觉敏感度的承载媒体流的报文，获取报文的视觉敏感度。
506、当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文。
在本发明实施例的第一个具体应用场景中，媒体流切换服务器根据标识的各帧的起始位置，以帧为单位，丢弃B帧的报文，选择I帧和P帧的报文，对所选择的报文执行508。或者媒体流切换服务器根据各帧的起始位置，以帧为单位，丢弃B帧和P帧的报文，选择I帧的报文，对所选择的报文执行508。
在本发明实施例的第二个具体应用场景中，媒体流切换服务器根据各帧或各报文的视觉敏感度，以帧或报文为单位，丢弃视觉敏感度低的报文，选择视觉敏感度高的报文，对所选择的报文执行108。所述视觉敏感度高的标准由预设阈值给定。
508、重新编排所述视觉敏感度高的报文的序列号。
举例来说，媒体流切换服务器将所选择的报文的RTP序列号，向所选择的报文中RTP序列号较小的一端连续映射。例如，所选择的第一个报文的RTP序列号为X，最后一个报文的RTP序列号为Y，共选择了n个被评估为视觉敏感度高的报文。将这n个报文的RTP序列号重新编排，所选择的第一个报文的RTP序列号仍为X，第二个报文的RTP序列号重新编排为X+1，依此类推，最后一个报文的RTP序列号重新编排为X+n-1。媒体流切换完成后，终端接收的组播报文起始序列号从Y+1开始；选择的报文经过重新编排的序列号，与组播报文起始序列号不连续，对X+n至Y这一段不连续的序列号执行510、512。
参见图6，图6为本发明实施例中向所选择的报文中RTP序列号较小的一端连续映射的示意图。选择的报文的RTP序列号以100开始，112结束，共7个报文。将这7个报文的RTP序列号重新编排为从100至106的连续序列号。媒体流切换完成后，终端接收的组播报文起始序列号从113开始；选择的报文经过重新编排的序列号，与组播报文起始序列号不连续，对107至111这一段不连续的序列号执行510、512。
510、生成重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息。
以RTP序列号从X+n至y这一段不连续为例，此时可以生成重传抑制信息，重传抑制信息中包括这一段不连续的序列号的信息，例如，这一段不连续的序列号的第一个RTP序列号(X+n)和最后一个RTP序列号(Y)。
512、向所述终端发送所述重传抑制信息，所述重传抑制信息使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
举例来说，重传抑制信息可以由扩展RTCP报文发送给接收节点。
514、将经过重新编排报文序列号的所述视觉敏感度高的报文发送给终端。
举例来说，媒体流切换服务器将经过重新编排序列号的所述视觉敏感度高的报文单播推送给终端。所述报文推送过程中，单播推送的码流率可以大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。单播推送的码流率也可以等于或小于实时组播码流率，因为媒体流切换服务器丢弃部分视觉敏感度低的报文，不发送给终端，所以单播推送的码流率也可以等于或小于实时组播码流率，只要发送给用户的码流率与丢弃的报文码流率之和大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。
本领域普通技术人员可以理解，图5所示实施例中重新编排序列号的目的是减少或简化需要发送的重传抑制信息，其他容易想到的可以减少或简化需要发送的重传抑制信息的重新编排序列号的方法都可以作为所述重新编排所述视觉敏感度高的报文的序列号的方法。
本领域普通技术人员可以理解，图5所示实施例中510和512中重传抑制信息的生成和发送，与514中推送单播媒体流给终端并无严格的时间顺序。重传抑制信息可以在推送单播媒体流之前即发送给终端，也可以在已经推送一部分单播媒体流之后发送给终端。
在本发明实施例的某些具体应用场景中，可以在媒体流切换服务器中记录重新编排后的报文序列号与原始报文序列号的映射关系，或者将所述映射关系发送给终端，或者既在媒体流切换服务器中记录所述映射关系也将该映射关系发送给终端。在头端需要对丢包情况进行统计时，存储所述映射关系的媒体流切换服务器或终端向头端发送所述映射关系，或者终端根据所述映射关系得到丢失报文的原始序列号，发送该原始序列号给头端。
图7为本发明一个实施例中媒体流切换服务器框图。所述媒体流切换服务器可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。该媒体流切换服务器包括，存储模块702、获取模块704、选择模块706、编排模块708、生成模块710和发送模块712；其中，所述存储模块702、获取模块704和选择模块706分别与图3所示实施例中存储模块302、获取模块304和选择模块306功能基本相同。区别在于，编排模块708的功能略有不同，并相应增加了生成模块710，并增加了发送模块712的功能。
存储模块702，用于接收并缓存报文，所述报文用于承载媒体流。
获取模块704，用于获取存储模块702中缓存的报文的视觉敏感度。
选择模块706，用于当收到终端的媒体流切换请求时，在存储模块702缓存的报文中选择视觉敏感度高的报文。
编排模块708，用于重新编排选择模块706选择的报文的序列号。
举例来说，编排模块708将选择模块706选择的报文的RTP序列号，向所选择的报文中RTP序列号较小的一端连续映射。例如，选择模块706选择的第一个报文的RTP序列号为X，最后一个报文的RTP序列号为Y，共选择了n个被评估为视觉敏感度高的报文。编排模块708将这n个报文的RTP序列号重新编排，所选择的第一个报文的RTP序列号仍为X，第二个报文的RTP序列号重新编排为X+1，依此类推，最后一个报文的RTP序列号重新编排为X+n-1。
生成模块710，用于生成重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息。
以RTP序列号从X+n至Y这一段不连续为例，此时生成模块710可以生成重传抑制信息，重传抑制信息中包括这一段不连续的序列号的信息，例如，这一段不连续的序列号的第一个RTP序列号(X+n)和最后一个RTP序列号(Y)。
发送模块712，用于将经过编排模块308重新编排序列号的报文发送给终端，还用于向所述终端发送生成模块710生成的重传抑制信息，所述重传抑制信息使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
举例来说，发送模块712可以用扩展RTCP报文将重传抑制信息发送给接收节点。
举例来说，发送模块712将经过重新编排序列号的所述视觉敏感度高的报文单播推送给终端。所述报文推送过程中，单播推送的码流率可以大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。单播推送的码流率也可以等于或小于实时组播码流率，因为选择模块706丢弃部分视觉敏感度低的报文，不发送给终端，所以单播推送的码流率也可以等于或小于实时组播码流率，只要发送给用户的码流率与丢弃的报文码流率之和大于实时组播码流率，以使单播推送的码流可以追上实时组播码流。
在本发明实施例的某些具体应用场景中，发送模块712还用于将重新编排后的报文序列号与原始报文序列号的映射关系发送给终端。在头端需要对丢包情况进行统计时，终端向头端发送所述映射关系，或者根据所述映射关系得到丢失报文的原始序列号，发送该原始序列号给头端。
在本发明实施例的某些具体应用场景中，媒体流切换服务器还可以包括，记录模块，用于记录重新编排后的报文序列号与原始报文序列号的映射关系。在头端需要对丢包情况进行统计时，所述记录模块向头端发送所述映射关系。
图8为本发明一个实施例中媒体流切换系统示意图。该系统包括媒体流切换服务器802和头端804；其中，
媒体流切换服务器802，用于接收并缓存头端发送的报文，所述报文用于承载媒体流，获取所述报文的视觉敏感度，当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文，重新编排所述视觉敏感度高的报文的序列号，将经过重新编排序列号的所述视觉敏感度高的报文发送给终端，还用于生成重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息，向所述终端发送所述重传抑制信息，所述重传抑制信息使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
媒体流切换服务器802可以是一台或一组专用服务器，也可以集成到网络接入节点或路由器等网络设备上。
头端804，用于发送报文，所述报文用于承载媒体流。
头端804是媒体流发起的源头设备，其获取媒体流的方式可以是从卫星电视录制，或从其它有线网络转发等，头端804也可以是其它网络设备，例如侧挂于城域网络设备的边缘服务器。
头端804与媒体流切换服务器或接入节点之间的网络连接可以有多种方式，例如，通过核心网、城域网、汇聚网或其他网络连接方式连接。
所述接入节点，可以是数字用户线路接入复用器(DigitalSubscriber Line Access Multiplexer，DSLAM)设备、光缆终端(opticalline terminal，OLT)设备、下层运营商边缘(Underlay Provider Edge，UPE)设备或IP交换机等设备，也可以是应用于其它在接入节点网络位置上的设备，例如汇聚路由器等。接入节点和终端之间的连接可以包括各种接入技术，例如，数字用户线路(Digital Subscriber Line，DSL)、无源光纤网络(Passive Optical Network，PON)、以太网等。
采用本实施例提供的技术方案，因为只发送视觉敏感度高的报文给终端，降低了媒体流切换对传送带宽的要求，增加了可推送的单播码流数量，并且发送的报文的序列号经过重新编排，只需发送少量重传抑制信息，即可使终端无需请求报文重传，解决了媒体流切换对传送带宽有较高要求、可推送的单播码流数量有限、推送持续时间比较长的问题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质可以是ROM/RAM，磁盘或光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (14)
1.一种媒体流切换方法，其特征在于，包括：
接收并缓存报文，所述报文用于承载媒体流；
获取所述报文的视觉敏感度；
当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文；
重新编排所述视觉敏感度高的报文的序列号；
将经过重新编排序列号的所述视觉敏感度高的报文发送给终端。
2.根据权利要求1所述的方法，其特征在于，所述获取所述报文的视觉敏感度，包括：
对所述报文进行评估得到所述视觉敏感度；或
获取携带在所述报文中的由上游节点对所述报文进行评估得到的视觉敏感度。
3.根据权利要求1所述的方法，其特征在于，所述在所述缓存的报文中选择视觉敏感度高的报文，包括：
以帧为单位在所述缓存的报文中选择视觉敏感度高的报文。
4.根据权利要求3所述的方法，其特征在于，所述以帧为单位在所述缓存的报文中选择视觉敏感度高的报文，包括：
在所述缓存的报文中选择I帧和P帧的报文。
5.根据权利要求1所述的方法，其特征在于，所述在所述缓存的报文中选择视觉敏感度高的报文，包括：
以报文为单位在所述缓存的报文中选择视觉敏感度高的报文。
6.根据权利要求1所述的方法，其特征在于，在所述重新编排所述视觉敏感度高的报文的序列号之后，还包括：
记录重新编排后的报文序列号与重新编排前的报文序列号的映射关系；和/或
将重新编排后的报文序列号与重新编排前的报文序列号的映射关系发送给终端。
7.根据权利要求1至6任一所述的方法，其特征在于，所述重新编排所述视觉敏感度高的报文的序列号，包括：
将所述视觉敏感度高的报文的序列号，向序列号较大的一端连续映射。
8.根据权利要求1至6任一所述的方法，其特征在于，所述重新编排所述视觉敏感度高的报文的序列号，包括：
将所述视觉敏感度高的报文的序列号，向序列号较小的一端连续映射。
9.根据权利要求8所述的方法，其特征在于，在重新编排所述视觉敏感度高的报文的序列号之后，还包括：
生成重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息；
向所述终端发送所述重传抑制信息，所述重传抑制信息使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
10.根据权利要求1、2、3、5或6任一所述的方法，其特征在于，所述视觉敏感度根据以下至少一种计算：
运动矢量；
画面中的位置；
解码端的错误隐藏机制；
解码参考关系；
亮度与色度；
帧类型；
条带SLICE类型；
残差。
11.一种媒体流切换服务器，其特征在于，包括，存储模块、获取模块、选择模块、编排模块和发送模块；其中，
所述存储模块，用于接收并缓存报文，所述报文用于承载媒体流；
所述获取模块，用于获取所述存储模块中缓存的报文的视觉敏感度；
所述选择模块，用于当收到终端的媒体流切换请求时，在所述存储模块缓存的报文中选择视觉敏感度高的报文；
所述编排模块，用于重新编排所述选择模块选择的报文的序列号；
所述发送模块，用于将经过所述编排模块重新编排序列号的报文发送给终端。
12.根据权利要求11所述的媒体流切换服务器，其特征在于，还包括生成模块；其中，
所述生成模块，用于生成重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息；
所述发送模块，还用于向所述终端发送所述生成模块生成的重传抑制信息，所述重传抑制信息使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
13.一种媒体流切换系统，其特征在于，包括媒体流切换服务器和头端；其中，
所述媒体流切换服务器，用于接收并缓存所述头端发送的报文，所述报文用于承载媒体流，获取所述报文的视觉敏感度，当收到终端的媒体流切换请求时，在所述缓存的报文中选择视觉敏感度高的报文，重新编排所述视觉敏感度高的报文的序列号，将经过重新编排序列号的所述视觉敏感度高的报文发送给终端；
所述头端，用于发送报文，所述报文用于承载媒体流。
14.根据权利要求13所述的媒体流切换服务器，其特征在于，所述媒体流切换服务器，还用于生成重传抑制信息，向所述终端发送所述重传抑制信息，所述重传抑制信息包括所述经过重新编排的报文的不连续的序列号的标识信息，用于使所述终端接在所述标识信息对应的报文丢失时，不请求重传所述标识信息对应的报文。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910106639 CN101860471B (zh) | 2009-04-10 | 2009-04-10 | 一种媒体流切换方法、装置和系统 |
| PCT/CN2010/071645 WO2010115376A1 (zh) | 2009-04-10 | 2010-04-09 | 一种媒体流切换方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910106639 CN101860471B (zh) | 2009-04-10 | 2009-04-10 | 一种媒体流切换方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101860471A CN101860471A (zh) | 2010-10-13 |
| CN101860471B true CN101860471B (zh) | 2013-01-30 |
Family
ID=42935650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200910106639 Active CN101860471B (zh) | 2009-04-10 | 2009-04-10 | 一种媒体流切换方法、装置和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN101860471B (zh) |
| WO (1) | WO2010115376A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106937155B (zh) * | 2015-12-29 | 2020-06-02 | 北京华为数字技术有限公司 | 接入设备、因特网协议电视iptv系统和频道切换方法 |
| JP6727087B2 (ja) * | 2016-09-28 | 2020-07-22 | Kddi株式会社 | 通信システム、通信装置、及びプログラム |
| CN109151491B (zh) * | 2018-09-14 | 2021-03-05 | 网宿科技股份有限公司 | 数据分发系统、方法及计算机可读存储介质 |
| CN115959030A (zh) * | 2023-01-05 | 2023-04-14 | 中国第一汽车股份有限公司 | 一种远光灯控制信号生成方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1741497A (zh) * | 2004-08-29 | 2006-03-01 | 华为技术有限公司 | 无线链路协议模块多实例数据业务的优先级服务方法 |
| EP1718079A1 (en) * | 2005-04-29 | 2006-11-02 | Alcatel USA Sourcing, L.P. | System, method and computer readable medium for rapid channel change |
| CN101141458A (zh) * | 2007-10-12 | 2008-03-12 | 网经科技（苏州）有限公司 | 网络数据流水线式分析处理的方法 |
| CN101155298A (zh) * | 2006-09-25 | 2008-04-02 | 华为技术有限公司 | 一种实现网络电视频道快速切换的方法及系统 |
-
2009
- 2009-04-10 CN CN 200910106639 patent/CN101860471B/zh active Active
-
2010
- 2010-04-09 WO PCT/CN2010/071645 patent/WO2010115376A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1741497A (zh) * | 2004-08-29 | 2006-03-01 | 华为技术有限公司 | 无线链路协议模块多实例数据业务的优先级服务方法 |
| EP1718079A1 (en) * | 2005-04-29 | 2006-11-02 | Alcatel USA Sourcing, L.P. | System, method and computer readable medium for rapid channel change |
| CN101155298A (zh) * | 2006-09-25 | 2008-04-02 | 华为技术有限公司 | 一种实现网络电视频道快速切换的方法及系统 |
| CN101141458A (zh) * | 2007-10-12 | 2008-03-12 | 网经科技（苏州）有限公司 | 网络数据流水线式分析处理的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101860471A (zh) | 2010-10-13 |
| WO2010115376A1 (zh) | 2010-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5788101B2 (ja) | メディアデータのネットワークストリーミング | |
| KR100837322B1 (ko) | 인코더 및 디코더 버퍼의 사이즈 조정 방법, 장치 및 저장매체 | |
| CN101568027B (zh) | 转发视频数据的方法、装置和系统 | |
| KR102218385B1 (ko) | 고속 전환을 위한 코덱 기법 | |
| KR101558116B1 (ko) | 코딩된 멀티미디어 데이터의 네트워크 스트리밍 동안의 표현들 사이의 전환 | |
| US8218654B2 (en) | Method for reducing channel change startup delays for multicast digital video streams | |
| KR101330907B1 (ko) | 디지털 비디오 장치에서 채널 변경 시간을 단축하는 방법 | |
| CA2761846C (en) | Method, apparatus and system for reducing media delay | |
| JP2009528709A (ja) | モバイル動画受信のための改良型ザッピングサービス用の動画エンコーダおよびデコーダ | |
| Siebert et al. | Analysis and improvements of zapping times in IPTV systems | |
| Fuchs et al. | Optimizing channel change time in IPTV applications | |
| US20160134672A1 (en) | Delivering partially received segments of streamed media data | |
| EP2404451B1 (en) | Processing of multimedia data | |
| CN101860471B (zh) | 一种媒体流切换方法、装置和系统 | |
| CN101489101B (zh) | 一种ip电视频道切换处理方法、装置和系统 | |
| US11374998B1 (en) | Adaptive bitrate streaming stall mitigation | |
| JP2005033556A (ja) | データ送信装置、データ送信方法、データ受信装置、データ受信方法 | |
| US20210344992A1 (en) | Calculating start time availability for streamed media data | |
| Suzuki et al. | Personalized MPEG2 Video-Data Transmission System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170719 Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401 Patentee after: Guangdong Gaohang Intellectual Property Operation Co., Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: Huawei Technologies Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20171114 Address after: 350700 building, two Financial Bureau, Yongtai County, Fujian, Fuzhou Patentee after: Yongtai County State owned asset management company Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401 Patentee before: Guangdong Gaohang Intellectual Property Operation Co., Ltd. |