CN101547108B - 流媒体的业务切换方法、播放设备及服务器 - Google Patents

流媒体的业务切换方法、播放设备及服务器 Download PDF

Info

Publication number
CN101547108B
CN101547108B CN2008100903671A CN200810090367A CN101547108B CN 101547108 B CN101547108 B CN 101547108B CN 2008100903671 A CN2008100903671 A CN 2008100903671A CN 200810090367 A CN200810090367 A CN 200810090367A CN 101547108 B CN101547108 B CN 101547108B
Authority
CN
China
Prior art keywords
content
server
time shift
programme televised
fast forward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100903671A
Other languages
English (en)
Other versions
CN101547108A (zh
Inventor
张毅
冯江平
尹月静
许志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongcai Wyse Education Technology Co ltd
Nantong Dongfang Science & Technology Co ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2008100903671A priority Critical patent/CN101547108B/zh
Publication of CN101547108A publication Critical patent/CN101547108A/zh
Application granted granted Critical
Publication of CN101547108B publication Critical patent/CN101547108B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的实施例公开了一种直播流媒体的业务单播和多播切换方法、播放设备及服务器,涉及流媒体技术领域,解决了现有直播流媒体业务在多播和单播之间切换会出现节目滞后的问题。本发明实施例通过在接收单播业务时采用快进,保证在切换到多播业务后追赶上直播进度,从而解决了节目滞后的问题。本发明实施例主要用在直播流媒体业务的单播和多播之间的切换中。

Description

流媒体的业务切换方法、播放设备及服务器
技术领域
本发明涉及流媒体技术领域,特别涉及在流媒体单播业务与多播业务之间进行切换的方法,采用该切换方法的流媒体播放设备,提供该切换服务的服务器。
背景技术
流媒体业务是指使用流式传输技术传输连续的多媒体文件,包括音频、视频和动画等。把连续的影像和声音等媒体文件经过压缩处理后存储在网络服务器上,客户端在播放前并不需要下载整个媒体文件,而是先下载一部分多媒体信息到缓存区,然后在播放缓存区中信息的同时,连续不断地将媒体文件的剩余部分从服务器下载到客户端。从而避免了用户在播放媒体文件的时候要花费一段时间把完整的媒体文件下载到客户端。
为了在服务器和客户端之间传输流媒体,IETF制定了对流媒体进行实时控制的实时流媒体协议(RTSP)。该RTSP协议采用客户端/服务器模式,用于在客户端和服务器端建立和协商实时流会话,并提供了对流媒体的播放进行各种控制命令,如:播放、暂停、快进、快退等操作。目前主要有两种业务支持流媒体播放:组播和广播业务(MBMS)和分组交换流业务(PSS)。
MBMS业务是基于WCDMA/GSM分组网,通过增加一些新的功能实体,如广播组播业务中心(BM-SC),对已有的分组域功能实体增加MBMS功能,如SGSN、GGSN、RNC和UE等。并且MBMS通过共享一条传输链路,把多媒体数据广播或多播到移动终端。通过这种点到多点的传送多媒体的发送机制,其消耗的资源与用户数增长无关,节省了传输链路资源。
PSS业务通过单播方式提供直播内容,该业务基本沿用了以太网流媒体的技术。由于PSS是单播方式进行直播流媒体内容,如果服务器支持直播节目的时移,那么就可以通过缓冲区存储部分直播内容,这样就允许用户对接入以前的内容进行时移操作,用户可以收看比直播节目稍早些的节目内容。
由于MBMS能够较好节约传输链路资源,所以一般情况下优选MBMS业务, 但由于MBMS业务目前的覆盖率较低,而PSS网络覆盖率相对较好,因此在MBMS覆盖不到或覆盖效果不好的区域,就可切换到PSS方式接收直播内容。
在利用MBMS服务器提供直播业务时,如果该直拨业务能够通过PSS服务器同步提供,则会在向客户端发送的MBMS业务描述中包含一个或几个PSS接入地址。当客户端检测到MBMS业务的质量较差时,则会切换到PSS业务来为继续获取流媒体,但由于PSS业务采取单播方式提供直播内容,所以需要建立单播链路,这中间需要客户端和PSS服务器交互后,才能获取相应的单播链路,所以,从MBMS方式切换到PSS方式接收节目需要数秒时间。
由于上述切换过程需要数秒时间,将导致错过数秒节目内容。为了能够确保节目的连续性,现有技术中,客户端选择PSS时移方式来继续获取直播内容,即:在切换后客户端将从切换前的节目点进行业务播放,以确保切换前后播放内容的连续性。
在实施上述切换方式的过程中,发明人发现,现有技术至少存在如下问题:
1、在切换到PSS业务后,采用PSS时移方式播放直播节目,导致切换后播放的节目内容与MBMS直播的节目内容之间相差数秒,这数秒时间的滞后将使用户不能体验直播节目的效果。
2、PSS时移方式播放的直播节目有数秒的滞后,当客户端检测到MBMS业务的质量较好时,需要再次切换回到MBMS业务,由于MBMS业务采用多播方式提供流媒体,虽然可以保证MBMS的接入较快,却不能采用时移的方式播放流媒体。所以,由PSS业务切换回MBMS业务时,节目内容由时移进度直接跳变到直播进度,使用户感到部分节目被删节。
发明内容
本发明实施例提供一种直播流媒体的业务切换方法、播放设备及服务器,在由多播业务切换到单播业务后,再次切回到多播业务时,不会出现节目内容的跳变。
为达到上述目的,本发明的实施例采用如下技术方案:
一种在直播流媒体节目中进行单播和多播切换方法,包括:
从接收多播服务器的直播节目内容,切换到接收单播服务器的时移节目内容;
请求单播服务器以快进速度播放时移节目内容;
接收单播服务器以快进速度播放的时移节目内容;
接收时移节目内容追赶上直播节目内容的指令;
请求单播服务器以正常速度播放直播节目内容;
接收单播服务器以正常速度播放的直播节目内容。。
一种流媒体播放设备,包括:
接收单元,用于接收多播服务器的直播节目内容;
控制单元,用于控制接收单元切换到接收单播服务器的时移节目内容;
发送单元,用于向单播服务器发送以快进速度播放时移节目内容的请求;
所述接收单元还用于接收单播服务器以快进速度播放的时移节目内容;
所述接收单元接收到时移节目内容追赶上直播节目内容的指令后,所述发送单元向单播服务器发送以正常速度播放直播节目内容的请求;所述接收单元还用于接收单播服务器以正常速度播放的直播节目内容。
一种在直播流媒体节目中进行单播和多播切换方法,包括:
从接收多播服务器的直播节目内容,切换到接收单播服务器的时移节目内容;
检测到多播服务器的业务质量恢复正常;
请求单播服务器以快进速度播放时移节目内容;
接收单播服务器以快进速度播放的时移节目内容;
接收到时移节目内容追赶上直播节目内容的指令;
从接收单播服务器直播节目内容切换到接收多播服务器的直播节目内容。一种流媒体播放设备,包括:
接收单元,用于接收多播服务器的直播节目内容;
控制单元,用于控制接收单元切换到接收单播服务器的时移节目内容;
检测单元,用于检测多播服务器的业务质量;
发送单元,用于在检测到多播服务器的业务质量恢复正常后,向单播服务器发送以快进速度播放时移节目内容的请求;
所述接收单元还用于接收单播服务器以快进速度播放的时移节目内容;
所述接收单元接收到时移节目内容追赶上直播节目内容的指令后,所述控制单元控制接收单元从接收单播服务器直播节目内容切换到接收多播服务器的直播节目内容。
一种单播服务器,包括:
接收单元,用于接收以快进速度播放时移节目内容的请求;
直播单元,用于根据所述请求以快进速度播放时移节目内容;
监控单元,用于监控时移节目内容是否追赶上直播节目内容;
发送单元,用于在时移节目内容追赶上直播节目内容时,发送时移节目内容追赶上直播节目内容的指令。
由上述技术方案所描述的本发明的实施例,从接收多播服务器的内容切换到接收单播服务器的内容后,请求单播服务器以快进速度播放时移节目内容,或者检测到多播服务器的业务质量恢复正常后,即从接收单播服务器的内容切换到接收多播服务器的内容之前,请求单播服务器以快进速度播放时移节目内容。这使得流媒体播放设备播放的内容不会和直播内容有时间差,并且在由多播业务切换到单播业务后,再次切回到多播业务时,是在直播点开始切换的,不会出现节目内容的跳变。
附图说明
图1为本发明实施例1中一种切换方法的流程图;
图2为图1切换方法对应的流媒体播放设备的原理图;
图3为本发明实施例1中另一种切换方法的流程图;
图4为图3切换方法对应的流媒体播放设备的原理图;
图5为本发明实施例1中单播服务器的原理图;
图6为本发明实施例1中的一种流媒体系统框图;
图7为本发明实施例1中的另一种流媒体系统框图;
图8为本发明实施例2中切换方法的流程图;
图9为本发明实施例3中切换方法的流程图;
图10为本发明实施例4中切换方法的流程图;
图11为本发明实施例5中切换方法的流程图。
具体实施方式
本发明实施例在切换到接收单播服务器的时移节目内容后,采用快进速度播放时移节目内容,或者在切回到多播服务器之前采用快进速度播放时移节目内容,以追赶上直播点,保证切回到接收多播服务器的直播节目内容时,不会出现节目跳变。下面结合附图对本发明流媒体的业务切换方法、播放设备及服务器的实施例进行详细描述。
本发明实施例中切换到接收单播服务器的时移节目内容具体指:客户端一开始是由多播服务器提供业务,在多播服务器的业务质量较差时,转由单播服 务器来提供业务,并采用时移播放。切换到接收多播服务器的直播节目内容具体指:多播服务器的业务质量恢复之后,再次转到由多播服务器来提供业务,并采用直播播放。
客户端切换到接收单播服务器的时移节目内容后,有可能在以正常速度播放了一段时移节目内容后,用户通过客户端主动向单播服务器发送以快进速度播放的请求,这时单播服务器按照快进速度播放时移节目内容,等到时移节目内容赶上直播节目内容后,再采用正常速度播放直播节目内容,此后,若检测到多播服务器的业务质量恢复,可以直接切回到接收多播服务器的直播节目内容。
实施例1:
如图1所示,本实施例中直播流媒体的单播业务和多播业务切换方法,主要包括如下步骤:
101、当客户端的直播流媒体播放设备检测到多播方式提供的业务质量较差,或者不能提供正常业务质量时,切换到接收单播服务器的内容。
102、由于切换到单播服务器需要建立单独的信道,这需要耗费一小段时间,为了保证节目的连续性,在切换到接收单播服务器的内容后,接收单播服务器按照时移播放的方式播放节目内容,即:从切换前的直播点开始播放。
103、为了让用户在切换后能够感受到直播体验,消除切换过程产生的节目滞后,流媒体播放设备请求单播服务器以快进速度播放时移节目内容。
104、接收单播服务器以快进速度播放时移节目内容。
105、当收到时移节目内容追赶上直播节目内容的指令后,流媒体播放设备请求单播服务器以正常速度播放直播节目内容。由于时移播放的内容追赶上了直播内容,所以,当需要再次切回到多播服务器时,是从直播点开始切换的,而且多播服务器的连接时间很短,不会出现节目的时移和跳变。
对应于图1中的切换方法,本实施例还提供一种流媒体播放设备,如图2所示,该播放设备包括:接收单元21、发送单元22和控制单元23。
其中,接收单元21可以接收单播服务器或多播服务器的流媒体内容;正常情况下,接收单元21是接收多播服务器的流媒体内容的,当多播服务器提供的业务质量较差时,控制单元23控制接收单元切换到接收单播服务器的内容。
由于切换到单播服务器需要建立单独的信道,这需要耗费一小段时间,为了保证节目的连续性,在切换到接收单播服务器的内容后,按照时移播放的方式播放从单播服务器接收到的内容,即:从切换前的直播点开始播放。为了消除切换过程产生的上述节目滞后,发送单元22请求单播服务器采用快进速度播放时移节目内容;直到时移节目内容追赶上直播节目内容后,发送单元22再请求单播服务器以采用正常速度播放直播节目内容,并通过接收单元21接收单播服务器的直播节目内容。
如图3所示,本实施例还提供另一种直播流媒体业务的单播和多播切换方法,具体包括如下步骤:
301、在多播服务器提供的业务质量正常时接收多播服务器的内容,当多播服务器提供的业务质量较差时,切换到接收单播服务器的内容。
302、由于切换到单播服务器需要建立单独的信道,这需要耗费一小段时间,为了保证节目的连续性,在切换到接收单播服务器的内容后,接收单播服务器按照时移播放的方式播放的节目内容,即:从切换前的直播点开始播放。
303、检测到多播服务器提供的业务质量恢复正常,表示能够提供正常的流媒体服务。
304、为了保证切回到接收多播服务器的内容时,不会出现节目的跳变。先请求单播服务器采用快进速度播放时移节目内容。
305、在时移节目内容追赶上直播节目内容后,再切回到接收多播服务器的内容。由于再次切回到多播服务器时,是从直播点开始切换的,而且多播服务器的连接时间很短,所以不会出现节目的跳变。
对应于图3中的切换方法,本实施例还提供一种流媒体播放设备,如图4所示,该播放设备包括:接收单元41、发送单元42、控制单元43和检测单元44。
接收单元41可以接收单播服务器或多播服务器的流媒体内容;正常情况下,接收单元41是接收多播服务器的流媒体内容的,当多播服务器提供的业务质量较差时,控制单元43控制接收单元41切换到接收单播服务器的内容,并通过接收单元41接收单播服务器采用时移方式播放的节目内容。
当检测单元44检测多播服务器的业务质量恢复正常时,所述发送单元42 请求单播服务器采用快进速度播放时移节目内容;并在时移节目内容追赶上直播节目内容的后,所述控制单元43控制接收单元41切换到接收多播服务器的内容。
为了给上述图2和图4中的流媒体播放设备提供相应的服务,本实施例还提供一种单播服务器,除了需要提供相应的流媒体服务以外,如图5所示,该单播服务器至少还包括:监控单元51、发送单元52、接收单元53以及直播单元54。
其中接收单元53可以接收播放请求,若接收到以快进速度播放的请求,则所述直播单元54需要根据该请求以快进速度播放节目内容。监控单元51可以监控时移播放的内容是否追赶上直播内容,当时移播放的内容追赶上直播内容时,发送单元52就向流媒体播放设备发送时移播放的内容追赶上直播内容的指令,以便流媒体播放设备根据该指令做相应的操作,如:向单播服务器请求采用正常速度播放直播节目内容或者切换到多播服务器。
上述图2所示流媒体播放设备和图5中的单播服务器,再加上现有的多播服务器,通过网络互联,即可构成流媒体的业务切换系统,详见如图6所示。其中的网络可以是WCDMA(宽带码分多址)或者GSM(全球移动通信)网络。
单播服务器中的监控单元51监控流媒体播放设备时移播放的内容是否追赶上直播内容,如果时移播放的内容追赶上直播内容,则发送单元52向流媒体播放设备发送时移播放的内容追赶上直播内容的指令;这样流媒体播放设备中的发送单元22就可以请求单播服务器采用正常速度播放时移节目内容。
图4所示流媒体播放设备和图5中的单播服务器,再加上现有的多播服务器,通过网络互联,也可构成流媒体的业务切换系统,详见如图7所示。其中的网络可以是WCDMA(宽带码分多址)或者GSM(全球移动通信)网络。
单播服务器中的监控单元51监控流媒体播放设备时移播放的内容是否追赶上直播内容,如果时移播放的内容追赶上直播内容,则发送单元52向流媒体播放设备发送时移播放的内容追赶上直播内容的指令;这样流媒体播放设备中控制单元43将会控制接收单元41,切换到接收多播服务器的内容。
实施例2:
本实施例是实施例1中图1对应切换方法的改进,由多播服务器、单播服 务器和流媒体播放设备组成一个流媒体播放系统。本实施例中的多播服务器为MBMS服务器,单播服务器为PSS服务器,而流媒体播放设备为一个具有流媒体播放功能的客户端(如手机等),如图8所示,该系统在切换过程中的采用的切换方法具体包括如下步骤:
801、在MBMS服务器提供的信号能够覆盖到的区域,客户端从MBMS服务器接收流媒体内容。当MBMS服务器通知客户端MBMS直播内容的地址时,同时会将PSS直播内容的地址发送给客户端。
802、客户端检测到MBMS服务器提供的业务质量较差,或无法提供所请求的流媒体业务。
803、客户端选择具有时移能力的PSS服务器,并通过接收单元从该PSS服务器接收流媒体内容,其中的PSS服务器地址就是步骤801中获得的PSS地址。并请求接入的PSS服务器播放节目内容。
804、PSS服务器向客户端返回一个应答,允许客户端接入并获取相应的流媒体内容。
805、由于接入PSS服务器需要建立单独的传输通道,需要花费一段时间,为了保证客户端播放流媒体的连续性,PSS服务器按照时移播放的方式播放节目内容,客户端通过相关的显示器等设备显示接收到的节目内容。
806、为了使得用户能体验直播,需要将由于切换造成的播放滞后时间消除,所以采用快进速度播放从PSS服务器接收到的流媒体内容,这个快进速度由客户端提供。具体实现时可以通过客户端中的计算单元根据时移播放时间与直播时间的时间差计算得出。
为了减小快进播放对节目播放效果的影响,可以把快进平滑地均摊到一个时间段上来完成;如当时移播放时间与直播时间的时间差为5秒时,考虑到观看效果,播放速度为将为正常速度的1.2倍,这样的速度,可以在25秒后追赶上直播的播放进度。
807、客户端向PSS服务器请求以计算出的快进速度播放,一般通过实时流媒体协议(RTSP)中的PLAY命令向PSS服务器请求。
快进播放包括按刻度(Scale)播放和按速度(Speed)两种实现方式,其中按刻度方式的命令格式如下:
C->S:PLAY rtsp://example.com/twister.3gp/RTSP/2.0
CSeq:4
Range:clock=20080108T142300Z-
Scale:1.2
Session:12345678
按速度方式的命令格式如下:
C->S:PLAY rtsp://example.com/twister.3gp/RTSP/2.0
CSeq:4
Range:clock=20080108T142300Z-
Speed:1.2
Session:12345678
其中Speed或Scale的取值为1.2,表示请求以1.2倍的速度进行播放。
当采用按照速度播放的方式进行快进时,需要增加每秒传输的数据量,从而需要增加带宽占用,但是能够保证播放的流畅度。
当采用按照刻度播放的方式快进时,虽然由于缺少数据帧导致播放不够流畅,但可以保证每秒的数据量不变,不需要增加带宽占用。
808、PSS服务器根据上述的PLAY命令返回一个应答,并采用该快进速度播放时移节目内容。
809、客户端的接收单元接收PSS服务器采用快进速度播放的时移节目内容。
810、PSS服务器监控时移播放的内容是否追赶上直播内容;并在时移播放的内容追赶上直播内容时,向客户端发送一个指令,该指令为:时移播放的节目内容追赶上直播节目内容的指令。RTSP协议中的指令格式如下:
S->C:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:XXXX reach to live time
RTP-Info:…
其中Notice报文为XXXX reach to live time,表示采用直播播放,即采用正常速度播放。
在具体实现时,可以在PSS服务器中增加一个监控单元,用来监控时移播放的内容是否追赶上直播内容,并通过发送单元将上述指令发送到客户端。
811、在接收到PSS服务器发送的时移播放的节目内容追赶上直播节目内容的指令后,客户端请求PSS服务器采用正常速度播放直播节目内容。
812、PSS服务器返回一个确认应答,允许采用正常速度播放直播节目内容。
813、接收PSS服务器采用正常速度播放的直播节目内容。
由于在切换到PSS服务器后,通过快进赶上了直播速度,PSS服务器的直播点和MBMS服务器的直播点相同,当需要再次切回到MBMS服务器时,由于接入MBMS服务器时间短,不会出现节目的跳变。
实施例3:
本实施例与实施例2一样,由多播服务器、单播服务器和流媒体播放设备组成一个流媒体播放系统。并且多播服务器为MBMS服务器,单播服务器为PSS服务器,而流媒体播放设备为一个具有流媒体播放功能的客户端,如图9所示,该系统在切换过程中的采用的切换方法具体包括如下步骤:
901、在MBMS服务器提供的信号能够覆盖到的区域,客户端从MBMS服务器接收流媒体内容。当MBMS服务器通知客户端MBMS直播内容的地址时,同时会将PSS直播内容的地址发送给客户端。
902、客户端检测到MBMS服务器提供的业务质量较差,或无法提供所请求的流媒体业务。
903、客户端选择具有时移能力的PSS服务器,并通过接收单元从该PSS服务器接收流媒体内容,其中的PSS服务器地址就是步骤901中获得的PSS地址。并请求接入的PSS服务器播放节目内容。
904、PSS服务器向客户端返回一个应答,允许客户端接入并获取相应的流媒体内容。
905、由于接入PSS服务器需要建立单独的传输通道,需要花费一段时间, 为了保证客户端播放流媒体的连续性,客户端的接收单元接收按照时移播放的方式播放的节目内容,并通过相关的显示器等设备显示接收到的节目内容。
906、为了使得用户能体验直播,需要将由于切换造成的播放滞后时间消除,所以客户端将采用快进速度播放从PSS服务器接收到的流媒体内容。这个快进速度需要从PSS服务器得到。在得到这个快进速度之前,客户端接收单播服务器采用正常速度播放的时移节目内容。
907、客户端通过发送单元向PSS服务器请求采用快进速度播放时移节目内容,并向PSS服务器提供时移播放时间。其中请求的RTSP格式如下:
C->S:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:YYYY MBMS switch to PSS
RTP-Info:…
其中Notice的报文为:YYYY MBMS switch to PSS,标识已经切换到PSS服务器,需要一个快进速度。
908、PSS服务器中的接收单元接收提供快进速度的请求,以及时移播放时间后,计算出一个快进速度。其具体可以通过PSS服务器中的计算单元实现,该计算单元根据时移播放时间与直播时间的时间差计算快进速度。
909、PSS服务器向客户端返回一个应答,允许采用计算出来的快进速度播放时移节目内容。
910、客户端接收PSS服务器采用快进速度播放的时移节目内容。并且PSS服务器向客户端发送快进速度。其中快进播放包括按刻度(Scale)方式播放或者按速度(Speed)方式播放。
按速度快进播放的发送方式可以通过RTSP协议的格式报文,具体如下:
S->C:RTSP/2.0 200 OK
CSeq:99
Session:12345678
Speed:value
按刻度方式快进播放的发送方式可以通过RTSP协议的格式报文,具体如下:
S->C:RTSP/2.0 200 OK
CSeq:99
Session:12345678
Scale:value
其中Scale和Speed中的value值就是计算出的快进速度,为了减小快进播放对节目播放效果的影响,可以把快进平滑地均摊到一个时间段上来完成;如当时移播放时间与直播时间的时间差为5秒时,考虑到观看效果,播放速度将为正常速度的1.2倍,即value=1.2,这样的播放速度,可以在25秒后追赶上直播的播放进度。
当按照速度方式进行快进时,需要增加每秒传输的数据量,从而需要增加带宽占用,但是能够保证播放的流畅度。
当采用刻度方式快进时,虽然由于缺少数据帧导致播放不够流畅,但可以保证每秒的数据量不变,不需要增加带宽占用。
911、PSS服务器监控时移播放的内容是否追赶上直播节目内容;并在时移播放的内容追赶上直播节目内容时,向客户端发送一个指令,该指令为:时移播放的内容追赶上直播内容的指令。RTSP协议中的指令格式如下:
S->C:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:XXXX reach to live time
RTP-Info:…
其中Notice报文为XXXX reach to live time,表示采用直播播放,即采用正常速度播放。
在具体实现时,可以在PSS服务器中增加一个监控单元,用来监控时移播放的内容是否追赶上直播内容,并通过发送单元将上述指令发送到客户端。
912、在接收到PSS服务器发送的时移播放的内容追赶上直播节目内容的指令后,客户端请求单播服务器采用正常速度播放直播节目内容。
913、PSS服务器返回一个确认应答,允许采用正常速度播放直播节目内容。
914、接收PSS服务器以正常速度播放的直播节目内容。
由于在切换到PSS服务器后,通过快进赶上了直播速度,其直播点和MBMS服务器的直播点相同,当需要再次切回到MBMS服务器时,由于接入MBMS服务器时间短,不会出现节目的跳变。
上述实施例2中通过客户端来计算快进速度,这样可以不用服务器计算快进速度,减轻了服务器的运算量,节约服务器资源。实施例3中通过服务器来计算快进速度,由于服务器可以得到准确的时移节目内容进度和直播节目内容进度的时间差,这样计算出来的快进速度比较精确。
实施例4:
本实施例中流媒体系统由MBMS服务器、PSS服务器和流媒体播放设备的客户端组成。如图10所示,该系统在切换过程中的采用的切换方法具体包括如下步骤:
1001、在MBMS服务器提供的信号能够覆盖到的区域,客户端从MBMS服务器接收流媒体内容。当MBMS服务器通知客户端MBMS直播内容的地址时,同时会将PSS直播内容的地址发送给客户端。
1002、客户端检测到MBMS服务器提供的业务质量较差,或无法提供所请求的流媒体业务。
1003、客户端选择具有时移能力的PSS服务器,并通过接收单元从该PSS服务器接收流媒体内容,其中的PSS服务器地址就是步骤1001中获得的PSS地址。并请求接入的PSS服务器播放节目内容。
1004、PSS服务器返回一个应答,允许客户端接入并获取相关的流媒体内容。
1005、由于接入PSS服务器需要建立单独的传输通道,需要花费一段时间,为了保证客户端播放流媒体的连续性,客户端的接收单元接收按照时移播放的方式播放的节目内容,并通过相关的显示器等设备显示接收到的节目内容。
1006、客户端随时检测MBMS服务器提供的业务质量是否恢复正常。由于目前PSS服务器与MBMS服务器的覆盖情况,MBMS覆盖区一般都在PSS单播覆盖区内。所以,一般恢复正常时可能的情况如下:客户端检测到重新回到MBMS服务器覆盖区域,或MBMS服务器的广播多播信道业务质量变好。
要实现上述检测功能,需要在客户端增加一个检测单元,用来随时检测MBMS服务器提供的业务质量是否恢复正常。
1007、由于MBMS服务器提供的业务质量恢复了,客户端要重新接收MBMS服务器的媒体流内容,为了在切回到MBMS服务器时不会出现节目的跳变,需要将PSS服务器播放滞后时间消除,所以客户端将采用快进速度播放从PSS服务器接收到的流媒体内容。这个快进速度由客户端提供,一般是通过客户端的计算单元根据时移播放时间与直播时间的时间差计算得出。
为了减小快进播放对节目播放效果的影响,可以把快进平滑地均摊到一个时间段上来完成;如当时移播放时间与直播时间的时间差为5秒时,考虑到观看效果,播放速度为将为正常速度的1.2倍,这样的速度,可以在25秒后追赶上直播的播放进度。
1008、客户端向PSS服务器请求以计算出的快进速度播放,一般通过实时流媒体协议(RTSP)中的PLAY命令向PSS服务器请求。
快进播放包括按刻度(Scale)方式或者按速度(Speed)方式播放,其中按速度方式快进播放采用的命令格式如下:
C->S:PLAY rtsp://example.com/twister.3gp/RTSP/2.0
CSeq:4
Range:clock=20080108T142300Z-
Speed:1.2
Session:12345678
选取按刻度方式快进采用的命令格式如下:
C->S:PLAY rtsp://example.com/twist er.3gp/RTSP/2.0
CSeq:4
Range:clock=20080108T142300Z-
Scale:1.2
Session:12345678
其中Scale和Speed的取值为1.2,表示请求以1.2倍的速度进行播放。
当采用按速度方式进行快进时,需要增加每秒传输的数据量,从而需要增加带宽占用,但是能够保证播放的流畅度。
当采用按刻度方式快进时,虽然由于缺少数据帧导致播放不够流畅,但可以保证每秒的数据量不变,不需要增加带宽占用。
1009、PSS服务器根据上述的PLAY命令返回一个应答,允许客户端采用该速度播放。
1010、客户端的播放单元采用计算单元计算出来的快进速度播放从PSS服务器接收的内容。
1011、PSS服务器监控时移播放的内容是否追赶上直播节目内容。在时移播放的内容追赶上直播节目内容时,向客户端发送一个指令,该指令为:时移播放的内容追赶上直播节目内容的指令。RTSP协议中的指令格式如下:
S->C:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:XXXX reach to live time
RTP-Info:…
其中Notice报文为XXXX reach to live time,表示采用直播播放,即采用正常速度播放。
在具体实现时,可以在PSS服务器中增加一个监控单元,用来监控时移播放的内容是否追赶上直播内容,并通过发送单元将上述指令发送到客户端。
1012、在接收到PSS服务器发送的时移播放的内容追赶上直播内容的指令后,客户端切换到接收MBMS服务器的流媒体内容。
1013、客户端开始从MBMS服务器接收直播节目的流媒体内容。
由于在切换到接收MBMS服务器的流媒体内容之前,已经追赶上了直播内容,其直播点和MBMS的直播点是相同的,而且接入MBMS服务器的时间很短,所以切换后不会出现节目的跳变。
实施例5:
本实施例中流媒体系统由MBMS服务器、PSS服务器和流媒体播放设备的客户端组成。如图11所示,该系统在切换过程中的采用的切换方法具体包括如下 步骤:
1101、在MBMS服务器提供的信号能够覆盖到的区域,客户端的接收单元从MBMS服务器接收流媒体内容。当MBMS服务器通知客户端MBMS直播内容的地址时,同时会将PSS直播内容的地址发送给客户端。
1102、客户端检测到MBMS服务器提供的业务质量较差,或无法提供所请求的流媒体业务。
1103、客户端选择具有时移能力的PSS服务器,并通过接收单元从该PSS服务器接收流媒体内容,其中的PSS服务器地址就是步骤1001中获得的PSS地址。并请求接入的PSS服务器播放节目内容。
1104、PSS服务器向客户端返回一个应答,允许客户端接入并获取相关的流媒体内容。
1105、由于接入PSS服务器需要建立单独的传输通道,需要花费一段时间,为了保证客户端播放流媒体的连续性,客户端的接收单元接收PSS服务器按照时移播放的方式播放的节目内容。
1106、客户端随时检测MBMS服务器提供的信号是否恢复正常。由于目前PSS服务器与MBMS服务器的覆盖情况,MBMS覆盖区一般都在PSS单播覆盖区内。所以,一般恢复正常时可能的情况如下:客户端检测到重新回到MBMS服务器覆盖区域,或MBMS服务器的广播多播信道信号变好。
由于MBMS服务器提供的信号恢复了,客户端要重新接收MBMS服务器的媒体流内容,为了在切回到MBMS服务器时不会出现节目的跳变,需要将PSS服务器播放滞后时间消除,所以客户端将采用快进速度播放从PSS服务器接收到的流媒体内容。
要实现上述检测功能,需要在客户端增加一个检测单元,用来随时检测MBMS服务器提供的业务质量是否恢复正常。
1107、客户端通过发送单元向PSS服务器请求以快进速度播放时移节目内容,并向PSS服务器提供时移播放时间。其中请求的RTSP格式如下:
C->S:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:YYYY MBMS switch to PSS
RTP-Info:…
其中Notice的报文为:YYYY MBMS switch to PSS,标识已经切换到PSS服务器,需要一个快进速度。
1108、PSS服务器中的接收单元接收到步骤1107中的请求,以及时移播放时间后,PSS服务器可以计算出一个快进速度。一般情况下需要通过PSS服务器的计算单元根据时移播放时间与直播时间的时间差计算快进速度。
1109、PSS服务器向客户端返回一个应答,允许采用计算出来快进速度播放时移节目内容。
1110、PSS服务器以快进速度播放时移节目内容,而客户端接收单元这接收快进速度播放的节目内容。并PSS服务器将计算出的快进速度通过PSS服务器的发送单元发送给客户端。
其发送方式可以通过RTSP协议的格式报文,具体如下:
S->C:RTSP/2.0 200 OK
CSeq:99
Session:12345678
Speed:value
其中Speed中的value值就是计算出的快进速度,为了减小快进播放对节目播放效果的影响,可以把快进平滑地均摊到一个时间段上来完成;如当时移播放时间与直播时间的时间差为5秒时,考虑到观看效果,播放速度将为正常速度的1.2倍,即value=1.2,这样的播放速度,可以在25秒后追赶上直播的播放进度。
本实施例也可以采用上述实施例2至实施例4中,所述按刻度方式进行快进播放。
1111、PSS服务器监控时移播放的内容是否追赶上直播内容;并在时移播放的内容追赶上直播内容时,向客户端发送一个指令,该指令为:时移播放的内容追赶上直播内容的指令。RTSP协议中的指令格式如下:
S->C:ANNOUNCE rtsp://example.com/twister.3gp RTSP/2.0
CSeq:99
Session:12345678
Notice:XXXX reach to live time
RTP-Info:…
其中Notice报文为XXXX reach to live time,表示采用直播播放,即采用正常速度播放。
在具体实现时,可以在PSS服务器中增加一个监控单元,用来监控时移播放的内容是否追赶上直播内容,并通过发送单元将上述指令发送到客户端。
1112、在接收到PSS服务器发送的时移播放的内容追赶上直播内容的指令后,客户端切换到接收MBMS服务器的流媒体内容。
1113、客户端开始接收MBMS服务器播放的直播节目流媒体内容。
由于在切换到接收MBMS服务器的流媒体内容之前,已经追赶上了直播内容,其直播点和MBMS的直播点是相同的,而且接入MBMS服务器的时间很短,所以切换后不会出现节目的跳变。
上述实施例2中通过客户端来计算快进速度,这样可以不用服务器计算快进速度,减轻了服务器的运算量,节约服务器资源。实施例3中通过服务器来计算快进速度,由于服务器可以得到准确的时移节目内容进度和直播节目内容进度的时间差,这样计算出来的快进速度比较精确。
本发明实施例主要用在直播流媒体业务在单播和多播之间的切换。特别是现在多播业务覆盖的成本较高时,需要在部分用户较少区域采用单播来覆盖,以降低流媒体业务的覆盖成本,为了保证客户端直播流媒体业务的连续性而在单播和多播业务之间切换。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种在直播流媒体节目中进行单播和多播切换方法,其特征在于包括:
从接收多播服务器的直播节目内容,切换到接收单播服务器的时移节目内容;
请求单播服务器以快进速度播放时移节目内容;
接收单播服务器以快进速度播放的时移节目内容;
接收时移节目内容追赶上直播节目内容的指令;
请求单播服务器以正常速度播放直播节目内容;
接收单播服务器以正常速度播放的直播节目内容。
2.根据权利要求1所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,在请求单播服务器以快进速度播放时移节目内容之前,该方法还包括:
根据时移节目内容进度与直播节目内容进度的时间差计算快进速度。
3.根据权利要求1所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,所述快进速度由单播服务器根据时移节目内容进度与直播节目内容进度的时间差计算得出。
4.根据权利要求1所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,所述以快进速度播放的方式包括:按刻度方式播放或者按速度方式播放。
5.一种流媒体播放设备,其特征在于包括:
接收单元,用于接收多播服务器的直播节目内容;
控制单元,用于控制接收单元切换到接收单播服务器的时移节目内容;
发送单元,用于向单播服务器发送以快进速度播放时移节目内容的请求;
所述接收单元还用于接收单播服务器以快进速度播放的时移节目内容;
所述接收单元接收到时移节目内容追赶上直播节目内容的指令后,所述发送单元向单播服务器发送以正常速度播放直播节目内容的请求;所述接收单元还用于接收单播服务器以正常速度播放的直播节目内容。
6.根据权利要求5所述的流媒体播放设备,其特征在于还包括:
计算单元,用于根据时移节目内容进度与直播节目内容进度的时间差计算快进速度。
7.一种在直播流媒体节目中进行单播和多播切换方法,其特征在于包括:
从接收多播服务器的直播节目内容,切换到接收单播服务器的时移节目内容;
检测到多播服务器的业务质量恢复正常;
请求单播服务器以快进速度播放时移节目内容;
接收单播服务器以快进速度播放的时移节目内容;
接收到时移节目内容追赶上直播节目内容的指令;
从接收单播服务器直播节目内容切换到接收多播服务器的直播节目内容。
8.根据权利要求7所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,在请求单播服务器以快进速度播放时移节目内容之前,该方法还包括:
根据时移节目内容进度与直播节目内容进度的时间差计算快进速度。
9.根据权利要求7所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,所述快进速度由单播服务器根据时移节目内容进度与直播节目内容进度的时间差计算得出。
10.根据权利要求7所述的在直播流媒体节目中进行单播和多播切换方法,其特征在于,所述以快进速度播放的方式包括:按刻度方式播放或者按速度方式播放。
11.一种流媒体播放设备,其特征在于包括:
接收单元,用于接收多播服务器的直播节目内容;
控制单元,用于控制接收单元切换到接收单播服务器的时移节目内容;
检测单元,用于检测多播服务器的业务质量;
发送单元,用于在检测到多播服务器的业务质量恢复正常后,向单播服务器发送以快进速度播放时移节目内容的请求;
所述接收单元还用于接收单播服务器以快进速度播放的时移节目内容;
所述接收单元接收到时移节目内容追赶上直播节目内容的指令后,所述控制单元控制接收单元从接收单播服务器直播节目内容切换到接收多播服务器的直播节目内容。
12.根据权利要求11所述的流媒体播放设备,其特征在于还包括:
计算单元,用于根据时移节目内容进度与直播节目内容进度的时间差计算快进速度。
13.一种单播服务器,其特征在于包括:
接收单元,用于接收以快进速度播放时移节目内容的请求;
直播单元,用于根据所述请求以快进速度播放时移节目内容;
监控单元,用于监控时移节目内容是否追赶上直播节目内容;
发送单元,用于在时移节目内容追赶上直播节目内容时,发送时移节目内容追赶上直播节目内容的指令。
14.根据权利要求13所述的单播服务器,其特征在于还包括:
计算单元,用于根据时移节目内容进度与直播节目内容进度的时间差计算快进速度。
CN2008100903671A 2008-03-28 2008-03-28 流媒体的业务切换方法、播放设备及服务器 Expired - Fee Related CN101547108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100903671A CN101547108B (zh) 2008-03-28 2008-03-28 流媒体的业务切换方法、播放设备及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100903671A CN101547108B (zh) 2008-03-28 2008-03-28 流媒体的业务切换方法、播放设备及服务器

Publications (2)

Publication Number Publication Date
CN101547108A CN101547108A (zh) 2009-09-30
CN101547108B true CN101547108B (zh) 2011-06-22

Family

ID=41194022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100903671A Expired - Fee Related CN101547108B (zh) 2008-03-28 2008-03-28 流媒体的业务切换方法、播放设备及服务器

Country Status (1)

Country Link
CN (1) CN101547108B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148806A (zh) * 2010-02-09 2011-08-10 华为技术有限公司 网络电视的时移处理方法和系统以及网络设备、终端
CN101969431B (zh) * 2010-09-28 2013-06-12 广东威创视讯科技股份有限公司 一种实现流媒体播放单播、多播无缝切换的方法
CN104079955B (zh) * 2013-03-26 2017-12-15 华为技术有限公司 越顶ott直播的方法、装置及系统
CN103685314B (zh) * 2013-12-27 2017-05-17 广东威创视讯科技股份有限公司 实现流媒体播放单播和多播无缝切换的方法
WO2015180102A1 (en) 2014-05-29 2015-12-03 Thomson Licensing Method and system for switching and simultaneous replay of home media streaming
US10735823B2 (en) * 2015-03-13 2020-08-04 Telefonaktiebolaget Lm Ericsson (Publ) System and method for optimized delivery of live ABR media
CN107710712B (zh) 2015-06-19 2020-06-26 华为技术有限公司 一种集群通信方法、装置及设备
WO2017131690A1 (en) * 2016-01-28 2017-08-03 Nokia Solutions And Networks Oy Dynamic switching of streaming service between broadcast and unicast delivery
CN107277554B (zh) * 2017-05-05 2019-06-21 中广热点云科技有限公司 一种时移节目单播转换组播的方法
CN107659853B (zh) * 2017-11-03 2019-07-05 中广热点云科技有限公司 一种自适应流媒体直播控制系统
CN108650640A (zh) * 2018-03-05 2018-10-12 海能达通信股份有限公司 集群通信方法及相关设备
EP3766226A4 (en) * 2018-03-14 2021-12-08 Telefonaktiebolaget Lm Ericsson (Publ) IMPROVEMENT OF QUALITY OF SERVICE CONCERNING A CHANGE OF MOOD BASED ON A CONSUMPTION REPORT
CN108769734B (zh) * 2018-05-15 2020-09-04 安徽赛安安全技术有限公司 基于bs结构网络直播实时进度调节方法及其控制系统
CN109548060B (zh) * 2018-12-29 2022-05-13 广州敬信药草园信息科技有限公司 一种针对录播网络异常断开的处理方法
CN114286397B (zh) * 2020-09-27 2023-05-12 展讯通信(上海)有限公司 传输链路的切换方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471773A (zh) * 2000-10-26 2004-01-28 ���ĺ� 适用于多媒体内容的内容权利和条件的执行
CN1852421A (zh) * 2005-11-30 2006-10-25 华为技术有限公司 一种实现直播与时移播放之间切换的方法
CN1956539A (zh) * 2005-10-24 2007-05-02 阿尔卡特公司 利用单个请求协议支持多个视频流服务的接入/边缘节点
CN101094378A (zh) * 2006-06-21 2007-12-26 华为技术有限公司 一种交互式网络电视的时移方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471773A (zh) * 2000-10-26 2004-01-28 ���ĺ� 适用于多媒体内容的内容权利和条件的执行
CN1956539A (zh) * 2005-10-24 2007-05-02 阿尔卡特公司 利用单个请求协议支持多个视频流服务的接入/边缘节点
CN1852421A (zh) * 2005-11-30 2006-10-25 华为技术有限公司 一种实现直播与时移播放之间切换的方法
CN101094378A (zh) * 2006-06-21 2007-12-26 华为技术有限公司 一种交互式网络电视的时移方法和系统

Also Published As

Publication number Publication date
CN101547108A (zh) 2009-09-30

Similar Documents

Publication Publication Date Title
CN101547108B (zh) 流媒体的业务切换方法、播放设备及服务器
JP5363473B2 (ja) 改善されたメディア・セッション管理の方法と装置
TWI716018B (zh) 動態縮減替換內容之播放以幫助對齊替換內容之結束與已替換內容之結束
EP4099703A2 (en) Switching between transmitting a preauthored video frame and a composited video frame
US7876789B2 (en) Method for synchronizing the presentation of media streams in a mobile communication system and terminal for transmitting media streams
US7953883B2 (en) Failover mechanism for real-time packet streaming sessions
JP4799661B2 (ja) ストリーム配信システム、呼制御サーバ装置及びストリーム配信制御方法
JP4702397B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
KR101477202B1 (ko) 모바일 텔레비전 시스템을 위한 액세스 네트워크 핸드오버
US7509390B1 (en) Methods and apparatus for controlling the transmission of data
KR101547315B1 (ko) 모바일 텔레비전 시스템을 위한 액세스 네트워크 핸드오버
US20090293093A1 (en) Content server, information processing apparatus, network device, content distribution method, information processing method, and content distribution system
US20140213227A1 (en) Mobile device capable of substantially synchronized sharing of streaming media, calls and other content with other devices
TWI716017B (zh) 在媒體串流播放之間進行轉換的同時動態播放轉換訊框
US20120233644A1 (en) Mobile device capable of substantially synchronized sharing of streaming media with other devices
US9313553B2 (en) Apparatus and method for simulcast over a variable bandwidth channel
US20080151885A1 (en) On-Demand Multi-Channel Streaming Session Over Packet-Switched Networks
CN102970585B (zh) 一种流媒体快速频道切换的方法
US9826283B2 (en) Apparatus and method for inserting advertisement in a broadcasting system
US20160007094A1 (en) Emergency notification in a network environment
JP2011120089A (ja) コンテンツ受信システム、コンテンツ受信装置、コンテンツ受信方法、コンテンツ受信プログラム
KR101555792B1 (ko) 멀티미디어 청크(chunk)를 수신하는 통신 단말기의 제어방법과, 그 제어방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN101771860B (zh) 一种节目切换的方法,系统和装置
KR20130005404A (ko) 멀티캐스트 기반 컨텐츠 전송 시스템 및 방법
CN101552684B (zh) 实时流媒体协议会话状态控制的方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: BEIJING ZHONGCAI WYSE EDUCATION TECHNOLOGY CO., LT

Free format text: FORMER OWNER: HUAWEI TECHNOLOGY CO., LTD.

Effective date: 20141115

Owner name: NANTONG ORIENT TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: BEIJING ZHONGCAI WYSE EDUCATION TECHNOLOGY CO., LTD.

Effective date: 20141115

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 518129 SHENZHEN, GUANGDONG PROVINCE TO: 100086 HAIDIAN, BEIJING

Free format text: CORRECT: ADDRESS; FROM: 100086 HAIDIAN, BEIJING TO: 226363 NANTONG, JIANGSU PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20141115

Address after: 226363, Jiangsu, Nantong province Tongzhou District Liu Zhen industrial concentration area

Patentee after: NANTONG DONGFANG SCIENCE & TECHNOLOGY CO.,LTD.

Address before: 100086 Beijing Haidian District Zhongguancun Road No. 18 smartfortune International Building B706

Patentee before: Beijing Zhongcai Wyse Education Technology Co.,Ltd.

Effective date of registration: 20141115

Address after: 100086 Beijing Haidian District Zhongguancun Road No. 18 smartfortune International Building B706

Patentee after: Beijing Zhongcai Wyse Education Technology Co.,Ltd.

Address before: 518129 headquarters building of Bantian HUAWEI base, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20170328

CF01 Termination of patent right due to non-payment of annual fee