CN101271720B - 一种手机流媒体音视频的同步方法 - Google Patents

一种手机流媒体音视频的同步方法 Download PDF

Info

Publication number
CN101271720B
CN101271720B CN2008100669000A CN200810066900A CN101271720B CN 101271720 B CN101271720 B CN 101271720B CN 2008100669000 A CN2008100669000 A CN 2008100669000A CN 200810066900 A CN200810066900 A CN 200810066900A CN 101271720 B CN101271720 B CN 101271720B
Authority
CN
China
Prior art keywords
video
data
audio
packets
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100669000A
Other languages
English (en)
Other versions
CN101271720A (zh
Inventor
殷专
王胜娟
叶林
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2008100669000A priority Critical patent/CN101271720B/zh
Publication of CN101271720A publication Critical patent/CN101271720A/zh
Application granted granted Critical
Publication of CN101271720B publication Critical patent/CN101271720B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种手机流媒体音视频的同步方法,其包括以下步骤:将所接收到的音、视频数据包注册到手机终端的缓冲区中,进行组帧和排序;当解码器对音频数据包进行解码时,记录音频数据包送解码器的系统时间与音频数据包中音频帧的时间戳之间的差值作为参考时间偏差值;根据参考时间偏差值确定视频数据包的解码及发送显示时间,以实现同步播放。由于采用了音视频解码前的同步方案,尤其是通过音视频解码时间补偿值修正参考时间偏差值的手段,有效地解决了音、视频数据流在传输和解码前的过程中,因设备所产生的时间偏差,突破了目前手机终端的某些技术和所用解码器对解码后音视频数据流无法操作的限制,较好的实现了手机终端音视频的同步播放。

Description

一种手机流媒体音视频的同步方法
技术领域
本发明涉及一种手机流媒体技术,尤其涉及的是一种手机流媒体音视频的同步方法改进。
背景技术
近年来,随着计算机技术、压缩技术以及Internet网络技术的发展,无线网络中的流媒体业务也得到了飞速的发展和应用。所谓流媒体简单来说,就是应用流技术在网络上传输的多媒体数据(音频、视频、动画或者其他多媒体文件)。多媒体数据传输的一个尖锐的问题就是不可预料数据到达时间。
但是流媒体的传输是需要数据的适时的到达用以播放和回放,而流技术就是把连续的影像和声音信息经过压缩处理后上传网站服务器,让用户一边下载一边观看、收听,并不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。
随着移动传输技术的发展以及3G网络的成熟,流媒体技术越来越多的运用到手机终端上。通过该技术,能够向用户提供信息、娱乐、通信、监控和定位五大项的服务内容,包括例如移动游戏、移动视频点播和直播、移动视频聊天和移动卡拉OK等多种具体的业务。
流媒体技术运用流式传输方式将音视频等多媒体文件经过特殊的压缩编码方式分成一个个数据包,由视频服务器向用户手机连续、实时的传送。手机用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到其中的内容,而是只需要经过几秒或几十秒的启动延时即可在用户的手机上 利用相应的播放器以及相应的硬件、软件对压缩的音视频等流式多媒体文件解码后进行在线播放和观看,而多媒体文件的剩余部分将在后台的服务器内继续下载。
由于流媒体文件的音视频数据包在移动传输网络中是分开传输的,如何在手机终端上正确恢复音频和视频原有的关系,即实现音视频的同步播放成为手机流媒体播放器的关键技术之一。但是,目前限于手机终端的技术应用和所用解码芯片,无法操作解码后的数据流,加上音、视频数据流在传输和解码过程中,由于设备所分别产生的时间偏差,也就很难对音视频解码后的数据流提供同步播放方案。
一般来说,理想的同步方案是在音视频数据完成相应的解码后,通过比较音视频各帧的时间戳(Time Stamp)来分别决定音频送扬声器和视频送LCD显示器的时间。这样可以将音、视频在分别传输和解码过程中由于设备产生的时间偏差减到最小。但是,由于手机终端的某些技术限制,有时使用的解码芯片无法提供对解码后数据的操作,也就无法实施对音视频解码后数据的理想同步方案。
因此,现有技术尚有待改进和发展。
发明内容
本发明的目的在于提供一种手机流媒体音视频的同步方法,使得现有的技术条件下,手机终端流媒体播放器可以实现音视频的同步播放。
本发明的技术方案如下:
一种手机流媒体音视频的同步方法,其包括以下步骤:
A、将所接收到的音、视频数据包注册到手机终端的缓冲区中,并进行组帧和排序;
B、当解码器对音频数据包进行解码时记录音频数据包送解码器的系统时间与所述音频数据包中音频帧的时间戳之间的差值作为参考时间偏差值;
C、根据所述参考时间偏差值确定所述视频数据包的解码及发送显示时间,以实现同步播放。
所述的同步方法,其中,所述步骤C具体还包括:
C1、所述解码器对所述视频数据包进行解码前,确定发送视频解码的系统时间为所述参考时间偏差值、完成相同长度音、视频数据所需的解码时间延迟以及待解码视频数据包中视频帧的时间戳之和;
C2、比较所述发送视频解码的系统时间和当前手机系统时间,如果一致则进行对应的视频解码和发送显示。
所述的同步方法,其中,所述步骤C2中还包括:在所述发送视频解码的系统时间未到当前手机系统时间时,则循环比较所述发送视频解码的系统时间和当前手机系统时间。
所述的同步方法,其中,所述步骤C2中还包括:在所述发送视频解码的系统时间超过当前手机系统时间时,丢弃对应延迟的视频数据帧。
所述的同步方法,其中,所述步骤A还包括:
A1、在所述缓冲区中分别创建音频流数据链表和视频流数据链表;
A2、判断所收到数据包的类型是音频数据包还是视频数据包;
A3、如果是音频数据包则在所述音频流数据链表中注册;如果是视频数据包则在所述视频流数据链表中注册。
所述的同步方法,其中,所述步骤A中的组帧和排序过程根据对应音、视频数据包中的载荷类型、序列号和时间戳进行。
所述的同步方法,其中,所述缓冲区的大小由所述音、视频数据包的码流速率和需要缓冲的音、视频数据包数据长度决定。
所述的同步方法,其中,所述步骤B还包括:
当所述缓冲区中的音频数据包达到预定阀值时,向所述解码器发送对应数据包进行解码。
所述的同步方法,其中,所述步骤B还包括:
所述阀值大小依据缓冲区大小和所用解码芯片预先设定。
所述的同步方法,其中,所述步骤C中还对所述参考时间偏差值定期更新。
本发明所提供的一种手机流媒体音视频的同步方法,由于采用了音视频解码前的同步方案,尤其是通过音视频解码时间补偿值修正参考时间偏差值的手段,有效地解决了音、视频数据流在传输和解码前的过程中,因设备所分别产生的时间偏差,突破了目前手机终端的某些技术和所用解码器对解码后音视频数据流无法操作的限制,较好的实现了手机终端音视频的同步播放。
附图说明
图1为本发明手机流媒体音视频的同步方法流程图。
具体实施方式
以下将结合附图所示,对手机流媒体音视频的同步方法加以进一步的详细说明。
本发明手机流媒体音视频的同步方法,主要改进在,音视频数据流解码前的同步过程,至于移动传输网络内流媒体如何发送和接受,手机终端硬件如何制作以及其播放器软件的编写过程为现有技术所熟知,在此不再赘述。
本发明手机流媒体音视频的同步方法,在手机终端播放器的驱动程序和软件设计时,设置出一缓冲区,用于接收和处理音视频的数据包,所述缓冲区的大小由所传输流媒体片源(即所述音、视频数据包)的码流速率和所需要缓冲音、视频数据包的数据长度决定,其中分别创建音频和视频流的数据链表。调整手机的设置开通socket端口,使该端口能接受到来自移动传 输网络的音视频RTP(Real-time Transport Protocol实时传输协议)数据包,按照所述RTP数据包的载荷类型(Payload Type字段)、序列号(Sequence Number字段)以及时间戳(Time Stamp字段)的不同,判断所收到数据包的类型是音频数据包还是视频数据包,将所述音、视频数据包注册到所述手机终端播放器的缓冲区内各自的音频和视频流的数据链表中,并进行相应的组帧和排序工作。如图1所示,如果载荷类型符合音频数据包,就将该数据包注册到所述缓冲区内音频流的数据链表中,并根据该类音频数据包的序列号和时间戳完成组帧和排序。同理,视频数据包的处理过程亦然。
当所述缓冲区中的音频数据达到一定阀值时,则开始向音频解码器发送音频数据包进行解码,所述阀值大小可依据缓冲区大小和所用解码芯片预先设定。此时计算并记录当前手机系统时间与所送音频帧时间戳的偏差值,即参考时间偏差值;然后送音频解码器解码和送扬声器播放。所述偏差值将成为视频送解码时间的参考标准之一,而且定期更新该数值,其具体公式是:
参考时间偏差值=音频送解码的系统时间-所送音频帧的时间戳
如图1所示,当所述缓冲区中的视频数据也达到一定阀值时,则开始向视频解码器发送视频数据包进行解码,此时计算并记录视频送解码的系统时间,等于所述参考时间偏差值、音视频解码时间补偿值与所送视频帧的时间戳的和值。由于音频解码器完成解码和送扬声器都需要一定时间;同样道理,视频解码器完成解码和送LCD显示器也都需要一定时间,所以需要运用音视频解码时间补偿值对音频设定的参考时间偏差值进行修正。所述音视频解码时间补偿值,指的是完成相同长度的音频或视频数据所需地解码时间延迟。根据所采用解码方案的解码特性,一般来说,同一解码方案中音频格式和采样率的不同,所需的解码时间会不同;相应地同一方案中的视频所需的解码时间也会随视频格式和帧率的不同而变化,例如,完成一帧音、视频数据所需的解码时间延迟。所述视频送解码的系统时间的 具体公式是:
视频送解码的系统时间=参考时间偏差值+音视频解码时间补偿值+所送视频帧的时间戳
接下来将获得的视频送解码的系统时间与当前手机系统时间进行比较,即计算当前手机系统时间和视频送解码的系统时间的差值,具体公式如下:
Δ=当前手机系统时间-视频送解码的系统时间
如果所述视频送解码的系统时间大于所述当前手机系统时间,即所述发送视频解码的系统时间未到当前手机系统时间,说明该视频数据帧不能送视频解码器解码,还需要等待,则循环比较所述发送视频解码的系统时间和当前手机系统时间,此处的大于是指,Δ值大于了某个所设定的阀值;
如果所述视频送解码的系统时间等于或略小于所述当前手机系统时间,即所述发送视频解码的系统时间和当前手机系统时间一致,说明该视频数据帧可以送视频解码器解码,则进行对应的视频解码和发送显示,此处的等于或略小于是指,Δ值等于或略小于某个所设定的阀值;
如果所述视频送解码的系统时间小于所述当前手机系统时间太多,即所述发送视频解码的系统时间超过当前手机系统时间,说明该视频数据帧到达太迟,则丢弃该视频数据帧,此处的小于太多是指,Δ值小于某个所设定的阀值太多,以至于达到另一个预定阀值。
本发明具体实施方式所描述手机流媒体音视频的同步方法,根据实际应用还可以采用现有各种可能的方案,其基本手段为本领域技术人员所熟知,在此不再赘述。
本发明手机流媒体音视频的同步方法,以音频流的时间作为视频流同步的参考基准,解决了目前手机终端受某些技术的限制,降低了所用解码器对数据的使用要求,更好的是,采用音视频解码时间补偿值来修正参考时间偏差值的手段,将音、视频数据流在传输和解码前的过程中,因设备 所分别产生的时间偏差减到最小,实现了手机终端上解码前流媒体音视频的同步。
应当理解的是,对本领域普通技术人员来说,可以根据上述方案的说明加以改进或变换,例如以视频流的时间作为音频流同步的参考基准等,而所有这些改进和变换都本应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种手机流媒体音视频的同步方法,其包括以下步骤:
A、将所接收到的音、视频数据包注册到手机终端的缓冲区中,并进行组帧和排序;
B、当解码器对音频数据包进行解码时记录音频数据包送解码器的系统时间与所述音频数据包中音频帧的时间戳之间的差值作为参考时间偏差值;
C、根据所述参考时间偏差值确定所述视频数据包的解码及发送显示时间,以实现同步播放,具体还包括:
C1、所述解码器对所述视频数据包进行解码前,确定发送视频解码的系统时间为所述参考时间偏差值、完成相同长度音、视频数据所需的解码时间延迟以及待解码视频数据包中视频帧的时间戳之和;
C2、比较所述发送视频解码的系统时间和当前手机系统时间,如果一致则进行对应的视频解码和发送显示。
2.根据权利要求1所述的同步方法,其特征在于,所述步骤C2中还包括:在所述发送视频解码的系统时间未到当前手机系统时间时,则循环比较所述发送视频解码的系统时间和当前手机系统时间。
3.根据权利要求1所述的同步方法,其特征在于,所述步骤C2中还包括:在所述发送视频解码的系统时间超过当前手机系统时间时,丢弃对应延迟的视频数据帧。
4.根据权利要求1至3任一所述的同步方法,其特征在于,所述步骤A还包括:
A1、在所述缓冲区中分别创建音频流数据链表和视频流数据链表;
A2、判断所收到数据包的类型是音频数据包还是视频数据包;
A3、如果是音频数据包则在所述音频流数据链表中注册;如果是视频数据包则在所述视频流数据链表中注册。
5.根据权利要求4所述的同步方法,其特征在于,所述步骤A中的组帧和排序过程根据对应音、视频数据包中的载荷类型、序列号和时间戳进行。
6.根据权利要求1所述的同步方法,其特征在于,所述缓冲区的大小由所述音、视频数据包的码流速率和需要缓冲的音、视频数据包数据长度决定。
7.根据权利要求1所述的同步方法,其特征在于,所述步骤B还包括:
当所述缓冲区中的音频数据包达到预定阀值时,向所述解码器发送对应数据包进行解码。
8.根据权利要求7所述的同步方法,其特征在于,所述步骤B还包括:
所述阀值大小依据缓冲区大小和所用解码芯片预先设定。
9.根据权利要求1所述的同步方法,其特征在于,所述步骤C中还对所述参考时间偏差值定期更新。
CN2008100669000A 2008-04-22 2008-04-22 一种手机流媒体音视频的同步方法 Expired - Fee Related CN101271720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100669000A CN101271720B (zh) 2008-04-22 2008-04-22 一种手机流媒体音视频的同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100669000A CN101271720B (zh) 2008-04-22 2008-04-22 一种手机流媒体音视频的同步方法

Publications (2)

Publication Number Publication Date
CN101271720A CN101271720A (zh) 2008-09-24
CN101271720B true CN101271720B (zh) 2011-06-22

Family

ID=40005615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100669000A Expired - Fee Related CN101271720B (zh) 2008-04-22 2008-04-22 一种手机流媒体音视频的同步方法

Country Status (1)

Country Link
CN (1) CN101271720B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674486B (zh) * 2009-09-29 2013-05-08 深圳市融创天下科技股份有限公司 一种流媒体音视频同步方法及系统
BR112012001150B1 (pt) 2009-11-09 2021-06-29 Snaptrack, Inc Método para implementar serviço de transmissão baseado em http
CN102055773B (zh) * 2009-11-09 2013-10-09 华为技术有限公司 实现基于http的流媒体业务的方法、系统和网络设备
CN102075818B (zh) * 2009-11-20 2013-04-03 上海艾麒信息科技有限公司 Gsm手机iptv网络电视数据的处理方法
US8571068B2 (en) 2010-01-05 2013-10-29 Futurewei Technologies, Inc. Network timing distribution and synchronization using virtual network delays
CN102196303B (zh) * 2010-03-02 2014-03-19 中兴通讯股份有限公司 一种媒体同步的方法和系统
CN102215429B (zh) * 2010-04-01 2013-04-17 安凯(广州)微电子技术有限公司 一种用于移动电视的录制方法
CN102215363B (zh) * 2010-04-01 2013-10-02 北大方正集团有限公司 一种对录像带中视音频素材进行帧精确采集的方法
CN101951517B (zh) * 2010-09-27 2014-02-26 深圳市融创天下科技股份有限公司 一种视频解码和播放的方法、系统、终端设备
CN102006319B (zh) * 2010-10-25 2014-02-05 同辉佳视(北京)信息技术有限公司 一种多终端Flash同步播放的方法和系统
CN102572611B (zh) * 2010-12-07 2015-05-13 中国电信股份有限公司 不同用户同步收看网络直播流的方法和系统
CN102256128B (zh) * 2011-07-12 2013-07-24 浙江宇视科技有限公司 同步解码方法及其装置
CN102413382B (zh) * 2011-12-27 2014-06-11 四川九洲电器集团有限责任公司 一种提高实时视频平滑性的方法
CN103581604A (zh) * 2012-08-01 2014-02-12 希姆通信息技术(上海)有限公司 视频通话装置及方法
CN102842324A (zh) * 2012-09-17 2012-12-26 江苏亿通高科技股份有限公司 动态匹配前端音频码率的录音及播音的方法
CN103024596A (zh) * 2012-12-25 2013-04-03 四川九洲电器集团有限责任公司 一种iptv机顶盒基于rtsp协议网络媒体流窜播放方法
CN103281528A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 一种流媒体解码方法、系统及移动终端
CN103220301B (zh) * 2013-04-28 2016-04-27 青岛海信移动通信技术股份有限公司 一种媒体播放控制方法及其装置
CN104518863B (zh) * 2013-09-30 2020-10-16 中兴通讯股份有限公司 实现基于dlna网络的通信内容同步的方法及系统
CN103747316B (zh) * 2013-12-23 2018-04-06 乐视致新电子科技(天津)有限公司 一种音视频同步方法和电子设备
CN104780422B (zh) * 2014-01-13 2018-02-16 北京兆维电子(集团)有限责任公司 流媒体播放方法及流媒体播放器
CN104954727B (zh) * 2014-03-25 2018-08-07 南宁富桂精密工业有限公司 音视频同步控制设备及方法
CN105791228B (zh) * 2014-12-22 2019-12-03 中兴通讯股份有限公司 一种压缩时间戳的方法和装置
US10013229B2 (en) * 2015-04-30 2018-07-03 Intel Corporation Signal synchronization and latency jitter compensation for audio transmission systems
CN106658065B (zh) * 2015-10-30 2021-10-22 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN105657524A (zh) * 2016-01-13 2016-06-08 上海视云网络科技有限公司 一种视频间无缝切换的方法
CN105915967A (zh) * 2016-05-09 2016-08-31 乐视控股(北京)有限公司 一种纠正视频延时的方法和系统
CN107517400B (zh) * 2016-06-15 2020-03-24 成都鼎桥通信技术有限公司 流媒体播放方法及流媒体播放器
CN106411447B (zh) * 2016-10-08 2018-12-11 广东欧珀移动通信有限公司 播放控制方法、装置及终端
CN108632557B (zh) * 2017-03-20 2021-06-08 中兴通讯股份有限公司 一种音视频同步的方法及终端
CN109040818B (zh) * 2017-06-12 2021-04-27 武汉斗鱼网络科技有限公司 直播时的音视频同步方法、存储介质、电子设备及系统
CN113766567A (zh) * 2020-06-05 2021-12-07 华为技术有限公司 一种通信方法及装置
CN115665483B (zh) * 2022-12-27 2023-03-31 北京蓝色星际科技股份有限公司 一种录像播放方法、装置和硬盘录像机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810017A (zh) * 2003-06-19 2006-07-26 索尼爱立信移动通讯股份有限公司 媒体流混合
CN101047842A (zh) * 2006-03-27 2007-10-03 中兴通讯股份有限公司 无线二进制运行环境手机播放流媒体音视频的方法
CN101102510A (zh) * 2006-07-07 2008-01-09 乐金电子(昆山)电脑有限公司 便携式图像终端机的音频和视频同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810017A (zh) * 2003-06-19 2006-07-26 索尼爱立信移动通讯股份有限公司 媒体流混合
CN101047842A (zh) * 2006-03-27 2007-10-03 中兴通讯股份有限公司 无线二进制运行环境手机播放流媒体音视频的方法
CN101102510A (zh) * 2006-07-07 2008-01-09 乐金电子(昆山)电脑有限公司 便携式图像终端机的音频和视频同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 101102510 A,全文.

Also Published As

Publication number Publication date
CN101271720A (zh) 2008-09-24

Similar Documents

Publication Publication Date Title
CN101271720B (zh) 一种手机流媒体音视频的同步方法
US8364024B2 (en) Constructing video frames and synchronizing audio data in a media player from data received via a plurality of diverse protocol stack paths
CA2566125C (en) Header compression of multimedia data transmitted over a wireless communication system
RU2408158C2 (ru) Синхронизация звука и видео
CN110049011B (zh) 用于媒体数据递送控制的方法和装置
US8208460B2 (en) Method and system for in-band signaling of multiple media streams
US20080151885A1 (en) On-Demand Multi-Channel Streaming Session Over Packet-Switched Networks
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
CN101300781A (zh) 控制运动图像数据在网络上的传输的系统和方法
KR20060114080A (ko) 멀티미디어 스트리밍 서비스 시스템 및 방법
CN101715046B (zh) 电子设备和内容再现方法
JP2007214985A (ja) シームレスハンドオーバにおけるメディアストリーム切替方法、システム及びプログラム
CN101123611B (zh) 一种流媒体数据的发送方法
KR100651566B1 (ko) 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
CN1327443C (zh) 一种流媒体点播的音视频切换方法
WO2010124499A1 (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
JP2002149316A (ja) データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体
CN101399844B (zh) 一种移动流媒体业务中快速切换内容的方法
JP4218456B2 (ja) 通話装置、通話方法及び通話システム
CN101378537B (zh) 一种移动流媒体业务播放时缩短启动时间的方法
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
JP2002152307A (ja) データ受信装置、データ送信装置、データ通信システム、データ受信方法、データ送信方法、データ通信方法、並びにプログラム記憶媒体
JP2008099209A (ja) コンテンツ再生装置とその再生タイミング同期方法
CN100518304C (zh) 与视频信息包损耗对应的解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20170422

CF01 Termination of patent right due to non-payment of annual fee