CN1855824B - 用于流式处理数据的方法和设备 - Google Patents

用于流式处理数据的方法和设备 Download PDF

Info

Publication number
CN1855824B
CN1855824B CN200610065474.XA CN200610065474A CN1855824B CN 1855824 B CN1855824 B CN 1855824B CN 200610065474 A CN200610065474 A CN 200610065474A CN 1855824 B CN1855824 B CN 1855824B
Authority
CN
China
Prior art keywords
data flow
data
server
client
tts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610065474.XA
Other languages
English (en)
Other versions
CN1855824A (zh
Inventor
C·P·杰克逊
N·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1855824A publication Critical patent/CN1855824A/zh
Application granted granted Critical
Publication of CN1855824B publication Critical patent/CN1855824B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种用于对流式处理数据进行协商的方法和设备。具体地，本发明涉及一种在服务器中实时生成大量连续的语音数据并将其提供到客户的方法和设备。根据一方面，提供了一种控制从数据流播放器播放所生成的媒体数据流的方法，包括：估计用于生成数据流的生成时间；估计数据流的播放时间；通过使用数据流生成资源来生成数据流，以便由数据流播放器输出；以及如果剩余生成时间实质上等于或小于播放时间，则提醒数据流播放器。本发明的优选实施例考虑了服务器的处理能力，并负责按优先权顺序处理，以保证对客户的服务水平。

Description

用于流式处理数据的方法和设备
技术领域
本发明涉及用于流式处理数据的方法和设备。具体地，本发明涉及在服务器中实时生成大量连续的语音数据并将其提供给客户的方法和设备。
背景技术
服务器从客户接收用于实时处理的请求。此请求需要服务器实行连续的处理，而同时提供经处理的数据块到客户。数据块从服务器流式处理到客户，客户连续地播放这些数据块。
在无问题的情形下，服务器端的处理能够连续地提供数据块到客户。取决于正在被流式处理的数据，客户可以在允许进行播放之前设定不缓冲数据块、缓冲全部数据块、或只缓冲规定数目的数据块。
服务器预期会经历很多次处于压力下的情形；例如，在带宽很低或CPU使用率很高时。这很可能影响服务器连续地处理和流式处理数据的能力。在某种程度上，进行缓冲提供对此问题的解决方案。然而，静态的客户端缓冲器没有考虑服务器的当前工作负荷或网络带宽。
对于客户端，结果可以是可变的。会出现两个可能的情形。1)客户存储额外数据，在开始播放之前实际上等待所请求的所有数据到达。对于客户和用户的含意在于，他们必须在请求和接收数据的播放之间等待不想要的时间长度。2)客户存储了不完全数据，并出现缓冲器欠载运行。因此，最终用户在播放时将经历中断。
给文本到语音(TTS)系统进行大小估计不是无关紧要的，并且如果TTS数据传输的大小计算不正确，则会出现若干问题。对于处于压力下的客户系统，TTS的质量显著下降。如果TTS服务器处在压力下，则TTS可以被以比特播放给呼叫方，这将显得不太自然。如果客户系统(典型地为交互话音响应系统)检测到欠载运行，则整个提示会被重放。在所有的情形下，呼叫方会体会到系统的负面经历，并且将来很可能不再使用该系统。
美国专利出版物6766407即Microsoft Corp.的“Intelligent streamingframework”描述流式处理框架管理器，其根据特定连接的属性的分析来协调流式处理解决方案的单元。该出版物没有考虑流式处理生成器的工作负荷。
美国专利出版物6112239即Intervu Inc.的“System and method forserver-side optimization of data delivery on a distributed computernetwork”涉及服务器端优化和网络性能信息。该出版物涉及根据网络信息把数据重定向到各个传送站点和服务器。
欧洲专利出版物1182875即MatsushitaElectric Co.的“Streamingmethod and corresponding system”是根据由客户而非服务器能力所驱动的协商进行描述的，但其涉及到优化，以避免缓冲器的下溢和上溢。传输能力的改变被检测到，并对其作出反应。客户终端负责使用传输能力来计算适当的缓冲水平和延迟，并从而指示服务器以特定的速率进行传输。然而，没有考虑到服务器性能。
发明内容
根据本发明的第一方面，提供了一种控制从数据流播放器播放所生成的媒体数据流的方法，包括：估计用于生成数据流的生成时间；估计数据流的播放时间；通过使用数据流生成资源来生成数据流，以便由数据流播放器输出；以及如果剩余生成时间不大于播放时间(即，剩余生成时间等于或小于播放时间)，则提醒数据流播放器。
在本发明的优选实施例中，服务器在给定网络知识后计算它可以做什么，并发送消息，以保证从一个时间点起的服务水平。在客户可以可靠地开始播放信号时的时间点，把“可开始播放”消息发送到客户。本发明的优选实施例考虑了服务器的处理能力，并负责按优先权顺序处理，以保证对客户的服务水平。
本发明的优选实施例确定何时已发送足够的音频以及客户应当在何时开始播放。控制的服务器客户通信在被用来发送数据的协议内实现，并且此信息应该可被用于客户端应用。
在本说明书中，在数据流的播放时间与数据流的剩余生成时间之间的差值被称为临界缓冲点。当达到临界缓冲点时，也就是当临界缓冲器变为零时，提醒数据流播放器。
有利地，在提醒已被发出后，使数据流的生成速率为相同速率或更快速率。更有利的是，每个数据流具有优先权，并且优先权在生成资源内被提升，以便在提醒被发出后保持速率。
优选地，每次从数据流生成资源得到剩余的生成时间，把它与播放时间相比较。剩余生成时间可以从生成时间的初始估计的经过时间中进行估计，或更有利地，可以在初始估计以后作出对生成时间的新的估计。对生成时间的新的估计允许所考虑的生成资源的变化的工作负荷。
更优选地，提醒是从服务器发送到客户的。在优选实施例中，正是服务器计算了生成与播放时间之间的差值，因为较容易在服务器处得到在服务器处生成时间的改变与生成时间的更新。然而，如果生成时间被发送到客户，则客户可以计算开始播放数据的最好时间。
在媒体数据流是语音数据以及生成资源是文本到语音引擎时，所述实施例是最适用的。TTS特别容易受到中断，因为它必须以恒定的速率播出，但其它类型的生成引擎可以使用此技术来减小媒体流的中断，所述媒体流例如需要恒定速率输出的视频图形。TTS引擎保持TTS控制器在TTS数据流传输过程中用TTS生成时间进行更新。
附图说明
现在将仅通过示例并参考附图来描述本发明的实施例，在附图中：
图1是本实施例的示意性的客户和服务器布置；
图2是本实施例的服务器控制器方法的流程图；
图3是客户控制器方法的流程图；
图4A是示例的TTS服务器工作负荷相对于时间的图；以及
图4B是相应的TTS生成和临界缓冲点的图。
具体实施方式
参照图1，示出了根据优选实施例的客户10和服务器12的布置。服务器12包括：TTS控制器14；文本到语音(TTS)引擎16；以及优先权引擎18。客户10包括：音频播放器20；缓冲器控制器22；以及缓冲器24。
TTS控制器14处理来自一个或多个客户10的TTS请求，并使用TTS方法300从TTS引擎16进行TTS传输。
TTS引擎16根据来自客户10的请求生成TTS数据流。作为启动发送的一部分，TTS引擎16计算生成TTS数据流所需时间(生成时间)和播放TTS数据流所需时间(播放时间)。
优先权引擎18通过根据数据流的优先权控制TTS引擎资源的分配来执行TTS引擎16上的负荷平衡。首先，每个数据流被分配以平均优先权，但这个优先权在处理期间可被改变。如果一个数据流比其它数据流具有更高的优先权，则这一个数据流将比其它数据流更快地处理。优先权引擎18响应于TTS控制器14，并且随之调整TTS引擎资源的分配。
客户缓冲器24接收来自服务器12的数据流，并且存储它直至播放器20请求数据用于播放为止。
在简单的情形下，在由用户通过客户音频播放器20的接口进行提示后，缓冲器控制器22启动对数据流的请求。在更复杂的情形下，用户接口由交互话音响应应用进行控制，并且在某些用户交互后，所述应用做出对音频流的请求。
客户音频播放器20包括具有输入与输出的接口。输入取得用于选择数据流、或用于应用交互话音应用的用户命令。
参照图2，描述了由TTS控制器14所执行的TTS控制器方法200。
在从客户接收TTS请求后开始步骤202。在步骤202，TTS控制器14通过从TTS生成时间中减去TTS数据流的播放时间而计算临界缓冲点(CBP)。在优选实施例中，考虑用于转换的文本的大小和TTS引擎的工作负荷而计算TTS生成时间。另一实施例在计算中还将使用网络工作负荷。可替换地，单独的文本大小是给出有用的TTS生成时间的简单因素。
步骤204是启动从TTS引擎16发送TTS数据流到客户10。当TTS数据流被生成和发送时，生成TTS数据流所需时间随TTS引擎的负荷的改变而改变。
在步骤206，开始连续循环，根据新的TTS生成时间重新计算新的CBP。TTS引擎16在TTS数据流的传输过程中保持用TTS生成时间来更新TTS控制器14。在优选实施例中，对CBP的连续的重新计算在TTS生成时间可以随不同的点而变化的高工作负荷的情形下大大地提高了精度。然而，有用的实施例还可包括仅仅计算一次的CBP。
在步骤208，检查CBP，以查看它是否为零或更小(即，剩余的生成时间等于或小于播放时间)，并且在它达到零或更小之前，循环回到步骤206。在此循环期间，TTS数据正被发送到客户缓冲器24，并且剩余的生成时间正在减小。一旦CBP达到零之后，过程就移到步骤210。
在步骤210，TTS控制器14通过发送“可以播放缓冲器”消息来提醒客户10：CBP已达到零。
在步骤212，TTS控制器14通过指示优先权引擎增加数据流处理的优先权而提交TTS引擎生成和传递速率。
步骤214是控制方法的结束，虽然TTS引擎仍旧可生成TTS数据流以及客户仍旧可播放数据流。
客户缓冲器控制器22使用客户控制器方法300来处理TTS数据流。
在步骤302，缓冲器控制器22向服务器12请求TTS。
在步骤304，缓冲器控制器22从服务器接收TTS数据流。
在步骤306，缓冲器控制器22一直等待至能够开始播放缓冲器。
在可选的步骤308，缓冲器控制器22等待开始播放缓冲器。
在步骤310，播放缓冲器被播放，而同时仍旧接收TTS数据流。
下面是需要12秒来生成和需要6秒来播放的文本到语音数据流的优选实施例的操作的示例。
图4A是示例的TTS服务器12的工作负荷相对于时间的图，所述服务器在前2秒内能够每秒处理0.5秒的音频。在2秒后，因为减小的工作负荷，TTS服务器12能够每秒处理0.75秒的音频。当服务器12首先接收TTS请求时，TTS服务器12在经过的每秒内只能传递0.5秒的音频。通过从处理请求的时间(12秒)中减去播放请求的时间(6秒)，确定6秒的临界点。在经过6秒后，服务器过程进行调度，以发送“可以播放缓冲器”信号到客户。
然而，在2秒的经过时间后，服务器的负荷已减小，而现在，系统在经过的每秒内能够传递0.75秒的音频。通过从处理请求的时间(5/0.75＝6.67秒)中减去播放请求的时间(6秒)以给出0.67秒，或者从接收初始请求开始的2.67秒，确定新的临界缓冲点(见图4B)。在2.67秒以后而不是6秒后，发送“可以播放缓冲”消息(图4B中的START_PLAY)。
总之，描述了一种用于对流式处理数据进行协商的方法、设备和计算机程序。具体地，其涉及在服务器中实时生成大量连续的语音数据并将其提供到客户的方法和设备。根据一方面，提供了一种控制从数据流播放器播放所生成的媒体数据流的方法，包括：估计用于生成数据流的生成时间；估计数据流的播放时间；通过使用数据流生成资源来生成数据流，以便由数据流播放器输出；以及如果剩余生成时间实质上等于或小于播放时间，则提醒数据流播放器。在优选实施例中，服务器在给定网络的知识后计算它可以做什么，并发送消息，以保证从一个时间点起的服务水平。在客户可以可靠地开始播放信号时的时间点，把“可开始播放”消息发送到客户。本发明的优选实施例考虑了服务器的处理能力，并负责按优先权顺序处理，以保证对客户的服务水平。

Claims (14)

1.一种用于在服务器上控制从数据流播放器播放所生成的媒体数据流的方法，包括：
估计用于生成数据流的生成时间；
估计数据流的播放时间；
通过使用数据流生成资源来生成数据流，以便由数据流播放器输出；以及
如果剩余生成时间不大于播放时间，则提醒数据流播放器。
2.如权利要求1所述的方法，还包括在提醒被发送后保持生成速率为同一速率或更快速率。
3.如权利要求2所述的方法，其中所述流生成具有优先权，并且在生成资源内提升所述优先权，以便在提醒被发送后保持速率。
4.如权利要求1到3的任一项所述的方法，其中所述剩余生成时间是在生成数据流期间从数据流生成资源中得到的。
5.如权利要求1到3的任一项所述的方法，其中所述提醒是从服务器发送到客户的。
6.如权利要求4所述的方法，其中所述提醒是从服务器发送到客户的。
7.如权利要求1到3的任一项所述的方法，其中所述媒体数据流是语音，而所述生成资源是文本到语音引擎。
8.一种用于在服务器上控制从数据流播放器播放所生成的媒体数据流的系统，包括：
用于估计用于生成数据流的生成时间的装置；
用于估计数据流的播放时间的装置；
用于通过使用数据流生成资源来生成数据流以便由数据流播放器输出的装置；以及
用于如果剩余生成时间不大于播放时间则提醒数据流播放器的装置。
9.如权利要求8所述的系统，还包括在提醒被发送后保持生成速率为同一速率或更快速率。
10.如权利要求9所述的系统，其中所述流生成具有优先权，并且在生成资源内提升所述优先权，以便在提醒被发送后保持速率。
11.如权利要求8到10的任一项所述的系统，其中所述剩余生成时间是在生成数据流期间从数据流生成资源中得到的。
12.如权利要求8到10的任一项所述的系统，其中所述提醒是从服务器发送到客户的。
13.如权利要求11所述的系统，其中所述提醒是从服务器发送到客户的。
14.如权利要求8到10的任一项所述的系统，其中所述媒体数据流是语音，而所述生成资源是文本到语音引擎。
CN200610065474.XA 2005-04-30 2006-03-22 用于流式处理数据的方法和设备 Expired - Fee Related CN1855824B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0508946.1 2005-04-30
GBGB0508946.1A GB0508946D0 (en) 2005-04-30 2005-04-30 Method and apparatus for streaming data

Publications (2)

Publication Number Publication Date
CN1855824A CN1855824A (zh) 2006-11-01
CN1855824B true CN1855824B (zh) 2010-06-23

Family

ID=34674214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610065474.XA Expired - Fee Related CN1855824B (zh) 2005-04-30 2006-03-22 用于流式处理数据的方法和设备

Country Status (3)

Country Link
US (1) US8626939B2 (zh)
CN (1) CN1855824B (zh)
GB (1) GB0508946D0 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004655A1 (en) 2007-07-02 2009-01-08 Telecom Italia S.P.A. Application data flow management in an ip network
TW200919203A (en) 2007-07-11 2009-05-01 Ibm Method, system and program product for assigning a responder to a requester in a collaborative environment
US9076484B2 (en) 2008-09-03 2015-07-07 Sandisk Technologies Inc. Methods for estimating playback time and handling a cumulative playback time permission
US8375095B2 (en) * 2009-12-22 2013-02-12 Microsoft Corporation Out of order durable message processing
US9928209B2 (en) * 2012-11-07 2018-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Pre-buffering of content data items to be rendered at a mobile terminal
US9734817B1 (en) * 2014-03-21 2017-08-15 Amazon Technologies, Inc. Text-to-speech task scheduling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182875A2 (en) * 2000-07-06 2002-02-27 Matsushita Electric Industrial Co., Ltd. Streaming method and corresponding system

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01130240A (ja) * 1987-11-16 1989-05-23 Yokogawa Hewlett Packard Ltd データ列発生装置
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
JP2845162B2 (ja) * 1995-05-10 1999-01-13 日本電気株式会社 データ転送装置
US5864678A (en) * 1996-05-08 1999-01-26 Apple Computer, Inc. System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US5928330A (en) * 1996-09-06 1999-07-27 Motorola, Inc. System, device, and method for streaming a multimedia file
US6192406B1 (en) * 1997-06-13 2001-02-20 At&T Corp. Startup management system and method for networks
US6112239A (en) * 1997-06-18 2000-08-29 Intervu, Inc System and method for server-side optimization of data delivery on a distributed computer network
US6138164A (en) * 1997-11-14 2000-10-24 E-Parcel, Llc System for minimizing screen refresh time using selectable compression speeds
US6618820B1 (en) * 2000-01-10 2003-09-09 Imagex.Com, Inc. Method for configuring an application server system
US6502139B1 (en) * 1999-06-01 2002-12-31 Technion Research And Development Foundation Ltd. System for optimizing video on demand transmission by partitioning video program into multiple segments, decreasing transmission rate for successive segments and repeatedly, simultaneously transmission
US6466909B1 (en) * 1999-06-28 2002-10-15 Avaya Technology Corp. Shared text-to-speech resource
US6557026B1 (en) * 1999-09-29 2003-04-29 Morphism, L.L.C. System and apparatus for dynamically generating audible notices from an information network
US7649901B2 (en) * 2000-02-08 2010-01-19 Mips Technologies, Inc. Method and apparatus for optimizing selection of available contexts for packet processing in multi-stream packet processing
JP2002091863A (ja) * 2000-09-12 2002-03-29 Sony Corp 情報提供方法
US7337231B1 (en) * 2000-12-18 2008-02-26 Nortel Networks Limited Providing media on demand
US6766407B1 (en) * 2001-03-27 2004-07-20 Microsoft Corporation Intelligent streaming framework
US20040250273A1 (en) * 2001-04-02 2004-12-09 Bellsouth Intellectual Property Corporation Digital video broadcast device decoder
US7430609B2 (en) * 2001-04-30 2008-09-30 Aol Llc, A Delaware Limited Liability Company Managing access to streams hosted on duplicating switches
US7197557B1 (en) * 2001-05-29 2007-03-27 Keynote Systems, Inc. Method and system for evaluating quality of service for streaming audio and video
US7200669B2 (en) * 2001-07-31 2007-04-03 Dinastech Ipr Limited Method and system for delivering large amounts of data with interactivity in an on-demand system
US20030055910A1 (en) * 2001-09-19 2003-03-20 International Business Machines Corporation Method and apparatus to manage data on a satellite data server
US7110995B2 (en) * 2002-02-27 2006-09-19 International Business Machines Corporation Apparatus and method for generating graphic presentation of estimated time of completion of a server request
US7290057B2 (en) * 2002-08-20 2007-10-30 Microsoft Corporation Media streaming of web content data
FI20021527A0 (fi) * 2002-08-27 2002-08-27 Oplayo Oy Menetelmä ja järjestelmä mediavirran kaistanleveyden säätämiseksi
JP4619353B2 (ja) * 2003-02-26 2011-01-26 エヌエックスピー ビー ヴィ マルチメディアコンテンツを配信するためのシステム
US7519845B2 (en) * 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182875A2 (en) * 2000-07-06 2002-02-27 Matsushita Electric Industrial Co., Ltd. Streaming method and corresponding system

Also Published As

Publication number Publication date
CN1855824A (zh) 2006-11-01
US20060248214A1 (en) 2006-11-02
US8626939B2 (en) 2014-01-07
GB0508946D0 (en) 2005-06-08

Similar Documents

Publication Publication Date Title
JP7112919B2 (ja) スマート装置のタスク処理方法および装置
US9247276B2 (en) System and method for progressive delivery of media content
CN1855824B (zh) 用于流式处理数据的方法和设备
US7051110B2 (en) Data reception/playback method and apparatus and data transmission method and apparatus for providing playback control functions
CN100359949C (zh) 一种用于发送和接收视频信息的方法及其系统
US20030165150A1 (en) Multi-threshold smoothing
CN106572358A (zh) 一种直播时移方法及客户端
CN101406060A (zh) 应用对等（p2p）内容分发网络延时下载视频服务
CN104471955A (zh) 用于自适应位速率流式传输的带宽分配的方法及装置
CN106533932B (zh) 一种用于推送即时消息的方法和装置
JP2004527028A5 (zh)
CN107911332A (zh) 媒体内容流播的系统和方法
WO2010142226A1 (zh) 数据传输速率的自适应调整方法、装置及系统
CN109413448A (zh) 基于深度强化学习的移动设备全景视频播放系统
JP2013509743A (ja) コンテンツストリームを個別化する方法およびシステム
TW200904095A (en) Network communication control method and system
Liubogoshchev et al. Adaptive cloud-based extended reality: Modeling and optimization
WO2022174534A1 (zh) 一种资源请求方法及终端
CN107920108A (zh) 一种媒体资源的推送方法、客户端及服务器
US8390739B2 (en) CPU platform interface method and device for synchronizing a stream of motion codes with a video stream
CN104581340A (zh) 客户端、流媒体数据接收方法和流媒体数据传输系统
CN106657172A (zh) 一种信息推送的实现方法及装置
JP2023515003A (ja) ネットワークでストリーミングされたコンテンツをクライアントデバイスのプレーヤで再生する方法
JP3602326B2 (ja) デジタル・コンテンツ編集方法、装置、およびデジタル・コンテンツ編集プログラムを記録した記録媒体
KR100596723B1 (ko) 멀티미디어 스트리밍 서비스와 응용 프로그램 스트리밍서비스의 통합형 실행장치 및 실행방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100623

Termination date: 20210322