CN101047833B - 一种基于数字水印和双向机顶盒的节目监视管理系统 - Google Patents
一种基于数字水印和双向机顶盒的节目监视管理系统 Download PDFInfo
- Publication number
- CN101047833B CN101047833B CN200710013548XA CN200710013548A CN101047833B CN 101047833 B CN101047833 B CN 101047833B CN 200710013548X A CN200710013548X A CN 200710013548XA CN 200710013548 A CN200710013548 A CN 200710013548A CN 101047833 B CN101047833 B CN 101047833B
- Authority
- CN
- China
- Prior art keywords
- information
- program
- watermark
- frame
- finish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明是利用数字水印和双向机顶盒技术完成对特定节目的监视。具体的是利用数字水印技术对节目内容进行标识，通过双向机顶盒对特定节目中所嵌入的数字水印信息进行检测和处理，从而完成对特定节目的版权所有者、播出时间、长度等信息的采集，再由回传模块完成机顶盒到前端系统的信息传送。由前端系统完成进一步的数据处理。前端系统还可以通过双向通道完成对双向机顶盒和水印检测模块的控制。通过该系统可以完成对特定付费节目播出情况的监视或对特定节目收视情况的调查。
Description
技术领域
本发明涉及数字电视广播领域，尤其涉及一种基于数字水印和双向机顶盒的节目监视管理系统。
背景技术
数字电视是广播电视的新技术，它采用数字信号代替模拟信号来播送电视节目。同模拟有线电视系统相比，在传输上的一个主要区别是模拟有线电视系统中一个频点只播送一套模拟电视节目信号，数字电视系统中一个频点可以播送多套经复用后的数字电视节目信号。在数字电视系统中，用户需要使用机顶盒(STB：Set Top Box)来接收由前端播送的数字电视节目。STB又称为综合接收解码器(IRD，Integrated Receive Decoder)，它的主要功能就是将接收下来的数字电视信号转换为模拟电视信号，让使用模拟电视机的用户不用更换电视机也能收看到数字电视节目，图像质量接近500线的水平。
另一方面随着传媒业的发展，广大电视台急需对其节目播出和收视情况进行监视，以便掌握付费节目，如广告业务的播出情况、盗版播出的情况和具体节目的收视率等信息。目前，对电视台节目内容的监视大多采用人工方式，比如通过人工发放调查问卷或电话询问的方式完成收视率的调查工作，安排具体人员对广告等付费节目的播出情况进行监视等方法，不但会耗费大量的人力、财力，而且由于种种人为因素的干扰，很难保证节目监视效果的准确性。近年来出现了一种基于记录用户端电视机调谐频率完成收视率调查的仪器，在一定程度上缩减了人力成本。但该仪器无法真正做到对具体节目内容的收视率调查，也无法用于未来的数字电视播出环境。另外还出现了基于数字电视播出环境下，通过记录传输流中信息表的内容来完成收视率调查的技术，但该技术仍然无法真正完成内容级的节目监视管理。
发明内容
本发明的目的在于根据未来数字电视播出环境下，提供一种基于数字水印和双向机顶盒技术的节目内容级的监视系统。本发明提供的系统及方法能够从终端用户的机顶盒中自动采集特定节目的播放或收视信息，通过双向有线电视网络传送数据，并在数据服务器端对收视数据进行统计，得出准确的数字电视节目播放或收视数据。
为实现上述目的，本发明提供了一种数字电视系统的节目播放信息自动采集、统计系统，包括前端服务器、双向机顶盒、数字水印处理模块和数据统计模块，所述前端服务器位于双向有线电视宽带网的前端，用来完成对特定节目数字水印信息的嵌入；双向机顶盒用来完成数字节目的接收和数据信息的回传，数字水印处理模块位于双向机顶盒内，对经过机顶盒系统处理后的节目流，进行数字水印信息的检测和处理，并将结果信息发送到机顶盒的回传模块，数据统计模块位于前端服务器中，完成上行数据信息的统计处理，得出特定节目的播出或收看信息。
为实现数字电视系统特定节目的播放和收看信息的自动采集与统计，本发明还提供了一种数字电视系统节目播放信息的采集、统计方法，具体包括如下步骤：
a、由数字水印服务器对所要进行监视的节目嵌入唯一标识该节目的编号水印信息，；
b、包含水印信息的节目流通过网络以DVB标准传送；
c、在机顶盒中完成TS流的接收、解调、解复用和解码，将解码后的视频流送入水印检测模块；
d、由水印检测模块完成节目内容中嵌入的水印信息的提取和识别；
e、根据TS流中PAT(Program Allocation Table，节目分配表)、NIT(NetworkInformation Table，网络信息表)、PMT(Program Map Table，节目映射表)、TDT(Time and Date Table，时间日期表)中的信息，记录当前选定频道的具体编号、时间日期等数据，完成节目播放信息的记录。
f、由双向机顶盒的回传通路完成一定时间段内，节目播放信息的回传；
g、由前端服务器完成监视信息的统计和进一步处理。
对于工作步骤A，其具体工作流程包括：
(1)表示节目编号的基本水印信息序列a经过伪机序列Z的扩频调制，生成要嵌入的水印信息W。其中基本序列a中专门有一位信息用来标识嵌入到节目流的首帧或结束帧；
(2)对原始视频作VLC解码和逆扫描操作，得到I帧亮度信号的DCT量化系数矩阵；
(3)选择初始I帧亮度信号中的一个8×8分块的DCT量化系数矩阵，从中取出4个中频系数排列成一维向量B，进行4位水印信息的嵌入：B’(i)＝B(i)+aW(j)，其中a表示水印信息的嵌入强度，W(j)表示经伪随机序列Z扩频后的第j位水印信息；
如果二值序列W全部嵌入完毕，则首帧水印信息嵌入结束；否则，再选择一个新的8×8分块的DCT量化系数矩阵，重复步骤(3)；
在节目结束的I帧中进行相同的水印信息的嵌入。
对于工作步骤d，其具体工作流程包括：
(a)将由MPEG-2解码器重建的视频图像经一个中通滤波器，得到一个经滤波的含水印信息的视频图像V’；
(b)对视频图像信号进行DCT变换，得到DCT变换矩阵并进行量化；
(c)利用初始的伪随机序列Z与量化后的DCT系数矩阵进行相关检测，提取出包含在初始I帧和结束I帧中的水印信息，得到节目的标识编号。
通过这样的工作步骤，即可通过检测到的水印信息和信息表中的内容，对特定付费业务的播出情况，如是否播放完整、播放时间等信息进行监视。另外系统对记录信息略加改变，还可以完成特定节目收视率的调查统计，其系统步骤如下：
(1)对所要进行调查的节目进行嵌入水印信息的操作，具体步骤与上述相同；
(2)用户通过机顶盒进行频道切换时，根据TS信息表记录频道号和时间信息；
(3)用户机顶盒内的水印检测模块如检测出相应的首帧中的水印信息，则同时记录TS信息表中的时间信息和频道信息，
(4)水印检测模块如检测出相应的结束帧中的水印信息，同时记录TS信息表中的时间信息，表明用户完整收看了节目；
(5)如果频道切换后，直接检测到结束帧中的水印信息，则记录时间信息，并与频道切换时刻相减，从而得到用户对节目的收看时间；
(6)如果只检测到结束帧中的水印信息，则记录时间信息，此时说明用户在收看该节目的过程中切换了频道，用频道切换时刻与检测到水印信息的时刻相减，得到用户收视时间。
附图说明
图1是基于数字水印和双向机顶盒的节目监视系统结构示意图；
图2是节目流中嵌入数字水印信息的流程图；
图3是解码后的节目流进行水印信息检测的流程图；数字水印信息的提取流程图；
图4是系统进行节目播发信息监视的工作流程图；
图5是系统进行节目收视率调查的工作流程图，其中t1、t2分别为接收到开始帧和结束帧中水印信息的时刻，tc为用户切换频道的时刻；
图6是双向机顶盒上行数据帧编码格式示意图。
具体实施方式
我们定义八位二进制序列作为节目编号标识，其中一位特定用来指示嵌入首帧和结束帧的水印信息。则该8位序列一共可以标识128个不同节目。假定标识序列“10110010”“10110011”，其中序列的最后一位“0”或“1”分别表示首帧和末帧的水印信息。之后用128位伪随机序列对其进行扩频调制，从而生成进行嵌入操作的水印序列。参考图2，节目流中数字水印的嵌入过程：
1、由表示节目编号的基本水印信息序列A经过伪机序列Z的扩频调制，生成要嵌入的水印信息W。其中序列A中最后一位信息用来标识嵌入到节目流的首帧或结束帧；
2、对原始视频作VLC解码和逆扫描操作，得到I帧亮度信号的DCT量化系数矩阵；
3、选择初始I帧亮度信号中的一个8×8分块的DCT量化系数矩阵，从中选择特定的4个中频系数，排列成一维向量B，进行4位水印信息的嵌入，B’(i)＝B(i)+aW(j)；
4、如果二值序列W全部嵌入完毕，结束首帧中水印信息的嵌入；否则，再选择一个新的8×8分块的DCT量化系数矩阵，重复步骤(3)；
5、在节目结束的I帧中进行相同的水印信息的嵌入。
参考图3，系统对水印信息的检测步骤，具体包括：
1、将由MPEG解码器重建的视频图像经一个中通滤波器，得到一个经滤波的含水印信息的视频图像V’；
2、对视频图像信号进行DCT变换，得到DCT变换矩阵并进行量化；
3、利用初始的伪随机序列Z与量化后的DCT系数矩阵进行相关检测，提取出包含在初始I帧和结束I帧中的水印信息“10110010”“10110011”，得到节目的标识编号。
为实现数字电视系统特定节目的播放和收看信息的自动采集与统计，本发明还提供了一种数字电视系统节目播放信息的采集、统计方法，如附图4所示，该方法的实施步骤如下：
a、由数字水印服务器对所要进行监视的节目嵌入水印信息，该水印信息是可以唯一标识该节目的编号；
b、包含水印信息的节目流通过网络以DVB标准传送；
c、在机顶盒中完成TS流的接收、解调、解复用和解码，将解码后的视频流送入水印检测模块；
d、由水印检测模块完成节目内容中嵌入的水印信息的提取；
e、并根据TS流中PAT(Program Allocation Table，节目分配表)、NIT(NetworkInformation Table，网络信息表)、PMT(Program Map Table，节目映射表)、TDT(Time and Date Table，时间日期表)中的信息，记录当前选定频道的具体编号、时间日期等数据，完成节目播放信息的记录。
f、由双向机顶盒的回传通路完成一定时间段内，节目播放信息的回传，其回传的数据帧格式，参考图6；
g、由前端服务器完成监视信息的统计和进一步处理。
另外系统对记录信息略加改变，还可以完成特定节目收视率的调查统计，如附图5所示，工作步骤如下：
a、对所要进行调查的节目进行嵌入水印信息的操作，具体步骤与上述相同；
b、用户通过机顶盒进行频道切换时，根据TS信息表中的内容，记录频道号和时间信息；
c、如果用户机顶盒内的水印检测模块检测出相应节目首帧中的水印信息，记录TS信息表中的时间信息和频道信息；
d、如果水印检测模块检测出相应节目末帧中的水印信息，则记录TS信息表中的时间信息，表明用户完整收看了节目；
e、如果频道切换后，直接检测到末帧中的水印信息，则记录时间信息，并与频道切换时刻相减，从而得到用户对节目的收看时间。如果只检测到初始帧中的水印信息，则用频道切换时刻减去检测到水印信息的时刻，而得到用户对节目的收视时间。
f、机顶盒的回传模块完成信息的回传，再由前端服务器中的数据处理模块完成信息的统计处理。
Claims (2)
1.一种基于数字水印和双向机顶盒的节目监视管理系统，其特征在于系统设备包括前端服务器、双向机顶盒、数字水印处理模块和数据统计模块，前端服务器设置在双向有线电视宽带网的前端，用于完成对特定节目数字水印信息的嵌入；双向机顶盒用来完成数字节目的接收和数据信息的回传，数字水印处理模块位于双向机顶盒内，对经过机顶盒系统解复用后的节目流，进行数字水印信息的检测和处理，并将结果信息发送到机顶盒的回传模块，数据统计模块位于前端服务器中，完成上行数据信息的统计处理，得出特定节目的播出或收看信息，具体包括如下步骤：
(a)由数字水印服务器对所要进行监视的节目嵌入唯一标识该节目的编号的水印信息；嵌入步骤如下：
a、由表示节目编号的基本水印信息序列A，经过伪随机序列Z的扩频调制，生成要嵌入的水印信息W，其中序列A中专门有一位信息，用来标识嵌入到节目流的首帧或结束帧；
b、对原始视频作VLC解码和逆扫描操作，得到I帧亮度信号的DCT量化系数矩阵；
c、选择初始I帧亮度信号中的一个8×8分块的DCT量化系数矩阵，从中取出特定的4个中频系数排列成一维向量B，进行4位水印信息的嵌入；
d、如果二值序列W全部嵌入完毕，结束首帧水印信息的嵌入；否则，再选择一个新的8×8分块DCT量化系数矩阵，重复步骤c；
e、在节目结束的I帧中进行相同步骤的水印信息的嵌入；
(b)包含水印信息的节目流通过网络以DVB标准传送；
(c)在机顶盒中完成TS流的接收、解调、解复用和解码，将解码后的视频流送入水印检测模块；
(d)由水印检测模块完成节目内容中嵌入的水印信息的提取和识别；具体步骤如下：
a、将由MPEG解码器重建的视频图像经一个中通滤波器，得到一个经滤波的含水印信息的视频图像V；
b、对视频图像信号进行DCT变换，得到DCT变换矩阵并进行量化；
c、利用初始的伪随机序列Z与量化后的DCT系数矩阵进行相关检测，提取出嵌入在初始I帧和结束I帧中的水印信息，得到节目的标识编号；
(e)根据TS流中相关信息表中的信息，确定用户当前选定频道的具体编号、时间日期等数据，完成节目播放信息的记录；
(f)由双向机顶盒的回传通路完成一定时间段内，节目播放信息的回传；
(g)由前端服务器完成监视信息的统计和进一步处理。
2.根据权利要求1所述的方法，其特征在于对系统记录信息略加改变，完成特定节目收视率的调查统计步骤如下：
(1)对所要进行调查的节目进行嵌入水印信息的操作，具体步骤与上述相同；
(2)用户通过机顶盒进行频道切换时，根据TS信息表记录频道号和时间信息；
(3)用户机顶盒内的水印检测模块检测出相应节目首帧中的水印信息，同时记录TS信息表中的时间信息和频道信息；
4)水印检测模块检测出相应节目末帧中的水印信息，记录TS信息表中的时间信息，此时表明用户完整收看了该节目；
(5)如果频道切换后，直接检测到结束帧中的水印信息，则记录时间信息，并与频道切换时间相减，从而得到用户对节目的收看时间；而如果只检测到末帧中的水印信息，同样记录时间信息，用下一次频道切换时刻相减，得到用户收视时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710013548XA CN101047833B (zh) | 2007-02-09 | 2007-02-09 | 一种基于数字水印和双向机顶盒的节目监视管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710013548XA CN101047833B (zh) | 2007-02-09 | 2007-02-09 | 一种基于数字水印和双向机顶盒的节目监视管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101047833A CN101047833A (zh) | 2007-10-03 |
| CN101047833B true CN101047833B (zh) | 2010-10-13 |
Family
ID=38771990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200710013548XA Expired - Fee Related CN101047833B (zh) | 2007-02-09 | 2007-02-09 | 一种基于数字水印和双向机顶盒的节目监视管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101047833B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8437555B2 (en) | 2007-08-27 | 2013-05-07 | Yuvad Technologies, Inc. | Method for identifying motion video content |
| WO2009140820A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for extracting a finger print data from video/audio signals |
| WO2009140817A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A method for facilitating the search of video content |
| WO2009140819A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for facilitating the search of video content |
| WO2009140822A1 (en) | 2008-05-22 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A method for extracting a fingerprint data from video/audio signals |
| WO2009140824A1 (en) | 2008-05-22 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for identifying motion video/audio content |
| WO2009143668A1 (en) * | 2008-05-26 | 2009-12-03 | Yuvad Technologies Co., Ltd. | A method for automatically monitoring viewing activities of television signals |
| CN101662647B (zh) * | 2008-08-26 | 2014-02-12 | 松下电器产业株式会社 | 终端设备、音/视频系统及其方法 |
| CN101742352B (zh) * | 2008-11-12 | 2012-09-26 | 深圳创维数字技术股份有限公司 | 一种数字电视调查方法、系统和机顶盒终端 |
| CN104011678A (zh) * | 2011-10-19 | 2014-08-27 | 汤姆逊许可公司 | 自动内容节目发现设备及方法 |
| CN104065980A (zh) * | 2013-03-21 | 2014-09-24 | 北京中传数广技术有限公司 | 一种播放内容关联数据的统计方法、装置及系统 |
| US9420323B2 (en) | 2013-12-19 | 2016-08-16 | The Nielsen Company (Us), Llc | Methods and apparatus to verify and/or correct media lineup information |
| CN103945243A (zh) * | 2014-05-16 | 2014-07-23 | 无锡北斗星通信息科技有限公司 | 用于数字电视节目的收看统计设备 |
| CN104219547B (zh) * | 2014-09-28 | 2018-02-23 | 浪潮软件集团有限公司 | 一种基于SignalR技术实现机顶盒实时收视率统计的方法 |
| CN104486645A (zh) * | 2014-11-20 | 2015-04-01 | 小米科技有限责任公司 | 确定节目收视率的方法、播放设备、服务器及装置 |
| CN105898323A (zh) * | 2015-12-04 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 一种在视频中添加水印和确定水印的信息的方法和设备 |
| JP2019510744A (ja) | 2016-02-25 | 2019-04-18 | 深▲セン▼市塔吉瑞生物医▲薬▼有限公司Ｓｈｅｎｚｈｅｎ ＴａｒｇｅｔＲｘ，Ｉｎｃ． | 置換オキサジアゾール系化合物、当該化合物を含む組成物およびその応用 |
| CN108055588B (zh) * | 2017-12-08 | 2020-04-10 | 成都睿胜科技有限公司 | 通过二维码实现数字电视用户选购节目及采集数据的方法 |
| CN110971842A (zh) * | 2019-10-30 | 2020-04-07 | 林胜勇 | 一种能够自动处理新闻联播时间延长的切换器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1717048A (zh) * | 2005-07-01 | 2006-01-04 | 中山大学 | 一种带补偿的保护mpeg－2视频数据的方法 |
| CN1835580A (zh) * | 2006-04-14 | 2006-09-20 | 华中科技大学 | 数字电视中的视频版权保护与监控系统 |
-
2007
- 2007-02-09 CN CN200710013548XA patent/CN101047833B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1717048A (zh) * | 2005-07-01 | 2006-01-04 | 中山大学 | 一种带补偿的保护mpeg－2视频数据的方法 |
| CN1835580A (zh) * | 2006-04-14 | 2006-09-20 | 华中科技大学 | 数字电视中的视频版权保护与监控系统 |
Non-Patent Citations (2)
| Title |
|---|
| CN 1717048 A,全文. |
| 李晓强.数字图像水印研究.复旦大学博士学位论文.2004,49-53. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101047833A (zh) | 2007-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101047833B (zh) | 一种基于数字水印和双向机顶盒的节目监视管理系统 | |
| CN101077014B (zh) | 用于监视来自各种源的音频/视觉内容的方法及装置 | |
| CN102308337B (zh) | 用于管理诸如数字电视解码器的电子装置中的广告检测的方法 | |
| US9197946B2 (en) | System and method for automatic content program discovery | |
| JP4287053B2 (ja) | デジタルテレビ用視聴率測定システム | |
| CA1211204A (en) | Method and apparatus for the automatic identification and verification of television broadcast programs | |
| CN1122412C (zh) | 数据传输系统及其方法、数据接收设备及其参数设置方法 | |
| CN103945243A (zh) | 用于数字电视节目的收看统计设备 | |
| US20110188700A1 (en) | Apparatus for inserting watermark and method therefor | |
| US20100169911A1 (en) | System for Automatically Monitoring Viewing Activities of Television Signals | |
| US20100122279A1 (en) | Method for Automatically Monitoring Viewing Activities of Television Signals | |
| WO2002052759A2 (en) | Apparatus and method for determining the programme to which a digital broadcast receiver is tuned | |
| CN1993909A (zh) | 用于识别与数字媒体设备相关联的收视信息的方法和装置 | |
| CA2571971A1 (en) | Method and system for automated auditing of advertising | |
| KR20060076175A (ko) | 압축된 비디오 이미지들에서의 압축 잡음을 제거하는 방법및 장치 | |
| US8416983B1 (en) | Method and apparatus for establishing an accurate low bit time stamp in a remotely created watermark | |
| KR20110007789A (ko) | 비디오 콘텐츠에 워터마크를 삽입하는 워터마킹 장치 및 방법 | |
| CN100414991C (zh) | 用于高质量视听作品的处理的安全设备 | |
| CN101110959A (zh) | 利用电视数字机顶盒实现收视调查的控制方法 | |
| CN104065980A (zh) | 一种播放内容关联数据的统计方法、装置及系统 | |
| EP2111043A2 (en) | Method of transmitting audiovisual contents in 'push' environments | |
| CN104639980B (zh) | 数字电视广播的影像传输装置 | |
| Zou et al. | Subjective testing of broadcast-quality compressed video | |
| Bretillon et al. | Quality meter and digital television applications | |
| Sohn et al. | System test of digital DBS system for video and audio signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101013 Termination date: 20170209 |