CN101383962B - 基于感兴趣区域的低码率空域增强层编解码方法 - Google Patents
基于感兴趣区域的低码率空域增强层编解码方法 Download PDFInfo
- Publication number
- CN101383962B CN101383962B CN 200710053159 CN200710053159A CN101383962B CN 101383962 B CN101383962 B CN 101383962B CN 200710053159 CN200710053159 CN 200710053159 CN 200710053159 A CN200710053159 A CN 200710053159A CN 101383962 B CN101383962 B CN 101383962B
- Authority
- CN
- China
- Prior art keywords
- enhancement layer
- interest
- layer
- area
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于感兴趣区域的低码率空域增强层编解码方法，编码方法是：从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。本发明实现了基于感兴趣区域的低码率空域增强层编码的功能，在保证空域增强层感兴趣区域视频信息的质量不变的同时，大大减小了空域增强层编码后传输的比特数，尤其适合于安防监控的传输需求。
Description
技术领域
本发明属于可伸缩视频编码领域，特别针对安防监控的特殊需求，是基于当前可伸缩视频编解码技术之上的针对感兴趣区域的空域增强层编解码算法。
背景技术
随着人们对安全需求的日益增加、安全防护的使用成本与其产生的效益拉开距离，市场提出了行业、企业大范围、远距离监控的需求，如银行跨地区联网监控、全国城市重点地区联网监控等。由于模拟监控存在着使用范围小、信号易衰减等弊端，通过网络将图像进行远程传输的集中监控方式应运而生。
科技的飞速发展使得当今各种无线网络日趋普遍，3G、B3G移动通信在技术上已经成熟。高清晰、全嵌入式、支持各种无线、有线接入方式的移动无线视频监控成为新一代的视频监控系统的发展方向。同时监控终端的移动化、小型化一直是视频监控用户的追求。手机、PDA、便携电脑等均往智能型终端方向发展，成为重要的监控终端载体。视频监控传输网络的多样性(例如宽带网、ADSL、WiFi等)和客户终端的显示分辨率、计算能力等各种差异，对视频编码提出了可分级码流的切实要求。其中空域可分级能够适应各种不同分辨率的监控终端，是可分级码流的必备性质之一。
由于网络带宽具有不定性的特点，移动无线视频监控需要传输低码率且高品质的视频流；而且考虑到安防监控的特殊性：某些应用中需要针对某个区域进行特殊编码。所以在空域分级编码基础上，结合感兴趣区域编码技术，实现基于区域的低码率空域增强层编码算法是当前应用领域迫切需要解决的问题。感兴趣区域的英文为Region Of Interest，可简称为ROI。
空间分辨率可调算法早在MPEG-2、MPEG-4协议中就有实现，后来在SVC(Scalable Video Coding可伸缩视频编码)中得到了更深一层的发展。SVC同时利用了单层分辨率视频流的帧间冗余信息和多层分辨率视频流的层间冗余信息，与多码流视频编码技术相比，很大程度上提高了视频压缩比。但是编码高分辨率的视频所增加的码率对于移动无线视频监控和带宽不定的无线网而言，所需要传输的比特负担仍然很重。
SVC中运用了ESS技术(参见Julien Reichel，H.S.，Mathias Wien，JointScalable Video Model JSVM-8，in Joint Video Team(JVT)of ISO/IEC MPEG& ITU-T VCEG，21st Meeting.2006：Hangzhou，China.)，实现了不同分辨率视频流的内容允许不完全一样的功能：低分辨率的视频通过下采样从高分辨的视频中获得，其内容可以和高分辨视频完全相同或是其中的一部分。虽然此技术减小了低分辨率的视频码流，实现了不同分辨率内容相异的特点。但是由于低分辨率的码流本身所占的比特数相对高分辨率而言很少，所以并没有为窄带网络(或带宽不定网络)减轻负担，而且也没有体现出安防监控中需要针对某区域特殊编码的特点。
发明内容
本发明所要解决的技术问题是：针对空域增强层编码需要传输大量比特的问题，结合感兴趣区域的编码方法，提供基于感兴趣区域的一种低码率空域增强层编码方法，以减小空域增强层码率，保证空域增强层感兴趣区域视频信息的质量。
本发明解决其技术问题采用的技术方案是：从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。
而且，按帧编码时，编每一帧包括以下步骤，
步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起始宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围，如果是则确定该宏块属于该帧的增强层编码内容；
步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个宏块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则编码；
步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。
而且，在步骤二编码过程中做层内帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。
而且，在步骤一中，通过感兴趣区域信息确定空域增强层的编码内容具体步骤是，
定义变量BeginRoi_mb和EndRoi_mb分别记载感兴趣区域的起始宏块号和终止宏块号；通过载入基本层的感兴趣区域信息，初始化变量BeginRoi_mb和EndRoi_mb这两个变量，并写入图像头信息的码流扩展位中。
而且，编码该帧的增强层时，按照从上到下、从左到右的顺序依此读入该帧的宏块信息，依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容感兴趣区域内的宏块。
本发明还提供了相应的基于感兴趣区域的低码率空域增强层解码方法，解码增强层前先解基本层，得到低分辨率的完整图像，再时根据用户需要进行增强层增强，
若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若用户需要看高分辨率的全景时，则对增强层解码，并将基本层的非感兴趣区域进行上采样，与解码后的增强层拼接成一副完整的高分辨图像。
而且，解码增强层编码码流的具体操作步骤为，
若用户只看感兴趣区域的高分辨率图像，那么将基本层解码图像的缓存队列内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的解码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本层的非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列中，并将其与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出码流。
本发明实现了基于感兴趣区域的低码率空域增强层编码的功能；保证空域增强层感兴趣区域视频信息的质量不变的同时，大大减小了空域增强层编码后传输的比特数；与普通方法相比，在空域增强层码率相同的情况下，感兴趣区域亮度分量的PSNR值提高1.5-4db左右。
附图说明
图1是本发明的编码原理示意图。
图2是本发明的解码原理示意图。
图3是本发明实施例的编码流程图。
图4是本发明实施例的解码流程图。
图5是本发明的空域增强层感兴趣区域的性能曲线图。
具体实施方式
本发明提供的是基于感兴趣区域的低码率空域增强层编码方法，所述空域增强层是基于可伸缩视频编解码标准的，本发明简称为增强层。这种方法从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。针对安防监控的特殊需求，本发明从增强层提取感兴趣区域进行编码，而忽略其它非关键区域的图像，从而减小空域增强层码率，保证空域增强层感兴趣区域视频信息的质量。那么结合现有技术的普通编码方式，完整的图像编码过程原理参见附图1：输入图像，分别进行基本层编码和增强层编码，基本层按普通方式编码，增强层经剪切出感兴趣区域后进行编码，基本层编码和增强层的感兴趣区域编码之间具有层间预测机制。基本层编码结果和增强层的感兴趣区域编码结果共同构成即将传输的压缩码流。
在视频编解码技术领域中，图像信息总是由很多帧数据组成，因此处理时总是按帧进行顺序处理。采用空域分级编码技术处理的图像信息，每帧数据含有基本层和增强层，基本层包含有感兴趣区域信息。按帧编码时，可以通过对每一帧的判断来实现对增强层的原始输入图像进行剪切，编每一帧包括以下步骤，
步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起始宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围，如果是则确定该宏块属于该帧的增强层编码内容；
步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个宏块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则编码；
本发明实施例中，通过感兴趣区域信息确定空域增强层的编码内容具体步骤可以采用定义变量，定义变量BeginRoi_mb和EndRoi_mb分别记载感兴趣区域的起始宏块号和终止宏块号；通过载入基本层的感兴趣区域信息，初始化变量BeginRoi_mb和EndRoi_mb这两个变量，比较该帧中每个宏块的宏块号和这两个变量确定的范围，即可判断某宏块是否属于步骤一中确定的增强层编码内容。由于一帧的增强层内包括多个宏块，也可以设定编码宏块的顺序，编码该帧的增强层时，按照从上到下、从左到右的顺序依此读入该帧的宏块信息，依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容感兴趣区域内的宏块。为了节省编码后的传输码流，在步骤二编码过程中做层内帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。
步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。本发明实施例中，初始化变量BeginRoi_mb和EndRoi_mb这两个变量后，写入图像头信息的码流扩展位中，以供解码使用。
本发明提供具体实施例的编码流程以便实施，参见图3：编图像中的每一帧时，首先载入ROI信息，并且载入此帧的所有层(Layer)的信息到apcOriginalPicBuffer[LayerID]，其中apcOriginalPicBuffer数组用来记录每一层的帧信息，LayerID表示层号。当此LayerID有效的时候，判断此层是不是基本层，如果是(ID＝0)则按照普通方法编基本层的视频图像；若不是则按照本方法的增强层编码方式编码，之后进行ID++调节层号继续判断。增强层编码方式是：从上到下、从左到右的顺序依此读入图像的宏块信息，然后判断该宏块(slice)是不是ROI内的宏块，若是则编码，并将编码后信息写入码流；若不是则跳过此宏块读入下一个宏块信息。利用增强层的重构图像和基本层的重构图像，以帧间预测、层间预测以及帧内预测相结合的方法进行编码。并且在增强层ROI宏块的编码过程中，做层内的帧间预测时，其参考图像是本层帧前的重构ROI图像和对应基本层的重构并上采样后的非ROI图像相结合的图像。最后将基本层和增强层编码后生成的压缩码流写入输出码流。进行编码for循环，当图像的所有帧都编完后(Picture结束)即可写入输出码流，结束编码。
本发明还给出了与基于感兴趣区域的低码率空域增强层编码方法相应的解码方法：解码增强层前先解基本层，得到低分辨率的完整图像，再根据用户需要选择是否进行增强层增强，
若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若用户需要看高分辨率的全景时，则对增强层增强，增强层解码并将基本层的非感兴趣区域进行上采样，上采样结果与解码后的增强层拼接成一副完整的高分辨图像。
结合现有技术的普通编码方式，完整的压缩码流解码过程原理参见附图2：通过网络传输到接收点的压缩码流，按普通方式解码基本层，而增强层码流解码得到感兴趣区域图像，基本层解码和增强层的感兴趣区域解码之间具有层间预测机制。基本层解码结果和感兴趣区域图像组合得出解码图像。
本发明实施例中，解码增强层编码码流的具体操作步骤为，首先解出基本层和增强层的解码图像，分别放入基本层解码图像的缓存队列(本发明实施例命名为baseLayerBufferList)和增强层解码图像的缓存队列(本发明实施例命名为enhLayerBufferList)中；
若用户只看感兴趣区域的高分辨率图像，那么将baseLayerBufferList内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的解码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本层的非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列(本发明实施例命名为baseLayerUpsampleList)中，并将其与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出码流。
本发明提供具体实施例的解码流程以便实施，参见图4：解每一帧时，首先从接收到的码流中提取和检查某一个处理单元的NAL信息(处理单元信息)，并且初始化各种参数。然后判断NAL类型。如果NAL类型是NAL_UNIT_CODED_SLICE或NAL_UNIT_CODED_SLICE_IDR，那么表示此单元属于基本层的帧，则按照普通方法解码，并放入baseLayerBufferList(基本层重构图像的缓存队列)中；如果是NAL_UNIT_CODED_SLICE_SCALABL或NAL_UNIT_CODED_SLICE_SCALABLE_IDR，那么表示此单元属于增强层的帧，则直接按照解增强层的方法解码，并放入enhLayerBufferList(增强层重构图像的缓存队列)中；如果是其它类型，则直接按照国际标准的原始方法编码即可。处理完一个处理单元后，进行解码器FOR循环，直到该帧内的处理单元都处理完成。若用户只看感兴趣区域的高分辨率图像，那么将增强层的解码图像写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的解码图像放入输出队列之前，将解码后的基本层(baseLayerBufferList内的图像)上采样，放入baseLayerUpsampleList(基本层重构并上采样的图像缓存队列)中，并将采样后的非ROI部分与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出文件。
为了方便说明本发明的优点，现举出本发明的实验测试为例：本发明的实验测试是基于JSVM_7 software(参见Jerome Vieron，M.W.，Heiko Schwarz，JSVM-7 software，in Joint Video Team(JVT)of ISO/IECMPEG & ITU-T VCEG，20th Meeting.2006：Klagenfurt，Austria.)之上的。实验用的某序列相关性能指标为：码率＝15hz(帧/秒)；图片组大小＝1(帧)、I帧间隔帧数＝16(帧)。图片为352×288大小。如图5所示：比较原始方法的性能曲线和本方法的性能曲线。在空域增强层码率(单位为kbps)相同的情况下，本算法的感兴趣区域PSNR-Y(亮度信号的峰值信号与噪声比，单位为db)值比原始方法提高了1.5-4db左右。即在感兴趣区域PSNR-Y相同的情况下，大大减小了空域增强层使用的码率。
Claims (6)
1.基于感兴趣区域的低码率空域增强层编解码方法，其特征是：编码时，从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码；
解码时，解码增强层前先解基本层，得到低分辨率的完整图像，再根据用户需要选择是否进行增强层增强，若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若用户需要看高分辨率的全景时，则对增强层增强、解码，并将基本层的非感兴趣区域进行上采样，上采样结果与解码后的增强层拼接成一副完整的高分辨图像。
2.根据权利要求1所述的低码率空域增强层编解码方法，其特征是：按帧编码时，编每一帧包括以下步骤，
步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起始宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围，如果是则确定该宏块属于该帧的增强层编码内容；
步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个宏块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则编码；
步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。
3.根据权利要求2所述的低码率空域增强层编解码方法，其特征是：在步骤二编码过程中做层内帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。
4.根据权利要求2所述的低码率空域增强层编解码方法，其特征是：在步骤一中，通过感兴趣区域信息确定空域增强层的编码内容具体步骤是，
定义变量BeginRoi_mb和EndRoi_mb分别记载感兴趣区域的起始宏块号和终止宏块号；通过载入基本层的感兴趣区域信息，初始化变量BeginRoi_mb和EndRoi_mb这两个变量，并写入图像头信息的码流扩展位中。
5.根据权利要求2所述的低码率空域增强层编解码方法，其特征是：编码该帧的增强层时，按照从上到下、从左到右的顺序依此读入该帧的宏块信息，依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容感兴趣区域内的宏块。
6.根据权利要求1所述的低码率空域增强层编解码方法，其特征是：解码增强层编码码流的具体操作步骤为，
首先解出基本层和增强层的解码图像，分别放入基本层解码图像的缓存队列和增强层解码图像的缓存队列中；
若用户只看感兴趣区域的高分辨率图像，那么将增强层解码图像的缓存队列内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的解码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本层的非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列中，并将其与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出码流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710053159 CN101383962B (zh) | 2007-09-07 | 2007-09-07 | 基于感兴趣区域的低码率空域增强层编解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710053159 CN101383962B (zh) | 2007-09-07 | 2007-09-07 | 基于感兴趣区域的低码率空域增强层编解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101383962A CN101383962A (zh) | 2009-03-11 |
| CN101383962B true CN101383962B (zh) | 2010-12-01 |
Family
ID=40463542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200710053159 Expired - Fee Related CN101383962B (zh) | 2007-09-07 | 2007-09-07 | 基于感兴趣区域的低码率空域增强层编解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101383962B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8626768B2 (en) * | 2010-01-06 | 2014-01-07 | Microsoft Corporation | Automated discovery aggregation and organization of subject area discussions |
| CN102801955A (zh) * | 2011-08-17 | 2012-11-28 | 南京金柏图像技术有限公司 | 一种基于局部高清的数字视频传输方法 |
| CN102595135B (zh) * | 2012-02-24 | 2013-03-27 | 中国科学技术大学 | 一种可伸缩视频编码的方法及装置 |
| CN103716633A (zh) * | 2012-09-30 | 2014-04-09 | 华为技术有限公司 | 一种分层码流的处理方法，装置及分层码流的编码器 |
| CN103002289B (zh) * | 2013-01-08 | 2015-06-17 | 中国电子科技集团公司第三十八研究所 | 面向监控应用的视频恒定质量编码装置及其编码方法 |
| CN104284158B (zh) * | 2014-10-23 | 2018-09-14 | 南京信必达智能技术有限公司 | 应用于面向事件的智能监控相机的方法 |
| CN106060554A (zh) * | 2016-07-26 | 2016-10-26 | 公安部第研究所 | 基于感兴趣区域的空间可分级编码装置及其方法 |
| CN106060553A (zh) * | 2016-07-26 | 2016-10-26 | 公安部第研究所 | 基于感兴趣区域的时域可分级编码装置及其方法 |
| US10771791B2 (en) * | 2016-08-08 | 2020-09-08 | Mediatek Inc. | View-independent decoding for omnidirectional video |
| US20180176468A1 (en) * | 2016-12-19 | 2018-06-21 | Qualcomm Incorporated | Preferred rendering of signalled regions-of-interest or viewports in virtual reality video |
| CN108668130A (zh) * | 2017-03-31 | 2018-10-16 | 晨星半导体股份有限公司 | 重组影像文件的方法 |
| CN107909093B (zh) * | 2017-10-27 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种物品检测的方法及设备 |
| CN109120939B (zh) * | 2018-07-16 | 2021-04-06 | 北京奇艺世纪科技有限公司 | 一种视频App解码方法及装置 |
| EP3985974B1 (en) * | 2020-10-13 | 2023-05-10 | Axis AB | An image processing device, a camera and a method for encoding a sequence of video images |
| WO2022151053A1 (zh) * | 2021-01-13 | 2022-07-21 | 深圳市大疆创新科技有限公司 | 数据处理方法、装置及系统、计算机存储介质 |
-
2007
- 2007-09-07 CN CN 200710053159 patent/CN101383962B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101383962A (zh) | 2009-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101383962B (zh) | 基于感兴趣区域的低码率空域增强层编解码方法 | |
| CN101282479B (zh) | 基于感兴趣区域的空域分辨率可调整编解码方法 | |
| CN102065295B (zh) | 对表示图像或图像序列的数据流进行解码的方法和设备 | |
| JP4833296B2 (ja) | 多階層を基盤としたスケーラブルビデオコーディング方法および装置 | |
| KR100896279B1 (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
| CN105472392B (zh) | 基于渐进式文字块压缩的屏幕视频编解码方法及编解码器 | |
| CN101366283B (zh) | 具有精细粒度空间可缩放性的视频编码 | |
| CN101982977B (zh) | 用于与时域边界进行数据对准的方法和装置 | |
| JP5676637B2 (ja) | 符号化ビットストリームのマージ | |
| KR100888962B1 (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| CN101707701B (zh) | 多流信息传输系统及其传输方法 | |
| CN103313051B (zh) | 视频解码方法及其系统 | |
| KR100725407B1 (ko) | 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치 | |
| CN102595135B (zh) | 一种可伸缩视频编码的方法及装置 | |
| CN101313592B (zh) | 用于与时域边界进行数据对准的方法和装置 | |
| CN101742324A (zh) | 视频编解码方法、视频编解码系统及编解码器 | |
| KR20060006328A (ko) | 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치 | |
| CN101185343A (zh) | 提供和使用关于视频信号的层间预测的信息的方法 | |
| CN102006483B (zh) | 一种视频编解码方法及装置 | |
| CN101146229B (zh) | 一种svc视频fgs优先级调度方法 | |
| Sun et al. | The improved SP frame coding technique for the JVT standard | |
| CN110087100A (zh) | 画面块的编码和解码方法、对应的设备和数据流 | |
| CN101841704B (zh) | 视频码流压缩及解压缩的方法和装置 | |
| Wang et al. | Spatial-frequency HEVC multiple description video coding with adaptive perceptual redundancy allocation | |
| Hsu et al. | A new seamless bitstream switching scheme for H. 264 video adaptation with enhanced coding performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101201 Termination date: 20160907 |