CN101547365B - 保证特定区域显示质量的视频编码的方法和装置 - Google Patents
保证特定区域显示质量的视频编码的方法和装置 Download PDFInfo
- Publication number
- CN101547365B CN101547365B CN 200910083722 CN200910083722A CN101547365B CN 101547365 B CN101547365 B CN 101547365B CN 200910083722 CN200910083722 CN 200910083722 CN 200910083722 A CN200910083722 A CN 200910083722A CN 101547365 B CN101547365 B CN 101547365B
- Authority
- CN
- China
- Prior art keywords
- image
- coding
- different types
- area
- quantization coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000013139 quantization Methods 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种保证特定区域显示质量的视频编码的方法和装置,该方法包括:数字监控系统对接收到的数字视频划分为不同类型的图像区域,并对不同类型的图像区域设置不同的权重系数,同时根据不同类型的图像区域设置的权重系数分别为不同类型的图像区域分配所需的带宽;数字监控系统的编码器以分配的带宽为准,为对应类型的图像区域进行编码输出。本发明解决了编码带宽条件有限的情况下,特定区域的内容无法显示或显示图像的质量不高的问题。
Description
技术领域
本发明涉及数字视频领域,具体地说,本发明涉及一种保证特定区域显示质量的视频编码的方法和装置。
背景技术
当前,数字视频蓬勃发展,由于数字视频具有易于传输、保存的优点,因此,国内外的模拟监控系统逐渐被具有数字视频的数字监控系统所取代。
目前普遍应用于数字监控系统中的视频处理技术主要是视频数据的压缩、传输和存储。由于视频编码的传输带宽往往是很有限的,而现有技术中的视频编码技术普遍采用常规的码率分配方法,即对于视频的编码后的内容采取平均分配的策略,由于采用这种码率分配方法应用在现有的数字监控系统中,存在着很大的局限性;因为数字监控系统中的视频监控的特殊性,我们的关注点往往在一些特定区域,即客户感兴趣的事件。当这种我们感兴趣的事件发生时,就需要数字监控系统中的编码器重点保留它们的图像信息。如果只是按照现有技术中的常规码率分配方法在编码带宽条件受限的情况下,可能造成这些特定区域的图像质量下降,这就很大程度上影响了视频监控的效果。
发明内容
本发明所要解决的技术问题是提供一种保证特定区域显示质量的视频编码的方法和装置,以解决在编码带宽条件有限的情况下,特定区域的内容无法显示或显示图像的质量不高的问题。
为解决上述技术问题,本发明提供了一种保证特定区域显示质量的视频编码的方法,包括以下步骤:
(1)对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数,同时根据不同类型的图像区域设置的所述权重系数分别为不同类型的图像区域分配所需的带宽;
(2)以分配的带宽为准,为对应类型的图像区域进行编码输出。
本发明所述的方法,其中,所述方法进一步为:
所述步骤(1)进一步还包括对不同类型的图像区域分别设置编码质量最低阈值和量化系数最高阈值;
所述步骤(2)中为对应类型的图像区域进行编码包括:
对不同类型的图像区域,首先计算出的编码时所用的量化系数,如果该量化系数大于该图像区域的量化系数最高阈值,则调整该量化系数至量化系数最高阈值,否则无需调整该量化系数,以判断后确定的量化系数进行编码;
编码完成后,统计该图像区域的编码质量,并与设置的该图像区域的编码质量最低阈值比较,如果该图像区域的编码质量小于该编码质量最低阈值,则输出编码完成后的该图像区域,并提高该图像区域的权重系数一个或几个单位值,然后根据修改后的权重系数重新分配的该图像区域所需的带宽,根据重新分配的带宽对下一个该类型的图像区域进行编码,重新执行步骤(2);否则直接输出编码完成后的该图像区域。
其中,所述步骤(1)中对接收到的数字视频划分为不同类型的图像区域是利用图像识别分割技术。
其中,所述图像区域包括:最重要的信息区域、运动敏感区域和背景区域;其中,所述最重要的信息区域为包括:人脸、肢体和车牌信息的区域。
其中,所述步骤(2)为对应的图像区域进行编码是根据常规的码率分配算法进行的。
为解决上述技术问题,本发明还提供了一种保证特定区域显示质量的视频编码的装置,应用于支持数字视频的数字监控系统中,包括:接收划分模块、分配带宽模块和编码器;其中,
所述接收划分模块,用于对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数;
所述分配带宽模块,用于根据所述接收划分模块得到的不同类型的图像区域设置的所述权重系数,分别为不同类型的图像区域分配所需的带宽,并将分配的带宽发送给所述编码器;
所述编码器,用于以所述分配带宽模块分配的带宽为准,为对应类型的图像区域进行编码输出。
本发明所述的装置,其中,所述装置进一步还包括:
设置阈值模块,用于对所述接收划分模块划分的不同类型的图像区域分别设置编码质量最低阈值和量化系数最高阈值。
其中,所述编码器,进一步用于以所述分配带宽模块分配的带宽为准,对不同类型的图像区域,首先根据常规的码率分配算法计算出的编码时所用的量化系数,如果该量化系数大于该图像区域的量化系数最高阈值,则调整该量化系数至量化系数最高阈值,否则无需调整量化系数,以判断后确定的量化系数进行编码;编码完成后,统计该图像区域的编码质量,并与所述设置阈值模块设置的该图像区域的编码质量最低阈值比较,如果该图像区域的编码质量小于编码质量最低阈值,则输出编码完成后的该图像区域,并提高该类型的图像区域的权重系数一个或几个单位值,然后将该类型的图像区域修改后的权重系数发送给所述分配带宽模块;否则直接输出编码完成后的该图像区域;
所述分配带宽模块,进一步还用于根据所述编码器发送的该类型的图像区域修改后的权重系数重新分配所需的带宽,并将重新分配的带宽发送给所述编码器。
其中,所述接收划分模块,进一步用于利用图像识别分割技术对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数。
其中,所述图像区域包括:最重要的信息区域、运动敏感区域和背景区域;其中,所述最重要的信息区域为包括:人脸、肢体和车牌信息的区域。
与现有技术相比,本发明是在对传送的视频数据进行编码时,当编码带宽条件有限的情况下,能够根据用户预设的不同级别的图像区域识别出该视频数据中相应的图像区域,并根据设置的不同级别的图像区域的权重系数对不同级别的图像区域进行不同的编码,从而最大程度的保证特定区域的图像质量,便于数字监控系统回放时的取证。
附图说明
图1为本发明实施例所述的方法流程图;
图2为本发明一个具体应用实施例的方法流程图;
图3为本发明实施例所述的装置结构图。
具体实施方式
本发明的主要思想是在对传送的视频数据进行编码时,当编码带宽条件有限的情况下,能够根据用户预设的不同级别的图像区域识别出该视频数据中相应的图像区域,并根据设置的不同级别的图像区域的权重系数对不同级别的图像区域进行不同的编码,从而最大程度的保证特定区域的图像质量,便于数字监控系统回放时的取证。以下对具体实施方式进行详细描述,但不作为对本发明的限定。
如图1所示,为本发明实施例所述的方法,包括以下步骤:
步骤101,对接收到的数字视频划分为不同类型的图像区域,并对不同类型的图像区域设置不同的权重系数αi(i=0,1...),同时根据不同类型的图像区域设置的权重系数分别为不同类型的图像区域分配所需的带宽
其中,对接收到的数字视频划分为不同类型的图像区域是利用图像识别分割技术。
步骤102,以分配的带宽Bi为准,为对应类型的图像区域进行编码输出。
其中,所述为对应类型的图像区域进行编码输出,是根据常规的码率分配算法进行的。
另外,步骤101中还可以包括步骤:对不同类型的图像区域分别设置编码质量最低阈值β和量化系数最高阈值QPmax。
其中,编码质量最低阈值β用于为数字监控系统对图像中各个区域的编码质量做参考,使该图像区域的编码质量不小于设置的该编码质量最低阈值β,只有这样才能保证编码后的图像质量很高;
其中,量化系数最高阈值QPmax用于为数字监控系统对图像区域中编码时所用的量化系数做参考,使该图像区域中的每一个宏块(编码的最小单位)的量化系数不大于设置的该量化系数最高阈值QPmax,只有这样才能保证编码后的图像质量很高,即QP值越小,编码的图像质量越高。
另外,对应的步骤102中为对应类型的图像区域进行编码输出,进一步包括:
步骤1021,对不同类型的图像区域,首先根据常规的码率分配算法计算出的编码时所用的QP,如果该QP大于设置的该图像区域的量化系数最高阈值QPmax,则调整该QP至QPmax,否则无需调整QP,编码器以判断后确定的QP进行编码;
编码完成后,统计该图像区域的编码质量,并与设置的该图像区域的编码质量最低阈值β比较,如果该图像区域的编码质量小于该编码质量最低阈值β,则数字监控系统输出编码完成后的该图像区域,执行步骤1022;否则数字监控系统直接输出编码完成后的该图像区域;
步骤1022,提高该类型的图像区域的权重系数一个或几个单位值,并根据修改后的权重系数重新分配的该类型的图像区域所需的带宽Bi,根据重新分配的带宽Bi对下一个该类型的图像区域进行编码,重新执行步骤1021。
如图2所示,为采用本发明所述方法的应用实施例,具体包括步骤:
步骤201,利用图像识别分割技术对接收到的数字视频划分为最重要的信息区域、运动敏感区域和背景区域,并对这些图像区域设置不同的权重系数。
比如:最重要的信息区域的权重系数为4、运动敏感区域的权重系数为2、背景区域的权重系数为1。
其中,最重要的信息区域为包括人脸、肢体和车牌等信息的区域。
步骤202,对不同的图像区域分别设置编码质量最低阈值β和量化系数最高阈值QPmax。
其中,最重要的信息区域、运动敏感区域和背景区域的等级是由高到低,即最重要的信息区域为最高级别的区域,运动敏感区域为次一级的区域,背景区域为最低级别的区域;
相对来说,最重要的信息区域的编码质量最低阈值β要高于运动敏感区域的编码质量最低阈值β,运动敏感区域的编码质量最低阈值β高于背景区域的编码质量最低阈值β,即最重要的信息区域的编码质量最低阈值β>运动敏感区域的编码质量最低阈值β>背景区域的编码质量最低阈值β;
而最重要的信息区域的量化系数最高阈值QPmax<运动敏感区域的量化系数最高阈值QPmax<背景区域的量化系数最高阈值QPmax。
步骤203,根据不同类型的图像区域设置的权重系数分别为不同类型的图像区域分配所需的带宽Bi。
步骤204,以分配的带宽Bi为准,为对应类型的图像区域进行编码,对不同类型的图像区域,首先根据常规的码率分配算法计算出的编码时所用的QP,如果该QP大于设置的该图像区域的量化系数最高阈值QPmax,则调整该QP至QPmax,否则无需调整QP,以判断后确定的QP进行编码,编码完成后,统计该图像区域的编码质量,并与设置的该图像区域的编码质量最低阈值β比较,如果该图像区域的编码质量小于编码质量最低阈值β,则输出编码完成后的该图像区域,执行步骤205;否则直接输出编码完成后的该图像区域;
步骤205,提高该类型的图像区域的权重系数一个或几个单位值,并根据修改后的权重系数重新分配的该类型的图像区域所需的带宽Bi,根据重新分配的带宽对下一个该类型的图像区域进行编码,重新执行步骤204。
如图3所示,为本发明实施例所述的装置,应用于支持数字视频的数字监控系统中,包括:接收划分模块301、设置阈值模块302、分配带宽模块303和编码器304;其中,
接收划分模块301,用于接收数字视频,并对该数字视频划分为不同类型的图像区域,并对不同类型的图像区域设置不同的权重系数;以及接收编码器304的指示提高不同类型的图像区域的权重系数一个或几个单位值,并指示分配带宽模块303对该图像区域根据新的权重系数分配所需的带宽。
其中,接收划分模块301用于接收到的数字视频,并对该数字视频划分为不同类型的图像区域,并对不同类型的图像区域设置不同的权重系数,进一步为:
接收划分模块301,用于接收到的数字视频,并利用图像识别分割技术对该数字视频划分为不同类型的图像区域,并对不同类型的图像区域设置不同的权重系数。
设置阈值模块302,用于对接收划分模块301划分的不同类型的图像区域,分别对不同类型的图像区域设置不同的编码质量最低阈值β和量化系数最高阈值QPmax。
其中,编码质量最低阈值β用于为编码器304对图像的每个区域的编码质量做参考,使该图像各个区域的编码质量不小于设置的该图像区域的编码质量最低阈值β,这样才能保证编码后的图像质量很高;
其中,量化系数最高阈值QPmax用于为编码器304对图像区域中的每个宏块在编码时使用的量化系数做参考,使该图像区域中的每一个宏块的量化系数不大于设置的该量化系数最高阈值QPmax,这样才能保证编码后的图像质量很高,即QP值越小,编码的图像质量越高。
分配带宽模块303,用于根据接收划分模块301得到的不同类型的图像区域所设置的权重系数,分别为不同类型的图像区域分配所需的带宽,并将分配的带宽发送给编码器304;还用于根据编码器304发送的该类型的图像区域修改后的权重系数重新分配所需的带宽,并将重新分配的带宽发送给编码器304。
编码器304,用于以分配带宽模块303分配的带宽Bi为准,对不同类型的图像区域,首先根据常规的码率分配算法计算出的编码时所用的QP,如果该QP大于设置阈值模块302中设置的该图像区域的量化系数最高阈值QPmax,则调整该QP至QPmax,否则无需调整QP,以判断后确定的QP进行编码,编码完成后,统计该图像区域的编码质量,并与设置阈值模块302中设置的该图像区域的编码质量最低阈值β,如果该图像区域的编码质量小于该编码质量最低阈值β,则输出编码完成后的该图像区域,并提高该类型的图像区域的权重系数一个或几个单位值,然后将该类型的图像区域修改后的权重系数发送给分配带宽模块303;否则直接输出编码完成后的该图像区域。
与现有技术相比,本发明是在对传送的视频数据进行编码时,当编码带宽条件有限的情况下,能够根据用户预设的不同级别的图像区域识别出该视频数据中相应的图像区域,并根据设置的不同级别的图像区域的权重系数对不同级别的图像区域进行不同的编码,从而最大程度的保证特定区域的图像质量,便于数字监控系统回放时的取证。这样就避免了在一些突发场景下,由于编码带宽条件的限制,该视频数据中的特定区域图像质量大幅下降的问题。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种保证特定区域显示质量的视频编码的方法,其特征在于,包括以下步骤:
(1)对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数,同时根据不同类型的图像区域设置的所述权重系数分别为不同类型的图像区域分配所需的带宽,对不同类型的图像区域分别设置编码质量最低阈值和量化系数最高阈值;
(2)以分配的带宽为准,对不同类型的图像区域,首先计算出的编码时所用的量化系数,如果该量化系数大于该图像区域的量化系数最高阈值,则调整该量化系数至量化系数最高阈值,否则无需调整该量化系数,以判断后确定的量化系数进行编码;
编码完成后,统计该图像区域的编码质量,并与设置的该图像区域的编码质量最低阈值比较,如果该图像区域的编码质量小于该编码质量最低阈值,则输出编码完成后的该图像区域,并提高该图像区域的权重系数一个或几个单位值,然后根据修改后的权重系数重新分配的该图像区域所需的带宽,根据重新分配的带宽对下一个该类型的图像区域进行编码,重新执行步骤(2);否则直接输出编码完成后的该图像区域。
2.如权利要求1所述的方法,其特征在于,所述步骤(1)中对接收到的数字视频划分为不同类型的图像区域是利用图像识别分割技术。
3.如权利要求2所述的方法,其特征在于,所述图像区域包括:最重要的信息区域、运动敏感区域和背景区域;其中,所述最重要的信息区域为包括:人脸、肢体和车牌信息的区域。
4.如权利要求1所述的方法,其特征在于,所述步骤(2)为对应的图像区域进行编码是根据常规的码率分配算法进行的。
5.一种保证特定区域显示质量的视频编码的装置,应用于支持数字视频的数字监控系统中,其特征在于,包括:接收划分模块、分配带宽模块、编码器和设置阈值模块;其中,
所述接收划分模块,用于对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数;
所述分配带宽模块,用于根据所述接收划分模块得到的不同类型的图像区域设置的所述权重系数,分别为不同类型的图像区域分配所需的带宽,并将分配的带宽发送给所述编码器;还用于根据所述编码器发送的该类型的图像区域修改后的权重系数重新分配所需的带宽,并将重新分配的带宽发送给所述编码器;
所述编码器,进一步用于以所述分配带宽模块分配的带宽为准,对不同类型的图像区域,首先根据常规的码率分配算法计算出的编码时所用的量化系数,如果该量化系数大于该图像区域的量化系数最高阈值,则调整该量化系数至量化系数最高阈值,否则无需调整量化系数,以判断后确定的量化系数进行编码;编码完成后,统计该图像区域的编码质量,并与所述设置阈值模块设置的该图像区域的编码质量最低阈值比较,如果该图像区域的编码质量小于编码质量最低阈值,则输出编码完成后的该图像区域,并提高该类型的图像区域的权重系数一个或几个单位值,然后将该类型的图像区域修改后的权重系数发送给所述分配带宽模块;否则直接输出编码完成后的该图像区域;
所述设置阈值模块,用于对所述接收划分模块划分的不同类型的图像区域分别设置编码质量最低阈值和量化系数最高阈值。
6.如权利要求5所述的装置,其特征在于,所述接收划分模块,进一步用于利用图像识别分割技术对接收到的数字视频划分为不同类型的图像区域,并对不同类型的所述图像区域设置不同的权重系数。
7.如权利要求6所述的装置,其特征在于,所述图像区域包括:最重要的信息区域、运动敏感区域和背景区域;其中,所述最重要的信息区域为包括:人脸、肢体和车牌信息的区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910083722 CN101547365B (zh) | 2009-05-08 | 2009-05-08 | 保证特定区域显示质量的视频编码的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910083722 CN101547365B (zh) | 2009-05-08 | 2009-05-08 | 保证特定区域显示质量的视频编码的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101547365A CN101547365A (zh) | 2009-09-30 |
CN101547365B true CN101547365B (zh) | 2011-07-20 |
Family
ID=41194191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910083722 Expired - Fee Related CN101547365B (zh) | 2009-05-08 | 2009-05-08 | 保证特定区域显示质量的视频编码的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101547365B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014000238A1 (zh) * | 2012-06-28 | 2014-01-03 | 宇龙计算机通信科技(深圳)有限公司 | 终端和视频图像压缩方法 |
CN103067703A (zh) * | 2012-12-11 | 2013-04-24 | 渭南高新区晨星专利技术咨询有限公司 | 减小传输带宽的网络视频通信系统和方法 |
CN103929640B (zh) * | 2013-01-15 | 2018-03-06 | 英特尔公司 | 用于管理视频流播的技术 |
US10743000B2 (en) * | 2016-07-01 | 2020-08-11 | Sk Telecom Co., Ltd. | Video bitstream generation method and device for high-resolution video streaming |
CN106791696B (zh) * | 2017-01-13 | 2019-11-08 | 中国科学院大学 | 无线视频监控系统及其图像传输方法和装置 |
CN109587495A (zh) * | 2018-11-05 | 2019-04-05 | 深圳威尔视觉传媒有限公司 | 视频编码方法、装置、设备及存储介质 |
CN110636327B (zh) * | 2019-10-28 | 2022-02-01 | 成都超有爱科技有限公司 | 一种视频缓存方法、装置、电子设备及存储介质 |
CN110856019B (zh) * | 2019-11-20 | 2021-11-12 | 广州酷狗计算机科技有限公司 | 码率分配的方法、装置、终端及存储介质 |
CN110784745B (zh) * | 2019-11-26 | 2021-12-07 | 科大讯飞股份有限公司 | 一种视频传输方法、装置、系统、设备及存储介质 |
CN111654660B (zh) * | 2020-06-08 | 2021-03-23 | 上海纽菲斯信息科技有限公司 | 一种基于图像分割的视频会议系统编码传输方法 |
CN113824996A (zh) * | 2021-09-26 | 2021-12-21 | 深圳市商汤科技有限公司 | 信息处理方法及装置、电子设备和存储介质 |
-
2009
- 2009-05-08 CN CN 200910083722 patent/CN101547365B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101547365A (zh) | 2009-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101547365B (zh) | 保证特定区域显示质量的视频编码的方法和装置 | |
KR101194518B1 (ko) | 양자화 단계를 국부적으로 조정하기 위한 방법 | |
CN1726709B (zh) | 用于对未压缩数字视频序列的图像进行编码的方法和装置 | |
CN101185337B (zh) | 具有预见的准恒定质量速率控制 | |
CN110662044B (zh) | 一种视频编码方法、视频编码装置及计算机存储介质 | |
CN108235016B (zh) | 一种码率控制方法及装置 | |
CN101547349B (zh) | 一种对视频信号的二次avs编码码率控制的方法 | |
CN101552917B (zh) | 一种视频压缩码率控制方法 | |
CN1110962C (zh) | 用于视频信号编码系统的自适应量化器 | |
CN101795415B (zh) | 一种视频编码中的码率控制方法及其装置 | |
CN108200431B (zh) | 一种视频编码码率控制帧层比特分配方法 | |
EP4236317A2 (en) | Adaptive bit rate ratio control | |
US10205943B2 (en) | Bitrate distribution | |
CN107222748A (zh) | 图像数据码率的处理方法和装置 | |
CN101977313A (zh) | 视频信号编码装置和方法 | |
CN102724502A (zh) | 一种视频编码中码率的控制方法及装置 | |
KR101238487B1 (ko) | 양자화 단계를 국부적으로 조정하기 위한 방법 | |
CN1266335A (zh) | 用在多路复用系统中调节比特率的装置和方法 | |
CN100448295C (zh) | 一种低复杂度的积分码率控制方法 | |
CN100414997C (zh) | 一种视频数据压缩的量化方法 | |
CN108737826B (zh) | 一种视频编码的方法和装置 | |
EP3827588A1 (en) | Spatial layer rate allocation | |
CN102595142B (zh) | 一种电网全息数字地图视频编码方法及系统 | |
CN101977309B (zh) | 码率控制方法及装置 | |
CN103517067B (zh) | 一种初始量化参数自适应调整方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110720 Termination date: 20210508 |
|
CF01 | Termination of patent right due to non-payment of annual fee |