CN105979262B - 一种hevc基于时间相关性和帧内预测方向的sao优化方法 - Google Patents

一种hevc基于时间相关性和帧内预测方向的sao优化方法 Download PDF

Info

Publication number
CN105979262B
CN105979262B CN201610298041.2A CN201610298041A CN105979262B CN 105979262 B CN105979262 B CN 105979262B CN 201610298041 A CN201610298041 A CN 201610298041A CN 105979262 B CN105979262 B CN 105979262B
Authority
CN
China
Prior art keywords
mode
lcu
frame
sao
excludes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610298041.2A
Other languages
English (en)
Other versions
CN105979262A (zh
Inventor
宋锐
孙力
贾媛
李云松
王养利
赵园伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201610298041.2A priority Critical patent/CN105979262B/zh
Publication of CN105979262A publication Critical patent/CN105979262A/zh
Application granted granted Critical
Publication of CN105979262B publication Critical patent/CN105979262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，其包括以下步骤：1、根据一帧经过去块滤波的图像，按分辨率尺寸大小分成若干个64×64的LCU；2、对划分的图像按LCU块进行处理，获取前一帧对应LCU块的模式；3根据对应关系，排除掉当前帧该LCU的一种EO模式，或者不排除；4、获取该LCU块的帧内预测方向，对其进行分类对应；5、根据对应的帧内预测方向排除一种或者两种的EO模式；6、对剩余的三种模式进行标准SAO处理。本发明的有益效果在于：本发明在不降低或者小幅降低编码性能的前提下，大量节省了编码时间，降低了编码复杂度，利于实时编码处理的实现，也减少了硬件上的开销成本。

Description

一种HEVC基于时间相关性和帧内预测方向的SAO优化方法
技术领域
本发明涉及视频压缩编码技术领域，具体涉及一种在不改变视频图像质量的前提下，可大幅减少SAO编码时间、便于实现HEVC实时编码的HEVC基于时间相关性和帧内预测方向的SAO优化方法。
背景技术
视频是一种形象、具体、有效的信息传递媒体。在视频的采集过程中，原始未经压缩过的视频含有大量的冗余信息，是一个非常庞大的数据量。以我们经常在网上看到的1080p高清视频为例，通常两个小时的电影大小不会超过10G。假设帧率为30fps，那么一段两个小时未经压缩的原画视频数据量可达1920×1080×8bit×3×30fps×7200s＝1343.69GB，以目前的网络很难快速传输如此大的数据，所以我们平时看到的视频一定都是经过压缩编码的视频。
综上所述，视频压缩是一项非常有必要的工作。
HEVC/H.265(High Efficiency Video Coding高效视频编码)是JCT-VC最新一代的视频压缩和编码标准。相比上一代视频编码标准H.264/AVC有了近50％的性能提升。尤其是在8K/4K、1080p等高清视频中有着突出的表现力。HEVC的编码构架与H.264大体相同，分为帧内帧间预测，量化，变换，熵编码，环路滤波等部分。对于自适应样点补偿(SAO)，是HEVC新引入的一项技术，用于处理视频中图像边缘的振铃效应，提高视频质量。图1为没有经过SAO处理的图像，图2是SAO处理过的图像，从视觉上明显可以看出质量得到改善。
SAO在HEVC的标准测试模型HM16.0中共分为三个步骤：(1)样点统计。将一帧图像分为若干个64×64的编码块，进行z扫描。对于统计当前块样点信息，根据每个像素的参考相邻像素位置方向不同分为4种边界补偿模式，即EO_0°、EO_90°、EO_135°、EO_45°。再根据每个像素值的大小(取值0-255)划分成32个条带，每次选取4个条带进行统计，即边带补偿BO。在这五种模式下进行样点统计，得到每个模式下的统计数据信息。样点统计是SAO中计算量最大的一部分，占总计算时间达85％左右。(2)模式选择。步骤(1)中得到了每种模式下的统计数据，并且考虑上块参数融合和左块参数融合或者不融合三种已知统计数据的模式，根据率失真公式ΔJ＝ΔD+λR，得到每种模式下的率失真代价，比较每种率失真代价选择最优的补偿模式。(3)样点补偿。选取步骤(2)的最优模式，使用步骤(1)中的补偿值对每个像素点进行补偿工作。
以上SAO步骤很好的解决了图像亮度或者色度边缘的振铃效应，并且不会改变图像原本的细节特征。但是也有本身的一些不足：(1)穷举计算了8种模式下的样点数据统计信息，使得编码过程有大量的冗余信息，这样导致浪费了大量编码时间。(2)导致编码后文件写入过多无用的比特码流，降低了压缩效率。(3)不利于实时编码的实现。(4)编码过程过于复杂，对硬件要求较高等。
发明内容
本发明针对上述现有技术的不足，提供了一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，其减少了SAO编码模式选择，提供了一种在不改变或者小幅降低编码效果的前提下大量节约SAO编码时间的算法，本算法基于相邻帧之间的时间相关性和帧内预测模块的方向，进行SAO的模式选择。可以快速排除掉两种效果较差的SAO边界补偿模式，在这两种模式下不进行后续相关运算，将五种模式减少为三种，达到了有效节约编码时间的效果。
为解决现有技术中存在的问题，本发明采用的具体技术方案是：
一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，基于时间相关性和帧内预测方向，减少编码模式选择来达到减少编码时间的效果。考虑到相邻两帧之间的时间相关性，在计算当前帧模式选择时可以排除掉与前一帧对应块最无关的一个EO方向，即正交的方向。基于帧内方向的排除方式同理。其所述方法包括以下步骤：
S1、获取一帧经过去块滤波的图像，按分辨率尺寸大小分成若干个64×64的LCU(最大编码单元)；
S2、读取前一帧对应当前LCU块的模式，分别为EO_0°、EO_90°、EO_135°、EO_45°、BO；
S3、根据表格1的对应关系，排除掉当前帧该LCU的一种EO模式，如果前一帧对应LCU为BO模式，则不进行任何操作；
前一帧模式 当前帧操作
EO_0° 排除EO_90°
EO_90° 排除EO_0°
EO_135° 排除EO_45°
EO_45° 排除EO_135°
BO 无
表格1
S4、读取当前LCU帧内预测方向，记为P1。一共33个帧内方向，分别取值为2-34；
S5、将33个帧内方向进行分类，分别对应到4个SAO边界补偿EO的操作。考虑到步骤3中可能已经排除掉一种EO模式，本步骤中要求继续排除掉一种EO模式；如果步骤3中未排除EO模式，则本步骤排除掉两种EO模式。排除方式如表格2所示。举例说明，如果当前块帧内预测方向为方向5，且步骤3排除一种EO模式但未排除EO_135°，则本步排除EO_135°；若步骤2已经排除掉EO_135°，则本步排除EO_90°；若步骤3未操作，则本步骤排除EO_90°和EO_135°；
帧内模式 SAO操作
2,3,4,5,6,7,33,34 优先排除EO_135°，其次排除EO_90°
8,9,10,11,12,13,14,15 优先排除EO_90°，其次排除EO_45°
16,17,18,19,20,21,22,23 优先排除EO_45°，其次排除EO_0°
24,25,26,27,28,29,30,31,32 优先排除EO_0°，其次排除EO_135°
表格2
S6、对剩下的两种EO模式和BO进行SAO处理，操作方式与HEVC标准编码模型HM相同，即分别计算三种模式下的率失真代价，选择最优的SAO模式，再进行像素值补偿。
优选的方案，步骤S2读取的是相邻前一帧的对应LCU的SAO模式，直接将其运用到当前帧的SAO优化算法中来。
进一步优选的方案，步骤S3所述的排除方法为排除与前一帧EO方向垂直方向的LCU的一种模式。
更进一步优选的方案，步骤S3中，当前一帧对应LCU模式为BO时，步骤S3不执行任何操作。
当前一帧对应LCU模式为BO时，则步骤S5需排除掉当前帧该LCU的优先排除和其次排除的两种模式。
步骤S4所述的帧内预测方向由本LCU中帧内预测像素最多的方向决定。这是由于帧内预测的CU块大小可以从8×8到64×64，并非都是64×64，所以选取该LCU下像素帧内预测最多的方向作为S3中使用的方向。
其中，步骤S1中的LCU指最大的编码块CU，尺寸为64×64，即不进行分块的CTU。
所述S6步骤减少了两种SAO的EO模式，后面这两种模式下的样点统计，率失真代价都无需计算了，只计算剩余的3种模式，理论上能节约40％左右编码时间，并且不会大幅度改变SAO编码效果。
通过采用以上技术方案，本发明一种HEVC基于时间相关性和帧内预测方向的SAO优化方法与现有技术对比，其技术效果在于：
1、相比HEVC标准测试模型HM中的SAO处理，在不改变或者小幅降低性能的前提下，节省了大量的编码时间，节省时间达40％左右。本算法结合帧内编码的方向，获取图像纹理方向，并且考虑到帧与帧之间的时间相关性，进一步减少SAO编码的冗余，大幅降低编码复杂度，且不影响SAO编码效果。
2、相比H.264/AVC，SAO可以很大程度上消除振铃效应，减少了BD-rate，达到了更好的视觉效果，使编码有更好的表现力。
3、相比其他学者提出的算法，本算法减少编码时间非常稳定，且衡量编码性能的指标BD-rate和BD-PSNR只有小幅降低。经过测试HEVC标准序列分类A,B,C,D,E，每个序列减少的编码时间都稳定在40％左右。这样可以很好预测节省的SAO编码时间。
附图说明
图1为视频中截取的未经过SAO处理的图像。
图2为视频中截取经过SAO处理的图像。
图3为33种帧内预测方向。
图4为改进的SAO算法计算过程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，结合附图和实施例对本发明进行作进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
发明人对本发明的综合性能进行了试验，实验结果如下表格3所示：
表格3
从表格3中可以看出，本平均算法减少编码时间38.7％，与预计的减少时间相当。BD-rate增加0.0399，BD-PSNR下降0.0021，也在一个合理的变化范围内。
如图4所示，对于重建且经过去块滤波后的一帧图像，使用本发明的方法对其进行处理，以试验中的classC的视频为例，尺寸为832×480，其具体步骤如下：
步骤1：将重建后和原始未编码的帧传入SAO模块，按图像尺寸大小分成104个64×64的LCU，水平方向13个，竖直方向8个，以LCU为单位进行SAO编码运算，不同LCU之间进行z扫描。
步骤2：对于当前LCU，读取前一帧对应位置LCU的SAO模式，即5种模式EO_0°，EO_90°，EO_135°，EO_45°，BO之一，根据如下表格1的对应关系，排除掉当前的一种相关程度最低的EO。例如：前一帧对应LCU模式为EO_90°，对当前LCU的处理方式为排除掉EO_0°，即正交的方向。
前一帧模式 当前帧操作
EO_0° 排除EO_90°
EO_90° 排除EO_0°
EO_135° 排除EO_45°
EO_45° 排除EO_135°
BO 无
表格1
步骤3：将该LCU帧内预测方向传入SAO模块，结合帧内预测的分块信息和每个CU的帧内预测方向决定SAO的LCU方向，选择像素点包含最多的方向为该LCU帧内预测方向，随后对应如下的表格2，执行排除EO的模式操作。如果步骤2已经排除掉表格2中优先排除的EO模式，那么排除第二种EO模式；如果步骤2未排除表格2中优先排除的模式，排除了另一种EO模式，则排除掉优先排除模式：如果步骤2未操作，则排除掉两种模式。例如:统计出来LCU帧内预测方向为28，对应表格2，优先排除EO_0°，其次排除EO_135°，如果步骤2中前一帧为BO模式，则该步骤中排除掉上述两种EO模式。
帧内模式 SAO操作
2,3,4,5,6,7,33,34 优先排除EO_135°，其次排除EO_90°
8,9,10,11,12,13,14,15 优先排除EO_90°，其次排除EO_45°
16,17,18,19,20,21,22,23 优先排除EO_45°，其次排除EO_0°
24,25,26,27,28,29,30,31,32 优先排除EO_0°，其次排除EO_135°
表格2
步骤4：目前还有3种SAO模式：两种EO，一种BO模式，在当前LCU对这三种模式求样点统计。首先统计原始像素和重构像素(SAO之前)的差值之和E，其中s(x,y)是原始像素，u(x,y)是重构像素，C是求和像素区域
然后计算补偿值m，其中n是像素数量
m'＝E/n
再得原始像素和SAO重构之后的像素差值ΔD
最后由率失真代价公式得到率失真代价ΔJ
ΔJ＝ΔD+λR
步骤5：由步骤4得到三种模式下的率失真代价ΔJ,比较后得出最优率失真代价，由最优率失真代价决定一种最优SAO补偿模式，下一步选择该模式进行补偿运算。
步骤6：由步骤5得到最优补偿模式，在该模式下对当前LCU每个像素进行补偿运算。步骤4中得到了补偿值m，对每个像素与补偿值m相加，即得到补偿之后的LCU重构，至此，完成该LCU的SAO运算。
步骤7：对当前帧进行z扫描，对下一个LCU进行改进的SAO编码。
依据以上步骤最终得到图像的SAO优化编码。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种HEVC基于时间相关性和帧内预测方向的SAO优化方法，对于一段视频序列经过预测、量化、去块滤波的某一帧，对其进行改进的SAO处理，所述方法包括以下步骤：
S1获取一帧经过去块滤波的图像，按分辨率尺寸大小分成若干个64×64的LCU；
S2读取前一帧对应当前LCU块的SAO模式，所述SAO模式为EO_0°，EO_90°，EO_135°，EO_45°，BO之一；
S3根据对应关系，排除掉当前帧该LCU的一种EO模式，如果前一帧对应LCU为BO模式，则不进行任何操作，具体操作如下；
如果前一帧对应LCU模式是EO_0°，则当前帧操作排除EO_90°；
如果前一帧对应LCU模式是EO_90°，则当前帧操作排除EO_0°；
如果前一帧对应LCU模式是EO_135°，则当前帧操作排除EO_45°；
如果前一帧对应LCU模式是EO_45°，则当前帧操作排除EO_135°；
如果前一帧对应LCU模式是BO，则当前帧不进行操作排除；
S4读取当前帧的LCU帧内预测方向，所述LCU帧内预测方向为33个帧内预测方向其中一种；
S5将33个方向进行分类，分别对应到4个SAO边界补偿EO的操作；考虑到S3中可能已经排除掉一种EO模式，本步骤中要求继续排除掉一种EO模式；如果S3中未排除EO模式，则本步骤排除掉两种EO模式；排除方式具体如下；
帧内模式2,3,4,5,6,7,33,34；SAO操作优先排除EO_135°，其次排除EO_90°；
帧内模式8,9,10,11,12,13,14,15；SAO操作优先排除EO_90°，其次排除EO_45°；
帧内模式6,17,18,19,20,21,22,2；SAO操作优先排除EO_45°，其次排除EO_0°；
帧内模式24,25,26,27,28,29,30,3；SAO操作优先排除EO_0°，其次排除EO_135°；
S6对剩下的两种EO模式和BO进行SAO处理，分别计算三种模式下的率失真代价，选择最优的SAO模式，再进行像素值补偿。
2.根据权利要求1所述的优化算法，其特征在于，S4中读取本帧该LCU的帧内预测方向，由于CU可划分为8×8,16×16,32×32,64×64，所以该LCU的帧内预测方向由本LCU中帧内预测像素最多的方向决定。
CN201610298041.2A 2016-05-06 2016-05-06 一种hevc基于时间相关性和帧内预测方向的sao优化方法 Active CN105979262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610298041.2A CN105979262B (zh) 2016-05-06 2016-05-06 一种hevc基于时间相关性和帧内预测方向的sao优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610298041.2A CN105979262B (zh) 2016-05-06 2016-05-06 一种hevc基于时间相关性和帧内预测方向的sao优化方法

Publications (2)

Publication Number Publication Date
CN105979262A CN105979262A (zh) 2016-09-28
CN105979262B true CN105979262B (zh) 2019-12-03

Family

ID=56991237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610298041.2A Active CN105979262B (zh) 2016-05-06 2016-05-06 一种hevc基于时间相关性和帧内预测方向的sao优化方法

Country Status (1)

Country Link
CN (1) CN105979262B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756736B (zh) * 2017-11-01 2021-02-12 北京金山云网络技术有限公司 Sao模式决策方法、装置、电子设备及可读存储介质
CN110944188B (zh) * 2018-09-21 2022-04-08 杭州海康威视数字技术股份有限公司 样点自适应补偿的方法、装置和系统
CN109462757A (zh) * 2018-12-19 2019-03-12 上海交通大学 样点自适应补偿模式快速选择方法和系统、终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015007200A1 (en) * 2013-07-15 2015-01-22 Mediatek Inc. Method of sample adaptive offset processing for video coding
CN104813665A (zh) * 2012-09-28 2015-07-29 三星电子株式会社 用于对层间预测误差进行编码的sao补偿的方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826240B2 (en) * 2013-07-05 2017-11-21 Texas Instruments Incorporated High throughput VLSI architecture for HEVC SAO encoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813665A (zh) * 2012-09-28 2015-07-29 三星电子株式会社 用于对层间预测误差进行编码的sao补偿的方法和设备
WO2015007200A1 (en) * 2013-07-15 2015-01-22 Mediatek Inc. Method of sample adaptive offset processing for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HEVC视频编码标准的后处理技术的研究;盛希;《中国优秀硕士学位论文全文数据库》;20140315;全文 *

Also Published As

Publication number Publication date
CN105979262A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CA2763887C (en) Image processing device and method
CN104602006B (zh) 预测块产生设备
JP6226863B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
Wang et al. Attention-based dual-scale CNN in-loop filter for versatile video coding
CN103209324B (zh) 一种施加边缘补偿的方法
Siqueira et al. Rate-distortion and complexity comparison of HEVC and VVC video encoders
CN103404137B (zh) 有效的样本自适应补偿的方法和装置
CN104125466B (zh) 一种基于gpu的hevc并行解码方法
CN110099191A (zh) 清除解块人为噪声的方法
CN103647975B (zh) 基于直方图分析的改进样本自适应偏移滤波方法
CN105979262B (zh) 一种hevc基于时间相关性和帧内预测方向的sao优化方法
CN101984665A (zh) 一种视频传输质量评测的方法与系统
CN111819856A (zh) 用于视频编码的环路滤波装置及方法
CN106961610A (zh) 结合超分辨率重建的超高清视频新型压缩框架
CN103581682A (zh) 一种hevc帧内编码的快速模式决策算法及其应用
CN103442229A (zh) 适用于hevc标准的编码器中sao模式判决的比特率估计方法
CN103442238A (zh) 一种适用于hevc标准的编码器中sao的硬件处理方法
EP2735144B1 (en) Adaptive filtering based on pattern information
CN111882564A (zh) 一种超高清医学病理图像的压缩处理方法
CN106878754A (zh) 一种3d视频深度图像帧内预测模式选择方法
CN116489333A (zh) 一种面向深度图编码单元划分的边缘分类模型构建方法
KR101647344B1 (ko) 깊이 영상 부호화 방법 및 장치
Saldanha et al. Analysis of VVC intra prediction block partitioning structure
CN101262607B (zh) 二重预测视频编解码方法和装置
CN107343199B (zh) 用于hevc中样点的快速自适应补偿方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant