CN110460844B - 基于dwt的3d-hevc快速cu分割预测方法 - Google Patents

基于dwt的3d-hevc快速cu分割预测方法 Download PDF

Info

Publication number
CN110460844B
CN110460844B CN201910744353.5A CN201910744353A CN110460844B CN 110460844 B CN110460844 B CN 110460844B CN 201910744353 A CN201910744353 A CN 201910744353A CN 110460844 B CN110460844 B CN 110460844B
Authority
CN
China
Prior art keywords
dwt
variance
edge
input
hevc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910744353.5A
Other languages
English (en)
Other versions
CN110460844A (zh
Inventor
张桦
黄鸿飞
於世芳
姚王泽
吴以凡
戴国骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910744353.5A priority Critical patent/CN110460844B/zh
Publication of CN110460844A publication Critical patent/CN110460844A/zh
Application granted granted Critical
Publication of CN110460844B publication Critical patent/CN110460844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于DWT的3D‑HEVC快速CU分割预测方法。快速CU分割预测编码决策方法在CU划分之前，首先对CU进行DWT变换获得当前CU的DWT系数矩阵，然后对当前系数块的水平，垂直，对角线方向系数和进一步对预测块的四周方差进行判断是否平缓，如果平缓则CU不需要划分为子CU，否则进入递归进一步划分。DWT具有能量聚集的特性，故在3D‑HEVC深度图编码过程中可以明显区分编码块是否具有边缘。本发明直接对CU进行判断，减少了递归带来的时间消耗因此具有计算复杂度低、编码时间短和视频重建效果好的特点。

Description

基于DWT的3D-HEVC快速CU分割预测方法
技术领域
本发明涉及视频编码领域，具体是一种基于DWT的3D-HEVC快速CU分割预测方法。
背景技术
在过去几年里，随着3D视频服务需求的增加，3D视频的展现、压缩和传输成为一个新的有挑战的研究课题。多视角加深度图(MVD)的视频格式是多种有发展前景的视频表现形式中的一种。由3D视频编码扩展开发联合协作组(JCT-3V)提出的高质量视频编码的3D扩展(3D-HEVC)是对于压缩MVD数据的一种新兴视频编码标准。
传统的CU分割是以递归划分至最小尺寸后逐渐向上比较进行判断是否划分，其时间复杂度很大，我们可以在其划分之前加入判断其其是否需要划分，若不需要划分则不必进入递归，否则进入递归划分，由于深度图中平缓的较多，所以其中很多CU都不需要划分，可大大减少CU分割的时间。
离散小波变换(DWT)是与傅立叶变换相关的一种变换，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口,一张图片经过DWT后，绝大部分能量集中在左上角的低频系数中；相反，如果像素块中包含较多细节纹理信息，则较多能量分散在高频区域。当一个像素块较为平缓时，它的高频信号基本为零，当其存在一定的纹理变化时，它的高频信号存在不为零的值，我们可以以此来对像素块进行判断。
参考文献：
[1]Tech G,Chen Y,Müller K,et al.Overview of the Multiview and 3DExtensions of High Efficiency Video Coding[J].IEEE Transactions on Circuits&Systems for Video Technology,2016,26(1):35-49.
[2]Zhang Tao,Ming Ting Sun,Debin Zhao,and Gao Wen,“Fast intra modeand cu size decision for hevc,”IEEE Transactions on Circuits Systems forVideo Technology,2016.
[3]Dami′an Ruiz,Fern′andez-Escribano,and et.al,“Fast cu partitioningalgorithm for hevc intra coding using data mining,”Multimedia ToolsApplications,vol.76(1),
pp.861–894,2017.
发明内容
本发明的目的是鉴于图像DWT矩阵右上角和右下角的能量分布对判断CU是否平缓的重要性，提出一种基于DWT的3D-HEVC快速CU分割预测方法，该方法将视频中的一帧图像进行DWT变换，对生成的DWT矩阵选点判断。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。
为了实现上述目的，本发明的技术方案包括如下步骤：
基于DWT的3D-HEVC快速CU分割预测方法：
步骤1：读入一个CU，经过离散小波变换后得到其DWT系数矩阵；
步骤2.对当前系数块的右下角系数进行求和，若其和的值为零则直接判断该预测块是平缓的，没有边缘，并且跳转步骤5，跳转步骤4；
步骤3：进一步计算DWT系数矩阵的四周方差，即对当前的CU块求周围方差var：对其第一行、最后一行、第一列、最后一列总计4N-4个数字求方差，其中N为CU的宽度；若方差var大于1，则判断其存在边缘，跳转到步骤4；若方差小于1，则不存在边缘，跳转步骤5；
步骤4：让该CU进入递归，将该CU划分为4个大小为N/2*N/2的子CU，对每个子CU，跳转到步骤1；
步骤5：该CU不需要划分，划分过程结束。
步骤1所述的整数DWT转换如下：
在二维的情况下，需要一个尺度函数
Figure BDA0002165055460000031
和三个二维小波ψH(x,y)，ψV(x,y)，ψD(x,y)，其中ψH(x,y)度量沿列方向的变化，ψV(x,y)度量沿行方向的变化，ψD(x,y)度量沿对角线方向的变化，我们定义一个尺度和平移基函数：
Figure BDA0002165055460000032
Figure BDA0002165055460000033
其中i∈{H,V,D},于是大小为M*N的图像f(x,y)的离散小波变换如下：
Figure BDA0002165055460000034
Figure BDA0002165055460000035
j0是一个任意的开始尺度，
Figure BDA0002165055460000036
系数定义f(x,y)在尺度j0处的近似，
Figure BDA0002165055460000037
系数对尺度j≥j0附加了水平、垂直和对角线方向的细节，通过变换，求得一个二维的小波变换，简化为如下过程：
首先定义一些变量与滤波器：
x[m,n]:输入的离散信号即预测矩阵(PU)；
g[n]:Low pass filter低通滤波器，将输入信号的高频部分过滤而输出低频部分；
h[n]:High pass filter高通滤波器，将输入信号的低频部分过滤而输出高频部分；
↓Q:Downsampling filter降采样滤波器，如果以x[n]为输入，则输出y[n]＝x[Qn],二维的DWT在降采样一般是沿着某个方向进行，例如m或者n，Q一般为2；
DWT变换过程：对于输入的x[m,n]，先让其通过低通滤波器g[n]，再沿着n的方向进行降采样得到v1,L[m,n]，再让其通过高通滤波器h[n]，再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数，同样把v1,L[m,n]，v1,H[m,n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，可以得到四个部分x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]，其中x1,L[m,n]是低频区域，给出信号的特征，而x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]是高频区域，给出信号的细节，我们的方法主要是依据高频信号来判断是否存在边缘，给出转换的公式如下:
Figure BDA0002165055460000041
Figure BDA0002165055460000042
Figure BDA0002165055460000043
Figure BDA0002165055460000044
Figure BDA0002165055460000045
Figure BDA0002165055460000046
其中，x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]分别与
Figure BDA0002165055460000047
ψH(x,y)，ψV(x,y)，ψD(x,y)一一对应，代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息，利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘；
步骤3过程如下：首先对x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]的值求和，若其值为零则判断该CU不存在边缘，若不为零则对该CU即输入矩阵x[m,n]四周的值求方差，求方差的数据为x[0,0]～x[0,n]，x[m-1,0]～x[m-1,n]，x[1,0]～x[m-2,n]，x[1,n]～x[m-2,n]得到其方差var,若var大于1，判断其存在边缘，否则不存在边缘。
本发明的有益效果如下：
本发明使用DWT应用于三维视频编码，利用DWT方法判断在深度图编码下DMMs是否要加入候选列表以及CU是否分割，并且在视频码率减少的同时有效的减少了编码时间，避免了计算冗余模式，减少计算量。DWT具有“能量集中”的特性，并且能够很好地区分图像边缘。
附图说明
图1是CU分割预测方法流程图
图2是DWT系数矩阵及其左上角和右下角选择系数点。
图3是四周方差数据取值点。
图4是完整的分割流程图
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，基于DWT的3D-HEVC快速CU分割预测方法，具体包括如下步骤：
步骤1.基于3D-HEVC，得到一个N*N(N＝64,32,16,N>8,第一次为64)大小的CU后，利用整数DWT转换计算当前预测块的DWT系数矩阵，保存为一个矩阵。DWT变换过程如下：对于输入的x[m,n]，先让其通过低通滤波器g[n]，再沿着n的方向进行降采样得到v1,L[m,n]，再让其通过高通滤波器h[n]，再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数，同样把v1,L[m,n]，v1,H[m,n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，可以得到四个部分x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]，其中x1,L[m,n]是低频区域，给出信号的特征，而x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]是高频区域，给出信号的细节，我们的方法主要是依据高频信号来判断是否存在边缘，给出转换的公式如下:
Figure BDA0002165055460000051
Figure BDA0002165055460000052
Figure BDA0002165055460000053
Figure BDA0002165055460000054
Figure BDA0002165055460000055
Figure BDA0002165055460000056
其中x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]分别代表整体信息，水平方向，垂直方向，以及对角线方向的信息，离散小波变换DWT对当前CU块进行DWT转换，生成一个DWT系数矩阵。
步骤2.如图2所示，对当前DWT系数矩阵的左下、右上、右下角系数(即图中灰色部分)进行求和，若其和的值为零则直接判断该预测块是平缓的，没有边缘，并且跳转步骤5，跳转步骤4；
步骤3：如图3所示，进一步计算DWT系数矩阵的四周方差，即对当前的CU块求周围方差var：对其第一行、最后一行、第一列、最后一列(即图中灰色部分)总计4N-4个数字求方差，其中N为CU的宽度；若方差var大于1，则判断其存在边缘，跳转到步骤4；若方差小于1，则不存在边缘，跳转步骤5；
步骤4：让该CU进入递归，将该CU划分为4个大小为N/2*N/2的子CU，对每个子CU，跳转到步骤1；
步骤5：该CU不需要划分，划分过程结束。
实施例1：
如图4所示，基于DWT的3D-HEVC中CU分割预测方法，完整的分割流程图具体如下：读入一个64*64的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个32*32的子CU，然后分别读入32*32的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个16*16的子CU，然后分别读入16*16的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个8*8的子CU，划分为最小尺寸，划分过程结束。

Claims (3)

1.基于DWT的3D-HEVC快速CU分割预测方法，其特征在于包括如下步骤：
步骤1：读入一个CU，经过离散小波变换后得到其DWT系数矩阵；
步骤2.对当前系数块的右下角系数进行求和，若其和的值为零则直接判断该预测块是平缓的，没有边缘，并且跳转步骤5；若其和的值不为零，跳转步骤3；
步骤3：进一步计算DWT系数矩阵的四周方差，即对当前的CU块求周围方差var：对其第一行、最后一行、第一列、最后一列总计4N-4个数字求方差，其中N为CU的宽度；若方差var大于1，则判断其存在边缘，跳转到步骤4；若方差var小于1，则不存在边缘，跳转步骤5；
步骤4：让该CU进入递归，将该CU划分为4个大小为N/2*N/2的子CU，对每个子CU，跳转到步骤1；
步骤5：该CU不需要划分，划分过程结束。
2.根据权利要求1所述的基于DWT的3D-HEVC快速CU分割预测方法，其特征在于步骤1所述的DWT系数矩阵获取如下：
首先定义一些变量与滤波器：
x[m,n]:输入的离散信号即预测矩阵(PU)；
g:Low pass filter低通滤波器，将输入信号的高频部分过滤而输出低频部分；
h:High pass filter高通滤波器，将输入信号的低频部分过滤而输出高频部分；
↓Q:Downsampling filter降采样滤波器，如果以x[n]为输入，则输出y[n]＝x[Qn]；
DWT变换过程：对于输入的x[m,n]，先让其通过低通滤波器g，再沿着n的方向进行降采样得到v1,L[m,n]，再让其通过高通滤波器h，再沿着n的方向进行降采样得到v1,H[m,n],这是经过一次滤波后得到的系数，同样把v1,L[m,n]，v1,H[m,n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，得到四个部分x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]，其中x1,L[m,n]是低频区域，给出信号的特征；而x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]是高频区域，给出信号的细节；依据高频信号来判断是否存在边缘，给出转换的公式如下:
Figure FDA0003089753420000021
Figure FDA0003089753420000022
Figure FDA0003089753420000023
Figure FDA0003089753420000024
Figure FDA0003089753420000025
Figure FDA0003089753420000026
其中，x1,L[m,n]，x1,H1[m,n]，x1,H2[m,n]，x1,H3[m,n]，代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息，利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘。
3.根据权利要求2所述的基于DWT的3D-HEVC快速CU分割预测方法，其特征在于步骤3过程如下：
首先对x1,H1[m,n],x1,H2[m,n],x1,H3[m,n]的值求和，若其值为零则判断该CU不存在边缘，若不为零则对该CU即输入矩阵x[m,n]四周的值求方差，求方差的数据为x[0,0]～x[0,n]，x[m-1,0]～x[m-1,n]，x[1,0]～x[m-2,n]，x[1,n]～x[m-2,n]得到其方差var,若var大于1，判断其存在边缘，否则不存在边缘。
CN201910744353.5A 2019-08-13 2019-08-13 基于dwt的3d-hevc快速cu分割预测方法 Active CN110460844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910744353.5A CN110460844B (zh) 2019-08-13 2019-08-13 基于dwt的3d-hevc快速cu分割预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910744353.5A CN110460844B (zh) 2019-08-13 2019-08-13 基于dwt的3d-hevc快速cu分割预测方法

Publications (2)

Publication Number Publication Date
CN110460844A CN110460844A (zh) 2019-11-15
CN110460844B true CN110460844B (zh) 2021-07-09

Family

ID=68486243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910744353.5A Active CN110460844B (zh) 2019-08-13 2019-08-13 基于dwt的3d-hevc快速cu分割预测方法

Country Status (1)

Country Link
CN (1) CN110460844B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741313B (zh) * 2020-05-18 2022-12-27 杭州电子科技大学 基于图像熵k均值聚类的3d-hevc快速cu分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491385A (zh) * 2015-12-02 2016-04-13 同济大学 一种hevc帧内编码单元划分的快速决策方法
CN106464855A (zh) * 2014-06-26 2017-02-22 华为技术有限公司 提供高效率视频编码中基于深度的块划分的方法和设备
CN107018412A (zh) * 2017-04-20 2017-08-04 四川大学 一种基于关键帧编码单元划分模式的dvc‑hevc视频转码方法
CN107801026A (zh) * 2017-11-09 2018-03-13 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
CN107864380A (zh) * 2017-12-14 2018-03-30 杭州电子科技大学 基于dct的3d‑hevc快速帧内预测决策方法
CN109714584A (zh) * 2019-01-11 2019-05-03 杭州电子科技大学 基于深度学习的3d-hevc深度图编码单元快速决策方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736916B2 (ja) * 2006-04-10 2011-07-27 株式会社メガチップス 画像信号処理装置
US10602187B2 (en) * 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464855A (zh) * 2014-06-26 2017-02-22 华为技术有限公司 提供高效率视频编码中基于深度的块划分的方法和设备
CN105491385A (zh) * 2015-12-02 2016-04-13 同济大学 一种hevc帧内编码单元划分的快速决策方法
CN107018412A (zh) * 2017-04-20 2017-08-04 四川大学 一种基于关键帧编码单元划分模式的dvc‑hevc视频转码方法
CN107801026A (zh) * 2017-11-09 2018-03-13 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
CN107864380A (zh) * 2017-12-14 2018-03-30 杭州电子科技大学 基于dct的3d‑hevc快速帧内预测决策方法
CN109714584A (zh) * 2019-01-11 2019-05-03 杭州电子科技大学 基于深度学习的3d-hevc深度图编码单元快速决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
低复杂度的HEVC帧内编码模式决策算法;朱威，张晗钰，易瑶，张桦;《小型微型计算机系统》;20171231;全文 *

Also Published As

Publication number Publication date
CN110460844A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
US20220360780A1 (en) Video coding method and apparatus
US5841473A (en) Image sequence compression and decompression
US5510838A (en) Apparatus and method for picture representation by data compression
CN108712648B (zh) 一种深度视频快速帧内编码方法
CN103765884A (zh) 使用非对称插值滤波器的图像插值的方法及其设备
CN104641643A (zh) 在分层层级中信号编码、解码和重构期间残差数据的分解
CN106170093B (zh) 一种帧内预测性能提升编码方法
CN107864380B (zh) 基于dct的3d-hevc快速帧内预测决策方法
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
US20070002183A1 (en) Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program
CN108141593A (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
CN108028945A (zh) 通过使用单例系数更新执行变换的设备和方法
Zhang et al. Region-of-interest coding based on saliency detection and directional wavelet for remote sensing images
CN108810534B (zh) 物联网下基于方向提升小波及改进spiht的图像压缩方法
CN110460844B (zh) 基于dwt的3d-hevc快速cu分割预测方法
Kountchev et al. Inverse pyramidal decomposition with multiple DCT
CN116797462B (zh) 基于深度学习的实时视频超分辨率重建方法
CN111385585B (zh) 一种基于机器学习的3d-hevc深度图编码单元划分方法
CN113450280A (zh) 一种由粗到细地融合时空信息的压缩视频质量增强方法
Hu et al. Depth map super-resolution using synthesized view matching for depth-image-based rendering
Niu et al. Edge-based perceptual image coding
CN116957940A (zh) 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法
CN110650335B (zh) 基于dwt的3d-hevc快速dmm预测决策方法
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
CN112292860A (zh) 有效表示图像并对图像进行编码的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant