CN107945117A - 基于自适应相似集合稀疏的差错隐藏方法 - Google Patents

基于自适应相似集合稀疏的差错隐藏方法 Download PDF

Info

Publication number
CN107945117A
CN107945117A CN201710975599.4A CN201710975599A CN107945117A CN 107945117 A CN107945117 A CN 107945117A CN 201710975599 A CN201710975599 A CN 201710975599A CN 107945117 A CN107945117 A CN 107945117A
Authority
CN
China
Prior art keywords
image
similar set
adaptive
image block
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710975599.4A
Other languages
English (en)
Other versions
CN107945117B (zh
Inventor
王冰
刘浩
李康达
陈根龙
孙嘉曈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201710975599.4A priority Critical patent/CN107945117B/zh
Publication of CN107945117A publication Critical patent/CN107945117A/zh
Application granted granted Critical
Publication of CN107945117B publication Critical patent/CN107945117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于自适应相似集合稀疏的差错隐藏方法。本发明不同于传统的采用单一图像块或固定数目图像块作为修复单元的方法，该方法根据自然图像中图像块之间的联合特征，自适应地选取不同数量的相似图像块，构造自适应相似集合；然后以相似集合作为基本单元，训练自适应字典，并构造基于稀疏表示的图像恢复模型；最后，采用分解Bregman迭代框架算法高效地求解目标代价函数。本发明所提方法采用自适应相似集合作为差错隐藏的基本单元，能够有效地排除非相似块的干扰，准确地构造相似集合，保证恢复后的图像具有较好的清晰度，能够进一步提高图像的恢复质量。

Description

基于自适应相似集合稀疏的差错隐藏方法
技术领域
本发明涉及一种基于自适应相似集合稀疏的差错隐藏方法，属于视频通信中的后处理技术。
背景技术
随着互联网和无线移动通信的快速发展，视频通信逐渐成为网络通信的主要业务。压缩的视频码流对于信道误码极为敏感，传输过程中的误码可能导致解码端出现不能正确解码的图像块，严重降低视频的播放质量。为了减轻误码对视频质量的影响，相比于编码端的抗误码技术，解码端的错误隐藏技术由于不需要增加编码冗余和改变码流结构而受到广泛关注。空域错误隐藏主要利用帧内图像中普遍存在的空域相关性来恢复丢失块，不依赖任何时域信息。灵活宏块组织可以为不同空域错误隐藏(SEC)算法提供一个共同的比较基准和统一的测试平台。在灵活宏块组织中，一帧图像分为几个独立可解码的块组，并且每个块组包含一系列的块，不同的块组封装成不同的包，这样，解码图像的丢失块可以被邻近的正确像素块予以隐藏。在某些应用程序中，一个包的损失意味着图像内一个块组的损失。本发明专利针对的是图像编码块大小是8×8的情况，并假设丢失块的位置可以被解码器得到。根据丢失块的周围块的损坏情况，可以将损坏情况分为棋盘丢失或连续丢失。棋盘丢失表示一个丢失块周围的相邻块被正确接收，连续丢失的一个特例是图像突发错误，即一整行的块全部丢失，它是差错隐藏的一个难题。
图1a和图1b给出了错误隐藏所用的两种通用丢失模式，即：棋盘丢失模式和连续丢失模式，图中每个方块表示大小为8×8像素块，白色表示接收成功的块，黑色表示接收到的损坏块。图1a显示了典型的棋盘丢失模式，丢失块周围四个相邻块都被正确接收。对于棋盘丢失模式，许多SEC算法可以充分地利用损失块周围的信息进行有效的错误隐藏。图1b是连续丢失模式的一个示例，这是一个更具挑战性的丢失模式，因为同在一行的相邻块均丢失，待隐藏的块缺少其左右的正确块信息，可以利用的相关信息更少，许多SEC算法都难以有效应对连续块损失。连续块损失仍然是空域错误隐藏的一个开放性的难题。
发明内容
本发明的目的是：提高视频通信中差错隐藏的质量性能。
为了达到上述目的，本发明的技术方案是提供了一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，包括以下步骤：
步骤1、输入原始图像I及模拟丢失矩阵S，S为典型通用丢失模式，S.*I得损坏图像y；
步骤2、对损坏图像y采用双线性插值方式进行预处理，得到迭代输入图像 In，并赋值给恢复图像x；
步骤3、循环执行以下步骤：
步骤3.1、更新迭代输入图像In，In＝x-c，式中，c为临时图像；
步骤3.2、将迭代输入图像In分解为N个图像块xk，k＝1，2，...，N，基于相似准则得到每个图像块的相似图像块，每个图像块的所有相似图像块构成一个块组，由每个块组构造一个自适应相似集合，其中，第k个图像块xk的块组为由块细构造的自适应相似集合为
步骤3.3、对每个自适应相似集合进行奇异值分解，获得与每个自适应相似集合相对应的自适应字典及稀疏表示向量，其中，对自适应相似集合进行奇异值分解后得到奇异值向量[SG_S，SG_V，SG_D]，式中，SG_V为对角矩阵，SG_S、 SG_D为酉矩阵，将SG_V中绝对值小于τ＝λK/μN的元素置为0得到稀疏表示向量式中，λ及μ为比例系数，K为一般参数，由SG_S和SG_D得自适应字典
步骤3.4、更新临时图像F，式中，为从中提取自适应相似集合并进行转置运算的运算符；
步骤3.5、更新临时矩阵r，r＝S.*y+μ*(F+c)；
步骤3.6、更新恢复图像x，x＝(1/μ)*(r-S.*(A.*(S.*r)))，式中，A＝1./(μ+S)，/表示两个向量的元素划分；
步骤3.7、从第二次循环开始，计算前后两次得到的恢复图像x的平均绝对误差MAD，当MAD小于阈值E或者迭代次数到达阈值Imax时直接跳出循环，否则转到执行步骤3.1；
步骤4、输出最终得到的恢复图像x。
优选地，在所述步骤3.2中，块组中的每一个相似图像块作为所述自适应相似集合的列向量。
优选地，在所述步骤3.2中，所述相似准则为欧几里得距离相似准则、结构相似性指数SSIM或平均绝对误差的相似准则。
优选地，在所述步骤3.2中，所述第k个图像块xk的相似图像块通过以下步骤搜索：
在大小为SWin的范围内每次滑动距离SDis来搜索第k个图像块xk的相似图像块，然后取前d个相似图像块的图像块构造所述自适应相似集合
优选地，在所述步骤3.3中，所述自适应字典被定义为：
则 为中的第 i列，i＝1，2，……，m，为SG_S中的第i列，为SG_D中的第i列的转置。
本发明不同于传统的采用单一图像块或固定数目图像块作为修复单元的方法，该方法根据自然图像中图像块之间的联合特征，自适应地选取不同数量的相似图像块，构造自适应相似集合；然后以相似集合作为基本单元，训练自适应字典，并构造基于稀疏表示的图像恢复模型；最后，采用分解Bregman迭代框架(SBI) 算法高效地求解目标代价函数。
本发明所提方法采用自适应相似集合作为差错隐藏的基本单元，能够有效地排除非相似块的干扰，准确地构造相似集合，保证恢复后的图像具有较好的清晰度。本发明与其它空域差错隐藏算法相比，能够进一步提高图像的恢复质量。由于本发明方法以自适应相似集合作为基本单元，因此能够充分地利用自然图像中的空域相关信息，根据图像信号的先验特征指导图像的恢复过程，从而保证算法的高效性。
附图说明
图1a为错误隐藏所用的棋盘丢失模式；
图1b为错误隐藏所用的连续丢失模式；
图2为建议算法的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
结合图2，本发明提供的一种基于自适应相似集合稀疏的差错隐藏方法可分为以下几个阶段进行：
(1)提取自适应相似集合
首先，将待恢复图像x划分为N个尺寸为的重叠图像块，每一个图像块由向量表式，k＝1，2，...N。中Bs表示每一个块向量的维度大小。对于每一个块Bs，在L×L的训练窗内，寻找它的最佳相似块，它由块组构成。本发明将平均绝对误差作为不同块之间的相似准则。中的所有块被组合成尺寸为Bs×c的矩阵，表示为它包含了中的每一个块来作为它的列向量，即矩阵包含了所有带有相似结构的块，它被称为一个相似集合，其定义为：
式中是一个从x中提取集合的运算符，它的转置表示为能够把一个集合放到重构图像的第k个位置，在其它位置用0填充。通过求解所有相似集合的平均值，采用对整幅图像x的恢复转化为：
式中./表示两个向量的元素划分，是一个所有元素都为1尺寸为BS×C 的矩阵。在本发明中，每一个块xk代表一个向量，而每一个集合代表一个矩阵。通过上述定义，显而易见每一个块xk对应一个集台
(2)构造基于自适应相似集合的稀疏字典
为了在统一的框架内同时利用自然图像的局部稀疏性和非局部自相似性，本发明采用了自然图像在组域的稀疏表示，所提模型称为自适应相似集合稀疏表示模型，模型假设每一个相似集合都能够被自适应字典的一些原子精准地表示。构造字典每一个原子是一个和集合同样尺寸的矩阵，m是中原子的数量。的尺寸为(Bs×c)×m，即特别地，每一个集合利用进行稀疏编码的过程是为了寻找一个稀疏向量使得注意不是一个严格的矩阵-向量乘法，每一个集合利用自适应字典进行稀疏编码的过程非常高效，然后整幅图像可以被稀疏编码在组域进行稀疏的表示，利用稀疏编码重构的恢复图像x可以表示为：
式中DG表示的连接，αG表示的连接。本发明所提的正则化图像差错恢复方案可以表示为：
利用重构图像可以表示成为了提高图像恢复质量，l0范数被用来在组域内测量αG的稀疏性。
(3)通过循环步骤，不断更新(训练)自适应相似集合的字典
本步骤为每一个集合训练自适应字典训练目标是让每一个能够被真实的表示，并让在上的系数向量表示尽可能的稀疏。相似集合的自适应字典训练可表示为：
式中p为0或者1。公式(5)是一个Dx和的联合优化问题，可通过交替地优化Dx和进行求解。本发明不直接利用公式(5)为每一个相似集合训练字典。利用公式(5)训练的字典实际上是自适应给定的图像x，不是自适应相似集合这意味着所有的集合都被同一个字典Dx表示。这也是为什么利用公式(5)训练的字典在这里用Dx表示，而不是公式(5)中的字典学习过程忽略了每一个集合的特征，包含了带有相似结构的块。换而言之训练一个过完备字典是没有必要的，本发明实例通过一种更加可行和高效的方式训练一个字典，提出直接以的估计量为每一个集合训练自适应字典因为实际的原始图像是未知的，无法直接通过原图得到相似集合。在获得之后，本发明实例再对其应用奇异值分解(SVD)，得到：
式中 是一个对角化矩阵，中的元素位于其主对角线，分别为和的列。集合的中每一个原子，被定义为：
式中，因此，最终的自适应训练字典被定义为：
通过上述定义，本发明利用SVD为每一个相似集合训练一个自适应字典，优势在于保证每一个集合中的所有图像块采用同样的字典和共享同样的字典原子。
(4)进行双目标的联合优化，求解目标代价函数，最终恢复图像
因为l0最小化是非凸的NP难问题，通常的求解方法是求解它的最优凸近似l1最小化，l1最小化已经被证明在一定条件下等价于l0最小化。l1最小化可以被目前一些凸优化算法有效地求解，例如迭代收缩/阈值法、分解Bregman算法。因此，求解公式(4)的简单方法是把它转化成求解它的l1凸近似，即
对于一些图像逆问题，描述l0最小化和l1最小化的等价条件不一定满足。因此，本发明采用凸优化算法的框架来求解l0最小化。本发明选择采用分解Bregman 迭代框架(SBI)来求解公式(4)，采用如下约束优化问题：
式中是凸函数。SBI方法通常按照以下7 行伪代码求解问题(10)：
1.设置t＝0，μ＞0，b0＝0，u0＝0，v0＝0；
2.循环执行以下流程：
3.
4.
5.b(t+1)＝b(t)-(u(t+1)-Gv(t+1))；
6.t←t+1；
7.当t＞＝Imax时停止循环
在上述SBI方式中，参数μ是固定值，以避免数值不稳定的问题，而不是采用一个预先设定的序列，导致最后趋于无穷大。根据SBI方式，原始的最小化问题(10)被拆分成如下2个子问题，拆分背后的合理性是每一个子问题的最小化可能比原始问题(10)简单很多，下面解释如何运用SBI方式来求解子问题。通过引入一个变量u，首先将公式(4)转化成一个受约束的形式，
定义g(αG)＝λ||αG||0。然后，SBI伪代码的第3行变成：
下一步，SBI伪代码的第4行变成：
根据SBI伪代码的第5行，更新b(t)：
这样，公式(4)的最小化问题被转化成求解2个子问题，也就是u、αG子问题。接下来，阐述如何获得每一个子问题的有效解。
A.u子问题
给定αG，u子问题由公式(12)表示，它实质上是一个严格凸二次函数的最小化问题，即
设置Q1(u)的梯度等于0，可以获得公式(15)的一个近似解，它可以被表示为
式中I是一个单位矩阵。
B.αG子问题
给定u，根据公式(13)，αG子问题可以被表示成
式中r＝u-b。由于αG的复杂的定义直接求解公式(17)是非常困难的，求解时做了一些转化，让使得公式(17)同样变为
为了使公式(18)易于求解，在本发明中，公式(18)合理地转化为：
式中τ＝λK/μN。公式(19)能够通过求解所有相似集合的n个基的子问题被有效最小化，而每一个相似集合基的子问题被表示为：
式中是通过得到的自适应训练字典，公式(20)也可以被认为是稀疏编码问题，利用和的定义，可得：由于的单一特性，进一步可得：
根据公式(21)，子问题(20)等价于
因此，(22)的闭合解被表示为
式中hard(·)代表硬阈值的运算符，⊙代表两个向量的元素间卷积。这个过程被应用于所有N个块来实现它是公式(17)中αG子问题的求解方案。

Claims (5)

1.一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，包括以下步骤：
步骤1、输入原始图像I及模拟丢失矩阵S，S为典型通用丢失模式，S.*I得损坏图像y；
步骤2、对损坏图像y采用双线性插值方式进行预处理，得到迭代输入图像In，并赋值给恢复图像x；
步骤3、循环执行以下步骤：
步骤3.1、更新迭代输入图像In，In＝x-c，式中，c为临时图像；
步骤3.2、将迭代输入图像In分解为N个图像块xk，k＝1，2，...，N，基于相似准则得到每个图像块的相似图像块，每个图像块的所有相似图像块组成一个块组，由每个块组构造一个自适应相似集合，其中，第k个图像块xk的块组为由块组构造的自适应相似集合为
步骤3.3、对每个自适应相似集合进行奇异值分解，获得与每个自适应相似集合相对应的自适应字典及稀疏表示向量，其中，对自适应相似集合进行奇异值分解后得到奇异值向量[SG_S，SG_V，SG_D]，式中，SG_V为对角矩阵，SG_S、SG_D为酉矩阵，将SG_V中绝对值小于τ＝λK/μN的元素置为0得到稀疏表示向量式中，λ及μ为比例系数，K为一般参数，由SG_S和SG_D得自适应字典
步骤3.4、更新临时图像F，式中，为从中提取自适应相似集合并进行转置运算的运算符；
步骤3.5、更新临时矩阵r，r＝S.*y+μ*(F+c)；
步骤3.6、更新恢复图像x，x＝(1/μ)*(r-S.*(A.*(S.*r)))，式中，A＝1./(μ+S)，./表示两个向量的元素划分；
步骤3.7、从第二次循环开始，计算前后两次得到的恢复图像x的平均绝对误差MAD，当MAD小于阈值E或者迭代次数到达阈值Imax时直接跳出循环，否则转到执行步骤3.1；
步骤4、输出最终得到的恢复图像x。
2.如权利要求1所述的一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，在所述步骤3.2中，块组中的每一个相似图像块作为所述自适应相似集合的列向量。
3.如权利要求1所述的一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，在所述步骤3.2中，所述相似准则为欧几里得距离相似准则、结构相似性指数SSIM或平均绝对误差的相似准则。
4.如权利要求1所述的一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，在所述步骤3.2中，所述第k个图像块xk的相似图像块通过以下步骤搜索：在大小为SWin的范围内每次滑动距离SDis来搜索第k个图像块xk的相似图像块，然后取前d个相似图像块的图像块构造所述自适应相似集合
5.如权利要求1所述的一种基于自适应相似集合稀疏的差错隐藏方法，其特征在于，在所述步骤3.3中，所述自适应字典被定义为：
则为中的第i列，i＝1，2，……，m，为SG_S中的第i列，为SG_D中的第i列的转置。
CN201710975599.4A 2017-10-19 2017-10-19 基于自适应相似集合稀疏的差错隐藏方法 Active CN107945117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710975599.4A CN107945117B (zh) 2017-10-19 2017-10-19 基于自适应相似集合稀疏的差错隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710975599.4A CN107945117B (zh) 2017-10-19 2017-10-19 基于自适应相似集合稀疏的差错隐藏方法

Publications (2)

Publication Number Publication Date
CN107945117A true CN107945117A (zh) 2018-04-20
CN107945117B CN107945117B (zh) 2021-12-10

Family

ID=61936235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710975599.4A Active CN107945117B (zh) 2017-10-19 2017-10-19 基于自适应相似集合稀疏的差错隐藏方法

Country Status (1)

Country Link
CN (1) CN107945117B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120308B2 (en) * 2001-11-26 2006-10-10 Seiko Epson Corporation Iterated de-noising for image recovery
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
CN101895769A (zh) * 2010-06-21 2010-11-24 清华大学 基于稀疏表示的视频差错隐藏方法和装置
CN102542542A (zh) * 2012-01-02 2012-07-04 西安电子科技大学 基于非局部稀疏模型的图像去噪方法
CN102740080A (zh) * 2012-06-06 2012-10-17 清华大学 一种基于压缩感知的错误隐藏方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120308B2 (en) * 2001-11-26 2006-10-10 Seiko Epson Corporation Iterated de-noising for image recovery
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
CN101895769A (zh) * 2010-06-21 2010-11-24 清华大学 基于稀疏表示的视频差错隐藏方法和装置
CN102542542A (zh) * 2012-01-02 2012-07-04 西安电子科技大学 基于非局部稀疏模型的图像去噪方法
CN102740080A (zh) * 2012-06-06 2012-10-17 清华大学 一种基于压缩感知的错误隐藏方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO LIU等: "Edge-aware spatial-frequency extrapolation for consecutive block loss", 《SPRINGERPLUS》 *

Also Published As

Publication number Publication date
CN107945117B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN104159003B (zh) 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统
CN110351511A (zh) 基于场景深度估计的视频帧率上变换系统及方法
JP2019067403A (ja) イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置
CN113269077B (zh) 基于改进门控网络和残差网络的水声通信信号调制方式识别方法
CN110266620A (zh) 基于卷积神经网络的3d mimo-ofdm系统信道估计方法
CN106713929A (zh) 一种基于深度神经网络的视频帧间预测增强方法
CN112884851A (zh) 一种展开迭代优化算法的深度压缩感知网络
CN105427264A (zh) 一种基于群稀疏系数估计的图像重构方法
CN112419455B (zh) 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN110062232A (zh) 一种基于超分辨率的视频压缩方法及系统
CN106972862A (zh) 基于截断核范数最小化的组稀疏压缩感知图像重构方法
CN110444224A (zh) 一种基于生成式对抗网络的语音处理方法及装置
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
Dhondea et al. CALTeC: Content-adaptive linear tensor completion for collaborative intelligence
CN105184742A (zh) 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法
CN109615576A (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN107945117A (zh) 基于自适应相似集合稀疏的差错隐藏方法
CN112508121A (zh) 一种工业机器人感知外界的方法和系统
CN107197192A (zh) 一种用于压缩视频通信中人脸视频的方法及系统
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
CN116307224A (zh) 基于递归门控卷积和注意力机制改进的enso时空预测方法
CN115984949A (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant