CN111340039B - 一种基于特征选择的目标检测方法 - Google Patents

一种基于特征选择的目标检测方法 Download PDF

Info

Publication number
CN111340039B
CN111340039B CN202010088920.9A CN202010088920A CN111340039B CN 111340039 B CN111340039 B CN 111340039B CN 202010088920 A CN202010088920 A CN 202010088920A CN 111340039 B CN111340039 B CN 111340039B
Authority
CN
China
Prior art keywords
feature
pyramid
layer
cascading
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010088920.9A
Other languages
English (en)
Other versions
CN111340039A (zh
Inventor
钟永成
胡建国
甘留军
李仕仁
招继恩
张海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Development Research Institute Of Guangzhou Smart City
Nexwise Intelligence China Ltd
Original Assignee
Development Research Institute Of Guangzhou Smart City
Nexwise Intelligence China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Development Research Institute Of Guangzhou Smart City, Nexwise Intelligence China Ltd filed Critical Development Research Institute Of Guangzhou Smart City
Priority to CN202010088920.9A priority Critical patent/CN111340039B/zh
Publication of CN111340039A publication Critical patent/CN111340039A/zh
Application granted granted Critical
Publication of CN111340039B publication Critical patent/CN111340039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征选择的目标检测方法，包括以下步骤：将图像输入主干网络，获取融合特征；将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor‑free分支在任意层级金字塔Pl中学习图片内容，根据图片的内容选择最优化的Pl；整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的A个anchor和K个物体出现的概率，以及A个anchor的4维的偏移量，对目标进行预测和位置回归。该方法解决了多尺度问题和特征提取问题，检测准确度高。

Description

一种基于特征选择的目标检测方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于特征选择的目标检测方法。
背景技术
目标检测技术在现实生活中应用广泛，如安防、追踪、动作识别，是其他研究领域的基础。当前，目标检测技术主要有两个分支，一个是基于one-stage的检测方法，另一个是基于two-stage的检测方法。one-stage的方法检测速度快，实时性能好，但是检测准确率不高。two-stage的方法检测准确率高，但是运行速度慢，不适合用于实时的场景。因此，工业上上使用one-stage的方法居多。one-stage方法的检测准确度不高，主要原因是有两个，一是提取的特征不够准确，二是多尺度的问题。
发明内容
本发明的目的在于克服现有技术的不足，提出了一种基于特征选择的目标检测算法，具有实时性能好，准确率高，稳定性强，计算效率高的优点。
一种基于特征选择的目标检测方法，包括以下步骤：
S1、将图像输入主干网络，获取融合特征；
S2、将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor-free分支在任意层级金字塔Pl中学习图片内容，根据图片的内容选择最优化的Pl；
S3、整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；
S4、通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的A个anchor和K个物体出现的概率，以及A个anchor的4维的偏移量，对目标进行预测和位置回归。
优选地，在上述的基于特征选择的目标检测方法中，所述步骤S1的具体步骤包括：
经过卷积和池化操作，选择最后输出的两个层级的特征图作为融合特征。
优选地，在上述的基于特征选择的目标检测方法中，具体的融合特征方法包括步骤：
S11、经过卷积和池化操作，选择最后输出的两个层级的特征图Pic1和Pic2；
S12、将其中尺寸小的特征图Pic1进行上采样，使其大小变成特征图Pic2的尺寸，然后将其与特征图Pic2进行级联，得到融合特征图。
优选地，在上述的基于特征选择的目标检测方法中，所述多层特征金字塔包括：级联模块、U型网络、选择模块和金字塔，融合特征输入到所述级联模块和第一层金字塔的所述U型网络，所述选择模块用于在U型网络输出的金字塔中选择分辨率最高的层级，并自顶向下链路下一层的级联模块，级联模块用于将选择模块的输出与融合特征进行级联，并且输入到对应层的U型网路中。
优选地，在上述的基于特征选择的目标检测方法中，所述特征选择模块包括两个子网络，分别为分类子网络和回归子网络，所述分类子网在每个空间位置预测其对应的A个anchor和K个物体出现的概率，K表示预测目标的数量，回归子网络预测A个anchor的4维的偏移量，数量A提前定义。
优选地，在上述的基于特征选择的目标检测方法中，在每个金字塔的层级引入两个卷积层，这两个层负责做分类和回归，一个有k个滤波器的3*3卷积层，与分类子网连接，后面接sigmoid函数，用于预测每个空间位置出现k个不同物体的概率。
优选地，在上述的基于特征选择的目标检测方法中，根据图片的内容选择最优化的Pl的具体过程包括：
在Pl上定义分类的损失函数和方框回归的损失函数为和/>其中，
其中，表示区域/>里像素的数量，FL(l,i,j)和IoU(l,i,j)表示在Pl中位置为(i，j)焦点损失函数和IoU损失函数。
优选地，在上述的基于特征选择的目标检测方法中，特征选择模块的特征选择过程为图片通过金字塔的全部层级，然后用上式和/>求损失函数的和，最后通过多层特征金字塔中最合适的层级Pl*产生小的损失函数，用于学习物体，该式为：在训练阶段，特征根据其图片情况进行更新，该损失函数在特征空间形成一个更低的约束，通过训练，减少这个约束，在推理阶段，提供多层特征金字塔中选择的损失小的层级输出高的自信度参数。
本发明的有益效果：本发明的目标检测方法使用了多层级的特征金字塔解决了提取的特征准确度不够的问题，另外，使用特征选择模块，解决多尺度特征的问题。解决了多尺度问题和特征提取的问题，具有实时性能好，准确率高，稳定性强，计算效率高的优点，可在实时场景下使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的流程示意图；
图2为本发明实施例的多层特征金字塔的结构示意图；
图3为本发明实施例的U型网络的结构示意图；
图4为本发明实施例的分类、回归层的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明的实施例提出的一种基于特征选择的目标检测方法，包括以下步骤：
S1、将图像输入主干网络，获取融合特征；
S2、将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor-free分支在任意层级金字塔Pl中学习图片内容，根据图片的内容选择最优化的Pl；
S3、整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；
S4、通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的A个anchor和K个物体出现的概率，以及A个anchor的4维的偏移量，对目标进行预测和位置回归。
具体地，在本发明的优选实施例中，步骤S1的具体包括：将图像通过主干网络VGG-16输入，经过卷积和池化操作，选择最后输出的两个层级的特征图作为融合特征。
具体地，在本发明的优选实施例中，具体的融合特征方法包括步骤：
S11、经过卷积和池化操作，选择最后输出的两个层级的特征图Pic1和Pic2；
S12、将其中尺寸小的特征图Pic1进行上采样，使其大小变成特征图Pic2的尺寸，然后将其与特征图Pic2进行级联，得到融合特征图。
具体地，假设最后两个层级的特征图大小分别为20*20和40*40，将20*20的特征图进行上采样，使其大小变成40*40，然后将其余40*40的特征图进行级联，这样即可得到融合特征图。
如图2所示，多层特征金字塔包括：级联模块、U型网络、选择模块和金字塔，融合特征输入到级联模块和第一层金字塔的U型网络，选择模块用于在U型网络输出的金字塔中选择分辨率最高的层级，并自顶向下链路下一层的级联模块，级联模块用于将选择模块的输出与融合特征进行级联，并且输入到对应层的U型网路中。整合多层特征金字塔的方法如下：将全部U型网络输出的特征金字塔相同尺度特征图进行级联，这样可以组合成一个多层级多尺度的特征金字塔，可以更好的表示目标的特征，通过多层特征金字塔输出的特征对目标的预测和位置回归。
具体地，在本发明的优选实施例中，特征选择模块包括两个子网络，分别为分类子网络和回归子网络，金字塔的每层连接特征选择模块，用于检测不同尺度的目标，这两个子网都是小的全卷积网络。分类子网在每个空间位置预测其对应的A个anchor和K个物体出现的概率，K表示预测目标的数量，回归子网络预测A个anchor的4维的偏移量，数量A提前进行定义。
具体地，在本发明的优选实施例中，如图4所示，在每个金字塔的层级引入两个卷积层，这两个层负责做分类和回归。本发明的目标检测方法没有基于anchor的大小来选择金字塔的层级，而是根据其内容来选择金字塔层级。在此称为anchor-free分支，本发明将这种方法与以前的基于anchor大小选择金字塔层级的方法相结合，可以得到更好的效果。一个有k个滤波器的3*3卷积层，与分类子网连接，后面接sigmoid函数，用于预测每个空间位置出现k个不同物体的概率。类似的，一个有4个滤波器和3*3卷积层连接到回归子网络的特征中，后面跟着ReLU函数。
具体地，在本发明的优选实施例中，根据图片的内容选择最优化的Pl的具体过程包括：
在Pl上定义分类的损失函数和方框回归的损失函数为和/>其中，
其中，表示区域/>里像素的数量，FL(l,i,j)和IoU(l,i,j)表示在Pl中位置为(i，j)焦点损失函数和IoU损失函数。
特征选择模块的特征选择过程为图片通过金字塔的全部层级，然后用上式和/>求损失函数的和，最后通过多层特征金字塔中最合适的层级Pl*产生小的损失函数，用于学习物体，该式为：/> 在训练阶段，特征根据其图片情况进行更新，该损失函数在特征空间形成一个更低的约束，通过训练，减少这个约束，在推理阶段，提供多层特征金字塔中选择的损失小的层级输出高的自信度参数。
如图3所示，在本发明的U型网络结构中，左边最下面的层为融合特征，然后对其进行下采样，即图中左边的路径，称为自底向上路径。然后最顶层需要进行上采样，并与自底向上路径对应大小的层级进行合并，称为横向连接。右边的链路称为自顶向下链路，通过上采样和横向连接，此链路包含顶层语义信息和对应层次的细节信息。另外，在多层金字塔模型中，每个U型网络会输出一个金字塔。因此，U型网络有两个输出，一个输出是金字塔，另一个输出是选择模块。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
综上所述，本发明的目标检测方法使用了多层级的特征金字塔解决了提取的特征准确度不够的问题，另外，使用特征选择模块，解决多尺度特征的问题。解决了多尺度问题和特征提取的问题，具有实时性能好，准确率高，稳定性强，计算效率高的优点，可在实时场景下使用。
另外，以上对本发明实施例所提供的一种基于特征选择的目标检测方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于特征选择的目标检测方法，其特征在于，包括以下步骤：
S1、将图像输入主干网络，获取融合特征；
S2、将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor-free分支在任意层级金字塔Pl中学习图片内容，根据图片的内容选择最优化的Pl；
其中，根据图片的内容选择最优化的Pl的具体过程包括：
在Pl上定义分类的损失函数和方框回归的损失函数为和/>其中，
其中，表示区域/>里像素的数量，FL(l,i,j)和IoU(l,i,j)表示在Pl中位置为(i，j)焦点损失函数和IoU损失函数；
特征选择模块的特征选择过程为图片通过金字塔的全部层级，然后用上式和求损失函数的和，最后通过多层特征金字塔中最合适的层级Pl*产生小的损失函数，用于学习物体，该式为：/> 在训练阶段，特征根据其图片情况进行更新，该损失函数在特征空间形成一个更低的约束，通过训练，减少这个约束，在推理阶段，提供多层特征金字塔中选择的损失小的层级输出高的自信度参数；
S3、整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；
S4、通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的A个anchor和K个物体出现的概率，以及A个anchor的4维的偏移量，对目标进行预测和位置回归。
2.根据权利要求1所述的基于特征选择的目标检测方法，其特征在于，所述步骤S1的具体步骤包括：
经过卷积和池化操作，选择最后输出的两个层级的特征图作为融合特征。
3.根据权利要求1或2所述的基于特征选择的目标检测方法，其特征在于，具体的融合特征方法包括步骤：
S11、经过卷积和池化操作，选择最后输出的两个层级的特征图Pic1和Pic2；
S12、将其中尺寸小的特征图Pic1进行上采样，使其大小变成特征图Pic2的尺寸，然后将其与特征图Pic2进行级联，得到融合特征图。
4.根据权利要求1所述的基于特征选择的目标检测方法，其特征在于，所述多层特征金字塔包括：级联模块、U型网络、选择模块和金字塔，融合特征输入到所述级联模块和第一层金字塔的所述U型网络，所述选择模块用于在U型网络输出的金字塔中选择分辨率最高的层级，并自顶向下链路下一层的级联模块，级联模块用于将选择模块的输出与融合特征进行级联，并且输入到对应层的U型网路中。
5.根据权利要求1所述的基于特征选择的目标检测方法，其特征在于，所述特征选择模块包括两个子网络，分别为分类子网络和回归子网络，所述分类子网在每个空间位置预测其对应的A个anchor和K个物体出现的概率，K表示预测目标的数量，回归子网络预测A个anchor的4维的偏移量，数量A提前定义。
6.根据权利要求3所述的基于特征选择的目标检测方法，其特征在于，在每个金字塔的层级引入两个卷积层，这两个层负责做分类和回归，一个有k个滤波器的3*3卷积层，与分类子网连接，后面接sigmoid函数，用于预测每个空间位置出现k个不同物体的概率。
CN202010088920.9A 2020-02-12 2020-02-12 一种基于特征选择的目标检测方法 Active CN111340039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010088920.9A CN111340039B (zh) 2020-02-12 2020-02-12 一种基于特征选择的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010088920.9A CN111340039B (zh) 2020-02-12 2020-02-12 一种基于特征选择的目标检测方法

Publications (2)

Publication Number Publication Date
CN111340039A CN111340039A (zh) 2020-06-26
CN111340039B true CN111340039B (zh) 2023-10-17

Family

ID=71181542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010088920.9A Active CN111340039B (zh) 2020-02-12 2020-02-12 一种基于特征选择的目标检测方法

Country Status (1)

Country Link
CN (1) CN111340039B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016592B (zh) * 2020-08-04 2024-01-26 杰创智能科技股份有限公司 基于交叉领域类别感知的领域适应语义分割方法及装置
CN111813532B (zh) * 2020-09-04 2020-12-18 腾讯科技（深圳）有限公司 一种基于多任务机器学习模型的图像管理方法及装置
CN112418129B (zh) * 2020-11-30 2024-04-12 上海商汤临港智能科技有限公司 一种点云数据处理的方法、装置、电子设备及存储介质
CN112926531B (zh) * 2021-04-01 2023-09-26 深圳市优必选科技股份有限公司 特征信息提取方法、模型训练方法、装置及电子设备
CN113205152B (zh) * 2021-05-24 2023-12-22 西安邮电大学 一种环视融合的特征融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
WO2019223254A1 (zh) * 2018-05-21 2019-11-28 北京亮亮视野科技有限公司 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223254A1 (zh) * 2018-05-21 2019-11-28 北京亮亮视野科技有限公司 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法

Also Published As

Publication number Publication date
CN111340039A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340039B (zh) 一种基于特征选择的目标检测方法
WO2023056889A1 (zh) 模型训练和场景识别方法、装置、设备及介质
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN110837811A (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN113112519B (zh) 基于感兴趣目标分布的关键帧筛选方法
CN114639042A (zh) 基于改进CenterNet骨干网络的视频目标检测算法
Dinh et al. Transfer learning for vehicle detection using two cameras with different focal lengths
CN110598788A (zh) 目标检测方法、装置、电子设备及存储介质
CN114330529A (zh) 一种基于改进YOLOv4的遮挡行人实时检测方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN115862066A (zh) 一种改进YOLOv5的轻量化社区场景下行人检测方法
Meng et al. A block object detection method based on feature fusion networks for autonomous vehicles
CN113076902B (zh) 一种多任务融合的人物细粒度分割系统和方法
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
Xia et al. MAFA-net: pedestrian detection network based on multi-scale attention feature aggregation
CN115147719A (zh) 一种基于增强语义表示的遥感影像深度土地利用分类方法
CN115810123A (zh) 基于注意力机制和改进特征融合的小目标害虫检测方法
CN115546610A (zh) 基于多机制注意力协同融合对比的红外小目标检测方法
CN112927250B (zh) 一种基于多粒度注意力分层网络的边缘检测系统和方法
Ning et al. The Importance of Anti-Aliasing in Tiny Object Detection
CN113298097B (zh) 基于卷积神经网络的特征点提取方法、设备及存储介质
An et al. Research review of object detection algorithms in vehicle detection
Gao et al. Research on Street View Image Classification Based on CNN-Transformer
CN117218335A (zh) 基于改进yolov5的交通标志检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant