CN112232450B - 一种综合多阶段的难例样本挖掘方法、目标检测方法 - Google Patents
一种综合多阶段的难例样本挖掘方法、目标检测方法 Download PDFInfo
- Publication number
- CN112232450B CN112232450B CN202011469579.8A CN202011469579A CN112232450B CN 112232450 B CN112232450 B CN 112232450B CN 202011469579 A CN202011469579 A CN 202011469579A CN 112232450 B CN112232450 B CN 112232450B
- Authority
- CN
- China
- Prior art keywords
- image
- difficult
- model
- difficulty
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种综合多阶段的难例样本挖掘方法、目标检测方法,涉及目标检测技术领域。在难例样本挖掘阶段,具体实现方案为:利用训练集对所述模型进行训练;将训练过程中得到的不同阶段的模型在背景图像上进行前向传播,得到存在误检的图像中目标的类别和置信度;确定各类别的困难权重;计算图像的困难置信度;确定阈值,保留图像的困难置信度大于该阈值的图像;多模型难例图像融合;保存难例样本。本申请技术提高了利用深度学习方法执行目标检测任务的效率以及准确率。
Description
技术领域
本发明属于目标检测技术领域,具体涉及一种综合多阶段的难例样本挖掘方法、目标检测方法。
背景技术
近年来,随着人工智能技术的不断发展,深度学习技术已经在计算机视觉领域的分类、识别、检测、分割、跟踪等任务中都取得了突破性的进展。相较于传统的机器视觉方法,深度卷积神经网络在大数据的训练下,从大量数据中学习出有用的特征,具有速度快、精度高、成本低等优势。但是,深度学习能达到这种优于传统方法的很大一部分原因是因为深度学习是建立在大量数据的基础上的,特别是在目标检测领域,深度学习更是需要大量的、有效的数据,深度学习过于依赖数据集。为了提供足够量的有效数据,当前主流的做法就是数据增强,但是并不是一味的增加数据量就能够提升模型的检测性能,还需要受到检测目标的放置角度、背景环境等外界因素影响的样本来还原真实场景下的用于检测的图像数据,训练检测网络才能提高目标检出准确率和召回率,这就更加加重了采集数据和标注数据所需的成本。另外,在一些特定场景中,采集的图像除去目标外的背景常常非常单一,造成此图在算法训练中采样的负样本的也几乎是单一的空白图像,使得算法的对于负样本的学习效果较差,算法在实际运用中较难分辨复杂背景,容易把背景误检为目标影响了目标检测效果。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的技术缺陷,提供一种综合多阶段的难例样本挖掘方法、目标检测方法,解决复杂背景中目标的误检问题,以提高利用深度学习方法执行目标检测过程中的检测效率以及准确率。
根据本发明的一个方面,提供一种综合多阶段的难例样本挖掘方法,包括:(1)获取图像样本组成训练集并构建基于深度学习的目标检测模型,利用训练集对所述模型进行训练,所述训练集包含背景图像和前景图像。
(2)将训练过程中得到的不同阶段的模型在背景图像上进行前向传播,得到存在误检的图像中目标的类别和置信度。
(3)统计所述误检的图像中每个类别目标的数量,根据各个类别的数量确定该类别的困难权重;
(4)通过图像中误检目标的类别困难权重与模型前向传播的置信度计算出图像的困难置信度。
(5)确定阈值,保留图像的困难置信度大于该阈值的图像。
(6)多模型难例图像融合,根据难例图像在模型中出现的频率控制难例图像采样次数,综合多个模型的难例结果进行保存。
(7)组合步骤(5)和/或步骤(6)保存的图像作为难例样本。
与现有技术相比,本发明至少具有以下有益效果:综合训练多个阶段的模型挖掘出的难例图像能够更合理地选出使模型更容易犯错的样本,对背景复杂情况下的目标检测更具有针对性,难例是图像级别的而非单个候选框可以丰富背景。提高了利用深度学习方法执行目标检测任务的效率以及准确率。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案,下面将对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一个或多个一部分实施例,而不是全部的实施例。基于本说明书一个或多个中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书一个或多个保护的范围。
实施例1:为了解决上述技术问题,本实施例以违禁品检测场景的模型为例,对难例样本挖掘方法进行说明。
一种综合多阶段的难例样本挖掘方法,其步骤包括:(1)获取图像样本组成训练集并构建基于深度学习的违禁品检测模型,利用训练集对所述模型进行训练,所述训练集包含背景图像和前景图像。
具体的,图像样本的获取不限于图像采集,还可以包括通过对图像进行数据增广所得的样本和/或通过现有技术中公开的图像融合方法所得的新样本,将获取的图像样本组成训练集,用于对构建的违禁品检测模型进行训练。并且,对图像的种类也不作限定,可以由相机、X射线安检设备、太赫兹成像设备获取的均可,但是通常情况下,图形由上述同种设备获取,不会有多种设备获取的图像混合作为同一个训练集的样本。模型训练时所用到的训练集包含前景图像和背景图像,前景图像为包含违禁品的图像,背景图像为不包含违禁品的图像。本实施例中对模型的类型也不作额外限制,基于深度学习方法的模型均可,例如以Faster RCNN为代表的two stage的目标检测框架或以SSD、YOLO为代表的one stage的目标检测框架等。
(2)将训练过程中得到的不同阶段的模型在背景图像上进行前向传播,得到存在误检的图像中目标的类别和置信度。
模型的训练过程是需要模型对训练集多次学习,每次学习都会对模型的参数进行调整,也就是说每次学习的过程都会产生参数不同的模型,本实施例中就将训练过程中得到的模型称作不同阶段的模型。具体的,以模型学习2遍训练集(即训练2个epoch)保存一次模型为例,假如设置训练14个epoch,那么会保存下来第2、4、6、8、10、12、14模型,将这7个模型在训练的背景图像上做分别前向传播,由于背景图像上没有真实违禁品,所以检测出来的违禁品均为误检,这样可以得到保存的每个模型误检的图像。
实际上,本实施例对模型保存的时机不作限制,可以每个epoch都对模型进行保存,得到每个模型的误检的图像,也可以随机保存,只要是得到多个阶段的模型即可。
(3)统计所述误检的图像中每个类别违禁品的数量,根据各个类别的数量确定该类别的困难权重。
《禁止寄递物品指导目录》中对违禁品进行了18+1项分类,一般安检过程中对违禁品的检测要求也是多种违禁品,但是实际训练过程中,可以根据应用场景、采买难度、安检要求对违禁品的种类删减、细分、扩充等,由于模型训练的需要,违禁品的类别是有预期的设定好的,所以可以对误检的图像进行分类。
在本实施例中,对误检的图像中违禁品分类后,统计各个类别的数量,例如,本实施例中对鞭炮、电击器、管制刀具、锂电池、手枪、手铐、火石滚轮打火机、压电陶瓷打火机、压力罐、日常刀具、非易碎瓶、煤油瓶、易碎瓶共计12个类别的违禁品进行检测,
类别困难权重计算方法:
由于模型训练初期波动比较大,为了使挖掘的难例更具有代表性,降低噪声所带来的干扰,会过滤误检类别数量分布异常的模型,例如,假设其他模型的手枪类别的误检数量只占总的误检数量的5%,而第2、6、8个模型的数量占25%、25%、30%则不使用第2、6、8个模型,从而保留第4、10、12、14个模型,即model_4,model_10,model_12,model_14。
(4)通过图像中误检目标的类别困难权重与模型前向传播的置信度计算出图像的困难置信度。
每个图像的困难置信度的计算公式为:
需要注意,一张图像中可能会有多个误检的目标且类别不相同。
(5)确定阈值,保留图像的困难置信度大于该阈值的图像作为难例图像;
根据需要保留的图像比例或者经验值选取阈值,其中,需要保留的图像比例可以根据需要设置,保留困难置信度大于该阈值的图像。例如,通过步骤(4)得出的十张图像的困难置信度分别为0.1,0.15,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9。根据需要保留的图像比例为0.6,则阈值为0.4,困难置信度大于0.4的图像会被保留,即困难置信度为0.4,0.5,0.6,0.7,0.8,0.9的图像保留。
(6)多模型难例图像融合,根据难例图像在模型中出现的频率控制难例图像采样次数,综合多个模型的难例结果进行保存。
具体的,作为举例,步骤包括:首先,将筛选后的n个模型重复(4)和(5)步骤,得到n批难例图像;然后,统计这n批难例图像中的共同交集图像重复采样n次得到难例图像集hard_n_inter,两两交集图像重复采样2次得到难例图像集hard_2_inter,最后两个epoch模型难例采样1次得到hard_model_last;最后,得到融合的难例图像集合为{hard_n_inter,hard_2_inter,hard_model_last}。
再具体的,作为举例,选出model_4,model_10,model_12, model_14分别做上述操作,其中,model_14为训练最后一个epoch保存下来的模型,上述4个模型的误检的图像如下:
model_4:1.jpg,2.jpg,3.jpg,6.jpg,8.jpg,10.jpg
model_10:1.jpg,4.jpg,3.jpg,6.jpg,8.jpg,11.jpg
model_12:1.jpg,4.jpg,3.jpg,6.jpg,8.jpg,12.jpg
model_14:1.jpg,2.jpg,3.jpg,6.jpg,8.jpg,13.jpg
则可知,3.jpg,6.jpg,8.jpg为上述4个模型都会犯错的难例,1.jpg,2.jpg,3.jpg,6.jpg,8.jpg为2个模型都会犯错的难例。
将4个模型都会犯错的难例重复采样4次,2个模型都会犯错的难例重复采样2次,model_12, model_14的难例重复采样1次,这么做是为了控制模型训练时难例所被训练的次数,虽然都是难例,但是都会犯错的难例说明难中更难,那么训练时会比一般的难例训练的次数更多。
(7)组合步骤(5)和/或步骤(6)保存的图像作为难例背景样本。
可选的,还包括步骤(8),将步骤(7)所述难例背景样本与前景样本随机做拼接和/或图像融合,得到难例前景样本。
可选的,还包括步骤(9),将步骤(7)和步骤(8)的样本组合作为训练集。
实施例2:对应于上述多阶段的目标检测模型训练方法,根据本发明实施例,还提供了一种目标检测方法,包括:
步骤1:获取图像,并对图像预处理;其中,预处理方式包括但不限于图像归一化、去噪、背景差分、去伪影中的一种或多种。
步骤2:通过预设的目标检测模型得到图像的检测结果,所述预设的目标检测模型通过本发明实施例1方法所得样本训练得到;所述检测结果包括违禁品的种类和位置信息。
优选的,所述预设的目标检测模型为实施例1步骤(6)保存的最后一个模型。模型训练过程如下:将保存的最后一个模型在实施例1方法所得样本上做微调,并将训练的学习率设置成与最后一个模型训练完成时一致,训练2个epoch。
本发明的技术方案还可以应用于除实施例1违禁品检测以外的目标识别检测场景,例如人脸识别、车牌识别、道路识别、无人驾驶、在医学影像CT检查场景下的病灶检测分析等多种目标检测场景。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (11)
1.一种综合多阶段的难例样本挖掘方法,其步骤包括:
(1)获取图像样本组成训练集并构建基于深度学习的目标检测模型,利用训练集对所述模型进行训练,所述训练集包含背景图像和前景图像;
(2)将训练过程中得到的不同阶段的模型在背景图像上进行前向传播,得到存在误检的图像中目标的类别和置信度;
(3)统计所述误检的图像中每个类别目标的数量,根据各个类别的数量确定该类别的困难权重,并过滤误检类别数量分布异常的模型;
(4)通过图像中误检目标的类别困难权重与模型前向传播的置信度计算出每个图像的困难置信度;
(5)确定阈值,保留图像的困难置信度大于该阈值的图像作为难例图像;
(6)多模型难例图像融合,根据难例图像在模型中出现的频率控制难例图像采样次数,综合多个模型的难例结果进行保存;
(7)组合步骤(5)和/或步骤(6)保存的图像作为难例背景样本。
2.根据权利要求1所述的一种综合多阶段的难例样本挖掘方法,其特征在于,还包括步骤(8),将步骤(7)所述难例背景样本与前景样本随机做拼接和/或图像融合,得到难例前景样本。
3.根据权利要求2所述的一种综合多阶段的难例样本挖掘方法,其特征在于,可选的,还包括步骤(9),将步骤(7)和步骤(8)的样本组合作为训练集。
4.根据权利要求1所述的一种综合多阶段的难例样本挖掘方法,其特征在于,步骤(1)中所述图像样本包括图像采集,对图像进行数据增广所得的样本,通过图像融合方法所得的新样本中的一种或多种组合。
7.根据权利要求1所述的一种综合多阶段的难例样本挖掘方法,其特征在于,步骤(4)中所述每个图像中可能会有多个误检的目标且类别不相同。
8.根据权利要求1所述的一种综合多阶段的难例样本挖掘方法,其特征在于,步骤(5)中所述阈值根据需要保留的图像比例或者经验值选取。
9.根据权利要求1所述的一种综合多阶段的难例样本挖掘方法,其特征在于,步骤(6)具体包括:将筛选后的n个模型重复步骤(4)和(5),得到n批难例图像;然后,统计这n批难例图像中的共同交集图像重复采样n次得到难例图像集hard_n_inter,两两交集图像重复采样2次得到难例图像集hard_2_inter,最后两个epoch模型难例采样1次得到hard_model_last;最后,得到融合的难例图像集合为{hard_n_inter,hard_2_inter,hard_model_last}。
10.根据权利要求1-9任一所述的一种综合多阶段的难例样本挖掘方法,其特征在于,所述难例样本挖掘方法用于违禁品检测、人脸识别、车牌识别、道路识别、无人驾驶、在医学影像CT检查场景下的病灶检测分析中的一种或多种目标检测场景。
11.一种目标检测方法,包括:
步骤1:获取图像,并对图像预处理;其中,预处理方式包括但不限于图像归一化、去噪、背景差分、去伪影中的一种或多种;
步骤2:通过预设的目标检测模型得到图像的目标区域;所述预设的目标检测模型通过权利要求1-10任一方法所得样本训练得到;
步骤3:根据得到的所述安检图像的目标区域,确定所述安检图像的检测结果,其中,所述检测结果包括违禁品的种类和位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011469579.8A CN112232450B (zh) | 2020-12-15 | 2020-12-15 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011469579.8A CN112232450B (zh) | 2020-12-15 | 2020-12-15 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112232450A CN112232450A (zh) | 2021-01-15 |
CN112232450B true CN112232450B (zh) | 2021-03-16 |
Family
ID=74124067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011469579.8A Active CN112232450B (zh) | 2020-12-15 | 2020-12-15 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112232450B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926637B (zh) * | 2021-02-08 | 2023-06-09 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种文本检测训练集的生成方法 |
CN113240611B (zh) * | 2021-05-28 | 2024-05-07 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
CN114283392B (zh) * | 2021-12-10 | 2024-04-05 | 广州海格星航信息科技有限公司 | 一种道路目标检测的困难样本的采集系统 |
CN114418021B (zh) * | 2022-01-25 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 模型优化方法、装置及计算机程序产品 |
CN114120070B (zh) * | 2022-01-29 | 2022-05-10 | 浙江啄云智能科技有限公司 | 图像检测方法、装置、设备及存储介质 |
CN114627338B (zh) * | 2022-05-16 | 2022-09-09 | 浙江华是科技股份有限公司 | 一种船舶类别分类模型训练方法、系统及计算机存储介质 |
CN115294536B (zh) * | 2022-08-10 | 2023-07-28 | 北京百度网讯科技有限公司 | 基于人工智能的违章检测方法、装置、设备及存储介质 |
CN115131655B (zh) * | 2022-09-01 | 2022-11-22 | 浙江啄云智能科技有限公司 | 目标检测模型的训练方法、装置与目标检测方法 |
CN117292179B (zh) * | 2023-09-14 | 2024-08-20 | 博瀚智能(深圳)有限公司 | 基于质检场景的难例筛选方法、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
CN109800778A (zh) * | 2018-12-03 | 2019-05-24 | 浙江工业大学 | 一种基于难分样本挖掘的Faster RCNN目标检测方法 |
-
2020
- 2020-12-15 CN CN202011469579.8A patent/CN112232450B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
CN109800778A (zh) * | 2018-12-03 | 2019-05-24 | 浙江工业大学 | 一种基于难分样本挖掘的Faster RCNN目标检测方法 |
Non-Patent Citations (2)
Title |
---|
Training region-based object detectors with online Hard example mining;Abhinav Shrivastava等;《https://arxiv.org/pdf/1604.03540.pdf》;20160412;1-9 * |
基于难负样本挖掘的改进Faster RCNN训练方法;艾拓等;《计算机科学》;20180531;第45卷(第5期);第250-254页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112232450A (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112232450B (zh) | 一种综合多阶段的难例样本挖掘方法、目标检测方法 | |
CN110084165A (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
Millan et al. | On‐the‐Go Grapevine Yield Estimation Using Image Analysis and Boolean Model | |
CN108596053A (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 | |
US20230162341A1 (en) | Half-cast mark identification and damaged flatness evaluation and classification method for blastholes in tunnel blasting | |
CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
CN108399382A (zh) | 车险图像处理方法和装置 | |
CN111382690B (zh) | 基于多损失融合模型的车辆再识别方法 | |
CN106897681A (zh) | 一种遥感图像对比分析方法及系统 | |
CN106909886A (zh) | 一种基于深度学习的高精度交通标志检测方法及系统 | |
CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
CN109858476A (zh) | 标签的扩充方法和电子设备 | |
CN106204642A (zh) | 一种基于深度神经网络的细胞追踪方法 | |
CN111539957A (zh) | 一种用于目标检测的图像样本生成方法、系统及检测方法 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN111833322A (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
WO2021169049A1 (zh) | 一种真实场景下玻璃检测的方法 | |
CN111191531A (zh) | 一种快速行人检测方法及系统 | |
CN117495891B (zh) | 点云边缘检测方法、装置和电子设备 | |
Li et al. | Underwater Target Detection Based on Improved YOLOv4 | |
CN110472638A (zh) | 一种目标检测方法、装置及设备、存储介质 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
CN108717522A (zh) | 一种基于深度学习和相关滤波的人体目标跟踪方法 | |
Edpuganti et al. | Effect of data quality on water body segmentation with deeplabv3+ algorithm | |
CN116863242A (zh) | 一种基于改进YOLOv7的PCB缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |