CN112784844A - 一种制作语义分割网训练样本的方法、系统及介质 - Google Patents

一种制作语义分割网训练样本的方法、系统及介质 Download PDF

Info

Publication number
CN112784844A
CN112784844A CN202011639418.9A CN202011639418A CN112784844A CN 112784844 A CN112784844 A CN 112784844A CN 202011639418 A CN202011639418 A CN 202011639418A CN 112784844 A CN112784844 A CN 112784844A
Authority
CN
China
Prior art keywords
image
crop
mask
source
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011639418.9A
Other languages
English (en)
Other versions
CN112784844B (zh
Inventor
王克贤
杭天欣
郑钧友
陈红新
马元巍
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd, Changzhou Weiyizhi Technology Co Ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202011639418.9A priority Critical patent/CN112784844B/zh
Publication of CN112784844A publication Critical patent/CN112784844A/zh
Application granted granted Critical
Publication of CN112784844B publication Critical patent/CN112784844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种制作语义分割网训练样本的方法、系统及介质，涉及深度学习技术领域，该方法包括：步骤1：设定裁剪后获得的训练样本的尺寸，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the；步骤2：获取起始坐标点point(x，y)；步骤3：在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image；步骤4：计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count；步骤5：将像素个数阈值the和像素值的个数count之间进行比较；步骤6：比较完成后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image；步骤7：判断i是否大于等于number。本发明能够减少重复使用大量的负样本对网络进行训练，平衡正、负样本的数量。

Description

一种制作语义分割网训练样本的方法、系统及介质
技术领域
本发明涉及深度学习技术领域，具体地，涉及一种制作语义分割网训练样本的方法、系统及介质。
背景技术
随着深度学习的不断发展，深度学应用领域也越来越多，语义分割一直是深度学习的一个热门分支，使用的非常广泛，例如，自动驾驶目标分割，医疗影像病灶分割，工业领域缺陷分割、生物领域的细胞检测等等，要想分割网能够很好的检测出目标，前提是要制作出分割网可以使用的样本。目前语义分割网络使用的主流样本包含原图和标记图，原图定义为source_image，标记图定义为mask_image，原图通过网络推理生成特征图，特征图定义为feature_image，mask_image与生成的feature_image一起通过损失函数计算损失值，并通过梯度下降更新网络参数。
在训练样本的制作过程中，现在主要的方法是直接输入产品source_image和mask_image图，然后通过在产品source_image和mask_image上随机剪裁，获得固定尺寸训练样本crop_source_image和crop_mask_image，然后送进语义分割网络进行训练。
针对上述现有技术，存在以下技术缺陷，在一幅图中，目标占一幅图的比例一般很小，因此随机剪裁的方法，容易造成正、负样本不均衡，使负样本数远远大于正样本数，同时使网络收敛速度减慢，从而影响模型的召回率。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种制作语义分割网训练样本的方法、系统及介质，能够减少重复使用大量的负样本对网络进行训练，从而具有更少的负样本，平衡正、负样本的数量。
根据本发明提供的一种制作语义分割网训练样本的方法、系统及介质，所述方案如下：
第一方面，提供了一种制作语义分割网训练样本的方法，所述方法包括：
设定裁剪后获得的训练样本的尺寸：宽度width和高度height，并自动转成离32倍数最近的整数，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the；
设定完成之后，获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)；
以起始坐标点point为起始点，以宽度width和高度height为尺寸，在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image；
计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count；
将像素个数阈值the和像素值的个数count之间进行比较；
比较完成后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本，同时i＝i+1；
判断i是否大于等于数量number，当i>＝number，则结束，i<number，则进入步骤2，同时像素个数阈值the恢复到步骤1的设定值。
优选的，所述获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)包括：
在0～source_image图像宽度width之间随机取一个整型数a做为起始坐标点point的x坐标，即x＝a；
在0～source_image图像高度height之间随机取一个整型数b做为起始坐标点point的y坐标，即y＝b。
优选的，所述将像素个数阈值the和像素值的个数count之间进行比较包括：
判断像素值的个数count是否大于像素个数阈值the；
当count>the时，进入步骤6；
当count<the且循环图未找到count>the的时间T大于3秒，则使像素个数阈值the＝the*0.1后，进入步骤2；
当count<the且循环图未找到count>the的时间T小于3秒，则直接进入步骤2。
第二方面，提供了一种制作语义分割网训练样本的系统，所述系统包括：
模块1：设定裁剪后获得的训练样本的尺寸：宽度width和高度height，并自动转成离32倍数最近的整数，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the；
模块2：设定完成之后，获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)；
模块3：以起始坐标点point为起始点，以宽度width和高度height为尺寸，在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image；
模块4：计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count；
模块5：将像素个数阈值the和像素值的个数count之间进行比较；
模块6：比较完成后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本，同时i＝i+1；
模块7：判断i是否大于等于数量number，当i>＝number，则结束，i<number，则进入模块2，同时像素个数阈值the恢复到模块1的设定值。
优选的，所述模块2包括：
在0～source_image图像宽度width之间随机取一个整型数a做为起始坐标点point的x坐标，即x＝a；
在0～source_image图像高度height之间随机取一个整型数b做为起始坐标点point的y坐标，即y＝b。
优选的，所述模块5包括：
判断像素值的个数count是否大于像素个数阈值the；
当count>the时，进入模块6；
当count<the且循环图未找到count>the的时间T大于3秒，则使像素个数阈值the＝the*0.1后，进入模块2；
当count<the且循环图未找到count>the的时间T小于3秒，则直接进入模块2。
与现有技术相比，本发明具有如下的有益效果：
1、在随机选择起始坐标点时，控制了坐标的范围，防止后续裁剪过程中，裁剪样本超出到图像之外；
2、在挑选裁剪样本时，通过裁剪后的标注图像素值大于0的像素个数的阈值，选择保存含目标的样本，过滤掉不含目标或者含极小目标的样本，从而使正、负样本更加平衡；
3、由于每一次裁剪，目标在裁剪图中的位置不一样，从而增加了样本的多样性；
4、使得网络在相同的迭代次数下收敛速度更快，召回率更高。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为样本制作裁剪方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种制作语义分割网训练样本的方法、系统及介质，参照图1所示，首先设定裁剪后获得的训练样本的尺寸：宽度width和高度height，并自动转成离32倍数最近的整数，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the。
在设定完成之后，获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)：
在0～source_image图像宽度width之间随机取一个整型数a做为起始坐标点point的x坐标，即x＝a；
在0～source_image图像高度height之间随机取一个整型数b做为起始坐标点point的y坐标，即y＝b。
其次，以起始坐标点point为起始点，以宽度width和高度height为尺寸，在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image。再计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count，从而将像素个数阈值the和像素值的个数count之间进行比较：
首先判断像素值的个数count是否大于像素个数阈值the，如果判断count>the，则进入下一步骤：保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本；
如果判断count<the且循环图未找到count>the的时间T大于3秒，则使像素个数阈值the＝the*0.1后，进入获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)的步骤；
如果判断count<the且循环图未找到count>the的时间T小于3秒，则直接进入获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)的步骤。
上述像素值的个数count与像素个数阈值the之间的比较完成之后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本，同时i＝i+1。
最后判断i是否大于等于数量number，当i>＝number，则循环结束，i<number，则进入获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)的步骤，同时像素个数阈值the恢复到最初步骤中的设定值。
本发明实施例提供了一种制作语义分割网训练样本的方法、系统及介质，避免了重复使用大量的负样本对网络进行训练，从而具有更少的负样本，用于更加平衡的正、负样本数量，提升了正样本对网络权重的影响，使网络在相同的迭代次数下，具有更快的收敛速度和更高的召回率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种制作语义分割网训练样本的方法，其特征在于，所述方法包括：
步骤1：设定裁剪后获得的训练样本的尺寸：宽度width和高度height，并自动转成离32倍数最近的整数，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the；
步骤2：设定完成之后，获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)；
步骤3：以起始坐标点point为起始点，以宽度width和高度height为尺寸，在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image；
步骤4：计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count；
步骤5：将像素个数阈值the和像素值的个数count之间进行比较；
步骤6：比较完成后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本，同时i＝i+1；
步骤7：判断i是否大于等于数量number，当i>＝number，则结束，i<number，则进入步骤2，同时像素个数阈值the恢复到步骤1的设定值。
2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：
步骤2-1：在0～source_image图像宽度width之间随机取一个整型数a做为起始坐标点point的x坐标，即x＝a；
步骤2-2：在0～source_image图像高度height之间随机取一个整型数b做为起始坐标点point的y坐标，即y＝b。
3.根据权利要求1所述的方法，其特征在于，步骤5包括：
步骤5-1：判断像素值的个数count是否大于像素个数阈值the；
步骤5-2：当count>the时，进入步骤6；
步骤5-3：当count<the且循环图未找到count>the的时间T大于3秒，则使像素个数阈值the＝the*0.1后，进入步骤2；
步骤5-4：当count<the且循环图未找到count>the的时间T小于3秒，则直接进入步骤2。
4.一种制作语义分割网训练样本的系统，其特征在于，所述系统包括：
模块1：设定裁剪后获得的训练样本的尺寸：宽度width和高度height，并自动转成离32倍数最近的整数，设定单张source_image和mask_image裁剪得到crop_source_image和crop_mask_image图的数量number，设定裁剪标记图crop_mask_image像素值大于0的像素个数阈值the；
模块2：设定完成之后，获取裁剪图在source_image和mask_image上的起始坐标点point(x，y)；
模块3：以起始坐标点point为起始点，以宽度width和高度height为尺寸，在source_image和mask_image上进行裁剪，得到裁剪原图crop_source_image和裁剪标记图crop_mask_image；
模块4：计算裁剪标记图crop_mask_image图中像素值大于0的像素值的个数count；
模块5：将像素个数阈值the和像素值的个数count之间进行比较；
模块6：比较完成后，保存裁切后的裁剪原图crop_source_image和裁剪标记图crop_mask_image，做为语义分割网的训练样本，同时i＝i+1；
模块7：判断i是否大于等于数量number，当i>＝number，则结束，i<number，则进入模块2，同时像素个数阈值the恢复到模块1的设定值。
5.根据权利要求4所述的系统，其特征在于，所述模块2包括：
在0～source_image图像宽度width之间随机取一个整型数a做为起始坐标点point的x坐标，即x＝a；
在0～source_image图像高度height之间随机取一个整型数b做为起始坐标点point的y坐标，即y＝b。
6.根据权利要求4所述的系统，其特征在于，所述模块5包括：
判断像素值的个数count是否大于像素个数阈值the；
当count>the时，进入模块6；
当count<the且循环图未找到count>the的时间T大于3秒，则使像素个数阈值the＝the*0.1后，进入模块2；
当count<the且循环图未找到count>the的时间T小于3秒，则直接进入模块2。
7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
CN202011639418.9A 2020-12-31 2020-12-31 一种制作语义分割网训练样本的方法、系统及介质 Active CN112784844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011639418.9A CN112784844B (zh) 2020-12-31 2020-12-31 一种制作语义分割网训练样本的方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011639418.9A CN112784844B (zh) 2020-12-31 2020-12-31 一种制作语义分割网训练样本的方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112784844A true CN112784844A (zh) 2021-05-11
CN112784844B CN112784844B (zh) 2022-08-12

Family

ID=75753450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011639418.9A Active CN112784844B (zh) 2020-12-31 2020-12-31 一种制作语义分割网训练样本的方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112784844B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463336A (zh) * 2021-12-29 2022-05-10 济南超级计算技术研究院 一种用于图像及其像素级分割标注数据的裁剪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880858A (en) * 1997-12-31 1999-03-09 Mustek Systems Inc. Method of auto-cropping images for scanners
CN109523503A (zh) * 2018-09-11 2019-03-26 北京三快在线科技有限公司 一种图像裁剪的方法和装置
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111626335A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种像素增强的神经网络的改进难例挖掘训练方法及系统
CN112101463A (zh) * 2020-09-17 2020-12-18 成都数之联科技有限公司 图像语义分割网络训练方法、分割方法、分割装置和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880858A (en) * 1997-12-31 1999-03-09 Mustek Systems Inc. Method of auto-cropping images for scanners
CN109523503A (zh) * 2018-09-11 2019-03-26 北京三快在线科技有限公司 一种图像裁剪的方法和装置
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111626335A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种像素增强的神经网络的改进难例挖掘训练方法及系统
CN112101463A (zh) * 2020-09-17 2020-12-18 成都数之联科技有限公司 图像语义分割网络训练方法、分割方法、分割装置和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王超奇 等: "基于孪生网络结构的单样本图例检测方法", 《计算机与现代化》, no. 12, 15 December 2020 (2020-12-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463336A (zh) * 2021-12-29 2022-05-10 济南超级计算技术研究院 一种用于图像及其像素级分割标注数据的裁剪方法及系统

Also Published As

Publication number Publication date
CN112784844B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN106022237B (zh) 一种端到端的卷积神经网络的行人检测方法
CN106776842B (zh) 多媒体数据检测方法及装置
CN112232476B (zh) 更新测试样本集的方法及装置
CN112287899A (zh) 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN113076992A (zh) 一种生活垃圾检测方法及装置
CN111401523A (zh) 一种基于网络层剪枝的深度学习网络模型压缩方法
CN112784844B (zh) 一种制作语义分割网训练样本的方法、系统及介质
CN113240039A (zh) 基于空间位置特征重加权的小样本目标检测方法及系统
CN114723756B (zh) 基于双监督网络的低分时序遥感目标检测方法及装置
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113361466B (zh) 一种基于多模态交叉指导学习的多光谱目标检测方法
CN113963333A (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN116758407A (zh) 一种基于CenterNet的水下小目标检测方法及装置
CN112416301A (zh) 深度学习模型开发方法及装置、计算机可读存储介质
CN106934015A (zh) 地址数据处理方法和装置
CN109389216A (zh) 神经网络的动态裁剪方法、装置及存储介质
CN116051961A (zh) 一种目标检测模型训练方法、目标检测方法、设备及介质
CN116503881A (zh) 一种基于改进YOLOv5n模型的验证码目标检测方法
CN112487911B (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置
CN114120096A (zh) 一种基于交互式ai的红绿灯标注方法及系统
CN109409507A (zh) 神经网络构建方法及设备
CN113469955A (zh) 一种光伏组件故障区图像检测方法及系统
CN116630609A (zh) 图像的目标检测方法、装置
CN114049554A (zh) 基于轻量化YOLOv5s模型的草坪障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant