CN112733622A - 一种禾本科植物分蘖数量计数方法 - Google Patents

一种禾本科植物分蘖数量计数方法 Download PDF

Info

Publication number
CN112733622A
CN112733622A CN202011560859.XA CN202011560859A CN112733622A CN 112733622 A CN112733622 A CN 112733622A CN 202011560859 A CN202011560859 A CN 202011560859A CN 112733622 A CN112733622 A CN 112733622A
Authority
CN
China
Prior art keywords
rectangular frame
tillering
mask
counting
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011560859.XA
Other languages
English (en)
Other versions
CN112733622B (zh
Inventor
苏家仪
韦光亮
王筱东
苏世宁
滕毅有
张玉国
何家海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Talentcloud Information Technology Co ltd
Original Assignee
Guangxi Talentcloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Talentcloud Information Technology Co ltd filed Critical Guangxi Talentcloud Information Technology Co ltd
Priority to CN202011560859.XA priority Critical patent/CN112733622B/zh
Publication of CN112733622A publication Critical patent/CN112733622A/zh
Application granted granted Critical
Publication of CN112733622B publication Critical patent/CN112733622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/27—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum
    • G06M1/272—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum using photoelectric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种禾本科植物分蘖数量计数方法，包括以下步骤：（1）数据采集与标注：采集禾本科植物分蘖RGB图像，并进行多边形标注；（2）生成数据集:将步骤（1）进行多边形标注后的数据转换成COCO格式的实例分割数据集，并将该实例分割数据集按0.8:0.1:0.1的比例随机划分为训练集、验证集与测试集；（3）构建一种基于可旋转矩形框的Mask R‑CNN实例分割网络（4）模型训练：指定步骤（2）中的训练集与验证集使用SGD优化器训练；（5）模型推理：将步骤（2）中的测试集内的数据输入到步骤（3）的Mask R‑CNN实例分割网络中进行推理。本发明有效提升实例分割算法的召回率与精确率，提高分蘖计数准确率。

Description

一种禾本科植物分蘖数量计数方法
技术领域
本发明涉及图像识别技术领域，更具体地，涉及一种禾本科植物分蘖数量计数方法。
背景技术
分蘖是禾本科植物特殊的分枝特性，也是一种重要的农艺性状之一，可直接影响禾本科植物产量与种子产量。分蘖性状是禾本科植物研究领域的热门方向，分蘖数量计数对该性状研究具有重要指导意义。
目前，分蘖数量计数方式有如下几种方法：传统的人工计数方法，效率较低；基于地面激光雷达的计数方式，成本较高；基于通用目标检测与实例分割的方式，采用的是原始矩形框的标注方式，不包含角度信息，对于分蘖数量计数的场景，存在单个矩形框对应多个同类目标的问题，导致召回率、精确率较低，计数效果不佳。
发明内容
本发明针对背景技术存在的不足，采用图像识别的方式，根据禾本科植物分蘖以靠近地面的茎基部为中心点向四周发散的生长特性，提供了一种基于可旋转矩形框的MaskR-CNN实例分割网络的禾本科植物分蘖数量计数方法，有效提升实例分割算法的召回率与精确率，提高分蘖计数准确率。
为解决上述问题，提供一种禾本科植物分蘖数量计数方法，包括以下步骤：
（1）数据采集与标注：采集禾本科植物分蘖RGB图像，并通过labelme工具对所述禾本科植物分蘖RGB图像的分蘖枝条进行多边形标注；所述多边形标注的方式为沿每根分蘖枝条轮廓进行细分标注，并获得原始的矩形框；
（2）生成数据集:将步骤（1）进行多边形标注后的数据转换成COCO格式的实例分割数据集，并将该实例分割数据集按0.8:0.1:0.1的比例随机划分为训练集、验证集与测试集；
（3）构建一种基于可旋转矩形框的Mask R-CNN实例分割网络：将步骤（1）的多边形标注通过Mask R-CNN训练将原始的矩形框转换为可旋转矩形框；所述Mask R-CNN训练包括RPN候选框生成阶段、矩形框损失计算阶段、Mask损失计算阶段；
（4）模型训练：指定步骤（2）中的训练集与验证集使用SGD优化器训练，并在训练过程中进行动态数据增强，构建多任务损失函数；
（5）模型推理：步骤（4）模型训练完成后，将步骤（2）中的测试集内的数据依次进行预处理后，输入到步骤（3）的Mask R-CNN实例分割网络中进行推理，推理结果是禾本科植物分蘖每根枝条的边缘得到拟合的多边形点集，且基于每个多边形点集，生成一个可旋转的矩形框，所述矩形框的数量即为禾本科植物分蘖数量。
特别的，所述步骤（1）中采集禾本科植物分蘖RGB图像的方法为通过相机以茎基部为中心并以俯视角度拍摄获得。
特别的，所述步骤（3）中将原始的矩形框转换为可旋转矩形框的方法为通过OpenCV的minAreaRect函数进行计算得出多边形区域标注的最小外接矩形框，即得到可旋转矩形框。
特别的，所述步骤（4）中的动态数据增强的方式包括旋转、翻转、随机调整亮度、对比度。
特别的，所述步骤（4）中的多任务损失函数为
Figure DEST_PATH_IMAGE002
；其中，
Figure DEST_PATH_IMAGE004
表示多任务损失函数；
Figure DEST_PATH_IMAGE006
表示分类损失，用于计算预测标签与目标标签的交叉熵分类损失，预测标签、目标标签为分蘖枝条的标注名称branch以及其他负样本名称；步骤（3）中矩形框损失计算阶段中计算出来的可旋转矩形框损失；
Figure DEST_PATH_IMAGE008
表示步骤（3）中Mask损失计算阶段计算出来的Mask损失。
特别的，所述步骤（4）中，所述SGD优化器的学习率设置为0.01且按指数方式衰减。
本发明的有益效果：
本发明针对禾本科植物分蘖以靠近地面的茎基部为中心点向四周发散的生长特性，构建一种基于可旋转矩形框的Mask R-CNN实例分割网络，与现有禾本科植物分蘖数量计数方法相比，成本较低，适应多种分蘖数量计数的场景，避免传统目标检测与实例分割在禾本科植物分蘖数量计数场景下存在的目标标注区域重叠而引发的前景类别混淆问题，能够有效提升召回率与精确率，进而提升分蘖数量计数的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的计数方法流程图；
图2为本发明实施例中生成的可旋转矩形框示例；
图3为本发明实施例中构建可旋转矩形框的Mask R-CNN实例分割网络示例。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示，本实施例的一种禾本科植物分蘖数量计数方法，包括以下步骤：
（1）数据采集与标注：通过相机以茎基部为中心并以俯视角度拍摄获得禾本科植物分蘖RGB图像，并通过labelme工具对禾本科植物分蘖RGB图像的分蘖枝条进行多边形标注，多边形标注的方式为沿每根分蘖枝条轮廓进行细分标注，并获得原始的矩形框。
（2）生成数据集：将标注好的数据，转化成COCO格式的实例分割数据集，并将数据集按0.8:0.1:0.1的比例随机划分为训练集、验证集与测试集，其中，训练集用于训练模型，验证集用于训练过程中验证模型指标，测试集用于测试训练后得到的模型；
（3）构建一种基于可旋转矩形框的Mask R-CNN实例分割网络：将多边形标注转换为可旋转矩形框，替换原始的矩形框。构造可旋转矩形框的目的是解决传统目标检测与实例分割在禾本科植物分蘖数量计数场景下存在的目标标注区域重叠而引发的前景类别混淆问题。可旋转矩形框如图2所示，训练时可根据多边形区域标注自动生成，由原始的矩形框
Figure DEST_PATH_IMAGE010
调整为可旋转矩形框，其中，
Figure DEST_PATH_IMAGE012
表示传统矩形框中心点坐标，
Figure DEST_PATH_IMAGE014
表示传统矩形框宽度，
Figure DEST_PATH_IMAGE016
表示传统矩形框高度；
Figure DEST_PATH_IMAGE018
表示可旋转矩形框中心点坐标，
Figure DEST_PATH_IMAGE020
表示可旋转矩形框宽度，表示可旋转矩形框高度，
Figure DEST_PATH_IMAGE022
表示可旋转矩形框旋转角度，可通过OpenCV的minAreaRect函数进行计算得出多边形区域标注的最小外接矩形框，即得到可旋转矩形框。Mask R-CNN训练时Mask R-CNN有三个阶段需将矩形框转换成可旋转矩形框。如图3所示，分别是RPN候选框生成阶段、矩形框损失计算阶段、Mask损失计算阶段。其中，RPN候选框生成阶段是将锚点框与目标框分别进行转换，锚点框由5种尺寸组成，每种尺寸分别包含3种宽高比，共15组，用作目标框回归时的固定参考框，判断两者直接的偏离情况，目标框为目标实际的矩形框，对转换后的锚点框与目标框进行IoU计算；矩形框损失计算阶段是将候选框与目标框分别进行转换，候选框为图3所示Mask R-CNN实例分割网络中的class box部分，为最终生成的候选矩形框，目标框为目标实际的矩形框，对转换后的锚点框与目标框进行IoU计算；Mask损失计算阶段则将候选框与目标框分别进行转换，候选框为图3所示Mask R-CNN实例分割网络最右侧图片的矩形框部分,对转换后的候选框与目标框进行IoU计算。
（4）模型训练：指定训练集与验证集，使用SGD优化器训练，学习率设置为0.01，按指数方式衰减；训练过程进行动态数据增强，动态数据增强包括旋转、翻转、随机调整亮度、对比度等，降低过拟合风险；构建多任务损失函数，如公式(1)所示，其中，表示多任务损失函数，由、
Figure DEST_PATH_IMAGE024
、
Figure 291631DEST_PATH_IMAGE008
三种任务的损失组成；
Figure 703152DEST_PATH_IMAGE006
表示分类损失，用于计算预测标签与目标标签的交叉熵分类损失，预测标签、目标标签为分蘖枝条的标注名称branch以及其他负样本名称，如neg1、neg2；
Figure 376579DEST_PATH_IMAGE024
表示步骤（3）中矩形框损失计算阶段中计算出来的可旋转矩形框损失；
Figure 236257DEST_PATH_IMAGE008
表示步骤（3）中Mask损失计算阶段计算出来的Mask损失。
Figure DEST_PATH_IMAGE002A
（1）；
（5）模型推理：训练完成后，将测试集中的图片依次进行预处理后，输入到步骤（3）中的Mask R-CNN实例分割网络中进行推理，推理结果是禾本科植物分蘖每根枝条的边缘得到拟合的多边形点集，且基于每个多边形点集，生成一个可旋转的矩形框，矩形框数量即为禾本科植物分蘖数量。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (6)

1.一种禾本科植物分蘖数量计数方法，其特征在于：包括以下步骤：
（1）数据采集与标注：采集禾本科植物分蘖RGB图像，并通过labelme工具对所述禾本科植物分蘖RGB图像的分蘖枝条进行多边形标注；所述多边形标注的方式为沿每根分蘖枝条轮廓进行细分标注，并获得原始的矩形框；
（2）生成数据集:将步骤（1）进行多边形标注后的数据转换成COCO格式的实例分割数据集，并将该实例分割数据集按0.8:0.1:0.1的比例随机划分为训练集、验证集与测试集；
（3）构建一种基于可旋转矩形框的Mask R-CNN实例分割网络：将步骤（1）的多边形标注通过Mask R-CNN训练将原始的矩形框转换为可旋转矩形框；所述Mask R-CNN训练包括RPN候选框生成阶段、矩形框损失计算阶段、Mask损失计算阶段；
（4）模型训练：指定步骤（2）中的训练集与验证集使用SGD优化器训练，并在训练过程中进行动态数据增强，构建多任务损失函数；
（5）模型推理：步骤（4）模型训练完成后，将步骤（2）中的测试集内的数据依次进行预处理后，输入到步骤（3）的Mask R-CNN实例分割网络中进行推理，推理结果是禾本科植物分蘖每根枝条的边缘得到拟合的多边形点集，且基于每个多边形点集，生成一个可旋转的矩形框，所述矩形框的数量即为禾本科植物分蘖数量。
2.根据权利要求1所述的一种禾本科植物分蘖数量计数方法，其特征在于：所述步骤（1）中采集禾本科植物分蘖RGB图像的方法为通过相机以茎基部为中心并以俯视角度拍摄获得。
3.根据权利要求1所述的一种禾本科植物分蘖数量计数方法，其特征在于：所述步骤（3）中将原始的矩形框转换为可旋转矩形框的方法为通过OpenCV的minAreaRect函数进行计算得出多边形区域标注的最小外接矩形框，即得到可旋转矩形框。
4.根据权利要求1所述的一种禾本科植物分蘖数量计数方法，其特征在于：所述步骤（4）中的动态数据增强的方式包括旋转、翻转、随机调整亮度、对比度。
5.根据权利要求1所述的一种禾本科植物分蘖数量计数方法，其特征在于：所述步骤（4）中的多任务损失函数为
Figure 811657DEST_PATH_IMAGE002
；其中，
Figure DEST_PATH_IMAGE003
表示多任务损失函数；
Figure 902366DEST_PATH_IMAGE004
表示分类损失，用于计算预测标签与目标标签的交叉熵分类损失，预测标签、目标标签为分蘖枝条的标注名称branch以及其他负样本名称；步骤（3）中矩形框损失计算阶段中计算出来的可旋转矩形框损失；
Figure DEST_PATH_IMAGE005
表示步骤（3）中Mask损失计算阶段计算出来的Mask损失。
6.根据权利要求1所述的一种禾本科植物分蘖数量计数方法，其特征在于：所述步骤（4）中，所述SGD优化器的学习率设置为0.01且按指数方式衰减。
CN202011560859.XA 2020-12-25 2020-12-25 一种禾本科植物分蘖数量计数方法 Active CN112733622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011560859.XA CN112733622B (zh) 2020-12-25 2020-12-25 一种禾本科植物分蘖数量计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560859.XA CN112733622B (zh) 2020-12-25 2020-12-25 一种禾本科植物分蘖数量计数方法

Publications (2)

Publication Number Publication Date
CN112733622A true CN112733622A (zh) 2021-04-30
CN112733622B CN112733622B (zh) 2023-07-04

Family

ID=75616047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560859.XA Active CN112733622B (zh) 2020-12-25 2020-12-25 一种禾本科植物分蘖数量计数方法

Country Status (1)

Country Link
CN (1) CN112733622B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344934A (zh) * 2021-06-15 2021-09-03 重庆交通大学 一种面向植物表型研究的叶片实例分割方法
CN115690585A (zh) * 2022-11-11 2023-02-03 中国科学院空天信息创新研究院 一种基于数字相片提取小麦分蘖数的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109785337A (zh) * 2018-12-25 2019-05-21 哈尔滨工程大学 一种基于实例分割算法的栏内哺乳动物清点方法
CN110569712A (zh) * 2019-07-19 2019-12-13 中国地质大学（武汉） 一种检测平面图图像中狭长墙体的方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111881851A (zh) * 2020-07-30 2020-11-03 湖南省建筑科学研究院有限责任公司 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109785337A (zh) * 2018-12-25 2019-05-21 哈尔滨工程大学 一种基于实例分割算法的栏内哺乳动物清点方法
CN110569712A (zh) * 2019-07-19 2019-12-13 中国地质大学（武汉） 一种检测平面图图像中狭长墙体的方法
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111881851A (zh) * 2020-07-30 2020-11-03 湖南省建筑科学研究院有限责任公司 一种基于uav和卷积神经网络的园林苗木智能检测与计数方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU BEIBEI 等: "Livestock classification and counting in quadcopter aerial images using Mask R-CNN", 《INTERNATIONAL JOURNAL OF REMOTE SENSING》, vol. 41, no. 21, pages 8121 - 8142 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344934A (zh) * 2021-06-15 2021-09-03 重庆交通大学 一种面向植物表型研究的叶片实例分割方法
CN115690585A (zh) * 2022-11-11 2023-02-03 中国科学院空天信息创新研究院 一种基于数字相片提取小麦分蘖数的方法和系统

Also Published As

Publication number Publication date
CN112733622B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Xiong et al. Panicle-SEG: a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization
CN110619632B (zh) 一种基于Mask R-CNN的芒果实例对抗分割方法
CN112733622A (zh) 一种禾本科植物分蘖数量计数方法
CN110414519A (zh) 一种图片文字的识别方法及其识别装置
CN108229589A (zh) 一种基于迁移学习的地基云图分类方法
US11810348B2 (en) Method for identifying power equipment targets based on human-level concept learning
CN111738113A (zh) 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN115908774B (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN115205626A (zh) 一种应用于涂层缺陷检测领域的数据增强方法
Zhang et al. Image-enhancement-based data augmentation for improving deep learning in image classification problem
CN118097372B (zh) 一种基于人工智能的作物生长可视化预测方法
Moreno et al. Analysis of Stable Diffusion-derived fake weeds performance for training Convolutional Neural Networks
CN114758132B (zh) 一种基于卷积神经网络的果树病虫害识别方法及系统
Chen et al. Synthetic data augmentation rules for maritime object detection
CN114049478A (zh) 基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统
CN110298824A (zh) 基于彩色图像和卷积神经网络技术的鱿鱼自动分类方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN116152503B (zh) 面向街景的城市天空可视域在线提取方法及系统
Han et al. Tomatoes maturity detection approach based on YOLOv5 and attention mechanisms
Ferentinos et al. A deep learning plants identification model for augmented reality touring in urban parks
CN114612420A (zh) 一种基于yolo算法的输电线路可见光缺陷识别方法
Wang et al. Study on estimation method of plant leaf area based on image processing technology
Wang et al. MIPDB: A maize image-phenotype database with multi-angle and multi-time characteristics
CN115170949B (zh) 一种基于根定位的早期水稻秧苗行检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant