CN112991312B - 一种基于ai深度学习的梨品种苗木鉴别方法 - Google Patents

一种基于ai深度学习的梨品种苗木鉴别方法 Download PDF

Info

Publication number
CN112991312B
CN112991312B CN202110334795.XA CN202110334795A CN112991312B CN 112991312 B CN112991312 B CN 112991312B CN 202110334795 A CN202110334795 A CN 202110334795A CN 112991312 B CN112991312 B CN 112991312B
Authority
CN
China
Prior art keywords
pear
seedlings
image
deep learning
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110334795.XA
Other languages
English (en)
Other versions
CN112991312A (zh
Inventor
田路明
曹玉芬
董星光
张莹
齐丹
霍宏亮
徐家玉
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fruit Tree Institute of CAAS
Original Assignee
Fruit Tree Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fruit Tree Institute of CAAS filed Critical Fruit Tree Institute of CAAS
Priority to CN202110334795.XA priority Critical patent/CN112991312B/zh
Publication of CN112991312A publication Critical patent/CN112991312A/zh
Application granted granted Critical
Publication of CN112991312B publication Critical patent/CN112991312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于AI深度学习的梨品种苗木鉴别方法，包括：图像采集，采用RGB相机传感器获取梨品种苗木的形态表型图像；图像处理：将所述梨品种苗木的形态表型图像与干扰背景进行分割，得到分割后的特征图像；基于卷积神经网络构建梨品种苗木鉴别模型，通过所述分割后的特征图像进行训练，得到训练好的梨品种苗木鉴别模型；基于长短期记忆网络LSTM对所述梨品种苗木鉴别模型进行测试；待鉴别的苗木输入到所述LSTM网络中进行训练，提取待检测苗木特征，通过与更新后的训练模型比较得到鉴别结果。本发明避免了复杂图像预处理的步骤，利用LSTM模型进行训练，实时更新数据，大大提高了鉴别精度。

Description

一种基于AI深度学习的梨品种苗木鉴别方法
技术领域
本发明涉及计算机视觉领域，特别是涉及一种基于AI深度学习的梨品种苗木鉴别方法。
背景技术
中国人吃梨的历史十分久远，古代称为蜜父、快果、玉乳等，并有“百果之宗”的美称。梨的品种繁多，产地各异，各具特色，如山东的莱阳梨、新疆的库尔勒梨、天津的雪梨、安徽的砀山梨、河北赵县雪花梨及日本的水晶梨、澳洲的啤酒梨等，不胜枚举。不同品种的梨果皮颜色大相径庭，有黄色、绿色、黄中带绿、绿中带黄、黄褐色、绿褐色、红褐色、褐色，个别品种亦有紫红色；野生梨的果径较小，在1到4厘米之间，而人工培植的品种果径可达10厘米以上，长度可达15厘米以上。
梨树是高大的落叶乔木，与苹果树有很多相似之处。比苹果树更加高大、强健、寿命长，有更强的干性、层性，也容易早期成花结果和连续结果。顶端优势十分明显，容易形成上强下弱和结果部位外移。萌芽率高，成枝力弱。因此，伸大枝多，分杈大枝少，树冠常常显得较稀疏。根系主根发达，分布更深，层性更加明显。幼树枝条更加直立，往往抱头生长。但刚定植的幼苗，根系伤口恢复慢，分根少，缓苗期长，加之修剪上多用轻剪长放，使早期的树冠生长较慢。
由于梨的生长周期较长，需要4-5年才结果，一般人主要从果实区分品种。生产上梨品种较多，梨苗木市场容易产生苗木混杂现象，甚至是出现假苗木现象。基于梨作为无性繁殖作物的特点，每一梨品种苗木有其特有的植物学特征如芽、皮孔、皮色、节间长度等形态。一般人很容易产生对梨苗木鉴别错误的现象，因此有必要提供一种梨苗木鉴别方法，实现不同梨品种苗木的快速鉴别。
发明内容
本发明的目的在于提供一种基于AI深度学习的梨品种苗木鉴别方法，该方法通过对一年生梨苗木进行特征提取并进行训练，通过LSTM模型进行实时更新数据，从而大大提高了鉴别结果的精度。
为实现上述目的，本发明提供了如下方案：
一种基于AI深度学习的梨品种苗木鉴别方法，包括以下步骤：
S1、图像采集，采用RGB相机传感器获取梨品种苗木的形态表型图像，并基于点云数据检测分割所述苗木的特征图像；
S2、图像处理：将所述梨品种苗木的形态表型图像与干扰背景进行分割，得到分割后的特征图像；
S3、基于卷积神经网络构建梨品种苗木鉴别模型，通过所述分割后的特征图像进行训练，得到训练好的梨品种苗木鉴别模型；
S4、基于长短期记忆网络LSTM对所述梨品种苗木鉴别模型进行测试，通过门限实时更新训练模型中的图像；
S5、将待鉴别的苗木输入到所述LSTM网络中进行训练，提取待检测苗木特征，通过与更新后的训练模型比较得到鉴别结果。
优选地，基于HSV方法对所述步骤S2中图像与干扰背景进行分割，并提取出梨品种苗木的形态表型特征。
优选地，所述梨品种苗木形态表型特征包括皮孔数量、芽的大小以及姿态、皮色和节间长度。
优选地，利用PLC点云库、MATLAB软件对生成的点云信息进行操作和计算，分别提取出梨品种的皮孔数量信息、芽的大小以及姿态信息、皮色信息和节间长度信息。
优选地，所述步骤S3中，卷积神经网络包括第一卷积层、第二卷积层、全连接层和高斯连接层。
优选地，所述步骤S4中，长短记忆网络LSTM包括遗忘门、更新门和输出门，用于对输入的信息进行增加与遗忘。
优选地，所述遗忘门、更新门和输出门中都包含Sigmoid激活函数。
优选地，所述步骤S4中，LSTM神经网络进行训练的过程包括：
物体定位：预测包含主要物体的图像区域；
物体分类：针对分割好的目标进行分类；
目标分割：将图像目标分割出来，针对图像上的像素进行归属；
关键点检测：从图像中检测目标物体上的关键点位置。
本发明的有益效果为：
本发明提供了一种基于AI深度学习的梨品种苗木鉴别方法，利用RGB相机传感器获取梨品种苗木的形态表型图像，进行实时获取，并且基于HSV阈值分割的方法将目标植物与干扰背景进行分割，避免了复杂图像预处理的步骤，利用LSTM模型进行训练，实时更新数据，大大提高了鉴别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
一种基于AI深度学习的梨品种苗木鉴别方法，具体流程如附图1所示，包括以下步骤：
S1、图像采集，采用RGB相机传感器获取梨品种苗木的形态表型图像，并基于点云数据检测分割所述苗木的特征图像；
本实施例以一年生梨品种苗木作为研究对象，通过相机高度的调节获取不同高度的图像序列，补充一部分被遮挡部分的信息，能够在一定程度上减少叶片等器官相互遮挡带来的影响，提高生成的植株点云数据的精度。
S2、图像处理：将所述梨品种苗木的形态表型图像与干扰背景进行分割，得到分割后的特征图像；
基于HSV阈值分割的方法能够将目标植物与干扰背景进行分割，有利于提高特征匹配速度和形态表型参数的提取，得到分割后的特征图像。利用PLC点云数据库、MATLAB软件等对生成的点云信息进行操作和计算，分别提取出梨品种苗木的皮孔数量、芽的大小以及姿态、皮色和节间长度等特征图像。进行图像处理是为了将目标部分与背景等其他干扰像素分割，以此提高图像的匹配效率和后期的鉴别精度。
S3、基于卷积神经网络构建梨品种苗木鉴别模型，通过所述分割后的特征图像进行训练，得到训练好的梨品种苗木鉴别模型；
所述卷积神经网络包括第一卷积层、第二卷积层、全连接层和高斯连接层，将彩色的RGB图像分解为R、G、B三个通道，其中每个值介于0-255之间；卷积神经网络在卷积后需要经过激活过程。将提取出的梨品种苗木的皮孔数量、芽的大小以及姿态、皮色和节间长度等特征图像输入到卷积神经网络中的第一卷积层中，对像素矩阵进行第一卷积运算，生成特征图，对特征图进行下采样，在保留所述特征图的特征的同时，缩小了数据量，得到进行下采样后的特征图；对进行下采样后的特征图进行第二卷积运算，得到更多的特征图，将得到的所有特征图像进行下采样最大池化操作，降低数据的维度，避免过拟合。
特征图经过卷积层和下采样特征提取后，将提取出来的特征传到全连接层中，通过全连接层进行分类，获得分类模型，通过高斯连接层输出最后的分类结果。
卷积网络在图像处理方面有很多优点：输入图像和网络的拓扑结构能很好的吻合；特征提取和模式分类同时进行，并同时在训练中产生；权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。
S4、基于长短期记忆网络LSTM对所述梨品种苗木鉴别模型进行测试，通过门限实时更新训练模型中的图像；
LSTM神经网络进行训练的过程包括：
物体定位：对卷积神经网络输出的图像进行进一步测试，得到包含表型信息的图像区域，如树干上包含皮孔数量信息，枝条包括幼芽的大小以及姿态，还包括茎的节和节之间的距离信息。
物体分类：针对所要提取的表型信息，进行分类。
目标分割：基于分类后的图像将要提取的目标分离出来，针对图像上的像素进行归属。
关键点检测：从图像中检测目标图像上的皮孔位置、幼芽位置以及幼芽姿态，茎的节和节之间的距离信息。
所述长短期记忆网络LSTM中包含遗忘门、更新门和输出门。每个门中都包含sigmoid函数。
由于一年生梨苗木包含的品种、形态复杂多样，植物的生长形态不一定都是千篇一律的，所以需要实时更新所保存的数据，以确保鉴别结果的准确性。
所述遗忘门根据输入的新信息自动选择需要丢弃的信息，由遗忘门的sigmoid函数做出。当某一梨品种的经过优化后，所呈现出来的皮孔数量、芽的大小以及姿态、皮色和节间长度都会发生改变，此时更新门就会对这些信息进行更新，最后基于更新后的信息，首先在输出层中运行sigmoid层，它将决定输出图像的哪些部分，并将其乘以sigmoid层的输出，这样就能够输出我们想要的结果。
S5、将待鉴别的苗木输入到所述LSTM网络中进行训练，提取待检测苗木特征，通过与更新后的训练模型比较得到鉴别结果。
选取相似度最大的图片作为鉴别结果，然后将此图片输入到数据库中进行搜索，得到所鉴别的对象是否为梨品种，如果是进行保存，如果不是则去除。
本发明提供了一种基于AI深度学习的梨品种苗木鉴别方法，利用RGB相机传感器获取梨品种苗木的形态表型图像，进行实时获取，并且基于HSV阈值分割的方法将目标植物与干扰背景进行分割，避免了复杂图像预处理的步骤，利用LSTM模型进行训练，实时更新数据，大大提高了鉴别精度。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于AI深度学习的梨品种苗木鉴别方法，其特征在于，包括以下步骤：
S1、图像采集，采用RGB相机传感器获取梨品种苗木的形态表型图像，并基于点云数据检测分割所述苗木的特征图像；
S2、图像处理：将所述梨品种苗木的形态表型图像与干扰背景进行分割，得到分割后的特征图像；
S3、基于卷积神经网络构建梨品种苗木鉴别模型，通过所述分割后的特征图像进行训练，得到训练好的梨品种苗木鉴别模型；
S4、基于长短期记忆网络LSTM对所述梨品种苗木鉴别模型进行测试，通过门限实时更新训练模型中的图像；
S5、将待鉴别的苗木输入到所述LSTM网络中进行训练，提取待检测苗木特征，通过与更新后的训练模型比较得到鉴别结果。
2.根据权利要求1所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，基于HSV方法对所述步骤S2中图像与干扰背景进行分割，并提取出梨品种苗木的形态表型特征。
3.根据权利要求2所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，所述梨品种苗木形态表型特征包括皮孔数量、芽的大小以及姿态、皮色和节间长度。
4.根据权利要求2所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，利用PLC点云库、MATLAB软件对生成的点云信息进行操作和计算，分别提取出梨品种的皮孔数量信息、芽的大小以及姿态信息、皮色信息和节间长度信息。
5.根据权利要求1所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，所述步骤S3中，卷积神经网络包括第一卷积层、第二卷积层、全连接层和高斯连接层。
6.根据权利要求1所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，所述步骤S4中，长短记忆网络LSTM包括遗忘门、更新门和输出门，用于对输入的信息进行增加与遗忘。
7.根据权利要求5所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，所述遗忘门、更新门和输出门中都包含Sigmoid激活函数。
8.根据权利要求1所述的基于AI深度学习的梨品种苗木鉴别方法，其特征在于，所述步骤S4中，LSTM神经网络进行训练的过程包括：
物体定位：预测包含主要物体的图像区域；
物体分类：针对分割好的目标进行分类；
目标分割：将图像目标分割出来，针对图像上的像素进行归属；
关键点检测：从图像中检测目标物体上的关键点位置。
CN202110334795.XA 2021-03-29 2021-03-29 一种基于ai深度学习的梨品种苗木鉴别方法 Active CN112991312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334795.XA CN112991312B (zh) 2021-03-29 2021-03-29 一种基于ai深度学习的梨品种苗木鉴别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334795.XA CN112991312B (zh) 2021-03-29 2021-03-29 一种基于ai深度学习的梨品种苗木鉴别方法

Publications (2)

Publication Number Publication Date
CN112991312A CN112991312A (zh) 2021-06-18
CN112991312B true CN112991312B (zh) 2023-11-07

Family

ID=76337888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334795.XA Active CN112991312B (zh) 2021-03-29 2021-03-29 一种基于ai深度学习的梨品种苗木鉴别方法

Country Status (1)

Country Link
CN (1) CN112991312B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063713A (zh) * 2018-07-20 2018-12-21 中国林业科学研究院木材工业研究所 一种基于构造特征图像深度学习的木材鉴别方法和系统
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111709371A (zh) * 2020-06-17 2020-09-25 腾讯科技（深圳）有限公司 基于人工智能的分类方法、装置、服务器和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063713A (zh) * 2018-07-20 2018-12-21 中国林业科学研究院木材工业研究所 一种基于构造特征图像深度学习的木材鉴别方法和系统
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111709371A (zh) * 2020-06-17 2020-09-25 腾讯科技（深圳）有限公司 基于人工智能的分类方法、装置、服务器和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
农业信息成像感知与深度学习应用研究进展;孙红;李松;李民赞;刘豪杰;乔浪;张瑶;;农业机械学报(05);全文 *
可见光谱图与深度神经网络的垩白大米检测方法;林萍;张华哲;何坚强;邹志勇;陈永明;;光谱学与光谱分析(01);全文 *

Also Published As

Publication number Publication date
CN112991312A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN111709489B (zh) 一种基于改进YOLOv4的柑橘识别方法
Arefi et al. Recognition and localization of ripen tomato based on machine vision
Karkee et al. Identification of pruning branches in tall spindle apple trees for automated pruning
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Alejandrino et al. Visual classification of lettuce growth stage based on morphological attributes using unsupervised machine learning models
Fu et al. Fast detection of banana bunches and stalks in the natural environment based on deep learning
Adhikari et al. 3D reconstruction of apple trees for mechanical pruning
Tumang Pests and diseases identification in mango using MATLAB
Selvi et al. Weed detection in agricultural fields using deep learning process
CN113192026A (zh) 一种基于可见光图像的核桃成熟度检测与预测方法
CN114818909A (zh) 一种基于作物长势特征的杂草检测方法和装置
Majeed et al. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards
CN111291686B (zh) 农作物根果表型参数的提取与根果表型判别方法及系统
CN112836623A (zh) 设施番茄农事决策辅助方法及装置
Tian et al. An image processing method for green apple lesion detection in natural environment based on GA-BPNN and SVM
Suo et al. A novel labeling strategy to improve apple seedling segmentation using BlendMask for online grading
Rajeshram et al. Leaf diseases prediction pest detection and pesticides recommendation using deep learning techniques
CN111753834A (zh) 基于深度神经网络的种植地块结构语义分割方法和装置
CN112991312B (zh) 一种基于ai深度学习的梨品种苗木鉴别方法
Concepcion et al. Arabidopsis Tracker: A Centroid-Based Vegetation Localization Model for Automatic Leaf Canopy Phenotyping in Multiple-Pot Cultivation System
CN116524279A (zh) 一种数字农业的人工智能图像识别作物长势分析方法
Widiyanto et al. Monitoring the growth of tomatoes in real time with deep learning-based image segmentation
Mudgil et al. Identification of Tomato Plant Diseases Using CNN-A Comparative Review
Prabhu et al. Semiautomated Segmentation Model to Extract Fruit Images from Trees
Del Brio et al. Apple (Malus domestica) and pear (Pyrus communis) yield prediction after tree image analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant