CN109583507B - 一种基于深度卷积神经网络的猪体识别方法 - Google Patents

一种基于深度卷积神经网络的猪体识别方法 Download PDF

Info

Publication number
CN109583507B
CN109583507B CN201811496767.2A CN201811496767A CN109583507B CN 109583507 B CN109583507 B CN 109583507B CN 201811496767 A CN201811496767 A CN 201811496767A CN 109583507 B CN109583507 B CN 109583507B
Authority
CN
China
Prior art keywords
convolutional neural
neural network
layer
features
deep convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811496767.2A
Other languages
English (en)
Other versions
CN109583507A (zh
Inventor
陈卫刚
贾军伟
王勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201811496767.2A priority Critical patent/CN109583507B/zh
Publication of CN109583507A publication Critical patent/CN109583507A/zh
Application granted granted Critical
Publication of CN109583507B publication Critical patent/CN109583507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的猪体识别方法，涉及计算机视觉领域。所提供的方法以包含猪体的图像为输入，以两个深度卷积神经网络提取特征，每个卷积神经网络输出的特征融合了各自的较低层次的特征和较高层次的特征，最后融合两个网络提取的特征输入到作为分类器的全连接层和Softmax层。本发明提供的基于深度卷积神经网络的猪体识别方法，以监控视频采集的图像为输入，以计算机视觉和机器学习技术为基础实现猪个体的身份识别，无需放置电子耳标，有利于节约养殖成本，也避免了耳标容易丢失的问题。

Description

一种基于深度卷积神经网络的猪体识别方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于深度卷积神经网络的猪体识别方法。
背景技术
猪体识别是智慧畜牧业中一个非常重要的研究方向。同一养殖场中的猪与猪之间的差异比较细微，因此猪体识别可以看作是细粒度图像识别问题，要求猪体识别系统所采用的特征具有较强的表达能力，所采用的分类器具有较好的判别能力。传统的基于手工特征的算法其特征表述能力有限且依赖大量人工标注信息，很难达到很好的效果。
本发明提供一种基于深度卷积神经网络的猪体识别方法，以监控视频采集的图像为输入，以计算机视觉和机器学习技术为基础实现猪个体的身份识别，无需放置电子耳标，有利于节约养殖成本，也避免了耳标容易丢失的问题。
发明内容
本发明的目的在于解决现有技术中存在的问题，并提供一种基于深度卷积神经网络的猪体识别方法，所提供的方法以包含猪体的图像为输入，以两个深度卷积神经网络提取特征，每个卷积神经网络输出的特征融合了各自的较低层次的特征和较高层次的特征，最后融合两个网络提取的特征输入到作为分类器的全连接层和Softmax层。
本发明具体采用的技术方案如下：
一种基于深度卷积神经网络的猪体识别方法，该方法包括以下步骤：
1)获取用于训练图像识别模型的猪体图像数据集并进行标注；
2)建立用于猪体识别的图像识别模型，该模型为一个四元组B＝(fA,fB,P,C)，其中fA和fB为两个特征提取函数，分别对应一个深度卷积神经网络；P为池化函数；C为分类函数，包括一个全连接层和一个Softmax层；
在该四元组模型中，特征提取函数fA或fB所对应的深度卷积神经网络，首先进行层间特征融合，再将融合后的特征采用池化函数P组合后形成新特征，依次连接由所有特征转化而成的向量，最后将该向量作为分类函数C的输入；其具体过程如21)～24)：
21)设LZ为深度卷积神经网络的最后一个卷积层，LX为位于LZ之前的卷积层，它们的通道数分别为D1和D2，mLz和mLx分别为LX和LZ对应的卷积层输出的特征，取特征mLz的所有通道在位置l的值形成一个1×D1的向量mLz(l)，取mLx的所有通道在位置l的值形成一个1×D2的向量mLx(l)，按下式计算LZ和LX两个卷积层融合后在位置l处的融合特征：
G(l,mLz,mLx)＝mLz(l)TmLx(l)；
其中l代表特征图的一个位置，上标T代表转置，该融合特征为一个大小D1×D2的矩阵；
22)采用Sum-pooling作为池化函数P，对所有位置形成的融合特征按以下公式汇聚成一个特征φ：
Figure BDA0001897079370000021
其中Λ代表所有位置的集合；
23)将汇聚后的特征φ按逐行连接的方式转换成向量，设融合特征对应的矩阵大小为D1×D2，则转换得到的向量的第mD2到第(m+1)D2个元素来自所述矩阵的第m行，其中0≤m＜D1；
24)对fA或fB所对应的深度卷积神经网络的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，均执行步骤21～23)，转换得到多个向量，然后依次连接两个深度卷积神经网络中所有由特征转化而成的向量，作为分类函数C的输入，由Softmax层以概率的形式输出所属的类别判断；
3)分两阶段训练所述的图像识别模型，在第一阶段，固定与所述fA或fB对应的卷积神经网络各层的权值参数，仅训练全连接层和Softmax层；第二阶段，全连接层和Softmax层采用第一阶段训练所得的模型作为预加载模型，批量加载经标注的猪体图像数据，以迭代优化的方式获取卷积神经网络各层的权值参数；第一阶段和第二阶段的训练都以最小化如下的损失函数E为目标：
Figure BDA0001897079370000031
其中n为训练样本的数目，K为总的类别数，当第i个样本的真实标签为k时，yi,k＝1，否则yi,k＝0；pi,k为第i个样本由Softmax层预测为标签为k的概率；
4)使用训练好的图像识别模型识别场景图像中的猪体，输出结果为Softmax层以概率的形式作出的所属类别的判断。
上述技术方案中的各步骤，可采用如下具体方式实现。
步骤1)中所述的fA和fB分别对应的两个深度卷积神经网络采用相同的网络结构，包括：1个输入层、13个卷积层和4个池化层，4个池化层分别接在第2、4、7、10个卷积层之后，均为最大值池化操作，滤波器大小均为2×2，13个卷积层的卷积核均为3×3，卷积层的通道个数依次为64、64、128、128、256、256、256、512、512、512、512、512、512。
步骤3)中所述的第一阶段训练时，加载由标准数据库ImageNet训练所得的预训练模型，然后批量加载经标注的猪体图像数据。进一步的，第一阶段训练采用Momentum优化方法。
步骤3)中所述的第二阶段以梯度下降优化算法获取卷积神经网络各层的权值参数。
本发明提供的基于深度卷积神经网络的猪体识别方法，以监控视频采集的图像为输入，以计算机视觉和机器学习技术为基础实现猪个体的身份识别，无需放置电子耳标，有利于节约养殖成本，也避免了耳标容易丢失的问题。
附图说明
图1为本发明图像识别模型示意图；
图2为用于提取特征的卷积神经网络的结构示意图；
图3为卷积神经网络层间特征融合示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。
一种基于深度卷积神经网络的猪体识别方法，该方法包括：
1)获取用于训练图像识别模型的猪体图像数据集并进行标注；
2)建立用于猪体识别的图像识别模型，本发明实施例的图像识别模型可表示为一个四元组，B＝(fA,fB,P,C)，其中fA和fB为特征提取函数，分别对应图1的卷积神经网络CNN-A和CNN-B，P为池化函数，C为分类函数。
图像识别模型B＝(fA,fB,P,C)中的特征提取函数fA和fB分别对应一个深度卷积神经网络。可选地，本发明实施例采用对称结构，两个网络的结构相同，参照图2，本发明实施例的卷积神经网络包括1个输入层、13个卷积层和4个池化层，具体地，4个池化层分别接在第2、4、7、10个卷积层之后，均为最大值池化操作，滤波器大小均为2×2，13个卷积层的卷积核均为3×3，卷积层的通道个数依次为64、64、128、128、256、256、256、512、512、512、512、512、512。
在该四元组模型中特征提取函数fA或fB所对应的深度卷积神经网络，首先需要进行层间特征融合，再将融合后的特征采用池化函数P组合后形成新特征，依次连接由所有特征转化而成的向量，最后将该向量作为分类函数C的输入。下面对这个过程进行详细描述，其具体过程如21)～24)：
21)本发明的图像识别模型所采用的卷积神经网络，在层间引入特征融合，将融合后的特征组合成新的特征。本发明实施例的特征融合是将包含较多位置信息的前层特征与包含更多语义信息的最后一层特征做融合，具体地，参照图2，设LZ为深度卷积神经网络的最后一个卷积层，LX为LZ之前的一个卷积层，它们的通道数分别为D1和D2，mLz和mLx分别为LX和LZ对应的卷积层输出的特征，取特征mLz的所有通道在某个位置l的值将形成一个1×D1的向量mLz(l)，取mLx的所有通道在某个位置l的值将形成一个1×D2的向量mLx(l)，按下式计算LZ和LX融合后的特征：
G(l,mLz,mLx)＝mLz(l)TmLx(l)        (1)
其中l代表特征图的一个位置，上标T代表转置，该融合特征为一个大小D1×D2的矩阵。
22)由LZ与LX进行特征融合后，融合后的特征为一个D1×D2的矩阵，对矩阵的所有位置均进行上述融合操作，然后以如下的Sum-pooling作为池化函数P，将这些融合特征按下式汇聚成一个特征：
Figure BDA0001897079370000051
其中Λ代表所有位置的集合。
23)如公式(2)计算的特征是一个矩阵，对矩阵按逐行连接的方式转换成一个向量，具体地，设融合特征对应的矩阵的大小为D1×D2，则转换得到的向量的第mD2到第(m+1)D2个元素来自该矩阵的第m行，其中0≤m＜D1。
24)对fA所对应的深度卷积神经网络CNN-A的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，均执行步骤21～23)，转换得到多个向量；对fB所对应的深度卷积神经网络CNN-B的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，也均执行步骤21～23)，转换得到多个向量。然后依次连接两个深度卷积神经网络中所有由特征转化而成的向量，作为分类函数C的输入。
参照图3，本发明的一个较佳实施例以卷积层5-3作为LZ，分别以卷积层4-1、5-1作为LX，对LZ和LX的输出做特征融合将得到两个以矩阵表示的特征。
本发明实施例的分类函数C包括一个全连接层和一个Softmax层，将按步骤24)所述连接后的向量输入到全连接层和Softmax层，由Softmax层以概率的形式输出所属的类别判断。
3)上述图像识别模型在使用前需要进行训练获得最优模型，本发明实施例分两个阶段训练所述的图像识别模型，第一阶段，固定图1所示的卷积神经网络CNN-A和CNN-B各层的权值参数，仅训练全连接层和Softmax层；第二阶段，训练图1所示的识别模型的所有层次。
第一阶段训练时，对卷积神经网络CNN-A和CNN-B加载由标准数据库ImageNet训练所得的预训练模型，然后批量加载经标注的猪体图像数据，由Softmax层输出与输入图像对应的类别概率。设有K个类别，按下式根据Softmax层的输出与猪体图像的类别标签作损失计算
Figure BDA0001897079370000061
其中n为训练样本的数目，K为总的类别数，当第i个样本的真实标签为k时，yi,k＝1，否则yi,k＝0，pi,k为第i个样本由Softmax层预测为标签为k的概率。以最小化上述损失函数为目标，通过迭代优化使Softmax层输出的类别与猪体类别标签越来越接近，从而获得最优模型。
可选地，第一阶段训练采用Momentum优化方法，学习率的取值范围可为0.00001～0.001，Momentum参数可为0.5。
第二阶段训练时，全连接层和Softmax层采用第一阶段训练所得的模型作为预加载模型，批量加载经标注的猪体图像数据，同样以最小化公式(3)所示的损失函数为目标，以梯度下降优化算法获取卷积神经网络各层的权值参数。可选地，本发明实施例的学习率的取值范围为0.0001～0.001。
以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于深度卷积神经网络的猪体识别方法，其特征在于，该方法包括以下步骤：
1)获取用于训练图像识别模型的猪体图像数据集并进行标注；
2)建立用于猪体识别的图像识别模型，该模型为一个四元组B＝(fA,fB,P,C)，其中fA和fB为两个特征提取函数，分别对应一个深度卷积神经网络；P为池化函数；C为分类函数，包括一个全连接层和一个Softmax层；
在该四元组模型中，特征提取函数fA或fB所对应的深度卷积神经网络，首先进行层间特征融合，再将融合后的特征采用池化函数P组合后形成新特征，依次连接由所有特征转化而成的向量，最后将该向量作为分类函数C的输入；其具体过程如21)～24)：
21)设LZ为深度卷积神经网络的最后一个卷积层，LX为位于LZ之前的卷积层，它们的通道数分别为D1和D2，mLz和mLx分别为LX和LZ对应的卷积层输出的特征，取特征mLz的所有通道在位置l的值形成一个1×D1的向量mLz(l)，取mLx的所有通道在位置l的值形成一个1×D2的向量mLx(l)，按下式计算LZ和LX两个卷积层融合后在位置l处的融合特征：
G(l,mLz,mLx)＝mLz(l)TmLx(l)；
其中l代表特征图的一个位置，上标T代表转置，该融合特征为一个大小为D1×D2的矩阵；
22)采用Sum-pooling作为池化函数P，对所有位置形成的融合特征按以下公式汇聚成一个特征φ：
Figure FDA0001897079360000011
其中Λ代表所有位置的集合；
23)将汇聚后的特征φ按逐行连接的方式转换成向量，设融合特征对应的矩阵大小为D1×D2，则转换得到的向量的第mD2到第(m+1)D2个元素来自所述矩阵的第m行，其中0≤m＜D1；
24)对fA或fB所对应的深度卷积神经网络的最后一个卷积层输出特征与若干个位于其之前的卷积层输出特征，均执行步骤21～23)，转换得到多个向量，然后依次连接两个深度卷积神经网络中所有由特征转化而成的向量，作为分类函数C的输入，由Softmax层以概率的形式输出所属的类别判断；
3)分两阶段训练所述的图像识别模型，在第一阶段，固定与所述fA或fB对应的卷积神经网络各层的权值参数，仅训练全连接层和Softmax层；第二阶段，全连接层和Softmax层采用第一阶段训练所得的模型作为预加载模型，批量加载经标注的猪体图像数据，以迭代优化的方式获取卷积神经网络各层的权值参数；第一阶段和第二阶段的训练都以最小化如下的损失函数E为目标：
Figure FDA0001897079360000021
其中n为训练样本的数目，K为总的类别数，当第i个样本的真实标签为k时，yi,k＝1，否则yi,k＝0；pi,k为第i个样本由Softmax层预测为标签为k的概率；
4)使用训练好的图像识别模型识别场景图像中的猪体，输出结果为Softmax层以概率的形式作出的所属类别的判断。
2.根据权利要求1所述的基于深度卷积神经网络的猪体识别方法，其特征在于步骤1)中所述的fA和fB分别对应的两个深度卷积神经网络采用相同的网络结构，包括：1个输入层、13个卷积层和4个池化层，4个池化层分别接在第2、4、7、10个卷积层之后，均为最大值池化操作，滤波器大小均为2×2，13个卷积层的卷积核均为3×3，卷积层的通道个数依次为64、64、128、128、256、256、256、512、512、512、512、512、512。
3.如权利要求1所述的一种基于深度卷积神经网络的猪体识别方法，其特征在于，步骤3)中所述的第一阶段训练时，加载由标准数据库ImageNet训练所得的预训练模型，然后批量加载经标注的猪体图像数据。
4.如权利要求1所述的一种基于深度卷积神经网络的猪体识别方法，其特征在于，第一阶段训练采用Momentum优化方法。
5.如权利要求1所述的一种基于深度卷积神经网络的猪体识别方法，其特征在于，步骤3)中所述的第二阶段以梯度下降优化算法获取卷积神经网络各层的权值参数。
CN201811496767.2A 2018-12-07 2018-12-07 一种基于深度卷积神经网络的猪体识别方法 Active CN109583507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496767.2A CN109583507B (zh) 2018-12-07 2018-12-07 一种基于深度卷积神经网络的猪体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496767.2A CN109583507B (zh) 2018-12-07 2018-12-07 一种基于深度卷积神经网络的猪体识别方法

Publications (2)

Publication Number Publication Date
CN109583507A CN109583507A (zh) 2019-04-05
CN109583507B true CN109583507B (zh) 2023-04-18

Family

ID=65927760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496767.2A Active CN109583507B (zh) 2018-12-07 2018-12-07 一种基于深度卷积神经网络的猪体识别方法

Country Status (1)

Country Link
CN (1) CN109583507B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059201A (zh) * 2019-04-19 2019-07-26 杭州联汇科技股份有限公司 一种基于深度学习的跨媒体节目特征提取方法
CN110222942B (zh) * 2019-05-14 2022-11-25 北京天正聚合科技有限公司 一种识别导购员的方法、装置、电子设备及存储介质
CN110251137A (zh) * 2019-06-05 2019-09-20 长沙湖湘医疗器械有限公司 一种用于无创呼吸机的入睡检测方法及使用该方法的呼吸机
CN110399799B (zh) * 2019-06-26 2022-07-26 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110414626A (zh) * 2019-08-06 2019-11-05 广东工业大学 一种猪只品种识别方法、装置和计算机可读存储介质
CN111666897A (zh) * 2020-06-08 2020-09-15 鲁东大学 基于卷积神经网络的斑石鲷个体识别方法
CN112115920A (zh) * 2020-09-30 2020-12-22 北京百度网讯科技有限公司 生成单目标检测神经网络的方法和装置
CN113608140A (zh) * 2021-06-25 2021-11-05 国网山东省电力公司泗水县供电公司 一种电池故障诊断方法及系统
CN113920453A (zh) * 2021-10-13 2022-01-11 华南农业大学 一种基于深度学习的猪只体尺体重估测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
US10402527B2 (en) * 2017-01-04 2019-09-03 Stmicroelectronics S.R.L. Reconfigurable interconnect
CN106682233B (zh) * 2017-01-16 2020-03-10 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106919951B (zh) * 2017-01-24 2020-04-21 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107229904B (zh) * 2017-04-24 2020-11-24 东北大学 一种基于深度学习的目标检测与识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法

Also Published As

Publication number Publication date
CN109583507A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583507B (zh) 一种基于深度卷积神经网络的猪体识别方法
Fu et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN112800894B (zh) 一种基于时空流间注意力机制的动态表情识别方法及系统
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN107944410B (zh) 一种基于卷积神经网络的跨领域面部特征解析方法
CN109871885A (zh) 一种基于深度学习和植物分类学的植物识别方法
CN109961095B (zh) 基于非监督深度学习的图像标注系统及标注方法
US20240054760A1 (en) Image detection method and apparatus
CN113011386B (zh) 一种基于等分特征图的表情识别方法及系统
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN112766229A (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN107463932A (zh) 一种使用二进制瓶颈神经网络来抽取图片特征的方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN107330381A (zh) 一种人脸识别方法
CN113378938A (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
Ma et al. Maize leaf disease identification using deep transfer convolutional neural networks
CN114207605A (zh) 一种文本分类方法、装置、电子设备及存储介质
CN114398935A (zh) 一种基于深度学习的医学影像报告多标签分类方法
CN111079585A (zh) 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法
CN116775880A (zh) 一种基于标签语义和迁移学习的多标签文本分类方法及系统
CN115797642A (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant