CN111723848A - 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法 - Google Patents

一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法 Download PDF

Info

Publication number
CN111723848A
CN111723848A CN202010452771.XA CN202010452771A CN111723848A CN 111723848 A CN111723848 A CN 111723848A CN 202010452771 A CN202010452771 A CN 202010452771A CN 111723848 A CN111723848 A CN 111723848A
Authority
CN
China
Prior art keywords
layer
neural network
convolutional
residual
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010452771.XA
Other languages
English (en)
Inventor
张怡龙
卢耀翔
王海霞
陈朋
梁荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010452771.XA priority Critical patent/CN111723848A/zh
Publication of CN111723848A publication Critical patent/CN111723848A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Holo Graphy (AREA)

Abstract

一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法,包括以下步骤:1)使用数字全息系统拍摄海洋浮游生物的全息图像;2)构建卷积神经网络模型,设定卷积层数,卷积核尺寸,训练参数和损失函数,将1)中得到的图片输入至神经网络中,运行神经网络,获得最终分类结果。本发明针对目前数字全息系统对海洋浮游生物的广泛应用,为满足高效率、低成本和快速性的要求,利用数字全息技术结合深度学习技术,公开了一种基于数字全息图像的海洋浮游生物快速分类方法。

Description

一种基于卷积神经网络和数字全息的海洋浮游生物自动分类 方法
技术领域
本发明涉及一种图像自动分类方法,尤其是一种基于卷积神经网络和数字全息技术的海洋浮游生物自动分类的方法。
背景技术
海洋浮游生物是海洋生态系统的重要组成部分。海洋浮游生物的研究对海洋生态环境的监测和保护具有重要意义。海洋浮游生物种类繁多,种类丰富,分布广泛。因此,海洋浮游生物的观察、分类和统计具有重要的研究价值。(数字全息技术是其中之一)研究人员提出了许多研究海洋浮游生物的方法,包括光学浮游生物记录器(OPR)、光学浮游生物计数器(OPC)和数字全息(DH)。DH是一项强大的技术,它能够实现三维(3-D)记录、高分辨率成像和非接触测量。这些优势使得DH被广泛应用于海洋浮游生物的形态、数量和分布研究。目前利用数字全息技术对浮游生物的观测方法都依赖于全息图像的重构。全息图像难以通过人眼直接观察和分辨,在采集到样本的全息图像之后,需要先将全息图像重建还原样本的原始物象,然后基于重建的图像来辨别和观察样本。全息图像的重建难以得到准确重构距离,并且自动重构过程需要大量的迭代运算,因此对硬件有较高的要求,也造成人力和时间的消耗。
发明内容
针对现有数字全息技术对海洋浮游生物的观测的不足指出,本发明提出一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法,基于原始的数字全息图像,利用神经网络从全息图像中提取和学习特征,从而实现对浮游生物的自动分类,无需对全息图像进行重构,提高了利用数字全息技术对海洋浮游生物的观测效率,并节省了计算资源。
为了实现上述目的,本发明采用的技术方案为:
一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法,包括以下步骤:
1)使用数字全息系统拍摄海洋浮游生物的全息图像,包括以下步骤:
1.1)设计拍摄光路,选择合适的激光光源和CCD相机,并按照设计好的光路放置激光光源、工业相机、载物台、待测样本;
1.2)使用CCD相机拍摄标本的全息图像,并调节标本与CCD相机感光元件之间的距离,获取不同焦距的全息图像,CCD获取的全息图像表示为:
Figure BDA0002508246480000021
其中,r(x,y)和o(x,y)分别为参考光和物光的强度分布;
2)构建卷积神经网络模型,设定卷积层数,卷积核尺寸,训练参数和损失函数,将1)中得到的图片输入至神经网络中,运行神经网络,获得最终分类结果,构建神经网络的过程包括以下步骤:
2.1)卷积神经网络构建
构建一个残差卷积神经网络模型,整个残差神经网络的层包括三个部分,由输入层、中间层和输出层构成,输入层提取低层次特征,低层次特征包括边缘和线条,后续的卷积层通过迭代从前面的层提取更复杂的特征,最后的输出层为全连接层,它将卷积层中提取到的特征整合并映射为一个特征向量;其中输入层由一个卷积层和一个MaxPool层构成,卷积核大小为7×7,数量为64个;第二层到第16层为中间层,其由8个残差单元组成,每两个相同的卷积块和短连接构成一个残差单元;每个卷积块包含一个卷积层后面带有一个BN层和修正线性激活函数ReLU,其中第一个和第二个残差单元的卷积层的卷积核大小为3×3,数目为64个;第三个和第四个残差单元卷积层的卷积核大小为3×3,数目为128个;第五个和第六个残差单元卷积层的卷积核大小为3×3,数目为256个;第七个和第八个残差单元卷积层的卷积核大小为3×3,数目为512个;每个残差单元的输入和输出通过shortcut直接相连,因此,残差单元允许输入信息直接传递到后续的层,将残差单元中多个卷积块的堆栈映射表示为
Figure BDA0002508246480000022
将输入表示为x,残差单元的表达式近似为
Figure BDA0002508246480000023
因此原始函数表示为
Figure BDA0002508246480000024
由多个非线性层非线性逼近近似,当输入和输出通道数相同时,残差单元被表示为:
Figure BDA0002508246480000031
当输入和输出通道数改变时,残差单元被表示为:
Figure BDA0002508246480000032
神经网络的输出层为具有15个神经元的全连接层,通过激活函数Softmax,输出每个类别的概率;
2.2)运行神经网络
神经网络同过深度迁移学习方法,预先在ImageNet的数据集上训练过,神经网络的输入为尺寸128×128×3的图像,将(1)中得到的全息图像裁剪并将单幅灰度图转换为三通道;
确定残差神经网络的参数,将上述图像输入神经网络,使用Adam优化器进行迭代优化,使得损失函数不断下降,损失函数被定义为交叉熵误差:
Figure BDA0002508246480000033
当损失函数不再下降时,即神经网络训练完成,将新采集的浮游生物的全息图像输入神经网络,得到对浮游生物种类的分类结果。
本发明的有益效果主要表现在:针对目前数字全息系统对海洋浮游生物的广泛应用,为满足高效率、低成本和快速性的要求,利用数字全息技术结合深度学习技术,公开了一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法。
1)降低了成本
使用神经网络,能够从原始的全息图像中直接辨别浮游生物的种类,不需要对全息图像进行重构,从而避免了重构的计算过程对硬件的要求,提高了效率并且降低了成本。
2)更快速地自动分类
通过迁移学习,降低了神经网络的训练所需的数据量和训练时间,经过训练的神经网络,能够实现基于海洋浮游生物的全息图像快速地自动判别浮游生物种类。
附图说明
图1为一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法的流程图;
图2为基于卷积神经网络和数字全息的海洋浮游生物自动分类系统硬件平台示意图,其中1表示激光光源,2表示浮游生物标本,3表示CCD相机,4表示计算机;
图3为本发明神经网络的结构图。
具体实施方式
下面结合附图对本发明作进一步描述:
参照图1~图3,一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法,包括以下步骤:
1)参见图2,拍摄浮游生物图像过程为,将海洋浮游生物标本放置在载物台上,并使用CCD相机捕获样本的全息图像,包括以下步骤:
1.1)设计拍摄光路,选择合适的激光光源和CCD相机,并按照设计好的光路放置激光光源、工业相机、载物台、待测样本;
1.2)使用CCD相机拍摄标本的全息图像,并调节标本与CCD相机感光元件之间的距离,获取不同焦距的全息图像,CCD获取的全息图像表示为:
Figure BDA0002508246480000041
其中,r(x,y)和o(x,y)分别为参考光和物光的强度分布;
2)构建卷积神经网络模型,设定训练参数和损失函数,将1)中的到的图片经过裁剪后输入至神经网络中,运行神经网络,获得最终的分类结果,包括以下步骤:
2.1)卷积神经网络构建
参见图3,构建一个残差卷积神经网络模型,整个残差神经网络的层包括三个部分,由输入层、中间层和输出层构成,输入层提取一些低层次特征,比如边缘和线条,后续的卷积层通过迭代从前面的层提取更复杂的特征,最后的输出层为全连接层,它将卷积层中提取到的特征整合并映射为一个特征向量,其中输入层由一个卷积层和一个MaxPool层构成,卷积核大小为7×7,数量为64个;第二层到第16层为中间层,其由8个残差单元组成,每两个相同的卷积块和短连接构成一个残差单元。每个卷积块包含一个卷积层后面带有一个BN层和修正线性激活函数ReLU,其中第一个和第二个残差单元的卷积层的卷积核大小为3×3,数目为64个;第三个和第四个残差单元卷积层的卷积核大小为3×3,数目为128个;第五个和第六个残差单元卷积层的卷积核大小为3×3,数目为256个;第七个和第八个残差单元卷积层的卷积核大小为3×3,数目为512个;每个残差单元的输入和输出通过shortcut直接相连,因此,残差单元允许输入信息直接传递到后续的层,将残差单元中多个卷积块的堆栈映射表示为
Figure BDA0002508246480000051
将输入表示为x,因此残差单元的表达式近似为
Figure BDA0002508246480000052
因此原始函数表示为
Figure BDA0002508246480000053
可以由多个非线性层非线性逼近近似,当输入和输出通道数相同时,残差单元被表示为:
Figure BDA0002508246480000054
当输入和输出通道数改变时,残差单元被表示为:
Figure BDA0002508246480000055
神经网络的输出层为具有15个神经元的全连接层,通过激活函数Softmax,输出每个类别的概率;
2.2)运行神经网络
神经网络同过深度迁移学习方法,预先在ImageNet的数据集上训练过,神经网络的输入为尺寸128×128×3的图像,将(1)中得到的全息图像裁剪并将单幅灰度图转换为三通道;
确定残差神经网络的参数,将上述图像输入神经网络,使用Adam优化器进行迭代优化,使得损失函数不断下降,损失函数被定义为交叉熵误差:
Figure BDA0002508246480000056
当损失函数不再下降时,即神经网络训练完成,将新采集的浮游生物的全息图像输入神经网络,得到对浮游生物种类的分类结果。

Claims (1)

1.一种基于卷积神经网络的利用数字全息图像来识别海洋浮游生物的方法,其特征在于,所述方法包括以下步骤:
1)使用数字全息系统拍摄海洋浮游生物的全息图像,包括以下步骤:
1.1)设计拍摄光路,选择合适的激光光源和CCD相机,并按照设计好的光路放置激光光源、工业相机、载物台、待测样本;
1.2)使用CCD相机拍摄标本的全息图像,并调节标本与CCD相机感光元件之间的距离,获取不同焦距的全息图像,CCD获取的全息图像表示为:
Figure FDA0002508246470000011
其中,r(x,y)和o(x,y)分别为参考光和物光的强度分布;
2)构建卷积神经网络模型,设定卷积层数,卷积核尺寸,训练参数和损失函数,将1)中得到的浮游生物全息图像输入至神经网络中,运行神经网络,获得最终分类结果,构建神经网络的过程包括以下步骤:
2.1)卷积神经网络构建
构建一个残差卷积神经网络模型,整个残差神经网络的层包括三个部分,由输入层、中间层和输出层构成,输入层提取低层次特征,低层次特征包括边缘和线条,后续的卷积层通过迭代从前面的层提取更复杂的特征,最后的输出层为全连接层,它将卷积层中提取到的特征整合并映射为一个特征向量;其中输入层由一个卷积层和一个MaxPool层构成,卷积核大小为7×7,数量为64个;第二层到第16层为中间层,其由8个残差单元组成,每两个相同的卷积块和短连接构成一个残差单元;每个卷积块包含一个卷积层后面带有一个BN层和修正线性激活函数ReLU,其中第一个和第二个残差单元的卷积层的卷积核大小为3×3,数目为64个;第三个和第四个残差单元卷积层的卷积核大小为3×3,数目为128个;第五个和第六个残差单元卷积层的卷积核大小为3×3,数目为256个;第七个和第八个残差单元卷积层的卷积核大小为3×3,数目为512个;每个残差单元的输入和输出通过shortcut直接相连,因此,残差单元允许输入信息直接传递到后续的层,将残差单元中多个卷积块的堆栈映射表示为
Figure FDA0002508246470000012
将输入表示为x,残差单元的表达式近似为
Figure FDA0002508246470000013
因此原始函数表示为
Figure FDA0002508246470000014
由多个非线性层非线性逼近近似,当输入和输出通道数相同时,残差单元被表示为:
Figure FDA0002508246470000015
当输入和输出通道数改变时,残差单元被表示为:
Figure FDA0002508246470000016
神经网络的输出层为具有15个神经元的全连接层,通过激活函数Softmax,输出每个类别的概率;
2.2)运行神经网络
神经网络同过深度迁移学习方法,预先在ImageNet的数据集上训练过,神经网络的输入为尺寸128×128×3的图像,将(1)中得到的浮游生物全息图像裁剪并将单幅灰度图转换为三通道;
确定残差神经网络的参数,将上述图像输入神经网络,使用Adam优化器进行迭代优化,使得损失函数不断下降,损失函数被定义为交叉熵误差:
Figure FDA0002508246470000021
当损失函数不再下降时,即神经网络训练完成,将新采集的浮游生物的全息图像输入神经网络,得到对浮游生物种类的分类结果。
CN202010452771.XA 2020-05-26 2020-05-26 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法 Pending CN111723848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010452771.XA CN111723848A (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010452771.XA CN111723848A (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法

Publications (1)

Publication Number Publication Date
CN111723848A true CN111723848A (zh) 2020-09-29

Family

ID=72565090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010452771.XA Pending CN111723848A (zh) 2020-05-26 2020-05-26 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法

Country Status (1)

Country Link
CN (1) CN111723848A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529791A (zh) * 2020-11-16 2021-03-19 中国海洋大学 基于浮游生物数字全息图像的自适应性多焦点复原方法
CN112749507A (zh) * 2020-12-29 2021-05-04 浙江大学 一种深度学习全息在线计量煤和生物质耦合发电掺混比例的方法
CN113238076A (zh) * 2021-05-10 2021-08-10 西北工业大学 一种基于深度学习的复杂流场测量方法与系统
CN116343206A (zh) * 2023-05-29 2023-06-27 山东科技大学 一种海洋浮游生物分析显微镜图像的自动拼接识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567659A (zh) * 2014-12-22 2015-04-29 南京师范大学 一种基于涡旋光照明的暗场数字全息显微装置及其方法
CN109034257A (zh) * 2018-08-02 2018-12-18 河北工程大学 一种细胞图像记录系统及分类方法
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN109597291A (zh) * 2018-11-30 2019-04-09 电子科技大学 一种基于卷积神经网络的光学扫描全息图像识别方法
CN110728654A (zh) * 2019-09-06 2020-01-24 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN110836867A (zh) * 2019-10-18 2020-02-25 南京大学 一种基于卷积神经网络的无透镜全息显微微粒表征方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567659A (zh) * 2014-12-22 2015-04-29 南京师范大学 一种基于涡旋光照明的暗场数字全息显微装置及其方法
CN109034257A (zh) * 2018-08-02 2018-12-18 河北工程大学 一种细胞图像记录系统及分类方法
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN109597291A (zh) * 2018-11-30 2019-04-09 电子科技大学 一种基于卷积神经网络的光学扫描全息图像识别方法
CN110728654A (zh) * 2019-09-06 2020-01-24 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN110836867A (zh) * 2019-10-18 2020-02-25 南京大学 一种基于卷积神经网络的无透镜全息显微微粒表征方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARLOS TRUJILLO 等: "Automatic detection and counting of phase objects in raw holograms of digital holographic microscopy via deep learning", 《OPTICS AND LASERS IN ENGINEERING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529791A (zh) * 2020-11-16 2021-03-19 中国海洋大学 基于浮游生物数字全息图像的自适应性多焦点复原方法
CN112749507A (zh) * 2020-12-29 2021-05-04 浙江大学 一种深度学习全息在线计量煤和生物质耦合发电掺混比例的方法
CN113238076A (zh) * 2021-05-10 2021-08-10 西北工业大学 一种基于深度学习的复杂流场测量方法与系统
CN116343206A (zh) * 2023-05-29 2023-06-27 山东科技大学 一种海洋浮游生物分析显微镜图像的自动拼接识别方法
CN116343206B (zh) * 2023-05-29 2023-08-08 山东科技大学 一种海洋浮游生物分析显微镜图像的自动拼接识别方法

Similar Documents

Publication Publication Date Title
CN111723848A (zh) 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN112102165B (zh) 一种基于零样本学习的光场图像角域超分辨系统及方法
CN110647875A (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN114239384B (zh) 一种基于非线性度量原型网络的滚动轴承故障诊断方法
CN107578067A (zh) 一种基于卷积神经网络的烟丝组分识别方法及装置
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
CN112926485A (zh) 一种少样本水闸图像分类方法
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN114998507A (zh) 一种基于自监督学习的光度立体三维重建方法
CN118154550A (zh) 一种基于轻量化目标检测网络的纱线生产过程检测方法
CN116739949B (zh) 一种胚胎图像的卵裂球边缘增强处理方法
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN113313030A (zh) 基于运动趋势特征的人体行为识别方法
CN111968039B (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
Pillai et al. A Deep Learning Approach for Detection and Classification of Ten Species of Monkeys
CN116363594A (zh) 一种新的人群计数方法
CN116453108A (zh) 基于非对称并行Transformer网络的三维点云理解处理方法
KR102435983B1 (ko) 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법
CN114120046A (zh) 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN114049500A (zh) 基于元学习重加权网络伪标签训练的图像评价方法及系统
CN113435588A (zh) 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication