CN108182423A - 一种基于深度卷积神经网络的禽类动物行为识别方法 - Google Patents

一种基于深度卷积神经网络的禽类动物行为识别方法 Download PDF

Info

Publication number
CN108182423A
CN108182423A CN201810078459.1A CN201810078459A CN108182423A CN 108182423 A CN108182423 A CN 108182423A CN 201810078459 A CN201810078459 A CN 201810078459A CN 108182423 A CN108182423 A CN 108182423A
Authority
CN
China
Prior art keywords
poultry
neural networks
convolutional neural
image
activity recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810078459.1A
Other languages
English (en)
Inventor
蒲海涛
连剑
杨金梁
樊铭渠
张国栋
宋锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201810078459.1A priority Critical patent/CN108182423A/zh
Publication of CN108182423A publication Critical patent/CN108182423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的禽类动物行为识别方法，步骤(1)采集需要监测的所有禽类动物行为图像；步骤(2)对采集的图像进行预处理；步骤(3)结合待识别的禽类动物行为图像的特点设计深度卷积神经网络结构；步骤(4)将步骤(2)中得到的图像作为训练数据，利用(3)中的深度卷积神经网络结构，训练禽类动物行为识别模型；步骤(5)对步骤(4)中训练好的禽类动物行为识别模型进行精度测试，若测试精度未达到标准，则返回步骤(3)，直至达到应用标准；步骤(6)将识别模型进行部署，应用于禽类动物养殖过程当中，结束。能够有效提高禽类动物行为的识别效率和准确率，有利于简化养殖业管理工作。

Description

一种基于深度卷积神经网络的禽类动物行为识别方法
技术领域
本发明涉及禽类动物行为识别技术领域，尤其涉及一种基于深度卷积神经网络的禽类动物行为识别方法。
背景技术
近几年来，深度学习尤其是深度卷积神经网络被广泛应用在图像处理与分析任务当中，包括：图像配准、图像分类与图像分类等。而且，伴随人类社会的高速发展和产业自动化程度的逐步深入，通过计算机辅助技术实现农业生产管理，不但可以降低人力维护所需的各项资源，同时也可以提高管理水平。
在现代化养殖业管理过程中，需要对禽类动物的行为进行持续的监控与检测，以考察禽类动物生长行动能力的跑动、直立和动作协调性等指标以及动物间记忆及社交行为的指标。而禽类动物行为识别工作中存在以下难点，如禽类动物间相似度高，禽类动物间遮挡严重，不易实现区分。目前，养殖业中主要是通过工人实现禽类动物行为的监测，这就要求工人不但需要对大量的监控视频影像数据进行分析，同时还需要一定的熟练程度和专业水平。另外，在禽类动物行为监测的过程中，一方面工人的工作效率会影响监测管理工作的整体效率；另一方面在管理成本和开支方面也会带来浪费。
因此。期望一种可以解决上述问题及难点的技术。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于深度卷积神经网络的禽类动物行为识别方法，利用计算机对监控视频影像文件中的禽类动物图像进行训练学习，得到可以快速、准确识别不同动物行为的深度学习模型，并且将此模型用于指导养殖业管理，提高生产效率，节约生产成本。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度卷积神经网络的禽类动物行为识别方法，包括：
步骤(1)、采集禽类动物养殖业管理过程中需要监测的所有禽类动物行为图像；
步骤(2)、对采集到的禽类动物行为图像进行预处理；
步骤(3)、结合待识别的禽类动物行为图像的特点设计深度卷积神经网络结构；
步骤(4)、将步骤(2)中得到的禽类动物行为图像作为训练数据，利用(3)中的深度卷积神经网络结构，训练禽类动物行为识别模型；
步骤(5)、对步骤(4)中训练好的禽类动物行为识别模型进行精度测试，若测试精度未达到养殖业管理应用标准，则返回步骤(3)，直至达到应用标准；
步骤(6)、将识别模型进行部署，应用于禽类动物养殖过程当中，结束。
所述步骤(1)中采集禽类动物行为图像时采用人工设置灯光，排除养殖场地中其它光源的干扰。
所述步骤(1)中拍摄时使用高速摄像机和深度图像摄像机。
所述步骤(2)中图像预处理包括：对采集到的禽类动物行为图像按照对应类型进行分类整理、数据清洗以及图像数据扩充。
所述图像数据扩充包括：图像的平移操作、图像的旋转操作、图像的水平翻转操作及图像的随机裁剪操作。
所述步骤(3)中的深度卷积神经网络结构，需要结合图像的数据量以及禽类动物行为图像本身的特点，设计有不同层数的卷积神经网络结构。
卷积神经网络中的不同层数包括：
卷积层和下采样层的个数及排列方式、卷积层中卷积核的个数和大小、池化层中滑动窗口的大小和滑动窗口的移动步长、全连接成的结点个数及激活函数的类型，考虑养殖业管理应用的要求，从中选出识别准确率最高、识别速度最快的卷积神经网络结构。
所述步骤(4)中训练禽类动物行为识别模型时需要进行相关参数设置，相关参数设置包括：学习率的大小、训练的迭代次数、优化的方法、使用模式及批处理图像大小。
使用模式包括CPU或者GPU。
所述步骤(5)中的精度测试要求模型的识别精度达到99.5％以上。
本发明的有益效果：
本发明利用深度学习技术，采用深度卷积神经网络算法，对养殖过程中不同类型的禽类动物行为进行识别和监测，确保检测到的禽类动物行为类型与图像中禽类动物行为相对应，达到养殖业的管理要求，避免了人为因素带来的误差。
本发明将深度学习技术应用于养殖业中禽类动物行为识别，不但可以大大提高管理效率，同时可以节省大量的人力物力。当禽类养殖管理中有禽类动物行为需要识别时，只需要采集新的动物行为图像，和其它需要识别的禽类动物行为图像进行训练，即可得到可以快速识别禽类动物行为的模型。
利用深度卷积神经网络算法训练禽类动物行为识别模型，能够有效提高禽类动物行为的识别效率和准确率，有利于简化养殖业管理工作，为禽类动物养殖提供保障。
附图说明
图1为构建深度卷积神经网络结构示意图；
图2为本发明的方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明用于养殖业的管理中不同禽类动物行为的识别与分析。针对目前禽类养殖中动物行为的监控与检测过程里存在的问题，结合计算机技术和深度学习技术，特别是利用深度卷积神经网络算法，利用计算机对监控视频影像文件中的禽类动物图像进行训练学习，得到可以快速、准确识别不同动物行为的深度学习模型，并且将此模型用于指导养殖业管理，提高生产效率，节约生产成本。
一种基于深度卷积神经网络的禽类动物行为识别方法，如图1所示，主要包括以下几个过程：
过程1：数据采集
这里的数据采集主要是禽类养殖业中待分析与检测的禽类动物行为图像。
数据采集过程中首先需要排除养殖场地的光线干扰，采用遮罩和人工设置灯光的方式，利用高速摄像机和深度图像摄像机拍摄大量养殖过程中需要进行监测的禽类动物行为图像，采集到的每一种类型的禽类动物行为图像需要按照不同的类型的名称归类到相应的文件夹中，文件夹的名字即为禽类动物行为的类型。采集的每一种禽类动物行为图像数量至少需要60张以上。
过程2：数据预处理
数据预处理主要是考虑到利用深度卷积神经网络算法，需要利用大量数据学习禽类动物行为的图像特征，得到训练模型，提高分类模型的分类准确率和鲁棒性。
第一步：对过程1中采集到的所有数据进行数据清洗。
第二步：对清洗完的禽类动物行为图像进行数据扩充，主要数据扩充方式包括：图像平移、旋转、取镜像、调整大小、随机裁剪等。其中，图像的平移包括但不限于图像的上下平移、左右平移；图像的旋转包括但不限于按照不同的角度例如30°、60°、90°、120°、150°、180°、210°、240°、270°、300°和330°进行旋转；图像的大小调整是出于适应卷积神经网络算法的考虑，图像的随机裁剪包括但不限于在图像的四个角以及以图像为中心，裁剪出256x256大小的图像。
过程3：设计深度卷积神经网络结构
结合养殖业中禽类动物行为图像的特点以及图像的数据量，专门针对禽类动物行为图像设计相应的卷积神经网络结构，如图1所示，卷积神经网络的主要内容为：卷积层和下采样层的个数及排列方式、卷积层中卷积核的个数和大小、池化层中滑动窗口的大小和滑动窗口的移动步长、全连接成的结点个数、激活函数的类型，等等。
卷积神经网络分类器包括：多个特征图层，多个特征图层中的至少一个特征图层中的至少一个特征图被划分成多个区域；以及多个卷积模板，多个卷积模板与多个区域分别对应，每个卷积模板用于提取相应区域神经元的响应值。
过程4：模型训练
第一步：利用设计好的卷积神经网络结构，结合训练数据，设置训练超参数，包括但不限于：学习率的大小、训练的迭代次数、优化的方法、使用何种模式(CPU或者GPU)、批处理图像大小、学习率等。
第二步：根据第一步中设置的参数。利用卷积神经网络算法进行训练，达到最大训练次数以后训练完毕，得到训练好的分类模型。
过程5：模型测试
对训练好的分类模型进行精度测试，如果测试结果达到应用要求，则直接部署识别模型，上线该应用；如果测试精度未能达到应用要求，则调整卷积神经网络结构和训练参数，重新开始训练，直至达到应用要求。
过程6：应用上线
将达到养殖业应用标准的禽类动物行为识别模型应用于禽类养殖中，辅助养殖业生产。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，包括：
步骤(1)、采集禽类动物养殖业管理过程中需要监测的所有禽类动物行为图像；
步骤(2)、对采集到的禽类动物行为图像进行预处理；
步骤(3)、结合待识别的禽类动物行为图像的特点设计深度卷积神经网络结构；
步骤(4)、将步骤(2)中得到的禽类动物行为图像作为训练数据，利用(3)中的深度卷积神经网络结构，训练禽类动物行为识别模型；
步骤(5)、对步骤(4)中训练好的禽类动物行为识别模型进行精度测试，若测试精度未达到养殖业管理应用标准，则返回步骤(3)，直至达到应用标准；
步骤(6)、将识别模型进行部署，应用于禽类动物养殖过程当中，结束。
2.如权利要求1所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(1)中采集禽类动物行为图像时采用人工设置灯光，排除养殖场地中其它光源的干扰。
3.如权利要求1或2所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(1)中拍摄时使用高速摄像机和深度图像摄像机。
4.如权利要求1所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(2)中图像预处理包括：对采集到的禽类动物行为图像按照对应类型进行分类整理、数据清洗以及图像数据扩充。
5.如权利要求4所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述图像数据扩充包括：图像的平移操作、图像的旋转操作、图像的水平翻转操作及图像的随机裁剪操作。
6.如权利要求1所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(3)中的深度卷积神经网络结构，需要结合图像的数据量以及禽类动物行为图像本身的特点，设计有不同层数的卷积神经网络结构。
7.如权利要求6所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，卷积神经网络中的不同层数包括：
卷积层和下采样层的个数及排列方式、卷积层中卷积核的个数和大小、池化层中滑动窗口的大小和滑动窗口的移动步长、全连接成的结点个数及激活函数的类型，考虑养殖业管理应用的要求，从中选出识别准确率最高、识别速度最快的卷积神经网络结构。
8.如权利要求1所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(4)中训练禽类动物行为识别模型时需要进行相关参数设置，相关参数设置包括：学习率的大小、训练的迭代次数、优化的方法、使用模式及批处理图像大小。
9.如权利要求8所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，使用模式包括CPU或者GPU。
10.如权利要求1所述一种基于深度卷积神经网络的禽类动物行为识别方法，其特征是，所述步骤(5)中的精度测试要求模型的识别精度达到99.5％以上。
CN201810078459.1A 2018-01-26 2018-01-26 一种基于深度卷积神经网络的禽类动物行为识别方法 Pending CN108182423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078459.1A CN108182423A (zh) 2018-01-26 2018-01-26 一种基于深度卷积神经网络的禽类动物行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078459.1A CN108182423A (zh) 2018-01-26 2018-01-26 一种基于深度卷积神经网络的禽类动物行为识别方法

Publications (1)

Publication Number Publication Date
CN108182423A true CN108182423A (zh) 2018-06-19

Family

ID=62551479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078459.1A Pending CN108182423A (zh) 2018-01-26 2018-01-26 一种基于深度卷积神经网络的禽类动物行为识别方法

Country Status (1)

Country Link
CN (1) CN108182423A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709546A (zh) * 2019-01-14 2019-05-03 珠海格力电器股份有限公司 宠物状态监测方法和装置
CN109993076A (zh) * 2019-03-18 2019-07-09 华南理工大学 一种基于深度学习的白鼠行为分类方法
CN110334662A (zh) * 2019-07-09 2019-10-15 南通大学 一种基于自动化图像识别的动物痒行为分析方法
CN110837768A (zh) * 2018-08-16 2020-02-25 武汉大学 一种面向珍稀动物保护的在线检测与识别方法
CN111160271A (zh) * 2019-12-30 2020-05-15 哈尔滨商业大学 一种基于深度学习的室内养鸡场病鸡检测系统
CN111553718A (zh) * 2020-05-18 2020-08-18 江苏华丽智能科技股份有限公司 一种交互式远程监管方法及装置
CN112395970A (zh) * 2020-11-13 2021-02-23 郑州大学 一种鸟类视觉识别行为训练系统
CN112633190A (zh) * 2020-12-28 2021-04-09 南昌工程学院 一种深度学习方法
CN112016527B (zh) * 2020-10-19 2022-02-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、系统、终端及介质
CN114128673A (zh) * 2021-12-14 2022-03-04 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN107194432A (zh) * 2017-06-13 2017-09-22 山东师范大学 一种基于深度卷积神经网络的冰箱门体识别方法及系统
CN107590799A (zh) * 2017-08-25 2018-01-16 山东师范大学 基于深度卷积神经网络的香蕉成熟期识别方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN107194432A (zh) * 2017-06-13 2017-09-22 山东师范大学 一种基于深度卷积神经网络的冰箱门体识别方法及系统
CN107590799A (zh) * 2017-08-25 2018-01-16 山东师范大学 基于深度卷积神经网络的香蕉成熟期识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAITAO PU ET.AL: "Automatic Recognition of Flock Behavior of Chickens with Convolutional Neural Network and Kinect Sensor", 《INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837768A (zh) * 2018-08-16 2020-02-25 武汉大学 一种面向珍稀动物保护的在线检测与识别方法
CN109709546A (zh) * 2019-01-14 2019-05-03 珠海格力电器股份有限公司 宠物状态监测方法和装置
CN109993076A (zh) * 2019-03-18 2019-07-09 华南理工大学 一种基于深度学习的白鼠行为分类方法
CN110334662A (zh) * 2019-07-09 2019-10-15 南通大学 一种基于自动化图像识别的动物痒行为分析方法
CN111160271A (zh) * 2019-12-30 2020-05-15 哈尔滨商业大学 一种基于深度学习的室内养鸡场病鸡检测系统
CN111160271B (zh) * 2019-12-30 2023-08-18 哈尔滨商业大学 一种基于深度学习的室内养鸡场病鸡检测系统
CN111553718A (zh) * 2020-05-18 2020-08-18 江苏华丽智能科技股份有限公司 一种交互式远程监管方法及装置
CN112016527B (zh) * 2020-10-19 2022-02-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、系统、终端及介质
CN112395970A (zh) * 2020-11-13 2021-02-23 郑州大学 一种鸟类视觉识别行为训练系统
CN112633190A (zh) * 2020-12-28 2021-04-09 南昌工程学院 一种深度学习方法
CN114128673A (zh) * 2021-12-14 2022-03-04 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法

Similar Documents

Publication Publication Date Title
CN108182423A (zh) 一种基于深度卷积神经网络的禽类动物行为识别方法
US20220327815A1 (en) System and method for identification of plant species
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
Fang et al. Comparative study on poultry target tracking algorithms based on a deep regression network
Miranda et al. Pest detection and extraction using image processing techniques
CN111709333B (zh) 基于笼养鸡异常粪便的溯源预警系统及健康监测方法
BR112019023576A2 (pt) Método e meio legível por computador
CN109964235A (zh) 用于对昆虫进行视觉分类的预测模型
Zhang et al. Design of sick chicken automatic detection system based on improved residual network
CN107133604A (zh) 一种基于椭圆拟合和预测性神经网络的猪步态异常检测方法
CN107871316A (zh) 一种基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN108460370B (zh) 一种固定式家禽生命信息报警装置
Zhang et al. YOLO5-spear: A robust and real-time spear tips locator by improving image augmentation and lightweight network for selective harvesting robot of white asparagus
CN116030343A (zh) 一种基于机器视觉识别的农作物病虫害监管系统
Nakshmi et al. Optimizing quality and outputs by improving variable rate prescriptions in agriculture using UAVs
CN114898405A (zh) 基于边缘计算的便携式肉鸡异常监测系统
Tirkey et al. Performance analysis of AI-based solutions for crop disease identification, detection, and classification
Muñoz-Benavent et al. Impact evaluation of deep learning on image segmentation for automatic bluefin tuna sizing
CN114155377A (zh) 基于人工智能和生长周期分析的禽类自适应喂食方法
CN113706512A (zh) 一种基于深度学习和深度相机的生猪体重测量方法
CN113312999A (zh) 一种自然果园场景下的柑橘木虱高精度检测方法及装置
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN111652084B (zh) 一种异常蛋鸡识别方法及装置
De Silva et al. Towards infield navigation: leveraging simulated data for crop row detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180619