CN111242007A - 一种农事行为监管方法 - Google Patents

一种农事行为监管方法 Download PDF

Info

Publication number
CN111242007A
CN111242007A CN202010025633.3A CN202010025633A CN111242007A CN 111242007 A CN111242007 A CN 111242007A CN 202010025633 A CN202010025633 A CN 202010025633A CN 111242007 A CN111242007 A CN 111242007A
Authority
CN
China
Prior art keywords
behavior
real
farming
key
agricultural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010025633.3A
Other languages
English (en)
Inventor
闵聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Shanghai Chongming Ecological Agriculture Science And Technology Innovation Center
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Shanghai Chongming Ecological Agriculture Science And Technology Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd, Shanghai Chongming Ecological Agriculture Science And Technology Innovation Center filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202010025633.3A priority Critical patent/CN111242007A/zh
Publication of CN111242007A publication Critical patent/CN111242007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Abstract

本发明公开了一种农事行为监管方法，涉及农业技术领域，该方法利用安装在农产品种植基地的摄像头进行持续监控采集实时视频流，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为类别，并提取出相应的关键帧图像和/或关键视频片段及其对应的农事行为类别，从而可以在大规模农业生产过程中便捷地实现对各类农事行为的监管和视频存档，且在利用行为检测模型识别农事行为时，将一个分类任务转变为目标检测任务，在农事领域这种大背景和图像的基础元素相近的情况下效果十分明显，通过对目标事物的识别从而提高准确率和效率。

Description

一种农事行为监管方法
技术领域
本发明涉及农业技术领域，尤其是一种农事行为监管方法。
背景技术
随着人们对食品安全的关注程度的提高，对农业生产过程中各类农事行为的实时监管要求也越来越高，但是现代化农业的生产规模越来越大，如果要靠人工巡视来监管的话，效率较低，效果也不好。
发明内容
本发明人针对上述问题及技术需求，提出了一种农事行为监管方法，本发明的技术方案如下：
一种农事行为监管方法，该方法包括：
通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将样本视频文件切分为若干个样本图片帧；
从所有样本图片帧中选取预定目标作为训练样本，预定目标的类别包括操作人员和各类农事操作工具中的至少一种；
确定与各个预定目标及其特征信息对应的农事行为类别，对各个训练样本中的各个预定目标按照对应的农事行为类别进行标注；
利用SSD模型对标注后的训练样本进行模型训练得到行为检测模型；
通过安装在农产品种植基地的摄像头采集实时视频文件，将实时视频文件切分为若干个实时图片帧；
利用行为检测模型检测每个实时图片帧中的预定目标及其特征信息，并得到对应的农事行为类别及检测分值；
选取连续若干帧中最高检测分值对应的实时图片帧为关键帧，和/或，选取实时视频文件中包含关键帧的预定视频长度的视频文件作为关键视频片段；
输出关键帧和/或关键视频片段，并输出关键帧和/或关键视频片段中最高的检测分值对应的农事行为类别。
其进一步的技术方案为，各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
其进一步的技术方案为，预定目标的特征信息包括操作人员的肢体行为信息以及预定目标使用的农用物品信息中的至少一种，肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。
其进一步的技术方案为，该方法还包括：
将关键帧和/或关键视频片段及对应的农事行为类别输出给预定专家，根据预定专家对识别的农事行为类别的反馈更新行为检测模型。
其进一步的技术方案为，利用行为检测模型检测每个实时图片帧中的预定目标及其特征信息，包括：
对实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理；
通过SIFT算法获SURF算法对经过处理的实时图片帧进行特征提取，将提取得到的特征输入行为检测模型进行检测。
本发明的有益技术效果是：
本申请公开了一种农事行为监管方法，该方法利用安装在农产品种植基地的摄像头进行持续监控采集实时视频流，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为类别，并提取出相应的关键帧图像和/或关键视频片段及其对应的农事行为类别，从而可以在大规模农业生产过程中便捷地实现对各类农事行为的监管和视频存档，且在利用行为检测模型识别农事行为时，将一个分类任务转变为目标检测任务，在农事领域这种大背景和图像的基础元素相近的情况下效果十分明显，通过对目标事物的识别从而提高准确率和效率。
附图说明
图1是本申请公开的农事行为监管方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种农事行为监管方法，该方法利用安装在农产品种植基地的摄像头采集图像或视频，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为并提取出相应的图像或视频，实现对各类农事行为的监管和视频存档，首先本申请需要训练行为检测模型，包括如下步骤：
1、通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将样本视频文件切分为若干个样本图片帧。
2、从所有样本图片帧中选取预定目标作为训练样本，预定目标的类别包括包括操作人员和各类农事操作工具中的至少一种。其中，各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
3、确定与各个预定目标及其特征信息对应的农事行为类别，对各个训练样本中的各个预定目标按照对应的农事行为类别进行标注。其中，预定目标的特征信息包括操作人员的肢体行为信息以及预定目标使用的农用物品信息中的至少一种，肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。农事行为类别包括栽插、稻田整理、除草、施追肥、施基肥和收割中的至少一种。
这是因为申请人考虑到农事行为的特殊性，基本上所有的农事行为都是在田里进行的，一帧图片中大背景及主体内容都是田地，较为类似，不同农事行为之间在图片的区别上较小。如栽插、除草和施追肥之间主体都是绿色的田地，区别在于栽插是在田地中存在插秧机器，除草是一个人弯着身子在除草，施追肥是一个人背着农药机进行喷洒或是一个人在撒农药，区别只是人员/设备及行为不同。因此若直接对整张图片进行检测分类则效果不佳，本申请不再对图片进行分类，而是对其中的人员及对其中的人员及行为进行目标检测，如栽插判断插秧机器的存在，施追肥判断农药机和操作人员撒农药的行为，稻田整理判断整地机器及牛的存在。比如常见的几类如下：
"栽插"：插秧机存在、插秧块存在；
"稻田整理"：整地机存在、牛存在；
"除草"：操作人员的下蹲行为；
"施追肥"：背式施肥机器存在、操作人员的撒肥料动作；
"施基肥"：黑色的基肥存在、施基肥机器存在。
4、利用SSD模型对标注后的训练样本进行模型训练得到行为检测模型。
训练得到行为检测模型后可以利用行为检测模型来自动识别农事行为实现监管，请参考图1，包括如下步骤：
1、通过安装在农产品种植基地的摄像头采集实时视频文件，将实时视频文件切分为若干个实时图片帧。
2、利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，包括：对实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理，然后通过SIFT算法获SURF算法对经过处理的实时图片帧进行特征提取，将提取得到的特征输入行为检测模型进行检测。
若未检测到当前实时图片帧中有预定目标，则直接检测下一个实时图片帧；若检测到当前实时图片帧中有预定目标，则得到并记录实时图片帧中的预定目标及其特征信息对应的农事行为类别及检测分值。
3、选取连续若干帧中检测分值最高的预定目标所在的实时图片帧为关键帧。和/或，根据检测分值最高的预定目标所在的实时图片帧在视频中的时刻，选取实时视频文件中包含关键帧所在时刻的前后预定视频长度的视频文件作为关键视频片段。
4、输出关键帧和/或关键视频片段，且输出的关键帧和/或关键视频片段对其中的预定目标标识有预测框，并输出关键帧和/或关键视频片段中最高的检测分值对应的农事行为类别，从而可以实现远程的自动化、大规模的农事行为监管。本申请识别速度快，支持图片和视频的输入，单张图片的预测在0.5s内返回，视频的异步返回可以使得多次请求并发，不会丢失请求，增加缓存效果。
另外，将关键帧和/或关键视频片段及对应的农事行为类别输出给预定专家，由预定专家对农事行为类别的识别结果进行二次检测，并反馈结果为识别正确或识别失败，若识别失败则由预定专家对预测框及对应的农事行为类别进行调整，并将调整后的结果形成正反馈更新行为检测模型，形成自学习的过程。同时还可以将关键帧和/或关键视频片段及其对应的农事行为类别与农产品种植基地做关联，做到对农田和生产情况的监测和发掘。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (5)

1.一种农事行为监管方法，其特征在于，所述方法包括：
通过安装在农产品种植基地的摄像头采集农产品生长过程中各个生长阶段的样本视频文件，将所述样本视频文件切分为若干个样本图片帧；
从所有样本图片帧中选取预定目标作为训练样本，所述预定目标的类别包括操作人员和各类农事操作工具中的至少一种；
确定与各个预定目标及其特征信息对应的农事行为类别，对各个所述训练样本中的各个预定目标按照对应的农事行为类别进行标注；
利用SSD模型对标注后的训练样本进行模型训练得到行为检测模型；
通过安装在农产品种植基地的摄像头采集实时视频文件，将所述实时视频文件切分为若干个实时图片帧；
利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，并得到对应的农事行为类别及检测分值；
选取连续若干帧中最高检测分值对应的实时图片帧为关键帧，和/或，选取所述实时视频文件中包含所述关键帧的预定视频长度的视频文件作为关键视频片段；
输出所述关键帧和/或所述关键视频片段，并输出所述关键帧和/或所述关键视频片段中最高的检测分值对应的农事行为类别。
2.根据权利要求1所述的方法，其特征在于，所述各类农事操作工具包括牛、插秧机、整地机、背式施肥机器、施基肥机器和收割机中的至少一种。
3.根据权利要求1所述的方法，其特征在于，所述预定目标的特征信息包括操作人员的肢体行为信息以及所述预定目标使用的农用物品信息中的至少一种，所述肢体行为信息包括站立、下蹲、弯腰、泼撒和犁地中的至少一种，所述农用物品信息包括插秧块、肥料袋和粮食储藏仓中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述关键帧和/或所述关键视频片段及对应的农事行为类别输出给预定专家，根据所述预定专家对识别的农事行为类别的反馈更新所述行为检测模型。
5.根据权利要求1-4任一所述的方法，其特征在于，所述利用所述行为检测模型检测每个所述实时图片帧中的预定目标及其特征信息，包括：
对所述实时图片帧进行图像滤波、区域分裂与归并、图像分割以及形态学处理；
通过SIFT算法获SURF算法对经过处理的所述实时图片帧进行特征提取，将提取得到的特征输入所述行为检测模型进行检测。
CN202010025633.3A 2020-01-10 2020-01-10 一种农事行为监管方法 Pending CN111242007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010025633.3A CN111242007A (zh) 2020-01-10 2020-01-10 一种农事行为监管方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010025633.3A CN111242007A (zh) 2020-01-10 2020-01-10 一种农事行为监管方法

Publications (1)

Publication Number Publication Date
CN111242007A true CN111242007A (zh) 2020-06-05

Family

ID=70873059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010025633.3A Pending CN111242007A (zh) 2020-01-10 2020-01-10 一种农事行为监管方法

Country Status (1)

Country Link
CN (1) CN111242007A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203053A (zh) * 2020-09-29 2021-01-08 北京市政建设集团有限责任公司 地铁施工人员行为智能监管方法及其系统
CN112560792A (zh) * 2020-12-28 2021-03-26 浙江省农业科学院 一种果园农事活动自动化记录方法
CN112836623A (zh) * 2021-01-29 2021-05-25 北京农业智能装备技术研究中心 设施番茄农事决策辅助方法及装置
CN112859648A (zh) * 2020-12-31 2021-05-28 上海市崇明区蔬菜科学技术推广站 蔬菜投入品一体化智能管控系统
CN113361362A (zh) * 2021-05-31 2021-09-07 中国农业大学 农民劳作行为识别方法、装置、电子设备及存储介质
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN115880558A (zh) * 2023-03-03 2023-03-31 北京市农林科学院信息技术研究中心 农事行为检测方法、装置、电子设备及存储介质
CN115937795A (zh) * 2023-03-15 2023-04-07 湖北泰跃卫星技术发展股份有限公司 一种基于乡村视频获取农事活动记录的方法及装置
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106643722A (zh) * 2016-10-28 2017-05-10 华南理工大学 一种基于三轴加速度计的宠物运动识别方法
WO2017129020A1 (zh) * 2016-01-29 2017-08-03 中兴通讯股份有限公司 视频中人体行为识别的方法、装置和计算机存储介质
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN108830177A (zh) * 2018-05-25 2018-11-16 深圳春沐源控股有限公司 农事操作行为稽查方法及装置
CN109800717A (zh) * 2019-01-22 2019-05-24 中国科学院自动化研究所 基于强化学习的行为识别视频帧采样方法及系统
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN110119757A (zh) * 2019-03-28 2019-08-13 北京奇艺世纪科技有限公司 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质
CN110189140A (zh) * 2019-04-16 2019-08-30 北京农业信息技术研究中心 基于区块链的农产品溯源存证方法及溯源存证系统
CN110263650A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110348349A (zh) * 2019-07-01 2019-10-18 河南牧业经济学院 一种收集、分析猪行为视频数据的方法和系统
CN110363220A (zh) * 2019-06-11 2019-10-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017129020A1 (zh) * 2016-01-29 2017-08-03 中兴通讯股份有限公司 视频中人体行为识别的方法、装置和计算机存储介质
CN106643722A (zh) * 2016-10-28 2017-05-10 华南理工大学 一种基于三轴加速度计的宠物运动识别方法
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN108830177A (zh) * 2018-05-25 2018-11-16 深圳春沐源控股有限公司 农事操作行为稽查方法及装置
CN109800717A (zh) * 2019-01-22 2019-05-24 中国科学院自动化研究所 基于强化学习的行为识别视频帧采样方法及系统
CN110119757A (zh) * 2019-03-28 2019-08-13 北京奇艺世纪科技有限公司 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质
CN110189140A (zh) * 2019-04-16 2019-08-30 北京农业信息技术研究中心 基于区块链的农产品溯源存证方法及溯源存证系统
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN110263650A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110363220A (zh) * 2019-06-11 2019-10-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110348349A (zh) * 2019-07-01 2019-10-18 河南牧业经济学院 一种收集、分析猪行为视频数据的方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203053A (zh) * 2020-09-29 2021-01-08 北京市政建设集团有限责任公司 地铁施工人员行为智能监管方法及其系统
CN112560792A (zh) * 2020-12-28 2021-03-26 浙江省农业科学院 一种果园农事活动自动化记录方法
CN112859648A (zh) * 2020-12-31 2021-05-28 上海市崇明区蔬菜科学技术推广站 蔬菜投入品一体化智能管控系统
CN112836623A (zh) * 2021-01-29 2021-05-25 北京农业智能装备技术研究中心 设施番茄农事决策辅助方法及装置
CN112836623B (zh) * 2021-01-29 2024-04-16 北京农业智能装备技术研究中心 设施番茄农事决策辅助方法及装置
CN113361362A (zh) * 2021-05-31 2021-09-07 中国农业大学 农民劳作行为识别方法、装置、电子设备及存储介质
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN115880558A (zh) * 2023-03-03 2023-03-31 北京市农林科学院信息技术研究中心 农事行为检测方法、装置、电子设备及存储介质
CN115937795A (zh) * 2023-03-15 2023-04-07 湖北泰跃卫星技术发展股份有限公司 一种基于乡村视频获取农事活动记录的方法及装置
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116189063B (zh) * 2023-04-24 2023-07-18 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置

Similar Documents

Publication Publication Date Title
CN111242007A (zh) 一种农事行为监管方法
Hemming et al. PA—Precision agriculture: Computer-vision-based weed identification under field conditions using controlled lighting
Vakilian et al. A farmer-assistant robot for nitrogen fertilizing management of greenhouse crops
CN110110595B (zh) 一种基于卫星遥感影像的农田画像及药肥大数据分析方法
Arakeri et al. Computer vision based robotic weed control system for precision agriculture
Sun et al. Image processing algorithms for infield single cotton boll counting and yield prediction
Hlaing et al. Weed and crop segmentation and classification using area thresholding
Selvi et al. Weed detection in agricultural fields using deep learning process
Ma et al. Automatic detection of crop root rows in paddy fields based on straight-line clustering algorithm and supervised learning method
CN114818909A (zh) 一种基于作物长势特征的杂草检测方法和装置
Hennessy et al. Evaluation of cameras and image distance for CNN-based weed detection in wild blueberry
Mortensen et al. The oil radish growth dataset for semantic segmentation and yield estimation
Boatswain Jacques et al. Towards a machine vision-based yield monitor for the counting and quality mapping of shallots
CN116843188A (zh) 一种基于大数据分析的精细农业栽培与管理平台
Moghaddam et al. Developing a selective thinning algorithm in sugar beet fields using machine vision system
Gupta et al. Artificial intelligence in agriculture
Pratomo et al. Digital identification approach to characterize Hevea brasiliensis leaves
Kunghun et al. Navigation of autonomous vehicle for rubber tree orchard
Lakshmi et al. A Review on Developing Tech-Agriculture using Deep Learning Methods by Applying UAVs
Bulanon et al. Predicting fruit yield using shallow neural networks
Okamoto et al. Field applications of automated weed control: Asia
Celik et al. A deep learning based system for real-time detection and sorting of earthworm cocoons
Tellaeche et al. On combining Support Vector Machines and Fuzzy K-Means in vision-based precision agriculture
Hennessy Convolutional Neural Networks for Real-Time Weed Identification in Wild Blueberry Production
Longchamps et al. A technique for high-accuracy ground-based continuous weed mapping at field scale

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination