CN111291587A - 一种基于密集人群的行人检测方法、存储介质及处理器 - Google Patents

一种基于密集人群的行人检测方法、存储介质及处理器 Download PDF

Info

Publication number
CN111291587A
CN111291587A CN201811485647.2A CN201811485647A CN111291587A CN 111291587 A CN111291587 A CN 111291587A CN 201811485647 A CN201811485647 A CN 201811485647A CN 111291587 A CN111291587 A CN 111291587A
Authority
CN
China
Prior art keywords
pedestrian
detection method
pedestrian detection
pixels
dense crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811485647.2A
Other languages
English (en)
Inventor
刘若鹏
栾琳
严向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuang Chi Space Technology Co Ltd
Original Assignee
Shenzhen Kuang Chi Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuang Chi Space Technology Co Ltd filed Critical Shenzhen Kuang Chi Space Technology Co Ltd
Priority to CN201811485647.2A priority Critical patent/CN111291587A/zh
Priority to PCT/CN2019/112433 priority patent/WO2020114116A1/zh
Publication of CN111291587A publication Critical patent/CN111291587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于密集人群的行人检测方法、存储介质及处理器,其中所述方法包括:采用COCO数据集训练yolo模型;用矩形框将目标物框住,将矩形框的宽和高为一组,聚类到预设个数的类中,得到预设个数的组数据锚点;根据一组行人的宽高聚类描点大小及比例形成训练模型;运用得到的训练模型来对待识别图像的行人进行预测,以识别所述待识别图像中的行人。通过采用本发明的基于密集人群的行人检测方法、存储介质及处理器,可以实现密集目标检测,特别是目标存在遮挡、重叠时实现目标的准确检测;可检测目标更小;检测速度更快,可普遍适用于大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所。

Description

一种基于密集人群的行人检测方法、存储介质及处理器
【技术领域】
本发明涉及目标检测领域,具体的涉及一种基于密集人群的行人检测方法、存储介质及处理器。
【背景技术】
目标检测模型主要有R-CNN,Fast-R-CNN,Faster-R-CNN,YOLO,SSDR-CNN基于“候选框”的目标检测,大大提升检测速度,但缺点是每一个候选框都要独自经过CNN,这使得花费的时间非常多。
YOLO目标检测模型采用了网格化和描点的方法,极大简化了候选框的生成过程,模型整体性能优越。
YOLOv3使用Darknet-53基础网络,使用如下9个锚点,长宽分别是(单位为像素):(10,13),(16,30),(33,23),(30,61),(62,45),(59,119),(116,90),(156,198),(373,326)。这些描点的选择是在COCO数据集基础上聚类的9个锚点,目标物在图像中的占比都比较大,当出现目标物占比比较小的场景,比如公共区域摄像头,为了尽可能的监控到跟多的区域,画面中的人像在整张图中的占比就非常的小,而且出现行人(目标)聚集的情况,为了能够检测出较小的目标,需要将目标分类置信度阈值适当的降低,但这样会带来另外一个问题:会将多人(目标)识别成一个目标,这样造成识别目标不准确的问题。
【发明内容】
本发明所要解决的技术问题是提供一种基于密集人群的行人检测方法,能够实现小目标的检测,同时能够实现密集目标(行人)检测。
为解决上述技术问题,一方面,本发明一实施例提供了一种基于密集人群的行人检测方法,包括:采用COCO数据集训练yolo模型;用矩形框将目标物框住,将矩形框的宽和高为一组,聚类到预设个数的类中,得到预设个数的组数据锚点;
根据一组行人的宽高聚类描点大小及比例形成训练模型;运用得到的训练模型来对待识别图像的行人进行预测,以识别所述待识别图像中的行人。
优选地,所述根据一组行人的宽高聚类描点大小及比例指的是用于框住目标物的矩形的长和宽的比例。
优选地,所述预发个数指的是六个。
优选地,所述运用得到的训练模型来对待识别图像的行人进行预测包括:将待识别行人的图像输入所述训练模型,所述训练模型输出行人数量的预测结果。
优选地,所述目标物样本为2000~3000份。
优选地,用矩形框将目标物框住的重叠度大于阈值50%。
优选地,数据组锚点长宽比为1∶1。
优选地,数据组锚点长宽比为1∶1.5。
优选地,数据组锚点长宽比为1∶2。
另一方面,本发明一实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述的基于密集人群的行人检测方法。
另一方面,本发明一实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的基于密集人群的行人检测方法。
与现有技术相比,上述技术方案具有以下优点:实现密集目标检测,特别是目标存在遮挡、重叠时实现目标的准确检测;可检测目标更小;检测速度更快,可普遍适用于大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一种基于密集人群的行人检测方法流程图。
图2是现有技术中9个描点大小示意图。
图3是本发明基于密集人群的行人检测方法中使用的6个描点示意图。
图4是使用现有技术中9个描点大小、采用COCO数据集训练yolo模型预测的目标物示意图。
图5是使用本发明优化后采用6个描点大小COCO数据集训练yolo模型预测的目标物示意图。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,部属于本发明保护的范围。
实施例一
COCO的全称是Common Objects in COntext,是微软团队提供的一个可以用来进行图像识别的数据集。人类视觉系统快速且精准,只需瞄一眼YOLO(You Only Look Once)即可识别图像中物品及其位置。YOLO为一种新的目标检测方法,该方法的特点是实现快速检测的同时还达到较高的准确率。YOLO的网络结构:模型采用卷积神经网络结构。开始的卷积层提取图像特征,全连接层预测输出概率。
图1是本发明一种基于密集人群的行人检测方法流程图。如图1所示,一种基于密集人群的行人检测方法,包括步骤:
S11、采用COCO数据集训练yolo模型;COCO数据是开源的80个分类,而且数据标注规范,每个类的样本都超过2000,这样训练出来的模型是一个标杆。
S12、用矩形框将目标物框住,将矩形框的宽和高为一组,聚类到预发个数的类中,得到预设个数的组数据锚点;聚类后训练收敛速度会明显加快,减少慢无目的的搜索,比如一个小目标,使用一个很大的框去框它,要贴近小目标的次数明显比一个和目标物接近的框去框搜索次数多。
S13、根据一组行人的宽高聚类描点大小及比例形成训练模型;聚类后训练收敛速度会明显加快,减少慢无目的的搜索。比如一个小目标,使用一个很大的框去框它,要贴近小目标的次数明显比一个和目标物接近的框去框搜索次数多,减少训练时间。
S14、运用得到的训练模型来对待识别图像的行人进行预测,以识别所述待识别图像中的行人。通过训练模型,可以检测任意目标行人。运用得到的训练模型来对待识别图像的行人进行预测包括:将待识别行人的图像输入训练模型,训练模型输出行人数量的预测结果。
锚点是3个一组,原来是3组,现在减少到2组,这样在性能没有明显下降的情况下减少计算量(参考依据是yolo-tiny)。
具体实施时,目标物样本选2000~3000份。根据经验值,一般要检测一种物体分类,大概通过2000~3000份样本数据来训练就可以检测出属性来。
具体实施时,用矩形框将目标物框住的重叠度大于阈值50%。预测目标框和实际目标物的并集S1与预测目标框和实际目标物的合集S2的比值(S1/S2)为阈值。
具体实施时,数据组锚点长宽比设为1∶1。通过设定这样的长宽比,可以更容易框住正方形目标(比如坐下或蹲下的行人框)。
具体实施时,数据组锚点长宽比也可以设为1∶1.5。通过设定这样的长宽比,可以框住中等长条形目标(比如行人展开手臂,背包情况下的框)。
具体实施时,数据组锚点长宽比也可以发定为1∶2。通过设定这样的长宽比,这样可以框住直立的行人目标。
通过设定不同的锚点长宽比,可以框住不同姿态的目标物,框住目标物概率大,效率高。
如大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所,通过嵌入终端的若干个摄像头采集流动中的密集人群视频,对采集视频图像要求精度高的场合,可以选择高清摄像头。然后对视频图像进行视差计算,形成视频中人的图像,通过对人体的形状和高度为分析目标,采集移动的测试图像样本。为了图像分析更有时间性,视频中人的图像截取时带有时间戳信息。使用实施例一的基于密集人群的行人检测方法,可快速、准确地识别出大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所出入的行人数量。
实施例二
图2是现有技术中9个描点大小示意图。如图2所示,图示单位为像素,9个描点长宽分别为(10像素,13像素),(16像素,30像素),(33像素,23像素),(30像素,61像素),(62像素,45像素),(59像素,119像素),(116像素,90像素),(156像素,198像素),(373像素,326像素)。图3本发明基于密集人群的行人检测方法中使用的6个描点示意图。如图3所示,采用COCO数据集训练yolo模型,优化后的6个描点长宽分别为(3像素,5像素),(10像素,14像素),(23像素,27像素),(37像素,58像素),(81像素,82像素),(135像素,169像素)。通过对行人数据聚类,这样聚类出来的数据可以加快训练速度。
实施例三
图3是使用现有技术中9个描点大小、采用COCO数据集训练yolo模型预测的目标物示意图。9个描点长宽分别为(10像素,13像素),(16像素,30像素),(33像素,23像素),(30像素,61像素),(62像素,45像素),(59像素,119像素),(116像素,90像素),(156像素,198像素),(373像素,326像素)。采用现有技术中这样方式,则容易将密集在一起的多人,检测成一个人,多人密集在一起时,(373像素,326像素)的锚点可以框住目标物,但是容易造成框内都是行人的现象,输出特征业容易超过阈值,本来非行人的情形容易误判为行人,这样检测行人效率低,且浪费时间。
图4是使用本发明优化后采用6个描点大小COCO数据集训练yolo模型预测的目标物示意图。优化后采用6个描点长宽分别为(3像素,5像素),(10像素,14像素),(23像素,27像素),(37像素,58像素),(81像素,82像素),(135像素,169像素)。当行人密集场景时,因为不常在较大的锚点,即使使用最大的锚点去框目标也最多框住一个行人,这样直接就避免了把多目标框成一个的情况。
检测目标是行人,用矩形框将目标物框住,使用2000~3000个样本,将矩形框的宽和高为一组聚类到6个类中,得到与上述6组近似的数据组,替换原来的9组数据。同时因为矩形框数量由9个减少到6个,计算量也明显下降。
由上述说明可知,使用根据本发明的基于密集人群的行人检测方法,实现密集目标检测,特别是目标存在遮挡、重叠时实现目标的准确检测;可检测目标更小;检测速度更快,可普遍适用于大型商场、购物中心、连锁店、机场、车站、博物馆、展览馆等公共场所。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于密集人群的行人检测方法,其特征在于,包括:
采用COCO数据集训练yolo模型;
用矩形框将日标物框住,将矩形框的宽和高为一组,聚类到预设个数的类中,得到预设个数的组数据锚点;
根据一组行人的宽高聚类描点大小及比例形成训练模型;
运用得到的训练模型来对待识别图像的行人进行预测,以识别所述待识别图像中的行人。
2.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,所述根据一组行人的宽高聚类描点大小及比例指的是用于框住日标物的矩形的长和宽的比例。
3.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,所述预发个数指的是六个。
4.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,所述运用得到的训练模型来对待识别图像的行人进行预测包括:
将待识别行人的图像输入所述训练模型,所述训练模型输出行人数量的预测结果。
5.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,所述目标物样本为2000~3000份。
6.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,用矩形框将日标物框住的重叠度大于阈值50%。
7.根据权利要求1所述的基于密集人群的行人检测方法,其特征在于,数据组锚点长宽比为1∶1或1∶1.5或1∶2。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的基于密集人群的行人检测方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任一项所述的基于密集人群的行人检测方法。
CN201811485647.2A 2018-12-06 2018-12-06 一种基于密集人群的行人检测方法、存储介质及处理器 Pending CN111291587A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811485647.2A CN111291587A (zh) 2018-12-06 2018-12-06 一种基于密集人群的行人检测方法、存储介质及处理器
PCT/CN2019/112433 WO2020114116A1 (zh) 2018-12-06 2019-10-22 一种基于密集人群的行人检测方法、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485647.2A CN111291587A (zh) 2018-12-06 2018-12-06 一种基于密集人群的行人检测方法、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN111291587A true CN111291587A (zh) 2020-06-16

Family

ID=70974982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485647.2A Pending CN111291587A (zh) 2018-12-06 2018-12-06 一种基于密集人群的行人检测方法、存储介质及处理器

Country Status (2)

Country Link
CN (1) CN111291587A (zh)
WO (1) WO2020114116A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634202A (zh) * 2020-12-04 2021-04-09 浙江省农业科学院 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN113158897A (zh) * 2021-04-21 2021-07-23 新疆大学 一种基于嵌入式YOLOv3算法的行人检测系统
CN115994887A (zh) * 2022-09-06 2023-04-21 江苏济远医疗科技有限公司 一种基于动态锚点的医学图像密集目标分析方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931729B (zh) * 2020-09-23 2021-01-08 平安国际智慧城市科技股份有限公司 基于人工智能的行人检测方法、装置、设备及介质
CN112966618B (zh) * 2021-03-11 2024-02-09 京东科技信息技术有限公司 着装识别方法、装置、设备及计算机可读介质
CN112686340B (zh) * 2021-03-12 2021-07-13 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法
CN113568407A (zh) * 2021-07-27 2021-10-29 山东中科先进技术研究院有限公司 一种基于深度视觉的人机协作安全预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
CN106960195A (zh) * 2017-03-27 2017-07-18 深圳市丰巨泰科电子有限公司 一种基于深度学习的人群计数方法及装置
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107273836A (zh) * 2017-06-07 2017-10-20 深圳市深网视界科技有限公司 一种行人检测识别方法、装置、模型和介质
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
CN106960195A (zh) * 2017-03-27 2017-07-18 深圳市丰巨泰科电子有限公司 一种基于深度学习的人群计数方法及装置
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法
CN107273836A (zh) * 2017-06-07 2017-10-20 深圳市深网视界科技有限公司 一种行人检测识别方法、装置、模型和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张楚楚 等: "基于改进YOLOv2网络的密集人群场景行人检测", 现代计算机, no. 28, 21 November 2018 (2018-11-21), pages 35 - 37 *
张楚楚 等: "基于改进YOLOv2网络的密集人群场景行人检测", 现代计算机, no. 28, pages 35 - 37 *
车凯 等: "基于改进Fast R-CNN的红外图像行人检测研究", 红外技术, vol. 40, no. 6, 30 June 2018 (2018-06-30), pages 579 - 582 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634202A (zh) * 2020-12-04 2021-04-09 浙江省农业科学院 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN113158897A (zh) * 2021-04-21 2021-07-23 新疆大学 一种基于嵌入式YOLOv3算法的行人检测系统
CN115994887A (zh) * 2022-09-06 2023-04-21 江苏济远医疗科技有限公司 一种基于动态锚点的医学图像密集目标分析方法
CN115994887B (zh) * 2022-09-06 2024-01-09 江苏济远医疗科技有限公司 一种基于动态锚点的医学图像密集目标分析方法

Also Published As

Publication number Publication date
WO2020114116A1 (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
CN111291587A (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
WO2021042909A1 (zh) 一种场景切换的检测方法、装置、电子设备及存储介质
US20160019698A1 (en) Systems and methods for people counting in sequential images
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN110598558A (zh) 人群密度估计方法、装置、电子设备及介质
JP2000123184A (ja) 動画内のイベントを検出する方法
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN111767878A (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN111462155B (zh) 移动侦测方法、装置、计算机设备和存储介质
CN110837786B (zh) 基于空间通道的密度图产生方法、装置、电子终端及介质
CN111079604A (zh) 面向大尺度遥感图像的微小目标快速检测方法
WO2017197882A1 (zh) 一种视频播放方法及装置
WO2022227480A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN106934338B (zh) 一种基于相关滤波器的长期行人跟踪方法
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN110807430B (zh) 一种实况全景交通标志图片预处理方法
CN116129328A (zh) 遗留物检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination