CN113989625A - 基于边缘计算的图像识别方法、装置、设备及存储介质 - Google Patents

基于边缘计算的图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113989625A
CN113989625A CN202111523353.6A CN202111523353A CN113989625A CN 113989625 A CN113989625 A CN 113989625A CN 202111523353 A CN202111523353 A CN 202111523353A CN 113989625 A CN113989625 A CN 113989625A
Authority
CN
China
Prior art keywords
image
image recognition
model
identification
edge calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111523353.6A
Other languages
English (en)
Inventor
蒋若宁
沈菁
周达亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huayi Information Technology Co ltd
Original Assignee
Shanghai Huayi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huayi Information Technology Co ltd filed Critical Shanghai Huayi Information Technology Co ltd
Priority to CN202111523353.6A priority Critical patent/CN113989625A/zh
Publication of CN113989625A publication Critical patent/CN113989625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于边缘计算的图像识别方法、装置、设备及存储介质,该方法包括以下步骤:步骤1),图像获取,通过现场部署摄像头来获取图像;步骤2),图像识别,根据识别对象的配置信息,并基于yolov5算法识别框架和定制化目标检测模型,识别各路视频流中的感兴趣目标;步骤3),识别结果发送,对于识别出感兴趣目标的识别结果,向上位机发送。与现有技术相比,本发明具有抗干扰性强、创新性高等优点。

Description

基于边缘计算的图像识别方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术,尤其是涉及一种基于边缘计算的图像识别方法、装置、设备及存储介质。
背景技术
随着机器视觉与人工智能技术的发展,基于机器视觉的人工智能应用已广泛应用于各行各业,如人脸检测、行人追踪、目标检测等。然而定制化的人工智能应用在智慧工地应用中仍然存在一定困难:一方面,视觉应用相关的人工智能场景往往需要GPU服务器计算资源予以算力支撑,在部署端实施需要现场机房提供部署条件;另一方面,智慧工地的定制化需求(如保安识别、着装识别)需要对算法模型进行定制化的开发。
目前,边缘端的机器视觉人工智能应用如图像分类、目标定位、目标识别等,为了达到较高的可应用性,需要在应用边缘端部署服务器+GPU显卡算力进行业务处理及模型应用。其缺点是:1、成本高,一台服务器加显卡价格往往达到几万元;2、部署要求高,需要将服务器部署于机房机柜并保证散热条件。
经过检索,中国专利公开号CN214846751U公开了一种基于边缘计算的移动人脸布控装置和系统,具体公开了:通过设置远程通讯模块和远程定位模块能够实现远程通讯,传递位置信息和传递智能处理系统的数据信息,通过设置智能处理系统对图片进行预处理、识别以及利用边缘计算模块对图像信息进行特征提取、比对。但是该现有专利为一种通用化的AI机器视觉应用,一般包括人脸识别、行人识别、安全帽识别、反光衣识别等,已经得到了广泛应用,其性能已经得以证实可靠稳定。但是,在实际应用中,也发现了其存在的缺陷:1、对于人员进出口处,有保安维持现场安全及秩序,其并没有佩戴安全帽的需求,误报警问题需要解决;2、智慧工地要求工人着装符合安全生产规定,不允许穿着短袖短裤进入工地,这一要求并非通用化的机器视觉人工智能场景。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于边缘计算的图像识别方法、装置、设备及存储介质。
本发明的目的可以通过以下技术方案来实现:
根据本发明的第一方面,提供了一种基于边缘计算的图像识别方法,该方法包括以下步骤:
步骤1),图像获取,通过现场部署摄像头来获取图像;
步骤2),图像识别,根据识别对象的配置信息,并基于yolov5算法识别框架和定制化目标检测模型,识别各路视频流中的感兴趣目标;
步骤3),识别结果发送,对于识别出感兴趣目标的识别结果,向上位机发送。
优选地,所述的步骤1)中的摄像头配置具体为:
边缘端工控机基于配置好的RTSP/RTMP流地址,对摄像头的视频流进行配置,从而来获取图像;并采用多线程的形式,分别获取各路视频流信息。
优选地,所述的边缘端工控机对于各个摄像头的识别对象根据需求进行配置。
优选地,所述的步骤2)中的感兴趣目标包括车辆、人员是否佩戴安全帽、人员是否着装短袖短裤。
优选地,所述的步骤2)中的基于yolov5算法识别框架和定制化目标检测模型包括:定制化安全帽识别模型和着装短袖短裤识别模型。
优选地,所述的定制化安全帽识别模型具体为:
基于yolov5算法框架设计模型结构,其中模型训练数据包括佩戴安全帽标注数据、不佩戴安全帽标注数据、现场场景数据和保安标注数据。
优选地,所述的着装短袖短裤识别模型具体为:
基于yolov5算法框架,设计二阶段模型算法,其中第一阶段:行人识别,采用通用的行人识别模型;第二阶段:着装识别,基于短袖短裤标注数据,进行模型训练。
根据本发明的第二方面,提供了一种用于所述基于边缘计算的图像识别方法的装置,该装置分别与摄像头和智慧工地中央系统连接,所述的装置采用工控机,该工控机包括图像获取模块、图像识别模块、结果发送模块和数据库,所述的摄像头、图像获取模块、图像识别模块、结果发送模块和智慧工地中央系统依次连接,所述的数据库分别与图像获取模块、图像识别模块、结果发送模块连接;
所述的工控机采用微服务架构,所有应用都打包成docker image,并在dockercontainer中运行,通过http通信向智慧工地中央系统推送现场识别结果。
根据本发明的第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现所述的方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现所述的方法。
与现有技术相比,本发明具有以下优点:
1)本发明模型算法抗干扰性强,相对于通用的安全帽模型,本发明针对场景进行定制化优化,不会将无关人员(保安)进行安全帽是否佩戴识别。
2)本发明模型算法创新性高,着装短袖短裤模型为创新应用场景,本发明针对这一定制化应用场景开发定制化模型。经测试,模型的准确性高,符合现场应用要求。
3)本发明工控机部署成本低,环境要求低,可拓展性高。其部署不要求机房机柜,只需要与现场网络连接调通即可。工控机功率15w,供电、散热要求低,易于部署和维护。
4)本发明复用性强,工控机硬件环境要求低,多点部署容易,服务应用打包成docker image,对于新场景部署容易,仅需修改环境变量配置信息(如摄像头RTSP/RTMP流地址,识别目标,结果返回http地址)即可实现多工地部署。
附图说明
图1为本发明装置的结构示意图;
图2为本发明方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
本发明基于边缘计算的图像识别方法,具体包括以下步骤:
步骤S1:图像获取,现场部署摄像头,基于配置好的RTSP/RTMP流地址,边缘端工控机根据现场需求,可配置摄像头视频流进行图像获取,采用多线程的形式,分别获取各路视频流信息,该配置可根据应用需求修改。对于各个摄像头的识别对象(如车辆、人员),也可根据需求进行配置。
步骤S2:图像识别,根据识别对象的配置信息,基于yolov5算法识别框架和定制化目标检测模型,识别各路视频流中的感兴趣目标(如车辆、人员是否佩戴安全帽、人员是否着装短袖短裤),并画框,标注目标信息,保存识别结果。
步骤S3:识别结果发送,对于识别出感兴趣目标的识别结果,向智慧工地中央系统,以http协议发送识别结果图片、识别结果信息等。
定制化的智慧工地模型基于yolov5算法框架,根据现场应用需求,进行定制化模型开发,包括:定制化安全帽识别模型,着装短袖短裤识别模型。
(1)定制化安全帽识别模型,基于yolov5算法框架,其模型训练数据包括:佩戴安全帽、不佩戴安全帽标注数据、现场场景数据、保安标注数据。经模型训练并进行模型测试,解决了安全帽识别的应用需求,解决了保安不作为未佩戴安全帽报警的误触发问题。
(2)定制化的人员着装短袖短裤识别模型,基于yolov5算法框架,设计二阶段模型算法,第一阶段:行人识别,采用通用的行人识别模型;第二阶段:着装识别,基于短袖短裤标注数据,进行模型训练。经测试,可正确识别出人员是否着装短袖短裤。
具体实施过程:
在新材料区工地,部署了两套本发明系统,每套系统对接四路摄像头,共计八路摄像头。第一边缘计算工控机中配置的四路摄像头识别人员是否佩戴安全帽,是否穿着短袖短裤。第二边缘计算工控机中配置的两路摄像头识别人员是否佩戴安全帽,是否穿着短袖短裤,另外两路摄像头识别进出车辆。
图像获取模块、图像识别模块、结果发送模块以及mysql数据库四个软件模块分别打包成docker image,在docker container中启动微服务。
(1)图像获取,通过配置的RTMP/RTSP地址,采用并发式,多线程的方式连接摄像头,对摄像头拍摄视频进行取流,并截图保存至硬盘数据库。采用短连接的方式,保证连接不中断,取图无延时。
(2)图像识别,根据各路摄像头的业务需求配置进行目标检测识别算法应用,识别进出车辆,人员是否佩戴安全帽,是否穿着短袖短裤等,并将识别目标框出,并保存至硬盘数据库。
(3)结果发送,根据配置的HTTP地址,将识别结果发送至智慧工地中央系统,并在本地做发送记录。
系统的具体操作流程如下:
根据各路摄像头配置的识别目标业务,进行人工智能算法目标检测识别,并将识别结果返回中央系统。对于车辆识别、安全帽识别,采用端到端的一阶段目标检测识别,算法模型直接从图像中识别出进出车辆,人员是否佩戴安全帽等目标,并将识别目标框出。对于短袖短裤识别,采用二阶段目标检测识别框架,第一阶段:识别人员目标,在整图中找到行人目标,并框出,第二阶段:识别人员着装,判断行人是否着装短袖短裤,并返回识别结果。
以上是关于方法实施例的介绍,以下通过装置实施例,对本发明所述方案进行进一步说明。
如图1所示,本发明基于边缘计算的图像识别方法的装置,该装置分别与摄像头1和智慧工地中央系统3连接,所述的装置采用工控机2,该工控机2包括图像获取模块21、图像识别模块22、结果发送模块23和数据库24,所述的摄像头1、图像获取模块21、图像识别模块22、结果发送模块23和智慧工地中央系统3依次连接,所述的数据库24分别与图像获取模块21、图像识别模块22、结果发送模块23连接;
为了满足工控级的边缘计算部署,基于nvidia jetson nx芯片的工控机,包含6核心CPU+384核心GPU,能够为边缘端人工智能应用提供足够的运算能力,并且对于部署环境要求低,功率要求低(15w)。在部署上,采用微服务架构,所有应用都打包成docker image,在docker container中运行,与智慧工地中央系统,通过http通信推送现场识别结果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明电子设备包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令,来执行各种适当的动作和处理。在RAM中,还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
设备中的多个部件连接至I/O接口,包括:输入单元,例如键盘、鼠标等;输出单元,例如各种类型的显示器、扬声器等;存储单元,例如磁盘、光盘等;以及通信单元,例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理,例如方法S1~S3。例如,在一些实施例中,方法S1~S3可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元。在一些实施例中,计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时,可以执行上文描述的方法S1~S3的一个或多个步骤。备选地,在其他实施例中,CPU可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法S1~S3。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于边缘计算的图像识别方法,其特征在于,该方法包括以下步骤:
步骤1),图像获取,通过现场部署摄像头来获取图像;
步骤2),图像识别,根据识别对象的配置信息,并基于yolov5算法识别框架和定制化目标检测模型,识别各路视频流中的感兴趣目标;
步骤3),识别结果发送,对于识别出感兴趣目标的识别结果,向上位机发送。
2.根据权利要求1所述的一种基于边缘计算的图像识别方法,其特征在于,所述的步骤1)中的摄像头配置具体为:
边缘端工控机基于配置好的RTSP/RTMP流地址,对摄像头的视频流进行配置,从而来获取图像;并采用多线程的形式,分别获取各路视频流信息。
3.根据权利要求2所述的一种基于边缘计算的图像识别方法,其特征在于,所述的边缘端工控机对于各个摄像头的识别对象根据需求进行配置。
4.根据权利要求1所述的一种基于边缘计算的图像识别方法,其特征在于,所述的步骤2)中的感兴趣目标包括车辆、人员是否佩戴安全帽、人员是否着装短袖短裤。
5.根据权利要求1所述的一种基于边缘计算的图像识别方法,其特征在于,所述的步骤2)中的基于yolov5算法识别框架和定制化目标检测模型包括:定制化安全帽识别模型和着装短袖短裤识别模型。
6.根据权利要求5所述的一种基于边缘计算的图像识别方法,其特征在于,所述的定制化安全帽识别模型具体为:
基于yolov5算法框架设计模型结构,其中模型训练数据包括佩戴安全帽标注数据、不佩戴安全帽标注数据、现场场景数据和保安标注数据。
7.根据权利要求5所述的一种基于边缘计算的图像识别方法,其特征在于,所述的着装短袖短裤识别模型具体为:
基于yolov5算法框架,设计二阶段模型算法,其中第一阶段:行人识别,采用通用的行人识别模型;第二阶段:着装识别,基于短袖短裤标注数据,进行模型训练。
8.一种用于权利要求1所述基于边缘计算的图像识别方法的装置,其特征在于,该装置分别与摄像头和智慧工地中央系统连接,所述的装置采用工控机,该工控机包括图像获取模块、图像识别模块、结果发送模块和数据库,所述的摄像头、图像获取模块、图像识别模块、结果发送模块和智慧工地中央系统依次连接,所述的数据库分别与图像获取模块、图像识别模块、结果发送模块连接;
所述的工控机采用微服务架构,所有应用都打包成docker image,并在dockercontainer中运行,通过http通信向智慧工地中央系统推送现场识别结果。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。
CN202111523353.6A 2021-12-13 2021-12-13 基于边缘计算的图像识别方法、装置、设备及存储介质 Pending CN113989625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111523353.6A CN113989625A (zh) 2021-12-13 2021-12-13 基于边缘计算的图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111523353.6A CN113989625A (zh) 2021-12-13 2021-12-13 基于边缘计算的图像识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113989625A true CN113989625A (zh) 2022-01-28

Family

ID=79733872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111523353.6A Pending CN113989625A (zh) 2021-12-13 2021-12-13 基于边缘计算的图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113989625A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011926A1 (zh) * 2022-07-11 2024-01-18 卡奥斯工业智能研究院(青岛)有限公司 基于5g的安防监控系统、方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070055A (zh) * 2019-04-25 2019-07-30 南京邮电大学 一种基于深度学习的基建场景安全检测系统及方法
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110533811A (zh) * 2019-08-28 2019-12-03 深圳市万睿智能科技有限公司 基于ssd实现安全帽检查的方法及装置与系统和存储介质
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警系统及其方法
CN112487976A (zh) * 2020-11-30 2021-03-12 中科院计算所西部高等技术研究院 基于图像识别的监测方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070055A (zh) * 2019-04-25 2019-07-30 南京邮电大学 一种基于深度学习的基建场景安全检测系统及方法
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110533811A (zh) * 2019-08-28 2019-12-03 深圳市万睿智能科技有限公司 基于ssd实现安全帽检查的方法及装置与系统和存储介质
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警系统及其方法
CN112487976A (zh) * 2020-11-30 2021-03-12 中科院计算所西部高等技术研究院 基于图像识别的监测方法、装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011926A1 (zh) * 2022-07-11 2024-01-18 卡奥斯工业智能研究院(青岛)有限公司 基于5g的安防监控系统、方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20230316762A1 (en) Object detection in edge devices for barrier operation and parcel delivery
US11295139B2 (en) Human presence detection in edge devices
CA3160731A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
TWI776350B (zh) 著裝及作業檢查方法、電腦裝置及儲存介質
US20190213424A1 (en) Image processing system and image processing method
US8472670B2 (en) Target detection device and target detection method
US11308792B2 (en) Security systems integration
JP7282186B2 (ja) 状況認識監視
CN114187541A (zh) 一种面向自定义业务场景的智能视频分析的方法和存储设备
CN114567535B (zh) 一种基于增强现实的产品交互与故障诊断方法
CN113989625A (zh) 基于边缘计算的图像识别方法、装置、设备及存储介质
CN116206255A (zh) 基于机器视觉的危险区域人员监控方法与装置
Zhao et al. Substation safety awareness intelligent model: Fast personal protective equipment detection using GNN approach
Pitafi et al. Revolutionizing Perimeter Intrusion Detection: A Machine Learning-Driven Approach with Curated Dataset Generation for Enhanced Security
CN104980695A (zh) 协同对象位置数据与视频数据
CN114758286B (zh) 基于工作票事件的边缘智能安全监测方法和装置
CN111723725A (zh) 一种基于视频ai多维分析系统
WO2023045239A1 (zh) 行为识别方法、装置、设备、介质、芯片、产品及程序
de Diego et al. Scalable and flexible wireless distributed architecture for intelligent video surveillance systems
Bouma et al. WPSS: Watching people security services
CN114155483A (zh) 监控告警方法、装置、存储介质及计算机设备
CN113962338A (zh) 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统
KR102633147B1 (ko) 에지-클라우드 플랫폼 시스템
KR102452570B1 (ko) Cctv 영상을 통해 교통상황에 대한 특이패턴을 감지하는 장치, 방법 및 프로그램
KR102587427B1 (ko) 이동체 위치 생성 및 이동궤적 생성 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination