CN114302031A - 基于5g通讯的相机阵列传输方法及系统 - Google Patents

基于5g通讯的相机阵列传输方法及系统 Download PDF

Info

Publication number
CN114302031A
CN114302031A CN202111347943.8A CN202111347943A CN114302031A CN 114302031 A CN114302031 A CN 114302031A CN 202111347943 A CN202111347943 A CN 202111347943A CN 114302031 A CN114302031 A CN 114302031A
Authority
CN
China
Prior art keywords
data
data conversion
conversion module
image
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111347943.8A
Other languages
English (en)
Inventor
刘峰
陈思勤
沈军
张晓栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shidongkou Second Power Plant of Huaneng Power International Inc
Original Assignee
Shanghai Shidongkou Second Power Plant of Huaneng Power International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shidongkou Second Power Plant of Huaneng Power International Inc filed Critical Shanghai Shidongkou Second Power Plant of Huaneng Power International Inc
Priority to CN202111347943.8A priority Critical patent/CN114302031A/zh
Publication of CN114302031A publication Critical patent/CN114302031A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本发明提供基于5G通讯的相机阵列传输方法,包括在电力设备的周边安装多部相机,多部相机的拍摄区域集合能够覆盖电力设备;远程控制相机传输所述图像数据;对所述图像数据进行数字对焦处理,校正像面位置数据,将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;图像生成和拼接。本发明可以实现一次运行采集多个设备图像和/或影像数据的功能,利用5G技术高带宽、高稳定性及低延时特性,实现更快速、清晰、准确的视频监控。

Description

基于5G通讯的相机阵列传输方法及系统
技术领域
本发明涉信息传输技术领域,具体来说是一种基于5G通讯的相机阵列数据传输方法和图像处理方法。
背景技术
电力设备状态监测的目的是采用有效的检测手段和分析诊断技术,及时准确的掌握设备运行状态,保证设备的安全、可靠和经济运行,利用在厂房内安装多台具有自由系统图像采集系统以及图像回传功能的相机,组成相机阵列来进行厂房内各种视角的拍摄。相机阵列可以代替传统的人工巡检将现场电力设备视频图像进行回传、拼接、呈现,实时的采集电力设备的图像、影像、声音、温度等数据,特别是存在人员安全风险或人员难以进入的场地,该相机阵列系统可以很好的进行现场的实时监控。
目前主流技术是使用普通高清摄像头来进行拍摄,由于带宽的限制,其数据和图像的回传存在延时,且成像清晰度不高,同时其图像传播、数据传播电台多以无线微波的传输方式进行点对点传输,具备短距离通信特性,无法满足远距离的数据传输的问题。
5G是当前具有代表性、引领性的通信网络技术,是实现万物泛在互联、人机深度交互、支撑实体经济转型升级的关键信息基础设施。5G已进入商用阶段,应用场景贯穿工业制造的全过程,实现供应链管理、制造、生产过程控制、机器协作、库存管理、产品交付管理等各个环节的融合应用。5G技术具有高带宽、高稳定性及低延时特性,可以实现远程信息传输,保证数据及图像传输的及时性和安全性。
发明内容
本发明所要解决的技术问题在于电力设备监测中由于图传、数传电台多以无线微波的传输方式进行点对点传输,而这种传输方式具备短距离通信的特性,导致无法满足远距离的数据传输的问题。
本发明通过以下技术手段实现解决上述技术问题的:
基于5G通讯的相机阵列传输方法,包括以下步骤:
步骤1、图像采集,在电力设备的周边安装多部相机,形成相机阵列,多部相机的拍摄区域集合能够覆盖电力设备;对每部相机的角度、拍摄次数进行设置,获取电力设备不同位置的图像数据;
步骤2、图像数据传输,基于5G数据,远程控制相机传输所述图像数据;
步骤3、数字对焦处理,对所述图像数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法;
步骤4、景深融合处理:将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;
步骤5、图像生成和拼接,根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像;
步骤6、实时直播:接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
进一步的,所述步骤2中数据传输具体为:
基于5G通讯的数据传输系统包括自动检测装置、数据转换装置及后台控制中心,其中数据转换装置包括:第一数据转换模块、第二数据转换模块及数据交换服务器,第一数据转换模块及第二数据转换模块分别与数据交换服务器通过5G通讯传输控制协议进行通信连接。
进一步的,所述数据转换装置建立后台控制中心与所述自动检测装置之间的通信连接,包括:第一数据转换模块将数据信息以预设的时间间隔上报给数据交换服务器,数据信息包括第一数据转换模块的IP地址和设备号,数据交换服务器获取数据信息,并存储;第二数据转换模块获取数据交换服务器中的数据信息,并根据数据信息,与第一数据转换模块建立连接,第一数据转换模块与自动检测装置连接,后台控制中心与第二数据转换模块连接。
进一步的,所述后台控制中心生成指令数据,并将指令数据发送至数据转换转置,包括:后台控制中心生成指令数据,并将指令数据发送至第二数据转换模块;第二数据转换模块将指令数据发送至第一数据转换模块;
数据转换装置将指令数据发送至自动检测装置,包括:第一数据转换模块获取指令数据,并将指令数据发送至自动检测装置;自动检测装置获取并执行指令数据。
与上述方法对应的,本发明还提供一种基于5G通讯的相机阵列传输系统,包括:
图像采集模块,用以在电力设备的周边安装多部相机,形成相机阵列,多部相机的拍摄区域集合能够覆盖电力设备;对每部相机的角度、拍摄次数进行设置,获取电力设备不同位置的图像数据;
图像数据传输模块,用以基于5G数据,远程控制相机传输所述图像数据;
数字对焦处理模块,用以对所述图像数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法;
景深融合处理模块,用以将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;
图像生成和拼接模块,用以根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像;
实时直播模块,用以接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
进一步的,所述图像数据传输模块中数据传输具体为:
基于5G通讯的数据传输系统包括自动检测装置、数据转换装置及后台控制中心,其中数据转换装置包括:第一数据转换模块、第二数据转换模块及数据交换服务器,第一数据转换模块及第二数据转换模块分别与数据交换服务器通过5G通讯传输控制协议进行通信连接。
进一步的,所述数据转换装置建立后台控制中心与所述自动检测装置之间的通信连接,包括:第一数据转换模块将数据信息以预设的时间间隔上报给数据交换服务器,数据信息包括第一数据转换模块的IP地址和设备号,数据交换服务器获取数据信息,并存储;第二数据转换模块获取数据交换服务器中的数据信息,并根据数据信息,与第一数据转换模块建立连接,第一数据转换模块与自动检测装置连接,后台控制中心与第二数据转换模块连接。
进一步的,所述后台控制中心生成指令数据,并将指令数据发送至数据转换转置,包括:后台控制中心生成指令数据,并将指令数据发送至第二数据转换模块;第二数据转换模块将指令数据发送至第一数据转换模块;
数据转换装置将指令数据发送至自动检测装置,包括:第一数据转换模块获取指令数据,并将指令数据发送至自动检测装置;自动检测装置获取并执行指令数据。
本发明的优点在于:
本发明可以实现一次运行采集多个设备图像和/或影像数据的功能,利用5G技术高带宽、高稳定性及低延时特性,实现更快速、清晰、准确的视频监控。
附图说明
图1为本发明实施例中基于5G通讯的相机阵列传输方法中相机布设结构示意图;
图2为本发明实施例中基于5G通讯的相机阵列传输方法中拍摄控制模块流程图;
图3为本发明实施例中基于5G通讯的相机阵列传输方法中图像传输流程图;
图4为本发明实施例中基于5G通讯的相机阵列传输方法中小波分解和小波包分解示意图;
图5为本发明实施例中基于5G通讯的相机阵列传输方法中图像拼接和成像原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决电力设备监测中由于图传、数传电台多以无线微波的传输方式进行点对点传输,而这种传输方式具备短距离通信的特性,导致无法满足远距离的数据传输的问题,本申请提供一种基于5G通讯的相机阵列技术的电力设备影像采集处理方法,该系统可以实现一次运行采集多个设备图像和/或影像数据的功能,利用5G技术高带宽、高稳定性及低延时特性,实现更快速、清晰、准确的视频监控。其包括以下步骤:
步骤(1)拍摄:采集汽轮机等电力设备的图像信息。如图1所示,通过安装40-50台相机组成相机阵列采集全景视场的图像信息,且在安排相机阵列时要求所有相机的取景范围合集能够覆盖目标区域内所有待采集设备的位置,同时,如图2所示,拍摄控制模块可以控制相机阵列中所有相机按预设的参数、角度和次数对进行拍摄,获取目标区域不同视点位置的光学数据。
步骤(2)传输图像数据:如图3所示,基于不低于5G,包括但不限于6G、7G等升级传输技术的传输端,通过上位机软件由使用者主动远程控制录入端,相机录入端通过传输接口将直播数据传输至接收端口上,传输端为大数据量传输技术,且传输端的速度大于100MB/S,传输端的传输技术为不低于5G,包括但不限于6G、7G等升级的传输技术。
所述基于5G通讯的数据传输系统包括自动检测装置、数据转换装置及后台控制中心,其中数据转换装置包括:第一数据转换模块、第二数据转换模块及数据交换服务器,第一数据转换模块及第二数据转换模块分别与数据交换服务器通过5G通讯传输控制协议进行通信连接;
数据转换装置建立后台控制中心与所述自动检测装置之间的通信连接,包括:第一数据转换模块将数据信息以预设的时间间隔上报给数据交换服务器,数据信息包括第一数据转换模块的IP地址和设备号,数据交换服务器获取数据信息,并存储;第二数据转换模块获取数据交换服务器中的数据信息,并根据数据信息,与第一数据转换模块建立连接,第一数据转换模块与自动检测装置连接,后台控制中心与第二数据转换模块连接。
后台控制中心生成指令数据,并将指令数据发送至数据转换转置,包括:后台控制中心生成指令数据,并将指令数据发送至第二数据转换模块;第二数据转换模块将指令数据发送至第一数据转换模块。
数据转换装置将指令数据发送至自动检测装置,包括:第一数据转换模块获取指令数据,并将指令数据发送至自动检测装置;自动检测装置获取并执行指令数据。
步骤(3)数字对焦处理:超分辨率数字对焦处理模块对相机阵列(1)拍摄得到的光学数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法,将图像上每个像素都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这是由一个预定义的变换函数或者插值核来完成。
步骤(4)景深融合处理:将经数字对焦处理后的对焦在远近不同位置的光学数据进行
小波分解和融合,计算获取目标区域内所有目标的清晰成像数据,其中小波分解和小波包分解示意图如图4所示;
步骤(5):图像生成和拼接:如图5所示,图像生成模块根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像。
步骤(6):实时直播:接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
与上述方法对应的,本实施例还提供一种基于5G通讯的相机阵列传输系统,其特征在于,包括:
图像采集模块,用以在电力设备的周边安装多部相机,形成相机阵列,多部相机的拍摄区域集合能够覆盖电力设备;对每部相机的角度、拍摄次数进行设置,获取电力设备不同位置的图像数据;
图像数据传输模块,用以基于5G数据,远程控制相机传输所述图像数据;
数字对焦处理模块,用以对所述图像数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法;
景深融合处理模块,用以将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;
图像生成和拼接模块,用以根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像;
实时直播模块,用以接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
以上模块具体执行上述方法过程。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于5G通讯的相机阵列传输方法,其特征在于,包括以下步骤:
步骤1、图像采集,在电力设备的周边安装多部相机,形成相机阵列,多部相机的拍摄区域集合能够覆盖电力设备;对每部相机的角度、拍摄次数进行设置,获取电力设备不同位置的图像数据;
步骤2、图像数据传输,基于5G数据,远程控制相机传输所述图像数据;
步骤3、数字对焦处理,对所述图像数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法;
步骤4、景深融合处理:将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;
步骤5、图像生成和拼接,根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像;
步骤6、实时直播:接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
2.根据权利要求1所述的基于5G通讯的相机阵列传输方法,其特征在于,所述步骤2中数据传输具体为:
基于5G通讯的数据传输系统包括自动检测装置、数据转换装置及后台控制中心,其中数据转换装置包括:第一数据转换模块、第二数据转换模块及数据交换服务器,第一数据转换模块及第二数据转换模块分别与数据交换服务器通过5G通讯传输控制协议进行通信连接。
3.根据权利要求2所述的基于5G通讯的相机阵列传输方法,其特征在于,所述数据转换装置建立后台控制中心与所述自动检测装置之间的通信连接,包括:第一数据转换模块将数据信息以预设的时间间隔上报给数据交换服务器,数据信息包括第一数据转换模块的IP地址和设备号,数据交换服务器获取数据信息,并存储;第二数据转换模块获取数据交换服务器中的数据信息,并根据数据信息,与第一数据转换模块建立连接,第一数据转换模块与自动检测装置连接,后台控制中心与第二数据转换模块连接。
4.根据权利要求3所述的基于5G通讯的相机阵列传输方法,其特征在于,所述后台控制中心生成指令数据,并将指令数据发送至数据转换转置,包括:后台控制中心生成指令数据,并将指令数据发送至第二数据转换模块;第二数据转换模块将指令数据发送至第一数据转换模块;
数据转换装置将指令数据发送至自动检测装置,包括:第一数据转换模块获取指令数据,并将指令数据发送至自动检测装置;自动检测装置获取并执行指令数据。
5.基于5G通讯的相机阵列传输系统,其特征在于,包括:
图像采集模块,用以在电力设备的周边安装多部相机,形成相机阵列,多部相机的拍摄区域集合能够覆盖电力设备;对每部相机的角度、拍摄次数进行设置,获取电力设备不同位置的图像数据;
图像数据传输模块,用以基于5G数据,远程控制相机传输所述图像数据;
数字对焦处理模块,用以对所述图像数据进行数字对焦处理,校正像面位置数据,采用超分辨率重建算法对校正后的子图像进行高分辨率重构,其中超分辨率重建算法采用基于插值的方法;
景深融合处理模块,用以将经数字对焦处理后的对焦在远近不同位置的光学数据进行小波分解和融合,计算获取目标区域内所有目标的清晰成像数据;
图像生成和拼接模块,用以根据景深融合处理模块计算获取的目标区域内所有目标的清晰成像数据进行成像和拼接,得到目标区域的全景深图像和/或影像;
实时直播模块,用以接收端将拍摄得到后经数字对焦、景深融合处理,拼接而成的图像进行实时监控直播。
6.根据权利要求5所述的基于5G通讯的相机阵列传输系统,其特征在于,所述图像数据传输模块中数据传输具体为:
基于5G通讯的数据传输系统包括自动检测装置、数据转换装置及后台控制中心,其中数据转换装置包括:第一数据转换模块、第二数据转换模块及数据交换服务器,第一数据转换模块及第二数据转换模块分别与数据交换服务器通过5G通讯传输控制协议进行通信连接。
7.根据权利要求6所述的基于5G通讯的相机阵列传输系统,其特征在于,所述数据转换装置建立后台控制中心与所述自动检测装置之间的通信连接,包括:第一数据转换模块将数据信息以预设的时间间隔上报给数据交换服务器,数据信息包括第一数据转换模块的IP地址和设备号,数据交换服务器获取数据信息,并存储;第二数据转换模块获取数据交换服务器中的数据信息,并根据数据信息,与第一数据转换模块建立连接,第一数据转换模块与自动检测装置连接,后台控制中心与第二数据转换模块连接。
8.根据权利要求7所述的基于5G通讯的相机阵列传输系统,其特征在于,所述后台控制中心生成指令数据,并将指令数据发送至数据转换转置,包括:后台控制中心生成指令数据,并将指令数据发送至第二数据转换模块;第二数据转换模块将指令数据发送至第一数据转换模块;
数据转换装置将指令数据发送至自动检测装置,包括:第一数据转换模块获取指令数据,并将指令数据发送至自动检测装置;自动检测装置获取并执行指令数据。
CN202111347943.8A 2021-11-15 2021-11-15 基于5g通讯的相机阵列传输方法及系统 Pending CN114302031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111347943.8A CN114302031A (zh) 2021-11-15 2021-11-15 基于5g通讯的相机阵列传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111347943.8A CN114302031A (zh) 2021-11-15 2021-11-15 基于5g通讯的相机阵列传输方法及系统

Publications (1)

Publication Number Publication Date
CN114302031A true CN114302031A (zh) 2022-04-08

Family

ID=80963992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111347943.8A Pending CN114302031A (zh) 2021-11-15 2021-11-15 基于5g通讯的相机阵列传输方法及系统

Country Status (1)

Country Link
CN (1) CN114302031A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像系统及方法
CN109343573A (zh) * 2018-10-31 2019-02-15 云南兆讯科技有限责任公司 基于光场拍摄技术的电力设备巡检图影像采集处理系统
CN110113592A (zh) * 2019-05-05 2019-08-09 云南兆讯科技有限责任公司 基于相机阵列技术的电力设备巡检图影像采集处理系统
WO2020082722A1 (zh) * 2018-10-24 2020-04-30 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN112218056A (zh) * 2020-10-13 2021-01-12 云南电网有限责任公司电力科学研究院 一种基于5g通讯的数据传输方法和图像传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像系统及方法
WO2020082722A1 (zh) * 2018-10-24 2020-04-30 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN109343573A (zh) * 2018-10-31 2019-02-15 云南兆讯科技有限责任公司 基于光场拍摄技术的电力设备巡检图影像采集处理系统
CN110113592A (zh) * 2019-05-05 2019-08-09 云南兆讯科技有限责任公司 基于相机阵列技术的电力设备巡检图影像采集处理系统
CN112218056A (zh) * 2020-10-13 2021-01-12 云南电网有限责任公司电力科学研究院 一种基于5g通讯的数据传输方法和图像传输方法

Similar Documents

Publication Publication Date Title
CN102967373B (zh) 一种变电站三维红外测温监测系统的监测方法
US20190394427A1 (en) System for perceiving and co-processing intelligent connected vehicle-oriented scene image data
CN103188479B (zh) 一种基于光纤接口的视频监控系统及其监控方法
CN104822045A (zh) 采用预置位实现观察画面分布式联动显示的方法及装置
CN103916632B (zh) 一种飞机跑道实时全景视频远程监控系统
CN103686084A (zh) 一种用于多无人机协同实时侦察的全景视频监控方法
CN107438152B (zh) 一种运动摄像机对全景目标快速定位捕捉方法及系统
CN103647954A (zh) 基于3g信道与智能终端的移动视频监控系统
CN110536074B (zh) 一种智能巡检系统、巡检方法
CN115293508A (zh) 一种可视化的光缆运行状态监控方法及系统
CN104363518A (zh) 基于智能电视的家庭安防系统及其方法
CN103179333A (zh) 一种360度全景摄像机的图像环视浏览方法与设备
CN205015088U (zh) 一种用于变电站的红外检测图像处理系统
CN114302031A (zh) 基于5g通讯的相机阵列传输方法及系统
CN114363530B (zh) 基于亿级像素设备的云端视频监控方法与监控平台
CN114286017A (zh) 基于自由视角的超大尺度电力设备图像采集方法及系统
WO2011107037A2 (zh) 获取天线覆盖区域内实景的系统、方法及装置
CN115118010A (zh) 一种基于5g物联网的配电网监测系统
CN209184706U (zh) 监控联网系统
CN105472344A (zh) 四路拼接式实时全景成像装置
CN112804547A (zh) 一种基于无人机vr摄像的交互式直播系统
CN114389697B (zh) 基于光纤通信组网的阵列光场相机系统及其ai分析方法
CN206460257U (zh) 一种激光直写数据处理正确性检验系统
CN208079127U (zh) 一种高清图像无线采集系统
CN109600588A (zh) 监控联网系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination