CN114565661A - 基于图像采集的盘煤系统 - Google Patents
基于图像采集的盘煤系统 Download PDFInfo
- Publication number
- CN114565661A CN114565661A CN202210068378.XA CN202210068378A CN114565661A CN 114565661 A CN114565661 A CN 114565661A CN 202210068378 A CN202210068378 A CN 202210068378A CN 114565661 A CN114565661 A CN 114565661A
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- coal
- inventory system
- communication module
- dot matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 67
- 238000004891 communication Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G65/00—Loading or unloading
- B65G65/28—Piling or unpiling loose materials in bulk, e.g. coal, manure, timber, not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开涉及一种基于图像采集的盘煤系统，包括：现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板；远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。本发明提供的基于图像采集的盘煤系统，可通过方格网算法实现煤堆体积的估算。
Description
技术领域
本发明涉及一种图像处理系统，特别是一种基于图像采集的盘煤系统。
背景技术
盘煤作为燃料管理系统中重要环节，用于煤场动态监测与分析、煤场库存盘点，对企业燃料管控有较大帮助。现在煤场盘点大致分为几类：人工盘点：耗时长、人工测量精度差、现场操作安全隐患大、成本高；无人机盘煤：适用于露天煤场，操作要求较高、风险系数大、可靠性低、维护成本高；斗轮机固定式盘煤：人工控制误差大，盘煤数据精度差；棚顶固定式盘煤：固定式盘煤适用于有煤棚场景，将激光扫描仪安装在棚顶上，通过多个激光扫描仪点云数据拼接配准完成整个煤场盘点。
由上可以看出，在目前盘煤技术手段中，人工盘煤和斗轮机固定式盘煤都具有盘煤数据精度差的缺陷，而无人机盘煤和通过激光扫描仪盘煤的方式，又存在着操作要求较高且维护成本高的问题，因此亟需改进。
发明内容
鉴于现有技术存在的上述问题，本发明的一个方面的精度相对较高且维护成本较低的基于图像采集的盘煤系统。
为了实现上述目的，本发明一方面提供的基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板，所述点阵激光器配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板配置为控制图像采集装置的采集角度；
远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
作为优选，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。
作为优选，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。
作为优选，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头，所述控制板至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。
作为优选，所述高清摄像头包括一鱼眼镜头。
作为优选，所述控制板还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头拍摄的图像进行基于OpenCV的畸变校正处理。
作为优选，所述调整机构包括一安装架，所述安装架包括水平向的第一架体和斜向连接在所述第一架体上的第二架体，所述点阵激光器设置在所述第一架体上，所述控制板和所述第一通讯模块设置在所述第二架体上，所第一架体上还设置有一云台组件，所述高清摄像头设置在所述云台组件上。
作为优选，所述云台组件包括穿过所述第一架体设置的第二电机，所述第二电机的输出端设置有底座，所述高清摄像头设置在所述底座上，所述第二电机构造为在水平向改变所述高清摄像头的拍摄方向。
作为优选，所述底座一端铰接设置有一门型支架，所述高清摄像头固定在所述门型支架内，所述底座的另一端设置有一第一电机，所述第一电机的输出端设置有一曲柄组件，所述曲柄组件通过一连杆组件连接至所述门型支架，所述第一电机构造为使所述门型支架在竖直平面内角度可调。
作为优选，所述第一通讯模块和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆，所述第一通讯模块的设置于所述支杆的顶端。
本发明提供的基于图像采集的盘煤系统，可通过点阵激光在煤堆上形成点阵激光光斑，进而再通过图像采集装置采集煤堆图像，提取光斑特征，而后通过计算机算法进行煤堆的三维重建，经过三维重建的煤堆的三维模型，可进而通过方格网算法实现煤堆体积的估算。
附图说明
图1为本发明的基于图像采集的盘煤系统的结构框图。
图2为本发明的基于图像采集的盘煤系统的现场端的结构示意图。
图3为本发明的基于图像采集的盘煤系统的现场端的另一视角的结构示意图。
图4为本发明的基于图像采集的盘煤系统的现场端的立体结构示意图。
附图标记：
10-现场端；11-安装架；12-点阵激光器；13-云台组件；14-高清摄像头；15-控制板；16-支杆；17-第一通讯模块；18-固定底板；111-第一架体；112-第二架体；131-底座；132-第一电机；133-曲柄组件；134-连杆组件；135-门型支架；136-第二电机；141-鱼眼镜头；181-定位底脚；1331-第一调节孔；1351-第二调节孔。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。
此处参考附图描述本发明的各种方案以及特征。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本发明的上述和其他方面、特征和优势将变得更为显而易见。
如图1和图2所示，本发明一个实施例提供的基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器12、图像采集装置、第一通讯模块17和控制板15，所述点阵激光器12配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板15配置为控制图像采集装置的采集角度；远程端，其通过第二通讯模块与现场端的第一通讯模块17形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
本发明针对三维模型进行体积估算的方法，可具体基于计算机算法实现，例如，在一些实施例中，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。具体地，作为优选，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。其中，M和N为大于等于100的自然数。
为了提升估算精度，通常来说，采集单一图像帧并不足以精确建模，进而可能影响后续的估算精度。因此，在本发明中，所述图像采集装置的拍摄角度应优选可调。具体地，在一些实现方式中，作为优选，如图2至图4所示，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头14，所述控制板15至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。并且，在这一实施例中，为了尽可能增加拍摄广度，优选地，所述高清摄像头14包括一鱼眼镜头141。但同时，为了降低鱼眼镜头所产生的镜头畸变，作为优选，所述控制板15还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头14拍摄的图像进行基于OpenCV的畸变校正处理。
至于本发明中所述的调整机构，其目的在于使高清摄像头14在水平和/或垂直方向上进行调整，从而获得多副图像，以便进行多次算法计算，获得更为精准的三维模型。因此，一般常规的可调云台均可实现本发明中，但考虑到具体应用场景，优选地，如图2至图3所示，所述调整机构包括一安装架11，所述安装架11包括水平向的第一架体111和斜向连接在所述第一架体111上的第二架体112，所述第一架体111下方设置有固定底板18，且为了实现更好的固定，所述固定底板18的下方，还设置有定位底脚181。所述点阵激光器12设置在所述第一架体111上，所述控制板15和所述第一通讯模块17设置在所述第二架体112上，所第一架体111上还设置有一云台组件13，所述高清摄像头设置在所述云台组件13上。更具体地，所述云台组件13包括穿过所述第一架体111设置的第二电机136，所述第二电机136的输出端设置有底座131，所述高清摄像头14设置在所述底座131上，所述第二电机136构造为在水平向改变所述高清摄像头14的拍摄方向。
另外，在本发明中，所述底座131一端铰接设置有一门型支架135，所述高清摄像头14固定在所述门型支架135内，所述底座131的另一端设置有一第一电机132，所述第一电机132的输出端设置有一曲柄组件133，所述曲柄组件133通过一连杆组件134连接至所述门型支架135，所述第一电机132构造为使所述门型支架135在竖直平面内角度可调。同时，为了更进一步实现可调，如图2所示，所述曲柄组件133上设置有多个第一调节孔1331，所述门型支架135上设置有对应数量的第二调节孔1351。通过将连杆组件134连接在不同的第一调节孔1331及第二调节孔1351上，可实现不同的角度范围调整。
再者，在本发明中，所述第一通讯模块17和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆16，所述第一通讯模块17的设置于所述支杆16的顶端。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (10)
1.基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板，所述点阵激光器配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板配置为控制图像采集装置的采集角度；
远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
2.如权利要求1所述的基于图像采集的盘煤系统，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。
3.如权利要求2所述的基于图像采集的盘煤系统，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。
4.如权利要求1所述的基于图像采集的盘煤系统，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头，所述控制板至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。
5.如权利要求4所述的基于图像采集的盘煤系统，所述高清摄像头包括一鱼眼镜头。
6.如权利要求5所述的基于图像采集的盘煤系统，所述控制板还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头拍摄的图像进行基于OpenCV的畸变校正处理。
7.如权利要求4所述的基于图像采集的盘煤系统，所述调整机构包括一安装架，所述安装架包括水平向的第一架体和斜向连接在所述第一架体上的第二架体，所述点阵激光器设置在所述第一架体上，所述控制板和所述第一通讯模块设置在所述第二架体上，所第一架体上还设置有一云台组件，所述高清摄像头设置在所述云台组件上。
8.如权利要求7所述的基于图像采集的盘煤系统，所述云台组件包括穿过所述第一架体设置的第二电机，所述第二电机的输出端设置有底座，所述高清摄像头设置在所述底座上，所述第二电机构造为在水平向改变所述高清摄像头的拍摄方向。
9.如权利要求7所述的基于图像采集的盘煤系统，所述底座一端铰接设置有一门型支架，所述高清摄像头固定在所述门型支架内，所述底座的另一端设置有一第一电机，所述第一电机的输出端设置有一曲柄组件，所述曲柄组件通过一连杆组件连接至所述门型支架，所述第一电机构造为使所述门型支架在竖直平面内角度可调。
10.如权利要求1所述的基于图像采集的盘煤系统，所述第一通讯模块和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆，所述第一通讯模块的设置于所述支杆的顶端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068378.XA CN114565661A (zh) | 2022-01-20 | 2022-01-20 | 基于图像采集的盘煤系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068378.XA CN114565661A (zh) | 2022-01-20 | 2022-01-20 | 基于图像采集的盘煤系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565661A true CN114565661A (zh) | 2022-05-31 |
Family
ID=81711444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068378.XA Pending CN114565661A (zh) | 2022-01-20 | 2022-01-20 | 基于图像采集的盘煤系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565661A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116499364A (zh) * | 2023-06-30 | 2023-07-28 | 济南作为科技有限公司 | 盘煤仪三维激光点云调畸变方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203719624U (zh) * | 2013-11-06 | 2014-07-16 | 东南大学 | 一种远程高精度全范围激光盘煤系统 |
| CN108665542A (zh) * | 2018-04-25 | 2018-10-16 | 南京理工大学 | 一种基于线激光的场景三维形貌重建系统及方法 |
| CN110969696A (zh) * | 2019-12-19 | 2020-04-07 | 中德人工智能研究院有限公司 | 三维建模快速空间重构的方法及系统 |
| CN111174722A (zh) * | 2018-11-13 | 2020-05-19 | 浙江宇视科技有限公司 | 一种三维轮廓重建方法及装置 |
-
2022
- 2022-01-20 CN CN202210068378.XA patent/CN114565661A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203719624U (zh) * | 2013-11-06 | 2014-07-16 | 东南大学 | 一种远程高精度全范围激光盘煤系统 |
| CN108665542A (zh) * | 2018-04-25 | 2018-10-16 | 南京理工大学 | 一种基于线激光的场景三维形貌重建系统及方法 |
| CN111174722A (zh) * | 2018-11-13 | 2020-05-19 | 浙江宇视科技有限公司 | 一种三维轮廓重建方法及装置 |
| CN110969696A (zh) * | 2019-12-19 | 2020-04-07 | 中德人工智能研究院有限公司 | 三维建模快速空间重构的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 范会敏;曹长剑;: "一种实用的激光盘煤系统设计", 工业仪表与自动化装置, no. 01, 5 February 2011 (2011-02-05), pages 57 - 59 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116499364A (zh) * | 2023-06-30 | 2023-07-28 | 济南作为科技有限公司 | 盘煤仪三维激光点云调畸变方法及系统 |
| CN116499364B (zh) * | 2023-06-30 | 2023-09-12 | 济南作为科技有限公司 | 盘煤仪三维激光点云调畸变方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107710098B (zh) | 绕旋转轴线定向的单轴太阳能追踪器和控制其定向的方法 | |
| CN112164015A (zh) | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 | |
| US20140354828A1 (en) | System and method for processing multicamera array images | |
| JP2003009664A (ja) | 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体 | |
| CN114565661A (zh) | 基于图像采集的盘煤系统 | |
| CN105187780A (zh) | 气动式垂直升降作物图像远程监控系统 | |
| US20230105991A1 (en) | Method of imaging a wind turbine rotor blade | |
| KR102476569B1 (ko) | 영상이미지의 오차를 확인하여 수정할 수 있는 영상처리시스템 | |
| CN114092473B (zh) | 一种大型产品视觉巡检装置及系统 | |
| CN113758498A (zh) | 一种无人机云台标定方法和装置 | |
| KR20200084972A (ko) | 무인비행체를 이용한 초분광영상 획득 방법 | |
| CN114157802A (zh) | 摄像机承托装置及其运动目标跟踪方法 | |
| CN110440763B (zh) | 一种航测装置 | |
| CN116182710A (zh) | 芯片位置异常的检测方法及系统 | |
| CN214537928U (zh) | 一种适用于中低空飞行器航拍测量的图像矫正装置 | |
| CN114252057A (zh) | 一种倾斜摄影无人机测绘系统及装置 | |
| CN108931236B (zh) | 工业机器人末端重复定位精度测量装置与方法 | |
| CN114562939B (zh) | 基于无人机的激光盘煤系统 | |
| CN113917920B (zh) | 基于vslam的自主控制棒导向筒开口销检测方法及系统 | |
| CN211184092U (zh) | 一种壁画图像采集装置 | |
| EP4009272A1 (en) | Unmanned airborne visual diagnosis of an operating wind turbine generator | |
| CN112985542A (zh) | 无水尺水位监测仪 | |
| CN111707196A (zh) | 基于无人机的桥梁病害尺寸测量装置及测量方法 | |
| KR102617679B1 (ko) | 왜곡비율을 확인하여 영상이미지의 정밀한 보정이 가능한 영상처리시스템 | |
| CN110412033B (zh) | 激光样方装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |