CN114565661A - 基于图像采集的盘煤系统 - Google Patents

基于图像采集的盘煤系统 Download PDF

Info

Publication number
CN114565661A
CN114565661A CN202210068378.XA CN202210068378A CN114565661A CN 114565661 A CN114565661 A CN 114565661A CN 202210068378 A CN202210068378 A CN 202210068378A CN 114565661 A CN114565661 A CN 114565661A
Authority
CN
China
Prior art keywords
image acquisition
coal
inventory system
communication module
volume estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210068378.XA
Other languages
English (en)
Inventor
张峰
黄旭鹏
陈飞文
陈凡夫
唐超平
许育群
蔡纯
李民
陈明光
张锜
林锡奎
方璐
柯心悦
孙新佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huaneng Xinrui Control Technology Co Ltd
Huaneng Shantou Haimen Power Generation Co Ltd
Original Assignee
Beijing Huaneng Xinrui Control Technology Co Ltd
Huaneng Shantou Haimen Power Generation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huaneng Xinrui Control Technology Co Ltd, Huaneng Shantou Haimen Power Generation Co Ltd filed Critical Beijing Huaneng Xinrui Control Technology Co Ltd
Priority to CN202210068378.XA priority Critical patent/CN114565661A/zh
Publication of CN114565661A publication Critical patent/CN114565661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G65/00—Loading or unloading
    • B65G65/28—Piling or unpiling loose materials in bulk, e.g. coal, manure, timber, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种基于图像采集的盘煤系统，包括：现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板；远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。本发明提供的基于图像采集的盘煤系统，可通过方格网算法实现煤堆体积的估算。

Description

基于图像采集的盘煤系统
技术领域
本发明涉及一种图像处理系统，特别是一种基于图像采集的盘煤系统。
背景技术
盘煤作为燃料管理系统中重要环节，用于煤场动态监测与分析、煤场库存盘点，对企业燃料管控有较大帮助。现在煤场盘点大致分为几类：人工盘点：耗时长、人工测量精度差、现场操作安全隐患大、成本高；无人机盘煤：适用于露天煤场，操作要求较高、风险系数大、可靠性低、维护成本高；斗轮机固定式盘煤：人工控制误差大，盘煤数据精度差；棚顶固定式盘煤：固定式盘煤适用于有煤棚场景，将激光扫描仪安装在棚顶上，通过多个激光扫描仪点云数据拼接配准完成整个煤场盘点。
由上可以看出，在目前盘煤技术手段中，人工盘煤和斗轮机固定式盘煤都具有盘煤数据精度差的缺陷，而无人机盘煤和通过激光扫描仪盘煤的方式，又存在着操作要求较高且维护成本高的问题，因此亟需改进。
发明内容
鉴于现有技术存在的上述问题，本发明的一个方面的精度相对较高且维护成本较低的基于图像采集的盘煤系统。
为了实现上述目的，本发明一方面提供的基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板，所述点阵激光器配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板配置为控制图像采集装置的采集角度；
远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
作为优选，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。
作为优选，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。
作为优选，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头，所述控制板至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。
作为优选，所述高清摄像头包括一鱼眼镜头。
作为优选，所述控制板还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头拍摄的图像进行基于OpenCV的畸变校正处理。
作为优选，所述调整机构包括一安装架，所述安装架包括水平向的第一架体和斜向连接在所述第一架体上的第二架体，所述点阵激光器设置在所述第一架体上，所述控制板和所述第一通讯模块设置在所述第二架体上，所第一架体上还设置有一云台组件，所述高清摄像头设置在所述云台组件上。
作为优选，所述云台组件包括穿过所述第一架体设置的第二电机，所述第二电机的输出端设置有底座，所述高清摄像头设置在所述底座上，所述第二电机构造为在水平向改变所述高清摄像头的拍摄方向。
作为优选，所述底座一端铰接设置有一门型支架，所述高清摄像头固定在所述门型支架内，所述底座的另一端设置有一第一电机，所述第一电机的输出端设置有一曲柄组件，所述曲柄组件通过一连杆组件连接至所述门型支架，所述第一电机构造为使所述门型支架在竖直平面内角度可调。
作为优选，所述第一通讯模块和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆，所述第一通讯模块的设置于所述支杆的顶端。
本发明提供的基于图像采集的盘煤系统，可通过点阵激光在煤堆上形成点阵激光光斑，进而再通过图像采集装置采集煤堆图像，提取光斑特征，而后通过计算机算法进行煤堆的三维重建，经过三维重建的煤堆的三维模型，可进而通过方格网算法实现煤堆体积的估算。
附图说明
图1为本发明的基于图像采集的盘煤系统的结构框图。
图2为本发明的基于图像采集的盘煤系统的现场端的结构示意图。
图3为本发明的基于图像采集的盘煤系统的现场端的另一视角的结构示意图。
图4为本发明的基于图像采集的盘煤系统的现场端的立体结构示意图。
附图标记：
10-现场端；11-安装架；12-点阵激光器；13-云台组件；14-高清摄像头；15-控制板；16-支杆；17-第一通讯模块；18-固定底板；111-第一架体；112-第二架体；131-底座；132-第一电机；133-曲柄组件；134-连杆组件；135-门型支架；136-第二电机；141-鱼眼镜头；181-定位底脚；1331-第一调节孔；1351-第二调节孔。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。
此处参考附图描述本发明的各种方案以及特征。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本发明的上述和其他方面、特征和优势将变得更为显而易见。
如图1和图2所示，本发明一个实施例提供的基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器12、图像采集装置、第一通讯模块17和控制板15，所述点阵激光器12配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板15配置为控制图像采集装置的采集角度；远程端，其通过第二通讯模块与现场端的第一通讯模块17形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
本发明针对三维模型进行体积估算的方法，可具体基于计算机算法实现，例如，在一些实施例中，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。具体地，作为优选，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。其中，M和N为大于等于100的自然数。
为了提升估算精度，通常来说，采集单一图像帧并不足以精确建模，进而可能影响后续的估算精度。因此，在本发明中，所述图像采集装置的拍摄角度应优选可调。具体地，在一些实现方式中，作为优选，如图2至图4所示，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头14，所述控制板15至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。并且，在这一实施例中，为了尽可能增加拍摄广度，优选地，所述高清摄像头14包括一鱼眼镜头141。但同时，为了降低鱼眼镜头所产生的镜头畸变，作为优选，所述控制板15还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头14拍摄的图像进行基于OpenCV的畸变校正处理。
至于本发明中所述的调整机构，其目的在于使高清摄像头14在水平和/或垂直方向上进行调整，从而获得多副图像，以便进行多次算法计算，获得更为精准的三维模型。因此，一般常规的可调云台均可实现本发明中，但考虑到具体应用场景，优选地，如图2至图3所示，所述调整机构包括一安装架11，所述安装架11包括水平向的第一架体111和斜向连接在所述第一架体111上的第二架体112，所述第一架体111下方设置有固定底板18，且为了实现更好的固定，所述固定底板18的下方，还设置有定位底脚181。所述点阵激光器12设置在所述第一架体111上，所述控制板15和所述第一通讯模块17设置在所述第二架体112上，所第一架体111上还设置有一云台组件13，所述高清摄像头设置在所述云台组件13上。更具体地，所述云台组件13包括穿过所述第一架体111设置的第二电机136，所述第二电机136的输出端设置有底座131，所述高清摄像头14设置在所述底座131上，所述第二电机136构造为在水平向改变所述高清摄像头14的拍摄方向。
另外，在本发明中，所述底座131一端铰接设置有一门型支架135，所述高清摄像头14固定在所述门型支架135内，所述底座131的另一端设置有一第一电机132，所述第一电机132的输出端设置有一曲柄组件133，所述曲柄组件133通过一连杆组件134连接至所述门型支架135，所述第一电机132构造为使所述门型支架135在竖直平面内角度可调。同时，为了更进一步实现可调，如图2所示，所述曲柄组件133上设置有多个第一调节孔1331，所述门型支架135上设置有对应数量的第二调节孔1351。通过将连杆组件134连接在不同的第一调节孔1331及第二调节孔1351上，可实现不同的角度范围调整。
再者，在本发明中，所述第一通讯模块17和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆16，所述第一通讯模块17的设置于所述支杆16的顶端。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.基于图像采集的盘煤系统，包括：
现场端，其部署于煤堆上部空间一侧，包括点阵激光器、图像采集装置、第一通讯模块和控制板，所述点阵激光器配置为向煤堆发射点阵激光光束，以使煤堆表面形成矩阵样光斑，所述图像采集装置配置为采集煤堆的图像信息，所述控制板配置为控制图像采集装置的采集角度；
远程端，其通过第二通讯模块与现场端的第一通讯模块形成通讯连接，至少包括有点阵特征提取模块、三维重建单元和体积估算单元，所述点阵特征提取模块配置为针对所述图像采集装置采集的图像信息，提取矩阵样光斑的位置信息，针对所述位置信息，构造三维空间向量；所述三维重建单元配置为基于所述三维空间向量，基于OpenGL的光照算法，重建煤堆的三维模型；所述体积估算单元配置为针对所述三维模型进行体积估算。
2.如权利要求1所述的基于图像采集的盘煤系统，所述体积估算单元在进行体积估算时，基于方格网算法进行体积估算。
3.如权利要求2所述的基于图像采集的盘煤系统，所述体积估算单元在进行体积估算时，将煤堆的三维模型按纵横两个方向分割为M*N个网格，而后将每个网格的四角的高程相加后取平均值，获得立方体结构的每个网格的等效体积模型，最后针对M*N个网格的等效体积模型进行分别计算后求和。
4.如权利要求1所述的基于图像采集的盘煤系统，所述图像采集装置包括一调整机构和设置在所述调整机构上的高清摄像头，所述控制板至少包括有用于控制所述调整机构变动拍摄角度的云台控制模块。
5.如权利要求4所述的基于图像采集的盘煤系统，所述高清摄像头包括一鱼眼镜头。
6.如权利要求5所述的基于图像采集的盘煤系统，所述控制板还包括图像预处理模块，所述图像预处理模块配置为针对所述高清摄像头拍摄的图像进行基于OpenCV的畸变校正处理。
7.如权利要求4所述的基于图像采集的盘煤系统，所述调整机构包括一安装架，所述安装架包括水平向的第一架体和斜向连接在所述第一架体上的第二架体，所述点阵激光器设置在所述第一架体上，所述控制板和所述第一通讯模块设置在所述第二架体上，所第一架体上还设置有一云台组件，所述高清摄像头设置在所述云台组件上。
8.如权利要求7所述的基于图像采集的盘煤系统，所述云台组件包括穿过所述第一架体设置的第二电机，所述第二电机的输出端设置有底座，所述高清摄像头设置在所述底座上，所述第二电机构造为在水平向改变所述高清摄像头的拍摄方向。
9.如权利要求7所述的基于图像采集的盘煤系统，所述底座一端铰接设置有一门型支架，所述高清摄像头固定在所述门型支架内，所述底座的另一端设置有一第一电机，所述第一电机的输出端设置有一曲柄组件，所述曲柄组件通过一连杆组件连接至所述门型支架，所述第一电机构造为使所述门型支架在竖直平面内角度可调。
10.如权利要求1所述的基于图像采集的盘煤系统，所述第一通讯模块和所述第二通讯模块为蓝牙模块，所述第二架体上竖直向设置有一支杆，所述第一通讯模块的设置于所述支杆的顶端。
CN202210068378.XA 2022-01-20 2022-01-20 基于图像采集的盘煤系统 Pending CN114565661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210068378.XA CN114565661A (zh) 2022-01-20 2022-01-20 基于图像采集的盘煤系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210068378.XA CN114565661A (zh) 2022-01-20 2022-01-20 基于图像采集的盘煤系统

Publications (1)

Publication Number Publication Date
CN114565661A true CN114565661A (zh) 2022-05-31

Family

ID=81711444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210068378.XA Pending CN114565661A (zh) 2022-01-20 2022-01-20 基于图像采集的盘煤系统

Country Status (1)

Country Link
CN (1) CN114565661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499364A (zh) * 2023-06-30 2023-07-28 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201287830Y (zh) * 2008-10-14 2009-08-12 西安展翼航空科技有限公司 航拍摄像机用稳定支架
CN101758929A (zh) * 2010-01-22 2010-06-30 清华大学 无人机框架式二自由度云台
CN203719624U (zh) * 2013-11-06 2014-07-16 东南大学 一种远程高精度全范围激光盘煤系统
CN205754574U (zh) * 2016-07-01 2016-11-30 东莞市超科五金电子有限公司 一种摄像机机身主框
CN108665542A (zh) * 2018-04-25 2018-10-16 南京理工大学 一种基于线激光的场景三维形貌重建系统及方法
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统
CN111174722A (zh) * 2018-11-13 2020-05-19 浙江宇视科技有限公司 一种三维轮廓重建方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201287830Y (zh) * 2008-10-14 2009-08-12 西安展翼航空科技有限公司 航拍摄像机用稳定支架
CN101758929A (zh) * 2010-01-22 2010-06-30 清华大学 无人机框架式二自由度云台
CN203719624U (zh) * 2013-11-06 2014-07-16 东南大学 一种远程高精度全范围激光盘煤系统
CN205754574U (zh) * 2016-07-01 2016-11-30 东莞市超科五金电子有限公司 一种摄像机机身主框
CN108665542A (zh) * 2018-04-25 2018-10-16 南京理工大学 一种基于线激光的场景三维形貌重建系统及方法
CN111174722A (zh) * 2018-11-13 2020-05-19 浙江宇视科技有限公司 一种三维轮廓重建方法及装置
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范会敏;曹长剑;: "一种实用的激光盘煤系统设计", 工业仪表与自动化装置, no. 01, 5 February 2011 (2011-02-05), pages 57 - 59 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499364A (zh) * 2023-06-30 2023-07-28 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统
CN116499364B (zh) * 2023-06-30 2023-09-12 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统

Similar Documents

Publication Publication Date Title
CN109559354B (zh) 测量塔架净空的方法以及装置
CN109978820B (zh) 基于激光点云的无人机航线获取方法、系统以及设备
CN112949478B (zh) 基于云台相机的目标检测方法
CN113012292B (zh) 一种基于无人机航拍的ar远程施工监控方法及系统
CN111289533A (zh) 风机叶片的巡检方法、装置、无人机和存储介质
US20140132723A1 (en) Methods for calibrating a digital photographic image of utility structures
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN114092473B (zh) 一种大型产品视觉巡检装置及系统
US20230105991A1 (en) Method of imaging a wind turbine rotor blade
KR102476569B1 (ko) 영상이미지의 오차를 확인하여 수정할 수 있는 영상처리시스템
CN113309674B (zh) 风力发电机组的净空距离确定方法及装置
KR102643295B1 (ko) 제조 또는 다른 동작 동안 물체의 라이브 계측
Pulcrano et al. 3D cameras acquisitions for the documentation of cultural heritage
KR102642145B1 (ko) 오차 수정으로 영상이미지의 정밀도를 향상시킬 수 있는 영상처리시스템
CN114565661A (zh) 基于图像采集的盘煤系统
CN112093065B (zh) 一种基于无人机技术的测绘扫描设备
CN117974928A (zh) 一种基于电力基建系留无人机激光雷达的数字孪生方法
JP2020003484A (ja) ３ｄレーザスキャナ、３ｄレーザスキャナシステム、建設作業機械及び建設工事方法
CN115096266B (zh) 一种高精度地下管线明显点定位测绘装置及方法
CN114531700B (zh) 一种非人工的基站天线工参采集系统及方法
CN119562036A (zh) 一种基于无人机的电力巡检方法与系统
JPWO2018070354A1 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
CN112985542A (zh) 无水尺水位监测仪
CN111735447A (zh) 一种仿星敏式室内相对位姿测量系统及其工作方法
CN117716702A (zh) 图像拍摄方法、装置与可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination