CN114661049A - 一种巡检方法、装置及计算机可读介质 - Google Patents

一种巡检方法、装置及计算机可读介质 Download PDF

Info

Publication number
CN114661049A
CN114661049A CN202210319828.8A CN202210319828A CN114661049A CN 114661049 A CN114661049 A CN 114661049A CN 202210319828 A CN202210319828 A CN 202210319828A CN 114661049 A CN114661049 A CN 114661049A
Authority
CN
China
Prior art keywords
inspection point
dimensional image
preset
robot
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210319828.8A
Other languages
English (en)
Inventor
黄舒婷
阳帆
樊泽沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210319828.8A priority Critical patent/CN114661049A/zh
Publication of CN114661049A publication Critical patent/CN114661049A/zh
Priority to US18/180,378 priority patent/US20230315095A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2465—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using a 3D model of the environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/85—Specific applications of the controlled vehicles for information gathering, e.g. for academic research for patrolling or reconnaissance for police, security or military applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种巡检方法、装置及计算机可读介质，属于图像处理技术领域。在本发明一实施方式中的巡检方法包括：首先，确定待测巡检点位置与预设巡检点位置之间存在偏差；然后，获取机器人在待测巡检点对周围环境扫描而得到仿真三维物体模型；之后，将仿真三维物体模型和准三维物体模型进行比对，得到调整信息；准三维物体模型是机器人在预设巡检点对周围环境扫描而获得的三维物体信息；最后，根据调整信息调整机器人的位姿；并基于调整后的机器人采集巡检目标的二维图像。由此，能够对机器人的拍摄位置和拍摄角度进行准确调整，从而使得机器人到达预设巡检点，提高了巡检任务中巡检的准确性。

Description

一种巡检方法、装置及计算机可读介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种巡检方法、装置及计算机可读介质。
背景技术
巡检任务中，制定巡检路线后，往往需要通过SLAM对巡检的机器人进行位置定位，然后在预设巡检位置对巡检目标进行拍照检测，以判断巡检目标是否出现异常。
然而由于天气、环境变化等各种因素影响，SLAM定位可能会出现偏差，导致巡检机器无法精准停留在预设巡检位置，最终使得巡检目标偏离拍摄范围，导致误检。现有方法通常是提高SLAM定位精度，或者增加环境中的标记物等。然而在资源受限的环境下，这些方法可能无法实现，或者收效甚微。
发明内容
本发明提供一种巡检方法、装置及计算机可读介质，能够对巡检机器人的拍摄位置和拍摄角度进行有效校正，从而使得机器人到达预设巡检点，提高了巡检任务中机器人巡检的准确性；解决了现有技术中由于SLAM定位不准确导致机器人无法准确停留在预设巡检点从而造成误检的技术问题。
为实现上述目的，根据本申请实施例第一方面提供一种巡检方法，所述巡检方法包括：确定待测巡检点位置与预设巡检点位置之间存在偏差；获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；根据所述调整信息调整机器人的位姿；基于调整后的机器人采集所述巡检目标的二维图像。
可选的，所述确定待测巡检点位置与预设巡检点位置之间存在偏差，包括：当所述机器人按照SLAM地图移动至所述待测巡检点时，获取与所述待测巡检点对应预设巡检点的拍摄位姿，以及所述预设巡检点对应巡检目标的二维图像模型；所述SLAM地图包括机器人预设运动轨迹，以及所述预设运动轨迹上若干预设巡检点对应的位置信息；获取所述机器人在所述待测巡检点基于所述拍摄位姿采集所述巡检目标的二维图像；利用所述二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；若所述第一匹配结果表征所述二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
可选的，所述准三维物体模型通过如下方法获得：包括：针对所述SLAM地图上任一预设巡检点：获取机器人在所述预设巡检点对周围环境扫描而得到的三维图像模型；将所述三维图像模型与所述SLAM地图进行坐标对齐，得到注册三维图像模型；基于SLAM地图，从若干所述注册三维图像模型中选取与所述待测巡检点对应预设巡检点的注册三维图像模型；将所述注册三维图像模型确定为准三维物体模型。
可选的，所述将所述仿真三维物体模型和所述准三维物体模型进行比对，得到调整信息，包括：将所述仿真三维物体模型和所述准三维物体模型进行比对，得到差异旋转参数和平移参数；将所述差异旋转参数和所述平移参数确定为当前机器人的调整信息。
可选的，所述方法还包括：利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差。
可选的，所述方法还包括：针对SLAM地图任一所述预设巡检点：获取机器人在所述预设巡检点对巡检目标拍照而获得的二维图像，以及拍摄位姿；基于所述二维图像进行建模，得到所述预设巡检点对应二维图像模型；将所述二维图像模型和所述拍摄位姿对应存储于所述数据库。
为实现上述目的，根据本申请实施例第二方面提供一种巡检装置，所述装置包括：第一确定模块，用于确定待测巡检点位置与预设巡检点位置之间存在偏差；获取模块，用于获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；比对模块，用于将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；调整模块，用于根据所述调整信息调整机器人空间信息；采集模块，用于基于调整后的机器人采集所述巡检目标的二维图像。
可选的，所述第一确定模块包括：第一获取单元，用于当所述机器人按照SLAM地图移动至所述待测巡检点时，获取与所述待测巡检点对应预设巡检点的拍摄位姿，以及所述预设巡检点对应巡检目标的二维图像模型；所述SLAM地图包括机器人预设运动轨迹，以及所述预设运动轨迹上若干预设巡检点对应的位置信息；第二获取单元，用于获取所述机器人在所述待测巡检点基于所述拍摄位姿采集所述巡检目标的二维图像；匹配单元，用于利用所述二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；确定单元，用于若所述第一匹配结果表征所述二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
可选的，所述巡检装置还包括：匹配模块，用于利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；第二确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；第三确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差。
为实现上述目的，根据本发明实施例第三方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
与现有技术相比，本发明实施例提供一种巡检方法、装置及计算机可读介质，该方法首先确定待测巡检点位置与预设巡检点位置之间存在偏差；然后，获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；之后，将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；最后，根据所述调整信息调整机器人的位姿；并基于调整后的机器人采集所述巡检目标的二维图像。由此，能够对机器人的拍摄位置和拍摄角度进行准确调整，从而使得机器人到达预设巡检点，进而使得机器人拍摄巡检目标的二维图像符合预设要求，提高了巡检任务中巡检的准确性，解决了现有技术中由于SLAM定位不准确导致机器人无法准确停留在预设巡检点进而导致误检的技术问题。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1为机器人在预设巡检路线上所拍摄巡检目标的示意图；其中，图1a为SLAM定位正确时所拍摄巡检目标的示意图，图1b为SLAM定位异常时所拍摄巡检目标的示意图。
图2为本发明一实施例提供的巡检方法的流程示意图；
图3为本发明一实施例提供的确定待测巡检点位置与预设巡检点位置之间存在偏差的流程示意图；
图4为本发明另一实施例提供的巡检方法的流程示意图；
图5为本发明一实施例提供的巡检装置的结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为机器人在预设巡检路线上所拍摄巡检目标的示意图；其中，图1a为SLAM定位正确时所拍摄巡检目标的示意图，图1b为SLAM定位异常时所拍摄巡检目标的示意图。
在巡检任务中，控制系统控制机器人按照预设巡检路线进行移动，SALM实时对机器人位置进行定位，得到机器人位置信息；SLAM将机器人位置信息发送至控制系统，控制系统将机器人位置信息与预设巡检点位置信息进行比对，若比对结果表征机器人已经到达预设巡检点，则控制系统控制机器人上的摄像头对预设巡检点的巡检目标进行拍照。然而，现有技术中受天气、环境变化等各种因素的影响，SLAM经常会出现定位不准确的情况。如图1a所示，当SLAM定位异常时，由于机器人实际没有到达预设巡检点，因此机器人拍摄巡检目标的画面就会发生偏离。如图1b所示，当SLAM定位正确时，由于机器人到达了预设巡检点，因此机器人拍摄巡检目标的画面没有发生偏离。
如图2所示，为本发明一实施例提供的巡检方法的流程示意图。一种巡检方法，其中，至少包括如下几个步骤：
S201，确定待测巡检点位置与预设巡检点位置之间存在偏差；
S202，获取机器人在待测巡检点对周围环境扫描而得到仿真三维物体模型；
S203，将仿真三维物体模型和准三维物体模型进行比对，得到调整信息；准三维物体模型是机器人在预设巡检点对周围环境扫描而获得的三维物体信息；
S204，根据调整信息调整机器人的位姿；
S205，基于调整后的机器人采集巡检目标的二维图像。
待巡检位置为机器人以预设巡检位置为目标进行移动到达的巡检点。在S201中，可以通过人工现场测量的方法确定待测巡检点位置与预设巡检点位置之间存在偏差，然后将偏差输入机器人的控制系统；也可以是控制系统控制机器人摄像头在预设巡检点采集巡检目标的二维图像，并建立对应的二维图像模型；之后将二维图像模型存储于数据库，然后将待测巡检点所拍摄巡检目标的二维图像与预设巡检点对应二维图像模型进行比对，从而确定待测巡检点位置与预设巡检点位置之间存在偏差。待测巡检点位置与预设巡检点位置之间存在的偏差，除了位置上的偏差，也可以包括机器人位姿的偏差。
在S202中，机器人的控制系统预先在待测巡检点对周围环境进行多角度全方位扫描，得到对应于周围环境的仿真三维物体模型。在这里，可以是对周围环境所有物体进行多角度全方位扫描，也可以是对周围环境中存在的特定标记物和/或巡检目标进行多角度全方位扫描，得到对应的仿真三维物体模型。
在S203和S204中，控制系统将仿真三维物体模型和准三维物体模型进行比对，这里的比对包括位置坐标比对，以及位置方向比对等信息，从而获得机器人的差异旋转参数和平移参数；并将差异旋转参数和平移参数确定为调整信息；最后控制系统基于调整信息调整机器人的位姿。在这里，位姿用于指示机器人位置信息以及机器人姿态信息，机器人姿态信息即是机器人上对应摄像头姿态信息。仿真三维物体模型与准三维物体模型之间的角度偏差或位置偏差，与机器人本身的位姿偏差或位置偏差具有相关性。因此，基于仿真三维物体模型与准三维物体模型之间的角度偏差或位置偏差，可以得到机器人的位姿需要调整的参数。
在S205中，基于调整后的机器人位姿，控制系统控制机器人上摄像头采集巡检目标的二维图像。
在一优选的实施例中，利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；此时，继续进行S202和S203所述的3D物体识别，并基于3D物体识别获得的调整信息再次调整机器人的位姿。
若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差；此时，说明机器人已经到达预设巡检点位置，能够对预设巡检点的巡检目标进行准确检测。
本发明实施例将SLAM定位和3D物体识别定位相结合，使得机器人能够准确到达预设巡检点，从而对预设巡检点巡检目标进行准确拍照，进而避免出现误检，提高了机器人巡检过程中巡检的准确性。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在的逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图3所示，为本发明一实施例提供的确定待测巡检点位置与预设巡检点位置之间存在偏差的流程示意图。本实施例是在前述实施例的基础上进一步优化得到的。
确定待测巡检点位置与预设巡检点位置存在偏差，至少包括如下步骤：S301，当机器人按照SLAM地图移动至待测巡检点时，获取与待测巡检点对应预设巡检点的拍摄位姿，以及预设巡检点对应巡检目标的二维图像模型；SLAM地图包括机器人预设运动轨迹，以及预设运动轨迹上若干预设巡检点对应的位置信息；
S302，获取机器人在待测巡检点基于拍摄位姿采集巡检目标的二维图像；
S303，利用二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；
S304，若所述第一匹配结果表征二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
在S301和S302中，提前配置SLAM地图：例如：首先，工作人员按照预设巡检轨迹将机器人逐个移动到多个预设巡检点，记录预设巡检点的位置，得到SLAM地图；其次，针对任一个预设巡检点：工作人员配置摄像头的拍摄位姿，拍摄巡检目标的二维图像；最后将SLAM地图、二维图像、拍摄位姿，以及预设巡检点分别与二维图像以及拍摄位姿之间的对应关系存储于数据库中。之后，机器人按照SLAM地图移动至待测巡检点，该待测巡检点实际是SLAM定位的预设巡检点，但是SLAM定位可能存在误差，为了验证机器人停留位置是否是真实的预设巡检点；为此将机器人停留位置定义为待测巡检点。最后，获取预设巡检点的拍摄位姿，并在待测巡检点采集巡检目标的二维图像。
在S303和S304中，基于图像匹配技术，利用二维图像模型对获取的二维图像进行图像匹配，得到第一匹配结果；若第一匹配结果表征二维图像模型与所获取二维图像之间的偏差大于预设阈值，则确定待测巡检点与预设巡检点之间存在偏差；此时，SLAM导航出现了问题，机器人未到达预设巡检点，若第一匹配结果表征二维图像模型与所获取二维图像之间的偏差小于预设阈值，则确定待测巡检点与预设巡检点之间不存在偏差，此时SLAM导航正确，机器人到达预设巡检点。
本实施例获取预设巡检点的二维图像模型以及二维图像模型对应的拍摄位姿，之后基于拍摄位姿采集待测巡检点巡检目标的二维图像，并基于图像匹配技术将待测巡检点二维图像与二维图像模型进行图像匹配；若图像匹配结果表征待测巡检点二维图像与二维图像模型之间存在偏差，则确定待测巡检点偏离预设巡检点；若图像匹配结果表征待测巡检点二维图像与二维图像模型之间不存在偏差，则确定待测巡检点正好位于预设巡检点。由此，基于图像匹配技术对待测巡检点位置是否正确进行检测，有利于后期对待测巡检点位置的校正，提高了巡检任务中机器人巡检的准确性。同时，上述实施方式先通过二维图像比对的方式快速判断机器人是否存在偏差，再通过三维图像比对的方式进行机器人位姿的调整，进一步提高了机器人的执行效率。
如图4所示，为本发明另一实施例提供的巡检方法的流程示意图。本实施例的方法是在上述实施例的基础上进一步优化而得到的。一种巡检方法，至少包括如下几个步骤：
S401，针对SLAM地图任一预设巡检点：获取机器人在预设巡检点对巡检目标拍照而获得的二维图像，以及拍摄位姿；基于二维图像进行建模，得到预设巡检点对应二维图像模型；将二维图像模型和拍摄位姿对应存储于数据库；获取机器人在预设巡检点对周围环境扫描而得到的三维图像模型；将三维图像模型与SLAM地图进行坐标对齐，得到注册三维图像模型；并将注册三维图像模型对应存储于数据库中；
S402，基于SLAM地图，从若干注册三维图像模型中选取与待测巡检点对应预设巡检点的注册三维图像模型；将注册三维图像模型确定为准三维物体模型；
S403，确定待测巡检点位置与预设巡检点位置之间存在偏差；
S404，获取机器人在待测巡检点对周围环境扫描而得到仿真三维物体模型；
S405，将仿真三维物体模型和准三维物体模型进行比对，得到差异旋转参数和平移参数；将差异旋转参数和所述平移参数确定为当前机器人的调整信息；
S406，根据调整信息调整机器人的位姿；
S407，基于调整后的机器人采集巡检目标的二维图像；
S408，利用二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；
S409，若第二匹配结果表征二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与预设巡检点存在偏差；继续执行S404；
S410，若第二匹配结果表征二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与预设巡检点不存在偏差。
其中，步骤S403、S404、S405、S406、S407与图1中步骤S101、S102、S103、S104以及S105的过程相类似，这里不做重复赘述。
在S401中，对巡检过程的巡检参数进行配置，巡检参数包括SLAM地图，各个预设巡检点的二维图像模型以及该二维图像模型对应的拍摄位姿，以及各个预设巡检点的注册三维图像模型。将SLAM地图、各个预设巡检点对应的二维图像模型以及拍摄位姿，以及三维图像模型存储于数据库中，以便后期对待测巡检点位置进行校正。
在S402中，基于SLAM地图上任一预设巡检点：获取预设巡检点的坐标信息，计算待测巡检点与预设巡检点之间的距离。由于每个预设巡检点具有对应的距离；从多个距离中选取最短距离对应的预设巡检点作为与待测巡检点对应的预设巡检点；之后从数据库的若干注册三维图像模型中选取与该预设巡检点对应的注册三维图像模型，并将注册三维图像模型确定为准三维物体模型。由此，提高了3D物体识别定位的准确性，有利于待测巡检点位置的检测。
在S408至S410中，为了判断调整后机器人位置与预设巡检点位置是否存在偏差，需要基于调整后机器人位姿重新拍摄巡检目标的二维图像，并基于图像匹配技术将重新拍摄的二维图像与预设巡检点的二维图像模型进行比对，得到第二匹配结果，并基于第二匹配结果确定调整后机器人位置是否位于预设巡检点。
本发明实施例通过引入3D物体识别的思路对预设巡检点进行三维建模，并将机器人在停留位置所拍摄巡检目标的三维图像与预设巡检点对应的三维图像模型进行比对，对比角度和距离等三维差异信息判断巡检机器人位置是否位于预设巡检点；之后，根据差异信息让巡检机器人进行移动，直至差异信息缩小到一定的阈值内；位置校正后的巡检机器人重新拍摄巡检目标的二维图像，并将拍摄的二维图像与二维图像模型进行比对，得到比对结果。由此，能够对巡检机器人的拍摄位置和拍摄角度进行有效校正，从而使得机器人到达预设巡检点，提高了巡检任务中机器人巡检的准确性；解决了现有技术中由于SLAM定位不准确导致机器人无法准确停留在预设巡检点从而造成误检的技术问题。
如图5所示，为本发明一实施例提供的巡检装置的结构示意图。一种巡检装置，包括：第一确定模块501，用于确定待测巡检点位置与预设巡检点位置之间存在偏差；获取模块502，用于获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；比对模块503，用于将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；调整模块504，用于根据所述调整信息调整机器人空间信息；采集模块505，用于基于调整后的机器人采集所述巡检目标的二维图像。
在可选的实施例中，所述第一确定模块501包括：第一获取单元，用于当所述机器人按照SLAM地图移动至所述待测巡检点时，获取与所述待测巡检点对应预设巡检点的拍摄位姿，以及所述预设巡检点对应巡检目标的二维图像模型；所述SLAM地图包括机器人预设运动轨迹，以及所述预设运动轨迹上若干预设巡检点对应的位置信息；第二获取单元，用于获取所述机器人在所述待测巡检点基于所述拍摄位姿采集所述巡检目标的二维图像；匹配单元，用于利用所述二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；确定单元，用于若所述第一匹配结果表征所述二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
在可选的实施例中，所述的装置还包括：匹配模块，用于利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；第二确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；第三确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差。
在可选的实施例中，所述准三维物体模型通过如下方法获得：针对所述SLAM地图上任一预设巡检点：获取机器人在所述预设巡检点对周围环境扫描而得到的三维图像模型；将所述三维图像模型与所述SLAM地图进行坐标对齐，得到注册三维图像模型；基于SLAM地图，从若干所述注册三维图像模型中选取与所述待测巡检点对应预设巡检点的注册三维图像模型；将所述注册三维图像模型确定为准三维物体模型。
在可选的实施例中，所述比对模块503包括：比对单元，用于将所述仿真三维物体模型和所述准三维物体模型进行比对，得到差异旋转参数和平移参数；确定单元，用于将所述差异旋转参数和所述平移参数确定为当前机器人的调整信息。
在可选的实施例中，所述装置还包括：二维图像模型建立模块，用于针对SLAM地图任一所述预设巡检点：获取机器人在所述预设巡检点对巡检目标拍照而获得的二维图像，以及拍摄位姿；基于所述二维图像进行建模，得到所述预设巡检点对应二维图像模型；将所述二维图像模型和所述拍摄位姿对应存储于所述数据库。
上述装置可执行本发明一实施例所提供的巡检方法，具备执行巡检方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的巡检方法。
本发明还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的巡检方法。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种巡检方法，其中，包括：
确定待测巡检点位置与预设巡检点位置之间存在偏差；
获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；
将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；
根据所述调整信息调整机器人的位姿；
基于调整后的机器人采集所述巡检目标的二维图像。
2.根据权利要求1所述的方法，其中，所述确定待测巡检点位置与预设巡检点位置之间存在偏差，包括：
当所述机器人按照SLAM地图移动至所述待测巡检点时，获取与所述待测巡检点对应预设巡检点的拍摄位姿，以及所述预设巡检点对应巡检目标的二维图像模型；所述SLAM地图包括机器人预设运动轨迹，以及所述预设运动轨迹上若干预设巡检点对应的位置信息；
获取所述机器人在所述待测巡检点基于所述拍摄位姿采集所述巡检目标的二维图像；
利用所述二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；
若所述第一匹配结果表征所述二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
3.根据权利要求1所述的方法，其中，所述准三维物体模型通过如下方法获得：包括：
针对所述SLAM地图上任一预设巡检点：获取机器人在所述预设巡检点对周围环境扫描而得到的三维图像模型；将所述三维图像模型与所述SLAM地图进行坐标对齐，得到注册三维图像模型；
基于SLAM地图，从若干所述注册三维图像模型中选取与所述待测巡检点对应预设巡检点的注册三维图像模型；
将所述注册三维图像模型确定为准三维物体模型。
4.根据权利要求1所述的方法，其中，所述将所述仿真三维物体模型和所述准三维物体模型进行比对，得到调整信息，包括：
将所述仿真三维物体模型和所述准三维物体模型进行比对，得到差异旋转参数和平移参数；
将所述差异旋转参数和所述平移参数确定为当前机器人的调整信息。
5.根据权利要求1所述的方法，其中，还包括：
利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；
若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；
若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差。
6.根据权利要求1所述的方法，其中，还包括：
针对SLAM地图任一所述预设巡检点：获取机器人在所述预设巡检点对巡检目标拍照而获得的二维图像，以及拍摄位姿；基于所述二维图像进行建模，得到所述预设巡检点对应二维图像模型；将所述二维图像模型和所述拍摄位姿对应存储于所述数据库。
7.一种巡检装置，其中，包括：
第一确定模块，用于确定待测巡检点位置与预设巡检点位置之间存在偏差；
获取模块，用于获取机器人在所述待测巡检点对周围环境扫描而得到仿真三维物体模型；
比对模块，用于将所述仿真三维物体模型和准三维物体模型进行比对，得到调整信息；所述准三维物体模型是机器人在所述预设巡检点对周围环境扫描而获得的三维物体信息；
调整模块，用于根据所述调整信息调整机器人空间信息；
采集模块，用于基于调整后的机器人采集所述巡检目标的二维图像。
8.根据权利要求7所述的装置，其中，所述第一确定模块包括：
第一获取单元，用于当所述机器人按照SLAM地图移动至所述待测巡检点时，获取与所述待测巡检点对应预设巡检点的拍摄位姿，以及所述预设巡检点对应巡检目标的二维图像模型；所述SLAM地图包括机器人预设运动轨迹，以及所述预设运动轨迹上若干预设巡检点对应的位置信息；
第二获取单元，用于获取所述机器人在所述待测巡检点基于所述拍摄位姿采集所述巡检目标的二维图像；
匹配单元，用于利用所述二维图像模型对所获取二维图像进行图像匹配，得到第一匹配结果；
确定单元，用于若所述第一匹配结果表征所述二维图像模型与所获取二维图像之间的偏差满足预设阈值，则确定待测巡检点位置与预设巡检点位置之间存在偏差。
9.根据权利要求7所述的装置，其中，还包括：
匹配模块，用于利用所述二维图像模型对调整后采集的二维图像进行图像匹配，得到第二匹配结果；
第二确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的偏差满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点存在偏差；
第三确定模块，用于若所述第二匹配结果表征所述二维图像模型与调整后采集的二维图像之间的差异不满足预设阈值，则确定调整后待测巡检点位置与所述预设巡检点不存在偏差。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202210319828.8A 2022-03-29 2022-03-29 一种巡检方法、装置及计算机可读介质 Pending CN114661049A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210319828.8A CN114661049A (zh) 2022-03-29 2022-03-29 一种巡检方法、装置及计算机可读介质
US18/180,378 US20230315095A1 (en) 2022-03-29 2023-03-08 Patrol inspection method, device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210319828.8A CN114661049A (zh) 2022-03-29 2022-03-29 一种巡检方法、装置及计算机可读介质

Publications (1)

Publication Number Publication Date
CN114661049A true CN114661049A (zh) 2022-06-24

Family

ID=82033641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210319828.8A Pending CN114661049A (zh) 2022-03-29 2022-03-29 一种巡检方法、装置及计算机可读介质

Country Status (2)

Country Link
US (1) US20230315095A1 (zh)
CN (1) CN114661049A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035745A (zh) * 2023-10-07 2023-11-10 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117724494B (zh) * 2023-12-15 2024-06-25 江苏征途电气科技有限公司 一种智能巡检机器人的巡检方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035745A (zh) * 2023-10-07 2023-11-10 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法
CN117035745B (zh) * 2023-10-07 2023-12-19 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法

Also Published As

Publication number Publication date
US20230315095A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
CN111442722B (zh) 定位方法、装置、存储介质及电子设备
CN108638062B (zh) 机器人定位方法、装置、定位设备及存储介质
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN114661049A (zh) 一种巡检方法、装置及计算机可读介质
CN109099889B (zh) 近景摄影测量系统和方法
JP2016045150A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
CN111192331A (zh) 一种激光雷达和相机的外参标定方法及装置
JPWO2013030929A1 (ja) 監視装置、監視システム及び監視方法
CN111383261B (zh) 移动机器人、及其位姿估计方法和位姿估计装置
WO2019136613A1 (zh) 机器人室内定位的方法及装置
US12002237B2 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
CN117197245A (zh) 一种位姿修复方法及装置
CN109489658B (zh) 一种运动目标定位方法、装置及终端设备
CN109238286B (zh) 智能导航方法、装置、计算机设备及存储介质
JP2010145219A (ja) 運動推定装置及びプログラム
CN115393299A (zh) 一种基于单目视觉的流水线工件距离测量方法以及装置
CN116386373A (zh) 车辆定位方法、装置、存储介质及电子设备
CN113635299B (zh) 一种机械臂的校正方法、终端设备及存储介质
CN117132904A (zh) 实时飞行位置定位方法、装置、飞行器以及存储介质
CN111397582B (zh) 一种目标物的定位方法、装置、可读介质及电子设备
CN114494455B (zh) 一种大视角下的位移高精度测量方法
CN110176034B (zh) 用于vslam的定位方法及扫描终端
KR102084756B1 (ko) Slam 공간 지도의 완성도 판단 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination