CN112258641A - 巡检点自动化配置系统、方法、存储介质、设备及机器人 - Google Patents

巡检点自动化配置系统、方法、存储介质、设备及机器人 Download PDF

Info

Publication number
CN112258641A
CN112258641A CN202011210613.XA CN202011210613A CN112258641A CN 112258641 A CN112258641 A CN 112258641A CN 202011210613 A CN202011210613 A CN 202011210613A CN 112258641 A CN112258641 A CN 112258641A
Authority
CN
China
Prior art keywords
target object
inspection
point
area
inspection point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011210613.XA
Other languages
English (en)
Other versions
CN112258641B (zh
Inventor
刘加科
孙志周
田克超
赵德利
巩方彬
李健
王亚菲
邵光亭
张传友
杨国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN202011210613.XA priority Critical patent/CN112258641B/zh
Publication of CN112258641A publication Critical patent/CN112258641A/zh
Application granted granted Critical
Publication of CN112258641B publication Critical patent/CN112258641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种巡检点自动化配置系统、方法、存储介质、设备及机器人,获取巡检场所的三维模型,对三维模型进行预处理;对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。本发明能够实现巡检点的自动化准确、高效配置。

Description

巡检点自动化配置系统、方法、存储介质、设备及机器人
技术领域
本发明属于智能巡检技术领域,具体涉及一种巡检点自动化配置系统、方法、存储介质、设备及机器人。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
目前,很多需要巡检的场所都会利用机器人等可移动机构执行巡检任务,例如变电站、换电站、隧道等。为了实现机器人在指定场所自主巡检,多是采用对巡检场所进行地图构建,构建完成地图之后机器人加载地图模型进行实时定位;然后控制机器人对分布在巡检场所的各种类型的巡检目标进行人工配置,所述人工配置是指人工根据巡检目标的位置、朝向、属性等,完成停靠点、预置位的配置和抓图等工作,这种配置模式具有简单、稳定可靠、灵活等优点,但相应的,人工配置巡检点也存在以下问题:
对于配置人员的专业水平、经验等均需要有较高的要求,普通技术人员无法达到要求,且配置人员的主观性强、标准不统一;对于很多复杂场景,人工配置消耗的时间长、效率低、准确性低,需要投入的人力成本和时间成本较高,且需要复核或者存在很大的安全隐患,无法保证机器人和巡检场所内设备的安全性。
因此,很多研发人员转而去研究巡检点自动配置,但据发明人了解,目前的巡检点自动配置存在无法实现具有方向约束识别对象、无法实现多个巡检对象的巡检点复用问题,巡检任务执行效率低,且很多研究方法不能和机器人联动,或应用于机器人巡检中。
发明内容
本发明为了解决上述问题,提出了一种巡检点自动化配置系统、方法、存储介质、设备及机器人,本发明可以实现巡检点的自动化配置,能够实现方向约束识别对象,实现多个巡检对象的巡检点复用,提高了巡检任务的执行效率。
根据一些实施例,本发明采用如下技术方案:
一种巡检点自动化配置方法,包括以下步骤:
获取巡检场所的三维模型,对三维模型进行预处理;
对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;
配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;
遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;
对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
作为可选择的实施方式,还包括以下步骤:根据每一个目标对象及对应的最优巡检点三维坐标,计算巡检机构对应三维姿态,得到巡检机构的巡检点信息列表。
在本发明中,巡检机构包括但不限于机器人。
作为可选择的实施方式,对三维模型进行预处理的具体过程包括:对三维模型进行噪点去除和特征拟合。
作为可选择的实施方式,进行巡检场所内目标对象的识别的具体过程包括:加载预设的训练模型库,采用特征匹配的方法进行巡检场所目标对象的识别,对于识别到的每一个目标对象,将计算出该目标对象在三维模型中的位姿、朝向法向量和大小信息。
作为进一步的限定,所述训练模型库是基于多样化巡检场景目标对象样本,通过深度学习算法进行模型训练,输出的训练模型库,该库用于在三维模型中进行模型匹配,以实现对巡检目标对象的识别。
作为可选择的实施方式,提取巡检场所内的可通行路径的具体过程包括:采用欧式聚类、平面特征提取、法线及梯度提取方法对导入的三维模型进行可通行路径提取。
当然,作为其他可选择的实施方式,也可以使用其他提取方法进行可通行路径提取。
作为可选择的实施方式,所述巡检点与目标对象之间距离范围是指根据待检测的目标对象,确定理论上巡检机构执行巡检时,与目标对象之间的最大距离,以及最小安全距离,基于最大距离和/或最小安全距离,确定预设巡检点的距离范围。
作为可选择的实施方式,所述巡检点与目标对象的平面法线偏差角度范围是指根据待检测的目标对象,确定理论上巡检机构执行巡检时,巡检机构搭载的相机视场中心线与目标对象的平面法线最大偏差角度。
作为可选择的实施方式,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域的具体步骤包括:根据预设巡检点与目标对象之间理论上的最大距离,建立球体方程,求解球体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的外圈边界;根据相机视场中心线与目标对象平面法线最大夹角约束,建立椎体方程,求解椎体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的内圈边界,两个交叉线成弧线交叉,在该交叉区域内,计算落入到该交叉区域内的可通行路径的边界,所有满足边界区间的可通行路径区域即为单一目标对象对应的合法配置区域。
作为可选择的实施方式,对单一目标对象合法配置区域进行全局优化的具体过程包括:在公共交叉区域中,建立多个目标对象的距离、偏差角的加权代价优化函数,该代价函数根据包含多个目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与多个目标对象平面法的夹角代价,距离代价和夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为多个目标对象复用交叉区域预设巡检点。
作为可选择的实施方式,对单一目标对象合法配置区域进行全局优化的具体过程包括:对于合法配置区域不存在交叉的目标对象,建立单一目标对象的距离、偏差角的加权代价优化函数,该代价函数包含单一目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与单一目标对象平面法线的夹角代价:距离代价与夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为单个目标对象专用预设巡检点。
作为进一步限定的实施方式,计算巡检机构对应三维姿态的具体过程包括:根据每一个目标对象及对应的预设巡检点三维坐标,通过三角函数关系计算云台的三维姿态,首先根据机器人本体模型,在预设巡检点坐标处,求解出云台旋转中心点的坐标,然后再根据目标对象坐标及云台旋转中心点坐标建立三角函数关系,求解云台的三维姿态。
作为进一步限定的实施方式,计算巡检机构对应三维姿态的具体过程包括:根据相机成像原理,根据识别需求,配置图像宽度比m,则相机在巡检点的变焦倍率g为:
Figure BDA0002758710930000051
其中:D为云台旋转中心点与目标对象之间的距离,m为期望图像宽度比,w为目标物体在CCD靶面上的宽度,W为目标物体的实际宽度。
一种巡检点自动化配置系统,包括:
数据预处理单元,被配置为获取巡检场所的三维模型,对三维模型进行预处理;
标定与目标识别单元,被配置为对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;
自动化配置单元,被配置为配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种巡检点自动化配置方法中的步骤。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种巡检点自动化配置方法中的步骤。
所述终端设备或系统可以设置于控制中心,也可以配置于巡检机构上。
一种机器人,包括上述系统或终端设备。
与现有技术相比,本发明的有益效果为:
本发明创新性提出一种巡检点自动化配置技术,从三维模型中获取目标对象和可通行路径,充分考虑巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件,进行巡检点的自动化配置,能够实现方向约束识别对象,保证巡检场所内目标对象、巡检机构的安全,也能够保证巡检点的有效性和准确性,保证巡检机构在确定的各个巡检点上均能安全、有效、尽可能正对目标对象进行检测,提高了巡检配置自动化水平,实现了巡检配置流程化、标准化。
本发明创新性提出一种配置区域全局优化技术,对于公共交叉的合法配置区域进行计算,在交叉区域中再建立考虑约束条件的代价函数,求解交叉区域最优点,确定多个目标对象巡检复用点,解决了现有技术无法实现多个巡检对象的巡检点复用的问题,提高了巡检任务的执行效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为实施例一的配置方法流程示意图;
图2为实施例二的系统结构示意图;
图3为实施例一的单一目标对象合法配置区域求解侧视图;
图4为实施例一的单一目标对象合法配置区域求解俯视图;
图5为实施例一的多个目标对象合法配置区域优化示意图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一:
一种巡检点自动化配置方法,如图1所示,包括以下步骤:
获取巡检场所的三维模型,对三维模型进行预处理;
对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并提取巡检场所内的可通行路径;
配置巡检点与目标对象之间理论最大距离范围、与目标对象的平面法线偏差角度范围的约束条件;
遍历目标对象台账,根据单一目标对象的位姿、尺寸信息及可通行路径信息计算合法配置区域;
对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
当然,在应用机器人巡检的场景中,还包括以下步骤:根据每一个目标对象及对应的最优巡检点三维坐标,计算巡检机器人及巡检机构对应三维姿态,得到机器人的巡检点多维信息列表。
在本实施例中,对三维模型进行预处理的具体过程包括:对三维模型进行噪点去除和特征拟合。
在本部分所指的三维模型,是巡检场所的三维模型,可以是直接使用现有方法构建的三维模型,也可以使用改进方法构建三维模型,构建三维模型的方法有很多,在此不再赘述。
在部分实施例中,采用孤立点滤除、投影、高低通滤波、稳定点提取等方法对导入的三维模型的点云信息进行噪点去除。采用插值、边缘拟合的方法对导入的三维模型扫描盲区、低分辨率区域进行特征拟合。
模型基准坐标系指的是三维模型的三维基准坐标,在本实施例中,可以选择三维模型调正(旋转、平移)之后的左下角位三维基准坐标。
进行巡检场所内目标对象的识别的具体过程包括:加载预设的训练模型库,采用特征匹配的方法进行全站目标对象的识别,对于识别到的每一个目标对象,将计算出该目标对象在三维模型中的位姿、朝向法向量和大小信息。
本实施例所指的训练模型库是基于多样化巡检场景目标对象样本,通过深度学习算法进行模型训练,输出的训练模型库,该库用于在三维模型中进行模型匹配,实现对巡检目标对象的识别。
在该步骤中提供复核接口,对于训练模型库中不存在的目标对象或者未识别出的目标对象,可以通过该接口进行添加,对于已经自动识别出但是不需要进行巡视的目标对象,可以通过该接口进行删除。
部分实施例中,在三维模型中,也可以通过人工手动添加巡检设备,或者手动选择设备进行特巡操作,提高了交互水平。
在本实施例中,提取巡检场所内的可通行路径的具体过程可以是采用欧式聚类、平面特征提取、法线及梯度提取方法对导入的三维模型进行可通行路径提取。该单元输出目标对象台账及可通行路径离散点中心线信息文件。
当然,在其他实施例中,可以选用其他方法进行可通行路径提取。
在配置约束条件时,巡检点与目标对象之间距离范围是指根据待检测的目标对象,确定理论上巡检机构(在本实施例中为巡检机器人)在巡检点执行巡检时,能够保证有效监测的基础上,巡检机构与目标对象之间的最大距离,以及为保证巡检目标对象以及巡检机构安全的最小安全距离,基于最大距离和/或最小安全距离,确定距离范围。
在配置约束条件时,巡检点与目标对象的平面法线偏差角度范围是指根据待检测的目标对象,确定理论上巡检机构(在本实施例中为巡检机器人)在巡检点执行巡检时,能够保证有效检测的基础上,巡检机构搭载的相机视场中心线与目标对象的平面法线最大偏差角度。
根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域的具体步骤包括:
根据预设巡检点与目标对象之间最远距离distance_threshold,建立球体方程,求解球体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的外圈边界。根据相机视场中心线与目标对象平面法线最大夹角angle_threshold约束,建立椎体方程,求解椎体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的内圈边界,两个交叉线成弧线交叉,在该交叉区域内,计算落入到该交叉区域内的可通行路径的边界,所有满足边界区间的可通行路径区域即为单一目标对象对应的合法配置区域。
对单一目标对象合法配置区域进行全局优化的具体过程包括:在公共交叉区域中建立考虑距离范围、偏差角范围的代价函数,求解交叉区域最优点,该交叉区域最优点为多个目标对象巡检复用点。
对于合法配置区域不存在交叉的目标对象,则建立单一目标对象的考虑距离范围、偏差角范围的代价函数,求解最优巡检点的坐标。
在本实施例中,在具有公共交叉的合法配置区域中求解复用巡检点的过程为:
建立多个目标对象的距离、偏差角的加权代价优化函数,该代价函数根据包含多个目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与多个目标对象平面法的夹角代价,距离代价和夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为多个目标对象复用交叉区域预设巡检点。
对于不存在公共交叉的合法配置区域求解最优巡检点,过程包括:
建立单一目标对象的距离、偏差角的加权代价优化函数,该代价函数包含单一目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与单一目标对象平面法线的夹角代价:距离代价与夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为单个目标对象专用预设巡检点。
如图3-图5所示,图3为单一目标对象合法配置区域求解侧视图。其中n为目标对象平面法线,D为最远具有预设巡检点与目标对象之间最远距离distance_threshold,α为相机视场中心线与目标对象平面法线最大夹角angle_threshold,h为目标对象在参考坐标系中的高度,Z为球体、椎体、平面构成的交叉边界区域。
图4为单一目标对象合法配置区域求解俯视图,Q为球体与平面交叉区域,形成外圈边界T为椎体与平面交叉区域,形成内圈边界,Z为合法交叉边界区域,该该区域的可通行路径为合法配置区域。
图5为多个目标对象合法配置区域优化示意图,d1、d2、d3分别为目标对象,Zd1、Zd2、Zd3分别为对象的单一目标对象的合法配置区域,Zd为公共交叉合法配置区域,Pd为复用预设巡检点。
通过对上述代价函数求解,计算出距离和偏差加权最优的解即为最优巡检点坐标,此处加权分配可配置,权值大小表征的是拍摄图像过程中的距离优先还是角度优先。
加权是指距离代价与夹角代价加权,该权值控制距离代价和夹角代价的分配,表征在应用过程中,距离代价和夹角代价的选择倾向。
当然,在部分实施例中,巡检机构需要去执行巡检任务,所以在获取各个最优巡检点之后,还需要将其转换为巡检任务:具体步骤包括:计算巡检机构对应三维姿态,根据巡检点坐标与目标对象的坐标通过三角函数关系计算云台的三维姿态,进而输出与目标对象台账对应的巡检点6D信息列表。
在本实施例中,根据每一个目标对象及对应的预设巡检点三维坐标,通过三角函数关系计算云台的三维姿态,首先根据机器人本体模型,在预设巡检点坐标处,求解出云台旋转中心点的坐标,然后再根据目标对象坐标及云台旋转中心点坐标建立三角函数关系,求解云台的三维姿态。
根据相机成像原理,根据识别需求,配置图像宽度比m,则相机在巡检点的变焦倍率g为:
Figure BDA0002758710930000131
其中:D为云台旋转中心点与目标对象之间的距离,m为期望图像宽度比,w为目标物体在CCD靶面上的宽度,W为目标物体的实际宽度。
实施例一通过充分考虑巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件,进行巡检点的自动化配置,能够实现方向约束识别对象,保证巡检场所内目标对象、巡检机构的安全,也能够保证巡检点的有效性和准确性,保证巡检机构在确定的各个巡检点上均能安全、有效、尽可能正对目标对象进行检测,提高了巡检配置自动化水平,实现了巡检配置流程化、标准化。
且约束条件考虑了安全距离、有效检测距离和检测角度,能够保证检测数据的准确性和有效性,提高了施工调试安全性,降低了调试过程中发生风险的概率。
通过配置区域全局优化,对于公共交叉的合法配置区域进行计算,在交叉区域中再建立考虑约束条件的代价函数,求解交叉区域最优点,确定多个目标对象巡检复用点,解决了现有技术无法实现多个巡检对象的巡检点复用的问题,提高了巡检任务的执行效率。
实施例二:
一种巡检点自动化配置系统,包括:
数据预处理单元,被配置为获取巡检场所的三维模型,对三维模型进行预处理;
标定与目标识别单元,被配置为对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;
自动化配置单元,被配置为配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
当然,所述自动化配置单元,还被配置为根据每一个目标对象及对应的最优巡检点三维坐标,计算巡检机器人对应三维姿态,得到机器人的巡检点多维信息列表。
具体的,如图2所示,数据预处理单元,该单元采用孤立点滤除、投影、稳定点提取等方法对导入的三维模型的点云信息进行噪点去除。采用插值、边缘拟合的方法对导入的三维模型交叉、低分辨率区域进行特征拟合。该单元输出数据预处理之后的三维模型。
标定与目标识别单元,该单元加载数据预处理单元输出的经过预处理之后的三维模型。该单元提供了基准坐标系的配置接口实现三维模型的基准坐标系标定。该单元还通过加载训练模型库,对导入的三维模型进行识别及属性计算。该单元采用欧式聚类、平面特征提取方法对导入的三维模型进行可通行路径提取。该单元输出目标对象台账及可通行路径中心线信息文件。
自动化配置单元,该单元加载标定目标识别单元输出的目标对象台账及可通行路径离散点中心线信息文件。该单元提供了预设巡检点与目标对象之间最远距离distance_threshold、相机视场中心线与目标对象平面法线最大夹角angle_threshold约束配置接口。
该单元遍历目标对象台账,根据单一目标对象的位姿、尺寸信息及可通行路径离散点中心线信息计算对应的合法配置区域。该单元完成所有单一目标对象合法配置区域计算之后,进入全局优化环节。对于合法配置区域之间具有公共交叉区域的目标对象建立多个目标对象的距离、偏差角的加权代价优化函数,求解合法配置交叉区域最优点,该点即为具有合法配置交叉区域的多个目标对象复用预设巡检点。对于合法配置区域不存在公共交叉区域的目标对象建立单一目标对象的距离、偏差角的加权代价优化函数,求解合法配置区域最优点,该点即为单一目标对象专用预设巡检点。完成所有目标对象预设巡检点计算之后,对每一个目标对象及对应的预设巡检点三维坐标,通过三角函数关系计算云台的三维姿态。该单元输出的是与目标对象台账对应的预设巡检点6D(x,y,z,roll,pitch,yaw)信息列表。
该单元完成最优点坐标计算之后,针对每一个目标对象及对应的巡检点三维坐标,通过三角函数关系计算云台的三维姿态。该单元输出的是与目标对象台账对应的巡检点6D信息列表。
当然,在其他实施例中,可以使用其他方式进行姿态转换,在此不再赘述。
在本实施例中,数据预处理单元连接标定与目标识别单元,标定与目标识别单元与自动化配置单元连接。
实施例三:
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行实施例一所提供的一种巡检点自动化配置方法中的步骤。
实施例四:
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行实施例一所提供的一种巡检点自动化配置方法中的步骤。
当然,实施例四的终端设备,实施例二的系统可以设置于控制中心,也可以配置于巡检机构上。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例五:
一种巡检机构(以机器人为例),包括实施例四的终端设备,或实施例二的系统。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (15)

1.一种巡检点自动化配置方法,其特征是:包括以下步骤:
获取巡检场所的三维模型,对三维模型进行预处理;
对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;
配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;
遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;
对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
2.如权利要求1所述的一种巡检点自动化配置方法,其特征是:还包括以下步骤:根据每一个目标对象及对应的最优巡检点三维坐标,计算巡检机构对应三维姿态,得到巡检机构的巡检点信息列表。
3.如权利要求1所述的一种巡检点自动化配置方法,其特征是:对三维模型进行预处理的具体过程包括:对三维模型进行噪点去除和特征拟合。
4.如权利要求1所述的一种巡检点自动化配置方法,其特征是:进行巡检场所内目标对象的识别的具体过程包括:加载预设的训练模型库,采用特征匹配的方法进行全站目标对象的识别,对于识别到的每一个目标对象,将计算出该目标对象在三维模型中的位姿、朝向法向量和大小信息。
5.如权利要求1所述的一种巡检点自动化配置方法,其特征是:所述巡检点与目标对象之间距离范围是指根据待检测的目标对象,确定理论上巡检机构执行巡检时,与目标对象之间的最大距离,以及最小安全距离,基于最大距离和/或最小安全距离,确定预设巡检点的距离范围。
6.如权利要求1所述的一种巡检点自动化配置方法,其特征是:所述巡检点与目标对象的平面法线偏差角度范围是指根据待检测的目标对象,确定理论上巡检机构执行巡检时,巡检机构搭载的相机视场中心线与目标对象的平面法线最大偏差角度。
7.如权利要求1所述的一种巡检点自动化配置方法,其特征是:根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域的具体步骤包括:根据预设巡检点与目标对象之间理论上的最大距离,建立球体方程,求解球体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的外圈边界;根据相机视场中心线与目标对象平面法线最大夹角约束,建立椎体方程,求解椎体与可通行路径所在平面的交叉线,该交叉线即为合法配置区域的内圈边界,两个交叉线成弧线交叉,在该交叉区域内,计算落入到该交叉区域内的可通行路径的边界,所有满足边界区间的可通行路径区域即为单一目标对象对应的合法配置区域。
8.如权利要求1所述的一种巡检点自动化配置方法,其特征是:对单一目标对象合法配置区域进行全局优化的具体过程包括:在公共交叉区域中,建立多个目标对象的距离、偏差角的加权代价优化函数,该代价函数根据包含多个目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与多个目标对象平面法的夹角代价,距离代价和夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为多个目标对象复用交叉区域预设巡检点。
9.如权利要求1所述的一种巡检点自动化配置方法,其特征是:对单一目标对象合法配置区域进行全局优化的具体过程包括:对于合法配置区域不存在交叉的目标对象,建立单一目标对象的距离、偏差角的加权代价优化函数,该代价函数包含单一目标对象与预设巡检点的距离代价、预设巡检点相机视场中心线与单一目标对象平面法线的夹角代价:距离代价与夹角代价进行加权,采用优化方法求解该代价函数的最优解,即为单个目标对象专用预设巡检点。
10.如权利要求2所述的一种巡检点自动化配置方法,其特征是:计算巡检机构对应三维姿态的具体过程包括:根据每一个目标对象及对应的预设巡检点三维坐标,通过三角函数关系计算云台的三维姿态,首先根据机器人本体模型,在预设巡检点坐标处,求解出云台旋转中心点的坐标,然后再根据目标对象坐标及云台旋转中心点坐标建立三角函数关系,求解云台的三维姿态。
11.如权利要求10所述的一种巡检点自动化配置方法,其特征是:计算巡检机构对应三维姿态的具体过程包括:根据相机成像原理,根据识别需求,配置图像宽度比m,则相机在巡检点的变焦倍率g为:
Figure FDA0002758710920000041
其中:D为云台旋转中心点与目标对象之间的距离,m为期望图像宽度比,w为目标物体在CCD靶面上的宽度,W为目标物体的实际宽度。
12.一种巡检点自动化配置系统,其特征是:包括:
数据预处理单元,被配置为获取巡检场所的三维模型,对三维模型进行预处理;
标定与目标识别单元,被配置为对预处理后的模型进行基准坐标系的配置,进行巡检场所内目标对象的识别,并获取目标对象的位姿、大小信息,提取巡检场所内的可通行路径;
自动化配置单元,被配置为配置巡检点与目标对象之间距离范围、与目标对象的平面法线偏差角度范围的约束条件;遍历目标对象,根据单一目标对象的位姿、大小及可通行路径信息计算合法配置区域;对单一目标对象合法配置区域进行全局优化,针对公共交叉区域和不交叉区域,在约束条件下,求解最优巡检点的坐标,得到巡检点信息。
13.一种计算机可读存储介质,其特征是:其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求1-11中任一项所述的一种巡检点自动化配置方法中的步骤。
14.一种终端设备,其特征是:包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行权利要求1-11中任一项所述的一种巡检点自动化配置方法中的步骤。
15.一种机器人,包括如权利要求12所述的系统或如权利要求14所述的终端设备。
CN202011210613.XA 2020-11-03 2020-11-03 巡检点自动化配置系统、方法、存储介质、设备及机器人 Active CN112258641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210613.XA CN112258641B (zh) 2020-11-03 2020-11-03 巡检点自动化配置系统、方法、存储介质、设备及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210613.XA CN112258641B (zh) 2020-11-03 2020-11-03 巡检点自动化配置系统、方法、存储介质、设备及机器人

Publications (2)

Publication Number Publication Date
CN112258641A true CN112258641A (zh) 2021-01-22
CN112258641B CN112258641B (zh) 2023-03-03

Family

ID=74267279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210613.XA Active CN112258641B (zh) 2020-11-03 2020-11-03 巡检点自动化配置系统、方法、存储介质、设备及机器人

Country Status (1)

Country Link
CN (1) CN112258641B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063643A (zh) * 2021-11-06 2022-02-18 山西东高舜博科技有限公司 变电站远程监控控制系统及控制方法
CN113727022B (zh) * 2021-08-30 2023-06-20 杭州申昊科技股份有限公司 巡检图像的采集方法及装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170356A1 (en) * 2013-12-13 2015-06-18 Robert Scott Simmons Optical inspection system for printed circuit board or the like
CN105809361A (zh) * 2016-03-16 2016-07-27 杭州国望科技有限公司 基于云平台的水利安全生产标准化管理系统
CN105867366A (zh) * 2016-03-28 2016-08-17 国网福建省电力有限公司 一种变电站电力设备全自动智能巡检方法
CN108364369A (zh) * 2018-01-17 2018-08-03 上海振华重工(集团)股份有限公司 无人机巡检点确定方法、装置、介质、设备及系统
CN110580717A (zh) * 2019-08-15 2019-12-17 成都优艾维智能科技有限责任公司 一种针对电力杆塔的无人机自主巡检航线生成方法
CN111136655A (zh) * 2019-12-10 2020-05-12 深圳市优必选科技股份有限公司 一种获取巡检点的方法及装置
CN111708369A (zh) * 2020-07-17 2020-09-25 武汉科技大学 一种变电站巡检机器人路径规划方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170356A1 (en) * 2013-12-13 2015-06-18 Robert Scott Simmons Optical inspection system for printed circuit board or the like
CN105809361A (zh) * 2016-03-16 2016-07-27 杭州国望科技有限公司 基于云平台的水利安全生产标准化管理系统
CN105867366A (zh) * 2016-03-28 2016-08-17 国网福建省电力有限公司 一种变电站电力设备全自动智能巡检方法
CN108364369A (zh) * 2018-01-17 2018-08-03 上海振华重工(集团)股份有限公司 无人机巡检点确定方法、装置、介质、设备及系统
CN110580717A (zh) * 2019-08-15 2019-12-17 成都优艾维智能科技有限责任公司 一种针对电力杆塔的无人机自主巡检航线生成方法
CN111136655A (zh) * 2019-12-10 2020-05-12 深圳市优必选科技股份有限公司 一种获取巡检点的方法及装置
CN111708369A (zh) * 2020-07-17 2020-09-25 武汉科技大学 一种变电站巡检机器人路径规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727022B (zh) * 2021-08-30 2023-06-20 杭州申昊科技股份有限公司 巡检图像的采集方法及装置、电子设备、存储介质
CN114063643A (zh) * 2021-11-06 2022-02-18 山西东高舜博科技有限公司 变电站远程监控控制系统及控制方法

Also Published As

Publication number Publication date
CN112258641B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN112258641B (zh) 巡检点自动化配置系统、方法、存储介质、设备及机器人
JP2021534481A (ja) 障害物又は地面の認識及び飛行制御方法、装置、機器及び記憶媒体
KR101146119B1 (ko) 실내 이동 로봇의 위치 인식 방법 및 장치
KR101679741B1 (ko) 외곽 공간 특징 정보 추출 방법
KR20190082061A (ko) 전자 지도 중의 교차로를 인식하기 위한 방법 및 장치
CN111762519B (zh) 引导拣选机器人作业的方法、系统和调度装置
CN111158358B (zh) 一种基于三维模型对变电/换流站自优巡检的方法及系统
CN105973239B (zh) 无人机最短路径搜索方法
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
Shi et al. Dynamic obstacles rejection for 3D map simultaneous updating
CN107767366B (zh) 一种输电线路拟合方法及装置
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
CN116533998B (zh) 车辆的自动驾驶方法、装置、设备、存储介质及车辆
CN116122356B (zh) 一种基于多模型融合的深基坑安全监测系统
CN109977884B (zh) 目标跟随方法和装置
CN115049322B (zh) 一种集装箱堆场的集装箱管理方法及系统
CN111079535A (zh) 一种人体骨架动作识别方法、装置及终端
CN113911918B (zh) 面向智能塔吊集群的故障应急调度控制方法和系统
CN108957384A (zh) 一种周转箱及电能计量设备方向判别方法与装置
CN114821444A (zh) 一种基于视觉感知的无人天车作业区域安全检测方法
CN114967674A (zh) 基于变电站全景感知的机器人巡检任务配置方法与系统
Shen et al. UAV Flight Control Algorithm based on Detection and Pose Estimation of the Mounting Position for Weather Station on Transmission Tower using Depth Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant