CN114782357A - 一种用于变电站场景的自适应分割系统及方法 - Google Patents

一种用于变电站场景的自适应分割系统及方法 Download PDF

Info

Publication number
CN114782357A
CN114782357A CN202210406249.7A CN202210406249A CN114782357A CN 114782357 A CN114782357 A CN 114782357A CN 202210406249 A CN202210406249 A CN 202210406249A CN 114782357 A CN114782357 A CN 114782357A
Authority
CN
China
Prior art keywords
point cloud
scene
point
transformer substation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210406249.7A
Other languages
English (en)
Inventor
经韬
曾平良
郭志民
吴秋轩
田杨阳
屠铭扬
孟秦源
毛万登
刘昊
张波涛
姜亮
赵健
李哲
卢明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Hangzhou Dianzi University
Electric Power Research Institute of State Grid Henan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Hangzhou Dianzi University
Electric Power Research Institute of State Grid Henan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Hangzhou Dianzi University, Electric Power Research Institute of State Grid Henan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210406249.7A priority Critical patent/CN114782357A/zh
Publication of CN114782357A publication Critical patent/CN114782357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于变电站场景的自适应分割系统及方法。自适应分割系统包括变电站巡检机器人、服务器、数据预处理模块、误差判断模块、聚类模块、位姿规范转换模块和数据填补模块；本发明方法通过对点云数据进行处理，通过欧式距离在很大程度上简化在线标定的难度，加强实时性和鲁棒性，在线自标定在变电站环境的新的思路和方法。结合于变电站场景下的点云数据提出一个灵活场景约束应对相机外参变化，在两阶段三维点云分割框架，结合了传统欧几里得算法和深度学习降低点云数据量，加快变电站场景分割速度和准确性，缩短系统运行时间，使得实时性和鲁棒性提高。并进行位姿转换对数据进行填补，使得后续机器人导航更加准确。

Description

一种用于变电站场景的自适应分割系统及方法
技术领域
本发明涉及点云分割和自适应标定领域，具体的说明涉及关于变电站场景，电气设备的点云分割和对相机的自适应标定方法。
背景技术
如今社会，智能电网作为国家的重要基础设施，其设备是否能够安全的进行电力生产和安全输送，维持日常供电的高效和稳定意义重大。提取变电站设备的外形轮廓为基础，并根据提取的设备借用三相线路对设备进行分割和筛选，同时根据PNP求取的位置姿态信息，能够清楚的知道机器人所在变电站设备的位姿，和三相线路之间的平行关系，进一步对相机进行场景约束在线标定。根据已知的设备型号以及其在空间位置关系，对机器人现有位姿进行重新估计，并对现有变电站建立模型重构，填充架空设备的模型，以便切实反应变电站设备的具体框架和分布，方便机器人在导航中，对中空设备下的避障功能。同时实时根据变电站更新和重建，提供更加精确的数据。
在变电站中，电气设备的种类相对较为分散，则对已有的设备进行自适应分割和模型重构是后续导航的关键技术，其识别来源于相机点云数据。通过深度相机获取变电站设备外形的三维数据，由于在变电站设备的中空特性，当使用RGB—D相机进行获取点云数据时，深度相机内部的近红外激光器投射到中空设备上，仅有主设备和线路返回信息。导致深度信息不准确，利用已知的变电站设备的外形特征对设备进行分类识。同时，实现变电站设备的自适应分割与识别在变电站大规模定位精度有着基础的支撑作用。
视觉测距是利用摄像机获得的图片得出深度信息，如果按照测量的原理进行分类，可以分为已知物体和已知运动状态两种方法。假设我们在物体信息已知的情况下进行测距，利用相机获得的数据进一步推断深度信息。假设在初始化标定中已知相机焦距为F，一个长度为L的目标物体放在相机前方，相机拍照后的物体的像素长度为P，我们可以通过下公式计算出距离D为：
D＝(F×L)/P
在变电站这种特殊环境下，利用视觉测距进行非接触式测距，提供巡检机器人相对精确的位姿，能有效的解决对黑色物体和细条在架空设备的精确测距上的问题。
对变电站的设备进行巡检是确保变电站日常运行的重要保障，利用人工进行巡检监测设备状态、位姿和故障仍然是当前变电站主流方式，但是在人工巡检过程中依旧无法避免的存在一些固有的困难和问题：
(1)人工巡检主观性强，主要依靠经验进行作业，工作效率低、检测质量和数据也存在着不同程度的差异。而且变电站运行和故障时，会产生一定辐射，还会对人本身造成一定的损害，不利于人体健康，危险性高。
(2)变电站占地面积较大，设备大多分布广泛，人工作业强度大，数据管理分散，且由于距离原因，无法导致信息的实时性传递，准确性低。
因此精确定位、自适应分割和填充，是完成巡检机器人功能逐步完善，发挥优势的当务之急。也有利于后续变电站模型构建和精确导航，不仅可以降低员工工作强度，减少人力，而且全方面提高了变电站数据的实时性和数据集中管理。
相机在初始化离线标定时内参和外参作为重构算法的先决条件，张正友标定法对一个平面标定图案的至少两幅不同视图进行标定，但是在变电站运行时，相机抖动和累计误差导致参数变化，精度随之下降，普通的离线标定无法满足精度要求，严重可能引起机器人碰撞导致变电站事故。自标定是在变电站中选择变压器的三相线路进行约束，满足相机在线标定。并以相机采集到的点云进行自适应分割，形成每个独立的子集合，而每个子集则可以理解为具有实际物理意义的变电站设备。点云分割是为了保证在机器人导航中对子集进行填充，进一步完成避障要求。
点云分割为处理点云数据的精髓，是三维图像对二维图像最大优势的体现，最早方案是基于欧几里得算法进行点云分割，这个方法基于颜色足够高效，但是变电站环境无纹理环境和光照下分割结果不太理想；而在图像语义分割方面，一些学者尝试将三维点云投影为二维图像，再利用成熟的监督学习方法(卷积神经网络)为像素打上相对应的语义标签，但是这样做忽视了三维点云的几何信息，导致算法性能不佳；然而相机和激光雷达融合算法可以有效解决这些问题，为了进行机器人导航二维空间的检测在某些特殊的情况下会失效，而在三维点云数据空间中是最方便的解决办法，但是三维点云一般处理大量的图像和点云输入时运行速度缓慢，实时性下降。
发明内容
为了实现变电站巡检机器人在智能电网中技术和功能逐步完善，以确保变电站正常运行，也为了后续更好实现变电站的模型重构分类以及机器人精准导航，本发明解决了利用欧式距离进行自标定和对变电站场景下点云数据自适应分割的问题，提供了一种提升精度和变电站三维点云分割的方法。
为了在实时性和快速性的条件下完成目标，我们在巡检机器人上搭载RGB－D相机和IMU，主要以相机获取变电站的点云数据。由于变电站不同变压器间距和同一变压器三相间距相差较大，可以通过已知的同一变压器下三相间距，进行场景约束标定，进一步优化外参矩阵，且利用此阈值对已有点云进行自适应分割。进一步为确保快速性，首先可以对原始点云进行预处理去除地面，墙面等无纹理点云，再对有效点云进一步聚类和优化确定点云簇。然后训练点云对变电站设备划分，对点云簇进行数据填补，从而实现点云地图的分割。本发明的关键观点是利用变压器三相等其他设备平行线间距约束相机外参进行自标定，并以此分割整个变电站场景，将聚类后的点云令为有标签的簇即变电站各电气设备。因为我们发现变电站场景中各电气设备在三维空间是相对独立的，所以已知平行线的的条件下，移除地面等无纹理后点云是相对独立的。因此，本发明认为通过确定平行线阈值进行自标定，并滤除不带无纹理处的点云后，进行聚类划分和填充点云表示各电气设备是可行和有效的，也有利于后续对巡检机器人的导航和变电站模型的重构等的实时快速准确的实现。
一种用于变电站场景的自适应分割系统，包括变电站巡检机器人、服务器、数据预处理模块、误差判断模块、聚类模块、位姿规范转换模块和数据填补模块。
所述的变电站巡检机器人上设置有RGB-D相机、机器人操作系统(ROS)和数据传输模块；变电站巡检机器人通过所搭载的RGB-D相机对变电站内各电气设备进行扫描，获取三维点云数据；通过机器人操作系统(ROS)对RGB-D相机进行离线标定，使用RGB-D相机内在参数计算真实三维空间点，再对其进行转换到PCD格式，最后通过数据传输模块将处理后的变电站场景点云数据传至服务器。
所述的误差判断模块、数据预处理模块、聚类模块和位姿规范转换模块设置在服务器上，通过服务器对获取的变电站场景点云数据进行处理。
所述的误差判断模块用于判断真实三维空间点在图像平面上的投影和重投影的差值是否超过设定阈值，当差值大于设定阈值时进行自标定操作，并通过变电站巡检机器人重新进行变电站场景点云数据的获取。
所述的数据预处理模块用于对通过误差判断模块判断的变电站场景点云数据进行滤波操作，移除地面无纹理点云。
所述的聚类模块利用欧式距离对预处理后的变电站场景点云数据根据自适应密度进行点云聚类。
所述的位姿规范转换模块用于对聚类结果进行位姿规范转换，降低坐标变换带来的偏差，拟合出每类点云相对应的三维轮廓。
所述的数据填补模块用于对位姿规范转换模块拟合出的三维轮廓进行数据填补。
进一步的，所述的误差判断模块的自标定操作如下：
首先选择场景中一组彼此间隔已知的平行线和任意与平行线垂直相交的直线作为标定目标，在实际场景中可选取三相变压器。直线a、b、c分别表示三条平行线，直线d与它们相交，交点为A、B、C，a’、b’、c’、d’分别直线a、b、c、d在图像平面的投影为，O为相机位置。建立坐标系，假设原点位平行线b和直线d的交点B处，X轴正方向水平向右，Y轴正方向沿平行线b指向正前方，Z轴垂直于地面上方。通过a、b、c相邻平行线之间的间距和空间中相交直线的交点的坐标，以及在离线标定中已知的相机焦距，得到所对应的消失线的斜率和一般式方程，求出相交直线在图像平面上的投影直线与消失点坐标，即相交直线在图像平面上所对应消失点点的坐标。最后由三平行线相邻两直线的间距、相交直线和三平行线在空间和图像平面交点坐标、相交直线的投影和消失点坐标得到相机的旋转角、偏角、俯仰视角和相机中心的三维位置完成标定。
进一步的，数据预处理模块具体操作如下：
首先对变电站整体场景进行初步滤波操作，由于地面的无纹理环境为平面，在RGB-D中的深度信息很容易识别，假设地面最低的点云数据属于地面，通过简单的数学模型来表达地面。由于相机采集长距离产生视觉误差，沿巡检机器人前进方向将场景分为N个部分，对每个部分提取最低的点云数据并拟合出地面模型。通过与已知的RGB-D相机的高度和设定阈值进行比较，判断每个点是否属于地面点。并不断循环计算N个部分中属于平面的点，进行迭代更新出整个变电站的平面，然后在变电站场景点云数据中去除地面点云数据。
进一步的，所述的聚类模块具体操作如下：
在去除地面点云后数据中，首先根据下式计算两两特征点间欧式距离，并计算特征点欧式距离均值e。
Figure BDA0003601970720000061
设均值e为初始半径，计算在图像物理坐标系原点为圆心初始半径为e邻域内点的数目。通过逐步增加的半径e计算邻域内点的数目，随着半径e的增加，邻域内点的数目也会随之增加，且点的数据增加量逐渐减少并最终趋于稳定。选择邻域内点的数目在增加过程中拐点处的半径e1进行进一步计算：在点云数据中任取一点p1为圆心进行搜索操作，找出在半径e1内邻域的点，令其为一类K，并在K内任取一点p2为圆心重复搜索操作，对K类中所有点都进行搜索直至K类不再增加新点，则停止搜索。然后再进一步选取K类外任意一点D1为圆心，继续进行上述操作。最后将不带地面的点云聚类为若干部分，输出多组连通区域。
进一步的，所述的位姿规范转换模块具体操作如下：
进一步对聚类后结果进行位姿转换，由于相机在场景中扫描中存在旋转和平移，同时设备分布在场景的各个位置，目标的坐标变化互异。考虑到这类因素，先对聚类后的每类的样本，进行旋转90°,180°和270°操作，创建另外3个样本，由于设备的不规则性总共四个样本的轮廓均在现实世界中存在一定可能性。因此将这四类样本一起输入到RANSAC中，通过RANSAC拟合出每类点云相对应的三维轮廓。
本发明实现功能：通过一个两阶段的点云数据预处理，利用欧式距离进行场景约束标定，再进行自适应分割框架，首先对变电站原始点云数据进行去除无纹理的操作，进一步快速聚类得点云簇，然后将点云簇进行位姿变化及数据填补，并通过监督学习对分割点云簇实现对变电站设备的划分。具体方法实现步骤如下：
步骤1：通过变电站巡检机器人获取变电站场景点云数据，并传至服务器；
变电站巡检机器人端通过所搭载的RGB-D相机对变电站内各电气设备进行扫描，获取三维点云数据。三维点云数据由空间三维坐标值、深度、颜色信息构成。先利用机器人操作系统(ROS)中Kalibr工具对RGB-D相机进行离线标定，使用RGB-D相机内在参数计算真实三维空间点，由于点云数据是离散和系数的结构，再对其进行转换到PCD格式。最后通过数据传输模块将处理后的变电站场景点云数据传至服务器。
步骤2：通过误差判断模块进行误差判断，符合误差范围则进行步骤3，不满足则进行场景约束的自标定外参返回步骤1；
变电站场景的电气设备在三维空间下是相互独立的，因此变电站场景下的电气设备在三维欧几里得空间分离明显。由于相机外参变换和计算误差，真实三维空间点在图像平面上的投影和重投影的差值即重投影像素差不可能恰好为0。当重投影误差小于等于0.8像素时则进行步骤3，若重投影误差大于0.8像素则进行自标定操作并返回步骤1。
自标定步骤如下：首先选择场景中一组彼此间隔已知的平行线和任意与平行线垂直相交的直线作为标定目标，在实际场景中可选取三相变压器。直线a、b、c分别表示三条平行线，直线d与它们相交，交点为A、B、C，a’、b’、c’、d’分别直线a、b、c、d在图像平面的投影为，O为相机位置。建立坐标系，假设原点位平行线b和直线d的交点B处，X轴正方向水平向右，Y轴正方向沿平行线b指向正前方，Z轴垂直于地面上方。通过a、b、c相邻平行线之间的间距和空间中相交直线的交点的坐标，以及在离线标定中已知的相机焦距，得到所对应的消失线的斜率和一般式方程，求出相交直线在图像平面上的投影直线与消失点坐标，即相交直线在图像平面上所对应消失点点的坐标。最后由三平行线相邻两直线的间距、相交直线和三平行线在空间和图像平面交点坐标、相交直线的投影和消失点坐标得到相机的旋转角、偏角、俯仰视角和相机中心的三维位置完成标定。
步骤3：通过数据预处理模块对通过误差判断的变电站场景点云数据进行数据预处理，移除地面无纹理处的点云；
首先对变电站整体场景进行初步滤波操作，由于地面的无纹理环境为平面，在RGB-D中的深度信息很容易识别，假设地面最低的点云数据属于地面，通过简单的数学模型来表达地面。由于相机采集长距离产生视觉误差，沿巡检机器人前进方向将场景分为N个部分，对每个部分提取最低的点云数据并拟合出地面模型。通过与已知的RGB-D相机的高度和设定阈值进行比较，判断每个点是否属于地面点。并不断循环计算N个部分中属于平面的点，进行迭代更新出整个变电站的平面，然后在变电站场景点云数据中去除地面点云数据。
步骤4：通过聚类模块利用欧式距离根据自适应密度进行点云聚类；
在去除地面点云后的变电站场景点云数据中，首先根据下式计算两两特征点间欧式距离，并计算特征点欧式距离均值e。
Figure BDA0003601970720000091
设均值e为初始半径，计算在图像物理坐标系原点为圆心初始半径为e邻域内点的数目。通过逐步增加的半径e计算邻域内点的数目，随着半径e的增加，邻域内点的数目也会随之增加，且点的数据增加量逐渐减少并最终趋于稳定。选择邻域内点的数目在增加过程中拐点处的半径e1进行进一步计算：在点云数据中任取一点p1为圆心进行搜索操作，找出在半径e1内邻域的点，令其为一类K，并在K内任取一点p2为圆心重复搜索操作，对K类中所有点都进行搜索直至K类不再增加新点，则停止搜索。然后再进一步选取K类外任意一点D1为圆心，继续进行上述操作。最后将不带地面的点云聚类为若干部分，输出多组连通区域。
步骤5：通过位姿规范转换模块对聚类结果进行位姿规范转换，降低坐标变换带来的偏差，拟合出每类点云相对应的三维轮廓。
对聚类后结果进行位姿转换，由于相机在场景中扫描中存在旋转和平移，同时设备分布在场景的各个位置，目标的坐标变化互异。考虑到这类因素，先对聚类后的每类的样本，进行旋转90°,180°和270°操作，创建另外3个样本，由于设备的不规则性总共四个样本的轮廓均在现实世界中存在一定可能性。因此将这四类样本一起输入到RANSAC中，通过RANSAC拟合出每类点云相对应的三维轮廓。
步骤6：通过数据填补模块对三维轮廓进行数据填补后将结果传回变电站巡检机器人。
进一步对三维轮廓框进行填充操作，将变电站中空设备当作实心物体进行处理，然后在导航局部规划中，将填充后的变电站中空的设备视为整体障碍物，进行路径规划。最后服务器将处理结果传送至变电站巡检机器人，实现避障功能。
本发明的有益效果：
创新点1：通过相机对变电站场景进行扫描后点云数据进行处理，通过欧式距离在很大程度上简化在线标定的难度，与传统相机标定不同，在线标定能在没有足够数据支持下标定和相机抖动下，加强实时性和鲁棒性，在线自标定在变电站环境的新的思路和方法。同时也为变电站模型重构和导航奠定了基础。
创新点2：通过一个数据预处理框架，结合传统欧式距离和先进的人工神经网络降低后续的点云数据量，加快变电站场景分割速度，极大地缩短整个系统运行时间，加强实时性和鲁棒性。
创新点3：考虑变电站场景下的设备欧式距离提出一种自适应聚类和分割，并进一步进行位姿转换，可以有效的缓解三维空间中的坐标偏差，提高网络性能。有利于解决变电站中空设备轮廓提取，减少后端计算量，加快系统处理时间，可以有效提高后续导航避障精度。
本发明方法结合于变电站场景下的点云数据提出一个灵活场景约束应对相机外参变化，在两阶段三维点云分割框架，结合了传统欧几里得算法和深度学习降低点云数据量，加快变电站场景分割速度和准确性，缩短系统运行时间，使得实时性和鲁棒性提高。并进行位姿转换对数据进行填补，使得后续机器人导航更加准确。
附图说明
图1为本发明的实施流程图。
图2为本发明中标定目标投影图像与消失线示意图。
图3为本发明中标定目标坐标系关系示意图。
具体实施方式
下面结合附图详细说明本发明，本发明的目的和效果将变得更加明显。
为了便于对本发明的更好理解，我们将定义或解释以下规则：
1.点云数据
点云是空间中点的数据集，点云数据是指扫描仪获取的资料以点的形式记录，每一个点包含有三维坐标(XYZ)，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。RGB-D相机数据一般采用的是3D格式，其采集图像每个像素都有四个属性：红(R)、绿(G)、蓝(B)和深度(D)，我们可以通过坐标定位任何像素，分别获得四种属性。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。因为每一个点云都具备空间坐标信息，因此它们都具备测量能力，其次点云本身与视角无关，可以任意旋转，从不同角度和方向观察的点云转到同一坐标系下即可直接融合。两点成线，三点成面，四点成体，通过这些点云确定三维场景中的某个点的坐标信息，进一步还能计算长度、面积、体积、角度等信息。点云数据常常也用于制作数字高程模型或者用于三维建模等。
2.欧几里得距离/度量
欧几里得距离(Euclidean distance)也称欧式距离，通常作为定义来衡量在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)，而到二维和三维空间中的欧式距离表示为两点之间的实际距离。在计算相似度(如人脸识别)的场景下，欧几里得距离是比较直观常见的一种相似度算法。欧氏距离越小，相似度越大；欧氏距离越大，相似度越小。所谓欧氏距离变换，是指对于一张二值图像(我们假定白色为前景色，黑色为背景色)将前景中的像素的值转化为该点到达最近的背景点的距离。欧氏距离变换在数字图像处理中的应用范围很广泛，尤其对于图像的骨架提取，是一个很好的参照。
3.消失点自标定
当我们在使用相机实现三维重建或者虚拟现实等交互场景时，需要对相机进行校准或者称之为标定。常见的比如三维重建、目标检测、场景建图和物体重建或自定位等任务都需要对场景进行标定。仅仅捕捉图像是不够的。显式相机标定是指标定过程以一组物理参数结束，获得一个详细的模型，尽可能接近真实系统的完整描述。
相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点，消失线是水平(数值)方向上的消失点组成的线。消失点与光心的连线，平行于形成该消失点平面的平行线平行。所以在空间中互相垂直的平行线，对应的消失点与相机光心的连线互相垂直。
为了发挥变电站巡检机器人优势，保持巡检工作高效运行等目的，也为了后续更好完成，变电站场景约束相机下自标定、模型重构以及精准导航避障。本发明解决了利用RGB-D点云数据对变电站场景自适应分割的问题，提供了一种变电站场景点云分割的方法，实施流程图如图1所示。
以500KV变电站场景为例，具体实施步骤如下：
步骤(1)：
变电站巡检机器人端通过所搭载的RGB-D相机对500KV变电站内各电气设备进行扫描，获取三维点云数据。三维点云数据由空间三维坐标值、深度、颜色信息构成。我们先利用机器人操作系统(ROS)中Kalibr工具对RGB-D相机进行离线标定，使用RGB-D相机内在参数计算真实三维空间点，由于点云数据是离散和系数的结构，再对其进行转换到PCD格式。之后巡检机器人端将处理后的500KV变电站场景点云数据传至相应服务器端，后续对大量点云数据进行处理。
步骤(2)：
500KV变电站场景的电气设备在三维空间下是相互独立的，因此500KV变电站场景下的电气设备在三维欧几里得空间分离明显。由于相机外参变换和计算误差，真实三维空间点在图像平面上的投影和重投影的差值即重投影像素差不可能恰好为0。当重投影误差小于等于0.8像素时则进行步骤(3)，若重投影误差大于0.8像素则进行自标定操作并返回步骤(1)。
自标定步骤如下：首先选择场景中一组彼此间隔已知的平行线和任意与平行线垂直相交的直线作为标定目标，在实际场景中可选取三相变压器。如图2所示，直线a、b、c分别表示三条平行线，直线d与它们相交，交点为A、B、C，a’、b’、c’、d’分别直线a、b、c、d在图像平面的投影为，O为相机位置。如图3建立坐标系，假设原点位平行线b和直线d的交点B处，X轴正方向水平向右，Y轴正方向沿平行线b指向正前方，Z轴垂直于地面上方。通过a、b、c相邻平行线之间的间距和空间中相交直线的交点的坐标，以及在离线标定中已知的相机焦距，得到所对应的消失线的斜率和一般式方程，求出相交直线在图像平面上的投影直线与消失点坐标，即相交直线在图像平面上所对应消失点点的坐标。最后由三平行线相邻两直线的间距、相交直线和三平行线在空间和图像平面交点坐标、相交直线的投影和消失点坐标得到相机的旋转角、偏角、俯仰视角和相机中心的三维位置完成标定。
步骤(3)：
对获取的500KV变电站三维点云数据进行滤波操作，移除地面无纹理点云。
首先对500KV变电站整体场景进行初步滤波操作，由于地面的无纹理环境为平面，在RGB-D中的深度信息很容易识别，假设地面最低的点云数据属于地面，通过简单的数学模型来表达地面。由于相机采集长距离产生视觉误差，沿巡检机器人前进方向将场景分为N个部分，对每个部分提取最低的点云数据并拟合出地面模型。通过与已知的RGB-D相机的高度和设定阈值进行比较，判断每个点是否属于地面点。并不断循环计算N个部分中属于平面的点，进行迭代更新出整个500KV变电站的平面，然后在500KV变电站场景点云数据中去除地面点云数据。
步骤(4)：
在归类每一电气设备时不需要考虑场景中所有的点云，由于去除地面点后使得场景中的设备在三维欧几里得空间中相互独立，大量减少了所涉及的点的数量。在去除地面点云后的500KV变电站场景点云数据中，首先根据下式计算两两特征点间欧式距离，并计算特征点欧式距离均值e。
Figure BDA0003601970720000151
设均值e为初始半径，计算在图像物理坐标系原点为圆心初始半径为e邻域内点的数目。通过逐步增加的半径e计算邻域内点的数目，随着半径e的增加，邻域内点的数目也会随之增加，且点的数据增加量逐渐减少并最终趋于稳定。选择邻域内点的数目在增加过程中拐点处的半径e1进行进一步计算：在点云数据中任取一点p1为圆心进行搜索操作，找出在半径e1内邻域的点，令其为一类K，并在K内任取一点p2为圆心重复搜索操作，对K类中所有点都进行搜索直至K类不再增加新点，则停止搜索。然后再进一步选取K类外任意一点D1为圆心，继续进行上述操作。最后将不带地面的点云聚类为若干部分，输出多组连通区域。
步骤(5)：
进一步对聚类后结果进行位姿转换，由于相机在场景中扫描中存在旋转和平移，同时设备分布在场景的各个位置，目标的坐标变化互异。考虑到这类因素，先对聚类后的每类的样本，进行旋转90°,180°和270°操作，创建另外3个样本，由于设备的不规则性总共四个样本的轮廓均在现实世界中存在一定可能性。因此将这四类样本一起输入到RANSAC中。这样，一定程度上减轻了坐标变换和偏差带来的负面影响，使得网络更加注重点的相对位姿，通过RANSAC拟合出每类点云相对应的三维轮廓。
步骤(6)：
进一步对三维轮廓框进行填充操作，将500KV变电站中空设备当作实心物体进行处理，然后在导航局部规划中，将填充后的变电站中空的设备视为整体障碍物，进行路径规划。最后服务器将处理结果传送至变电站巡检机器人，实现避障功能。

Claims (6)

1.一种用于变电站场景的自适应分割系统，其特征在于，包括变电站巡检机器人、服务器、数据预处理模块、误差判断模块、聚类模块、位姿规范转换模块和数据填补模块；
所述的变电站巡检机器人上设置有RGB-D相机、机器人操作系统(ROS)和数据传输模块；变电站巡检机器人通过所搭载的RGB-D相机对变电站内各电气设备进行扫描，获取三维点云数据；通过机器人操作系统(ROS)对RGB-D相机进行离线标定，使用RGB-D相机内在参数计算真实三维空间点，再对其进行转换到PCD格式，最后通过数据传输模块将处理后的变电站场景点云数据传至服务器；
所述的误差判断模块、数据预处理模块、聚类模块和位姿规范转换模块设置在服务器上，通过服务器对获取的变电站场景点云数据进行处理；
所述的误差判断模块用于判断真实三维空间点在图像平面上的投影和重投影的差值是否超过设定阈值，当差值大于设定阈值时进行自标定操作，并通过变电站巡检机器人重新进行变电站场景点云数据的获取；
所述的数据预处理模块用于对通过误差判断模块判断的变电站场景点云数据进行滤波操作，移除地面无纹理点云；
所述的聚类模块利用欧式距离对预处理后的变电站场景点云数据根据自适应密度进行点云聚类；
所述的位姿规范转换模块用于对聚类结果进行位姿规范转换，降低坐标变换带来的偏差，拟合出每类点云相对应的三维轮廓；
所述的数据填补模块用于对位姿规范转换模块拟合出的三维轮廓进行数据填补。
2.根据权利要求1所述的一种用于变电站场景的自适应分割系统，其特征在于，所述的误差判断模块的自标定操作如下：
首先选择场景中一组彼此间隔已知的平行线和任意与平行线垂直相交的直线作为标定目标，在实际场景中可选取三相变压器；直线a、b、c分别表示三条平行线，直线d与它们相交，交点为A、B、C，a’、b’、c’、d’分别直线a、b、c、d在图像平面的投影为，O为相机位置；建立坐标系，假设原点位平行线b和直线d的交点B处，X轴正方向水平向右，Y轴正方向沿平行线b指向正前方，Z轴垂直于地面上方；通过a、b、c相邻平行线之间的间距和空间中相交直线的交点的坐标，以及在离线标定中已知的相机焦距，得到所对应的消失线的斜率和一般式方程，求出相交直线在图像平面上的投影直线与消失点坐标，即相交直线在图像平面上所对应消失点点的坐标；最后由三平行线相邻两直线的间距、相交直线和三平行线在空间和图像平面交点坐标、相交直线的投影和消失点坐标得到相机的旋转角、偏角、俯仰视角和相机中心的三维位置完成标定。
3.根据权利要求2所述的一种用于变电站场景的自适应分割系统，其特征在于，数据预处理模块具体操作如下：
首先对变电站整体场景进行初步滤波操作，由于地面的无纹理环境为平面，在RGB-D中的深度信息很容易识别，假设地面最低的点云数据属于地面，通过简单的数学模型来表达地面；由于相机采集长距离产生视觉误差，沿巡检机器人前进方向将场景分为N个部分，对每个部分提取最低的点云数据并拟合出地面模型；通过与已知的RGB-D相机的高度和设定阈值进行比较，判断每个点是否属于地面点；并不断循环计算N个部分中属于平面的点，进行迭代更新出整个变电站的平面，然后在变电站场景点云数据中去除地面点云数据。
4.根据权利要求3所述的一种用于变电站场景的自适应分割系统，其特征在于，所述的聚类模块具体操作如下：
在去除地面点云后数据中，首先根据下式计算两两特征点间欧式距离，并计算特征点欧式距离均值e；
Figure FDA0003601970710000031
设均值e为初始半径，计算在图像物理坐标系原点为圆心初始半径为e邻域内点的数目；通过逐步增加的半径e计算邻域内点的数目，随着半径e的增加，邻域内点的数目也会随之增加，且点的数据增加量逐渐减少并最终趋于稳定；选择邻域内点的数目在增加过程中拐点处的半径e1进行进一步计算：在点云数据中任取一点p1为圆心进行搜索操作，找出在半径e1内邻域的点，令其为一类K，并在K内任取一点p2为圆心重复搜索操作，对K类中所有点都进行搜索直至K类不再增加新点，则停止搜索；然后再进一步选取K类外任意一点D1为圆心，继续进行上述操作；最后将不带地面的点云聚类为若干部分，输出多组连通区域。
5.根据权利要求4所述的一种用于变电站场景的自适应分割系统，其特征在于，所述的位姿规范转换模块具体操作如下：
进一步对聚类后结果进行位姿转换，由于相机在场景中扫描中存在旋转和平移，同时设备分布在场景的各个位置，目标的坐标变化互异；考虑到这类因素，先对聚类后的每类的样本，进行旋转90°,180°和270°操作，创建另外3个样本，由于设备的不规则性总共四个样本的轮廓均在现实世界中存在一定可能性；因此将这四类样本一起输入到RANSAC中，通过RANSAC拟合出每类点云相对应的三维轮廓。
6.一种用于变电站场景的自适应分割方法，其特征在于，具体步骤如下：
步骤1：通过变电站巡检机器人获取变电站场景点云数据，并传至服务器；
变电站巡检机器人端通过所搭载的RGB-D相机对变电站内各电气设备进行扫描，获取三维点云数据；三维点云数据由空间三维坐标值、深度、颜色信息构成；先利用机器人操作系统(ROS)中Kalibr工具对RGB-D相机进行离线标定，使用RGB-D相机内在参数计算真实三维空间点，由于点云数据是离散和系数的结构，再对其进行转换到PCD格式；最后通过数据传输模块将处理后的变电站场景点云数据传至服务器；
步骤2：通过误差判断模块进行误差判断，符合误差范围则进行步骤3，不满足则进行场景约束的自标定外参返回步骤1；
变电站场景的电气设备在三维空间下是相互独立的，因此变电站场景下的电气设备在三维欧几里得空间分离明显；由于相机外参变换和计算误差，真实三维空间点在图像平面上的投影和重投影的差值即重投影像素差不可能恰好为0；当重投影误差小于等于0.8像素时则进行步骤3，若重投影误差大于0.8像素则进行自标定操作并返回步骤1；
自标定步骤如下：首先选择场景中一组彼此间隔已知的平行线和任意与平行线垂直相交的直线作为标定目标，在实际场景中可选取三相变压器；直线a、b、c分别表示三条平行线，直线d与它们相交，交点为A、B、C，a’、b’、c’、d’分别直线a、b、c、d在图像平面的投影为，O为相机位置；建立坐标系，假设原点位平行线b和直线d的交点B处，X轴正方向水平向右，Y轴正方向沿平行线b指向正前方，Z轴垂直于地面上方；通过a、b、c相邻平行线之间的间距和空间中相交直线的交点的坐标，以及在离线标定中已知的相机焦距，得到所对应的消失线的斜率和一般式方程，求出相交直线在图像平面上的投影直线与消失点坐标，即相交直线在图像平面上所对应消失点点的坐标；最后由三平行线相邻两直线的间距、相交直线和三平行线在空间和图像平面交点坐标、相交直线的投影和消失点坐标得到相机的旋转角、偏角、俯仰视角和相机中心的三维位置完成标定；
步骤3：通过数据预处理模块对通过误差判断的变电站场景点云数据进行数据预处理，移除地面无纹理处的点云；
首先对变电站整体场景进行初步滤波操作，由于地面的无纹理环境为平面，在RGB-D中的深度信息很容易识别，假设地面最低的点云数据属于地面，通过简单的数学模型来表达地面；由于相机采集长距离产生视觉误差，沿巡检机器人前进方向将场景分为N个部分，对每个部分提取最低的点云数据并拟合出地面模型；通过与已知的RGB-D相机的高度和设定阈值进行比较，判断每个点是否属于地面点；并不断循环计算N个部分中属于平面的点，进行迭代更新出整个变电站的平面，然后在变电站场景点云数据中去除地面点云数据；
步骤4：通过聚类模块利用欧式距离根据自适应密度进行点云聚类；
在去除地面点云后的变电站场景点云数据中，首先根据下式计算两两特征点间欧式距离，并计算特征点欧式距离均值e；
Figure FDA0003601970710000051
设均值e为初始半径，计算在图像物理坐标系原点为圆心初始半径为e邻域内点的数目；通过逐步增加的半径e计算邻域内点的数目，随着半径e的增加，邻域内点的数目也会随之增加，且点的数据增加量逐渐减少并最终趋于稳定；选择邻域内点的数目在增加过程中拐点处的半径e1进行进一步计算：在点云数据中任取一点p1为圆心进行搜索操作，找出在半径e1内邻域的点，令其为一类K，并在K内任取一点p2为圆心重复搜索操作，对K类中所有点都进行搜索直至K类不再增加新点，则停止搜索；然后再进一步选取K类外任意一点D1为圆心，继续进行上述操作；最后将不带地面的点云聚类为若干部分，输出多组连通区域；
步骤5：通过位姿规范转换模块对聚类结果进行位姿规范转换，降低坐标变换带来的偏差，拟合出每类点云相对应的三维轮廓；
对聚类后结果进行位姿转换，由于相机在场景中扫描中存在旋转和平移，同时设备分布在场景的各个位置，目标的坐标变化互异；考虑到这类因素，先对聚类后的每类的样本，进行旋转90°,180°和270°操作，创建另外3个样本，由于设备的不规则性总共四个样本的轮廓均在现实世界中存在一定可能性；因此将这四类样本一起输入到RANSAC中，通过RANSAC拟合出每类点云相对应的三维轮廓；
步骤6：通过数据填补模块对三维轮廓进行数据填补后将结果传回变电站巡检机器人；
进一步对三维轮廓框进行填充操作，将变电站中空设备当作实心物体进行处理，然后在导航局部规划中，将填充后的变电站中空的设备视为整体障碍物，进行路径规划；最后服务器将处理结果传送至变电站巡检机器人，实现避障功能。
CN202210406249.7A 2022-04-18 2022-04-18 一种用于变电站场景的自适应分割系统及方法 Pending CN114782357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210406249.7A CN114782357A (zh) 2022-04-18 2022-04-18 一种用于变电站场景的自适应分割系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210406249.7A CN114782357A (zh) 2022-04-18 2022-04-18 一种用于变电站场景的自适应分割系统及方法

Publications (1)

Publication Number Publication Date
CN114782357A true CN114782357A (zh) 2022-07-22

Family

ID=82430967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210406249.7A Pending CN114782357A (zh) 2022-04-18 2022-04-18 一种用于变电站场景的自适应分割系统及方法

Country Status (1)

Country Link
CN (1) CN114782357A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113034689B (zh) 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质
Xia et al. Geometric primitives in LiDAR point clouds: A review
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模系统
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
Cheng et al. 3D building model reconstruction from multi-view aerial imagery and lidar data
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN111598916A (zh) 一种基于rgb-d信息的室内占据栅格地图的制备方法
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
CN116310192A (zh) 一种基于点云的城市级建筑物三维模型单体重建方法
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
CN114612488A (zh) 建筑物单体化信息提取方法、计算机装置及存储介质
CN115564926B (zh) 基于影像建筑物结构学习的三维面片模型构建方法
CN110660125B (zh) 用于电力配网系统的三维建模装置
CN107045731B (zh) 基于点云数据对变电站母线进行建模的方法
CN114926739B (zh) 内河航道水上水下地理空间信息无人化协同采集处理方法
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN114741768A (zh) 智能变电站三维建模方法
CN109816780A (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
CN114543787B (zh) 基于条纹投影轮廓术的毫米级室内建图定位方法
CN109459759A (zh) 基于四旋翼无人机激光雷达系统的城市地形三维重建方法
Alidoost et al. Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image
CN114782357A (zh) 一种用于变电站场景的自适应分割系统及方法
CN114119902A (zh) 一种基于无人机倾斜三维模型的建筑物提取方法
CN113763529B (zh) 一种基于三维扫描的变电站建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination