CN117409205B - 一种用于电力设备的异物搭挂检测和分割方法及系统 - Google Patents
一种用于电力设备的异物搭挂检测和分割方法及系统 Download PDFInfo
- Publication number
- CN117409205B CN117409205B CN202311706654.1A CN202311706654A CN117409205B CN 117409205 B CN117409205 B CN 117409205B CN 202311706654 A CN202311706654 A CN 202311706654A CN 117409205 B CN117409205 B CN 117409205B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- power equipment
- foreign matter
- neurons
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 230000011218 segmentation Effects 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 210000002569 neuron Anatomy 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000007634 remodeling Methods 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 235000005770 birds nest Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 235000005765 wild carrot Nutrition 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于电力设备的异物搭挂检测和分割方法及系统，方法包括：步骤S1：获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；步骤S2：对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；步骤S3：对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；步骤S4：将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割。本发明在三维层面上实现电力设备的异物搭挂检测，并将电力设备与异物搭挂进行分割。
Description
技术领域
本发明涉及电力设备异物检测技术领域，尤其是指一种用于电力设备的异物搭挂检测和分割方法及系统。
背景技术
随着国民经济的飞速发展，电力设备建设也呈现爆发式增长，目前很多用于变电、输电的干路设施长期暴露在户外环境，相比于表面材料老化、表面锈蚀等传统设备安全问题而言，异物搭挂出现概率更高，具有突发性，对电力安全运行造成极大隐患，需要通过定期巡检方式来及时发现和处理。
异物搭挂检测目前主要利用二维图像信息，通过目标检测方法判别和框选异物所在区域，不能精确定位异物空间位置，对机器人后期清理作业而言十分不便。有学者采用改进YOLOv3目标检测方法进行异物检测，可检测传输线上风筝、气球、鸟窝的搭挂异物，且准确率相对较高。还有学者采用改进YOLOv5实现了电力设备上的鸟巢检测，可部署在巡检机器人的边缘计算机上，具有轻量化、实时性好的优势。也有学者设计一种基于MobileNet和SSD的异物检测方案，也可满足机载实时运行要求。目前很多研究都是铁路、矿业、民航场景下的异物检测问题，所采用的方法都大致相同。
电力部门非常重视作业安全距离问题，在空间上进行精细化的设备-异物划分可以为清理提供准确的异物尺寸及悬挂位置，保障人员及机器安全。
目前电力设备上的异物搭挂检测主要基于二维图像信息，不能提供异物空间位置。针对以上技术不足，结合异物搭挂检测和后期安全清理作业的实际需求，亟需设计一种能在三维空间上同时进行异物搭挂检测，同时实现设备-异物分割的方法。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于二维图像对电力设备上的异物搭挂检测不能提供异物空间位置的问题。
为解决上述技术问题，本发明提供了一种用于电力设备的异物搭挂检测和分割方法，包括：
步骤S1：获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
步骤S2：对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
步骤S3：对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
步骤S4：将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割。
在本发明的一个实施例中，所述步骤S1中将不同位置的点云数据进行点云拼接，方法包括：
将不同位置的点云数据由相机坐标系转换至支架坐标系，所述支架坐标系为用于支撑拍摄点云图像的相机支架所在的坐标系；
将支架坐标系的点云数据转换至全局坐标系，完成点云拼接。
在本发明的一个实施例中，所述步骤S2中对完成点云拼接的点云数据进行下采样，用以压缩点云数据量，方法包括：
将采集点云数据的第一帧图像的相机作为原点，建立边长为1米的空间立方体，并设置体素的边长为0.01米，则所述空间立方体共包含体素数量为；遍历空间立方体中的体素，若体素中包含空间点，则去掉该空间点，并以体素中心作为新的空间点坐标，完成点云数据量压缩，其中，所述空间点为完成点云拼接后的点云数据。
在本发明的一个实施例中，所述步骤S3中通过利用自适应聚类方法对下采样后的点云数据进行聚类处理，以提取主体点云，方法包括：
定义两个经验参数：邻域半径和群落点云最小数量MinPts，从一空间点开始不断向周围扩展，吸收当前边界/>范围内的空间点，并将其划分为同一类别，若同一类别群落点云数量大于MinPts，则保留该群落；若同一类别群落点云数量小于MinPts，则被视为噪声点，并去除该群落；其中，将保留下来的群落作为主体点云。
在本发明的一个实施例中，所述步骤S4中将所述主体点云输入神经网络，通过所述入神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割，方法包括：
将主体点云分为位置特征集合和颜色特征集合/>，/>个为空间点个数；
将所述位置特征集合的每个空间点通过/>的卷积核由3维扩展至64维，得到/>，将/>与所述颜色特征集合/>融合，得到/>，将/>的每个空间点通过/>的卷积核由67维扩展至128维，得到第一个/>，再将第一个的每个空间点通过/>的卷积核由128维扩展至1024维，得到第一个，对第一个/>进行最大池化操作得到具有1024个神经元的全局特征，对所述具有1024个神经元的全局特征通过第一全连接层得到具有512个神经元的全局特征，对具有512个神经元的全局特征通过第二全连接层得到具有2个神经元的全局特征，通过softmax函数对具有2个神经元的全局特征进行二分类预测，以判断主体点云是否存在异物搭挂；
同时将所述具有1024个神经元的全局特征复制为份，再与/>和颜色特征集合/>进行融合得到/>，对/>的每个空间点通过/>的卷积核由1091维降维至128维，得到第二个/>；再将第二个/>的每个空间点通过/>的卷积核由128维降维至2维，得到/>，对/>中的每个空间点通过softmax函数进行二分类预测，以实现对电力设备和异物搭挂的主体点云进行分割。
在本发明的一个实施例中，所述位置特征集合的在输入神经网络之前，还包括对位置特征集合/>中的每个空间点进行去旋转操作，具体为：
将位置特征集合依次通过/>的卷积核由3维扩展至64维、再由64维扩展至128维、再由128维扩展至1024维，得到第二个/>，对第二个/>进行最大池化操作得到具有1024个神经元的一维特征，将具有1024个神经元的一维特征经过三次降维操作，得到具有9个神经元的一维特征，对具有9个神经元的一维特征进行矩阵重塑得到矩阵，将/>矩阵和单位矩阵进行相加得到变换矩阵，将变换矩阵与位置特征集合/>的每个空间点相乘以进行点云变换，得到去旋转后的位置特征集合/>。
在本发明的一个实施例中，所述神经网络的损失函数包括：
；
其中，表示用于异物搭挂检测任务的损失函数，/>表示用于点云分割任务的损失函数，/>为惩罚项且/>，/>表示变换矩阵，/>表示单位矩阵，/>表示求解矩阵的/>范数；/>是标签向量的类别索引，/>表示空间点索引，/>表示空间点的标签真值，/>为模型对空间点的预测结果；/>平衡因子；/>表示是否包含异物的标签值，表示对是否包含异物的预测结果。
为解决上述技术问题，本发明提供了一种用于电力设备的异物搭挂检测和分割系统，包括：
拼接模块：用于获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
下采样模块：用于对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
聚类模块：用于对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
检测与分割模块：用于将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割。
为解决上述技术问题，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述用于电力设备的异物搭挂检测和分割方法的步骤。
为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述用于电力设备的异物搭挂检测和分割方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明结合异物搭挂检测和后期安全清理作业的实际需求，设计一种能在三维空间上同时进行异物搭挂检测和设备-异物分割的方法，便于机器人后期完成异物自动清理工作；
本发明构建的DFNet网络能够有效对异物搭挂进行检测，并将电力设备和异物进行分割，并且在DFNet网络引入输入变换模块，以消除空间点旋转的影响。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的方法流程图；
图2是本发明实施例中体素与空间立方体示意图；
图3是本发明实施例中DFNet网络框架示意图；
图4是本发明实施例中输入变换模块框架示意图。
说明书附图标记说明：10、空间立方体；20、体素。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：参照图1所示，本发明涉及一种用于电力设备的异物搭挂检测和分割方法，包括：
步骤S1：获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
步骤S2：对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
步骤S3：对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
步骤S4：将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割。
本发明结合异物搭挂检测和后期安全清理作业的实际需求，设计一种能在三维空间上同时进行异物搭挂检测和设备-异物分割的方法，便于机器人后期完成异物自动清理工作。
以下对本发明进行详细介绍：
本实施例从三维层面上解决电力设备异物搭挂问题和设备-异物分割问题，在检测异物搭挂基础上还可以准确获得设备-异物空间位置，便于后期清理异物。本实施例将上面两个问题融合在一个神经网络中解决，可在边缘计算设备上部署，满足实时性要求。
1点云数据预处理
点云数据预处理由点云拼接、点云体素下采样和主体点云提取三步组成。
1.1点云拼接
点云拼接是将多个位置采集的点云变换到同一坐标系下。硬件方面由记录相机位置、姿态的传感器和获取空间点云信息的立体相机或激光雷达组成。本实施例所采用的平台由英特尔实感相机T265（对应M坐标系）和D435（对应C坐标系）组成，分别用于记录运动信息和获取环境点云信息，并将它们固定在一个3D打印支架（对应B坐标系）上。
点云拼接是将相机坐标系下的空间点转换到支架坐标系下。定义在相机坐标系下采集的某空间点坐标为/>，则将其变换到支架坐标系下结果为，再根据下述公式可将其映射到全局坐标系下表示，即/>。
。
空间点坐标，可通过图像平面上的像素坐标/>和对应的深度值 />计算，如下述公式，其中/>为相机内参数。
。
可通过如下方式计算，/>用符号表示任意时刻T265位置-姿态矩阵，符号/>表示初始时刻的坐标系/>。/>可由位置向量/>和姿态四元数/>表示。同理，/>可由/>和/>组合表示，构造方法如下述公式。
。
1.2点云体素下采样
首先，D435深度相机在每个位置所产生的点云数量约为30万。直接使用全部点云在实际处理中并没有获得更多信息，反而导致处理缓慢。为此先在生成点云过程中，设置横向、纵向遍历的步长为2，并提取距离相机在米范围内的空间点，这一步将使得拼接后的初始点云数量在6万左右，完成点云的初次降维。
进一步地，请参阅图2，以采集第一帧图像的位置作为原点，建立边长为1米的空间立方体10，并以0.01米定义体素20的边长，则整个空间立方体10共包含体素20数量为。遍历空间立方体10中的体素20，若体素20中包含空间点，则去掉该空间点，并以体素20中心作为新的空间点坐标；若体素20中不存在空间点，则忽略该体素20；最终完成点云数据压缩。不难发现，经过体素下采样处理后，可以进一步压缩点云数量，使点云平均数量降至1万以内，完成点云的二次降维。体素下采样是本实施例的重点。
1.3主体点云提取
由于本实施例只关注电力设备点云和搭挂异物点云，因此需要进一步通过聚类方法依据空间位置紧密程度对点云进行聚类分群处理。通常电力设备和搭挂异物点云在位置上更加紧密且数量最多，基于这一先验假设，采用自适应聚类方法，将提取数量最多的群落作为主体点云。需要注意的是，主体点云包括电力设备，或包括电力设备和搭挂异物。
首先定义两个经验参数，邻域半径为和群落点云最小数量MinPts。算法从某一空间点开始不断向周围扩展，吸收距当前边界/>范围内的空间点，将其划分为同一类别，如果最终群落点云数量大于MinPts 则保留这批空间点，否则被视为噪声点。最终将保留下来的群落作为主体点云。由于提取主体点云的聚类检测方法属于现有技术，本实施例不再赘述。
2神经网络框架
本实施例的神经网络为：异物搭挂检测与设备-异物分割网络（Foreign ObjectHanging Detection and Device-Foreign Object Segmentation Network），以下简称DFNet。DFNet的输入是经过上述点云数据预处理后输出的主体点云，主体点云是一个包含位置和颜色信息的空间点特征集合，用符号表示空间点数量，/>表示空间点索引，符号表示第/>个空间点的六维特征，该特征由三维位置特征/>和三维颜色特征拼接而成。DFNet的输出为整体的分类结果 (有无异物搭挂) 和像素级的分割结果(设备或异物)。DFNet的网络模型如图3所示，其中上半部分的异物搭挂检测网络用于负责分类任务，下半部分的设备-异物分割网络用于负责分割任务。
进一步地，本实施例的每个点云样本按（通道，长度）顺序组成二维数组，其中通道数为3，分别对应空间点的三个坐标维度，这与按（通道，宽，高）顺序表示的图像数据类似，只是像素点采用平面网格化的数排列方式，而空间点采用一维序列化的数据排列方式，因此处理点云可以像处理图像一样进行卷积操作实现参数共享。为了使模型输出在输入点的不同排列顺序下保持不变，所有卷积核的大小都设置为1。定义Conv(in,out)是一个大小为1的卷积核操作，其输入特征维度是in，输出特征维度是out。
具体地，请参阅图3，对于DFNet中的异物搭挂检测网络：将主体点云分为位置特征集合和颜色特征集合/>，/>个为空间点个数；将所述位置特征集合/>（其中3表示三维坐标）的每个空间点通过/>的卷积核由3维扩展至64维，得到/>，将与所述颜色特征集合/>融合，得到/>，将/>的每个空间点通过的卷积核由67维扩展至128维，得到第一个/>，再将第一个/>的每个空间点通过/>的卷积核由128维扩展至1024维，得到第一个/>，对第一个进行最大池化（max pool）操作得到具有1024个神经元的全局特征（即1024维的全局特征），对所述具有1024个神经元的全局特征通过第一全连接层（采用MLP）得到具有512个神经元的全局特征，对具有512个神经元的全局特征通过通过第二全连接层（采用MLP）得到具有2个神经元的全局特征，最后通过softmax函数对具有2个神经元的全局特征进行二分类预测，其中一个分类为有异物搭挂，另一个分类为背景（即不存在异物搭挂），选择其中概率较大的分类作为最终判断结果。最终完成主体点云是否存在异物搭挂的判断。
具体地，请参阅图3，对于DFNet中的设备-异物分割网络：将所述具有1024个神经元的全局特征复制为份，再与/>和颜色特征集合/>进行融合得到/>，本实施例中每个特征点除了自身局部信息外还融合了全局特征，满足了语义分割的要求。对/>的每个空间点通过/>的卷积核由1091维降维至128维，得到第二个；再将第二个/>的每个空间点通过/>的卷积核由128维降维至2维，得到/>，对/>中的每个空间点通过softmax函数进行二分类预测，以实现对电力设备和异物搭挂的主体点云进行分割。
进一步地，为使模型在对点云施加几何变换后仍保持不变的预测，需在DFNet中引入输入变换模块，以学习不受变换影响的特征表示。本实施例的输入变换DFNet主要解决旋转不变性问题，在输入数据以前还需要对原始数据进行标准化处理，以进一步解决平移和尺度不变性的问题。如图4所示，将位置特征集合依次通过/>的卷积核由3维扩展至64维、再由64维扩展至128维、再由128维扩展至1024维（即通过三个大小为1的卷积核将每个点的特征维数从3扩展至1024），得到第二个/>，对第二个/>进行最大池化（max pool）操作得到具有1024个神经元的一维特征，将具有1024个神经元的一维特征经过三次降维操作（三次降维全部采用全连接层（MLP）），得到具有9个神经元的一维特征（即维度为9的一维向量），对具有9个神经元的一维特征进行矩阵重塑得到/>矩阵，将矩阵和单位矩阵进行相加得到变换矩阵，将变换矩阵与位置特征集合/>的每个空间点相乘以进行点云的旋转变换，得到去旋转后的位置特征集合/>。不难发现，变换后的输出维度仍为3，相当于进行了一次“去旋转化”的处理。
进一步地，为了更进一步消除旋转影响，DFNet中还引入特征变换模块，图4中的特征变换模块与输入变换模块结构相同，只是在输入、输出维度上有变化，采用同样的变换处理可以在更高维度上去除“旋转化”影响，最大程度校准特征点，以提高分类、分割的准确性。
本实施例对DFNet的损失函数基础上增加惩罚项，通过迫使特征变换矩阵为正交矩阵，可使优化结果更加稳定，DFNet的损失函数包括：
；
其中，表示用于异物搭挂检测任务的损失函数，/>表示用于点云分割任务的损失函数，/>为惩罚项，/>表示变换矩阵，/>表示单位矩阵，/>表示求解矩阵的/>范数；是标签向量的类别索引，/>表示空间点索引，/>表示空间点的标签真值，/>为模型对空间点的预测结果；/>为平衡因子；/>表示是否包含异物的标签值，/>表示对是否包含异物的预测结果。DFNet采用先训练分割任务再固定共享参数部分训练分类任务的策略。
实施例二：本实施例提供一种用于电力设备的异物搭挂检测和分割系统，包括：
拼接模块：用于获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
下采样模块：用于对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
聚类模块：用于对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
检测与分割模块：用于将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割。
实施例三：本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述用于电力设备的异物搭挂检测和分割方法的步骤。
实施例四：本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述用于电力设备的异物搭挂检测和分割方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种用于电力设备的异物搭挂检测和分割方法，其特征在于：包括：
步骤S1：获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
步骤S2：对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
步骤S3：对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
步骤S4：将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割，方法包括：
将主体点云分为位置特征集合和颜色特征集合/>，/>个为空间点个数；
将所述位置特征集合的每个空间点通过/>的卷积核由3维扩展至64维，得到，将/>与所述颜色特征集合/>融合，得到/>，将/>的每个空间点通过/>的卷积核由67维扩展至128维，得到第一个/>，再将第一个的每个空间点通过/>的卷积核由128维扩展至1024维，得到第一个，对第一个/>进行最大池化操作得到具有1024个神经元的全局特征，对所述具有1024个神经元的全局特征通过第一全连接层得到具有512个神经元的全局特征，对具有512个神经元的全局特征通过第二全连接层得到具有2个神经元的全局特征，通过softmax函数对具有2个神经元的全局特征进行二分类预测，以判断主体点云是否存在异物搭挂；
同时将所述具有1024个神经元的全局特征复制为份，再与/>和颜色特征集合进行融合得到/>，对/>的每个空间点通过/>的卷积核由1091维降维至128维，得到第二个/>；再将第二个/>的每个空间点通过/>的卷积核由128维降维至2维，得到/>，对/>中的每个空间点通过softmax函数进行二分类预测，以实现对电力设备和异物搭挂的主体点云进行分割。
2.根据权利要求1所述的用于电力设备的异物搭挂检测和分割方法，其特征在于：所述步骤S1中将不同位置的点云数据进行点云拼接，方法包括：
将不同位置的点云数据由相机坐标系转换至支架坐标系，所述支架坐标系为用于支撑拍摄点云图像的相机支架所在的坐标系；
将支架坐标系的点云数据转换至全局坐标系，完成点云拼接。
3.根据权利要求1所述的用于电力设备的异物搭挂检测和分割方法，其特征在于：所述步骤S2中对完成点云拼接的点云数据进行下采样，用以压缩点云数据量，方法包括：
将采集点云数据的第一帧图像的相机作为原点，建立边长为1米的空间立方体，并设置体素的边长为0.01米，则所述空间立方体共包含体素数量为；遍历空间立方体中的体素，若体素中包含空间点，则去掉该空间点，并以体素中心作为新的空间点坐标，完成点云数据量压缩，其中，所述空间点为完成点云拼接后的点云数据。
4.根据权利要求1所述的用于电力设备的异物搭挂检测和分割方法，其特征在于：所述步骤S3中通过利用自适应聚类方法对下采样后的点云数据进行聚类处理，以提取主体点云，方法包括：
定义两个经验参数：邻域半径和群落点云最小数量MinPts，从一空间点开始不断向周围扩展，吸收当前边界/>范围内的空间点，并将其划分为同一类别，若同一类别群落点云数量大于MinPts，则保留该群落；若同一类别群落点云数量小于MinPts，则被视为噪声点，并去除该群落；其中，将保留下来的群落作为主体点云。
5.根据权利要求1所述的用于电力设备的异物搭挂检测和分割方法，其特征在于：所述位置特征集合的在输入神经网络之前，还包括对位置特征集合/>中的每个空间点进行去旋转操作，具体为：
将位置特征集合依次通过/>的卷积核由3维扩展至64维、再由64维扩展至128维、再由128维扩展至1024维，得到第二个/>，对第二个/>进行最大池化操作得到具有1024个神经元的一维特征，将具有1024个神经元的一维特征经过三次降维操作，得到具有9个神经元的一维特征，对具有9个神经元的一维特征进行矩阵重塑得到矩阵，将/>矩阵和单位矩阵进行相加得到变换矩阵，将变换矩阵与位置特征集合/>的每个空间点相乘以进行点云变换，得到去旋转后的位置特征集合/>。
6.根据权利要求5所述的用于电力设备的异物搭挂检测和分割方法，其特征在于：所述神经网络的损失函数包括：
；
其中，表示用于异物搭挂检测任务的损失函数，/>表示用于点云分割任务的损失函数，/>为惩罚项且/>，/>表示变换矩阵，/>表示单位矩阵，/>表示求解矩阵的/>范数；/>是标签向量的类别索引，/>表示空间点索引，/>表示空间点的标签真值，/>为模型对空间点的预测结果；/>平衡因子；/>表示是否包含异物的标签值，/>表示对是否包含异物的预测结果。
7.一种用于电力设备的异物搭挂检测和分割系统，其特征在于：包括：
拼接模块：用于获取电力设备在不同位置的点云数据，并将不同位置的点云数据进行点云拼接；
下采样模块：用于对完成点云拼接的点云数据进行下采样，用以压缩点云数据量；
聚类模块：用于对下采样后的点云数据进行聚类处理，以提取主体点云，其中，所述主体点云包括电力设备，或电力设备和搭挂异物；
检测与分割模块：用于将所述主体点云输入神经网络，通过所述神经网络判断主体点云是否存在异物搭挂，同时对主体点云的每个空间点进行预测，以实现对电力设备和异物搭挂的主体点云进行分割，包括：
将主体点云分为位置特征集合和颜色特征集合/>，/>个为空间点个数；
将所述位置特征集合的每个空间点通过/>的卷积核由3维扩展至64维，得到，将/>与所述颜色特征集合/>融合，得到/>，将/>的每个空间点通过/>的卷积核由67维扩展至128维，得到第一个/>，再将第一个的每个空间点通过/>的卷积核由128维扩展至1024维，得到第一个，对第一个/>进行最大池化操作得到具有1024个神经元的全局特征，对所述具有1024个神经元的全局特征通过第一全连接层得到具有512个神经元的全局特征，对具有512个神经元的全局特征通过第二全连接层得到具有2个神经元的全局特征，通过softmax函数对具有2个神经元的全局特征进行二分类预测，以判断主体点云是否存在异物搭挂；
同时将所述具有1024个神经元的全局特征复制为份，再与/>和颜色特征集合进行融合得到/>，对/>的每个空间点通过/>的卷积核由1091维降维至128维，得到第二个/>；再将第二个/>的每个空间点通过/>的卷积核由128维降维至2维，得到/>，对/>中的每个空间点通过softmax函数进行二分类预测，以实现对电力设备和异物搭挂的主体点云进行分割。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述用于电力设备的异物搭挂检测和分割方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现如权利要求1至6中任一项所述用于电力设备的异物搭挂检测和分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311706654.1A CN117409205B (zh) | 2023-12-13 | 2023-12-13 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311706654.1A CN117409205B (zh) | 2023-12-13 | 2023-12-13 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409205A CN117409205A (zh) | 2024-01-16 |
| CN117409205B true CN117409205B (zh) | 2024-04-05 |
Family
ID=89489289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311706654.1A Active CN117409205B (zh) | 2023-12-13 | 2023-12-13 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409205B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
| CN112884771A (zh) * | 2021-02-02 | 2021-06-01 | 贵州电网有限责任公司 | 一种基于激光lidar点云的电力线异物搭挂自动检测方法 |
| CN113160150A (zh) * | 2021-04-01 | 2021-07-23 | 西安科技大学 | 基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置 |
| CN113850262A (zh) * | 2021-08-23 | 2021-12-28 | 北京大学 | 基于可延展2.5d卷积和双路门融合的rgb-d图像语义分割方法 |
| CN115861833A (zh) * | 2022-11-16 | 2023-03-28 | 西北大学 | 一种基于双分支结构的实时遥感图像云检测方法 |
| CN115984564A (zh) * | 2023-01-09 | 2023-04-18 | 北京数字绿土科技股份有限公司 | 一种基于体素聚类和稀疏卷积的点云语义分割方法和系统 |
| CN116385996A (zh) * | 2023-06-05 | 2023-07-04 | 北京科技大学 | 一种基于三维矩阵相机的多任务处理方法和装置 |
| CN117115390A (zh) * | 2023-09-11 | 2023-11-24 | 国网江苏电力设计咨询有限公司 | 一种变电站中变电设备的三维模型布局方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11790550B2 (en) * | 2020-07-08 | 2023-10-17 | Google Llc | Learnable cost volume for determining pixel correspondence |
-
2023
- 2023-12-13 CN CN202311706654.1A patent/CN117409205B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
| CN112884771A (zh) * | 2021-02-02 | 2021-06-01 | 贵州电网有限责任公司 | 一种基于激光lidar点云的电力线异物搭挂自动检测方法 |
| CN113160150A (zh) * | 2021-04-01 | 2021-07-23 | 西安科技大学 | 基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置 |
| CN113850262A (zh) * | 2021-08-23 | 2021-12-28 | 北京大学 | 基于可延展2.5d卷积和双路门融合的rgb-d图像语义分割方法 |
| CN115861833A (zh) * | 2022-11-16 | 2023-03-28 | 西北大学 | 一种基于双分支结构的实时遥感图像云检测方法 |
| CN115984564A (zh) * | 2023-01-09 | 2023-04-18 | 北京数字绿土科技股份有限公司 | 一种基于体素聚类和稀疏卷积的点云语义分割方法和系统 |
| CN116385996A (zh) * | 2023-06-05 | 2023-07-04 | 北京科技大学 | 一种基于三维矩阵相机的多任务处理方法和装置 |
| CN117115390A (zh) * | 2023-09-11 | 2023-11-24 | 国网江苏电力设计咨询有限公司 | 一种变电站中变电设备的三维模型布局方法 |
Non-Patent Citations (4)
| Title |
|---|
| Deep Learning Classification for Diabetic Foot Thermograms;Israel Cruz-Vega .etal;sensor;20200331;第20卷(第06期);全文 * |
| 一种面向3D点云识别的新型卷积神经网络;陈盟 等;计算机与数字工程;20200531(第05期);全文 * |
| 基于机器视觉的变电站高压开关柜设备检测与识别研究;姜鸿飞;中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑);20220215;全文 * |
| 门控多层融合的实时语义分割;张灿龙 等;计算机辅助设计与图形学学报;20201231(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409205A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| US10755112B2 (en) | Systems and methods for reducing data storage in machine learning | |
| Wei et al. | Underwater target detection with an attention mechanism and improved scale | |
| CN114092487A (zh) | 目标果实实例分割方法及系统 | |
| CN112465057A (zh) | 一种基于深度卷积神经网络的目标检测识别方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| Kapoor et al. | An intelligent railway surveillance framework based on recognition of object and railway track using deep learning | |
| Yildirim et al. | Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4 | |
| CN117079117B (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| CN113343900A (zh) | 基于cnn与超像素结合的组合核遥感影像目标检测方法 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN117409205B (zh) | 一种用于电力设备的异物搭挂检测和分割方法及系统 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| Zhang et al. | CE-RetinaNet: A channel enhancement method for infrared wildlife detection in UAV images | |
| CN116152685A (zh) | 一种基于无人机视野下行人检测方法及系统 | |
| EP4235492A1 (en) | A computer-implemented method, data processing apparatus and computer program for object detection | |
| Norelyaqine et al. | Deep learning for building extraction from high-resolution remote sensing images | |
| Wu et al. | Research on Asphalt Pavement Disease Detection Based on Improved YOLOv5s | |
| Mwaffo et al. | Assessing the Predictive Performance of Two DNN Models: A Comparative Analysis to Support Reusing Training Weights for Autonomous Aerial Refueling Missions | |
| Bass et al. | Machine learning in problems involved in processing satellite images | |
| Wang et al. | Keyframe image processing of semantic 3D point clouds based on deep learning | |
| Sharma et al. | Image Segmentation Methods for the Intelligent Supervision of Putonghua Exams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |