CN116246077A - 安全状态检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种安全状态检测方法、装置、设备及介质。该方法包括：获取包括输电线路和机械设备的原始点云数据；其中，所述机械设备与所述输电线路的距离小于预设距离范围；将所述原始点云数据输入至训练好的特征提取网络中，得到所述输电线路对应的目标线路点云数据，以及所述机械设备对应的目标机械点云数据；根据所述目标线路点云数据和所述目标机械点云数据，确定所述输电线路的安全状态；其中，所述特征提取网络基于训练样本的点云数据集训练得到。上述方案，实现了对输电线路的安全状态进行准确检测。

Description

安全状态检测方法、装置、设备及介质

技术领域

本发明实施例涉及输电线路在线监测技术领域，尤其涉及一种安全状态检测方法、装置、设备及介质。

背景技术

输电线路是否安全运行是衡量电网可靠性的一项重要指标。随着社会经济的高速发展，各行各业对供电稳定性和连续性提出了更高的要求。输电线路防外破主要表现类型有违章施工作业破坏，违章植树建房，突发性、季节性外破和人为破坏等，给输电线路防外破工作带来了极大的挑战。及时发现并消除输电线路通道隐患是有效开展输电线路运维检修工作的基础，对于输电线路保持良好的运行状态具有重要的意义。因此，如何对输电线路的安全状态进行准确的检测至关重要。

发明内容

本发明提供一种安全状态检测方法、装置、设备及介质，以实现对输电线路的安全状态进行准确检测。

根据本发明的一方面，提供了一种安全状态检测方法，包括：

获取包括输电线路和机械设备的原始点云数据；其中，所述机械设备与所述输电线路的距离小于预设距离范围；

将所述原始点云数据输入至训练好的特征提取网络中，，得到所述输电线路对应的目标线路点云数据，以及所述机械设备对应的目标机械点云数据；

根据所述目标线路点云数据和所述目标机械点云数据，确定所述输电线路的安全状态；

其中，所述特征提取网络基于训练样本的点云数据集训练得到。

根据本发明的另一方面，提供了一种安全状态检测装置，包括：

原始点云数据获取模块，用于获取包括输电线路和机械设备的原始点云数据；其中，所述机械设备与所述输电线路的距离小于预设距离范围；

目标点云数据获取模块，用于将所述原始点云数据输入至训练好的特征提取网络中，得到所述输电线路对应的目标线路点云数据，以及所述机械设备对应的目标机械点云数据；

安全状态确定模块，用于根据所述目标线路点云数据和所述目标机械点云数据，确定所述输电线路的安全状态；

其中，所述特征提取网络基于训练样本的点云数据集训练得到。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的安全状态检测方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的安全状态检测方法。

本发明实施例提供了一种安全状态检测方案，基于特征提取网络，得到目标线路点云数据和目标机械点云数据，根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态，提高了确定的输电线路安全状态的准确度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种安全状态检测方法的流程图；

图2是本发明实施例二提供的一种安全状态检测方法的流程图；

图3是本发明实施例三提供的一种获取注意力特征图的示意图；

图4是本发明实施例四提供的一种安全状态检测装置的结构示意图；

图5是本发明实施例五提供的一种实现安全状态检测方法的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种安全状态检测方法的流程图，本实施例可适用于对输电线路的安全状态进行检测的情况，该方法可以由安全状态检测装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载安全状态检测功能的电子设备中。

参见图1所示的安全状态检测方法，包括：

S110、获取包括输电线路和机械设备的原始点云数据。

其中，原始点云数据是指可以用于进行输电线路的安全状态检测的点云数据。本发明实施例对获取原始点云数据的方式不作任何限定，可以是技术人员根据经验进行设置。

其中，机械设备是指在输电线路的周围进行作业的设备。具体的，机械设备与输电线路的距离小于预设距离范围。本发明实施例对预设距离范围的大小不作任何限定，可以是技术人员根据经验进行设置。示例性的，预设距离范围可以根据采集原始点云数据的装置的采集范围确定。

S120、将原始点云数据输入至训练好的特征提取网络中，得到输电线路对应的目标线路点云数据，以及机械设备对应的目标机械点云数据。

其中，目标线路点云数据用于定位输电线路。目标机械点云数据用于定位机械设备。

其中，特征提取网络用于从原始点云数据中提取出目标机械点云数据和目标线路点云数据。具体的，特征提取网络基于训练样本的点云数据集训练得到。其中，训练样本是指可以用于训练特征提取网络的样本。点云数据集用于存储训练样本的训练点云数据。训练点云数据是指已标注出输电线路或施工机械的点云数据。

可选的，特征提取网络采用以下方式训练得到：将点云数据集中的训练点云数据划分成至少一个初始点柱；选取预设点柱融合数量阈值个初始点柱作为可选点柱；根据可选点柱，对特征提取网络进行训练。

其中，初始点柱用于存储至少部分训练点云数据。可选点柱是指用于训练特征提取网络的初始点柱。本发明实施例对预设点柱融合数量阈值的大小不作任何限定，可以是技术人员根据经验进行设置。示例性的，预设点柱融合数量阈值可以为20。

可以理解的是，通过引入预设点柱融合数量阈值，避免了根据所有训练点云数据，对特征提取网络进行训练，提高了特征提取网络的训练效率。

可选的，根据可选点柱，对特征提取网络进行训练，包括：根据可选点柱中的训练点云数据，确定可选点柱的初始特征图；对初始特征图进行处理，得到注意力特征图；根据注意力特征图，对特征提取网络进行训练。

其中，初始特征图是指根据可选点柱中的各训练点云数据，确定的特征图。具体的，初始特征图与可选点柱具有一一对应的关系。注意力特征图是指根据初始特征图生成的特征增强的特征图。具体的，注意力特征图与可选点柱之间存在一一对应的关系。

具体的，根据各可选点柱对应的各注意力特征图，对特征提取网络进行训练。

可以理解的是，通过引入注意力特征图，通过注意力特征图对特征提取网络进行训练，提高了网络训练的精度。

可选的，对初始特征图进行卷积处理，得到注意力特征图，包括：针对任一初始特征图，对该初始特征图进行卷积处理，得到第一中间特征图、第二中间特征图和第三中间特征图；对第一中间特征图和第二中间特征图进行相似度分析和归一化处理，得到参考特征图；将参考特征图与第三中间特征图进行加权求和，得到注意力特征图。

其中，第一中间特征图、第二中间特征图和第三中间特征图是初始特征图通过三个不同的卷积核得到的。本发明实施例对卷积核的大小不作任何限定，可以是技术人员根据经验进行设置，只需保证三个卷积核的参数互不共享。示例性的，可以是三个1×1的卷积核。

具体的，通过多层感知机、拼接、点积等相似度函数，对第一中间特征图和第二中间特征图进行相似度分析，再通过归一化指数函数softmax进行归一化处理，得到参考特征图。

可以理解的是，通过引入参考特征图，实现了确定的注意力特征图中特征的全面性和准确度，进而提高了网络训练的准确度；同时，引进归一化处理，实现了对参考特征图中参数的数值分布的约束。

S130、根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态。

其中，输电线路的安全状态包括正常状态和异常状态。

本发明实施例中，当输电线路的安全状态为异常状态时，发出告警信号，以确保输电线路的安全。其中，告警信号可以通过声音、图像和文字等中的至少一种方式呈现，本发明实施例对此不作任何限定。

本发明实施例提供了一种安全状态检测方案，通过获取包括输电线路和机械设备的原始点云数据；其中，机械设备与输电线路的距离小于预设距离范围；将原始点云数据输入至训练好的特征提取网络中，得到输电线路对应的目标线路点云数据，以及机械设备对应的目标机械点云数据；根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态；其中，特征提取网络基于训练样本的点云数据集训练得到。上述方案，基于特征提取网络，得到目标线路点云数据和目标机械点云数据，根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态，提高了确定的输电线路安全状态的准确度。

实施例二

图2是本发明实施例二提供的一种安全状态检测方法的流程图，本实施例在上述各实施例的基础上，进一步的，将“根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态”操作，细化为“生成目标机械点云数据的机械包围盒，以及目标线路点云数据的线路包围盒；根据机械包围盒和线路包围盒，确定输电线路的安全状态”，以完善输电线路的安全状态的检测机制。需要说明的是，在本发明实施例未详述的部分，可参见其他实施例的表述。

参见图2所示的安全状态检测方法，包括：

S210、获取包括输电线路和机械设备的原始点云数据。

其中，机械设备与输电线路的距离小于预设距离范围。

S220、将原始点云数据输入至训练好的特征提取网络中，得到输电线路对应的目标线路点云数据，以及机械设备对应的目标机械点云数据。

S230、生成目标机械点云数据的机械包围盒，以及目标线路点云数据的线路包围盒。

其中，机械包围盒用于包围目标机械点云数据。线路包围盒用于包围目标线路点云数据。需要说明的是，本发明实施例对生成机械包围盒和线路包围盒的方法不作任何限定，可以是技术人员根据经验进行设置。

在一个可选实施例中，线路包围盒可以只根据目标线路点云数据确定。

为了提高输电线路的安全状态检测的准确度，在另一个可选实施例中，可以根据目标线路点云数据和输电线路的预设安全区间，确定线路包围盒。本发明实施例对预设安全区间不作任何限定，可以是技术人员根据经验进行设置。示例性的，预设安全区间可以是25m。

可以理解的是，通过引入预设安全区间，根据目标线路点云数据和预设安全区间，确定线路包围盒，提高了后续根据线路包围盒确定安全状态的准确度。

S240、根据机械包围盒和线路包围盒，确定输电线路的安全状态。

可选的，根据机械包围盒和线路包围盒，确定输电线路的安全状态，包括：若机械包围盒和线路包围盒之间存在至少部分重叠，则确定输电线路的安全状态为异常状态。

具体的，将线路包围盒和机械包围盒转换至同一坐标系下，若线路包围盒是根据目标线路点云数据和预设安全区间确定，当机械包围盒和线路包围盒之间存在至少部分重叠，则确定输电线路的安全状态为异常状态；若线路包围盒是只根据目标线路点云数据确定，当线路包围盒和机械包围盒之间的距离处于预设安全区间时，则确定输电线路的安全状态为异常状态。

可以理解的是，通过机械包围盒和线路包围盒之间存在至少部分重叠，则确定输电线路的安全状态为异常状态，提高了确定的安全状态的准确度。

本发明实施例提供了一种安全状态检测方案，通过将根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态操作，细化为生成目标机械点云数据的机械包围盒，以及目标线路点云数据的线路包围盒；根据机械包围盒和线路包围盒，确定输电线路的安全状态，完善了输电线路的安全状态的检测机制。上述方案，通过引入线路包围盒和机械包围盒，确定输电线路的安全状态，方法简单，提高了确定的安全状态的准确度。

实施例三

本发明实施例在上述实施例的基础上，提供了一个可选实施例。具体的，特征提取网络可以采用一种基于点云的快速目标检测网络PointPillars和自注意力机制融合的架构。

本发明实施例中，对特征提取网络进行训练的过程可以是：通过无人机巡检输电线路以采集训练样本的图像数据；挑选出包含电塔、线路点云、机械设备(如吊车、挖掘机、推土机、打桩机等中的至少一种)的图像数据；根据图像数据获取点云数据集。利用标注工具(如labelCloud)对点云数据集中的电塔、输电线路、机械设备进行标注，标注的信息包含类别名称和位置信息。示例性的，位置信息可以包括：最小坐标(X_min,Y_min,Z_min)和最大坐标(X_max,Y_max,Z_max)。进一步的，将采集到的点云数据集中的训练点云数据，按照预设比例划分成训练集、验证集和测试集，对特征提取网络进行训练。本发明实施例对预设比例的大小不作任何限定，可以是技术人员根据经验进行设置。示例性的，预设比例可以是3:1:1。

本发明实施例中，在将训练点云数据输入至特征提取网络之前，由于采集到的点云数据存在冗余信息，会增加运算量；并且在使用激光雷达获取点云数据时，会受到测量误差、测量精度和环境因素等影响时，采集到的点云数据会含有噪点，因此，可以对采集到的点云数据进行预处理，得到训练点云数据。具体的，可以对训练点云数据进行滤波处理和降采样处理。

具体的，在采集到多帧点云数据后，可以创建相应的动态数组以存储每一帧点云数据。示例性的，通过以下公式，确定动态数组：

P_(s,m)＝[x y z r]；

其中，A_i表示第i帧点云数据对应的动态数组；k表示每帧的点云数据的采集数量；m表示从起始位置开始的采集序号；n表示扫描线的数量；s表示从n条扫描线中按顺序选取的编号；x、y、z表示三个方向上的坐标信息；r表示反射强度信息。

进一步的，若扫描线的最大数量为900，则将900带入上述公式可以得到一个准确的动态数组A_i’：

P_(s,m)＝[x y z r]；

进一步的，对进行过前景点云提取后的点云数据再进行滤波和降采样处理，得到训练点云数据。具体的，将所有点云数据划分到预设大小的立方体网格中，采用立方体中的重心代表整个立方体网格的点云数据，达到了降低点云数据密度的目的。同时，利用体素内的重心来代表整个立方体，均衡了立方体内的所有点，一定程度上消除了点云数据的噪声。体素网格滤波方法相较于随机下采样的方法，效率较低，但是在滤波过程中不会破坏原始的点云数据的几何结构，因此可以最大限度的减少点云数据的特征损失。需要说明的是，在确定体素大小时，若网格参数过大，会引起三维特征信息的丢失；若网格参数过小，则导致滤波效果较差；因此，网格参数大小需要进行大量试验反复确定。

现有技术中，3D目标检测算法都以PointNet和VoxelNet两种网络作为框架，进行点云分类和点云分割的任务。然而VoxelNet在对点云体素化后再进行3D卷积的操作会消耗大量计算资源，拖慢运行过程。针对这个问题，PointPillars借鉴了许多3D目标检测算法选择的鸟瞰图方式，将传统的网格体素化转化点柱(Pillars)体素化，既保留了点云在垂直方向更多的原始特征，又大大降低了计算资源消耗，提高了框架运行速度。之所以能够使用鸟瞰图方式进行预测和回归，是因为目标检测中的关键因素如输电设备，车辆、行人等对z轴方向的特征变化不敏感，也很少会产生竖直方向的遮挡。

本发明实施例中，将训练点云数据输入至PointPillars搭建的特征提取网络中，并将自注意力机制引入PointPillars中，用以增强初始点柱的空间特征信息，再通过区域生成网络输出目标的3D检测框，对特征提取网络进行训练。

具体的，PointPillars网络可以对训练点云数据进行体素化，对体素化后的训练点云数据进行点柱特征编码，得到点云的伪图像信息，进而确定初始特征图。举例说明，对于训练点云数据(n，4)，通过三维目标检测VoxelNet中的思想对离散点云进行体素化，即将训练点云数据划分成相同的立方体。若点云数据所处的空间尺寸为(W,H,D)，其中，W表示宽度，H表示高度，D表示深度。根据不同的预设划分个数V，每个小立方体的尺寸为(w,h,d)。在PointPillars中由于网络结构忽略了高度上的因素，因此会输出伪图像，即V＝H，故每个初始点柱的尺寸为(V_w,V_h,V_d)。示例性的，可以通过以下公式，确定每个初始点柱中的训练点云数据的表现形式：

V＝{p_i＝[x_i,y_i,z_i,r_i]∈R⁴}_i＝1...n；

其中，V表示一个初始点柱；p_i表示初始点柱中第i个训练点云数据；(x_i,y_i,z_i)表示第i个训练点云数据的偏移坐标；r_i表示第i个训练点云数据的反射强度；n表示训练点云数据的个数；R表示维度。

进一步的，为了增强每个训练点云数据的显性特征，将每个初始点柱中的训练点云数据均编码成9维向量，：

其中，V_i表示第i个编码后的初始点柱；

表示被编码成9维向量的训练点云数据；c_x表示第i个初始点柱中所有训练点云数据的均值的横坐标；c_y表示第i个初始点柱中所有训练点云数据的均值的纵坐标；c_z表示第i个初始点柱中所有训练点云数据的均值的竖直方向上的坐标；v_x表示第i个初始点柱在水平方向上中心点的横坐标；v_y表示第i个初始点柱在水平方向上中心点的纵坐标。x_i-c_x表示训练点云数据与均值在x轴方向上的距离；y_i-c_y表示训练点云数据与均值在y轴方向上的距离；z_i-c_z表示训练点云数据与均值在z轴方向上的距离；x_i-v_x表示训练点云数据与中心点之间在x轴方向上的偏移值；x_i-v_y表示训练点云数据与中心点之间在y轴方向上的偏移值。

需要说明的是，由于训练点云数据具有稀疏特性，因此每个初始点柱中的训练点云数据的数量相差较多。为了减少对空的初始点柱或含较少训练点云数据的初始点柱进行计算，需要对初始点柱中的训练点云数据的个数，以及可以用于进行后续处理的初始点柱的数量进行限制。示例性的，可以用于进行后续处理的初始点柱的数量可以为预设点柱融合数量阈值个，初始点柱中的训练点云数据的个数可以为预设点云数量阈值个。若初始点柱的数量不足预设点柱融合数量阈值个，或者任一初始点柱中的训练点云数据的数量不足预设点云数量阈值个，则添加初始点柱或者训练点云数据的个数；若初始点柱的数量超过预设点柱融合数量阈值个，或者任一初始点柱中的训练点云数据的数量超过预设点云数量阈值个，则选取预设点柱融合数量阈值个初始点柱，或者选取预设点云数量阈值个训练点云数据。其中，本发明实施例对预设点云数量阈值的大小不作任何限定，可以是技术人员根据经验进行设置。

本发明实施例中，各训练点云数据均被编码成(D,P,N)的稠密张量，可以用一个简化版的PointNet操作对上述张量进行处理，每个PointNet网络将维度为(D,P,N)的张量转换成(C,P,N)，其中C是通道数。随后对每个可选点柱进行最大池化得到(C,P)。最后通过P的索引，可以创建最终的伪图像(C,H,W)，即初始特征图。由于伪图像符合2D图像的格式特征，因此可以直接输入后续的主干网络进行卷积操作。

本发明实施例中，在初始点柱中选取预设点柱融合数量阈值个可选点柱后，并没有对可选点柱之间的特征进行信息交互以及特征融合。故本发明实施例中引入了自注意力机制，提出了基于自注意力机制的点柱特征增强算法，融合可选点柱之间的关联特征。引入自注意力机制的好处是，能够从相邻可选点柱中，提取每个可选点柱更多的空间特征，加强了区域联系。

示例性的，参见图3所示获取注意力特征图的示意图。具体的，利用三个1×1的卷积核，对初始特征图分别进行三次处理，以将初始特征图抽象到新的特征空间，且三个卷积核参数户互不共享。三个中间特征图分别记作第一中间特征图Q、第二中间特征图K和第三中间特征图V，之后对三个中间特征图进行处理。首先通过多层感知机、拼接、点积等相似度函数对第一中间特征图Q和第二中间特征图K进行相似度分析，得到两者间的关系矩阵；然后通过归一化指数函数softmax将关系矩阵归一化，以约束矩阵参数的数值分布，归一化后的关系矩阵为参考特征图的特征矩阵；将参考特征图的特征矩阵与第三中间特征图V进行加权求和，得到注意力特征图。增强了相邻像素之间的联系，使注意力特征图包含更多的区域信息。相较于传统的卷积操作和RNN(Recurrent Neural Networks，循环神经网络)算子，使用自注意力机制减少了运算量，增加了更多的数据特征信息。

本发明实施例中，已经将可选点柱中的训练点云数据处理成了(C,H,W)的伪图像格式，因此使用自注意力机制，对可选点柱进行点柱特征增强。示例性的，首先可以通过以下公式，表示每一帧点云的特征矩阵：

P＝{p_i'＝[f_i ¹…,…f_i ^j]∈Rⁿ}_{i＝1…n',j＝1…d}；

其中，P表示初始特征图的特征矩阵；p_i’表示第i个可选点柱；f_i ¹表示第i个可选点柱维度为1的特征；f_i ^j表示第i个可选点柱维度为j的特征；n’表示可选点柱的数量；d表示每个可选点柱的数据维度。

具体的，将初始特征图的特征矩阵P输入分别输入三个1×1的多层感知机，将每个可选点柱映射到高维特征空间，得到三个可选矩阵的中间特征图的特征矩阵Q_p、K_p和V_p，如下式所示：

其中，Q_P表示第一中间特征图的特征矩阵；K_P表示第二中间特征图的特征矩阵；V_P表示第三中间特征图的特征矩阵；ML表示装置；P_q(P)表示对特征矩阵P中的q(query)特征进行处理；P_k(P)表示对特征矩阵P中的k(key)特征进行处理；P_v(P)表示对特征矩阵P中的v(value)特征进行处理；R^n×m表示n×m的维度。

进一步的，确定Q_p和K_p之间的关系矩阵，首先将K_p进行转置，对

和Q_p作乘积计算相似性。在乘积过程中，任意两个可选点柱之间都产生了信息交互，因此直接用乘积的结果作为相关性的衡量指标，得到的关系矩阵A为：

关系矩阵A中的任意一个数值代表对应两个位置上点柱的相关性。但是由于A是经过特征矩阵相乘得到，其值域范围较大，因此利用Softmax对关系矩阵A进行归一化，得到参考特征图的特征矩阵，如下式所示：

A_n＝soft max(A)；

其中，A_n表示参考特征图的特征矩阵。

进一步的，将A_n与V_p做矩阵乘积计算，该操作的本质是将当前可选点柱P_i外的所有其他可选点柱根据相关性进行加权求和，得到当前点柱P_i的空间联系特征。再通过拼接操作，将空间联系特征与原始的P_i特征进行相加，从而实现了将一个点柱的特征用所有相关点柱进行信息增强的目的。示例性的，可以通过下式，表示注意力特征图的特征矩阵R_S：

R_S＝A_n×V_p+P,R_S∈R^n×d；

本发明实施例中，经过点柱特征编码以及点柱特征增强后，实现了将原始的3D离散点云用2D特征表示，其格式为(C,H,W)的伪图像。之后可以直接利用2D目标检测中的RPN(RegionProposal Network，区域候选网络)对伪图像进行检测，输出最终的目标检测结果。RPN的原理是基于滑窗的无类别检测器，输入任意尺寸的2D图，最终输出一系列的区域候选框。

RPN首先利用3×3的卷积块对注意力特征图进行处理，也可以看作是一次3×3的滑窗操作，得到的是C为256的特征图，于是特征图尺寸变为(256,H,W)。然后对其进行两次全连接的操作，等同于对其进行两次1×1的卷积，分别得到(2,H,W)和(4,H,W)的两个特征图，一共是H×W个结果。其中，2表示2个分数，因为RPN只负责候选区域提取，不负责物体分类，因此两个分数代表前景分数和背景分数；4表示针对原图的4个坐标偏移。在目标检测任务中，由于不同类别的目标，其在图像上的尺度存在差异，因此RPN设置了k种不同尺度的锚定框。由于之前生成了H×W个结果，此时便有H×W×k个框在2D图像上，每个框最终会得到2个分数和4个坐标偏移值。对前景和背景进行筛选，得到部分候选框。不同尺寸的候选框在注意力特征图上存在重叠，导致重复生成的问题。针对这一问题，RPN利用非极大值抑制，将所有候选框进行得分排序，针对同一目标，只留下得分最高的候选框，并删除其余候选框中与其面积交并比大于一定阈值的选项，即非极大值抑制NMS算法，减少重复输出，然后输出最终的检测结果。

本发明实施例中的PointPillars网络的损失函数，综合使用三种不同类别的损失函数。具体的，损失函数(Loss Function)用来评价网络预测值与真实值之间的差异程度，损失值越低，网络的性能越好。根据不同网络的特点，往往需要设计不同的损失项，才能有效反应网络的性能，本发明实施例中PointPillars的损失函数由定位损失函数、分类损失函数和方向损失函数构成。

可选的，定位损失函数如下式：

其中，smoothL₁表示定位损失函数；x表示真实值和预测值的差值。

具体的，定位损失函数是用来表示真实框与检测框之间的差异程度。本发明实施例中，输出的3D检测框可以用7维(x,y,z,w,h,l,θ)表示，其中，(x,y,z)为目标中心的坐标；(w,h,l)是检测框的尺寸；θ表示检测框的方向。真实框和检测框之间的回归残差定义如下：

Δθ＝sin(θ^gt-θ^a)；

其中，上角标为gt表示真实值；上角标为a表示检测值；Δx表示目标中心坐标的横坐标差值；Δy表示目标中心坐标的纵坐标差值；Δz表示目标中心坐标的竖直方向上坐标的差值；Δθ表示检测方向与真实方向的差值。

进一步的，得到本发明实施例的定位损失函数：

/>

其中，b表示x,y,z,w,h,l,θ中的任一值；L_loc表示本发明实施例的定位损失函数。

或者可选的，数据集中的真实框带有方向值，可以用于进行目标朝向的回归。但是，检测方向与真实方向角度相差一个π，在这种情况下定位损失较小，而方向损失达到最大，会影响PointPillars网络的训练精度。本发明实施例中的方向损失函数为：

L_dir＝smoothL₁(sin(θ^a-θ^gt))；

其中，L_dir表示方向损失函数。

或者可选的，分类损失函数(Focal loss)是在交叉熵函数的基础上，通过给不同样本的损失添加不同的权重，来解决分类问题中类别不平衡，分类难度差异大的情况。示例性的，交叉熵函数可表示为：

L_CE＝L(y,p)＝-ylog(p)-(1-y)log(1-p)；

L_CE表示交叉熵函数；y表示数据代表的对应类别；p表示预测概率大小。

当训练样本中，负样本的数量远大于正样本，则负样本的损失函数影响较大，最终导致PointPillars网络训练的精度较低，因此需要给不同样本分配不同方权重系数，如下式：

L_cls＝-α_t(1-p)^Υlog(p)；

其中，L_cls表示分类损失函数；α_t表示权重因子，α_t∈[0,1]来协调类别不平衡；Υ是可调节的聚焦参数，Υ≥0。

需要说明的是，分类损失函数多了一项系数(1-p)，在样本分类正确时，p趋近于1，损失系数更趋近于0；在样本分类错误时，p趋近于0，损失系数更趋近于1，因此Focal loss函数在整体上增加了正样本的权重。

综上，本发明实施例中PointPillars网络的损失函数，如下式所示：

其中，L表示PointPillars网络的损失函数；N_pos表示正样本数量；β_loc表示定位损失函数的权重；β_cls表示分类损失函数的权重；β_dir表示方向损失函数的系数。

本发明实施例中，在对PointPillars网络进行训练时，可以根据准确度mAP(meanAverage)对PointPillars网络的训练进行准确度测试。mAP的评价标准主要是是基于矩形框重叠程度这一参数来进行衡量的，即IoU。IoU的定义为检测框和真实框的交集与检测框和真实框的并集之比。如果重叠度IoU大于一定的阈值，则判断为正确检测结果TruePositive，否则视为误检结果False Positive。同时算法测试中还考虑了网络大小(Modelsize)，运算速度(FPS)，浮点数运算量(FLOPS)这几个参数。使用这几个个性能指标共同评估算法性能，经过多次测试，获取在输电线路缺陷检测数据集中测试集的检测效果较好的算法。

本发明实施例中，基于包围盒算法，生成AABB(Axis-Aligned Bounding Box)形式的机械包围盒和线路包围盒。其中，AABB包围盒是指与坐标轴对齐的包围盒，它的判断方法简单，只需要判断两个AABB包围盒是否有重叠部分即可。如果两个AABB包围盒在某个轴上的投影都有重叠，那么它们就有重叠部分。AABB包围盒就是采用一个长方体将物体包裹起来，进行两个物体的相交性检测时仅检测物体对应包围盒(包裹物体的长方体)的相交性。本发明实施例中，还可以使用球体包围盒和OBB包围盒。

在使用AABB包围盒确定机械包围盒和线路包围盒后，需要记录包围盒在每个坐标轴上的最小值与最大值，即x_min、x_max、y_min、y_max、z_min、z_max，实际包围盒上所有的点都必须满足以下条件：

其中，(x’,y’,z’)表示包围盒上的任一点。

可以将AABB包围盒的6个参数分为以下两组：

其中，P_min表示3个轴坐标最小值的集合；P_max表示3个轴坐标最大值的集合。

进一步的，根据AABB包围盒的6个参数，通过以下公式，确定AABB包围盒的几何中心：

c＝(P_min+P_max)/2；

其中，c表示几何中心。

本发明实施例中，生成机械包围盒的过程可以是：确定需要生成包围盒的目标机械点云数据，根据目标机械点云数据构建机械设备模型；通过包围盒工具创建一个盒形物体，该盒形物体的大小和形状应足以完全包围机械设备模型；确定盒形物体的位置和方向，使其与机械设备模型重叠并完全包围；将盒形物体设置为机械包围盒，以便进行后续的算法处理。

本发明实施例中，生成线路包围盒的过程可以是：确定需要生成包围盒的目标线路点云数据，根据目标线路点云数据构建输电线路模型；通过包围盒工具创建一个盒形物体，该盒形物体的大小和形状应足以完全包围输电线路模型；确定盒形物体的位置和方向，使其与输电线路网络重叠并完全包围，并根据输电线路的预设安全区间，确定线路包围盒，以便进行后续的算法处理。

具体的，将机械包围盒和线路包围盒转换到一个坐标系下，判断是否存在重叠。可以使用分离轴定理(Separating Axis Theorem)进行判断。若机械包围盒和线路包围盒在所有轴上的投影都发生重叠，则确定输电线路和机械设备之间存在碰撞，即异常状态；若否，则没有发生碰撞，即安全状态。

进一步的，若为异常状态，则输出告警信息。

本发明实施例提供了一种安全状态检测方案，通过搭建PointPillars网络，利用点柱特征编码对输入点云进行伪图像化，并通过点柱特征增强算法，增强其空间特征信息，最终输出目标线路点云数据和目标机械点云数据；再根据包围盒生成方法，生成机械包围盒和线路包围盒，确定两个包围盒是否存在碰撞，进而确定输电线路的安全状态。上述方案，将自注意力机制引入PointPillars目标检测网络中，以解决点柱缺乏空间特征信息的问题。同时，根据需要进行筛选，并对筛选后的点云数据进行预处理，得到原始点云数据，减少后续运算量。并且，通过二三维映射的方法进行二维图像的空间位置计算方法，能够进一步提升目标检测算法的计算结果精度，降低后续对线路安全没有影响的大型施工机械目标的误报结果。

实施例四

图4是本发明实施例四提供的一种安全状态检测装置的结构示意图。本实施例可适用于对输电线路的安全状态进行检测的情况，该方法可以由安全状态检测装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载安全状态检测功能的电子设备中。

如图4所示，该装置包括：原始点云数据获取模块410、目标点云数据获取模块420和安全状态确定模块430。其中，

原始点云数据获取模块410，用于获取包括输电线路和机械设备的原始点云数据；其中，机械设备与输电线路的距离小于预设距离范围；

目标点云数据获取模块420，用于将原始点云数据输入至训练好的特征提取网络中，得到输电线路对应的目标线路点云数据，以及机械设备对应的目标机械点云数据；

安全状态确定模块430，用于根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态；

其中，所述特征提取网络基于训练样本的点云数据集训练得到。

本发明实施例提供了一种安全状态检测方案，通过原始点云数据获取模块获取包括输电线路和机械设备的原始点云数据；其中，机械设备与输电线路的距离小于预设距离范围；通过目标点云数据获取模块将原始点云数据输入至训练好的特征提取网络中，得到输电线路对应的目标线路点云数据，以及机械设备对应的目标机械点云数据；通过安全状态确定模块根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态；其中，特征提取网络基于训练样本的点云数据集训练得到。上述方案，基于特征提取网络，得到目标线路点云数据和目标机械点云数据，根据目标线路点云数据和目标机械点云数据，确定输电线路的安全状态，提高了确定的输电线路安全状态的准确度。

可选的，安全状态确定模块430，包括：

包围盒生成单元，用于生成目标机械点云数据的机械包围盒，以及目标线路点云数据的线路包围盒；

安全状态确定单元，用于根据机械包围盒和线路包围盒，确定输电线路的安全状态。

可选的，安全状态确定单元，具体用于：

若机械包围盒和线路包围盒之间存在至少部分重叠，则确定输电线路的安全状态为异常状态。

可选的，该装置还包括：

线路包围盒确定子单元，用于根据目标线路点云数据和输电线路的预设安全区间，确定线路包围盒。

可选的，该装置还包括：

初始点柱确定模块，用于将点云数据集中的训练点云数据划分成至少一个初始点柱；

可选点柱确定模块，用于选取预设点柱融合数量阈值个初始点柱作为可选点柱；

网络训练模块，用于根据可选点柱，对特征提取网络进行训练。

可选的，网络训练模块，包括：

初始特征图确定单元，用于根据可选点柱中的训练点云数据，确定可选点柱的初始特征图；

注意力特征图获取单元，用于对初始特征图进行处理，得到注意力特征图；

网络训练单元，用于根据注意力特征图，对特征提取网络进行训练。

可选的，注意力特征图获取单元，具体用于：

针对任一初始特征图，对该初始特征图进行卷积处理，得到第一中间特征图、第二中间特征图和第三中间特征图；

对第一中间特征图和第二中间特征图进行相似度分析和归一化处理，得到参考特征图；

将参考特征图与第三中间特征图进行加权求和，得到注意力特征图。

本发明实施例所提供的安全状态检测装置，可执行本发明任意实施例所提供的安全状态检测方法，具备执行各安全状态检测方法相应的功能模块和有益效果。

本发明的技术方案中，所涉及的训练点云数据、原始点云数据、目标线路点云数据和目标机械点云数据等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

实施例五

图5是本发明实施例五提供的一种实现安全状态检测方法的电子设备的结构示意图。电子设备510旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。切换设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，切换设备510包括至少一个处理器511，以及与至少一个处理器511通信连接的存储器，如只读存储器(ROM)512、随机访问存储器(RAM)513等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器511可以根据存储在只读存储器(ROM)512中的计算机程序或者从存储单元518加载到随机访问存储器(RAM)513中的计算机程序，来执行各种适当的动作和处理。在RAM 513中，还可存储切换设备510操作所需的各种程序和数据。处理器511、ROM 512以及RAM 513通过总线514彼此相连。输入/输出(I/O)接口515也连接至总线514。

切换设备510中的多个部件连接至I/O接口515，包括：输入单元516，例如键盘、鼠标等；输出单元517，例如各种类型的显示器、扬声器等；存储单元518，例如磁盘、光盘等；以及通信单元519，例如网卡、调制解调器、无线通信收发机等。通信单元519允许切换设备510通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器511可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器511的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器511执行上文所描述的各个方法和处理，例如安全状态检测方法。

在一些实施例中，安全状态检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元518。在一些实施例中，计算机程序的部分或者全部可以经由ROM 512和/或通信单元519而被载入和/或安装到切换设备510上。当计算机程序加载到RAM 513并由处理器511执行时，可以执行上文描述的安全状态检测方法的一个或多个步骤。备选地，在其他实施例中，处理器511可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行安全状态检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在切换设备上实施此处描述的系统和技术，该切换设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给切换设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种安全状态检测方法，其特征在于，包括：

获取包括输电线路和机械设备的原始点云数据；其中，所述机械设备与所述输电线路的距离小于预设距离范围；

将所述原始点云数据输入至训练好的特征提取网络中，得到所述输电线路对应的目标线路点云数据，以及所述机械设备对应的目标机械点云数据；

根据所述目标线路点云数据和所述目标机械点云数据，确定所述输电线路的安全状态；

其中，所述特征提取网络基于训练样本的点云数据集训练得到。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标线路点云数据和所述目标机械点云数据进行处理，确定所述输电线路的安全状态，包括：

生成所述目标机械点云数据的机械包围盒，以及所述目标线路点云数据的线路包围盒；

根据所述机械包围盒和所述线路包围盒，确定所述输电线路的安全状态。

3.根据权利要求2所述的方法，其特征在于，所述根据所述机械包围盒和所述线路包围盒，确定所述输电线路的安全状态，包括：

若所述机械包围盒和所述线路包围盒之间存在至少部分重叠，则确定所述输电线路的安全状态为异常状态。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

根据所述目标线路点云数据和所述输电线路的预设安全区间，确定所述线路包围盒。

5.根据权利要求1所述的方法，其特征在于，所述特征提取网络采用以下方式训练得到：

将所述点云数据集中的训练点云数据划分成至少一个初始点柱；

选取预设点柱融合数量阈值个初始点柱作为可选点柱；

根据所述可选点柱，对所述特征提取网络进行训练。

6.根据权利要求5所述的方法，其特征在于，所述根据所述可选点柱，对所述特征提取网络进行训练，包括：

根据所述可选点柱中的训练点云数据，确定所述可选点柱的初始特征图；

对所述初始特征图进行处理，得到注意力特征图；

根据所述注意力特征图，对所述特征提取网络进行训练。

7.根据权利要求6所述的方法，其特征在于，所述对所述初始特征图进行处理，得到注意力特征图，包括：

针对任一初始特征图，对该初始特征图进行卷积处理，得到第一中间特征图、第二中间特征图和第三中间特征图；

对所述第一中间特征图和所述第二中间特征图进行相似度分析和归一化处理，得到参考特征图；

将所述参考特征图与所述第三中间特征图进行加权求和，得到所述注意力特征图。

8.一种安全状态检测装置，其特征在于，包括：

原始点云数据获取模块，用于获取包括输电线路和机械设备的原始点云数据；其中，所述机械设备与所述输电线路的距离小于预设距离范围；

目标点云数据获取模块，用于将所述原始点云数据输入至训练好的特征提取网络中，得到所述输电线路对应的目标线路点云数据，以及所述机械设备对应的目标机械点云数据；

安全状态确定模块，用于根据所述目标线路点云数据和所述目标机械点云数据，确定所述输电线路的安全状态；

其中，所述特征提取网络基于训练样本的点云数据集训练得到。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的一种安全状态检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种安全状态检测方法。

Images