CN113569801A - 一种配电施工现场带电设备及其带电区域识别方法及装置 - Google Patents

Abstract

本发明提供了一种配电施工现场带电设备及其带电区域识别方法及装置，通过获取配电施工现场周边的实时视频解码出的图像，构建配电施工现场作业地段环境的三维地图，并采用目标检测模型检测图像中的目标，在经过目标过滤以及目标识别之后获取图像中人和带电区域的ROI区域，然后再获取其在三维地图中的三维坐标，在去掉高度信息之后，根据余下的二维坐标值重新映射至二维水平地图中，然后计算人和带电设备之间的距离，从而判断作业人员在配电施工现场的安全风险。本发明利用神经网络识别技术，能够自动识别人和带电设备之间的距离，大幅降低了监护人员的劳动强度，提升了维保效率。

Description

一种配电施工现场带电设备及其带电区域识别方法及装置

技术领域

本发明属于计算机视觉识别技术领域，具体涉及一种配电施工现场带电设备及其带电区域识别方法及装置。

背景技术

在电力、建筑等作业现场存在特殊带电或其他危险设备，且环境复杂，容易出现安全事故。在日常的配电施工作业现场，监护人员会在带电设备周边设置警示标志以及放置围栏，目的是不让作业人员靠近带电设备，防止发生漏电伤人等事故。但是在大多数施工作业现场，存在现场范围较大、大中型设备众多、环境复杂、作业人员人数众多、施工作业时长较长等问题，导致作业人员放松警惕误靠近带电设备，需要监护人员长时间监督所有作业人员有无误靠近带电设备。

综上所述，人工监督作业人员当前是否误靠近带电设备，监护人员的劳动强度大，导致维保效率低下，智能化水平低下，无法集中管理。近年来，随着计算机视觉计算和物联网技术的逐渐成熟，尤其是神经网络技术的飞速发展，深度学习技术开始应用于各类生产环境中。深度学习的概念最早起源于西方的数学家和计算机科学家对人工神经网络的研究。人工神经网络，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法模型，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。深度神经网络通过卷积操作去提取大量的图像特征，同时将低层特征进行组合，从而去获得更加抽象的高层特征，这些高层特征就可以用来表示对象的属性类别或隐藏的特征，以从图像信息中发现数据的分布规律或图像数据的特征表示。深度学习的迅猛发展，主要得益于三大方面：大数据的出现、计算能力的提升以及算法的发展，互联网的发展带来了海量的数据，同时计算机技术能力，尤其是GPU、FPGA的出现为处理海量数据提供了足够的算力，同时各类神经网络算法层出不穷，这给深度学习技术的蓬勃发展带来了强劲的动力。

发明内容

有鉴于此，本发明旨在解决现有人工监督作业人员是否误靠近带电设备导致的监护人员的劳动强度大、维保效率低下、智能化水平低下以及无法集中管理的问题。

为了解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供了一种配电施工现场带电设备及其带电区域识别方法，应用于预先训练好的目标检测模型，包括：

获取配电施工现场不同位置的视频流，并对视频流进行解码，得到解码后的图像；

依据解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到配电施工现场的包含多个带电设备的三维地图；

对解码后的图像进行预处理；

将经过预处理的图像输入到预先训练好的目标检测模型中，获取目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

基于人和带电设备的ROI区域获取人和带电设备在三维地图中的三维坐标；

去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；

计算人和带电设备在水平二维地图上的距离，并判断距离是否小于预设安全距离阈值，若是，则发出告警信息。

进一步的，对解码后的图像进行预处理具体为：

对解码后的图像进行滤波处理，得到滤波后的图像。

进一步的，预先训练好的目标检测模型为基于YOLO-v4的目标检测模型。

进一步的，依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域之后还包括：

对人和带电设备的ROI区域进行标注；

对标注后的人和带电设备的ROI区域进行旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。

进一步的，获取配电施工现场不同位置的视频流具体为：

基于RTSP方式获取配电施工现场不同位置的视频流。

第二方面，本发明提供了一种配电施工现场带电设备及其带电区域识别装置，应用于预先训练好的目标检测模型，包括：

图像获取模块，用于获取配电施工现场不同位置的视频流，并对视频流进行解码，得到解码后的图像；

地图构建模块，用于依据解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到配电施工现场的包含多个带电设备的三维地图；

预处理模块，用于对解码后的图像进行预处理；

目标检测模块，用于将经过预处理的图像输入到预先训练好的目标检测模型中，获取目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

目标识别模块，用于依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

三维坐标获取模块，用于基于人和带电设备的ROI区域获取人和带电设备在三维地图中的三维坐标；

安全距离计算模块，用于去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；计算人和带电设备在水平二维地图上的距离，并判断距离是否小于预设安全距离阈值，若是，则发出告警信息。

进一步的，预处理模块对解码后的图像进行预处理具体为：

预处理模块对解码后的图像进行滤波处理，得到滤波后的图像。

进一步的，目标识别模块还用于：

对人和带电设备的ROI区域进行标注；

对标注后的人和带电设备的ROI区域进行旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。

进一步的，图像获取模块基于RTSP方式获取配电施工现场不同位置的视频流。

第三方面，本发明提供了一种计算机存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的一种配电施工现场带电设备及其带电区域识别方法。

综上，本发明提供了一种配电施工现场带电设备及其带电区域识别方法及装置，通过获取配电施工现场周边的实时视频解码出的图像，构建配电施工现场作业地段环境的三维地图，并对解码出的图像采用目标检测模型检测图像中的目标，在经过目标过滤以及目标识别之后获取图像中人和带电区域的ROI区域，然后根据人和带电区域的ROI区域获取其在三维地图中的三维坐标，在去掉高度信息之后，根据余下的二维坐标值重新映射至二维水平地图中，然后在二维水平地图中计算人和带电设备之间的距离，从而判断作业人员在配电施工现场的安全风险。本发明利用神经网络识别技术，自动识别人和带电设备之间的距离，大幅降低了监护人员的劳动强度，提升了维保效率。并且依靠遍布配电施工现场的摄像头，可以获取各个位置的实时视频图像，便于监护人员在监控后台实现统一管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种配电施工现场带电设备及其带电区域识别方法的流程示意图；

图2为本发明实施例提供的一种配电施工现场带电设备及其带电区域识别方法中的目标检测模型训练的流程示意图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本实施例明提供一种配电施工现场带电设备及其带电区域识别方法，应用于预先训练好的目标检测模型，包括：

S100：获取配电施工现场不同位置的视频流，并对视频流进行解码，得到解码后的图像；

S200：依据解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到配电施工现场的包含多个带电设备的三维地图；

S300：对解码后的图像进行预处理；

S400：将经过预处理的图像输入到预先训练好的目标检测模型中，获取目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

S500：依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

S600：基于人和带电设备的ROI区域获取人和带电设备在三维地图中的三维坐标；

S700：去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；

S800：计算人和带电设备在水平二维地图上的距离，并判断距离是否小于预设安全距离阈值，若是，则发出告警信息。

需要说明的是，RTSP(Real Time Streaming Protocol)，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，本实施例中采用RTSP方式获取配电施工现场不同位置的视频流。

三维地图的构建可以采用现有方法。由于可以获取到配电施工现场现场不同位置的视频流，对于同一带电设备或人来说，可以从视频流中得到不同角度和大小的图像，通过不同帧图像之间的特征点(即用于表征配电施工现场各作业地段环境中的对象的具有特征的点)的匹配关系，映射到三维空间中，从而确定各个对象在三维空间的位置。

可行的一种三维地图构建方法是获取多帧包含目标对象的图像，目标对象就是配电施工现场作业地段环境中的各个对象。

从多帧包含目标对象的图像中提取出对象具有特征的特征点，并确定不同图像中相匹配的特征点，同时需要注意剔除误匹配点。

然后基于匹配的特征点采用三角测量，计算特征点在空间中的相对位置，也就是确定特征点对应的空间中的三维点，由三维点构成三维地图中的目标对象。

对每个目标对象均循环上述步骤即可构建包含所有目标对象的三维地图。

由于要对解码后的图像利用目标检测模型检测图像中的目标，故为了提高检测的精确度，需要对解码后的图像进行滤波处理，降低图像中的噪点对于目标检测的影响。

目标检测模型检测图像时，图像集的规模越大，检测结果就越准确。故可以对有限的图像经过旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。利用该图集对目标检测模型不断进行训练，以提高目标检测模型对于人和带电设备的识别精度。

ROI区域即感兴趣区域，是被处理的图像中以矩形框形式勾勒出的需要处理的图像区域。

请参阅图2，本实施例中,目标检测模型为基于YOLO-v4的目标检测模型,其预先训练过程为采集配电施工现场包含人和带电设备的图片，使用标注工具(labelimg等)标注图片上人和带电设备的位置，将图像数据扩增，将扩增后的数据集划分为训练集和测试集。修改网络参数以及其他训练参数，迭代训练yolov4网络模型，最后验证该网络模型的准确率。

yolov4算法的原理是将一幅输入图像切分成SxS个网格(grid cell)，如果某个对象的中心落在这个网格中，则这个网格就负责预测这个对象。每个网格要预测B个boundingbox，即预测边框。每个预测边框除了要回归自身的位置之外，还要附带预测一个置信度分数值。这个置信度分数代表了所预测的边框中含有对象的置信度和这个边框预测的有多准这两重信息，其值计算原理是：其中如果有对象落在一个网格里，第一项取1，否则取0。第二项是预测的bounding box和实际的ground truth之间的IoU值(IoU值即预测边框和实际边框的交集与并集的比值)。每个bounding box要预测边框的宽高以及中心点坐标，一般使用四维向量(x,y,w,h)表示，还要预测置信度分数一共5个值，每个网格还要预测一个类别信息，记为C类。则SxS个网格中，每个网格要预测B个bounding box之外，还要预测C个类别。输出就是S x S x(5*B+C)的一个张量tensor，然后经过多个全连接层对应要检测的目标的类别数。

训练好的算法模型既可部署于云服务器中，也可部署于jetson nano或tx2这类边缘设备中实现对目标的实时检测。

另外，在判定人与带电设备之间的距离过小时，还需要将相关的识别数据存储到数据库中，以便于识别训练。

本实施例提供了一种配电施工现场带电设备及其带电区域识别方法，通过获取配电施工现场周边的实时视频解码出的图像，构建配电施工现场作业地段环境的三维地图，并对解码出的图像采用目标检测模型检测图像中的目标，在经过目标过滤以及目标识别之后获取图像中人和带电区域的ROI区域，然后根据人和带电区域的ROI区域获取其在三维地图中的三维坐标，在去掉高度信息之后，根据余下的二维坐标值重新映射至二维水平地图中，然后在二维水平地图中计算人和带电设备之间的距离，从而判断作业人员在配电施工现场的安全风险。本方法利用神经网络识别技术，自动识别人和带电设备之间的距离，大幅降低了监护人员的劳动强度，提升了维保效率。并且依靠遍布配电施工现场的摄像头，可以获取各个位置的实时视频图像，便于监护人员在监控后台实现统一管理。

以上是对本发明提供的一种配电施工现场带电设备及其带电区域识别方法的实施例进行详细的描述，以下将对本发明提供的一种配电施工现场带电设备及其带电区域识别装置的实施例进行详细的描述。

本发明提供了一种配电施工现场带电设备及其带电区域识别装置，应用于预先训练好的目标检测模型，包括：

图像获取模块，用于获取配电施工现场不同位置的视频流，并对视频流进行解码，得到解码后的图像；

地图构建模块，用于依据解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到配电施工现场的包含多个带电设备的三维地图；

预处理模块，用于对解码后的图像进行预处理；

目标检测模块，用于将经过预处理的图像输入到预先训练好的目标检测模型中，获取目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

目标识别模块，用于依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

三维坐标获取模块，用于基于人和带电设备的ROI区域获取人和带电设备在三维地图中的三维坐标；

安全距离计算模块，用于去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；计算人和带电设备在水平二维地图上的距离，并判断距离是否小于预设安全距离阈值，若是，则发出告警信息。

需要说明的是，预处理模块的预处理过程具体是对解码后的图像进行滤波处理，得到滤波后的图像。滤波处理的目的在于降低图像中的噪点对于目标检测的影响。

为了进一步提升目标识别模块的识别精度，可以增加图像集的规模以便于模型的训练。具体方法是对人和带电设备的ROI区域进行标注；对标注后的人和带电设备的ROI区域进行旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。

图像获取模块基于RTSP方式获取配电施工现场不同位置的视频流。

本实施例提供了一种配电施工现场带电设备及其带电区域识别装置，本装置通过三维地图构建模块，可以基于获取的配电施工现场周边的实时视频解码出的图像，构建配电施工现场作业地段环境的三维地图，并利用目标检测模块对解码出的图像采用目标检测模型检测图像中的目标，在利用目标识别模块经过目标过滤以及目标识别之后获取图像中人和带电区域的ROI区域，然后设置安全距离计算模块根据人和带电区域的ROI区域获取其在三维地图中的三维坐标，在去掉高度信息之后，根据余下的二维坐标值重新映射至二维水平地图中，然后在二维水平地图中计算人和带电设备之间的距离，从而判断作业人员在配电施工现场的安全风险。本装置利用神经网络识别技术，自动识别人和带电设备之间的距离，大幅降低了监护人员的劳动强度，提升了维保效率。并且依靠遍布配电施工现场的摄像头，可以获取各个位置的实时视频图像，便于监护人员在监控后台实现统一管理。

以上是对本发明提供的一种配电施工现场带电设备及其带电区域识别装置的实施例进行详细的描述，以下将对本发明提供的一种计算机存储介质的实施例进行详细的描述。

本实施例提供了一种计算机存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述实施例的一种配电施工现场带电设备及其带电区域识别方法。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种配电施工现场带电设备及其带电区域识别方法，应用于预先训练好的目标检测模型，其特征在于，包括：

获取配电施工现场不同位置的视频流，并对所述视频流进行解码，得到解码后的图像；

依据所述解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到所述配电施工现场的包含多个带电设备的三维地图；

对所述解码后的图像进行预处理；

将经过预处理的图像输入到所述预先训练好的目标检测模型中，获取所述目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

基于所述人和带电设备的ROI区域获取人和带电设备在所述三维地图中的三维坐标；

去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；

计算人和带电设备在所述水平二维地图上的距离，并判断所述距离是否小于预设安全距离阈值。

2.根据权利要求1所述的一种配电施工现场带电设备及其带电区域识别方法，其特征在于，所述对所述解码后的图像进行预处理具体为：

对所述解码后的图像进行滤波处理，得到滤波后的图像。

3.根据权利要求1所述的一种配电施工现场带电设备及其带电区域识别方法，其特征在于，所述预先训练好的目标检测模型为基于YOLO-v4的目标检测模型。

4.根据权利要求3所述的一种配电施工现场带电设备及其带电区域识别方法，其特征在于，所述依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域之后还包括：

对所述人和带电设备的ROI区域进行标注；

对标注后的人和带电设备的ROI区域进行旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。

5.根据权利要求1所述的一种配电施工现场带电设备及其带电区域识别方法，其特征在于，获取配电施工现场不同位置的视频流具体为：

基于RTSP方式获取配电施工现场不同位置的视频流。

6.一种配电施工现场带电设备及其带电区域识别装置，应用于预先训练好的目标检测模型，其特征在于，包括：

图像获取模块，用于获取配电施工现场不同位置的视频流，并对所述视频流进行解码，得到解码后的图像；

地图构建模块，用于依据所述解码后的图像，对配电施工现场的作业地段环境进行地图构建，得到所述配电施工现场的包含多个带电设备的三维地图；

预处理模块，用于对所述解码后的图像进行预处理；

目标检测模块，用于将经过预处理的图像输入到所述预先训练好的目标检测模型中，获取所述目标检测模型检测到的目标的类别、矩形框的坐标值和置信度分数；

目标识别模块，用于依据目标的置信度分数对目标进行过滤，并根据过滤后的目标的类别和矩形框的坐标值得到人和带电设备的ROI区域；

三维坐标获取模块，用于基于所述人和带电设备的ROI区域获取人和带电设备在所述三维地图中的三维坐标；

安全距离计算模块，用于去除人和带电设备的三维坐标中的高度坐标值，并映射至水平二维地图；计算人和带电设备在所述水平二维地图上的距离，并判断所述距离是否小于预设安全距离阈值，若是，则发出告警信息。

7.根据权利要求6所述一种配电施工现场带电设备及其带电区域识别装置，其特征在于，所述预处理模块对所述解码后的图像进行预处理具体为：

所述预处理模块对所述解码后的图像进行滤波处理，得到滤波后的图像。

8.根据权利要求6所述一种配电施工现场带电设备及其带电区域识别装置，其特征在于，所述目标识别模块还用于：

对所述人和带电设备的ROI区域进行标注；

对标注后的人和带电设备的ROI区域进行旋转、镜像、调整亮度和调整对比度，以增加人和带电设备的图集数量。

9.根据权利要求6所述一种配电施工现场带电设备及其带电区域识别装置，其特征在于，所述图像获取模块基于RTSP方式获取配电施工现场不同位置的视频流。

10.一种计算机存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种配电施工现场带电设备及其带电区域识别方法。

Images