CN115797824A - 一种基于人工智能的无人机电力施工违章识别方法和装置 - Google Patents

Abstract

本申请公开了一种基于人工智能的无人机电力施工违章识别方法和装置，涉及电力巡查领域。方法包括：利用目标检测模型对无人机采集的视频图像进行目标检测，得到目标检测结果；若根据目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对视频图像进行违章识别，得到违章检测结果；若根据违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息，实现基于人工智能自动检测违章类别和违章告警，提高电力巡查的效率和准确性。

Description

一种基于人工智能的无人机电力施工违章识别方法和装置

技术领域

本申请涉及电力巡查领域，尤其涉及一种基于人工智能的无人机电力施工违章识别方法和装置。

背景技术

随着经济的迅猛，电力需求旺盛，电力工程产业得到了快速发展与进步，电力供应也是基础民生工程，为保证电力安全稳定，需要定期进行电力巡查、开展检修维护、建设施工等，工作量巨大，电力检修施工过程中难免会遇到各种各样的问题，存在在很多安全隐患，为保证安全作业，现场安全管控非常重要。

当前的安全管控方式，主要是安监人员在现场开展安全监察，工作强度较大。而且在高温、强光等天气不佳的情况下，很难对登高作业开展监护，现场也容易受视角或者场地限制，无法及时发现违规情况，也较难对现场开展全方面管控。

发明内容

本申请实施例提供了一种基于人工智能的无人机电力施工违章识别方法和装置，可以解决现有技术中电力施工安全检查存在效率较低和准确性不高的问题。所述技术方案如下：

第一方面，本申请实施例提供了一种基于人工智能的无人机电力施工违章识别方法，所述方法包括：

通过摄像头采集电力设施的视频流；

根据预设频率在所述视频流中截取视频图像；

利用目标检测模型对所述视频图像进行目标检测，得到目标检测结果；

若根据所述目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对所述视频图像进行违章识别，得到违章检测结果；

若根据所述违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在所述视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息；

向控制设备推送包含叠加后的视频图像的视频流。

第二方面，本申请实施例提供了一种基于人工智能的无人机电力施工违章识别装置，所述装置包括：

采集单元，用于通过摄像头采集电力设施的视频流；

截取单元，用于根据预设频率在所述视频流中截取视频图像；

目标检测单元，用于利用目标检测模型对所述视频图像进行目标检测，得到目标检测结果；

违章识别单元，用于若根据所述目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对所述视频图像进行违章识别，得到违章检测结果；

提醒单元，用于若根据所述违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在所述视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息；

推送单元，用于向控制设备推送包含叠加后的视频图像的视频流。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种无人机，可包括：摄像头、处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

(1)从空中对作业现场进行安全管控，可以有效解决安监人员视觉受限的问题，特别是高空作业的安全管控，可以对电力施工违章进行及时告警，降低安全风险。

(2)相比人工安全管控，通过无人机和人工神经网络识别违章类别，降低了管理成本，提高了安检效率，减轻人员负担，提升了作业的安全性，减少违章造成的人财损失。

(3)安监人员只需要简单控制无人机，对施工现场开展巡视，就可以在监控界面上实时看查看违章隐患，并自动播放语音告警，提高安监管理的工作效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的系统架构示意图；

图2是本申请实施例提供的基于人工智能的无人机电力施工违章识别方法的流程示意图；

图3是本申请提供的一种基于人工智能的无人机电力施工违章识别装置的结构示意图；

图4是本申请提供的一种无人机的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

需要说明的是，本申请提供的基于人工智能的无人机电力施工违章识别方法一般由无人机执行，相应的，基于人工智能的无人机电力施工违章识别装置一般设置于无人机中。

图1示出了可以应用于本申请的基于人工智能的无人机电力施工违章识别方法或基于人工智能的无人机电力施工违章识别装置的示例性系统架构。

如图1所示，系统架构可以包括：控制设备101、无人机102和电力设施103。控制设备101和无人机102之间可以通过网络进行通信，网络用于上述各个单元之间提供通信链路的介质。网络可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆等，无线通信链路包括蓝牙通信链路、无线保真(WIreless-FIdelity，Wi-Fi)通信链路或微波通信链路等。

其中，控制设备103用于控制无人机102进行飞行，无人机102也支持自动巡航模式，无人机102对电力设施103(杆塔、电力传输线等)进行巡航，通过摄像头对电力设施103实时采集视频流，通过视频流中的视频图像进行目标检测和违章识别，得到违章类别，通过违章类别播放对应的告警音频数据，以及在视频图像中叠加违章类别对应的标记框和违章描述信息，将叠加处理后的视频流推送到控制设备103的显示单元进行显示。

控制设备101是具有显示屏的各种设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等等。

显示设备显示可以是各种能实现显示功能的设备，摄像头用于采集视频流；例如：显示设备可以是阴极射线管显示器(cathode ray tube display，简称CR)、发光二极管显示器(light-emitting diode display，简称LED)、电子墨水屏、液晶显示屏(liquidcrystal display，简称LCD)、等离子显示面板(plasma display panel，简称PDP)等。用户可以利用控制设备上的显示设备，来查看显示的文字、图片、视频等信息。

应理解，图1中的控制设备、电力设施网络和无人机的数目仅是示意性的。根据实现需要，可以是任意数量的控制设备、电力设施、网络和无人机。

下面将结合附图2，对本申请实施例提供的基于人工智能的无人机电力施工违章识别方法进行详细介绍。其中，本申请实施例中的基于人工智能的无人机电力施工违章识别装置可以是图1所示的无人机。

请参见图2，为本申请实施例提供了一种基于人工智能的无人机电力施工违章识别方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：

S201、通过摄像头采集电力设施的视频流。

其中，电力设施一般具有较大的高度，用户在电力设施上进行高空作业，例如：杆塔、电力传输线或发电风车等电力设施上。无人机在起飞后，根据预设的巡视航线对电力施工现场进行巡查，在巡查过程中，无人机通过自带的摄像头实时采集视频流，实现无人机的自动巡查。或者，无人机在起飞后，根据控制设备的飞行控制指令，控制无人机对电力施工现场，利用自带的摄像头实时采集视频流，实现由用户控制无人机来进行手动巡查。

在一些实施例中，控制设备通过显示单元显示电力设施的3D结构图，然后基于用户的选择指令在3D结果图上按照一定顺序依次选择多个巡视点，然后配置各个巡视点的经度、纬度和海拔高度，然后对于每个巡视点配置多个航点的云台角度和机头方向，例如：每个巡视点设置7个航点，各个航点的属性值分别为：第1个航点，云台角度为-90°机头方向不变；第2个航点，云台角度为-45°，机头方向不变；第3个航点，云台角度为-45°，机头方向0°；第4个航点，云台角度为-45°，机头方向0°；第5个航点，云台角度为-45°，机头方向90°；第6个航点，云台角度为-45°，机头方向180°；第7个航点，云台角度为-45°，机头方向-90°。配置完成后，控制设备上述配置信息发送给无人机，无人机起飞后，根据巡视点顺序，组装各个航点生成巡视航线，然后根据巡视航线进行自动巡查。

在一些实施例中，为了提高无人机的滞空时间，无人机可以利用线缆与地面设置的电源进行连接，相对于内置的锂电池供电，可以提高无人机的续航时间。

S202、根据预设频率在视频流中截取视频图像。

其中，视频流由多个视频图像组成，无人机在采集的视频图像中根据预设频率提取视频图像，预设频率可以根据无人机的硬件能力来决定，本申请不作限制，例如：预设频率为1秒每次或10帧每次。

S203、利用目标检测模型对视频图像进行目标检测，得到目标检测结果。

其中，目标检测模型为利用样本集训练后的人工神经网络，人工神经网络可以是卷积神经网络或YOLO网络等，利用目标检测模型的各个层对视频图像进行目标检测，识别出视频图像中是否存在指定目标，然后输出目标检测结果。目标检查结果包括如下情况：用户佩戴有劳保工具和/或携带有作业工具、用户未佩戴劳保工具。

S204、若目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对视频图像进行违章识别，得到违章检测结果。

其中，若目标检测结果表示用户佩戴有劳保工具、用户携带有作业工具、用户佩戴有劳保工具的同时也携带有作业工具。劳保工具包括但不限于：头盔、手套、安全笼或防护服等，作业工具包括但不限于：电力仪器、电力工具等。违章分类模型也是一种训练好的人工神经网络，该人工神经网络起分类器的作用，该人工神经网络可以为STN(SpatialTransformer Network，空间变换网络)，利用违章分类模型的各个层对视频图像中的目标区域进行检测得到违章检测结果，违章检测结果包括如下情况：未违章、劳保工具佩戴不规范、作业工具未固定、劳保工具佩戴不规范以及作业工具未固定，其中后3种属于违章情形的违章类别。

S205、若违章检测结果表示劳保工具佩戴不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放告警录音数据，在视频图像中叠加劳保工具和/或作业工具的标记框，以及叠加违章描述信息。

例如：若违章检测结果表示头盔佩戴不规范，则获取该违章类别对应的告警录音数据，无人机通过扬声器播放告警录音数据“作业人员未正确佩戴头盔，请立即纠正！”，以及在视频图像中使用红色标记框将该作业人员进行标记，以及在视频图像中叠加上述语音播放的文字内容。

若违章检测结果表示扳手未固定，则获取该违章类别对应的告警录音数据，则获取该违章类别对应的告警录音数据，无人机通过扬声器播放告警录音数据“作业人员未将扳手固定，请立即纠正”，以及在视频图像中使用红色标记框对扳手进行标记，以及在视频图像中叠加上述语音播放的文字内容。

若违章类别的数量为多个，则分别获取各个违章类别对应的告警录音数据，根据一定的顺序依次播放告警录音数据，以及分别对视频图像叠加各个违章类别对应的标记框和违章描述信息。

S206、向控制设备推送包含叠加后的视频图像的视频流。

其中，无人机向控制设备推送采集的视频流，视频流中包括叠加处理的视频图像，这样控制人员可以在控制设备上查看违章类别的标记框和位置类型信息。无人机获取S202截图的视频图像在视频流中的位置，根据该位置将叠加后的视频图像插入到视频流中，插入完成后，将该视频流推送到控制设备的显示单元上进行显示，这样安监人员可以在显示单元上查看到叠加的标记框和违章描述信息。进一步的，无人机在推送视频流之前，可以对视频流进行压缩处理，以节省无人机和控制设备之间的通信带宽，提高数据传输效率。

在一个或多个可能的实施例中，若目标检测结果表示作业人员未佩戴劳保工具，获取该违章类别对应的告警录音数据，以及通过扬声器播放该告警录音数据，在视频图像中对该作业人员叠加标记框和违章描述信息。

例如：目标检测结果表示作业人员为佩戴头盔，则获取该违章类别对应的告警录音数据，无人机通过扬声器播放该告警录音数据“作业人员未佩戴头盔，请立即佩戴！”，在视频图像中使用红色标记框对未佩戴头盔的作业人员进行标记，以及在视频图像中叠加上述语音播放的文字内容。

在一个或多个可能的实施例中，在无人机利用扬声器播放告警录音数据时，可以将该告警录音数据拷贝一份，然后将副本推送到控制设备上进行播放，以便安监人员了解作业现场的情况，或者无人机利用麦克风对作业线程采集音频流，将音频流推送到控制设备上进行播放。

其中，若无人机根据采集的视频图像确定用户正确佩戴劳保工具和对作业工具进行固定时，停止语音告警。

本申请的实施例通过无人机对电力设施的作业现场进行巡查，自动识别出违章类别和对位置类别进行语音告警和视频监控，具有如下有益效果：(1)从空中对作业现场进行安全管控，可以有效解决安监人员视觉受限的问题，特别是高空作业的安全管控，可以对电力施工违章进行及时告警，降低安全风险。(2)相比人工安全管控，通过无人机和人工神经网络识别违章类别，降低了管理成本，提高了安检效率，减轻人员负担，提升了作业的安全性，减少违章造成的人财损失。(3)安监人员只需要简单控制无人机，对施工现场开展巡视，就可以在监控界面上实时看查看违章隐患，并自动播放语音告警，提高安监管理的工作效率。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参见图3，其示出了本申请一个示例性实施例提供的基于人工智能的无人机电力施工违章识别装置的结构示意图，以下简称装置3。该装置3可以通过软件、硬件或者两者的结合实现成为无人机的全部或一部分。装置3包括：采集单元301、截取单元302、违章识别单元303、提醒单元304、推送单元305。

采集单元301，用于通过摄像头采集电力设施的视频流；

截取单元302，用于根据预设频率在所述视频流中截取视频图像；

目标检测单元，用于利用目标检测模型对所述视频图像进行目标检测，得到目标检测结果；

违章识别单元303，用于若根据所述目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对所述视频图像进行违章识别，得到违章检测结果；

提醒单元304，用于若根据所述违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在所述视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息；

推送单元305，用于向控制设备推送包含叠加后的视频图像的视频流。

在一个或多个可能的实施例中，提醒单元304还用于：若根据所述目标检测结果表示作业人员未佩戴劳保工具，根据违章类别获取对应告警录音数据，通过扬声器播放该告警录音数据，以及在所述视频图像中为未佩戴劳保工具的作业人员叠加标记框；

推送单元305，还用于向控制设备推送包含叠加后的视频图像的视频流。

在一个或多个可能的实施例中，目标检测模型为YOLO网络，违章分类模型为STN。

在一个或多个可能的实施例中，所述通过摄像头采集电力设施的视频流，包括：

根据预设的多个巡视点和各个巡视点配置的航点，生成巡查航线；

根据所述巡查航线对电力设施进行巡查，以及在巡查过程中通过摄像头实时采集视频流。

在一个或多个可能的实施例中，所述通过摄像头采集电力设施的视频流，包括：

接收来自控制设备的飞行控制指令；

基于所述飞行控制指令对电力设施进行巡查，以及在巡查过程中通过摄像头实时采集视频流。

在一个或多个可能的实施例中，所述向控制设备推送包含叠加后的视频图像的视频流，包括：

将叠加后的视频图像插入到所述视频流中；

将所述视频流进行压缩后推送给控制设备。

在一个或多个可能的实施例中，还包括：

推送单元305，还用于将告警录音数据进行拷贝，以及将拷贝的副本发送到控制设备上进行播放。

需要说明的是，上述实施例提供的装置3在执行基于人工智能的无人机电力施工违章识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成上述的全部或者部分功能。另外，上述实施例提供的基于人工智能的无人机电力施工违章识别装置与基于人工智能的无人机电力施工违章识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2所示实施例的方法步骤，具体执行过程可以参见图2所示实施例的具体说明，在此不进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的基于人工智能的无人机电力施工违章识别方法。

请参见图4，为本申请实施例提供了一种无人机的结构示意图。如图4所示，所述无人机400可以包括：至少一个处理器401，至少一个网络接口404，摄像头403，存储器405，至少一个通信总线402。

其中，通信总线402用于实现这些组件之间的连接通信。

其中，摄像头403用于实时采集视频流。

其中，无人机401还包括马达、机体、姿态传感器等，图4中未画出。

其中，网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，用于与控制设备进行通信。

其中，处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接整个无人机400内的各个部分，通过运行或执行存储在存储器405内的指令、程序、代码集或指令集，以及调用存储在存储器405内的数据，执行无人机400的各种功能和处理数据。可选的，处理器401可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器401可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器401中，单独通过一块芯片进行实现。

其中，存储器405可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器405包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示，作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。

在图4所示的无人机400中，用户接口403主要用于为用户提供输入的接口，获取用户输入的数据；而处理器401可以用于调用存储器405中存储的应用程序，并具体执行如图2所示的方法，具体过程可参照图2所示，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (8)

1.一种基于人工智能的无人机电力施工违章识别方法，其特征在于，包括：

通过摄像头采集电力设施的视频流；

根据预设频率在所述视频流中截取视频图像；

利用目标检测模型对所述视频图像进行目标检测，得到目标检测结果；

若根据所述目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对所述视频图像进行违章识别，得到违章检测结果；

若根据所述违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在所述视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息；

向控制设备推送包含叠加后的视频图像的视频流。

2.根据权利要求1所述的方法，其特征在于，还包括：

若根据所述目标检测结果表示作业人员未佩戴劳保工具，根据违章类别获取对应告警录音数据，通过扬声器播放该告警录音数据，以及在所述视频图像中为未佩戴劳保工具的作业人员叠加标记框；

向控制设备推送包含叠加后的视频图像的视频流。

3.根据权利要求1或2所述的方法，其特征在于，目标检测模型为YOLO网络，违章分类模型为STN。

4.根据权利要求3所述的方法，其特征在于，所述通过摄像头采集电力设施的视频流，包括：

根据预设的多个巡视点和各个巡视点配置的航点，生成巡查航线；

根据所述巡查航线对电力设施进行巡查，以及在巡查过程中通过摄像头实时采集视频流。

5.根据权利要求3所述的方法，其特征在于，所述通过摄像头采集电力设施的视频流，包括：

接收来自控制设备的飞行控制指令；

基于所述飞行控制指令对电力设施进行巡查，以及在巡查过程中通过摄像头实时采集视频流。

6.根据权利要求4或5所述的方法，其特征在于，所述向控制设备推送包含叠加后的视频图像的视频流，包括：

将叠加后的视频图像插入到所述视频流中；

将所述视频流进行压缩后推送给控制设备。

7.根据权利要求6所述的方法，其特征在于，还包括：

将告警录音数据进行拷贝，以及将拷贝的副本发送到控制设备上进行播放。

8.一种基于人工智能的无人机电力施工违章识别装置，其特征在于，包括：

采集单元，用于通过摄像头采集电力设施的视频流；

截取单元，用于根据预设频率在所述视频流中截取视频图像；

目标检测单元，用于利用目标检测模型对所述视频图像进行目标检测，得到目标检测结果；

违章识别单元，用于若根据所述目标检测结果表示作业人员佩戴有劳保工具和/或携带有作业工具，利用违章分类模型对所述视频图像进行违章识别，得到违章检测结果；

提醒单元，用于若根据所述违章检测结果表示作业人员佩戴劳保工具不规范和/或作业工具未固定，获取与违章类别匹配的告警录音数据，以及通过扬声器播放该告警录音数据，在所述视频图像中叠加劳保工具和/或作业工具的标记框和违章描述信息；

推送单元，用于向控制设备推送包含叠加后的视频图像的视频流。

Images