CN111985352A - 一种ai前端化的变电站巡检视频实时识别方法及系统 - Google Patents

Abstract

本公开提出了一种AI前端化的变电站巡检视频实时识别方法及系统，包括：至少一固定点相机、至少一机器人相机及AI分析模块；机器人相机安装在变电站巡检机器人上，用于采集变电站巡检机器人巡视路线覆盖区域内设备及环境视频信息；固定点相机分布于变电站设备区内，用于采集变电站设备区内机器人巡检无法到达区域内设备及环境视频信息；AI分析模块对固定点相机、机器人相机所采集的变电站巡检视频实时进行处理，识别并输出设备位置信息，并对采集视频中设备图像信息进行分析处理，在前端实现设备状态的实时跟踪。本公开技术方案，AI分析模块位于前端，采用前端数据处理方式，所采集的视频图像不需要传输至后台，实现了数据处理的及时性。

Description

一种AI前端化的变电站巡检视频实时识别方法及系统

技术领域

本公开属于视频处理技术领域，尤其涉及一种AI前端化的变电站巡检视频实时识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

现有的变电站巡检系统一般采用机器人巡检和固定点监控组合的联合巡检模式，机器人巡检视频及固定点监控视频，通过网络回传站内后台服务器，由变电站运维人员进行人工审阅，工作量大、劳动强度高、受人员业务能力、责任心等主观因素影响较大，经常出现重要视频事件漏报及错报的情况。

随着人工智能技术的应用，出现了一些运行于后台服务器端的视频自动分析的系统，但目前只局限于一些区域闯入，动态物体检测等简单的分析功能，且海量的数据回传后台分析方式，需要稳定高速的网络通道的保证，且数据传输存在时间延迟，势必存在视频分析不及时，无法及时发现巡视视频中的存在的异常情况，从而无法有效保障变电站内设备运行及人员作业的安全。

发明内容

为克服上述现有技术的不足，本公开提供了一种AI前端化的变电站巡检视频实时识别方法及系统，基于深度学习技术，实现变电站巡视视频信息的前端化实时处理，提高巡视视频分析的及时性，保障变电站设备运行及人员作业的安全。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

一方面，公开了基于AI前端化的变电站巡检视频实时识别系统，包括：

至少一固定点相机、至少一机器人相机及AI分析模块；

所述机器人相机安装在变电站巡检机器人上，用于采集变电站巡检机器人巡视路线覆盖区域内设备及环境视频信息；

所述固定点相机分布于变电站设备区内，用于采集变电站设备区内机器人巡检无法到达区域内设备及环境视频信息；

所述AI分析模块对固定点相机、机器人相机所采集的变电站巡检视频实时进行处理，识别并输出设备位置信息，并对采集视频中设备图像信息进行分析处理，在前端实现设备状态的实时跟踪。

进一步的技术方案，还包括云台模块，所述固定点相机及机器人相机分别设置在各自对应的云台模块上；

所述AI分析模块在目标跟踪过程中，将设备的实时位置信息发送给云台模块,调整云台坐标使得设备位于图像中央,并调整相机的焦距，获得抓图设备的细节图像信息，实现设备状态的实时调整。

进一步的技术方案，所述AI分析模块为多个，多个固定点相机分为多组，每组中的固定点相机均连接至对应的AI分析模块。

进一步的技术方案，还包括变电站巡视视频后台，所述变电站巡视视频后台，用于收集各个AI分析模块分析后的设备状态数据，并进行后台的展示和数据关联性的分析。

进一步的技术方案，所述机器人相机连接至对应的AI分析模块，AI分析模块通过无线方式与变电站巡视视频后台通信。

另一方面，还公开了一种AI前端化的变电站巡检视频实时识别方法，包括：

利用固定点相机及机器人相机采集的数据在前端进行样本及模型构建，形成变电设备模型及变电设备状态识别模型；

利用模型对固定点监控相机及机器人巡检视频进行设备目标的检测，其中，基于变电设备模型对巡视视频中设备的识别及定位；

识别到设备后对目标设备进行跟踪，在目标跟踪过程中采集图像精细信息，基于变电设备状态识别模型对巡视视频中设备状态进行识别。

进一步的技术方案，所述样本及模型构建时，采集的数据包括站内设备及设备各种状态的图像数据，对图像数据进行标注，形成变电设备的图像样本库，采用深度学习目标检测算法对样本图像进行训练，形成变电设备模型及变电设备状态识别模型。

进一步的技术方案，还包括识别模型初始化步骤：AI分析模块加载变电设备模型和变电设备状态识别模型。

进一步的技术方案，基于变电设备模型对巡视视频中设备的识别及定位，并输出目标设备在巡检图像中的检测框，包括目标设备中心位置及设备区域的长和宽。

进一步的技术方案，识别到设备后对目标设备进行跟踪，使用KCF方法对目标设备进行跟踪：

(X_t,Y_t,W_t,H_t)＝KCF(R(t_reference))

t_reference＝Floor(t/d_t)×d_t

(X_t,Y_t,W_t,H_t)为t时刻KCF算法跟踪的坐标输出；R(t_reference)为目标检测算法t_reference时刻输出的目标设备的坐标；d_t为目标检测算法的间隔时间，可以取值范围为(单位为秒)：0＜d_t＜∞；Floor为取整的函数；t_reference为t时刻时最近一次目标检测算法的计算时间；该方法每隔dt时间间隔计算一次目标检测识别算法，并作为KCF算法的输入坐标，使用目标检测算法定期更新KCF算法的输入坐标，消除错误跟踪的问题，提高目标跟踪的准确性，同时提高了算法的实时性。

进一步的技术方案，目标检测识别算法采用YOLOV3算法。

以上一个或多个技术方案存在以下有益效果：

本公开技术方案提出了一种AI前端化变电站巡检视频识别方法，构建了AI分析前端化系统，利用深度学习模型量化裁剪技术，降低算法运算复杂度，提升系统的实时性，研制了低功耗高性能的变电巡检视频实时分析硬件系统，实现了变电站机器人及固定点巡检多通道视频的分析功能，采用前端数据处理方式，降低了网络传输压力，提升了数据处理的实时性。

本公开技术方案利用变电设备识别与跟踪协同检测技术，构架关键帧目标检测与非关键帧目标跟踪交互的设备目标检测框架，实现了设备位置的精确识别与实时跟踪，提升了机器人系统视频分析的实时性及机器人巡检作业的效率，提高了算法的实时性能，解决了采用单一目标识别分析计算量巨大、实时性差的问题。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例的系统框架图；

图2为本公开实施例的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

传统电力巡检机器人，受限于前端分析计算能力的不足，需将图像数据回传后台进行分析，该处理方式高度依赖机器人与后台间的网络情况，且分析的实时性无法保证，从而造成设备的危机缺陷无法及时发现，对电网运行带来了很大风险。

本实施例利用前端设备的计算能力，实现了目标检测、设备状态分析的前端化分析，降低了图像视频回传后台对网络带宽的限制，提升了机器人实时分析决策的实时性。

参见附图1所示，本实施例公开了基于AI前端化的变电站巡检视频实时识别系统，至少一固定点相机、至少一机器人相机及AI分析模块；

机器人相机安装在变电站巡检机器人上，用于采集变电站巡检机器人巡视路线覆盖区域内设备及环境视频信息；

固定点相机分布于变电站设备区内，用于采集变电站设备区内机器人巡检无法到达区域内设备及环境视频信息；

AI分析模块对固定点相机、机器人相机所采集的变电站巡检视频实时进行处理，识别并输出设备位置信息，并对采集视频中设备图像信息进行分析处理，在前端实现设备状态的实时跟踪。

在一实施例子中，还包括云台模块，所述固定点相机及机器人相机分别设置在各自对应的云台模块上；

AI分析模块在目标跟踪过程中，将设备的实时位置信息发送给云台模块,调整云台坐标使得设备位于图像中央,并调整相机的焦距，获得抓图设备的细节图像信息，实现设备状态的实时调整。

AI分析模块为多个，多个固定点相机分为多组，每组中的固定点相机均连接至对应的AI分析模块。

在一实施例子中，还包括变电站巡视视频后台，所述变电站巡视视频后台，用于收集各个AI分析模块分析后的设备状态数据，并进行后台的展示和数据关联性的分析。

机器人相机连接至对应的AI分析模块，AI分析模块通过无线方式与变电站巡视视频后台通信。

进一步的说明，该系统的硬件组成主要包括：机器人巡检可见光相机或者是固定点监控相机，嵌入式AI分析模块、机器人云台模块或者是多自由度机械臂，机器人巡检后台。其中：机器人巡检可见光相机与嵌入式AI分析模块通过网络连接，嵌入式AI分析模块通过串口与机器人云台模块连接，机器人巡检可见光相机负责巡检视频的实时采集。

嵌入式AI分析模块负责对视频进行分析处理，并将识别出的设备位置，发送给云台模块，调整云台坐标，实现云台的伺服控制，调整目标到达图像中央，后调整相机焦距，抓图设备的细节图像信息，实现设备状态的实时分析，并回传机器人后台。

基于AI前端化的变电站巡检视频实时识别系统在工作时，包括：

1)采集设备图像样本，进行人工图像标注，标注出图像中的设备区域，训练yoloV3或者ssd等高效的识别模型，并将模型通过网络部署到嵌入式AI分析模块中。

2)巡检机器人运行中，可见光摄像机采集视频信息，嵌入式AI分析模块实时处理视频。

3)当视频中识别到待观测的设备后，嵌入式AI分析模块负责对视频进行分析处理，并将识别出的设备位置；

4)识别设备位置后，为保证云台的伺服控制的实时性，将识别算法切换为跟踪算法，实现设备位置的精确跟踪，并将设备的实时位置信息发送给云台模块，调整云台坐标，实现云台的伺服控制，调整目标到达图像中央，后调整相机焦距，抓图设备的细节图像信息。

5)实现细节图像的智能分析，及时发现巡检图像中的缺陷及问题，并回传巡检后台。

在巡检过程中，巡检后台实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与三维语义地图不一致，若存在，对三维语义地图进行更新。

通过上述步骤实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄。

基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。

其中，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；

当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；

对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。

本实施例设计了一种结合电力设备空间位置关系特征的目标检测算法(不局限于faster-rcnn算法、ssd、yolo等)算法，构建了一种高性能计算资源自动调度方法，提出了一种设备目标检测及跟踪方法，实现了巡检视频实时高效识别，提升了变电设备识别的准确率。

在具体实施中，利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。

巡检后台对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集，具体地，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。

在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据，提升巡检数据的有效性。

R＝0.5*R_position+0.5*R_l

R_position＝cos(C_dx)

R_l＝1-(L-L_x)/L_xL>L_x

R_l＝1L<L_x

其中R为机器人当前巡检数据的执行度，R_position为位置置信度，C_dx是当前机器人末端位置与待检测设备表面法向量间的夹角，cos为余弦计算函数；R_l为光照置信度，在机械臂末端与巡检相机同轴安装光照强度传感器，实现当前光照方向及强度的计算，L为当前光照度，L_x为标准光照度，取值为正常光照条件下的光照度，一般取100000Lux。

在另一实施例子中，参见附图2所示，一种AI前端化的变电站巡检视频实时识别方法，包括：

样本及模型构建步骤：采集站内设备及设备各种状态的图像数据，进行标注，形成变电设备的图像样本库，并采用深度学习目标检测算法对样本图像进行训练，形成变电设备模型及变电设备状态识别模型，变电设备模型用于巡视视频中设备的识别及定位；变电设备状态识别模型用于巡视视频中设备状态的识别；

识别模型初始化步骤：AI分析模块加载变电设备模型和变电设备状态识别模型；

设备识别步骤：AI分析模块启动设备识别服务功能，对固定点监控相机及机器人巡检视频进行设备目标的检测，实现视频中待检测设备实时识别与定位，并输出目标设备在巡检图像中的检测框，包括目标设备中心位置及设备区域的长和宽；

设备目标跟踪步骤：AI分析模块实现目标设备的识别后，为保证目标采集的实时性及准确性，对目标设备进行跟踪，使用KCF方法对目标设备进行跟踪，由于目标跟踪算法存在前景剧烈变化情况下，存在跟踪目标丢失的问题，本专利采用如下方法提升跟踪的准确性。

(X_t,Y_t,W_t,H_t)＝KCF(R(t_reference))

t_reference＝Floor(t/d_t)×d_t

(X_t,Y_t,W_t,H_t)为t时刻KCF算法跟踪的坐标输出；R(t_reference)为目标检测算法t_reference时刻输出的目标设备的坐标；d_t为目标检测算法的间隔时间，可以取值范围为(单位为秒)：0＜d_t＜∞；Floor为取整的函数；t_reference为t时刻时最近一次目标检测算法的计算时间；该方法每隔dt时间间隔计算一次目标检测识别算法，并作为KCF算法的输入坐标，使用目标检测算法定期更新KCF算法的输入坐标，消除错误跟踪的问题，提高目标跟踪的准确性，同时提高了算法的实时性。

图像精细采集步骤：在目标跟踪过程中，通过并将设备的实时位置信息发送给云台模块,调整云台坐标使得设备位于图像中央,并调整相机的焦距，获得抓图设备的细节图像信息。

设备状态识别步骤：AI分析模块启动变电设备状态识别服务，实现对设备细节图像的智能分析，完成识别状态的实时获取，并回传变电站巡视视频后台。

目标识别算法采用YOLOV3算法，目标跟踪算法使用KCF目标跟踪算法。

目标跟踪算法，构架关键帧目标检测与非关键帧目标跟踪交互的设备目标检测框架，利用深度学习模型量化裁剪技术，降低算法运算复杂度，提升系统的实时性。

AI分析模块采用高性能计算资源自动调度方法，实现了变电站机器人及固定点巡检多通道视频的分析功能。

当有多路视频分析处理时，要保证分析的实时性，需一种高性能计算资源自动调度方法，该方面描述如下：

(1)动态监测当前的待识别视频数量

(2)查看当前显卡资源的使用情况

(3)当发现有空闲显卡后，分配识别任务到空闲显卡

(4)当发现没有空闲显卡时，启动轮训分析模式(多路视频帧交替使用显卡资源)，交替实现多路视频的处理，提升视频分析的实时性和有效性。

本公开技术方案提出的AI分析模块位于前端，采用前端数据处理方式，机器人巡检采集的视频图像数据不需要传输至后台，降低了网络传输压力，提升了数据处理的实时性。

本公开技术方案利用周期性目标识别与目标跟踪算法的融合，实现了设备位置的精确识别与实时跟踪，避免了采用单一目标识别分析计算量巨大，且机器人对载荷和载荷的功耗要求较高的问题。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于AI前端化的变电站巡检视频实时识别系统，其特征是，包括：

至少一固定点相机、至少一机器人相机及AI分析模块；

所述机器人相机安装在变电站巡检机器人上，用于采集变电站巡检机器人巡视路线覆盖区域内设备及环境视频信息；

所述固定点相机分布于变电站设备区内，用于采集变电站设备区内机器人巡检无法到达区域内设备及环境视频信息；

所述AI分析模块对固定点相机、机器人相机所采集的变电站巡检视频实时进行处理，识别并输出设备位置信息，并对采集视频中设备图像信息进行分析处理，在前端实现设备状态的实时跟踪。

2.如权利要求1所述的基于AI前端化的变电站巡检视频实时识别系统，其特征是，还包括云台模块，所述固定点相机及机器人相机分别设置在各自对应的云台模块上；

所述AI分析模块在目标跟踪过程中，将设备的实时位置信息发送给云台模块,调整云台坐标使得设备位于图像中央,并调整相机的焦距，获得抓图设备的细节图像信息，实现设备状态的实时调整。

3.如权利要求1所述的基于AI前端化的变电站巡检视频实时识别系统，其特征是，所述AI分析模块为多个，多个固定点相机分为多组，每组中的固定点相机均连接至对应的AI分析模块。

4.如权利要求1所述的基于AI前端化的变电站巡检视频实时识别系统，其特征是，还包括变电站巡视视频后台，所述变电站巡视视频后台，用于收集各个AI分析模块分析后的设备状态数据，并进行后台的展示和数据关联性的分析。

5.如权利要求4所述的基于AI前端化的变电站巡检视频实时识别系统，其特征是，所述机器人相机连接至对应的AI分析模块，AI分析模块通过无线方式与变电站巡视视频后台通信。

6.一种AI前端化的变电站巡检视频实时识别方法，其特征是，包括：

利用固定点相机及机器人相机采集的数据在前端进行样本及模型构建，形成变电设备模型及变电设备状态识别模型；

利用模型对固定点监控相机及机器人巡检视频进行设备目标的检测，其中，基于变电设备模型对巡视视频中设备的识别及定位；

识别到设备后对目标设备进行跟踪，在目标跟踪过程中采集图像精细信息，基于变电设备状态识别模型对巡视视频中设备状态进行识别。

7.如权利要求6所述的一种AI前端化的变电站巡检视频实时识别方法，其特征是，所述样本及模型构建时，采集的数据包括站内设备及设备各种状态的图像数据，对图像数据进行标注，形成变电设备的图像样本库，采用深度学习目标检测算法对样本图像进行训练，形成变电设备模型及变电设备状态识别模型。

8.如权利要求6所述的一种AI前端化的变电站巡检视频实时识别方法，其特征是，还包括识别模型初始化步骤：AI分析模块加载变电设备模型和变电设备状态识别模型。

9.如权利要求6所述的一种AI前端化的变电站巡检视频实时识别方法，其特征是，基于变电设备模型对巡视视频中设备的识别及定位，并输出目标设备在巡检图像中的检测框，包括目标设备中心位置及设备区域的长和宽。

10.如权利要求6所述的一种AI前端化的变电站巡检视频实时识别方法，其特征是，识别到设备后对目标设备进行跟踪，使用KCF方法对目标设备进行跟踪：

(X_t,Y_t,W_t,H_t)＝KCF(R(t_reference))

t_reference＝Floor(t/d_t)×d_t

(X_t,Y_t,W_t,H_t)为t时刻KCF算法跟踪的坐标输出，R(t_reference)为目标检测算法t_reference时刻输出的目标设备的坐标；

每隔d_t时间间隔计算一次目标检测识别算法，并作为KCF算法的输入坐标，使用目标检测算法定期更新KCF算法的输入坐标。

Images