CN109638959B - 基于ar和深度学习的电力设备遥信功能调试方法及系统 - Google Patents

Abstract

本发明公开了一种基于AR和深度学习的电力设备遥信功能调试方法及系统。本发明将增强现实技术有机融入到遥信功能调试工作中，借助AR智能眼镜和可发光定制化导线，结合基于深度学习YOLOv3算法的图像识别技术，实现融合信号触发识别、远程画面调阅、电子成像及语音提示等功能的遥信功能单人调试技术。本发明结合深度学习技术，具有较好的识别结果，AR摄像头从不同角度，不同的距离对目标进行识别都能够取得较好的识别效果，而且能够做到实时性，准确率高，能够满足工业检测的应用需求。

Description

基于AR和深度学习的电力设备遥信功能调试方法及系统

技术领域

本发明属于电力工程调试领域，具体地说是一种基于AR和深度学习的电力设备遥信功能调试方法及系统。

背景技术

随着自动化技术的快速发展，为满足一体化监视和控制的要求，监控系统采集的各类量测信号越来越多。为保证监控系统采集信息的正确性，需开展大量的遥信核对验证工作。作为控制系统调试中的重要工作之一，遥信核对验证工作按现有调试工具和手段存在诸多不便，急需引进新技术和新工具以提升调试效率。

近年来，随着图像识别技术和计算机技术的不断变革，增强现实（AugmentedReality，简称AR）技术得到了快速发展。这种技术于1990年被提出，是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。借助于便携式可移动的终端载体，移动增强现实继承了三维注册、实时交互和虚实融合的特点，实现轻巧且便于携带的增强现实体验。类似于AR智能眼镜的智能穿戴设备以其“解放双手、高效交互、辅助决策”的新兴应用辅助理念，不仅得到消费级市场的热捧，在行业应用领域也崭露头角，不断有新颖实用的应用出现，使各行各业人员的工作效率得到提升。

当前已有国内研究机构着手开展AR技术在电力系统领域的应用研究，并且取得了一定的研究成果。如国网湖北省电力有限公司检修公司针对电力设备巡检环境复杂、效率低、巡检数据统计不完善等问题，提出了一种将AR智能眼镜技术应用于电力设备巡检的方法。利用AR技术，将标准操作范围图像或视频与巡检对象进行无缝贴合，使巡检人员在复杂精密设备中迅速找到指定对象，有效完成智能巡检。此外，AR技术在电力行业中更多地应用于电力规划与设计、电力营销、培训、传媒等方面，已有一定研究基础但是应用范围并不宽泛。

发明内容

本发明的目的是提供一种基于AR和深度学习的电力设备遥信功能调试方法，其将增强现实技术有机融入到遥信功能调试工作中，借助AR智能眼镜和可发光定制化导线，结合基于深度学习YOLOv3算法的图像识别技术，实现融合信号触发识别、远程画面调阅、电子成像及语音提示等功能的遥信功能单人调试技术。

为此，本发明采用如下的技术方案：基于AR和深度学习的电力设备遥信功能调试方法，其包括：

1）屏柜端子排识别和标记

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；

2）操作员短接动作识别和记录

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

作为上述电力设备遥信功能调试方法的补充，为提升对端子排信息识别的准确率，具体方法为：先通过AR设备实时获取现实世界的图像，捕捉到的图像再实时送至GPU进行处理，通过预先训练好的深度学习模型，对获得的图像进行识别检测。

作为上述电力设备遥信功能调试方法的补充，为识别图像中插线孔位的定位，需要得到已插线孔位旁的序号，得到序号之后，再与后台数据库中的正确插线序号进行对比，自动检查并发现设备出现的异常，将检测出的结果通过语音提示“插线正确/插线错误”或通过AR设备叠加图像显示提示信息。

作为上述电力设备遥信功能调试方法的补充，所述的深度学习模型选择YOLOv3算法作为算法核心，算法准备需采集大量待识别图像，让摄像头从不同角度、不同距离拍摄样本，拍完视频之后，再将电笔插入到其他孔位中，再继续拍摄，最终拍摄完所有的视频，电笔应将所有的孔位都插过。

作为上述电力设备遥信功能调试方法的补充，拍摄完所有视频之后，接着在视频中按一定间隔时间提取出图片，这样便将视频文件转化为图片文件；再将提取出的图片用LabelImg工具进行标记，再对其他剩余图片做相同的操作，生成xml文件后，将其置于YOLOv3算法中进行训练，训练结束后会得到冷冻的模型文件，里面包含众多的权重系数，至此，导出的模型文件将会被用于之后的图像检测。

本发明提出一种基于AR应用的遥信功能单人调试技术，结合深度学习技术，具有较好的识别结果，AR摄像头从不同角度，不同的距离对目标进行识别都能够取得较好的识别效果，而且能够做到实时性，准确率高，能够满足工业检测的应用需求。相对于传统借助对讲机口头确认设备信息和状态，本发明借助AR设备，实现了单人调试设备这一技术。

本发明的另一目的是提供一种基于AR和深度学习的电力设备遥信功能调试系统，其包括：

1）屏柜端子排识别和标记模块

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；

2）操作员短接动作识别和记录模块

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅模块

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读模块

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

根据大样本测试结果的分析，本发明系统很少有误识别的情况存在，识别准确率可以达到98.3%。同时，整体系统优化较好，在客户端和服务器进行协同测试时，CPU占用率为67%，资源占用率较低，系统帧速为30帧，基本为满帧速运行，相对流畅。由此可见，相较于传统的采用opencv通过判断颜色状态、直线检测等方式来判断图片状态的方法，本发明系统能够更好地克服光照、拍摄距离、角度等不利因素，识别准确率更高，应用场景更加广泛。

附图说明

图1为本发明待调试电力设备屏柜端子排示意图；

图2为本发明识别屏柜端子排信息的原理框图；

图3为本发明使用LabelImg工具进行标记的示意图；

图4-5为本发明基于YOLOv3实现的识别效果图。

具体实施方式

下面结合实施例和说明书附图来对本发明进行进一步说明，但本发明的保护范围不限于下述实施例。在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和变更，都落入本发明的保护范围。

实施例1

本实施例提供一种基于AR和深度学习的电力设备遥信功能调试方法，其包括：

1）屏柜端子排识别和标记

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；

2）操作员短接动作识别和记录

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读功能

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

如图2所示，为基于AR应用的遥信功能单人调试技术框架，先通过AR设备实时获取现实世界的图像，捕捉到的图像再实时送至GPU进行处理，通过预先训练好的深度学习模型，对获得的图像进行识别检测。

本发明主要是要识别到图1中插线孔位的定位识别，即需要得到已插线孔位旁的序号，得到序号之后，再与后台数据库中的正确插线序号进行对比，这样便能够自动检查并发现设备出现的异常，最后为信息提示环节，将检测出的结果通过语音提示“插线正确/插线错误”或通过AR设备叠加图像显示提示信息，从而能够杜绝人工检查的错误。

在上述步骤中，在对图像进行识别检测之前，需要预先训练好深度学习模型，本发明选择YOLOv3算法作为算法核心。算法准备需采集大量待识别图像，通常会让摄像头从不同角度，不同距离拍摄样本，拍完视频之后，再将电笔插入到其他孔位中，再继续拍摄，最终拍摄完所有的视频，电笔应将所有的孔位都插过。

相对于R-CNN、Fast R-CNN、SSD等已有算法，YOLOv3算法是目前目标检测算法中检测速度和准确率都很优秀的算法，在相同的硬件条件下，YOLOv3比R-CNN快1000倍，比FastR-CNN快100倍，在准确率方面，YOLOv3要比SSD更高。在经过YOLOv3算法训练后，会得到冷冻的模型文件，里面包含了众多的权重系数，之后导出模型文件将会被用于YOLOv3图像识别算法中。

拍摄完所有视频之后，接着在视频中按一定间隔时间提取出图片，这样便将视频文件转化为图片文件。再将提取出的图片用LabelImg工具进行标记，如图3标记图片所示，以这张图片为例，使用LabelImg工具对其进行标记，分别标记为“L2”和“R4”，各自代表左方第二个插孔，和右方第四个插孔，再对其他剩余图片做相同的操作，生成xml文件后，将其置于YOLOv3算法中进行训练，训练结束后会得到冷冻的模型文件，里面包含了众多的权重系数，至此，导出的模型文件将会被用于之后的图像检测。基于YOLOv3实现效果如图4和图5所示。

本发明依靠AR设备，实时地将正确的插线通过图像叠加的方式显示给操作人员，免去了后台人员的工作，并且能够检测出当插线出现错误时，通过图像显示和语音播放的形式，提醒工人操作流程出现的错误，使其能够及时改正，改正正确后才能进行下一步巡检操作。本发明基于YOLOv3深度学习算法框架，实现对插线序号的正确识别，节省了人力资源，辅助工人进行设备巡检，减少工人出现漏检、错检的可能，提高工人工作效率，节省了企业成本。

实施例2

本实施例提供一种基于AR和深度学习的电力设备遥信功能调试系统，其包括：

1）屏柜端子排识别和标记模块

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；

2）操作员短接动作识别和记录模块

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅模块

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读模块

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

Claims (6)

1.基于AR和深度学习的电力设备遥信功能调试方法，其特征在于，包括：

1）屏柜端子排识别和标记

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过高亮线条标出和成像对应信息描述方式前置，指引操作员进行下一步操作；

2）操作员短接动作识别和记录

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

2.根据权利要求1所述的电力设备遥信功能调试方法，其特征在于，为提升对端子排信息识别的准确率，具体方法为：先通过AR眼镜实时获取现实世界的图像，捕捉到的图像再实时送至GPU进行处理，通过预先训练好的深度学习模型，对获得的图像进行识别检测。

3.根据权利要求2所述的电力设备遥信功能调试方法，其特征在于，为识别图像中插线孔位的定位，需要得到已插线孔位旁的序号，得到序号之后，再与后台数据库中的正确插线序号进行对比，自动检查并发现设备出现的异常，将检测出的结果通过语音提示“插线正确/插线错误”或通过AR眼镜叠加图像显示提示信息。

4.根据权利要求1所述的电力设备遥信功能调试方法，其特征在于，所述的深度学习模型选择YOLOv3算法作为算法核心，算法准备需采集大量待识别图像，让摄像头从不同角度、不同距离拍摄样本，拍完视频之后，再将电笔插入到其他孔位中，再继续拍摄，最终拍摄完所有的视频，电笔应将所有的孔位都插过。

5.根据权利要求4所述的电力设备遥信功能调试方法，其特征在于，拍摄完所有视频之后，接着在视频中按一定间隔时间提取出图片，这样便将视频文件转化为图片文件；再将提取出的图片用LabelImg工具进行标记，再对其他剩余图片做相同的操作，生成xml文件后，将其置于YOLOv3算法中进行训练，训练结束后会得到冷冻的模型文件，里面包含众多的权重系数，至此，导出的模型文件将会被用于之后的图像检测。

6.基于AR和深度学习的电力设备遥信功能调试系统，其特征在于，包括：

1）屏柜端子排识别和标记模块

借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；

在识别出端子排信息后，在AR眼镜中通过高亮线条标出和成像对应信息描述方式前置，指引操作员进行下一步操作；

2）操作员短接动作识别和记录模块

将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；

AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；

3）监控后台画面调阅模块

支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；

4）智能判读模块

AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。

Images