CN112260402A - 基于视频监控的变电站智能巡检机器人状态的监控方法 - Google Patents

基于视频监控的变电站智能巡检机器人状态的监控方法 Download PDF

Info

Publication number
CN112260402A
CN112260402A CN202011138333.2A CN202011138333A CN112260402A CN 112260402 A CN112260402 A CN 112260402A CN 202011138333 A CN202011138333 A CN 202011138333A CN 112260402 A CN112260402 A CN 112260402A
Authority
CN
China
Prior art keywords
inspection robot
camera
monitoring
state
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011138333.2A
Other languages
English (en)
Other versions
CN112260402B (zh
Inventor
赵小勇
陈钦柱
姚冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Hainan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Hainan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Hainan Power Grid Co Ltd filed Critical Electric Power Research Institute of Hainan Power Grid Co Ltd
Priority to CN202011138333.2A priority Critical patent/CN112260402B/zh
Publication of CN112260402A publication Critical patent/CN112260402A/zh
Application granted granted Critical
Publication of CN112260402B publication Critical patent/CN112260402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H02J13/00022—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment using wireless data transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Abstract

本发明提供一种基于视频监控的变电站智能巡检机器人状态的监控方法，该方法包括：S1.集控中心实时接收巡检机器人位置信息，对于一定时间内未传回位置信息的巡检机器人，标记该巡检机器人状态异常；S2.获取状态异常巡检机器人最后传回的位置信息，根据位置信息在监控地图中查询第一摄像头和第二摄像头，所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头；S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理，检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中，检测一定时间内所采集图像中巡检机器人是否发生移动，对巡检机器人状态进行更新。

Description

基于视频监控的变电站智能巡检机器人状态的监控方法
技术领域
本发明涉及变电站视频监控系统技术领域，尤其涉及一种基于视频监控的变电站智能巡检机器人状态的监控方法。
背景技术
据不完全统计，我国东部发达地区平均每个省拥有5000座变电站，西部地区平均每个省拥有3000座变电站。如此庞大数量的变电站，需要大量的人力进行维护。而近年兴起的变电站巡检机器人有效缓解了变电站的人员需求，特别是偏远地区。然而，目前变电站巡检机器人相关技术还在发展之中，变电站巡检机器人通过无线通信技术与集中控制系统进行交互，当巡检机器人的无线通信模块在工作过程中损坏或者机器人突然掉电，集中控制中心往往只能通过里程计方法推测巡检机器人的最后位置，巡检机器人却可能继续移动或被人工搬运，不利于集中控制中心对巡检机器人的统一管理以及故障的及时处理。而变电站中存在大量的监控摄像头，这部分监控影像资源有待利用和开发。
发明内容
本发明的目的在于提供一种基于视频监控的变电站智能巡检机器人状态的监控方法，利用变电站视频监控资源，实现变电站智能巡检机器人的状态监控，解决变电站巡检机器人在掉电或无线通信模块出现故障导致无法定位和追踪其具体位置的问题。
一种基于视频监控的变电站智能巡检机器人状态的监控方法，包括以下步骤：
S1.集控中心实时接收巡检机器人位置信息，对于一定时间内未传回位置信息的巡检机器人，标记该巡检机器人状态异常；
S2.获取状态异常巡检机器人最后传回的位置信息，根据位置信息在监控地图中查询第一摄像头和第二摄像头，所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头；
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理，检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中，检测一定时间内所采集图像中巡检机器人是否发生移动，对巡检机器人状态进行更新。
进一步的，在所述步骤S1前，还包括步骤：
S01.建立地图坐标原点，记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n))，其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置，第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi)，第i个巡检机器人的巡检地图表示为
Figure BDA0002737467120000021
k为巡检机器人总数。
S02.记录每个监控摄像头相对于地图坐标原点的坐标，根据第i个巡检机器人的巡检地图
Figure BDA0002737467120000022
生成对应的监控地图
Figure BDA0002737467120000023
其中各个监控摄像头的坐标在监控地图中表示为
Figure BDA0002737467120000024
其中k表示在监控地图
Figure BDA0002737467120000025
中第k个监控摄像头的编号；
S03.监控摄像头采集巡检机器人图片，利用机器人图片训练深度检测网络，获得二分类深度检测网络。
进一步的，所述步骤S03具体包括：
S031.监控摄像头采集巡检机器人图片；
S032.对所采集巡检机器人图片进行预处理，生成由矩形绘制的巡检机器人图像的外包围框，获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj，其中j表示所采集的m张图片中的第j张；
S033.通过巡检机器人图片样本集对深度检测网络进行训练，获得二分类深度检测网络net，将巡检机器人图片输入检测网络net，检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
进一步的，所述步骤S3具体包括：
S31.将第一摄像头
Figure BDA0002737467120000031
和第二摄像头
Figure BDA0002737467120000032
所采集图像信息输入二分类深度检测网络(rU,rV)t；
S32.设定像素移动阈值rT，持续检测巡检机器人是否在第一摄像头
Figure BDA0002737467120000033
或第二摄像头
Figure BDA0002737467120000034
中存在，在截止时间s后，得到巡检机器人在摄像头中的像素坐标(rU,rV)t+s，计算像素坐标差值
Figure BDA0002737467120000035
S33、判断rT是否大于E，若rT>E,表示巡检机器人停止运动，判定巡检机器人为掉电状态；若rT<E,判定巡检机器人进行断网离线工作状态，标记巡检机器人状态为离线巡检模式，通过监控摄像头对巡检机器人进行追踪，直至巡检机器人进入掉电状态或重新联网。
进一步的，所述步骤S33中判定巡检机器人为掉电状态后，还包括：
S331.通知相应维修人员到第一摄像头
Figure BDA0002737467120000036
或第二摄像头
Figure BDA0002737467120000037
所在位置处理故障；
S332.每隔w秒对第一摄像头
Figure BDA0002737467120000038
或第二摄像头
Figure BDA0002737467120000039
进行检测，直到所采集图像中检测到维修人员；
S333.检测所采集图片中维修人员像素坐标与巡检机器人像素坐标差值小于预设像素移动阈值hT时，标记相应巡检机器人状态为在库。
进一步的，在步骤S331之前，还包括：
监控摄像头采集变电站现场维修人员图片；
对所采集维修人员图片进行预处理，获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng，其中g表示所采集的f张图片中的第g张；
通过维修人员图片样本集对深度检测网络进行训练，将维修人员图片输入检测网络net，检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。
进一步的，所述步骤S2中根据位置信息在监控地图中查询第一摄像头，位置信息所表示位置与摄像头的最近距离
Figure BDA0002737467120000042
通过式1进行计算，
Figure BDA0002737467120000041
式1表示在第i个监控地图中寻找第k个监控摄像头，该监控摄像头与第i个巡检机器人最后位置的欧氏距离最小。
进一步的，所述检测网络基于darknet深度学习框架，采用107层的yolov3网络实现。
进一步的，所述检测网络运行于视觉服务器，所述视觉服务器包括多台GPU服务器，通过Haproxy均衡器将图像处理任务分发到各个GPU服务器。
与现有技术相比，本发明的有益效果是：
本发明所提供的一种基于视频监控的变电站智能巡检机器人状态的监控方法，当巡检机器人无法传送位置信息时，集控中心会主动调取相关摄像头并获取对应的图片信息，根据多次识别结果判断巡检机器人的工作状态，从而采取相应措施。本发明有效利用了变电站的监控摄像头资源，对巡检机器人进行辅助定位和故障状态判断，有利于对变电站巡检机器人故障进行及时处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的预处理原理示意图。
图2是本发明实施例提供的变电站智能巡检机器人状态监控系统部署原理示意图。
图3是本发明实施例提供的变电站智能巡检机器人状态监控方法整体流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
本发明提供一种基于视频监控的变电站智能巡检机器人状态的监控方法，所述方法包括以下步骤：
S1.集控中心实时接收巡检机器人位置信息，对于一定时间内未传回位置信息的巡检机器人，标记该巡检机器人状态异常。
巡检机器人正常情况下回通过无线通信模块实时反馈其位置信息，集控中心实时接收巡检机器人返回的位置信息，巡检机器人可能会进入掉电状态或者通信功能发生故障，当集控中心在一定时间内无法接收到巡检机器人传回的位置信息时，则标记该巡检机器人状态异常。
S2.获取状态异常巡检机器人最后传回的位置信息，根据位置信息在监控地图中查询第一摄像头和第二摄像头，所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头。
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理，检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中，检测一定时间内所采集图像中巡检机器人是否发生移动，对巡检机器人状态进行更新。
作为一个示例，在步骤S1前还包括以下步骤：
S01.建立地图坐标原点，记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n))，其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置，第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi)，第i个巡检机器人的巡检地图表示为
Figure BDA0002737467120000061
k为巡检机器人总数。
具体的，每个巡检机器人的巡检路线均由工作人员预先设定，该路线由一连串离散点组成，这些离散点是以集控中心为坐标原点的坐标点，是变电站在物理空间的映射，而离散点组成的集合为巡检地图rM∈(rL(1),rL(2),...,rL(n))，表示第i个机器人要完成巡检任务所需要经过的路线。每个巡检机器人的巡检路线不相同。
S02.记录每个监控摄像头相对于地图坐标原点的坐标，根据第i个巡检机器人的巡检地图
Figure BDA0002737467120000062
生成对应的监控地图
Figure BDA0002737467120000063
其中各个监控摄像头的坐标在监控地图中表示为
Figure BDA0002737467120000064
其中k表示在监控地图
Figure BDA0002737467120000065
中第k个监控摄像头的编号。
具体的，对于不同的巡检路线，对应不同的监控摄像头，因此不同的巡检地图
Figure BDA0002737467120000066
也存在一组与其对应的监控地图
Figure BDA0002737467120000067
监控地图中摄像头的坐标
Figure BDA0002737467120000068
是根据以集控中心为原点，结合变电站设计图纸进行标记所得。巡检机器人的巡检路线由巡检地图决定，因此对于每个巡检地图，可以预先选择巡检路线中所需要经过的监控摄像头，从而组成监控地图。
S03.监控摄像头采集巡检机器人图片，利用机器人图片训练深度检测网络，获得二分类深度检测网络。
所述步骤S03具体包括：
S031.监控摄像头采集巡检机器人图片。
一些实施方式中，监控摄像头可以是先采集巡检机器人一定时长的工作视频，每个视频中需包含巡检机器人的工作影像，且包含巡检机器人从进入摄像头视野到离开摄像头的整个工作过程。将视频分帧保存图片，例如每10s视频保存一张图片。
S032.对所采集巡检机器人图片进行预处理，生成由矩形绘制的巡检机器人图像的外包围框，获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj，其中j表示所采集的m张图片中的第j张。
其中，对矩形框的绘制可以采用labelme等图像标注软件进行绘制，在labelme中输入待标注的图像，通过绘制矩形框包围图片中的巡检机器人，labelme将自动输出JSON格式的标注结果，包裹矩形框的中心像素坐标，矩形框的长半轴长度以及短半轴长度，通过利用图片和JSON文本可以对深度检测网络进行训练。绘制矩形框样式可以参照图1。
S033.通过巡检机器人图片样本集对深度检测网络进行训练，获得二分类深度检测网络net，将巡检机器人图片输入检测网络net，检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
该步骤中，将上一步骤获得的图片与标注信息按照9:1的比例分别作为巡检机器人图片样本集和巡检机器人图像测试集，所述样本集用于训练深度检测网络net，检测网络net对标注的矩形框中的内容进行学习并提取抽象特征，使用测试集可以对检测网络net的性能进行验证。一些实施方式中，对于输入检测网络net的测试集图片而言，如果输出的中心坐标、轴长度与JSON文件中的数据不相符，则将二者的差值反馈给检测网络net，修正网络连接权值，直到网络的输出结果与JSON文件的数据一致，从而提高检测网络的识别准确率。
在本发明的实施例中，所述深度检测网络采用了darknet深度学习框架，并采用了107层的yolov3网络。检测网络net运行于视觉服务器，所述视觉服务器部署于集控中心之下，集控中心可向视觉服务器传输监控摄像头所采集图片，视觉服务器返回对图片的检测结果，系统的部署方式如图2所示，为了应对突发情况，所述视觉服务器包括多台GPU服务器，通过Haproxy均衡器将集控中心发送的图像处理任务分发到各个GPU服务器。
步骤S2中，根据位置信息在监控地图中查询第一摄像头，位置信息所表示位置与摄像头的最近距离
Figure BDA0002737467120000081
通过式1进行计算，
Figure BDA0002737467120000082
式1表示在第i个监控地图中寻找第k个监控摄像头，该监控摄像头与第i个巡检机器人最后位置的欧氏距离最小。同时考虑到巡检机器人可能在接收超时时间内离开监控摄像头k的视野范围，因此还需要在监控地图
Figure BDA0002737467120000083
中找到第k个监控摄像头的下一个监控摄像头
Figure BDA0002737467120000084
以便保证捕捉到巡检机器人的位置。
作为一个示例，所述步骤S3具体包括：
S31.将第一摄像头
Figure BDA0002737467120000085
和第二摄像头
Figure BDA0002737467120000086
所采集图像信息输入二分类深度检测网络(rU,rV)t。
上述步骤中，集控中心将第一摄像头采集的图像信息传输给视觉服务器，检测监控摄像头视野中是否出现巡检机器人，如果没有检测到，则将第k+1个监控摄像头采集的图片传输给视觉服务器进行检测。视觉服务器返回巡检机器人在图像中的像素坐标(rU,rV)t。
S32.设定像素移动阈值rT，持续检测巡检机器人是否在第一摄像头
Figure BDA0002737467120000091
或第二摄像头
Figure BDA0002737467120000092
中存在，在截止时间s后，得到巡检机器人在摄像头中的像素坐标(rU,rV)t+s，计算像素坐标差值
Figure BDA0002737467120000093
一些实施方式中，像素移动阈值rT设置为摄像头分辨率的5％，例如1080P摄像头的像素移动阈值为rT＝1080×0.05＝54。
S33.判断rT是否大于E，若rT>E,表示巡检机器人停止运动，判定巡检机器人为掉电状态；若rT<E,判定巡检机器人进行断网离线工作状态，标记巡检机器人状态为离线巡检模式，通过监控摄像头对巡检机器人进行追踪，直至巡检机器人进入掉电状态或重新联网。
作为一个示例，所述步骤S33中判定巡检机器人为掉电状态后，还包括：
S331.通知相应维修人员到第一摄像头
Figure BDA0002737467120000094
或第二摄像头
Figure BDA0002737467120000095
所在位置处理故障。
S332.每隔w秒对第一摄像头
Figure BDA0002737467120000096
或第二摄像头
Figure BDA0002737467120000097
进行检测，直到所采集图像中检测到维修人员。
S333.检测所采集图片中维修人员像素坐标与巡检机器人像素坐标差值小于预设像素移动阈值hT时，表示维修人员已经对机器人进行处理和搬运，集控中心标记相应巡检机器人状态为在库。
一些实施方式中，所述像素移动阈值hT可以设置为100，表示维修人员到达故障巡检机器人周围。
上述步骤中，对所采集图像中是否存在维修人员同样是通过检测网络实现，因此需要对深度检测网络进行训练使其可以识别维修人员，即在步骤S331之前，还包括：
监控摄像头采集变电站现场维修人员图片。一些实施方式中，监控摄像头可以是先采集现场维修人员一定时长的工作视频，每个视频中需包含维修人员的工作影像，且包含维修人员从进入摄像头视野到离开摄像头的整个工作过程，将视频分帧保存图片。
对所采集维修人员图片进行预处理，获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng，其中g表示所采集的f张图片中的第g张。对矩形框的绘制可以采用labelme等图像标注软件进行绘制，在labelme中输入待标注的图像，通过绘制矩形框包围图片中的维修人员，labelme将自动输出JSON格式的标注结果，包裹矩形框的中心像素坐标，矩形框的长半轴长度以及短半轴长度，通过利用图片和JSON文本可以对深度检测网络进行训练。
通过维修人员图片样本集对深度检测网络进行训练，将维修人员图片输入检测网络net，检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。具体的，将上一步骤获得的图片与标注信息按照9:1的比例分别作为维修人员图片样本集和维修人员图像测试集，所述样本集用于训练深度检测网络net，检测网络net对标注的矩形框中的内容进行学习并提取抽象特征，使用测试集可以对检测网络net的性能进行验证。
在本发明的实施例中，前述方法实施例可以按照如图3所示的流程实现。
当深度检测网络完成学习后，且巡检机器人巡检工作正式开始后，当巡检机器人与集控中心正常通信时，监控摄像头无需将所拍摄视频传输给集控中心，从而减轻服务器运行负担；当巡检机器人与集控中心通信异常，无法确定巡检机器人具体位置时，开始按照前述方法对巡检机器人进行状态监控和判断，在判断时只需将距离巡检机器人最后位置最接近的摄像头和下一摄像头的视频数据传输给视觉服务器，从而在保证对巡检机器人的状态进行精准判断的同时，合理利用服务器资源，提高运维效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述方法包括以下步骤：
S1.集控中心实时接收巡检机器人位置信息，对于一定时间内未传回位置信息的巡检机器人，标记该巡检机器人状态异常；
S2.获取状态异常巡检机器人最后传回的位置信息，根据位置信息在监控地图中查询第一摄像头和第二摄像头，所述第一摄像头、第二摄像头分别为距离位置信息所表示位置最接近的两个监控摄像头；
S3.将第一摄像头、第二摄像头所采集图像通过检测网络进行处理，检测状态异常巡检机器人是否位于第一摄像头或第二摄像头所采集图像中，检测一定时间内所采集图像中巡检机器人是否发生移动，对巡检机器人状态进行更新。
2.根据权利要求1所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，在所述步骤S1前，还包括步骤：
S01.建立地图坐标原点，记录巡检机器人巡检地图rM∈(rL(1),rL(2),...,rL(n))，其中n表示巡检机器人在巡检地图rM所记录的第n个巡检位置，第i(i∈(1,2...,k))个巡检机器人在变电站中的位置表示为rLi(rxi,ryi,rzi)，第i个巡检机器人的巡检地图表示为
Figure FDA0002737467110000011
k为巡检机器人总数。
S02.记录每个监控摄像头相对于地图坐标原点的坐标，根据第i个巡检机器人的巡检地图
Figure FDA0002737467110000012
生成对应的监控地图
Figure FDA0002737467110000013
其中各个监控摄像头的坐标在监控地图中表示为
Figure FDA0002737467110000014
其中k表示在监控地图
Figure FDA0002737467110000015
中第k个监控摄像头的编号；
S03.监控摄像头采集巡检机器人图片，利用机器人图片训练深度检测网络，获得二分类深度检测网络。
3.根据权利要求2所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述步骤S03具体包括：
S031.监控摄像头采集巡检机器人图片；
S032.对所采集巡检机器人图片进行预处理，生成由矩形绘制的巡检机器人图像的外包围框，获取所采集的m张图片中每张图片的矩形框中心在图片中的像素坐标(ruj,rvj)以及矩形框的长轴像素长度rrawj与短轴像素长度rcolumnj，其中j表示所采集的m张图片中的第j张；
S033.通过巡检机器人图片样本集对深度检测网络进行训练，获得二分类深度检测网络net，将巡检机器人图片输入检测网络net，检测网络net输出矩形框的中心坐标(rU,rV)以及矩形框的长、短轴像素长度(rRAW,rCOLUMN)。
4.根据权利要求2或3所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述步骤S3具体包括：
S31.将第一摄像头
Figure FDA0002737467110000021
和第二摄像头
Figure FDA0002737467110000022
所采集图像信息输入二分类深度检测网络(rU,rV)t；
S32、设定像素移动阈值rT，持续检测巡检机器人是否在第一摄像头
Figure FDA0002737467110000023
或第二摄像头
Figure FDA0002737467110000024
中存在，在截止时间s后，得到巡检机器人在摄像头中的像素坐标(rU,rV)t+s，计算像素坐标差值
Figure FDA0002737467110000025
S33.判断rT是否大于E，若rT>E,表示巡检机器人停止运动，判定巡检机器人为掉电状态；若rT<E,判定巡检机器人进行断网离线工作状态，标记巡检机器人状态为离线巡检模式，通过监控摄像头对巡检机器人进行追踪，直至巡检机器人进入掉电状态或重新联网。
5.根据权利要求4所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述步骤S33中判定巡检机器人为掉电状态后，还包括：
S331、通知相应维修人员到第一摄像头
Figure FDA0002737467110000031
或第二摄像头
Figure FDA0002737467110000032
所在位置处理故障；
S332、每隔w秒对第一摄像头
Figure FDA0002737467110000033
或第二摄像头
Figure FDA0002737467110000034
进行检测，直到所采集图像中检测到维修人员；
S333、检测所采集图片中维修人员像素坐标与巡检机器人像素坐标差值小于预设像素移动阈值hT时，标记相应巡检机器人状态为在库。
6.根据权利要求5所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，在步骤S331之前，还包括：
监控摄像头采集变电站现场维修人员图片；
对所采集维修人员图片进行预处理，获取所采集的f张图片中每张图片的矩形框中心在图片中的像素坐标(hug,hvg)以及矩形框的长轴像素长度hrawg与短轴像素长度hcolumng，其中g表示所采集的f张图片中的第g张；
通过维修人员图片样本集对深度检测网络进行训练，将维修人员图片输入检测网络net，检测网络net输出矩形框的中心坐标(hu,hv)以及矩形框的长、短轴像素长度(hRAW,hCOLUMN)。
7.根据权利要求2所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述步骤S2中根据位置信息在监控地图中查询第一摄像头，位置信息所表示位置与摄像头的最近距离
Figure FDA0002737467110000036
通过式1进行计算，
Figure FDA0002737467110000035
式1表示在第i个监控地图中寻找第k个监控摄像头，该监控摄像头与第i个巡检机器人最后位置的欧氏距离最小。
8.根据权利要求1所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述检测网络基于darknet深度学习框架，采用107层的yolov3网络实现。
9.根据权利要求1或8所述的一种基于视频监控的变电站智能巡检机器人状态的监控方法，其特征在于，所述检测网络运行于视觉服务器，所述视觉服务器包括多台GPU服务器，通过Haproxy均衡器将图像处理任务分发到各个GPU服务器。
CN202011138333.2A 2020-10-22 2020-10-22 基于视频监控的变电站智能巡检机器人状态的监控方法 Active CN112260402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011138333.2A CN112260402B (zh) 2020-10-22 2020-10-22 基于视频监控的变电站智能巡检机器人状态的监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011138333.2A CN112260402B (zh) 2020-10-22 2020-10-22 基于视频监控的变电站智能巡检机器人状态的监控方法

Publications (2)

Publication Number Publication Date
CN112260402A true CN112260402A (zh) 2021-01-22
CN112260402B CN112260402B (zh) 2022-05-24

Family

ID=74263424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011138333.2A Active CN112260402B (zh) 2020-10-22 2020-10-22 基于视频监控的变电站智能巡检机器人状态的监控方法

Country Status (1)

Country Link
CN (1) CN112260402B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302115A (zh) * 2022-01-06 2022-04-08 重庆紫光华山智安科技有限公司 视频播放方法、装置、设备及介质
CN116404561A (zh) * 2023-06-08 2023-07-07 威海双城电气有限公司 一种电力设备智能识别装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095817A (zh) * 2015-07-03 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人故障诊断方法、装置及系统
WO2016152182A1 (ja) * 2015-03-23 2016-09-29 ノーリツプレシジョン株式会社 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
CN109040688A (zh) * 2018-08-23 2018-12-18 顺德职业技术学院 一种对获取的工业机器人操作视频进行存储的方法及系统
CN110290350A (zh) * 2019-06-26 2019-09-27 广东康云科技有限公司 一种巡检机器人的实时状态监控方法、系统和存储介质
CN111267079A (zh) * 2018-12-05 2020-06-12 中国移动通信集团山东有限公司 一种智能巡检机器人巡检方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152182A1 (ja) * 2015-03-23 2016-09-29 ノーリツプレシジョン株式会社 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
CN105095817A (zh) * 2015-07-03 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人故障诊断方法、装置及系统
CN109040688A (zh) * 2018-08-23 2018-12-18 顺德职业技术学院 一种对获取的工业机器人操作视频进行存储的方法及系统
CN111267079A (zh) * 2018-12-05 2020-06-12 中国移动通信集团山东有限公司 一种智能巡检机器人巡检方法及装置
CN110290350A (zh) * 2019-06-26 2019-09-27 广东康云科技有限公司 一种巡检机器人的实时状态监控方法、系统和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302115A (zh) * 2022-01-06 2022-04-08 重庆紫光华山智安科技有限公司 视频播放方法、装置、设备及介质
CN114302115B (zh) * 2022-01-06 2024-04-19 重庆紫光华山智安科技有限公司 视频播放方法、装置、设备及介质
CN116404561A (zh) * 2023-06-08 2023-07-07 威海双城电气有限公司 一种电力设备智能识别装置
CN116404561B (zh) * 2023-06-08 2023-08-15 威海双城电气有限公司 一种电力设备智能识别装置

Also Published As

Publication number Publication date
CN112260402B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110850723B (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN111307823B (zh) 基于边云协同的变电设备典型视觉缺陷检测系统及方法
CN110033453A (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN108520567A (zh) 一种依靠拍摄设备运行图像识别的辅助巡检方法
CN112260402B (zh) 基于视频监控的变电站智能巡检机器人状态的监控方法
CN111626139A (zh) 一种机房it设备故障信息精准检测方法
CN109325605A (zh) 基于增强现实ar技术的电力信通机房巡检平台及巡检方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN113589837A (zh) 一种基于边缘云的电力实时巡检方法
CN112697798A (zh) 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN113177614A (zh) 一种城市轨道交通供电开关柜图像识别系统及方法
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN112614130A (zh) 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法
CN114202819B (zh) 一种基于机器人的变电站巡检方法、系统及计算机
CN113487166A (zh) 一种基于卷积神经网络的化纤飘丝质量检测方法及系统
CN112489018A (zh) 一种电力线智能巡线方法及巡线
CN112489017A (zh) 一种电力设备故障智能识别方法及识别系统
CN113449767B (zh) 一种多图像融合的变电站设备异常识别定位方法
CN116363573A (zh) 一种变电站设备状态异常识别方法和系统
CN113627400B (zh) 一种工业仪表视频识别系统
CN115953726A (zh) 机器视觉的集装箱箱面破损检测方法和系统
CN115147591A (zh) 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN111105395B (zh) 一种用于输电运行监测的ai智能云台
CN114782860A (zh) 一种监控视频中暴力行为检测系统及方法
CN114266725A (zh) 一种基于共轴光路成像的设备故障诊断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant