CN111079642B - 线路可移动监控方法及装置及计算机可读介质 - Google Patents
线路可移动监控方法及装置及计算机可读介质 Download PDFInfo
- Publication number
- CN111079642B CN111079642B CN201911282550.6A CN201911282550A CN111079642B CN 111079642 B CN111079642 B CN 111079642B CN 201911282550 A CN201911282550 A CN 201911282550A CN 111079642 B CN111079642 B CN 111079642B
- Authority
- CN
- China
- Prior art keywords
- image
- quality evaluation
- detection
- transmission line
- power transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 103
- 230000002159 abnormal effect Effects 0.000 claims abstract description 68
- 230000005540 biological transmission Effects 0.000 claims abstract description 64
- 238000013441 quality evaluation Methods 0.000 claims abstract description 56
- 239000004576 sand Substances 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 23
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 7
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 2
- 238000012423 maintenance Methods 0.000 abstract description 21
- 238000007689 inspection Methods 0.000 abstract description 5
- 230000004913 activation Effects 0.000 description 33
- 238000001994 activation Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种线路可移动监控方法及装置,提高输电线路的运维效率。所述线路可移动监控方法包括:接收场景图像;对场景图像进行质量评价,并将质量评价不合格的场景图像修复成质量评价合格的场景图像;对质量评价合格的现场图像进行异常物体检测;将异常物体检测的检测结果发送到移动端。本公开还公开了与线路可移动监控方法相对应的装置及计算机可读介质,本公开的技术方案根据场景图像判断现场是否出现工程车等异常物体,并将判断结果发送给移动终端,使得手持移动终端的运维人员无需现场查看,即可实时地知晓输电线路现场环境的有无出现工程车进入等异常情况,使得运维人员无需现场巡检,提高了运维效率。
Description
技术领域
本发明涉及输电线路监测防护技术领域,特别是涉及一种线路可移动监测方法及装置。
背景技术
输电是电力系统的重要组成环节,输电线路按结构形式可分为架空输电线路和地下输电线路。前者由线路杆塔、导线、绝缘子等构成,架设在地面上,后者主要用电缆,敷设在地下或水下。目前远距离电能传输主要采用架空输电线路,承担巨大的电能输送,架空输电线路的安全运行与电网的稳定密切相关,运维工作就显得尤为重要。近几年来,随着城市大建设的迅速发展,各地施工作业不断,施工作业人员缺乏电力知识,为赶工期逃避审批,擅自施工的现象屡见不鲜,因此外部工程施工对输电线路安全稳定运行带来了极大的隐患。在输电线路的外力破坏等各类故障中,大型车辆违规施工已成为输电线路外力破坏的主要因素,由于大型车辆机械施工外力破坏事故特有的突发性和随机性,使得电力运行部门防不胜防,若电力部门设置人为巡检对输电线路进行安全运维,无法使输电线路运维得到很好控制,运维效率低,同事还需要投入大量的人力成本,成本高。
发明内容
本发明的目的在于解决现有所存在的其中一个问题,提供一种线路可移动监测方法及装置,提高输电线路的运维效率。
为了实现所述目的,本公开的第一方面,线路可移动监控方法,包括:
接收场景图像,所述场景图像为设置在输电线路通道内的监控设备所拍摄的输电线路现场环境的图像;
对所述场景图像进行质量评价,并将质量评价不合格的场景图像修复成质量评价合格的场景图像;
对质量评价合格的现场图像进行异常物体检测,所述异常物体包括工程车辆;
将异常物体检测的检测结果发送到移动端,所述检测结果包括现场图像中是否包含异常物体。
可选的,对所述场景图像进行质量评价包括:计算所述场景图像的峰值信噪比,判定所述峰值信噪比是否在预设的标准峰值信噪比范围内,若是,则判定所述图像块质量评价合格,否则判定所述图像块质量评价不合格,。
可选的,将质量评价不合格的场景图像修复成质量评价合格的场景图像,包括:
采用生成对抗网络中的生成器对质量评价不合格的场景图像进行图像修复;
采用生成对抗网络中的判别器对经过修复的图像进行质量评价判断;若经过修复的图像的峰值信噪比不在标准峰值信噪比范围内,则对经过修改的图像进行迭代修复,直到图像的峰值信噪比达到标准峰值信噪比范围;其中,所述生成对抗网络中的判别器用于图像的真伪判别和修复的图像的峰值信噪比在不在标准峰值信噪比范围的判别。
可选的,所述生成对抗网络中的生成器包括卷积层、池化层、上采样层及跳跃连接层;所述生成对抗网络中的判别器包括卷积层、池化层和全连接层。
可选的,对质量评价合格的现场图像进行异常物体检测包括:通过预设的用于第一人工神经网络模型对质量评价合格的现场图像进行异常物体检测和分类;其中所述预设的第一人工网络模型为用于场景图像异常物体检测的人工神经网络模型、与用于场景图像异常物体分类的人工神经网络模型以组成的端对端的级联模型。
可选的,所述对质量评价合格的现场图像进行异常物体检测包括:现场图像中检测异常物体时,则在场景图像上用矩形框标注出所检测出的异常物体,并对异常物体进行物体分类标注;
所述将异常物体检测的检测结果发送到移动端包括:若现场图像中包含异常物体,则将矩形框标注和物体分类标注后的场景图像发送到移动终端。
可选的,接收现场水汽检测结果和现场风沙检测结果,所述现场水汽检测结果为设置在输电线路通道内的水汽检测设备所检测的输电线路现场环境的水汽含量;所述现场风沙检测结果为设置在输电线路通道内的风沙检测设备所检测的输电线路现场环境的水汽含量;根据所述水机检测结果和风沙检测结果从第一检测模型、第二检测模型和第三检测模型中选择其中一个检测模型对质量评价合格的现场图像进行异常物体检测;所述第一检测模型为根据第一训练样本训练的神经网络模型,所述第一训练样本为雨天环境下的输电线路现场环境的图像及其异常情况;所述第二检测模型为根据第二训练样本训练的神经网络模型,所述第二训练样本为风沙环境下的输电线路现场环境的图像及其异常情况;所述第三检测模型为根据第三训练样本训练的神经网络模型,所述第三训练样本为除风沙和雨天外其他环境下的输电线路现场环境的图像及其异常情况。
可选的,所述风沙检测设备包括处理模块、光线发射装置和光线传感装置,所述光线发射装置设有多个呈矩阵排列的红外线发射器,所述光线传感装置设有多个红外线传感器,所述多个红外线传感器的接收端呈矩阵排列布置,以使得红外线传感器可以一一接收红外线发射器发射的红外线;光线发射装置与光线传感装置之间的红外线的传输通道上设有用于供外部风沙进出的空间;
所述处理模块用于控制光线发射装置在监控设备拍照的同时控制光线发射装置中的多个红外线传感器同时发射红外线,并获取光线传感装置中的多个红外线传感器检测的红外线检测结果;并判断检测到红外线数量是否大于预设值,以得到风沙检测结果。
本公开的第二方面,线路可移动监控装置,包括:存储器和处理器,其特征在于,所述存储器包含可由所述处理器执行的指令以使得所述处理器执行本公开的第一方面中任一所述方法的步骤。
本公开的第三方面,其存储有计算机程序,所述计算机程序使得计算机执行本公开的第一方面中任一所述方法的步骤。
通过实施本公开的技术方案可以取得以下有益技术效果:根据场景图像判断现场是否出现工程车等异常物体,并将判断结果发送给移动终端,使得手持移动终端的运维人员或管理人员无需现场查看,即可实时地知晓输电线路现场环境的有无出现工程车进入等异常情况,使得运维人员无需现场巡检,提高运维效率。以及,通过对场景图像进行质量评价及修复,提高检测的准确率。
附图说明
图1为实施例1中的线路可移动监控方法的一种硬件环境示意图;
图2为实施例1中的线路可移动监控方法的流程图;
图3为实施例1中的生成对抗网络的生成器的示意图;
图4为实施例1中的生成对抗网络的判别器的示意图;
图5为实施例1中的级联模型的示意图。
具体实施方式
为了便于本领域技术人员的理解,下面结合具体实施例对本发明作进一步的说明:
实施例1:
如图1所示,一种线路可移动监测装置,作为本公开方法的一种硬件环境,包括监控装置1、处理器2、存储器3及移动终端4。处理器与监控装置以及移动终端连接;监控装置拍摄输电线路现场的场景图像发送给处理器进行处理,并将处理结果发送到移动终端;监控装置包括摄像头,移动终端包含显示器,显示器可以用来显示处理结果。
如图2所示,本公开的一种线路可移动监控方法,包括:
S1:接收场景图像,场景图像为设置在输电线路通道内的监控设备所拍摄的输电线路现场环境的图像;
S2:对场景图像进行质量评价,并将质量评价不合格的场景图像修复成质量评价合格的场景图像;
S3:对质量评价合格的现场图像进行异常物体检测,异常物体包括工程车辆;
S4:将异常物体检测的检测结果发送到移动端,检测结果包括现场图像中是否包含异常物体。
本公开的方法可以由处理器执行,根据设置在输电线路通道内的监控设备所拍摄的输电线路现场环境的图像判断现场是否出现工程车等异常物体,并将判断结果发送给移动终端,使得手持移动终端的运维人员或管理人员无需现场查看,即可实时地知晓输电线路现场环境的有无出现工程车进入等异常情况,使得运维人员无需现场巡检,提高输电线路的运维效率,降低运维成本。
本公开通过对场景图像进行质量评价,以及将质量评价不合格的图片进行修复,进而提高检测的准确率。
作为可选的的技术方案,监控装置上设有声光告警器,当检测现场图像中包含工程车时,控制相应的声光告警器进行现场预警以驱散工程车。
作为可选的的技术方案,移动终端为手机,将异常物体检测的检测结果发送到移动终端的微信公众号上。
作为可选的技术方案,基于直方图均衡化法增强图像边缘,在此基础上通过灰度直方图进行分析找到合适的阈值,然后根据阈值来将图像进行分割,进一步增强其中有用信息,减弱无用信息。最后,结合车辆轮廓的特点,基于边缘点检测算法,识别图像中的边缘个数,在边缘丰富的图像区域内检测线条,通过线条的对比来实现对车辆轮廓信息的提取,基于车辆轮廓信息判断是否图像中是否包含工程车辆。
步骤S10中:
作为一种实施方式,监控装置包括摄像头,摄像头可以是1600万高清摄像头和星光摄像头;分辨率满足处理器分析的同时,可灵活、自动进行拍照,常规设置为60分钟自动拍照一次,如需要满足特殊情况需求,通过后台软件即可远程进行调整,最短拍照间隔可设置为1分钟。
步骤S20中:
作为一种实施方式,对场景图像进行质量评价包括:计算场景图像的峰值信噪比,判定峰值信噪比是否在预设的标准峰值信噪比范围内,若是,则判定图像块质量评价合格,否则判定图像块质量评价不合格。
作为一种实施方式,将质量评价不合格的场景图像修复成质量评价合格的场景图像,包括:
采用生成对抗网络中的生成器对质量评价不合格的场景图像进行图像修复;
采用生成对抗网络中的判别器对经过修复的图像进行质量评价判断;若经过修复的图像的峰值信噪比不在标准峰值信噪比范围内,则对经过修改的图像进行迭代修复,直到图像的峰值信噪比达到标准峰值信噪比范围;其中,生成对抗网络中的判别器用于图像的真伪判别和修复的图像的峰值信噪比在不在标准峰值信噪比范围的判别。
之所以要对实时场景图像进行质量评价及修复,是因为实时的场景图像采集时由于风沙、雨水等多种因素影响,容易造成图像质量参差不齐,而这些影响因子会对之后的物体检测造成一定的影响,导致检测不准确等后果,因此非常有必要通过质量修复环节来确保后面物体检测的准确性尽可能不会受此影响。
在进行图像质量评价前,首先获取一系列质量标准的场景图像作为标准图像,对标准场景图像进行峰值信噪比统计,设定m1为标准实时场景图像峰值信噪比最低值,m2为标准实时场景图像峰值信噪比最高值,则将[m1,m2]作为标准实时场景图像的标准峰值信噪比范围,根据多次实验表明,m1标准值为98.9分贝,误差范围为4.02,m2标准值为140.3分贝,误差范围为7.24。对图像进行质量评价,包括:计算图像的峰值信噪比m,判定峰值信噪比m是否在标准峰值信噪比范围[m1,m2]内,若是,则图像质量评价合格;否则,图像质量评价不合格。
在对质量评价不合格的图像进行修复时,首先通过生成对抗网络对质量评价不合格的图像进行图像修复,再通过对抗生成网络中的判别器进行质量判断,若经过修复的图像的峰值信噪比m不在标准峰值信噪比范围[m1,m2]内,再进行迭代修复,直到图像的峰值信噪比m达到标准峰值信噪比范围[m1,m2]为止。对所有质量评价不合格图像修复完成,也即对实时场景图像修复完成,获得了修复后的质量评价合格的实时场景图像。
作为一种实施方式,生成对抗网络中的生成器包括卷积层、池化层、上采样层及跳跃连接层;生成对抗网络中的判别器包括卷积层、池化层和全连接层。
其中,生成对抗网络的生成器,如图3所示,是一种U型全卷积神经网络(U-Net),未修复的场景图像经过101(卷积+标准化+Relu激活+池化)、102(卷积+标准化+Relu激活+池化)、103(卷积+标准化+Relu激活+池化)、104(卷积+标准化+Relu激活+池化)、105(上采样+卷积+标准化+Relu激活)、106(上采样+卷积+标准化+Relu激活)、107(上采样+卷积+标准化+Relu激活)、108(上采样+卷积+标准化+Sigmod激活),最终成为已修复的场景图像;生成对抗网络的生成器是由一系列卷积层、池化层、上采样层及跳跃连接层组成,通过使用激活函数(Softmax)生成图像归一化层,最后将图像归一化层转化为标准的RGB图,即最后经过修复的图。其中卷积层主要用于提取图像的局部特征,池化层对提取的特征图进行降维压缩后,再将降维后的特征图传入下一个卷积层进行特征提取,经过一系列的卷积和池化操作后,将提炼特征图平铺为一个数组作为上采样层的输入,上采样层使通过对所得到的高层特征图的每个特征点进行线性插值,得到尺寸为原特征图2倍的新特征图,跳跃连接层是将相同层次的编码层与解码层进行特征沿通道叠加,并将叠加后的特征图进行降维压缩后再上采样,不断的上采样至原图大小,采用图像数据分布函数Inception Score为损失函数,Adam为优化方法,训练直到损失函数不再明显变化为止。卷积神经网络输入的图像是染色不标准的进行归一化后的patch图像10000张,patch图像的大小与图像块的大小一致,输出图像尺寸大小与输入保持一致。损失函数计算过程是取染色标准的进行归一化后的patch图像10000张,分别与每次网络输出的图像进行图像数据分布函数Inception Score计算,得到损失函数值,从而计算梯度并更新。
Softmax激活函数、ReLu激活函数和Sigmod激活函数是深度学习领域常用的激活,本申请不再详细说明。
其中,生成对抗网络中的判别器,如图4所示,也是一种卷积神经网络的结构,已修复的场景图像经过201(卷积+标准化+Relu激活+池化)、202(卷积+标准化+Relu激活+池化)、203(卷积+标准化+Relu激活+池化)、204(卷积+标准化+Relu激活+池化)、205(矩阵转置)、206(全链接层),最终生成图像的真伪判别和峰值信噪比。生成对抗网络中的判别器是由一系列卷积层、池化层和全连接层组成,最后通过使用激活函数(Softmax)对图像进行分类。卷积层主要用于提取图像的局部特征,池化层对提取的特征图进行降维压缩后,再将降维后的特征图传入下一个卷积层进行特征提取,经过一系列的卷积和池化操作后,将提炼特征图平铺为一个数组作为全连接层的输入,全连接层进一步提取特征,并对特征进行分类,从而对输入图像进行分类。最终分类的过程不单是进行生成图像的真伪判别,也计算生成图像的峰值信噪比与标准峰值信噪比范围之间的物理距离作为损失函数。卷积神经网络是将已修复的图像作为输入,经过卷积神经网络获得已修复的实时场景图像经过编码后的特征图的峰值信噪比,与标准峰值信噪比范围进行比较,进而确定修复是否完成。所有质量评价不合格的实时场景图像均修复完成后执行S30。
步骤S30中,
作为一种实施方式,对质量评价合格的现场图像进行异常物体检测包括:通过预设的用于第一人工神经网络模型对质量评价合格的现场图像进行异常物体检测和分类;其中预设的第一人工网络模型为用于场景图像异常物体检测的人工神经网络模型、与用于场景图像异常物体分类的人工神经网络模型以组成的端对端的级联模型。
异常物体可以包括工程车辆和其他的异物。
对质量评价合格的现场图像进行异常物体检测包括:现场图像中检测异常物体时,则在场景图像上用矩形框标注出所检测出的异常物体,并对异常物体进行物体分类标注;
对质量修复过后的摄像头采集的实时场景图像进行挖掘机、推土车、渣土车、泵车、吊车等工程车辆或异物等实时检测,在实时场景图像上标注出所检测出的工程车辆或异物;
其中,用于实时场景图像工程车辆或异物等物体检测的人工神经网络模型、与用于实时场景图像工程车辆或异物等物体分类的人工神经网络模型以组成的端对端的级联模型,组成用于进行实时场景图像工程车辆或异物等物体分类、检测的深度神经网络,如图5所示,已修复的场景图像由按图中3方式经过301(卷积+标准化+Relu激活+池化编码层1)、302(卷积+标准化+Relu激活+池化编码层2)、303(卷积+标准化+Relu激活+池化编码层3)、304(卷积+标准化+Relu激活+池化编码层4)、305(卷积+标准化+Relu激活+池化编码层5)、312(卷积+标准化+Relu激活中间层2)、313(卷积+标准化+Relu激活中间层3)、314(卷积+标准化+Relu激活中间层4)、315(卷积+标准化+Relu激活中间层5)、322(卷积+标准化+Sigmod激活预测层2)、323(卷积+标准化+Sigmod激活预测层3)、324(卷积+标准化+Sigmod激活预测层4)、325(卷积+标准化+Sigmod激活预测层5)、326(卷积+标准化+Sigmod激活预测层6)、331(候选区域网络)、341(非极最大值抑制候选区域选取)、351(预测边界框数值回归),最终生成图像的预测边界框分裂和预测边界框检测,进而得到物体检测、分类结果。级联模型主要由一系列卷积层、池化层、上采样层及跳跃连接层组成,最后通过使用激活函数Softmax对检测到的物体进行分类,使用交并比函数Iou对判读检测到的物体是否为真正的当前类物体来控制假阳率,使用交叉熵函数来对物体分类结果进行评估。
本实施例采用的用于进行实时场景图像工程车辆或异物等物体检测、分类的深度神经网络,首先使用编码网络提取多尺度的语义特征,然后使用空间金字塔网络RPN获得物体检测候选区域框anchor box,经过非最大值抑制操作后保留将近共N个感兴趣区域RoI。机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,其中N为超参数,可根据需求进行自主定义,由于在卷积提取特征过程的过程中步长的不同,因此分开分别对四个不同尺度的特征图对应的步长进行区域特征聚集方式RoIAlign操作,所谓的RoIAlign指的是,遍历每一个候选区域,保持浮点数边界不做量化,将候选区域分割成k×k个单元,每个单元的边界也不做量化。在每个单元中计算固定四个坐标位置,用双线性内插的方法计算出这四个位置的值,然后进行最大池化操作。目的是将每个尺度得到的候选区域框映射在输入的原图上。进而将经过RoIAlign操作产生的映射在原图上的候选区域进行只能连接字符串Concat连接,随即网络分为两部分:全连接预测类别class、全连接预测矩形框box。
步骤S40中,
作为可选实施方式,将异常物体检测的检测结果发送到移动端包括:若现场图像中包含异常物体,则将矩形框标注和物体分类标注后的场景图像发送到移动终端。
将实时场景图像工程车辆或异物等物体检测结果返回值移动终端,若有物体检出,则告警推送(告警信息包括杆塔位置、时间、告警图片及车辆类型)及平台记录,并就地声光告警驱离。
同时线路可移动监测方法及装置支持:1)24小时识别,出现异物入侵行为时,将报警信息推送给运维管理人员手机微信公众号并下发运维任务,支持通过后台手动控制进行声光报警;2)远程控制装置进行拍照功能,手动触发拍照的图片自动上传至主站;3)IP地址、拍照时间段、拍照间隔、拍照像素、视频分辨率等参数通过主站进行远程读取和设置;4)装置默认60分钟自动进行一次拍照,如需要满足特殊情况需求,通过后台软件即可远程进行调整,最短拍照间隔可设置为1分钟;5)采用2G/3G/4G无线网络与主站进行数据交互;6)支持GPS定位,主站召测时可将位置坐标信息回传至主站;7)装置设备监测并回传蓄电池剩余容量、信号强度、设备运行温度等信息;8)装置设备支持自动及手动远程程序升级等便捷功能。
作为可选实施方式,接收现场水汽检测结果和现场风沙检测结果,现场水汽检测结果为设置在输电线路通道内的水汽检测设备所检测的输电线路现场环境的水汽含量;现场风沙检测结果为设置在输电线路通道内的风沙检测设备所检测的输电线路现场环境的水汽含量;根据水机检测结果和风沙检测结果从第一检测模型、第二检测模型和第三检测模型中选择其中一个检测模型对质量评价合格的现场图像进行异常物体检测;第一检测模型为根据第一训练样本训练的神经网络模型,第一训练样本为雨天环境下的输电线路现场环境的图像及其异常情况;第二检测模型为根据第二训练样本训练的神经网络模型,第二训练样本为风沙环境下的输电线路现场环境的图像及其异常情况;第三检测模型为根据第三训练样本训练的神经网络模型,第三训练样本为除风沙和雨天外其他环境下的输电线路现场环境的图像及其异常情况。本公开的方案,基于现场水汽检测结果和现场风沙检测结果,选择相应的模型判断是否异常(本文中的异常情况为图像中存在工程车等异常物品),提高判断效率。可以知道的,当根据现场水汽检测结果和现场风沙检测结果判断现场为雨天时,选择第一检测模型进行异常物体检测,判断现场为风沙天时,选择第二检测模型进行异常物体检测,判断现场为其他天气时,选择第三检测模型进行异常物体检测。可以知道的第一检测模型、第二检测模型、第三检测模型均为神经网络模型,具体采用何种神经网络模型,可以根据需要选择。
作为优选的,所述第一训练样本中的图像为雨天环境下的经过步骤S20的方法修复后的输电线路现场环境的图像;所述第二训练样本中的风沙环境下的输电线路现场环境的图像为风沙环境下的经过步骤S20的方法修复后的输电线路现场环境的图像。所述第三训练样本的图像为未经过步骤S20的方法修复的的输电线路现场环境的图像。本方法将雨天环境和风沙环境与其他环境进行区别执行,以雨天环境的经过步骤S20的方法修复后的输电线路现场环境的图像作为训练样本训练第一检测模型,使得第一检测模型可以大大提高雨天环境的检测精度,同理,第二检测模型可以大大提高风沙环境的检测精度。
作为可选实施方式,风沙检测设备包括处理模块、光线发射装置和光线传感装置,光线发射装置设有多个呈矩阵排列的红外线发射器,光线传感装置设有多个红外线传感器,多个红外线传感器的接收端呈矩阵排列布置,以使得红外线传感器可以一一接收红外线发射器发射的红外线;光线发射装置与光线传感装置之间的红外线的传输通道上设有用于供外部风沙进出的空间;
处理模块用于控制光线发射装置在监控设备拍照的同时控制光线发射装置中的多个红外线传感器同时发射红外线,并获取光线传感装置中的多个红外线传感器检测的红外线检测结果;并判断检测到红外线数量是否大于预设值,以得到风沙检测结果。
与现有技术相比,本发明的有益效果如下:(1)全自动化,对线路监控图像进行实时智能化分析,解决以往的人为巡检困难,一旦输电线路通道内出现挖掘机、推土车、渣土车、泵车、吊车等工程车辆或其他异物入侵时,实时智能分析报警,进行报警推送,运维人员及时掌握线路面临的安全威胁,同时可根据报警类型点击选择不同的语音信息对现场车辆进行驱离;(2)经济性,相比较于人为巡检,本发明只需要1600万高清摄像头、星光摄像头、一个或多个处理器、存储器及移动终器,仅仅一套设备便可以进行长时间24小时全天候的实时检测,很大程度上减少人力成本;(3)高可靠性,方便运维人员实时掌握线路存在的隐患风险,提高线路精益化管理水平;(4)一旦发现异物入侵,自动识别输电线路面临的安全威胁,进行实时智能分析并推送给电力运维管理人员,做到“早发现、早处理”,可以极大地减少安全事故的发生。
实施例2:
线路可移动监控装置,包括:存储器和处理器,其特征在于,所述存储器包含可由所述处理器执行的指令以使得所述处理器执行实施例1中任一所述方法的步骤。
实施例3:
一种计算机可读介质,其存储有计算机程序,所述计算机程序使得计算机执行实施例1中任一所述方法的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的具体实施例,但本发明的技术特征并不局限于此,任何本领域的技术人员在本发明的领域内,所作的变化或修饰皆涵盖在本发明的专利范围之中。
Claims (5)
1.线路可移动监控方法,其特征在于,包括:
接收场景图像,所述场景图像为设置在输电线路通道内的监控设备所拍摄的输电线路现场环境的图像;
对所述场景图像进行质量评价,并将质量评价不合格的场景图像修复成质量评价合格的场景图像;
对质量评价合格的现场图像进行异常物体检测,所述异常物体包括工程车辆;
将异常物体检测的检测结果发送到移动端,所述检测结果包括现场图像中是否包含异常物体;
计算所述场景图像的峰值信噪比,判定所述峰值信噪比是否在预设的标准峰值信噪比范围内,若是,则判定所述图像质量评价合格,否则判定所述图像质量评价不合格;
采用生成对抗网络中的生成器对质量评价不合格的场景图像进行图像修复;
采用生成对抗网络中的判别器对经过修复的图像进行质量评价判断;若经过修复的图像的峰值信噪比不在标准峰值信噪比范围内,则对经过修改的图像进行迭代修复,直到图像的峰值信噪比达到标准峰值信噪比范围;其中,所述生成对抗网络中的判别器用于图像的真伪判别和修复的图像的峰值信噪比在不在标准峰值信噪比范围的判别;
对质量评价合格的现场图像进行异常物体检测包括:通过预设的用于第一人工神经网络模型对质量评价合格的现场图像进行异常物体检测和分类;其中所述预设的第一人工网络模型为用于场景图像异常物体检测的人工神经网络模型、与用于场景图像异常物体分类的人工神经网络模型以组成的端对端的级联模型;
所述对质量评价合格的现场图像进行异常物体检测包括:现场图像中检测异常物体时,则在场景图像上用矩形框标注出所检测出的异常物体,并对异常物体进行物体分类标注;
所述将异常物体检测的检测结果发送到移动端包括:若现场图像中包含异常物体,则将矩形框标注和物体分类标注后的场景图像发送到移动终端;
接收现场水汽检测结果和现场风沙检测结果,所述现场水汽检测结果为设置在输电线路通道内的水汽检测设备所检测的输电线路现场环境的水汽含量;所述现场风沙检测结果为设置在输电线路通道内的风沙检测设备所检测的输电线路现场环境的风沙含量;根据所述水汽检测结果和风沙检测结果从第一检测模型、第二检测模型和第三检测模型中选择其中一个检测模型对质量评价合格的现场图像进行异常物体检测;所述第一检测模型为根据第一训练样本训练的神经网络模型,所述第一训练样本为雨天环境下的输电线路现场环境的图像及其异常情况;所述第二检测模型为根据第二训练样本训练的神经网络模型,所述第二训练样本为风沙环境下的输电线路现场环境的图像及其异常情况;所述第三检测模型为根据第三训练样本训练的神经网络模型,所述第三训练样本为除风沙和雨天外其他环境下的输电线路现场环境的图像及其异常情况。
2.如权利要求1所述的方法,其特征在于,所述生成对抗网络中的生成器包括卷积层、池化层、上采样层及跳跃连接层;所述生成对抗网络中的判别器包括卷积层、池化层和全连接层。
3.如权利要求1所述的方法,其特征在于,所述风沙检测设备包括处理模块、光线发射装置和光线传感装置,所述光线发射装置设有多个呈矩阵排列的红外线发射器,所述光线传感装置设有多个红外线传感器,所述多个红外线传感器的接收端呈矩阵排列布置,以使得红外线传感器可以一一接收红外线发射器发射的红外线;光线发射装置与光线传感装置之间的红外线的传输通道上设有用于供外部风沙进出的空间;
所述处理模块用于控制光线发射装置在监控设备拍照的同时控制光线发射装置中的多个红外线传感器同时发射红外线,并获取光线传感装置中的多个红外线传感器检测的红外线检测结果;并判断检测到红外线数量是否大于预设值,以得到风沙检测结果。
4.线路可移动监控装置,包括:存储器和处理器,其特征在于,所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如权利要求1~3中任一所述方法的步骤。
5.一种计算机可读介质,其特征在于,其存储有计算机程序,所述计算机程序使得计算机执行如权利要求1~3中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911282550.6A CN111079642B (zh) | 2019-12-13 | 2019-12-13 | 线路可移动监控方法及装置及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911282550.6A CN111079642B (zh) | 2019-12-13 | 2019-12-13 | 线路可移动监控方法及装置及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079642A CN111079642A (zh) | 2020-04-28 |
CN111079642B true CN111079642B (zh) | 2023-11-14 |
Family
ID=70314336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911282550.6A Active CN111079642B (zh) | 2019-12-13 | 2019-12-13 | 线路可移动监控方法及装置及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079642B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759091A (zh) * | 2020-06-05 | 2021-12-07 | 苏州宝时得电动工具有限公司 | 土壤检测装置、方法及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001025001A (ja) * | 1999-07-02 | 2001-01-26 | Mitsubishi Heavy Ind Ltd | 異常物体監視装置 |
CN106033601A (zh) * | 2015-03-09 | 2016-10-19 | 株式会社理光 | 检测异常情形的方法和装置 |
CN107679495A (zh) * | 2017-10-09 | 2018-02-09 | 济南大学 | 一种输电线路周边活动工程车辆的检测方法 |
WO2018090011A1 (en) * | 2016-11-14 | 2018-05-17 | Kodak Alaris Inc. | System and method of character recognition using fully convolutional neural networks |
CN108052940A (zh) * | 2017-12-17 | 2018-05-18 | 南京理工大学 | 基于深度学习的sar遥感图像水面目标检测方法 |
CN108268832A (zh) * | 2017-12-20 | 2018-07-10 | 广州供电局有限公司 | 电力作业监测方法、装置、存储介质和计算机设备 |
CN108307146A (zh) * | 2017-12-12 | 2018-07-20 | 张宝泽 | 一种高压输电线路安全隐患检测系统及方法 |
CN109919921A (zh) * | 2019-02-25 | 2019-06-21 | 天津大学 | 基于生成对抗网络的环境影响程度建模方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10803743B2 (en) * | 2018-05-02 | 2020-10-13 | Lyft, Inc. | Monitoring ambient light for object detection |
-
2019
- 2019-12-13 CN CN201911282550.6A patent/CN111079642B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001025001A (ja) * | 1999-07-02 | 2001-01-26 | Mitsubishi Heavy Ind Ltd | 異常物体監視装置 |
CN106033601A (zh) * | 2015-03-09 | 2016-10-19 | 株式会社理光 | 检测异常情形的方法和装置 |
WO2018090011A1 (en) * | 2016-11-14 | 2018-05-17 | Kodak Alaris Inc. | System and method of character recognition using fully convolutional neural networks |
CN107679495A (zh) * | 2017-10-09 | 2018-02-09 | 济南大学 | 一种输电线路周边活动工程车辆的检测方法 |
CN108307146A (zh) * | 2017-12-12 | 2018-07-20 | 张宝泽 | 一种高压输电线路安全隐患检测系统及方法 |
CN108052940A (zh) * | 2017-12-17 | 2018-05-18 | 南京理工大学 | 基于深度学习的sar遥感图像水面目标检测方法 |
CN108268832A (zh) * | 2017-12-20 | 2018-07-10 | 广州供电局有限公司 | 电力作业监测方法、装置、存储介质和计算机设备 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN109919921A (zh) * | 2019-02-25 | 2019-06-21 | 天津大学 | 基于生成对抗网络的环境影响程度建模方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111079642A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321853B (zh) | 基于视频智能检测的分布式电缆防外破系统 | |
CN101872526B (zh) | 基于可编程摄像技术的烟火智能识别方法 | |
CN111383429A (zh) | 建筑工地工人着装检测方法、系统、装置、存储介质 | |
CN113887412B (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
CN113611085A (zh) | 岩土工程中地质灾害的监测预警方法及系统 | |
CN107729850B (zh) | 物联网户外广告监播系统 | |
CN112863100B (zh) | 一种智能施工安全监测系统及方法 | |
CN111446920A (zh) | 光伏电站监控方法、装置及系统 | |
US20210104059A1 (en) | Method for size estimation by image recognition of specific target using given scale | |
CN112309068A (zh) | 一种基于深度学习的森林火灾预警方法 | |
CN113936403A (zh) | 基于物联网的智能监控安防电子围栏报警系统 | |
CN111079642B (zh) | 线路可移动监控方法及装置及计算机可读介质 | |
CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
CN116453278A (zh) | 一种深度学习智能检测与光纤振动传感结合的入侵监测方法 | |
CN116989679A (zh) | 一种基于图像处理的高速公路高边坡位移集成监测方法 | |
CN102901910B (zh) | 高压架空线路走廊的监控方法及其系统 | |
CN118038153A (zh) | 配电架空线路的防外破识别方法、装置、设备和介质 | |
CN112668478B (zh) | 一种井盖监控方法、装置、电子设备和存储介质 | |
CN113780237A (zh) | 一种地下管线的防外力破坏预警方法、装置及系统 | |
CN117768610A (zh) | 基于多目标识别的高速铁路周界入侵风险监测方法及系统 | |
CN116758465A (zh) | 一种基于动态ai视觉的燃气管线车载巡检系统 | |
CN115641431A (zh) | 一种基于改进深度学习的输电线工程车辆检测方法 | |
CN115187880A (zh) | 基于图像识别的通信光缆缺陷检测方法、系统及存储介质 | |
CN111950343B (zh) | 一种基于卫星遥感技术的输电杆塔自动识别方法和系统 | |
KR102377393B1 (ko) | 중장비 및 가스관 인식용 영상 분석 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |