CN116311071A - 一种融合帧差和ca的变电站周界异物识别方法及系统 - Google Patents
一种融合帧差和ca的变电站周界异物识别方法及系统 Download PDFInfo
- Publication number
- CN116311071A CN116311071A CN202310331092.0A CN202310331092A CN116311071A CN 116311071 A CN116311071 A CN 116311071A CN 202310331092 A CN202310331092 A CN 202310331092A CN 116311071 A CN116311071 A CN 116311071A
- Authority
- CN
- China
- Prior art keywords
- image
- substation
- perimeter
- frame
- transformer substation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims description 39
- 230000009545 invasion Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 abstract description 26
- 238000001514 detection method Methods 0.000 abstract description 20
- 230000033001 locomotion Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 4
- 235000005770 birds nest Nutrition 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 235000005765 wild carrot Nutrition 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种融合帧差和CA的变电站周界异物识别方法及系统，包括：步骤1，基于变电站周界监测的一段视频流，采用基于改进的不相邻帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；步骤2，对步骤1采集的图像进行预处理，提取运动目标的前景区域以及前景区域在图像中的位置数据；步骤3，构建变电站入侵物识别模型并对t时刻的运动目标进行识别；步骤4，将识别出的运动目标结果存储于数据库中并发送告警信息。本发明提高了现有变电站周界区域异物目标检测的准确性，对高速运动的物体和短时间停留的物体能够进行有效的过滤，极大的提高了异物识别的准确率。
Description
技术领域
本发明属于变电站周界监测技术领域，尤其涉及一种融合帧差和CA的变电站周界异物识别方法及系统。
背景技术
近年来已经出现多起因恶劣天气影响造成变电站外的漂浮物、树木等异物入侵，引发站内设备故障跳闸的外破事件发生，此外，长期停留在变电站周界区域的车辆、垃圾堆等物体也会对变电站的安全稳定运行造成严重的隐患。
目前变电站周界区域的防护主要采用人工巡视，时间间隔在数天，但是该区域内的车辆违停、临时建筑搭建、倾倒垃圾等影响周界区域安全的事件具有突发性和随机性，难以通过人工巡视及时发现，对变电站周界区域的在线外破监测具有必要性。目前变电站周界区域的视频监控主要针对固定角度进行监控，需要通过人工调整监控的视场区域来探查是否有异物及外破的风险，增加了运维人员的工作量，降低了工作效率。
随着人工智能技术的发展，现有技术提供了基于机器学习算法能够有效对特定区域内的异物进行检测和识别，为变电站的周界区域外破监测提供了有效的技术手段：基于机器视觉对变电站监控数据进行处理，实现对变电站异物入侵和识别，其关键与核心技术为目标定位与提取，即从复杂背景的图像数据中准确提取出目标物。主要采用特征匹配法、机器学习法和深度学习法等。特征匹配法利用图像局部特征描述算子提取待匹配图像和模板图像目标位置信息的特征向量，通过匹配其特征向量的欧式距离获得目标所在位置。现有技术的其不足之处在于：没有对变电站周界区域的运动物体进行检测，部分车辆、行人或者飞飘物出现在变电站周遭区域后，短时间之内会离开，但是现有的变电站入侵物监测办法无法对上述情况进行识别，导致误判。
现有技术文件1(CN 110853002 A)公开了一种基于双目视觉的变电站异物检测方法，方法包括：双目摄像头的左右相机同时采集视频数据并利用三帧差法提取动态目标，对动态目标进行双目预处理操作并提取5对特征点的像素坐标，利用三角测量原理计算动态目标的三维坐标值、侵入速度和运动方向；结合动态目标的三维坐标值、侵入速度和运动方向，综合判断动态目标入侵程度，现有技术文件1的不足之处在于：变电站周界区域异物识别的效率和准确率不够高，变电站周界区域异物漏检和误检的概率较大；没有对入侵物种类进行辨识，无法为后续运维检修人员提供帮助。现有技术文件1中基于三帧差法提取动态目标，主要适用于运动的目标，并根据多次提取的目标位置坐标计算出物体的速度，但是针对运动速度慢的物体检测效果较差，难以检测出运动的物体在视野区域内停留的位置，没有针对运动物体进入到目标区域并做停留，或者目标物体从静止状态变为运动状态的情况。
目前常用的三帧差法是基于相邻的三帧图像进行差分运算的，采用相邻的三帧差法与两帧差法相比能够更好的消除背景图像的中的鬼影和漏点现象。鬼影：被检测的运动目标在过去的某时刻进入背景模型，在当前时刻被检测出来。采用两帧差法和相邻三帧差法适合检测快速运动的物体，对慢速运动的物体在前后两帧几乎重叠时，则难以检测到物体。
除此之外，变电站周界区域异物和外破因素多，需要进一步提高目标检测算法的泛化能力，基于上述分析，亟需一种变电站周界异物识别方法，以提高变电站周界区域异物识别的准确性和效率。
发明内容
为解决现有技术中存在的不足，本发明提供一种融合帧差和CA的变电站周界异物识别方法及系统，针对运动物体进入到目标区域并做停留，或者目标物体从静止状态变为运动状态的情况，本发明采用变步长帧差法实现物体的检测，并结合注意力机制对该区域内的物体进行目标检测，从而识别出异物的类型，提高了变电站周界区域异物识别的准确性和效率，实现变电站周界区域异物入侵和外破预警，其中，CA为坐标注意力机制，coordinate attention。
本发明采用如下的技术方案。
一种融合帧差和CA的变电站周界异物识别方法，包括：
步骤1，基于变电站周界监测的一段视频流，采用基于改进的不相邻帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
步骤2，对步骤1采集的图像进行预处理，提取运动目标的前景区域以及前景区域在图像中的位置数据；
步骤3，构建变电站入侵物识别模型并对t时刻的运动目标进行识别；
步骤4，将识别出的运动目标结果存储于数据库中并发送告警信息。
步骤1包括：在变电站周界监测视频流中基于于改进的不相邻帧差法提取不相邻的三帧图像，在t时刻提取一帧图像，在t时刻前取第m帧图像，在t时刻后取第n帧图像；基于t时刻前后提取的图像计算t时刻的差分二值化图像。
步骤1具体包括：
步骤1.1，基于变电站周界外面监测系统获取一段视频流，并采用中值滤波算法、双边滤波算法对视频图像进行滤波处理；
步骤1.2，在视频流的t时刻采集一帧图像，在t时刻前采集第m帧图像，在t时刻后采集第n帧图像；
步骤1.3，分别计算t时刻前第m帧图像与t时刻后第n帧图像的差分二值化图像RIm(x,y)和RIn(x,y)；
步骤1.4，基于RIm(x,y)和RIn(x,y)计算t时刻的差分二值化图像RIt(x,y)。
差分二值化图像的计算公式如下：
RIt(x,y)＝RIm(x,y)∩RIn(x,y)
式中，It-1(x,y)为t时刻前第m帧图像前景区域中灰度值，It+n(x,y)为t时刻后第n帧图像前景区域中灰度值，RIm(x,y)为t时刻图像与前m帧图像进行差分二值化运算得到的二值化图像，RIn(x,y)为t时刻图像与后n帧图像进行差分二值化运算得到的二值化图像；RIt(x,y)为RIm(x,y)和RIn(x,y)进行与运算得到的t时刻二值化图像。
改进的不相邻帧差法的选取原则包括：m∈[2,15]，n∈[2,15]；
针对减速运动的物体，m取值小于n；
针对加速运动的物体，m取值大于n；
针对匀速运动的物体，m的取值与n的取值相等。
步骤2包括对t时刻的差分二值化图像RIt(x,y)进行形态学处理，即先进行膨胀操作再进行腐蚀操作；得到图像中的运动目标，并提取运动目标的前景区域以及前景区域在图像中的位置数据。
步骤3具体包括：
步骤3.1，采集变电站周界常见异物图像并构建变电站入侵异物数据集，在数据集内异物图像上对要识别的异物目标进行标注，为要识别的目标添加标签，生成用于图像识别的标注数据格式；
步骤3.2，对数据集内异物图像进行数据集扩增操作，并将数据集分为训练集和测试集；
步骤3.3，构建基于坐标注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型；
步骤3.4，将t时刻的运动目标的前景区域以及前景区域在图像中的位置数据输入变电站入侵物识别模型进行图像识别。
步骤3中基于变电站入侵物识别模型进行图像识别的过程包括：基于前景区域在图像中的位置数据对t时刻图像中进行分割，并将分割出的候选区域图像作为基于注意力机制的变电站周界区域异物识别算法的输入图像，通过基于注意力机制的神经网络提取图像的特征；并在输入图像上标记出识别的结果。
步骤3.3包括初始化神经网络算法参数，并对训练集的数据进行训练，基于注意力机制的神经网络进行特征提取和异物分类；基于测试集上进行模型的测试，完成模型的训练。
数据集扩增操作包括对图像进行水平翻转、垂直翻转、增加噪声、随机裁剪、随机旋转角度。
所述系统包括变电站周界视频巡视与监测模块、变电站周界外破监测及预警平台；
其中，变电站周界外破监测及预警平台包括：
图像提取模块，用于基于变电站周界监测的一段视频流，采用基于改进帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
图像预处理模块，用于对二值化图像进行预处理并提取运动目标的前景区域以及前景区域在图像中的位置数据；
模型构建及特征提取模块，构建基于注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型，以识别出变电站周界异物是否为入侵异物，并且识别出入侵异物种类；
告警模块，用于将识别出的运动目标结果存储于数据库中并发送告警信息。
变电站周界视频巡视与监测模块包括监控摄像机、视频监控数据网关、监控中心；
其中监控中心用于运行变电站周界外破监测及预警平台。
本发明的有益效果在于，与现有技术相比，本发明提供的一种融合帧差和CA的变电站周界异物识别方法，适用于变电站的周界区域的智能巡检，能够有效可靠识别变电站周界区域的异物，并对识别出的异物进行预警及报警信息推送。本发明采用的基于时间序列的变步长帧差法对周界区域的运动物体进行检测，并将检测出的运动物体作为基于注意力机制的变电周界区域异物识别算法的输入，最终实现周界区域的异物识别与位置标注。解决了现有帧差法图像重影和空洞的问题，同时基于形态学处理提高了目标物体边缘检测的效果。融合注意力机制提高了变电站周界区域异物识别的效率和准确率，降低变电站周界区域异物漏检和误检的概率。
附图说明
图1为本发明的一种融合帧差和CA的变电站周界异物识别方法的流程图；
图2为本实施例的坐标注意力机制的结构图；
图3为本发明的一种融合帧差和CA的变电站周界异物识别系统的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。
本发明第一方面，提出一种融合帧差和CA的变电站周界异物识别方法，包括：
步骤1，基于变电站周界监测的一段视频流，采用基于改进的不相邻帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
本发明主要针对停留在变电站周界区域时间较长的异物进行识别和预警，常规设定停留时间小于30分钟的物体不会影响周界安全，如动物的行走、漂浮物的移动、车辆穿过、临时停车等情形。
步骤1包括：在变电站周界监测视频流中基于改进帧差法提取不相邻的三帧图像，在t时刻提取一帧图像，在t时刻前取第m帧图像，在t时刻后取第n帧图像；
具体地，步骤1包括以下步骤：
步骤1.1，基于变电站周界外面监测系统获取一段视频流，并采用中值滤波算法、双边滤波算法对视频图像进行滤波处理；
步骤1.2，在视频流的t时刻采集一帧图像，在t时刻前采集第m帧图像，在t时刻后采集第n帧图像；
步骤1.3，分别计算t时刻前第m帧图像与t时刻后第n帧图像的差分二值化图像RIm(x,y)和RIn(x,y)；
步骤1.4，基于RIm(x,y)和RIn(x,y)计算t时刻的差分二值化图像RIt(x,y)。
本发明采用改进的不相邻帧差法将帧差法拓展为三帧图像，采用不相邻的三帧图像计算差分二值化图像。具体地，在本实施例中，在t时刻提取一帧图像，在t时刻前取第m帧图像，在t时刻后取第n帧图像。目前常用监控视频传输图像一般为一秒25-30帧，以10km/h运动物体为例，其速度为2.78m/s，按照25帧的监控视频，取m为2、n为3，则物体运动200ms，运动距离约0.56m。由于变电站周界区域一般为围墙、防护栏等，其距离围墙、防护栏的距离一般在几米范围。对于运动过快的物体停留在周界区域时间较短采用本申请提供的基于时间序列的帧差法可以有效过滤这些运动速度过快的目标，主要识别进入到周界区域且长时间停留的目标。
目前常用的三帧差法是基于相邻的三帧图像进行差分运算的，采用相邻的三帧差法与两帧差法相比能够更好的消除背景图像的中的鬼影和漏点现象。鬼影：被检测的运动目标在过去的某时刻进入背景模型，在当前时刻被检测出来。
但是采用两帧差法和相邻三帧差法适合检测快速运动的物体，对慢速运动的物体在前后两帧几乎重叠时，则难以检测到物体。两帧差分法根据相邻两帧图像的差分运算提取图像前景区域中灰度值的差异，定义差分图像DIt(x,y)，其计算公式如下：
DIt(x,y)＝|It(x,y)-It-1(x,y)|
It(x,y)为t时刻一帧图像前景区域中灰度值，It-1(x,y)为t时刻前一帧图像前景区域中灰度值，对差分图像DIt(x,y)采用阈值二值化的方法得到其二值化图像RIt(x,y)。设分割阈值为Thread，二值化如下式：
本发明考虑到在变电站周界区域停留时间较长和运动速度慢的目标，因此，提出了不相邻帧差法。在对运动速度慢的物体进行差分运算时更容易提取出被检测的物体。
本发明一方面提供出，针对变电站周界不同运动速度物体的帧数选取原则如下：m∈[2,15]，n∈[2,15]；
针对减速运动的物体，m取值小于n；
针对加速运动的物体，m取值大于n；
针对匀速运动的物体，m的取值与n的取值相等。
具体地，针对减速运动的物体，m取值小于n；即当前帧前的m帧取值小于当前帧后的n帧的取值。作为本申请优选但非限制性的具体实施例，针对减速运动的物体，m取值为3，n取值为5，从而保证两次差分运算后运动目标轮廓更加清晰，减少鬼影的情况。
针对加速运动的物体，m取值大于n；即当前帧前的m帧取值大于当前帧后的n帧的取值。作为本申请优选但非限制性的具体实施例，针对加速运动的物体，m取值为5，n取值为3，从而保证两次差分运算后运动目标轮廓更加清晰，同时减少鬼影和空洞的情况。
针对匀速运动的物体，m取值与n帧的取值相等，即当前帧前的m帧取值与当前帧后的n帧的取值相等，作为本申请优选但非限制性的具体实施例，针对匀速运动的物体，m和n的取值均为3，从而保证两次差分运算后运动目标轮廓更加清晰，同时过滤掉运动速度过快的物体。
实施例1：不相邻三帧帧差法对变电站周界进行减速运动的运动目标进行运动目标提取的步骤具体如下：
步骤1.1：基于变电站周界外面监测系统获取一段视频流；
步骤1.2：采用中值滤波、双边滤波等算法对图像进行滤波处理；
步骤1.3：取t时刻、t-m时刻和t+n时刻的图像，优选为m＝2、n＝3；
步骤1.4：计算t-m时刻和t+n时刻的差分二值化图像RIm(x,y)和RIn(x,y)；
步骤1.5：计算t时刻的差分二值化图像RIt(x,y)，即将RIm(x,y)和RIn(x,y)进行与运算。
本发明实施例还提供不同变电站场景下的帧数选取原则，包括：
1、根据不同的时间选取不同的帧数。优选的，变电站周界区域在夜晚可能出现的长时间停留情况较多，按照停留的逻辑为减速运动，因此，夜晚m取值小于n，白天一般会将晚上停留时间长的物体移走，m取值大于n，来识别从静止到移动走的物体，从而消除该物体的预警。
2、根据不同变电站周围的环境进行设定，如在野外的变电站长时间停留的情况较多，按照m取值小于n的情况设定，在城市里面的变电站，短时间停留的情况较多，为避免长时间告警，m取值大于n，便于关注物体离开后解除告警的情况。
3、根据变电站周围物体运动的特点进行设定，如临近公路、社区等，为了过滤一些中等移动速度的人和物体，如人的步行、蛇、青蛙等穿行。针对这些情况可以适当将m和n的取值加大，更加适合判断更低速度的运行目标。
本申请中不相邻三帧图像帧差法的表达式如下：
RIt(x,y)＝RIm(x,y)∩RIn(x,y)
上式中，It-1(x,y)为t时刻前第m帧图像前景区域中灰度值，It+n(x,y)为t时刻后第n帧图像前景区域中灰度值，RIm(x,y)为t时刻图像与前m帧图像进行差分二值化运算得到的二值化图像，RIn(x,y)为t时刻图像与后n帧图像进行差分二值化运算得到的二值化图像。RIt(x,y)为RIm(x,y)和RIn(x,y)进行与运算得到的t时刻二值化图像。
Thread为分割阈值，在本申请优选但非限制性地实施方式中，图像二值化阈值选取方法可以为双峰法、P参数法、最大类间方差法(Otsu、大津法)、最大熵阈值法、迭代法(最佳阈值法)中的一种。优选的，本实施例根据Otsu算法计算出二值化的阈值。
采用变步长帧差法能够在保证运动目标像素点检测的精度下，与两帧帧差法相比提取更多的目标像素点，从而克服检测结果空洞的问题。
为了保障对运动目标边缘提取的准确性，再进一步对获取的帧差图像RIt(x,y)进行形态学操作，即先进行图像的膨胀操作在进行腐蚀操作，提取更为精确的运动目标的前景区域。并提取前景区域在图像中的位置数据。
步骤2，对步骤1采集的图像进行形态学操作，提取运动目标的前景区域以及前景区域在图像中的位置数据；
为了保障对运动目标边缘提取的准确性，本申请提出再进一步对获取的帧差图像进行形态学操作，提取更为精确的运动目标的前景区域。
步骤2包括对t时刻的差分二值化图像RIt(x,y)进行形态学处理，即先进行膨胀操作再进行腐蚀操作，得到图像中的运动目标，并提取运动目标的前景区域以及前景区域在图像中的位置数据。
步骤3，构建变电站入侵物识别模型并对t时刻的运动目标进行识别。
步骤3具体包括：
步骤3.1，采集变电站周界常见异物图像并构建变电站入侵异物数据集，在数据集内异物图像上对要识别的异物目标进行标注，为要识别的目标添加标签，生成用于图像识别的标注数据格式；
步骤3.2，对数据集内异物图像进行数据集扩增操作，并将数据集分为训练集和测试集；
步骤3.3，构建基于坐标注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型；具体地，步骤3.3包括初始化神经网络算法参数，并对训练集的数据进行训练，基于注意力机制的神经网络进行特征提取和异物分类；基于测试集上进行模型的测试，完成模型的训练。
步骤3.4，将t时刻的运动目标的前景区域以及前景区域在图像中的位置数据输入变电站入侵物识别模型进行图像识别。基于变电站入侵物识别模型进行图像识别的过程包括：基于前景区域在图像中的位置数据对t时刻图像中进行分割，并将分割出的候选区域图像作为基于注意力机制的变电站周界区域异物识别算法的输入图像，通过基于注意力机制的神经网络提取图像的特征；并在输入图像上标记出识别的结果。
本发明提出的变电站周界异物识别算法主要实现对变电站周界区域的风飘物、人畜、树木枝叶、车辆、垃圾堆、火灾、彩钢瓦棚、鸟巢等异物进行识别。采集鸟巢、风飘物、垃圾堆、树木枝叶、车辆、彩钢瓦棚等异物图像并构建变电站入侵异物数据集，对数据集进行标注；数据集标注，即在图像上对要识别的特定目标进行标注，为要识别的目标添加标签，生成用于图像识别的标注数据格式。
从本实施例所列出的部分变电站周界区域的异物可以看出这些异物进入到变电站周界区域是按照时间动态进入的。因此本发明对帧差法进行改进，采用不相邻的三帧图像实现对运动目标进行检测，进一步基于注意力机制对检测出的运动目标进行识别，判断是否为异物，并将识别将结果存储到数据库，边缘监测及预警平台进行调用。
本发明采用改进的不相邻帧差法能够快速判断出图像内异物停留的位置或者离开的位置，为便于识别出异物的类型，基于该位置作为注意力机制的候选区域，针对该区域进行特征提取和目标识别。
注意力机制进行目标检测的步骤如下：
步骤3中，基于改进不相邻三帧差法获取到运动目标的位置区域范围。注意力机制可以使目标检测的神经网络模型聚焦在感兴趣的局部信息中，使神经网络更加关注步骤3得到的区域内的物体的特征，从而提高目标检测的准确率和识别的效率。
在卷积神经网络CNN中增加注意力机制能够提高网络的感受野，进而提升卷积神经网络CNN对目标的检测能力。优选地，除卷积神经网络CNN以外，本申请中多目标检测的神经网络算法还可以选择YOLO、Faster RCNN、SSD算法、残差网络ResNet等。
在深度学习中，常见的注意力机制实现方式有SE(squeeze-and excitationnetwork)、CBAM(convolutional block attention module)、BAM(bottleneck attentionmodule)等。其中SE只考虑内部通道信息，忽略了视觉检测任务中更重要的位置信息和空间结构。BAM和CBAM可以利用全局池化操作来收集局部位置信息，但它们无法有效获取特征图上的长范围依赖信息。坐标注意力机制(coordinate attention，CA)可以在保持通道信息的同时获取位置信息。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意力机制将通道注意分解为2个一维特征编码，并沿着2个空间方向聚合特征。具体结构如图2所示。
将位置信息嵌入通道注意力中可以使神经网络在更大的区域接受信息，从而减少注意力模块的参数数量，同时避免过度计算。为了避免由于二维全局池化而导致的位置信息丢失，二维全局池化被分解为2个并行的一维特征编码，并沿着2个空间方向进行特征聚合，这可以有效地将空间坐标信息集成到注意力图中。
输入特征图到特征加强网络，采用水平方向池化和垂直方向池化得到2个独立方向的感知特征图像，将两个方向的特征图进行级联操作，再进行二维卷积和批量归一化(batch normalization，BN)操作，得到水平方向和垂直方向的编码信息，再切分到水平方向和垂直方向进行二维卷积，并使用激活函数进行非线性激活，再通过权重分配使输入与输出通道数相同，最后输出特征图。
实施例2：以YOLO v5算法为例，首先需要建立鸟巢、风飘物、垃圾堆、树木枝叶、车辆、彩钢瓦棚等异物的数据集，并对数据集进行标注，便于模型进行训练。为了提高识别的准确率，通过水平翻转、垂直翻转、增加噪声、随机裁剪、随机旋转角度等方式对要识别的目标物体进行数据增加，实现数据集的扩增。
步骤3.1，采集变电站周界常见异物图像并构建变电站入侵异物数据集，在数据集内异物图像上对要识别的异物目标进行标注，为要识别的目标添加标签，生成用于图像识别的标注数据格式；
步骤3.2，对数据集内异物图像进行数据集扩增操作，并将数据集分为训练集和测试集；其中数据集扩增操作包括对数据集内异物图像进行水平翻转、垂直翻转、增加噪声、随机裁剪、随机旋转角度；
步骤3.3，构建基于坐标注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型；
具体地，初始化YOLO v5算法参数，基于上述神经网络算法对训练集的数据进行训练，进行特征提取和异物分类，在测试集上进行模型的测试，得到最佳模型，并完成模型的训练；
步骤3.4，将t时刻的运动目标的前景区域以及前景区域在图像中的位置数据输入变电站入侵物识别模型进行图像识别。具体地，根据步骤2提取的运动目标的前景区域在t时刻的位置数据，在t时刻图像中分割出运动目标的前景区域，即提取该运动目标的候选区域图像，作为上述模型的输入图像，通过上述模型对候选区域图像进行分类预测，并在输入图片上标记出识别的结果，得到识别结果，并输出相应的结果。
本发明采用改进的不相邻帧差法能够快速判断出图像内异物停留的位置或者离开的位置，为便于识别出异物的类型，基于该位置作为注意力机制的主要候选框，并将该候选框与建议框融合，针对该区域进行特征提取和目标识别。
本实施例提供以下几种对变电站周界异物进行基于注意力机制的特征提取和目标识别的候选区域选择方法：
人、动物、车辆等停留，主要从外部区域进入到变电站周界区域，采用针对减速运动的运动目标的帧数选取原则，识别出物体停止的位置，将该位置作为注意力机制识别的主要候选区域。
火灾等隐患是从一个点发生，向外扩散的情况，采用加速运动的运动目标的帧数选取原则，来识别出火灾的主要位置，并以该区域为注意力机制识别的主要候选区域。
漂浮物、倾倒垃圾等都是减速运动后停留时间长的情况，采用减速运动的运动目标的帧数选取原则，识别出这类异物的位置，并通过注意力机制将该区域设定为主要候选区域。
通过注意力机制设定好主要候选区域后，将图像输入的目标检测模型中，根据训练好的模型，识别出异物的类型，并进行预警。
步骤4，将识别出的运动目标结果存储于数据库中并发送告警信息。
本发明第二方面，还提供一种融合帧差和CA的变电站周界异物识别系统，用于实现一种融合帧差和CA的变电站周界异物识别方法，系统包括变电站周界视频巡视与监测模块、变电站周界外破监测及预警平台。
变电站周界视频巡视与监测模块包括监控摄像机、视频监控数据网关、监控中心；视频监控数据网关通过调用视频监控的控制协议，设定变电站周界区域的巡视策略，实现对变电站周界区域的无死角视频巡视。
监控摄像机用于获取变电站周界区域的视频流数据；视频监控数据网关主要实现对视频监控数据的汇聚和存储，并通过通信单元将其发送至监控中心；监控中心运行变电站周界外破监测及预警平台，基于视觉语义情境理解、巡视任务编排、人机交互等技术，实现对变电站周界视频监控装置的管理、预警数据的统计和推送、外破事件的展示、运维任务的智能派单等。其中监控中心还包括：监控大屏，用于对变电站周界外破监测及预警平台的数据展示，包括：全景图、设备状态、报警管理、数据统计和用户管理等；设备管理及预警模块，用于保存变电站信息、网关管理、巡视任务、预警信息和历史数据等；监控平台框架主要为监测及预警平台系统框架，包括：资源层、核心层、界面层和应用层；数据处理模块主要包括：语义解析、内容认知、结构交互定义、数据关联和人机交互服务。
变电站周界外破监测及预警平台主要为实现本发明所涉及的一种融合帧差和注意力机制的变电站周界异物识别方法，包括：
图像提取模块，用于基于变电站周界监测的一段视频流，采用基于改进帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
图像预处理模块，用于对二值化图像进行预处理并提取运动目标的前景区域以及前景区域在图像中的位置数据；
模型构建及特征提取模块，构建基于注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型，以识别出变电站周界异物是否为入侵异物，并且识别出入侵异物种类；
告警模块，用于将识别出的运动目标结果存储于数据库中并发送告警信息。
变电站周界外破监测及预警平台的输入端连接变电站周界视频巡视与监测模块，以变电站周界监测的视频流为输入，以异物识别种类为输出；变电站周界外破监测及预警平台用于构建基于注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型，以识别出变电站周界异物是否为入侵异物，并且识别出入侵异物种类。
变电站周界外破监测及预警平台还包括：
存储单元，用于保存采集鸟巢、风飘物、垃圾堆、树木枝叶、车辆、彩钢瓦棚等异物图像并构建变电站入侵异物数据集及数据集标注，以及扩增后的数据集；
数据处理单元，用于对数据集内异物图像进行水平翻转、垂直翻转、增加噪声、随机裁剪、随机旋转角度，实现数据集的扩增；
告警信息生成单元，用于基于模型输出结果生成对应告警信息并传输至告警模块，告警模块的输出端连接监控大屏，并通过人机交互界面将告警信息展示在监控大屏以提示站内工作人员，同时通过短信推送的方式将告警信息发送给变电站运维人员。
本发明的有益效果在于，与现有技术相比，本发明提供的一种融合帧差和CA的变电站周界异物识别方法，适用于变电站的周界区域的智能巡检，能够有效可靠识别变电站周界区域的异物，并对识别出的异物进行预警及报警信息推送。本发明采用的基于时间序列的变步长帧差法对周界区域的运动物体进行检测，并将检测出的运动物体作为基于注意力机制的变电周界区域异物识别算法的输入，最终实现周界区域的异物识别与位置标注。解决了现有帧差法图像重影和空洞的问题，同时基于形态学处理提高了目标物体边缘检测的效果。融合注意力机制提高了变电站周界区域异物识别的效率和准确率，降低变电站周界区域异物漏检和误检的概率。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (14)
1.一种融合帧差和CA的变电站周界异物识别方法，其特征在于，包括：
步骤1，基于变电站周界监测的一段视频流，采用基于改进的不相邻帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
步骤2，对步骤1采集的图像进行预处理，提取运动目标的前景区域以及前景区域在图像中的位置数据；
步骤3，构建变电站入侵物识别模型并对t时刻的运动目标进行识别；
步骤4，将识别出的运动目标结果存储于数据库中并发送告警信息。
2.根据权利要求1所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤1包括：在变电站周界监测视频流中基于于改进的不相邻帧差法提取不相邻的三帧图像，在t时刻提取一帧图像，在t时刻前取第m帧图像，在t时刻后取第n帧图像；基于t时刻前后提取的图像计算t时刻的差分二值化图像。
3.根据权利要求2所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤1具体包括：
步骤1.1，基于变电站周界外面监测系统获取一段视频流，并采用中值滤波算法、双边滤波算法对视频图像进行滤波处理；
步骤1.2，在视频流的t时刻采集一帧图像，在t时刻前采集第m帧图像，在t时刻后采集第n帧图像；
步骤1.3，分别计算t时刻前第m帧图像与t时刻后第n帧图像的差分二值化图像RIm(x,y)和RIn(x,y)；
步骤1.4，基于RIm(x,y)和RIn(x,y)计算t时刻的差分二值化图像RIt(x,y)。
4.根据权利要求3所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
差分二值化图像的计算公式如下：
RIt(x,y)＝RIm(Xiy)∩RIn(Xiy)
式中，It-1(x,y)为t时刻前第m帧图像前景区域中灰度值，It+n(x,y)为t时刻后第n帧图像前景区域中灰度值，RIm(x,y)为t时刻图像与前m帧图像进行差分二值化运算得到的二值化图像，RIn(x,y)为t时刻图像与后n帧图像进行差分二值化运算得到的二值化图像；RIt(x,y)为RIm(x,y)和RIn(x,y)进行与运算得到的t时刻二值化图像。
5.根据权利要求3所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
改进的不相邻帧差法的选取原则包括：m∈[2,15]，n∈[2,15]；
针对减速运动的物体，m取值小于n；
针对加速运动的物体，m取值大于n；
针对匀速运动的物体，m的取值与n的取值相等。
6.根据权利要求1所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤2包括对t时刻的差分二值化图像RIt(x,y)进行形态学处理，即先进行膨胀操作再进行腐蚀操作；得到图像中的运动目标，并提取运动目标的前景区域以及前景区域在图像中的位置数据。
7.根据权利要求6所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤3具体包括：
步骤3.1，采集变电站周界常见异物图像并构建变电站入侵异物数据集，在数据集内异物图像上对要识别的异物目标进行标注，为要识别的目标添加标签，生成用于图像识别的标注数据格式；
步骤3.2，对数据集内异物图像进行数据集扩增操作，并将数据集分为训练集和测试集；
步骤3.3，构建基于坐标注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型；
步骤3.4，将t时刻的运动目标的前景区域以及前景区域在图像中的位置数据输入变电站入侵物识别模型进行图像识别。
8.根据权利要求1所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤3中基于变电站入侵物识别模型进行图像识别的过程包括：基于前景区域在图像中的位置数据对t时刻图像中进行分割，并将分割出的候选区域图像作为基于注意力机制的变电站周界区域异物识别算法的输入图像，通过基于注意力机制的神经网络提取图像的特征；并在输入图像上标记出识别的结果。
9.根据权利要求7所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
步骤3.3包括初始化神经网络算法参数，并对训练集的数据进行训练，基于注意力机制的神经网络进行特征提取和异物分类；基于测试集上进行模型的测试，完成模型的训练。
10.根据权利要求7所述的一种融合帧差和CA的变电站周界异物识别方法，其特征在于，
所述数据集扩增操作包括对图像进行水平翻转、垂直翻转、增加噪声、随机裁剪、随机旋转角度。
11.一种融合帧差和CA的变电站周界异物识别系统，其特征在于：
所述系统包括变电站周界视频巡视与监测模块、变电站周界外破监测及预警平台；
其中，变电站周界外破监测及预警平台包括：
图像提取模块，用于基于变电站周界监测的一段视频流，采用基于改进帧差法得到变电站周界停留时间超出设定阈值的运动目标的差分二值化图像；
图像预处理模块，用于对二值化图像进行预处理并提取运动目标的前景区域以及前景区域在图像中的位置数据；
模型构建及特征提取模块，构建基于注意力机制的变电站入侵物识别模型并基于变电站入侵异物数据集训练该模型，以识别出变电站周界异物是否为入侵异物，并且识别出入侵异物种类；
告警模块，用于将识别出的运动目标结果存储于数据库中并发送告警信息。
12.根据权利要求1所述的一种融合帧差和CA的变电站周界异物识别系统，其特征在于：
变电站周界视频巡视与监测模块包括监控摄像机、视频监控数据网关、监控中心；
其中监控中心用于运行变电站周界外破监测及预警平台。
13.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-10任一项所述方法的步骤。
14.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310331092.0A CN116311071A (zh) | 2023-03-30 | 2023-03-30 | 一种融合帧差和ca的变电站周界异物识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310331092.0A CN116311071A (zh) | 2023-03-30 | 2023-03-30 | 一种融合帧差和ca的变电站周界异物识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311071A true CN116311071A (zh) | 2023-06-23 |
Family
ID=86797755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310331092.0A Pending CN116311071A (zh) | 2023-03-30 | 2023-03-30 | 一种融合帧差和ca的变电站周界异物识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311071A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117885116A (zh) * | 2024-03-15 | 2024-04-16 | 中铁电气化铁路运营管理有限公司 | 基于遥控通信的接触网线路测距巡检方法和巡检机器人 |
| CN118628552A (zh) * | 2024-08-12 | 2024-09-10 | 四川德会高速公路有限责任公司 | 一种高速路异常生物监测预警方法和系统 |
-
2023
- 2023-03-30 CN CN202310331092.0A patent/CN116311071A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117885116A (zh) * | 2024-03-15 | 2024-04-16 | 中铁电气化铁路运营管理有限公司 | 基于遥控通信的接触网线路测距巡检方法和巡检机器人 |
| CN117885116B (zh) * | 2024-03-15 | 2024-05-24 | 中铁电气化铁路运营管理有限公司 | 基于遥控通信的接触网线路测距巡检方法和巡检机器人 |
| CN118628552A (zh) * | 2024-08-12 | 2024-09-10 | 四川德会高速公路有限责任公司 | 一种高速路异常生物监测预警方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116311071A (zh) | 一种融合帧差和ca的变电站周界异物识别方法及系统 | |
| CN111209810A (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| CN109740590B (zh) | 基于目标跟踪辅助的roi精确提取方法及系统 | |
| KR20200071799A (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| CN113052048B (zh) | 交通事件检测方法、装置、路侧设备以及云控平台 | |
| CN112906678B (zh) | 基于监控视频的非法遛狗事件检测方法、装置 | |
| CN107239746A (zh) | 一种面向道路救援安全监控的障碍物识别跟踪方法 | |
| CN102254394A (zh) | 一种基于视频差异分析的输电线路杆塔防盗监控方法 | |
| CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
| JP2023524623A (ja) | 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN114170272A (zh) | 一种云端环境下基于感知传感器的事故报告、储存方法 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN116597394A (zh) | 一种基于深度学习的铁路异物侵限检测系统及方法 | |
| CN114373162A (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN113963373A (zh) | 一种基于视频图像动态检测与跟踪算法系统及方法 | |
| CN113033363A (zh) | 一种基于深度学习的车辆稠密目标检测方法 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
| CN115311458B (zh) | 基于多任务学习的实时高速公路行人闯入事件检测方法 | |
| CN116798117A (zh) | 一种基于视频理解的矿井下异常动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |