CN111340843A - 基于环境自适应和小样本学习的电力场景视频检测方法 - Google Patents

基于环境自适应和小样本学习的电力场景视频检测方法 Download PDF

Info

Publication number
CN111340843A
CN111340843A CN202010102755.8A CN202010102755A CN111340843A CN 111340843 A CN111340843 A CN 111340843A CN 202010102755 A CN202010102755 A CN 202010102755A CN 111340843 A CN111340843 A CN 111340843A
Authority
CN
China
Prior art keywords
detection
ggd
animal
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010102755.8A
Other languages
English (en)
Inventor
聂礼强
郑晓云
战新刚
姚一杨
刘晓川
刘萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
State Grid Zhejiang Electric Power Co Ltd
Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
Shandong University
State Grid Zhejiang Electric Power Co Ltd
Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, State Grid Zhejiang Electric Power Co Ltd, Quzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, Zhiyang Innovation Technology Co Ltd filed Critical Shandong University
Priority to CN202010102755.8A priority Critical patent/CN111340843A/zh
Publication of CN111340843A publication Critical patent/CN111340843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于环境自适应和小样本学习的电力场景视频检测方法包括，运动检测：采用改进的广义高斯混合模型对监控视频进行环境自适应的运动检测，将检测到的运动目标用候选框标记出来；根据候选框进行相应的图像内容裁剪；将裁剪得到的“特写”图像作为下一环节目标检测的输入；接收目标检测的结果，进行可视化标示或警报；目标检测：对YOLOv3模型进行针对性调整；将所述“特写”图像输入改进后的YOLOv3模型进行目标检测，通过判断该对象是否为动物，来判定是否发生了动物入侵。本发明具有良好的实时性，准确性和鲁棒性，既可满足变电站动物入侵检测的实际需求，也进一步丰富了相关领域的研究。

Description

基于环境自适应和小样本学习的电力场景视频检测方法
技术领域
本发明公开一种基于环境自适应和小样本学习的电力场景视频检测方法，属于电力环境智能识别的技术领域。
背景技术
随着社会的发展，我国对电能的需求日益增大，促使电力设备的数量不断增长，因此加强对电力场景的安全监控，是保障电力安全稳定运行的主要预防措施。早期电力行业中的视频监控主要起到记录的作用，一般都是事故发生后再进行处理。近几年，电力行业的改革一直在推进，其中电力场景监控视频的检测技术也获得了较快的发展。以计算机视觉和深度学习为基础的视频检测方法，能从电力场景监控视频中智能分辨、识别和提取出异常信息，从而更及时地发现安全隐患，更科学地统筹管理。
电力行业中不同专业对于视频监控的检测有着不同的需求，如发电厂、变电站、输电线路、电力营业厅等，因为应用环境和业务性质不同，各专业对视频监控的检测具体要求也不同。
以变电站的动物入侵检测为例，在实际生活中，常规的变电站等均缺乏人工值守，并且离人类居住区存在一定距离。由于其周围环境适宜，也成为了动物栖息的理想场所。作为小样本的动物进入电力场景时，例如蛇鼠等动物进入主控室和高压室，会造成短路、设备绝缘破坏等电力事故。现阶段，变电站应对动物入侵的主要防范措施是施工封锁和设置挡板。由于防范任务的长期性、特殊性和复杂性，使得动物入侵造成的变电站跳闸短路等事故依然时有发生。因此，为了有效地提高防范力度以营造更加安全的变电站工作环境，构建动物入侵检测模型对其进行实时监测是十分必要的。
目前，常用的运动检测方法有以下几种：帧差法、光流法、背景差法和高斯混合模型(GMM)等，这些方法通常用来解决光照条件稳定且图像噪声微小环境下的运动检测问题。相较于上述应用环境，变电站监控环境更为复杂，其原因如下：1)由于变电站监控摄像头在室内和室外均有分布，使得监控视频光照条件不稳定；2)照明灯的开关和工作人员便携式照明设备的使用等行为造成监控视频画面的突变；3)室外环境中太阳光照的渐变，会引起监控视频内物体影子的渐变。所以，现有方法均不适用于变电站环境，致使变电站监控视频的运动检测十分具有挑战性。
中国专利文献CN110084166A公开一种基于深度学习的变电站烟火智能识别监测方法，通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化，紧接着融合两种改进之后的模型框架，尽可能多地避免二者的劣势，发挥出二者各自的优势，设计一种更加合理灵活的检测方法：平时利用图像识别模型进行监控。但是该文献中的识别监测方法难应用至环境条件多变的变电站领域以检测活体动物的入侵行为。
在变电站目标检测方面，由于入侵动物种类繁多，且动物在监控画面中不清晰或者占比太小，使其难以被识别，严重影响检测效率。另外，现有动物入侵的图片和视频数据相当稀缺，致使变电站动物目标检测相比于一般的目标检测任务面临更多的挑战。
由于变电站动物入侵场景的特殊性和复杂性，且相关的研究也少之又少，致使变电站运动检测和目标检测面临诸多困难。
发明内容
针对现有技术的不足，本发明公开一种基于环境自适应和小样本学习的电力场景视频检测方法。本发明旨在对复杂多变的变电站环境下各种动物的入侵进行实时检测。此外，本发明具有良好的实时性，准确性和鲁棒性，既可满足变电站动物入侵检测的实际需求，也进一步丰富了相关领域的研究。
专业术语解释：
运动检测：在视频图像序列中检测出发生空间位置变化的区域，并将运动目标从图像背景中提取出来。
目标检测：在数字图像中定位出感兴趣的目标物体的位置，并预测其类别信息。
小样本学习：机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。
特征融合：在基于深度学习的目标检测模型中，浅层的特征图中往往包含一些低级的特征，比如：物体的颜色和轮廓等；而深层的特征图则包含更加复杂的特征，如：建筑、车辆等语义信息。特征融合指将不同层次的特征图信息进行融合，来提高目标检测的精度。
环境自适应：当检测环境发生变化时，运动检测模型能够自动地调整相关参数来适应新的检测环境，以达到最好的检测效果。
实时性：在规定时间内，系统的响应速度达到实时效果。
本发明的技术方案如下：
基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，包括：
1)运动检测：
采用改进的广义高斯混合模型(GGMM)对监控视频进行环境自适应的运动检测，将检测到的运动目标用候选框标记出来；
同时，根据候选框进行相应的图像内容裁剪；
然后，将裁剪得到的“特写”图像作为下一环节目标检测的输入；
最后，接收目标检测的结果，进行可视化标示或警报。
2)目标检测：
首先，对YOLOv3模型进行针对性调整；
然后，将所述“特写”图像输入改进后的YOLOv3模型进行目标检测，通过判断该对象是否为动物，来判定是否发生了动物入侵。
根据本发明优选的，所述步骤1)中改进的广义高斯混合模型为：
其中，所述广义高斯混合模型简介：
一维广义高斯分布(GGD)的概率密度函数(PDF)为：
Figure BDA0002387425570000041
其中：Γ()是Gamma函数，
Figure BDA0002387425570000042
参数μ,δ2,λ分别为GGD的均值、方差和形状参数。形状参数越小，GGD密度函数衰减越快，形状越尖锐，拖尾越长。正因为形状参数的影响，使得GGD比GMM能更充分地描述样本。
使用三维GGD模型，对彩色图像的RGB三个通道分别进行建模，对于三维特征向量X＝(x1,x2,x3)∈R3，其GGD分布定义如下：
Figure BDA0002387425570000051
Figure BDA0002387425570000052
其中μ＝(μ1,μ2,μ3)，δ＝(δ1,δ2,δ3)，λ＝(λ1,λ2,λ3)分别为GGD的均值、方差和形状参数，λl≥1(l＝1,2,3)，λ决定了每一维GGD的PDF形状；
GGMM是由M个GGD混合组成的，其PDF为：
Figure BDA0002387425570000053
其中pj为第j个GGD的权重，满足
Figure BDA0002387425570000054
参数Θ＝(ε1,ε2,ε3,ε4)，表示M个GGD的全部参数，其中ε1＝(μ1,μ2,...,μM),ε2＝(δ1,δ2,...,δM),ε3＝(λ1,λ2,...,λM),ε4＝(p1,p2,...,pM)；p(x|μj,δj,λj)为第j个GGD的PDF。
本设计的优点在于：由于运动检测任务的数据大都处于多维空间中，所以需要构建多维GGD模型，进一步，为了保持每个维度的形状特性，本发明假设形状参数是相互独立的。
根据本发明优选的，所述参数Θ的估计方法包括：
为了实现运动检测的环境自适应性，采用迭代公式在线估计每个像素点的值，利用n时刻上估计的参数与n+1时刻的输入，计算n+1时刻的参数，过程如下：
Figure BDA0002387425570000055
Figure BDA0002387425570000056
其中：
Figure BDA0002387425570000061
βn是学习速率，决定了背景更新的快慢；θj的更新代表了参数μj,δj,λj的更新。
根据本发明优选的，在GGD模型数量M为固定数量模型：3-5个中的任意一个数量。如果模型数量不固定，会增加每个像素点的计算复杂性，故采用固定数量的模型。
根据本发明优选的，其中，所得到的运动检测目标就是每个运动对象的“特写”；
背景更新：考虑每个像素点的值与任一GGD是否匹配，即当每个像素点的值与任一GGD的偏差小于某个阈值时，认为二者相匹配；否则，建立一个新的GGD，使其均值与新的像素点的值相等，从而实现背景的更新；
前景目标提取：将M个GGD按照以下标准进行排序：
pj/||δj||(j＝1,2,...M)
选择前B个用于背景建模：
Figure BDA0002387425570000062
其中，T是设定的阈值，优选默认0.7，其他的M-B个分布用于前景的描述，从而将运动目标提取出来；一旦检测到运动目标，就将其截图传入目标检测环节，以满足实时性需求；
采用背景差法将当前帧与更新背景做差得到前景，以适应背景变化，从而更准确地检测出运动目标。
根据本发明优选的，在进行候选框标记之前，先对前景图像进行去除噪点处理，方法采用膨胀方法和/或腐蚀的方法。由于本方法前景目标中存在一些噪声，可能会导致运动检测时出现空洞和裂缝的情况，故采用膨胀和腐蚀的方法。
根据本发明优选的，在进行候选框标记之前，再对前景图像进行二值化处理：
将前景表示成RGB彩色图像，当三个同道中有一个值大于0时，将其二值化结果设为1。此处设计的原因在于，当背景与前景的像素值相近时，可能会出现前景被划分背景中的情形，造成空洞现象，因此选用二值化处理。
本发明所述的步骤1)中环境自适应运动检测算法能够很好地解决光照环境复杂多变情境下的运动检测需求，有效克服了光照的突变、渐变、背景扰动、噪声和阴影等对运动检测的限制。
根据本发明优选的，所述步骤2)目标检测包括：
2-1)训练数据的准备：
通过步骤1)所述的运动检测方法将所需的训练数据转换成动物的“特写”；在本发明中，所述运动检测的结果就是每个运动对象的“特写”，因此训练所需的原始数据就触手可得了，例如：可从图片网站爬取11种变电站常见的入侵动物(獾、鸟、猫、鸡、狗、蛙、猴、鼠、兔、浣熊、蛇)图片，进行人工标注，得到训练数据；
2-2)训练数据的预处理：
将每张原始图片的低色温/高色温、过曝/欠曝、过饱和/欠饱和副本重命名，作为新的训练数据，从而扩充训练集；
2-3)调整先验框：
先通过k-means聚类算法找到9个最合适的先验框；理论上，如果随机生成9个先验框，那么在训练过程中接近真实物体框的过程就会比较慢，因此本发明引入聚类算法找到9个最合适的先验框，以加快训练速度，同时提高识别精度；
2-4)YOLOv3模型在检测小物体时性能优异，但在处理大尺寸对象时，检测效果反而更差，这是由于在特征融合过程中，高维度特征信息被一定程度削弱导致的，本发明是对动物的“特写”图片进行识别，属于大尺度对象，故对特征融合过程做调整：
i)在Darknet-53网络基础上增加一次下采样(如图2所示)；
ii)同时，采用类FPN网络结构，从(7×7)尺度的特征图开始提取特征，并执行上采样；
iii)输出层从三层扩展为四层，最后取四个尺度(7×7,14×14,28×28,56×56)的特征图进行融合，从而调整特征金字塔结构，以获得更多的高维度特征信息；
2-5)训练改进后的YOLOv3目标检测模型；
2-6)将步骤1)得到运动目标图像输入到步骤2-5)训练好的YOLOv3模型中，YOLOv3模型输出图片中动物的位置、类别以及置信度。并将这些信息返回给第一个环节的最后一步，及时进行标示或警报，从而满足实时性需求。
综上，本发明要解决的技术问题
(1)针对运动检测精度较低的问题。复杂多变的变电站环境，比如：光照的突变和渐变、背景扰动、噪声和阴影等，会影响运动检测的精度。
(2)针对目标检测准确度低的问题。变电站监控摄像头与动物相隔较远，导致目标在图像中占比过小，使得成像不清晰，严重影响了目标检测的准确度。
(3)针对现有样本稀少的问题。大多数现有动物图片数据集都是动物的特写数据，与监控视频中动物占比极小的实际情况不符，不能用来训练变电站目标检测模型。此外，动物监控视频数据又极其稀缺，难以满足模型的训练需求。
本发明的有益效果如下：
本发明将环境自适应的运动检测技术和小样本学习目标检测技术相结合，实现对变电场进行实时的动物入侵检测。具体地，本发明通过环境自适应的运动检测算法，有效解决了在环境光照复杂多变的条件下运动检测准确率低的问题；针对性地调整YOLOv3模型，适应了变电站动物入侵任务的复杂性，能够在测试集上取得88.6％的准确率，并且鲁棒性强；将运动检测的结果作为目标检测的输入，解决了训练数据匮乏的问题，并满足了入侵检测的实时性需求。
本发明首次实现针对变电站的动物入侵检测，实现计算机视觉技术和深度学习技术在泛在电力物联网建设中的创新性融合，能有效提高变电场动物入侵防范工作的效率，减少电力事故的发生。利用这些优点，可将本专利视频检测方法的思想应用于其他电力场景，以广泛解决电力设备运行环境的智能分析，提升电力监控系统的智慧化水平，为电网管理起到减员增效的重要作用。
附图说明
图1是本发明所述检测方法的流程图；
图2是本发明中，在Darknet-53网络基础上增加一次下采样的示意图；
图3是本发明应用例1中的待识别图；
图4是本发明应用例1中运动检测的结果图；
图5是本发明应用例1对中图候选框内容进行动物识别的结果图；
图6是本发明应用例2对中图候选框内容进行动物识别的结果图；
图7是本发明应用例2的运动检测的结果图；
图8是本发明应用例2的运动检测的结果图，对图7的框选结果不做保存；
图9是本发明应用例3的待识别图；
图10是本发明应用例3的运动检测的结果图，包括人和狗；
图11是本发明应用例3对中图候选框内容进行动物识别的结果，只保留狗的候选框。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例、
将本发明基于环境自适应和小样本学习的电力场景视频检测方法应用于电力场景中对小动物入侵的检测，具体包括：
1)运动检测：
采用改进的广义高斯混合模型(GGMM)对监控视频进行环境自适应的运动检测，将检测到的运动目标用候选框标记出来；
同时，根据候选框进行相应的图像内容裁剪；
然后，将裁剪得到的“特写”图像作为下一环节目标检测的输入；
最后，接收目标检测的结果，进行可视化标示或警报。
2)目标检测：
首先，对YOLOv3模型进行针对性调整；
然后，将所述“特写”图像输入改进后的YOLOv3模型进行目标检测，通过判断该对象是否为动物，来判定是否发生了动物入侵。
所述步骤1)中改进的广义高斯混合模型为：
其中，所述广义高斯混合模型简介：
一维广义高斯分布(GGD)的概率密度函数(PDF)为：
Figure BDA0002387425570000111
其中：Γ()是Gamma函数，
Figure BDA0002387425570000112
参数μ,δ2,λ分别为GGD的均值、方差和形状参数。形状参数越小，GGD密度函数衰减越快，形状越尖锐，拖尾越长。正因为形状参数的影响，使得GGD比GMM能更充分地描述样本。
使用三维GGD模型，对彩色图像的RGB三个通道分别进行建模，对于三维特征向量X＝(x1,x2,x3)∈R3，其GGD分布定义如下：
Figure BDA0002387425570000113
Figure BDA0002387425570000114
其中μ＝(μ1,μ2,μ3)，δ＝(δ1,δ2,δ3)，λ＝(λ1,λ2,λ3)分别为GGD的均值、方差和形状参数，λl≥1(l＝1,2,3)，λ决定了每一维GGD的PDF形状；
GGMM是由M个GGD混合组成的，其PDF为：
Figure BDA0002387425570000121
其中pj为第j个GGD的权重，满足
Figure BDA0002387425570000122
参数Θ＝(ε1,ε2,ε3,ε4)，表示M个GGD的全部参数，其中ε1＝(μ1,μ2,...,μM),ε2＝(δ1,δ2,...,δM),ε3＝(λ1,λ2,...,λM),ε4＝(p1,p2,...,pM)；p(x|μj,δj,λj)为第j个GGD的PDF。
所述参数Θ的估计方法包括：
为了实现运动检测的环境自适应性，采用迭代公式在线估计每个像素点的值，利用n时刻上估计的参数与n+1时刻的输入，计算n+1时刻的参数，过程如下：
Figure BDA0002387425570000123
Figure BDA0002387425570000124
其中：
Figure BDA0002387425570000125
βn是学习速率，决定了背景更新的快慢；θj的更新代表了参数μj,δj,λj的更新。
在GGD模型数量M为固定数量模型：3-5个中的任意一个数量。如果模型数量不固定，会增加每个像素点的计算复杂性，故采用固定数量的模型。
其中，所得到的运动检测目标就是每个运动对象的“特写”；
背景更新：考虑每个像素点的值与任一GGD是否匹配，即当每个像素点的值与任一GGD的偏差小于某个阈值时，认为二者相匹配；否则，建立一个新的GGD，使其均值与新的像素点的值相等，从而实现背景的更新；
前景目标提取：将M个GGD按照以下标准进行排序：
pj/||δj||(j＝1,2,...M)
选择前B个用于背景建模：
Figure BDA0002387425570000131
其中，T是设定的阈值，优选默认0.7，其他的M-B个分布用于前景的描述，从而将运动目标提取出来；一旦检测到运动目标，就将其截图传入目标检测环节，以满足实时性需求；
采用背景差法将当前帧与更新背景做差得到前景，以适应背景变化，从而更准确地检测出运动目标。
在进行候选框标记之前，先对前景图像进行去除噪点处理，方法采用膨胀方法和/或腐蚀的方法。由于本方法前景目标中存在一些噪声，可能会导致运动检测时出现空洞和裂缝的情况，故采用膨胀和腐蚀的方法。
在进行候选框标记之前，再对前景图像进行二值化处理：
将前景表示成RGB彩色图像，当三个同道中有一个值大于0时，将其二值化结果设为1。此处设计的原因在于，当背景与前景的像素值相近时，可能会出现前景被划分背景中的情形，造成空洞现象，因此选用二值化处理。
步骤1)中环境自适应运动检测算法能够很好地解决光照环境复杂多变情境下的运动检测需求，有效克服了光照的突变、渐变、背景扰动、噪声和阴影等对运动检测的限制。
所述步骤2)目标检测包括：
2-1)训练数据的准备：
通过步骤1)所述的运动检测方法将所需的训练数据转换成动物的“特写”；在本发明中，所述运动检测的结果就是每个运动对象的“特写”，因此训练所需的原始数据就触手可得了，例如：可从图片网站爬取11种变电站常见的入侵动物(獾、鸟、猫、鸡、狗、蛙、猴、鼠、兔、浣熊、蛇)图片，进行人工标注，得到训练数据；
2-2)训练数据的预处理：
将每张原始图片的低色温/高色温、过曝/欠曝、过饱和/欠饱和副本重命名，作为新的训练数据，从而扩充训练集；
2-3)调整先验框：
先通过k-means聚类算法找到9个最合适的先验框；理论上，如果随机生成9个先验框，那么在训练过程中接近真实物体框的过程就会比较慢，因此本发明引入聚类算法找到9个最合适的先验框，以加快训练速度，同时提高识别精度；
2-4)YOLOv3模型在检测小物体时性能优异，但在处理大尺寸对象时，检测效果反而更差，这是由于在特征融合过程中，高维度特征信息被一定程度削弱导致的，本发明是对动物的“特写”图片进行识别，属于大尺度对象，故对特征融合过程做调整：
i)在Darknet-53网络基础上增加一次下采样(如图2所示)；
ii)同时，采用类FPN网络结构，从(7×7)尺度的特征图开始提取特征，并执行上采样；
iii)输出层从三层扩展为四层，最后取四个尺度(7×7,14×14,28×28,56×56)的特征图进行融合，从而调整特征金字塔结构，以获得更多的高维度特征信息；
2-5)训练改进后的YOLOv3目标检测模型；
2-6)将步骤1)得到运动目标图像输入到步骤2-5)训练好的YOLOv3模型中，YOLOv3模型输出图片中动物的位置、类别以及置信度。并将这些信息返回给第一个环节的最后一步，及时进行标示或警报，从而满足实时性需求。
应用例1、
如图3、4、5所示，按实施例所述方法对图3中的猴子进行识别，处理得到的结果如下：
监控视频内一只猴子坐立在变压箱上方，图3是待识别图，图4是运动检测的结果，图5是对中图候选框内容进行动物识别的结果，检测到了动物，故保留候选框。
应用例2、
如图6、7、8所示，按实施例所述方法对图6中的动物进行识别，处理得到的结果如下：
监控视频内容是变电站工人作业，图6是待识别图，图7是运动检测的结果，包括所有在运动的人，图8是对图7所有候选框进行动物识别的结果，所有候选框内都不存在动物，故都不保存。
应用例3、
如图9、10、11所示，
将实施例所述的方法应用于除电力场景以外的住宅监控时，监控视频内容是嫌疑偷狗贼偷狗的片段，图9是待识别图，图10是运动检测的结果，包括人和狗，图11是对中图候选框内容进行动物识别的结果，只在狗的候选框内检测到了动物，在人的候选框内没有检测到动物，故只保留狗的候选框。
综上，本发明所述方法在不同的场景中对小样本待测物具有非常高的识别度。

Claims (8)

1.一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，包括：
1)运动检测：
采用改进的广义高斯混合模型对监控视频进行环境自适应的运动检测，将检测到的运动目标用候选框标记出来；
同时，根据候选框进行相应的图像内容裁剪；
然后，将裁剪得到的“特写”图像作为下一环节目标检测的输入；
最后，接收目标检测的结果，进行可视化标示或警报；
2)目标检测：
首先，对YOLOv3模型进行针对性调整；
然后，将所述“特写”图像输入改进后的YOLOv3模型进行目标检测，通过判断该对象是否为动物，来判定是否发生了动物入侵。
2.根据权利要求1所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，使用三维GGD模型，对彩色图像的RGB三个通道分别进行建模，对于三维特征向量X＝(x1,x2,x3)∈R3，其GGD分布定义如下：
Figure FDA0002387425560000011
Figure FDA0002387425560000012
其中μ＝(μ1,μ2,μ3)，δ＝(δ1,δ2,δ3)，λ＝(λ1,λ2,λ3)分别为GGD的均值、方差和形状参数，λl≥1(l＝1,2,3)；
GGMM是由M个GGD混合组成的，其PDF为：
Figure FDA0002387425560000021
其中pj为第j个GGD的权重，满足
Figure FDA0002387425560000022
参数Θ＝(ε1,ε2,ε3,ε4)，表示M个GGD的全部参数，其中ε1＝(μ1,μ2,...,μM),ε2＝(δ1,δ2,...,δM),ε3＝(λ1,λ2,...,λM),ε4＝(p1,p2,...,pM)；p(x|μj,δj,λj)为第j个GGD的PDF。
3.根据权利要求2所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，所述参数Θ的估计方法包括：
采用迭代公式在线估计每个像素点的值，利用n时刻上估计的参数与n+1时刻的输入，计算n+1时刻的参数，过程如下：
Figure FDA0002387425560000023
Figure FDA0002387425560000024
其中：
Figure FDA0002387425560000025
βn是学习速率，决定了背景更新的快慢；θj的更新代表了参数μj,δj,λj的更新。
4.根据权利要求2所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，在GGD模型数量M为固定数量模型：3-5个中的任意一个数量。
5.根据权利要求1所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，该检测方法还包括背景更新：
考虑每个像素点的值与任一GGD是否匹配，即当每个像素点的值与任一GGD的偏差小于某个阈值时，认为二者相匹配；否则，建立一个新的GGD，使其均值与新的像素点的值相等，从而实现背景的更新；
前景目标提取：将M个GGD按照以下标准进行排序：
pj/||δj||(j＝1,2,...M)
选择前B个用于背景建模：
Figure FDA0002387425560000031
其中，T是设定的阈值，优选默认0.7，其他的M-B个分布用于前景的描述，从而将运动目标提取出来；一旦检测到运动目标，就将其截图传入目标检测环节；
采用背景差法将当前帧与更新背景做差得到前景。
6.根据权利要求1所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，在进行候选框标记之前，先对前景图像进行去除噪点处理，方法采用膨胀方法和/或腐蚀的方法。
7.根据权利要求6所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，在进行候选框标记之前，再对前景图像进行二值化处理：
将前景表示成RGB彩色图像，当三个同道中有一个值大于0时，将其二值化结果设为1。
8.根据权利要求1所述的一种基于环境自适应和小样本学习的电力场景视频检测方法，其特征在于，所述步骤2)目标检测包括：
2-1)训练数据的准备：
通过步骤1)所述的运动检测方法将所需的训练数据转换成动物的“特写”；
2-2)训练数据的预处理：
将每张原始图片的低色温/高色温、过曝/欠曝、过饱和/欠饱和副本重命名，作为新的训练数据，从而扩充训练集；
2-3)调整先验框：
先通过k-means聚类算法找到9个最合适的先验框；
2-4)对特征融合过程做调整：
i)在Darknet-53网络基础上增加一次下采样；
ii)同时，采用类FPN网络结构，从尺度的特征图开始提取特征，并执行上采样；
iii)输出层从三层扩展为四层，最后取四个尺度的特征图进行融合，从而调整特征金字塔结构，以获得更多的高维度特征信息；
2-5)训练改进后的YOLOv3目标检测模型；
2-6)将步骤1)得到运动目标图像输入到步骤2-5)训练好的YOLOv3模型中，YOLOv3模型输出图片中动物的位置、类别以及置信度。
CN202010102755.8A 2020-02-19 2020-02-19 基于环境自适应和小样本学习的电力场景视频检测方法 Pending CN111340843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102755.8A CN111340843A (zh) 2020-02-19 2020-02-19 基于环境自适应和小样本学习的电力场景视频检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102755.8A CN111340843A (zh) 2020-02-19 2020-02-19 基于环境自适应和小样本学习的电力场景视频检测方法

Publications (1)

Publication Number Publication Date
CN111340843A true CN111340843A (zh) 2020-06-26

Family

ID=71186980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102755.8A Pending CN111340843A (zh) 2020-02-19 2020-02-19 基于环境自适应和小样本学习的电力场景视频检测方法

Country Status (1)

Country Link
CN (1) CN111340843A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464714A (zh) * 2020-10-22 2021-03-09 浙江大华技术股份有限公司 基于视频监控的有害动物检测方法、装置和电子装置
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN112801025A (zh) * 2021-02-09 2021-05-14 北京市商汤科技开发有限公司 目标特征确定方法及装置、电子设备和存储介质
CN113128349A (zh) * 2021-03-25 2021-07-16 国网江西省电力有限公司上饶供电分公司 变电站防治动物智能管控系统
CN113158800A (zh) * 2021-03-19 2021-07-23 上海云赛智联信息科技有限公司 围界入侵混合检测方法及围界入侵混合检测系统
CN113904846A (zh) * 2021-10-09 2022-01-07 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN114783132A (zh) * 2022-03-03 2022-07-22 国网安徽省电力有限公司 一种基于多级智能的变电站安全防护系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479052A (zh) * 2017-05-22 2017-12-15 中国人民解放军国防科学技术大学 基于广义高斯分布模型的地面隐蔽目标检测方法
CN109785361A (zh) * 2018-12-22 2019-05-21 国网内蒙古东部电力有限公司 基于cnn与mog的变电站异物入侵检测系统
CN110084166A (zh) * 2019-04-19 2019-08-02 山东大学 基于深度学习的变电站烟火智能识别监测方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479052A (zh) * 2017-05-22 2017-12-15 中国人民解放军国防科学技术大学 基于广义高斯分布模型的地面隐蔽目标检测方法
CN109785361A (zh) * 2018-12-22 2019-05-21 国网内蒙古东部电力有限公司 基于cnn与mog的变电站异物入侵检测系统
CN110084166A (zh) * 2019-04-19 2019-08-02 山东大学 基于深度学习的变电站烟火智能识别监测方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIWEI PENG等: "Pedestrian Detection for Transformer Substation Based on Gaussian Mixture Model and YOLO", 《IEEE》 *
卢誉声 等: "《移动平台深度神经网络实战 原理、架构与优化》", 30 November 2019 *
张艳 等: "运动目标检测中的环境感知与自适应研究", 《计算机应用》 *
石青 等: "《微小型仿生机器鼠设计与控制》", 31 December 2019 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464714A (zh) * 2020-10-22 2021-03-09 浙江大华技术股份有限公司 基于视频监控的有害动物检测方法、装置和电子装置
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN112801025A (zh) * 2021-02-09 2021-05-14 北京市商汤科技开发有限公司 目标特征确定方法及装置、电子设备和存储介质
CN112801025B (zh) * 2021-02-09 2023-12-19 北京市商汤科技开发有限公司 目标特征确定方法及装置、电子设备和存储介质
CN113158800A (zh) * 2021-03-19 2021-07-23 上海云赛智联信息科技有限公司 围界入侵混合检测方法及围界入侵混合检测系统
CN113128349A (zh) * 2021-03-25 2021-07-16 国网江西省电力有限公司上饶供电分公司 变电站防治动物智能管控系统
CN113904846A (zh) * 2021-10-09 2022-01-07 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN113904846B (zh) * 2021-10-09 2022-06-17 北京理工大学 结合高斯混合模型与排序学习的多阶段入侵检测方法
CN114783132A (zh) * 2022-03-03 2022-07-22 国网安徽省电力有限公司 一种基于多级智能的变电站安全防护系统

Similar Documents

Publication Publication Date Title
CN111340843A (zh) 基于环境自适应和小样本学习的电力场景视频检测方法
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
Maksymiv et al. Real-time fire detection method combining AdaBoost, LBP and convolutional neural network in video sequence
Lai et al. A real time video processing based surveillance system for early fire and flood detection
CN111209832B (zh) 变电站巡检机器人辅助避障训练方法、设备及介质
CN114022432A (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN111126293A (zh) 一种火焰和烟雾异常情况检测方法及系统
CN111753918B (zh) 一种基于对抗学习的去性别偏见的图像识别模型及应用
CN115909093A (zh) 一种基于无人机巡检和红外图像语义分割的电力设备故障检测方法
CN112365467B (zh) 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN112862150A (zh) 一种基于图像与视频多模型的森林火情预警方法
CN116386120B (zh) 一种用于智慧校园宿舍的无感监控管理系统
CN113537226A (zh) 一种基于深度学习的烟雾检测方法
CN112633354A (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN116052082A (zh) 一种基于深度学习算法的配电站房异常检测方法及装置
Li et al. Application research of artificial intelligent technology in substation inspection tour
CN113221613B (zh) 生成场景图辅助建模上下文信息的电力场景预警方法
CN113989732A (zh) 基于深度学习的实时监控方法、系统、设备和可读介质
CN117437470A (zh) 一种基于人工智能的火灾危险等级评估方法及系统
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
Lizhong et al. Research on detection and tracking of moving target in intelligent video surveillance
An et al. Slope Collapse Detection Based on Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication