CN116758475A - 基于多源图像识别和深度学习的能源站异常行为预警方法 - Google Patents

基于多源图像识别和深度学习的能源站异常行为预警方法 Download PDF

Info

Publication number
CN116758475A
CN116758475A CN202310688572.2A CN202310688572A CN116758475A CN 116758475 A CN116758475 A CN 116758475A CN 202310688572 A CN202310688572 A CN 202310688572A CN 116758475 A CN116758475 A CN 116758475A
Authority
CN
China
Prior art keywords
personnel
image
abnormal behavior
energy station
key monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310688572.2A
Other languages
English (en)
Inventor
赵琼
李金菱
徐含沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yingji Power Technology Co ltd
Original Assignee
Zhejiang Yingji Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yingji Power Technology Co ltd filed Critical Zhejiang Yingji Power Technology Co ltd
Priority to CN202310688572.2A priority Critical patent/CN116758475A/zh
Publication of CN116758475A publication Critical patent/CN116758475A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多源图像识别和深度学习的能源站异常行为预警方法，包括：将能源站划分为多个关键监测区域，通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动第二和第三图像采集装置进行多源图像采集；对采集的多源图像进行处理获得多源融合图像，并采用改进的YOLOv5算法进行人员目标检测，和采用DeepSort算法进行人员目标追踪；进行人脸特征提取、行为轨迹特征提取和骨架特征提取和特征融合后，分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合，获得能源站关键监测区域的异常行为类别，并进行预警。

Description

基于多源图像识别和深度学习的能源站异常行为预警方法
技术领域
本发明属于综合能源站技术领域，具体涉及一种基于多源图像识别和深度学习的能源站异常行为预警方法。
背景技术
在综合型的园区或开发区建设综合能源站，利用多种能源(气体、水、蒸汽、热能、电能)和多种供能、节能设备(发电机组、余热锅炉、制冷机组、太阳能板等)相结合，并通过互联网集中管理调控生产和能源输送，打造独立的能源岛，实现区域能源的资源整合和综合利用。
物联网是通过智能感知、识别技术与普适计算、泛在网络的融合应用，在5G的万物互联时代,物联网要通过不同类型的传感器去感知周边物体和物理环境，为物联网应用层的数据分析提供依据，逐步实现能源站“无人值守”。能源站内设备类型繁杂，包括热源机组、热力站、新风机组、空调机组、水泵、阀门、冷却塔、关键管路管件和主电气设备的关键设备，这些设备的安全可靠运行对于整个能源站起着至关重要的作用，因此如何对能源站内的人员行为进行精准识别，避免发生非法人员进入关键区域并进行设备的非法操作，进而产生一些事故和经济损失；或发生事故后准确定责都是目前急需解决的问题。
基于上述技术问题，需要设计一种新的基于多源图像识别和深度学习的能源站异常行为预警方法。
发明内容
本发明所要解决的技术问题是，克服现有技术的不足，结合能源站日常管理习惯及潜在安全隐患提供一种基于多源图像识别和深度学习的能源站异常行为预警方法，能够通过多源图像采集融合、人员检测跟踪、多类型特征提取和异常行为识别，提高异常行为识别的准确性，并及时预警，避免产生一些事故和经济损失，保证能源站的安全可靠运行。
为了解决上述技术问题，本发明的技术方案是：
本发明提供了一种基于多源图像识别和深度学习的能源站异常行为预警方法，包括：
S1、将能源站划分为多个关键监测区域，并在各个关键监测区域分别设置有第一图像采集装置、第二图像采集装置和第三图像采集装置；
S2、通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集；
S3、对采集的多源图像进行图像预处理、图像配准、图像融合和融合评价，获得关键监测区域多源融合图像；
S4、对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，和采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪；
S5、对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合；
S6、将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别；所述异常行为包括人员异常徘徊行为、犹豫滞留行为、暴力破坏行为和非法操控行为；
S7、根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警。
进一步，所述S1中将能源站划分为多个关键监测区域，包括：基于能源站内包括热源机组、热力站、新风机组、空调机组、水泵、阀门、冷却塔、关键管路管件、主电气设备的关键设备，将能源站划分为多个关键监测区域；
所述第一图像采集装置设置于各个关键监测区域的进出口处；所述第二图像采集装置和第三图像采集装置依据关键设备附近位置的拍摄角度不同进行设置；所述第二图像采集装置和第三图像采集装置比第一图像采集装置的分辨率高；所述第二图像采集装置和第三图像采集装置的类型不同，且数量至少为一个。
进一步，所述S2，通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集，包括：
将所述第一图像采集装置、第二图像采集装置和第三图像采集装置进行分级；
先通过调度启动第一图像采集装置对各个关键监测区域进行巡视，采集人员进出区域图像，判断是否有人员进入关键监测区域，若有人员进入，则依据采集的人员进入区域视频图像，计算人员前进方向，再依据人员进入的检测区域位置调度启动该关键监测区域对应的第二图像采集装置和第三图像采集装置，提取视频流图像，进行人员行为的多源图像采集。
进一步，所述S3中，图像预处理包括采用伽马校正对图像的灰度进行拉伸和采用高斯曲率滤波算法对图像的噪声进行抑制；
所述图像配准包括首先采用尺度不变特征转换SIFT算法对待配准的图像进行特征点检测、特征点描述和特征向量匹配后，然后采用奇异值分解SVD算法将描述特征向量中特征值小于设定值的部分向量删除，降低特征向量的维数，最后采用描述子重组策略进行特征点描述向量重构和特征点初次匹配，并针对匹配过程中错误匹配点进行剔除，实现图像配准；
所述图像融合包括将多源图像通过多尺度变换分解为高频和低频图像后，将高频分量和低频分量分别输入至神经网络模型进行融合，获得高低频融合图像，再进行逆变换后获得融合图像；
所述融合评价包括主观评价和客观评价；所述主观评价是通过人眼观察图像纹理细节、清晰模糊度和整体信息量直接对融合图像进行整体性评价；所述客观评价是基于图像的信息熵、标准差、平均梯度、互信息、结构相似性、边缘信息保持值指标进行评价。
进一步，所述S4，对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，包括：
对YOLOv5算法进行改进：在原有YOLOv5模型的网络结构中，分别在Backbone主干网络、Neck单元和Prediction单元处添加CBAM注意力机制模块，同时引入Ghost轻量型卷积层替换Backbone主干网络中的一般卷积层，引入GhostBottleneck结构替换Backbone中的CSP结构，引入加权双向特征金字塔替换Neck单元中的自底向上特征金字塔；
对关键监测区域多源融合图像进行标注，获得带标注的数据集，并对改进后的YOLOv5算法模型进行训练后，获得人员目标检测模型；
将关键监测区域待检测的多源融合图像输入至人员目标检测模型中，对关键监测区域的人员及位置进行检测，输出人员的定位框。
进一步，所述采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪，包括：
利用卡尔曼滤波算法预测下一帧人员目标的位置和状态；
利用匈牙利算法进行匹配，获得人员在视频图像前后的轨迹，并对人员检测框和人员跟踪框之间的马氏距离进行计算，当两者距离小于设定阈值时，则两者互相关联，匹配成功；否则，重新计算人员位置；
使用卡尔曼滤波更新公式对已经匹配上的跟踪框参数进行更新，对下一时刻人员目标进行预测；当更新后的参数预测出来的结果无法匹配时，表明当前关键监测区域人员目标已经丢失，将该跟踪框删除。
进一步，所述S5，对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合，包括：
将关键监测区域人员目标检测和追踪后的人员图像信息输入至预先训练的图卷积神经网络模型中进行人脸特征提取，并比对数据库中人脸信息，若比对成功，则表明人员为正常作业人员；否则，表明人员为异常人员；
构建包括人员位置特征、方向特征和速度特征的轨迹模型；通过人员图像信息提取出每个轨迹点的位置后，计算位置方向上的差分数据，通过差分数据表示人员目标的方向和速度信息；将位置特征、方向特征和速度输入至预先训练的图卷积神经网络模型中进行行为轨迹特征提取；
利用骨架提取算法OpenPose从人员图像中提取骨架序列，并使用预先训练的图卷积神经网络模型提取时空骨架图G(V,E)获得骨架特征；V为人员骨骼关节点；E为骨架图的边缘；所述骨架序列包括每帧N个关节点；
将提取的人脸特征、行为轨迹特征和骨架特征进行特征融合，形成人脸-轨迹-骨架的融合特征。
进一步，所述图卷积神经网络为注意力增强图卷积神经网络模型，包括一个网络全连接层、一个长短时记忆网络、三个注意力增强的图卷积长短时记忆网络和两个全连接层；在图卷积神经网络模型训练过程中，将融合特征作为模型的输入数据，经过模型的各层计算出网络的交叉熵损失和注意正则化损失，并使用反向传播更新网络参数，当达到训练次数设定值或者网络损失值低于预设的阈值时训练结束。
进一步，所述S6，将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别，包括：
将特征融合后的特征输入至已训练完成的生成对抗网络中进行能源站异常行为识别，获得能源站异常行为识别结果I；
将特征融合后的特征输入至已训练完成的BiLSTM网络中进行能源站异常行为识别，获得能源站异常行为识别结果II；
将能源站异常行为识别I和能源站异常行为识别结果II进行决策融合后，获得能源站关键监测区域的异常行为类别；
其中，所述生成对抗网络包括生成器网络、判别器网络和光流估计网络；
所述BiLSTM网络包括BiLSTM神经网络层和输出层，其中BiLSTM神经网络层包括输入层、前向传播层和后向传播层，先设定输入层、前向传播层、后向传播层和输出层的节点个数，并随机设定相邻层各节点之间的权重。
进一步，所述S7，根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警，包括：根据能源站关键监测区域的异常行为类别，将该异常行为和预先设置的异常行为等级进行匹配，获得该异常行为所处于的异常行为等级，若为一级异常行为，则应进行声光报警，并立即上报给上级部门，监控设备运行状态和参数，采取远程调控；若为二级异常行为，则应进行声光告警，并派人前去区域查看；若为三级异常行为，则应进行声光告警。
本发明的有益效果是：
本发明通过将能源站划分为多个关键监测区域，并在各个关键监测区域分别设置有第一图像采集装置、第二图像采集装置和第三图像采集装置；通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集；对采集的多源图像进行图像预处理、图像配准、图像融合和融合评价，获得关键监测区域多源融合图像；对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，和采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪；对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合；将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别；所述异常行为包括人员异常徘徊行为、犹豫滞留行为、暴力破坏行为和非法操控行为；根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警；能够通过多源图像采集装置进行多源图像采集，并进行多源图像融合，为后续异常行为识别和预警建立图像数据基础，避免单一图像数据识别降准率低；另外对关键监测区域人员进行目标检测和目标追踪，保证能够在能源站复杂场对人员进行检测和跟踪，获得视频图像中人员每帧的位置信息；采用人脸特征、行为轨迹特征和骨架特征的提取和融合，更能精确反映人员的异常行为，解决场景复杂，通过单一的特征很难反映人员的行为；以及生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合，并分析该异常行为所处于的异常行为等级，进行相对应程度的行为预警，能够提高异常行为识别的准确性，并及时预警，避免产生一些事故和经济损失，保证能源站的安全可靠运行。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于多源图像识别和深度学习的能源站异常行为预警方法流程图；
图2为本发明一种基于多源图像识别和深度学习的能源站异常行为预警方法原理示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1是本发明所涉及的一种基于多源图像识别和深度学习的能源站异常行为预警方法流程图。
图2是本发明所涉及的一种基于多源图像识别和深度学习的能源站异常行为预警方法原理示意框图。
如图1、2所示，本实施例1提供了一种基于多源图像识别和深度学习的能源站异常行为预警方法，包括：
S1、将能源站划分为多个关键监测区域，并在各个关键监测区域分别设置有第一图像采集装置、第二图像采集装置和第三图像采集装置；
S2、通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集；
S3、对采集的多源图像进行图像预处理、图像配准、图像融合和融合评价，获得关键监测区域多源融合图像；
S4、对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，和采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪；
S5、对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合；
S6、将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别；所述异常行为包括人员异常徘徊行为、犹豫滞留行为、暴力破坏行为和非法操控行为；
S7、根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警。
在本实施例中，所述S1中将能源站划分为多个关键监测区域，包括：基于能源站内包括热源机组、热力站、新风机组、空调机组、水泵、阀门、冷却塔、关键管路管件、主电气设备的关键设备，将能源站划分为多个关键监测区域；
所述第一图像采集装置设置于各个关键监测区域的进出口处；所述第二图像采集装置和第三图像采集装置依据关键设备附近位置的拍摄角度不同进行设置；所述第二图像采集装置和第三图像采集装置比第一图像采集装置的分辨率高；所述第二图像采集装置和第三图像采集装置的类型不同，且数量至少为一个。
在本实施例中，所述S2，通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集，包括：
将所述第一图像采集装置、第二图像采集装置和第三图像采集装置进行分级；
先通过调度启动第一图像采集装置对各个关键监测区域进行巡视，采集人员进出区域图像，判断是否有人员进入关键监测区域，若有人员进入，则依据采集的人员进入区域视频图像，计算人员前进方向，再依据人员进入的检测区域位置调度启动该关键监测区域对应的第二图像采集装置和第三图像采集装置，提取视频流图像，进行人员行为的多源图像采集。
需要说明的是，如果将第一图像采集装置、第二图像采集装置和第三图像采集装置均开启并持续长时间进行视频图像采集，对CPU和内存会造成较大负担，因此可以选择将第二图像采集装置和第三图像采集装置先关闭，让第一图像采集装置来判断是否有人员进入或者离开来开启对应监测区域的第二图像采集装置和第三图像采集装置，相当于能够根据异常人员的行为运动在能源站内的位置动态调配资源。第二图像采集装置和第三图像采集装置的数量依据区域大小、区域内重点设备的位置、角度等进行选取。
在本实施例中，所述S3中，图像预处理包括采用伽马校正对图像的灰度进行拉伸和采用高斯曲率滤波算法对图像的噪声进行抑制；
所述图像配准包括首先采用尺度不变特征转换SIFT算法对待配准的图像进行特征点检测、特征点描述和特征向量匹配后，然后采用奇异值分解SVD算法将描述特征向量中特征值小于设定值的部分向量删除，降低特征向量的维数，最后采用描述子重组策略进行特征点描述向量重构和特征点初次匹配，并针对匹配过程中错误匹配点进行剔除，实现图像配准；
所述图像融合包括将多源图像通过多尺度变换分解为高频和低频图像后，将高频分量和低频分量分别输入至神经网络模型进行融合，获得高低频融合图像，再进行逆变换后获得融合图像；
所述融合评价包括主观评价和客观评价；所述主观评价是通过人眼观察图像纹理细节、清晰模糊度和整体信息量直接对融合图像进行整体性评价；所述客观评价是基于图像的信息熵、标准差、平均梯度、互信息、结构相似性、边缘信息保持值指标进行评价。
在本实施例中，所述S4，对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，包括：
对YOLOv5算法进行改进：在原有YOLOv5模型的网络结构中，分别在Backbone主干网络、Neck单元和Prediction单元处添加CBAM注意力机制模块，同时引入Ghost轻量型卷积层替换Backbone主干网络中的一般卷积层，引入GhostBottleneck结构替换Backbone中的CSP结构，引入加权双向特征金字塔替换Neck单元中的自底向上特征金字塔；
对关键监测区域多源融合图像进行标注，获得带标注的数据集，并对改进后的YOLOv5算法模型进行训练后，获得人员目标检测模型；
将关键监测区域待检测的多源融合图像输入至人员目标检测模型中，对关键监测区域的人员及位置进行检测，输出人员的定位框。
在本实施例中，所述采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪，包括：
利用卡尔曼滤波算法预测下一帧人员目标的位置和状态；
利用匈牙利算法进行匹配，获得人员在视频图像前后的轨迹，并对人员检测框和人员跟踪框之间的马氏距离进行计算，当两者距离小于设定阈值时，则两者互相关联，匹配成功；否则，重新计算人员位置；
使用卡尔曼滤波更新公式对已经匹配上的跟踪框参数进行更新，对下一时刻人员目标进行预测；当更新后的参数预测出来的结果无法匹配时，表明当前关键监测区域人员目标已经丢失，将该跟踪框删除。
在本实施例中，所述S5，对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合，包括：
将关键监测区域人员目标检测和追踪后的人员图像信息输入至预先训练的图卷积神经网络模型中进行人脸特征提取，并比对数据库中人脸信息，若比对成功，则表明人员为正常作业人员；否则，表明人员为异常人员；
构建包括人员位置特征、方向特征和速度特征的轨迹模型；通过人员图像信息提取出每个轨迹点的位置后，计算位置方向上的差分数据，通过差分数据表示人员目标的方向和速度信息；将位置特征、方向特征和速度输入至预先训练的图卷积神经网络模型中进行行为轨迹特征提取；
利用骨架提取算法OpenPose从人员图像中提取骨架序列，并使用预先训练的图卷积神经网络模型提取时空骨架图G(V,E)获得骨架特征；V为人员骨骼关节点；E为骨架图的边缘；所述骨架序列包括每帧N个关节点；
将提取的人脸特征、行为轨迹特征和骨架特征进行特征融合，形成人脸-轨迹-骨架的融合特征。
在实际的应用中，能源站异常行为有很多种，比如异常徘徊行为、犹豫滞留行为、暴力破坏行为和非法操控行为等，这些异常行为都存在一些特征，且具有突发性，过程持续时间短，通过关节点流信息、骨骼流信息和骨骼运动流信息可以获得一些异常行为的信息。行为轨迹特征还包括离散曲率熵、运动的路程与位移，离散曲率熵用来表示曲线弯曲的程度，描述人员轨迹的杂乱程度，熵值表示为Hi(dir)为第i条轨迹运动方向变化值的直方图。假设人员移动帧为k帧时，位置点信息为(x,y)，在这k帧内位移大小为/>路程为对所有位移进行累加求和获得；速度变化可采用二次差分表示d2x＝xi-2xi-1+xi-2，d2y＝yi-2yi-1+yi-2；
需要说明的是，因为视频图像信息较为复杂，仅通过单一的特征很难反映人员的行为，因此采用人脸特征、行为轨迹特征和骨架特征的提取和融合，更能精确反映人员的异常行为。此外，还可以提取刚性特征，包括人员的穿着是否为工装、头是否带安全帽。
在本实施例中，所述图卷积神经网络为注意力增强图卷积神经网络模型，包括一个网络全连接层、一个长短时记忆网络、三个注意力增强的图卷积长短时记忆网络和两个全连接层；在图卷积神经网络模型训练过程中，将融合特征作为模型的输入数据，经过模型的各层计算出网络的交叉熵损失和注意正则化损失，并使用反向传播更新网络参数，当达到训练次数设定值或者网络损失值低于预设的阈值时训练结束。
在本实施例中，所述S6，将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别，包括：
将特征融合后的特征输入至已训练完成的生成对抗网络中进行能源站异常行为识别，获得能源站异常行为识别结果I；
将特征融合后的特征输入至已训练完成的BiLSTM网络中进行能源站异常行为识别，获得能源站异常行为识别结果II；
将能源站异常行为识别I和能源站异常行为识别结果II进行决策融合后，获得能源站关键监测区域的异常行为类别；
其中，所述生成对抗网络包括生成器网络、判别器网络和光流估计网络；
所述BiLSTM网络包括BiLSTM神经网络层和输出层，其中BiLSTM神经网络层包括输入层、前向传播层和后向传播层，先设定输入层、前向传播层、后向传播层和输出层的节点个数，并随机设定相邻层各节点之间的权重。
需要说明的是，生成器网络由时空特征编码器、时空特征解码器中的预测分支共同组成；使用前N-1帧连续视频图像序列作为生成器网络的输入，由时空特征编码器提取序列的时空特征，再由时空特征解码器中的预测分支进行第N帧图像预测；对预测图像和真实图像计算图像损失；将预测图像和真实图像输入至判别器网络中，计算对抗损失；将真实的第N-1帧图像分别与预测的第N帧图像、真实的第N帧图像输入至光流估计网络中，获得预测的光流信息和真实的光流信息，并计算光流损失；基于图像损失、对抗损失和光流损失计算总损失，训练生成器网络和光流估计网络；利用生成器网络进行预测获得预测的第N帧图像，并与真实的第N帧图像算峰值信噪比；将峰值信噪比与设置的阈值进行比较，识别异常行为。
BiLSTM神经网络的训练过程：将训练集输入到BiLSTM神经网络的输入层，学习不同神经网络层的各个参数；最后将测试集输入到BiLSTM神经网络中，进行异常行为识别。
在异常行为识别之前，若训练数据较少，可以采用生成对抗网络将异常行为的图像数据进行扩充：采用基于生成对抗网络的数据增强技术，合成与原始图像数据分布相似又保持原始图像数据动态特性的人工图像数据，纠正样本不平衡问题，生成对抗网络中生成器的输入为随机噪声，输出为合成以后的异常行为数据；判别器的输入是原始数据集中某一类别的行为数据与生成器的输出样本，输出为对生成样本的判断；当判别器无法区分原始数据与合成数据时，生成对抗网络收敛，此时的生成器可以合成逼真的数据，整个生成对抗网络的训练达到了优化；利用训练好的生成对抗网络将不同异常行为的图像数据分别扩充，与原有的图像数据组成新数据集。
在本实施例中，所述S7，根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警，包括：根据能源站关键监测区域的异常行为类别，将该异常行为和预先设置的异常行为等级进行匹配，获得该异常行为所处于的异常行为等级，若为一级异常行为，则应进行声光报警，并立即上报给上级部门，监控设备运行状态和参数，采取远程调控；若为二级异常行为，则应进行声光告警，并派人前去区域查看；若为三级异常行为，则应进行声光告警。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于多源图像识别和深度学习的能源站异常行为预警方法，其特征在于，包括：
S1、将能源站划分为多个关键监测区域，并在各个关键监测区域分别设置有第一图像采集装置、第二图像采集装置和第三图像采集装置；
S2、通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集；
S3、对采集的多源图像进行图像预处理、图像配准、图像融合和融合评价，获得关键监测区域多源融合图像；
S4、对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，和采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪；
S5、对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合；
S6、将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别；所述异常行为包括人员异常徘徊行为、犹豫滞留行为、暴力破坏行为和非法操控行为；
S7、根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警。
2.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S1中将能源站划分为多个关键监测区域，包括：基于能源站内包括热源机组、热力站、新风机组、空调机组、水泵、阀门、冷却塔、关键管路管件、主电气设备的关键设备，将能源站划分为多个关键监测区域；
所述第一图像采集装置设置于各个关键监测区域的进出口处；所述第二图像采集装置和第三图像采集装置依据关键设备附近位置的拍摄角度不同进行设置；所述第二图像采集装置和第三图像采集装置比第一图像采集装置的分辨率高；所述第二图像采集装置和第三图像采集装置的类型不同，且数量至少为一个。
3.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S2，通过调度启动第一图像采集装置巡视关键监测区域，采集人员进入区域图像，判断是否有人员进入，在判断有人员进入后，调度启动所述第二图像采集装置和第三图像采集装置进行多源图像采集，包括：
将所述第一图像采集装置、第二图像采集装置和第三图像采集装置进行分级；
先通过调度启动第一图像采集装置对各个关键监测区域进行巡视，采集人员进出区域图像，判断是否有人员进入关键监测区域，若有人员进入，则依据采集的人员进入区域视频图像，计算人员前进方向，再依据人员进入的检测区域位置调度启动该关键监测区域对应的第二图像采集装置和第三图像采集装置，提取视频流图像，进行人员行为的多源图像采集。
4.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S3中，图像预处理包括采用伽马校正对图像的灰度进行拉伸和采用高斯曲率滤波算法对图像的噪声进行抑制；
所述图像配准包括首先采用尺度不变特征转换SIFT算法对待配准的图像进行特征点检测、特征点描述和特征向量匹配后，然后采用奇异值分解SVD算法将描述特征向量中特征值小于设定值的部分向量删除，降低特征向量的维数，最后采用描述子重组策略进行特征点描述向量重构和特征点初次匹配，并针对匹配过程中错误匹配点进行剔除，实现图像配准；
所述图像融合包括将多源图像通过多尺度变换分解为高频和低频图像后，将高频分量和低频分量分别输入至神经网络模型进行融合，获得高低频融合图像，再进行逆变换后获得融合图像；
所述融合评价包括主观评价和客观评价；所述主观评价是通过人眼观察图像纹理细节、清晰模糊度和整体信息量直接对融合图像进行整体性评价；所述客观评价是基于图像的信息熵、标准差、平均梯度、互信息、结构相似性、边缘信息保持值指标进行评价。
5.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S4，对关键监测区域多源融合图像采用改进的YOLOv5算法进行关键监测区域人员目标检测，包括：
对YOLOv5算法进行改进：在原有YOLOv5模型的网络结构中，分别在Backbone主干网络、Neck单元和Prediction单元处添加CBAM注意力机制模块，同时引入Ghost轻量型卷积层替换Backbone主干网络中的一般卷积层，引入GhostBottleneck结构替换Backbone中的CSP结构，引入加权双向特征金字塔替换Neck单元中的自底向上特征金字塔；
对关键监测区域多源融合图像进行标注，获得带标注的数据集，并对改进后的YOLOv5算法模型进行训练后，获得人员目标检测模型；
将关键监测区域待检测的多源融合图像输入至人员目标检测模型中，对关键监测区域的人员及位置进行检测，输出人员的定位框。
6.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述采用DeepSort目标跟踪算法进行关键监测区域人员目标追踪，包括：
利用卡尔曼滤波算法预测下一帧人员目标的位置和状态；
利用匈牙利算法进行匹配，获得人员在视频图像前后的轨迹，并对人员检测框和人员跟踪框之间的马氏距离进行计算，当两者距离小于设定阈值时，则两者互相关联，匹配成功；否则，重新计算人员位置；
使用卡尔曼滤波更新公式对已经匹配上的跟踪框参数进行更新，对下一时刻人员目标进行预测；当更新后的参数预测出来的结果无法匹配时，表明当前关键监测区域人员目标已经丢失，将该跟踪框删除。
7.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S5，对关键监测区域人员目标检测和追踪后的人员图像信息进行人脸特征提取、行为轨迹特征提取和骨架特征提取后，并进行特征融合，包括：
将关键监测区域人员目标检测和追踪后的人员图像信息输入至预先训练的图卷积神经网络模型中进行人脸特征提取，并比对数据库中人脸信息，若比对成功，则表明人员为正常作业人员；否则，表明人员为异常人员；
构建包括人员位置特征、方向特征和速度特征的轨迹模型；通过人员图像信息提取出每个轨迹点的位置后，计算位置方向上的差分数据，通过差分数据表示人员目标的方向和速度信息；将位置特征、方向特征和速度输入至预先训练的图卷积神经网络模型中进行行为轨迹特征提取；
利用骨架提取算法OpenPose从人员图像中提取骨架序列，并使用预先训练的图卷积神经网络模型提取时空骨架图G(V,E)获得骨架特征；V为人员骨骼关节点；E为骨架图的边缘；所述骨架序列包括每帧N个关节点；
将提取的人脸特征、行为轨迹特征和骨架特征进行特征融合，形成人脸-轨迹-骨架的融合特征。
8.根据权利要求7所述的能源站异常行为预警方法，其特征在于，所述图卷积神经网络为注意力增强图卷积神经网络模型，包括一个网络全连接层、一个长短时记忆网络、三个注意力增强的图卷积长短时记忆网络和两个全连接层；在图卷积神经网络模型训练过程中，将融合特征作为模型的输入数据，经过模型的各层计算出网络的交叉熵损失和注意正则化损失，并使用反向传播更新网络参数，当达到训练次数设定值或者网络损失值低于预设的阈值时训练结束。
9.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S6，将特征融合后的特征分别输入至已训练完成的生成对抗网络和BiLSTM网络中进行能源站异常行为识别和决策融合后，获得能源站关键监测区域的异常行为类别，包括：
将特征融合后的特征输入至已训练完成的生成对抗网络中进行能源站异常行为识别，获得能源站异常行为识别结果I；
将特征融合后的特征输入至已训练完成的BiLSTM网络中进行能源站异常行为识别，获得能源站异常行为识别结果II；
将能源站异常行为识别I和能源站异常行为识别结果II进行决策融合后，获得能源站关键监测区域的异常行为类别；
其中，所述生成对抗网络包括生成器网络、判别器网络和光流估计网络；
所述BiLSTM网络包括BiLSTM神经网络层和输出层，其中BiLSTM神经网络层包括输入层、前向传播层和后向传播层，先设定输入层、前向传播层、后向传播层和输出层的节点个数，并随机设定相邻层各节点之间的权重。
10.根据权利要求1所述的能源站异常行为预警方法，其特征在于，所述S7，根据能源站关键监测区域的异常行为类别，分析该异常行为所处于的异常行为等级，并进行相对应程度的行为预警，包括：根据能源站关键监测区域的异常行为类别，将该异常行为和预先设置的异常行为等级进行匹配，获得该异常行为所处于的异常行为等级，若为一级异常行为，则应进行声光报警，并立即上报给上级部门，监控设备运行状态和参数，采取远程调控；若为二级异常行为，则应进行声光告警，并派人前去区域查看；若为三级异常行为，则应进行声光告警。
CN202310688572.2A 2023-06-09 2023-06-09 基于多源图像识别和深度学习的能源站异常行为预警方法 Pending CN116758475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310688572.2A CN116758475A (zh) 2023-06-09 2023-06-09 基于多源图像识别和深度学习的能源站异常行为预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310688572.2A CN116758475A (zh) 2023-06-09 2023-06-09 基于多源图像识别和深度学习的能源站异常行为预警方法

Publications (1)

Publication Number Publication Date
CN116758475A true CN116758475A (zh) 2023-09-15

Family

ID=87958290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310688572.2A Pending CN116758475A (zh) 2023-06-09 2023-06-09 基于多源图像识别和深度学习的能源站异常行为预警方法

Country Status (1)

Country Link
CN (1) CN116758475A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408657A (zh) * 2023-10-27 2024-01-16 杭州静嘉科技有限公司 一种基于人工智能的人力资源服务系统
CN117729314A (zh) * 2024-02-07 2024-03-19 深圳市金瑞铭科技有限公司 基于ai视觉的多区域监测系统及方法
CN118015049A (zh) * 2024-04-09 2024-05-10 湖南大学 一种结合yolo和gcn的海上目标追踪方法及其模型

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408657A (zh) * 2023-10-27 2024-01-16 杭州静嘉科技有限公司 一种基于人工智能的人力资源服务系统
CN117408657B (zh) * 2023-10-27 2024-05-17 杭州静嘉科技有限公司 一种基于人工智能的人力资源服务系统
CN117729314A (zh) * 2024-02-07 2024-03-19 深圳市金瑞铭科技有限公司 基于ai视觉的多区域监测系统及方法
CN117729314B (zh) * 2024-02-07 2024-05-03 深圳市金瑞铭科技有限公司 基于ai视觉的多区域监测系统及方法
CN118015049A (zh) * 2024-04-09 2024-05-10 湖南大学 一种结合yolo和gcn的海上目标追踪方法及其模型

Similar Documents

Publication Publication Date Title
CN110147743B (zh) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN116758475A (zh) 基于多源图像识别和深度学习的能源站异常行为预警方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN110781838A (zh) 一种复杂场景下行人的多模态轨迹预测方法
He et al. Rail transit obstacle detection based on improved CNN
CN111626199B (zh) 面向大型多人车厢场景的异常行为分析方法
CN109522853A (zh) 面向监控视频的人脸检测与搜索方法
CN103488993A (zh) 一种基于fast的人群异常行为识别方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN115527269B (zh) 一种人体姿态图像智能识别方法及系统
CN102184384A (zh) 一种基于多尺度局部相位量化特征的人脸识别方法
CN115050093B (zh) 一种基于分阶段多级金字塔的跨视角步态识别方法
CN116311497A (zh) 一种基于机器视觉的隧道工人异常行为检测方法及系统
CN114283265B (zh) 一种基于3d旋转建模的无监督人脸转正方法
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
CN111860097B (zh) 一种基于模糊理论的异常行为检测方法
CN112613474A (zh) 一种行人重识别的方法和装置
CN114782675B (zh) 一种安全技术服务领域项目动态定价方法和系统
Zou et al. A neuro‐fuzzy crime prediction model based on video analysis
Yoo et al. Deep learning-based action classification using one-shot object detection
CN114677765A (zh) 一种交互式视频动作综合识别评价系统与方法
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN114360058A (zh) 一种基于行走视角预测的跨视角步态识别方法
Cheng et al. Class attendance checking system based on deep learning and global optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination