CN112966547A - 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 - Google Patents

一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN112966547A
CN112966547A CN202110006605.1A CN202110006605A CN112966547A CN 112966547 A CN112966547 A CN 112966547A CN 202110006605 A CN202110006605 A CN 202110006605A CN 112966547 A CN112966547 A CN 112966547A
Authority
CN
China
Prior art keywords
abnormal behavior
neural network
data set
layer
behavior data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110006605.1A
Other languages
English (en)
Inventor
黄冬虹
董新利
李勇
刘丹
文明
赵静燕
赵然
徐怡兮
程硕
揭慧
董向民
樊广瑞
柳波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gas Group Co Ltd
Original Assignee
Beijing Gas Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gas Group Co Ltd filed Critical Beijing Gas Group Co Ltd
Priority to CN202110006605.1A priority Critical patent/CN112966547A/zh
Publication of CN112966547A publication Critical patent/CN112966547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本申请所提供的一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质，所述方法包括：构建异常行为数据集，并将异常行为数据集按预设比例随机分成训练集及测试集；构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；将训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；实时监测并获取人员进入视频流，并将视频流输入至训练后的3D卷积神经网络模型中，完成燃气现场的视频监控异常行为识别；通过增加注意力机制时空分离处理的3D卷积层加快模型拟合，让模型更加关注关键区域或关键帧，通过增加3D空间金字塔池化层使得模型可以接受任意长度的视频序列输入，实现模型精度的提升。

Description

一种基于神经网络的燃气现场异常行为识别预警方法、系统、 终端及存储介质
技术领域
本申请涉及视频监控技术领域，尤其是涉及一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质。
背景技术
在一些需要视频实时监控的场所，需要监控集中注意力查看视频，观察监控视频中的人员是否有异常行为。但由于监控人员数量有限且需负责多路视频监控，监控人员的工作效率及有效性大大降低。为了提高监控人员的工作效率及时获取监控视频中的异常行为，便于安检观察人员及时处理监控区域危险行为活动，通常采用人工智能技术对监控视频进行处理，实时分析监控视频中是否存在异常行为。
在传统的方法中，视频行为识别基本思路为利用光流场来获得视频序列中的一些轨迹，再沿着轨迹提取HOF，HOG，MBH等特征，其中HOF基于灰度图计算，另外几个均基于稠密光流计算，最后对特征进行编码，再基于编码结果训练SVM分类器或者KNN分类器，但存在提取有效特征较为困难、识别的精度低的问题。
随着深度学习神经网络的发展，通过神经网络的方法进行行为识别已经成为主流方向，目前主要进行行为识别的网络结构有双流网络结构、3D卷积网络结构、循环神经网络结合卷积神经网络结构。专利CN201510293654《一种基于深度神经网络的人体行为识别方法及识别系统》，提出一种基于深度神经网络的人体行为识别方法，包括：获取行为人数据流，提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别。但受限于复杂背景，人物可能被遮挡，如果需要在移动端部署，对设备要求较高，难以实现监控视频实时性检测。
专利CN110163133A《一种基于深度残差网络的人体行为识别方法》公开了一种基于深度残差网络的人体行为识别方法,将人体关节数据和深度图像数据同时输入进ResNet进行识别,识别精度虽然提高了,但需要人体关节数据和深度图作为输入,不能端到端的学习,且在日常生活中缺乏这种数据。
专利CN110688986A《注意力分支引导的3D卷积行为识别网络方法》，本发明公开了一种注意力分支引导的3D卷积行为识别网络方法,该网络设计了不同分辨率的3D注意力机制,以便网络关注更加感兴趣的时空信息。与此同时,通过卷积的方式学习注意力特征中时空基元的变化,以辅助3D分支提取更加鲁棒的时空特征。该模型从端对端开始训练学习的难度较大，精度提升效果不是特别明显。
因此，亟需一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质，以解决现有技术中数据集缺乏充分运用、模型缺乏端到端的训练影响模型学习的问题，实现模型精度的提升，保证监控视频异常行为的准确检测识别及反馈预警。
发明内容
针对现有技术的不足，本申请提供一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质，解决了现有技术中数据集缺乏充分运用、模型缺乏端到端的训练影响模型学习的技术问题，实现模型精度的提升，保证监控视频异常行为的准确检测识别及反馈预警。
为解决上述技术问题，第一方面，本申请提供一种基于神经网络的燃气现场异常行为识别预警方法，包括：
构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
可选的，所述构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集，包括：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
可选的，所述构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络，包括：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
可选的，所述将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型，还包括：
将所述测试集输入至构建的3D卷积神经网络不断验证，利用反向传播算法对网络参数进行梯度回传和参数更新。
可选的，所述方法还包括：
当视频监控中识别出异常行为，则将异常行为视频的关键帧，异常行为描述，异常行为发生时间等信息进行记录，并向监控人员发出预警。
第二方面，本申请还提供一种基于神经网络的燃气现场异常行为识别预警系统，包括：
数据集构建单元，配置用于构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
神经网络构建单元，配置用于构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
神经网络训练单元，配置用于将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
异常行为识别单元，配置用于实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
可选的，所述数据集构建单元具体用于：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
可选的，所述神经网络构建单元具体用于：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
可选的，所述神经网络训练单元还用于：
将所述测试集输入至构建的3D卷积神经网络不断验证，利用反向传播算法对网络参数进行梯度回传和参数更新。
可选的，所述系统还包括异常行为预警单元，具体用于：
当视频监控中识别出异常行为，则将异常行为视频的关键帧，异常行为描述，异常行为发生时间等信息进行记录，并向监控人员发出预警。
第三方面，本申请提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请通过构建3D卷积网络模型时增加注意力机制的时空分离3D卷积层与3D空间金字塔池化层，通过增加注意力机制的时空分离处理的3D卷积层加快模型拟合，同时让模型更加关注关键区域或关键帧，忽略无关信息而关注重点信息，便于模型端到端训练同时提升模型的精度；通过增加3D空间金字塔池化层使得模型可以接受任意长度的视频序列输入(非固定帧传入模型训练)，改善了之前基于3D卷积网络训练行为识别模型，需要对视频进行截取处理，固定帧输入，缺乏对数据集的充分运用，影响模型的学习，达到实时预警的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于神经网络的燃气现场异常行为识别预警方法的流程图；
图2为本申请实施例所提供的另一种基于神经网络的燃气现场异常行为识别预警方法流程图；
图3为本申请实施例所提供的一种增加注意力机制时空分离3D卷积层及3D空间金字塔池化层的3D卷积神经网络结构图；
图4为本申请实施例所提供的一种增加注意力机制的3D卷积层；
图5为本申请实施例所提供的一种增加注意力机制时空分离3D卷积层；
图6为本申请实施例所提供的一种3D空间金字塔池化层；
图7为本申请另一实施例所提供的一种基于神经网络的燃气现场异常行为识别预警系统的结构示意图；
图8为本申请实施例所提供的一种终端系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种基于神经网络的燃气现场异常行为识别预警方法的流程图，该方法100包括：
S101：构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
S102：构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
S103：将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
S104：实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
具体的，如图2所示，智能终端采集装备检测到人员进入之后，获取视频流并进行持续的监测，将视频流传至3D卷积神经网络模型进行异常行为识别，判断人员的行为是否异常。智能终端采集装备只上传检测到人员进入之后的视频流进行异常行为分析可以降低服务器的工作功耗，避免服务器端长时间进行没有必要的计算影响设备使用寿命。如果存在异常行为，将异常行为视频关键帧，异常行为描述，异常行为发生时间等信息记录，并向监控人员发出预警提醒监控人员重点观察。
基于上述实施例，作为可选的实施例，所述S101构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集，包括：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
具体的，在数据集构建方面，可根据具体的应用场景预先定义若干种异常行为，并对定义的若干种异常行为分别进行模拟，通过对模拟的异常行为进行视频采集构建模拟异常行为数据集D1。同时结合在真实环境下发生的历史异常行为案例和网上查询到的相关异常行为视频案例进行视频采集分别构建历史异常行为数据集D2和相关异常行为数据集D3，将这些数据集按照预设的比例系数组合构建异常行为数据集DT：
DT＝α*D1+β*D2+γ*D3，其中，DT为异常行为数据集，D1为模拟异常行为数据集，D2为历史异常行为数据集，D3为相关异常行为数据集，α、β、γ分别为模拟异常行为数据集D1、历史异常行为数据集D2、相关异常行为数据集D3在异常行为数据集DT中的比例系数，且α+β+γ＝1。在划分模型训练集和测试集的时候同样按照这个比例系数划分，可以保证模型的鲁棒性。
基于上述实施例，作为可选的实施例，所述S102构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络，包括：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
具体的，增加注意力机制时空分离3D卷积层及3D空间金字塔池化层的3D卷积神经网络结构图如图3所示，增加注意力机制的3D卷积层如图4所示，增加注意力机制时空分离3D卷积层如图5所示,3D空间金字塔池化层如图6所示。其中，增加注意力机制可识别出需要关注的区域增加其权重；将3D卷积分离为空间方向卷积和时间方向卷积可以加快模型拟合程度，便于端到端进行训练；在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，以时间维度进行处理，最大池化操作，处理完成使得时间维度变为19维，可处理卷积层输出得不同长度的特征图，以输出相同长度的特征向量，适用于不同长度视频处理，解决了传统3DCNN神经网络要求输入数据必须是相同维度，而行为视频块长度不同的问题。最后将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，可以实现端到端的训练，调整超参数，得到训练好的3D卷积神经网络模型。
此外，视频流输入至3D卷积神经网络模型进行3D卷积运算输出维度计算如下：
Figure BDA0002883360830000091
Figure BDA0002883360830000092
Figure BDA0002883360830000093
上述三个公式为3D卷积计算后特征图的变化，Dout为输出通道数，Din为输入通道数，Hout为输出高度，Hin为输入高度，Wout为输出宽度，Win为输入宽度，padding为填充大小，dilation的默认值是1，kernel_size为卷积核的大小。
基于上述实施例，作为可选的实施例，所述S103将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型，还包括：
将所述测试集输入至构建的3D卷积神经网络不断验证，利用反向传播算法对网络参数进行梯度回传和参数更新。
基于上述实施例，作为可选的实施例，所述方法100还包括：
当视频监控中识别出异常行为，则将异常行为视频的关键帧，异常行为描述，异常行为发生时间等信息进行记录，并向监控人员发出预警。
请参考图7，图7为本申请实施例所提供的一种基于神经网络的燃气现场异常行为识别预警系统的结构示意图，该系统700，包括：
数据集构建单元701，配置用于构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
神经网络构建单元702，配置用于构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
神经网络训练单元703，配置用于将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
异常行为识别单元704，配置用于实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
基于上述实施例，作为可选的实施例，所述数据集构建单元701具体用于：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
基于上述实施例，作为可选的实施例，所述神经网络构建单元702具体用于：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
基于上述实施例，作为可选的实施例，所述神经网络训练单元703还用于：
将所述测试集输入至构建的3D卷积神经网络不断验证，利用反向传播算法对网络参数进行梯度回传和参数更新。
基于上述实施例，作为可选的实施例，所述系统700还包括异常行为预警单元，具体用于：
当视频监控中识别出异常行为，则将异常行为视频的关键帧，异常行为描述，异常行为发生时间等信息进行记录，并向监控人员发出预警。
请参考图8，图8为本申请实施例所提供的一种终端系统800的结构示意图，该终端系统800可以用于执行本发明实施例提供的软件多语言显示及输入同步切换方法。
其中，该终端系统800可以包括：处理器801、存储器802及通信单元803。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器802可以用于存储处理器801的执行指令，存储器802可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器802中的执行指令由处理器801执行时，使得终端系统800能够执行以下上述方法实施例中的部分或全部步骤。
处理器801为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器801可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元803，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本申请通过构建3D卷积网络模型时增加注意力机制的时空分离3D卷积层与3D空间金字塔池化层，通过增加注意力机制的时空分离处理的3D卷积层加快模型拟合，同时让模型更加关注关键区域或关键帧，忽略无关信息而关注重点信息，便于模型端到端训练同时提升模型的精度；通过增加3D空间金字塔池化层使得模型可以接受任意长度的视频序列输入(非固定帧传入模型训练)，改善了之前基于3D卷积网络训练行为识别模型，需要对视频进行截取处理，固定帧输入，缺乏对数据集的充分运用，影响模型的学习，达到实时预警的效果。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于神经网络的燃气现场异常行为识别预警方法，其特征在于，包括：
构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
2.根据权利要求1所述的基于神经网络的燃气现场异常行为识别预警方法，其特征在于，所述构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集，包括：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
3.根据权利要求1所述的基于神经网络的燃气现场异常行为识别预警方法，其特征在于，所述构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络，包括：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
4.根据权利要求1所述的基于神经网络的燃气现场异常行为识别预警方法，其特征在于，所述将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型，还包括：
将所述测试集输入至构建的3D卷积神经网络不断验证，利用反向传播算法对网络参数进行梯度回传和参数更新。
5.根据权利要求1所述的基于神经网络的燃气现场异常行为识别预警方法，其特征在于，所述方法还包括：
当视频监控中识别出异常行为，则将异常行为视频的关键帧，异常行为描述，异常行为发生时间等信息进行记录，并向监控人员发出预警。
6.一种基于神经网络的燃气现场异常行为识别预警系统，其特征在于，包括：
数据集构建单元，配置用于构建异常行为数据集，并将所述异常行为数据集按预设比例随机分成训练集及测试集；
神经网络构建单元，配置用于构建增加注意力机制时空分离3D卷积层及3D空间金字塔池化层，得到3D卷积神经网络；
神经网络训练单元，配置用于将所述训练集输入至构建的3D卷积神经网络不断迭代训练得到训练后的3D卷积神经网络模型；
异常行为识别单元，配置用于实时监测并获取人员进入视频流，并将所述视频流输入至训练后的3D卷积神经网络模型中，完成视频监控异常行为识别。
7.根据权利要求6所述的基于神经网络的燃气现场异常行为识别预警系统，其特征在于，所述数据集构建单元具体用于：
预先定义若干类型异常行为，对所述若干类型异常行为分别进行模拟并进行视频采集，构建模拟异常行为数据集；
对历史发生的异常行为案例进行视频采集，构建历史异常行为数据集；
对网上查询到的相关异常行为案例进行视频采集，构建相关异常行为数据集；
将所述模拟异常行为数据集、历史异常行为数据集及相关异常行为数据集按照预设比例系数进行数据集合，构建异常行为数据集；
将所述异常行为数据集按照预设比例及所述三种数据集的预设比例系数随机分成训练集及测试集。
8.根据权利要求6所述的基于神经网络的燃气现场异常行为识别预警系统，其特征在于，所述神经网络构建单元具体用于：
采用与传统卷积神经网络CNN类似的网络结构，将3×3×3卷积核分为1×3×1和3×1×1卷积核，构建时空分离3D卷积层；
将时空分离3D卷积层增加注意力机制，构建增加注意力机制时空分离3D卷积层；
在增加注意力机制时空分离3D卷积层与分类器之间加入SPP网络层(空间金字塔池化层)，处理3D卷积层输出的不同长度的特征图并输出相同长度的特征向量；
将SPP网络层(空间金字塔池化层)输出的特征向量作为固定维度向量提供给全连接层进行分类，得到训练好的3D卷积神经网络模型。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202110006605.1A 2021-01-05 2021-01-05 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 Pending CN112966547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110006605.1A CN112966547A (zh) 2021-01-05 2021-01-05 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110006605.1A CN112966547A (zh) 2021-01-05 2021-01-05 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质

Publications (1)

Publication Number Publication Date
CN112966547A true CN112966547A (zh) 2021-06-15

Family

ID=76271132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110006605.1A Pending CN112966547A (zh) 2021-01-05 2021-01-05 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112966547A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527158A (zh) * 2022-08-11 2022-12-27 北京市燃气集团有限责任公司 一种基于视频监控的人员异常行为检测方法及装置
CN116817306A (zh) * 2023-08-29 2023-09-29 奥德集团有限公司 一种可监测并控制燃气流量的燃气设备
CN118261453A (zh) * 2024-05-31 2024-06-28 应辉环境科技服务(烟台)有限公司 基于级联神经网络模型的企业排污监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法
CN111695435A (zh) * 2020-05-19 2020-09-22 东南大学 基于深度混合编解码神经网络的驾驶员行为识别方法
CN112101248A (zh) * 2020-09-18 2020-12-18 中国海洋大学 一种用于视频时空表征学习的多分组多注意力建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法
CN111695435A (zh) * 2020-05-19 2020-09-22 东南大学 基于深度混合编解码神经网络的驾驶员行为识别方法
CN112101248A (zh) * 2020-09-18 2020-12-18 中国海洋大学 一种用于视频时空表征学习的多分组多注意力建模方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
_月_夜_: "注意力机制及各种卷积层学习", 《CSDN》 *
ALEX CHUNG: "tensorflow中卷积层输出特征尺寸计算和padding参数解析", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/141998754》 *
YIJUN009: "2D、3D卷积后特征图大小公式", 《HTTPS://BLOG.CSDN.NET/M0_37833297/ARTICLE/DETAILS/89214342》 *
芝麻开花666: "卷积、空洞卷积，反卷积 输出特征图与padding,stride和dilation之间的关系", 《HTTPS://BLOG.CSDN.NET/QQ_20777119/ARTICLE/DETAILS/103751960》 *
高大鹏 等: "多维度自适应3D卷积神经网络原子行为识别", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527158A (zh) * 2022-08-11 2022-12-27 北京市燃气集团有限责任公司 一种基于视频监控的人员异常行为检测方法及装置
CN115527158B (zh) * 2022-08-11 2023-04-25 北京市燃气集团有限责任公司 一种基于视频监控的人员异常行为检测方法及装置
CN116817306A (zh) * 2023-08-29 2023-09-29 奥德集团有限公司 一种可监测并控制燃气流量的燃气设备
CN116817306B (zh) * 2023-08-29 2023-12-01 奥德集团有限公司 一种可监测并控制燃气流量的燃气设备
CN118261453A (zh) * 2024-05-31 2024-06-28 应辉环境科技服务(烟台)有限公司 基于级联神经网络模型的企业排污监测方法及系统

Similar Documents

Publication Publication Date Title
CN111294646B (zh) 一种视频处理方法、装置、设备及存储介质
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质
CN112884092B (zh) Ai模型生成方法、电子设备及存储介质
CN111523421B (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN111738044B (zh) 一种基于深度学习行为识别的校园暴力评估方法
KR101996371B1 (ko) 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN114419351A (zh) 图文预训练模型训练、图文预测模型训练方法和装置
CN111368911A (zh) 一种图像分类方法、装置和计算机可读存储介质
CN117011859A (zh) 一种图片处理的方法以及相关装置
CN113987429A (zh) 基于水印嵌入的神经网络模型的版权验证方法
CN110533184B (zh) 一种网络模型的训练方法及装置
CN116452333A (zh) 异常交易检测模型的构建方法、异常交易检测方法及装置
CN114154622A (zh) 交通运行体系流量数据采集缺失补全的算法模型
CN116704264A (zh) 动物分类方法、分类模型训练方法、存储介质及电子设备
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
CN114387524A (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN114462491A (zh) 一种行为分析模型训练方法、行为分析方法及其设备
CN113573009A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN114764948A (zh) 活体检测方法、装置、设备及存储介质
CN110910989A (zh) 心理评分方法、装置、电子设备及存储介质
CN117557108B (zh) 电力作业风险智能识别模型的训练方法和装置
CN118467709B (zh) 视觉问答任务的评价方法、设备、介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615

RJ01 Rejection of invention patent application after publication