CN112287816A - 一种基于深度学习的危险工作区事故自动检测报警方法 - Google Patents

一种基于深度学习的危险工作区事故自动检测报警方法 Download PDF

Info

Publication number
CN112287816A
CN112287816A CN202011170556.7A CN202011170556A CN112287816A CN 112287816 A CN112287816 A CN 112287816A CN 202011170556 A CN202011170556 A CN 202011170556A CN 112287816 A CN112287816 A CN 112287816A
Authority
CN
China
Prior art keywords
video
training
workshop
convolution
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011170556.7A
Other languages
English (en)
Other versions
CN112287816B (zh
Inventor
张新曼
王静静
寇杰
彭羽瑞
毛乙舒
陈辉
邢舒明
罗圣哲
周攀
程昭晖
陆罩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011170556.7A priority Critical patent/CN112287816B/zh
Publication of CN112287816A publication Critical patent/CN112287816A/zh
Application granted granted Critical
Publication of CN112287816B publication Critical patent/CN112287816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的危险工作区事故自动检测报警方法，获取原始视频数据并进行预处理，将视频转换为深度学习网络可接受的输入训练集；通过卷积式时空自动编码器‑解码器学习训练视频中的特征模式，并利用所述训练集训练优化，得到车间事故检测模型；获取实时的待检测监控视频，采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，若连续多张实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息以及对应的监控位置信息。本发明在大量视频分析基础上，又进行了正常场景的视频专项学习，得到了经过充分训练的检测模型，能够快速准确的检测出车间异常事故，可在任何车间场景下进行事故检测。

Description

一种基于深度学习的危险工作区事故自动检测报警方法
技术领域
本发明属于视频内容自动分析技术领域，特别涉及一种基于深度学习的危险工作区事故自动检测报警方法。
背景技术
车间安全不仅是企业的生命线，同样也是职工的生命线。但是现代化车间的生产环境日趋复杂，生产过程需要更加精密的操作，长期损耗或者操作不当都会造成设备倒塌、设备卷人、设备爆炸等十分严重的后果，轻则机器损坏，重则工人可能失去性命。一方面随着监控系统规模的不断扩大，视频数据海量增大，从中获取有用的信息或者情报越来越困难，查找效率低，工作量繁重，难以满足监控系统视频异常检测的需求。另一方面现有的常规视频处理技术对视频的拍摄角度、光照条件等要求严苛，而且只能是针对某一特定场景进行分析，无法拓展到各种场景，也无法同时对多种异常情况进行检测，所以一种更加智能的事故异常检测方法迫在眉睫。
近年来，深度学习在视频智能分析中得到了重大进展，解决了视频图像剧烈形变、镜头抖动、尺度变化、光照变化，遮挡等问题，可以同时进行大量视频的学习，特别是卷积神经网络已经证明了它在目标识别、人物检测和动作识别等广泛应用中的有效性，在异常检测领域越来越引起国内外分析专家的注目。但是现有的卷积神经网络的训练普遍要求有监督的，需要标签作为学习信号，视频信号涉及大数据处理，而且由于其高维性、随机噪声以及大量的事件的交互作用，手动对感兴趣的区域进行检测分割和标记是非常困难的，而且这样得到的检测模型很难推广到不同的监视场景。本发明利用多层卷积构建编码器-解码器形成深度学习网络，以一种无监督的学习方式捕捉数据中的空间结构和时间演化，侦测包含拥挤场景的车间视频事故，不仅不需要任何复杂的人工标记支持，并且大大提高了检测模型对不同场景的应用能力，能同时高效检测设备倒塌、设备卷人、设备爆炸三类事故，对其他异常事故也有一定的检测报警功能，保障工人生命安全。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度学习的危险工作区事故自动检测报警方法，不需要对多种场景下的各种事故进行标记，从正常场景的训练视频中学习正常模式，然后在与正常模式偏离的事件中检测到异常，通过深度学习能够有效实现各种车间场景下的设备倒塌、设备卷人、设备爆炸等工作事故检测，适用范围广，检测结果准确可靠，有较高的鲁棒性和普适性。
为了实现上述目的，本发明采用的技术方案是：
一种基于深度学习的危险工作区事故自动检测报警方法，包括以下步骤：
1)获取原始视频数据并进行预处理，将视频转换为深度学习网络可接受的输入训练集；
2)通过卷积式空间自动编码器-解码器和卷积式时间自动编码器-解码器学习训练视频中的特征模式，并利用所述训练集训练优化，得到车间事故检测模型，以检测设备倒塌、设备卷人和设备爆炸等异常事故；
3)获取实时的待检测监控视频，采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，若连续多张实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息；
4)在检测到发生车间事故时，向现场管理员终端发送发生车间事故的实时监控图像以及对应的监控位置信息。
进一步地，所述步骤1)中，获取只包含正常场景的原始视频数据，从其中提取图像，对图像进行灰度化处理以降低维数；对灰度化处理后的图像进行归一化(如尺度变换)，使其具有零均值和单位方差。
进一步地，可将图像在时间维度上进行数据扩充，按不同的步幅提取监控图像拼接出不同时间跨度的新视频片段，以增加训练数据集的数量，将实时获取的监控转换为深度学习网络可接受的输入训练集。
进一步地，所述步骤2)包括：
2.1)构建卷积式空间自动编码器-解码器学习每个视频帧的空间结构，构建卷积式时间编码器-解码器学习编码的空间结构的时间模式；
2.2)使用反向传播算法并以无监督的方式训练模型，训练原则为最小化原始输入视频集和卷积网络输出视频集之间的重构误差，选择非线性函数作为激活函数，兼顾编码器和解码器函数的对称性；
2.3)通过输入测试数据来评估训练得到的车间事故检测模型的性能，并检查它是否能够在保持低虚警率的情况下检测异常事件，利用测试集验证训练得到的车间事故检测模型是否达到收敛条件，若达到收敛条件，则输出车间事故检测模型；否则重新进入步骤2.1)。
其中，所述卷积式空间自动编码器-解码器由两个卷积层和两个反卷积层组成，其中两个卷积层构成编码器，两个反卷积层构成解码器，卷积运算通过对两个卷积层和两个反卷积层的每一层的输入数据应用卷积核来保持像素之间的空间关系，并且从输入图像数据中提取空间结构特征；卷积运算在卷积核和输入区域中对应卷积核大小的局部区域之间执行点积，每一层的输出是对输入数据遍历卷积运算的结果，卷积网络在训练过程中会自行学习卷积核的值。
所述卷积式时间编码器-解码器使用三层卷积长期短期记忆(ConvLSTM)模型，卷积长短期记忆(ConvLSTM)模型用于学习输入之间的时间依赖性，卷积长短期记忆的矩阵运算被卷积所取代，通过对输入层到隐含层和隐含层到隐含层的连接使用卷积，卷积长短期记忆需要更少的权重并生成更好的空间特征映射，卷积长短期记忆网络还添加了一个可选的窥视孔连接，以使网络能够更好地获取过去的信息。
进一步地，所述步骤2.2)中，使用随机梯度下降法，训练时对每个样本进行梯度更新；为了保证编码和解码函数的对称性，选择双曲正切作为空间编码器和解码器的激活函数；在模型训练学习的过程中，给定训练的学习率、批大小(batchsize)、训练轮数epoch。
进一步地，所述步骤2.3)采用评估指标正则性得分作为收敛条件，当车间事故检测模型得到的正则性得分大于阈值，则达到收敛条件，训练得到的车间事故检测模型验证通过；否则不满足收敛条件。
进一步地，所述步骤3)采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，为了减少正则性得分中有噪声和无意义的极小值，应用Persistence1D算法对具有固定时间窗口的局部极小值进行分组，若连续多张实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息，误差阈值根据多次实验获得的真阳性率和假阳性率以及受试者接收工作特性曲线(ROC)下的面积综合考虑，最终实现设备倒塌、设备卷人、设备爆炸等车间事故的自动检测和报警。
进一步地，所述步骤4)在获取待检测监控视频时，同时获取与待检测监控视频匹配的车间摄像头位置信息，将位置信息自动扩展为监控视频的属性之一，并在检测到发生车间事故时，向现场管理员终端发送发生车间事故的实时监控图像以及对应的监控位置信息，做到及时快速处理事故。
与现有技术相比，本发明的有益效果是：
提出了一种基于深度学习来检测视频中的设备倒塌、设备卷人、设备爆炸等车间事故。基于当异常事件发生时，视频的最新帧将明显不同于旧帧的基本原则，训练了一个端到端的模型，该模型由一个空间特征提取器和一个时间编码解码器组成，前者自动学习每个视频帧的空间结构，后者学习编码的空间结构的时间模式。该模型采用只包含正常场景的视频集进行训练，采用无监督的反向传播方法，目标是使学习模型重建的输入视频量和输出视频量之间的重建误差最小。当模型经过适当训练后，正常的视频体积具有较低的重建误差，而由异常场景组成的视频体积具有较高的重建误差。通过对每个测试输入量产生的误差进行阈值化，训练得到的车间事故检测模型将能够检测到异常事件的发生。训练是无监督的学习方法，与任何特定任务无关，也不需要监督信号，能够推广到不同的车间工作场景。本发明能够实现监控视频的实时车间事故检测，有效检测设备倒塌、设备卷人、设备爆炸以及其他一些异常事故，检测结果准确可靠，鲁棒性强，适用范围广，为社会经济安全提供了保障，应用前景广阔。
进一步的，本发明的空间编码器和解码器由两个卷积层和反卷积层构成，对监控视频进行特征提取从而识别异常事故。时间编码器-解码器采用一个三层卷积长短期存储器(LSTM)模型，卷积网络以其出色的图像特征提取性能而具有目标识别的独特优势，LSTM模型则广泛用于序列学习和时间序列建模，可以更好的提取监控视频中的空间结构和时间模式。从数学上看，卷积运算在卷积核和输入的局部区域之间执行点积，引入卷积网络更有利于从输入图像中提取特征，卷积运算也可以通过使用方形的卷积核来学习图像特征并保留像素之间的空间关系。为克服梯度消失问题，在深度学习网络中加入“遗忘门”的结构，可以有效防止反向传播中的梯度消失或爆炸，因此可以处理较长的序列，并且可以将它们堆叠在一起以捕获更高级别的信息。数据库为只包含正常场景的视频集，通过无监督的学习方式得到视频中的空间结构和时间模式得到车间事故检测模型，计算输入帧的重建误差，重建误差大于所设误差阈值即发生车间事故，否则车间工作正常。
附图说明
图1为本发明车间事故视频检测方法流程图。
图2为空间编码器-解码器结构图。
图3为时间编码器-解码器结构图。
图4为典型LSTM单元结构图。
图5为损失函数随训练轮数变化关系图。
图6为ROC曲线图。
图7为设备倒塌误差分析示例：(a)视频正常的图像帧；(b)视频出现设备倒塌的图像帧；(c)坍塌事故发生时视频的正则性得分曲线结果。
图8为设备卷人误差分析示例：(a)视频正常的图像帧；(b)视频出现设备卷人的图像帧；(c)卷人事故发生时视频的正则性得分曲线结果。
图9为设备爆炸误差分析示例：(a)视频正常的图像帧；(b)视频出现设备爆炸的图像帧；(c)爆炸事故发生时视频的正则性得分曲线结果。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
参见图1，本发明基于深度学习的车间事故自动检测报警方法，对监控视频进行实时监测和报警，可用于检测设备倒塌、设备卷人和设备爆炸等事故，方案如下：
获取原始视频数据(只包含正常场景的视频)，从其中提取图像并进行预处理，将视频转换为深度学习网络可接受的输入训练集。
通过卷积式空间自动编码器-解码器和卷积式时间自动编码器-解码器学习训练视频中的特征模式，并利用所述的训练集训练优化，得到车间事故检测模型，通过深度学习将异常检测转换为一个时空序列异常点检测问题。
获取实时的待检测监控视频，采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，若连续多张(例如50张)实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息。
在获取待检测监控视频时，同时获取与待检测监控视频匹配的车间摄像头位置信息，将位置信息自动扩展为监控视频的属性之一，并在检测到重建误差大于阈值时确认发生车间事故，向现场管理员终端发送发生车间事故的实时监控图像以及对应的监控位置信息，及时对设备倒塌、设备卷人、设备爆炸等异常事故进行报警，做到及时快速处理事故，减少人员伤亡。
具体步骤如下：
1.工作场景监控视频预处理
如图1所示的预处理流程，实时监控视频获取后进行视频的预处理部分，从原始监控视频中提取每一帧图像并调整为统一尺寸，然后对图像进行灰度化处理以降低维数；对处理后的图像进行归一化，使其具有零均值和单位方差；模型输入要求为连续10帧的视频图像，在时间维度上进行数据扩充，按不同的步幅提取监控图像拼接出不同时间跨度的新视频片段，以增加训练数据集的数量，将实时获取的监控视频转换为深度学习网络可接受的输入训练集。
特别的，模型输入要求为视频图像集合，每个集合由10个连续图像帧组成，由于该模型中的参数数目较多，需要大量的训练数据，因此在时间维度上进行数据扩充，以增加训练数据集的大小。为了生成足够数量的图像训练集合，按不同的步幅提取监控图像拼接出不同时间跨度的新视频片段，如步幅1、步幅2和步幅3。例如，步幅1序列由帧{1、2、3、4、5、6、7、8、9、10}组成，而步幅2序列包含帧编号{1、3、5、7、9、11、13、15、17、19}，而步幅3序列将包含帧编号{1、4、7、10、13、16、19、22、25、28}，通过以上的数据处理和数据扩充，实现将实时获取的监控视频转换为深度学习网络可接受的输入训练集。
2.时空特征自动编码器-解码器的深度学习
在具体的训练过程中，包括：
1)构建卷积式空间自动编码器-解码器学习每个视频帧的空间结构，构建卷积式时间编码器-解码器学习编码的空间结构的时间模式；
卷积式空间自动编码器-解码器由两个卷积层和两个反卷积层组成，如图2所示，两个卷积层构成编码器，两个反卷积层构成解码器。卷积的主要目的是从输入图像数据中提取空间结构特征，卷积运算通过对两个卷积层和两个反卷积层的每一层的输入数据应用卷积核来保持像素之间的空间关系，并且从输入图像数据中提取空间结构特征。从数学上讲，卷积运算在滤波器和输入的局部区域之间执行点积。假设有一个n×n平方输入层，后面是卷积层。如果使用m×m滤波器W，卷积层输出的大小将为(n-m+1)×(n-m+1)。
卷积运算在卷积核和输入区域中对应卷积核大小的局部区域之间执行点积，每一层的输出是对输入数据遍历卷积运算的结果，卷积网络在训练过程中会自行学习这些卷积核的值。
Figure BDA0002747152090000081
其中Mj表示每个卷积核对应的l层输入集合，
Figure BDA0002747152090000082
是l层第i个输入，
Figure BDA0002747152090000083
是l层第j个输出，
Figure BDA0002747152090000084
是l层第i个输入对第j个输出的权重，b是l层第j个输出的偏置。
在训练前要指定卷积核的数量、卷积核大小、隐含层层数等参数。随着卷积核数量的增加，提取的图像特征也就越多，网络在识别不可见图像中的模式方面就越好。然而，更多的卷积核会增加计算时间并更快地消耗内存，因此需要通过设置合适的网络参数来达到速度和精度的平衡。
卷积式时间编码器-解码器使用三层卷积长期短期记忆(ConvLSTM)模型，如图3所示。卷积长短期记忆(ConvLSTM)模型主要用于学习输入之间的时间依赖性，卷积长短期记忆的矩阵运算被卷积所取代，通过对输入层到隐含层和隐含层到隐含层的连接使用卷积，卷积长短期记忆需要较少的权重并生成更好的空间特征映射。
在传统的前馈神经网络中，是以假设所有的输入(和输出)是相互独立为前提的，然而，在涉及存在先后序列的任务中，学习输入之间的时间依赖性非常重要，卷积长短期记忆(ConvLSTM)模型非常适合用于学习输入之间的时间依赖性。一方面，ConvLSTM加入“遗忘门”克服梯度消失的问题，可以防止反向传播的误差消失或爆炸，从而可以在长序列上工作，并且可以将它们叠加在一起以获取更高层次的信息。另一方面，ConvLSTM的矩阵运算被卷积所取代，通过对输入层到隐含层和隐含层到隐含层的连接使用卷积，ConvLSTM需要较少的权重并生成更好的空间特征映射。ConvLSTM单元可以用下列公式来概括，图4为典型的LSTM单元，具体的参数关系如图4所示，每个连接的权重集由卷积核代替(符号*表示卷积运算)，有利于它在每个ConvLSTM状态下临时传播空间特性。
ft＝σ(Wf*[ht-1,xt,Ct-1]+bf)
it＝σ(Wi*[ht-1,xt,Ct-1]+bi)
Figure BDA0002747152090000091
Figure BDA0002747152090000092
ot＝σ(Wo*[ht-1,xt,Ct-1]+bo)
Figure BDA0002747152090000093
方程ft表示遗忘层，it表示输入门，it和
Figure BDA0002747152090000094
是添加新信息的地方，Ct合并了新旧信息，ot表示输出门，ot和ht在下一个时间步骤将目前所学的输出到ConvLSTM单元。变量xt表示输入特征，ht表示隐含层状态，Ct表示时间t时刻的单元状态。W是可训练权重矩阵，b是偏差向量，符号
Figure BDA0002747152090000095
表示Hadamard积。卷积长短期记忆网络还添加了一个可选的“窥视孔”连接，以使网络能够更好地获取过去的信息。
2)使用反向传播算法并以无监督的方式训练模型，训练原则为最小化原始输入视频集和卷积网络输出视频集之间的重构误差，选择非线性函数作为激活函数，兼顾编码器和解码器函数的对称性；
自动编码器-解码器采用无监督的反向传播方法，通过最小化原始输入视频集和卷积网络输出视频集之间的重构误差来训练模型。在模型训练学习的过程中，给定训练的学习率、批大小(batchsize)、训练轮数epoch。
使用随机梯度下降法，训练时对每个样本进行梯度更新。
Wt+1＝Wt-ηtgt
其中gt是单个样本对权重等参数的偏导；即训练时，每次只从一批训练样本中随机选取一个样本进行梯度下降；对随机梯度下降来说，只需要一次关注一个训练样本，一点点把参数朝着全局最小值的方向进行修改了。
为了保证编码和解码函数的对称性，选择双曲正切作为空间编码器和解码器的激活函数。
Figure BDA0002747152090000096
在模型训练学习的过程中，学习率为0.01，使用随机梯度下降法，批大小(batchsize)设置为16，训练轮数epoch设置为500。图5显示的是模型在训练过程中的损失随训练轮数(epoch)的变化图，虚线表示的是在训练集上的损失，实线表示的是在验证集上的损失。可以看到，随着训练轮数的逐渐增大，无论是训练集还是验证集上的损失函数都逐渐减小。并且这种减少的效果在训练轮数在0到100的范围内最为明显，当训练轮数大于100后，随着训练轮数的增大，损失函数的下降比较缓慢，迭代训练400轮后损失函数几乎不再下降。故本发明设置总的训练轮数为500。
3.检测模型的收敛性检验；
训练好模型后，需要通过输入测试数据来评估训练得到的车间事故检测模型的性能，并检查它是否能够在保持低虚警率的情况下检测异常事件，利用测试集验证训练得到的车间事故检测模型是否达到收敛条件，若达到收敛条件，则输出车间事故检测模型；否则重新进入自动编码器-解码器网络结构的构建和训练。
检验训练的车间事故检测模型的性能，采用评估指标正则性得分作为收敛条件，当车间事故检测模型的得到的正则性得分大于阈值，则达到收敛条件，训练得到的车间事故检测模型验证通过；否则不满足收敛条件。
将视频序列的帧t中的所有像素值的重建误差作为输入帧和重建帧之间的欧氏距离：
e(t)＝||x(t)-fW(x(t))||2
其中fW是时空模型的学习权重。然后通过在0和1之间缩放来计算异常得分sa(t)。随后，正则性得分sr(t)可以简单地从1减去异常得分得到：
Figure BDA0002747152090000101
sr(t)＝1-sa(t)
4.设备倒塌、设备卷人、设备爆炸的异常检测；
采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，应用Persistence1D算法进行事件计数的分组，误差阈值参考多方面实验数据，图5为损失函数随训练轮数变化关系图。
为了减少正则性得分中有噪声和无意义的极小值，应用Persistence1D算法对具有固定时间窗口的局部极小值进行分组，若连续多张(例如50张)实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送报警视频信息和车间事故位置信息。
误差阈值决定了车间事故检测系统行为的敏感度，例如，设置一个较低的阈值会使系统对场景中发生的异常事件变得敏感，在那里会触发更多的警报。在本发明中误差阈值根据多次实验获得的真阳性率和假阳性率以及受试者接收工作特性曲线(ROC)下的面积综合考虑。
图6为ROC曲线图，可以体现车间事故检测模型对异常事件检测的能力，并展示了受试者接收工作特性曲线(ROC)。如图6所示，其中横坐标表示的是FPR(当前被错误分到正样本类别中真实的负样本占所有负样本总数的比例)，也称为假阳性率，假阳性就是在标准的阴性(标准的阴性就等于假阳性加真阴性＝FP+TN)中，被检测为阳性的概率；纵坐标表示TPR(当前分到正样本中真实的正样本所占所有正样本的比例)，也称为真阳性率，真阳性率就是在标准的阳性(标准的阳性就等于真阳性加假阴性＝TP+FN)中，同时被检测为阳性的概率。
图7、图8和图9分别是设备倒塌误差分析示例、设备卷人误差分析示例和设备爆炸误差分析示例，图(a)是正常的视频帧，图(b)是检测到的异常视频帧，图(c)中表示的是相应的异常事故发生时的正则性得分曲线结果，得分越低，表示越可能出现异常，也就是越可能出现事故。红色区域表示真实标签，也就是红色区域内发生异常。根据图7、图8和图9可以看出，红色区域的正则性得分都非常低，这表明使用正则性得分作为异常检测指标是可行的，即基于无监督时空学习的深度卷积网络检测车间事故的方案是可行的。
综上，本发明在大量的视频分析的基础上，又进行了正常场景的视频专项学习，得到了经过充分训练的检测模型，能够快速准确的检测出车间异常事故，非常有利于对工人进行及时救援，挽救生命，同时训练模型适用范围广，鲁棒性高，可以在任何车间场景下进行可靠的事故检测。
以上的具体实施方式仅为本发明的较佳实施例，并不用以限制本发明，凡在发明的精神及原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的危险工作区事故自动检测报警方法，其特征在于，包括以下步骤：
1)获取原始视频数据并进行预处理，将视频转换为深度学习网络可接受的输入训练集；
2)通过卷积式空间自动编码器-解码器和卷积式时间自动编码器-解码器学习训练视频中的特征模式，并利用所述训练集训练优化，得到车间事故检测模型，以检测包括设备倒塌、设备卷人和设备爆炸在内的异常事故；
3)获取实时的待检测监控视频，采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，若连续多张实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息；
4)在检测到发生车间事故时，向现场管理员终端发送发生车间事故的实时监控图像以及对应的监控位置信息。
2.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤1)中，获取只包含正常场景的原始视频数据，从其中提取图像，对图像进行灰度化处理以降低维数；对灰度化处理后的图像进行归一化，使其具有零均值和单位方差。
3.根据权利要求2所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，将图像在时间维度上进行数据扩充，按不同的步幅提取监控图像拼接出不同时间跨度的新视频片段，以增加训练数据集的数量，将实时获取的监控转换为深度学习网络可接受的输入训练集。
4.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤2)包括：
2.1)构建卷积式空间自动编码器-解码器学习每个视频帧的空间结构，构建卷积式时间编码器-解码器学习编码的空间结构的时间模式；
2.2)使用反向传播算法并以无监督的方式训练模型，训练原则为最小化原始输入视频集和卷积网络输出视频集之间的重构误差，选择非线性函数作为激活函数，兼顾编码器和解码器函数的对称性；
2.3)通过输入测试数据来评估训练得到的车间事故检测模型的性能，并检查它是否能够在保持低虚警率的情况下检测异常事件，利用测试集验证训练得到的车间事故检测模型是否达到收敛条件，若达到收敛条件，则输出车间事故检测模型；否则重新进入步骤2.1)。
5.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述卷积式空间自动编码器-解码器由两个卷积层和两个反卷积层组成，其中两个卷积层构成编码器，两个反卷积层构成解码器，卷积运算通过对两个卷积层和两个反卷积层的每一层的输入数据应用卷积核来保持像素之间的空间关系，并且从输入图像数据中提取空间结构特征；卷积运算在卷积核和输入区域中对应卷积核大小的局部区域之间执行点积，每一层的输出是对输入数据遍历卷积运算的结果，卷积网络在训练过程中会自行学习卷积核的值。
6.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述卷积式时间编码器-解码器使用三层卷积长期短期记忆模型，卷积长短期记忆模型用于学习输入之间的时间依赖性，卷积长短期记忆的矩阵运算被卷积所取代，通过对输入层到隐含层和隐含层到隐含层的连接使用卷积，卷积长短期记忆需要更少的权重并生成更好的空间特征映射，卷积长短期记忆网络还添加了一个可选的窥视孔连接，以使网络能够更好地获取过去的信息。
7.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤2.2)中，使用随机梯度下降法，训练时对每个样本进行梯度更新；为了保证编码和解码函数的对称性，选择双曲正切作为空间编码器和解码器的激活函数；在模型训练学习的过程中，给定训练的学习率、批大小、训练轮数。
8.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤2.3)采用评估指标正则性得分作为收敛条件，当车间事故检测模型得到的正则性得分大于阈值，则达到收敛条件，训练得到的车间事故检测模型验证通过；否则不满足收敛条件。
9.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤3)采用所述车间事故检测模型检测每一帧监控视频图像的重建误差，为了减少正则性得分中有噪声和无意义的极小值，应用Persistence1D算法对具有固定时间窗口的局部极小值进行分组，若连续多张实时监控图像的局部最小重建误差大于阈值，则向车间管理员终端发送相应的报警信息，误差阈值根据多次实验获得的真阳性率和假阳性率以及受试者接收工作特性曲线下的面积综合考虑，最终实现设备倒塌、设备卷人、设备爆炸等异常事故的自动检测和报警。
10.根据权利要求1所述基于深度学习的危险工作区事故自动检测报警方法，其特征在于，所述步骤4)在获取待检测监控视频时，同时获取与待检测监控视频匹配的车间摄像头位置信息，将位置信息自动扩展为监控视频的属性之一，并在检测到发生车间事故时，向现场管理员终端发送发生车间事故的实时监控图像以及对应的监控位置信息，做到及时快速处理事故。
CN202011170556.7A 2020-10-28 2020-10-28 一种基于深度学习的危险工作区事故自动检测报警方法 Active CN112287816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011170556.7A CN112287816B (zh) 2020-10-28 2020-10-28 一种基于深度学习的危险工作区事故自动检测报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011170556.7A CN112287816B (zh) 2020-10-28 2020-10-28 一种基于深度学习的危险工作区事故自动检测报警方法

Publications (2)

Publication Number Publication Date
CN112287816A true CN112287816A (zh) 2021-01-29
CN112287816B CN112287816B (zh) 2023-05-23

Family

ID=74373720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011170556.7A Active CN112287816B (zh) 2020-10-28 2020-10-28 一种基于深度学习的危险工作区事故自动检测报警方法

Country Status (1)

Country Link
CN (1) CN112287816B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033702A (zh) * 2021-04-21 2021-06-25 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN113158548A (zh) * 2021-03-19 2021-07-23 东南大学 基于分散式振动数据和卷积自编码深度学习的结构损伤评估方法
CN113184017A (zh) * 2021-04-16 2021-07-30 中国铁路上海局集团有限公司合肥电务段 一种atp视频监控与智能识别分析系统
CN113191389A (zh) * 2021-03-31 2021-07-30 中国石油大学(华东) 一种基于光视觉技术的海底管道自主巡检方法及设备
CN113288190A (zh) * 2021-05-27 2021-08-24 上海联影医疗科技股份有限公司 一种监控系统及医学系统
CN113392805A (zh) * 2021-07-02 2021-09-14 西安交通大学 一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法
CN113435278A (zh) * 2021-06-17 2021-09-24 华东师范大学 一种基于yolo的行吊安全检测方法及系统
CN113449660A (zh) * 2021-07-05 2021-09-28 西安交通大学 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN113469098A (zh) * 2021-07-13 2021-10-01 中国石油大学(华东) 一种有机危化品泄漏智能可视化监测装置
CN114067434A (zh) * 2021-11-12 2022-02-18 燕山大学 基于深度时空卷积自编码器的跌倒行为检测方法及装置
CN114267015A (zh) * 2021-12-24 2022-04-01 广东蓝鲲海洋科技有限公司 一种海洋异常区域的智能检测方法
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116740649A (zh) * 2023-08-07 2023-09-12 山东科技大学 一种基于深度学习的船员越界落水行为实时检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN109919032A (zh) * 2019-01-31 2019-06-21 华南理工大学 一种基于动作预测的视频异常行为检测方法
CN110895705A (zh) * 2018-09-13 2020-03-20 富士通株式会社 异常样本检测装置及其训练装置和训练方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111814644A (zh) * 2020-07-01 2020-10-23 重庆邮电大学 一种基于扰动视觉解释的视频异常事件检测方法
US10814815B1 (en) * 2019-06-11 2020-10-27 Tangerine Innovation Holding Inc. System for determining occurrence of an automobile accident and characterizing the accident

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN110895705A (zh) * 2018-09-13 2020-03-20 富士通株式会社 异常样本检测装置及其训练装置和训练方法
CN109919032A (zh) * 2019-01-31 2019-06-21 华南理工大学 一种基于动作预测的视频异常行为检测方法
US10814815B1 (en) * 2019-06-11 2020-10-27 Tangerine Innovation Holding Inc. System for determining occurrence of an automobile accident and characterizing the accident
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN111814644A (zh) * 2020-07-01 2020-10-23 重庆邮电大学 一种基于扰动视觉解释的视频异常事件检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TIAN W.等: "Abnormal event detection based on analysis of movement information of video sequence" *
吴帆: "地铁应用场景中群体异常行为检测研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
王征: "探析计算机人工智能技术的应用与发展", 《电子元器件与信息技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158548A (zh) * 2021-03-19 2021-07-23 东南大学 基于分散式振动数据和卷积自编码深度学习的结构损伤评估方法
CN113191389B (zh) * 2021-03-31 2022-10-11 中国石油大学(华东) 一种基于光视觉技术的海底管道自主巡检方法及设备
CN113191389A (zh) * 2021-03-31 2021-07-30 中国石油大学(华东) 一种基于光视觉技术的海底管道自主巡检方法及设备
CN113184017A (zh) * 2021-04-16 2021-07-30 中国铁路上海局集团有限公司合肥电务段 一种atp视频监控与智能识别分析系统
CN113033702A (zh) * 2021-04-21 2021-06-25 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN113033702B (zh) * 2021-04-21 2022-12-13 上海勘察设计研究院(集团)有限公司 一种基于时空数据的结构安全预警方法
CN113288190A (zh) * 2021-05-27 2021-08-24 上海联影医疗科技股份有限公司 一种监控系统及医学系统
CN113435278A (zh) * 2021-06-17 2021-09-24 华东师范大学 一种基于yolo的行吊安全检测方法及系统
CN113392805A (zh) * 2021-07-02 2021-09-14 西安交通大学 一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法
CN113449660A (zh) * 2021-07-05 2021-09-28 西安交通大学 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN113449660B (zh) * 2021-07-05 2024-04-05 西安交通大学 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN113469098A (zh) * 2021-07-13 2021-10-01 中国石油大学(华东) 一种有机危化品泄漏智能可视化监测装置
CN114067434A (zh) * 2021-11-12 2022-02-18 燕山大学 基于深度时空卷积自编码器的跌倒行为检测方法及装置
CN114067434B (zh) * 2021-11-12 2024-05-24 燕山大学 基于深度时空卷积自编码器的跌倒行为检测方法及装置
CN114267015B (zh) * 2021-12-24 2022-09-09 广东蓝鲲海洋科技有限公司 一种海洋异常区域的智能检测方法
CN114267015A (zh) * 2021-12-24 2022-04-01 广东蓝鲲海洋科技有限公司 一种海洋异常区域的智能检测方法
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116740649A (zh) * 2023-08-07 2023-09-12 山东科技大学 一种基于深度学习的船员越界落水行为实时检测方法
CN116740649B (zh) * 2023-08-07 2023-11-03 山东科技大学 一种基于深度学习的船员越界落水行为实时检测方法

Also Published As

Publication number Publication date
CN112287816B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN110827505A (zh) 一种基于深度学习的烟雾分割方法
CN112163572A (zh) 识别对象的方法和装置
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
CN113192038B (zh) 基于深度学习的已有火焰环境中异常烟火识别监测方法
CN113158983A (zh) 一种基于红外视频序列图像的机场场面活动行为识别方法
CN112800975A (zh) 一种基于图像处理的安检通道内行为识别方法
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
CN112232235B (zh) 基于5g和算法的智慧工厂远程监控方法及系统
CN111898440B (zh) 一种基于三维卷积神经网络的山火检测方法
Varghese et al. Video anomaly detection in confined areas
Lee et al. A study of video-based abnormal behavior recognition model using deep learning
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
Wang et al. Anomaly detection in crowd scene using historical information
CN112507925A (zh) 一种基于慢特征分析的火灾检测方法
Pan et al. An Improved Two-stream Inflated 3D ConvNet for Abnormal Behavior Detection.
Padmaja et al. Crowd abnormal behaviour detection using convolutional neural network and bidirectional LSTM
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置
Marsiano et al. Deep Learning-Based Anomaly Detection on Surveillance Videos: Recent Advances
CN111666819B (zh) 一种融合多元信息的高精度视频异常事件检测方法
CN114663750B (zh) 一种基于机器视觉与深度学习的海缆填充条断裂识别方法
CN117854215A (zh) 一种基于时序图像的火灾报警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant