CN107862331A - 一种基于时间序列及cnn的不安全行为识别方法及系统 - Google Patents

一种基于时间序列及cnn的不安全行为识别方法及系统 Download PDF

Info

Publication number
CN107862331A
CN107862331A CN201711045704.0A CN201711045704A CN107862331A CN 107862331 A CN107862331 A CN 107862331A CN 201711045704 A CN201711045704 A CN 201711045704A CN 107862331 A CN107862331 A CN 107862331A
Authority
CN
China
Prior art keywords
msub
mrow
mtr
mtd
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711045704.0A
Other languages
English (en)
Inventor
骆汉宾
丁烈云
方伟立
钟波涛
刘佳静
张永成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201711045704.0A priority Critical patent/CN107862331A/zh
Publication of CN107862331A publication Critical patent/CN107862331A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时间序列及CNN的不安全行为识别方法及系统，通过将不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。本发明能够为建筑工程施工全过程中不安全行为的实时侦查和矫正提供支持。

Description

一种基于时间序列及CNN的不安全行为识别方法及系统
技术领域
本发明属于建筑工程信息化领域，更具体地，涉及一种基于时间序列及卷积神经网络的不安全行为识别方法及系统。
背景技术
由于施工环境的动态性和复杂性，保障建筑工人在施工作业中的安全是一个普遍而富有挑战的问题。尽管有法律法规的不断完善，监管力度的持续加大，行业从业人员的不懈努力来改善这一问题，建筑过程中的事故和死亡人数仍旧居高不下。据海因里希统计，施工中约有88％的事故是由不安全行为造成的。因此，为避免安全事故造成严重的人员伤亡和财产损失，针对施工中不安全行为的识别，国内外研究学者做了大量的研究。
最初不安全行为的识别基于人工观察，能够较准确地识别施工中的不安全行为并提出矫正措施，但是由于完全依赖于人工，存在耗时、耗费人力、具有主观性等缺陷。
为解决以上缺陷，许多研究学者应用传感技术(如：RFID，UWB，GPS)定位和跟踪施工对象，从而识别不安全行为，但需要在每个检测对象上安装检测设备，一定程度上会影响工人的正常作业；并且，设备数量多，不利于维护管理。
基于此，随着计算机视觉视觉的发展，研究学者开始将目光转向模式识别方法，但识别不安全行为的过程往往过度依赖手工提取特征，这涉及繁琐的参数调整过程；并且计算周期冗长，精确度不够，不能及时反映不安全行为动态。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于时间序列及卷积神经网络的不安全行为识别方法，结合卷积神经网络和时间递归神经网络建立深度混合学习模型，为复杂环境下建筑工程施工全过程中不安全行为的实时侦查和矫正提供支持。
为了实现上述目的，本发明提供了一种基于时间序列及卷积神经网络的不安全行为识别方法，包括如下步骤：
步骤1：将训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；
步骤2：将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；
步骤3：将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；
步骤4：利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。
进一步地，步骤1中，卷积神经网络的训练方法如下：
1.1、将原始视频数据输入卷积神经网络，在卷积神经网络中，后一层对前一层的输出进行卷积运算和激活操作，以提取前一层的行为空间特征，激活函数如公式(1)所示：
xl＝f(Wlxl-1+bl) (1)
其中，
xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；
Wl是l层的权值；
bl为l层的偏差；
f(·)为sigmoid激活函数。
1.2、通过池化层对步骤1.1提取出的前一层的行为空间特征进行池化操作；
1.3、对卷积神经网络逐层重复步骤1.1、1.2，直至通过全连接层，最终从最后一层池化层输出空间特征向量，得到训练集视频中的行为空间特征。
进一步地，步骤2中时间递归神经网络的训练方法如下：
2.1、将步骤1.3中卷积神经网络输出的空间特征向量作为时间递归神经网络的输入值，对于当前时间t，通过公式(2)更新单元格状态：
其中，
f()为sigmoid激活函数；
At代表图像的输入；
It、Ft、Ot分别表示单元格在t时刻的输入、遗忘和输出，
Gt表示生成的新的候选向量，
Ct表示单元格在t时刻的状态；
Ht为时间递归神经网络的隐藏层，表示当前t时刻整个图像的含义；
Bi、Bf、Bo和Bg均为偏移矢量，分别表示输入It、遗忘Ft、输出Ot和候选向量Gt的偏差；
Uai、Uaf、Uao和Uag分别代表It、Ft、Ot、Gt的输入连接权重矩阵，
Vhi、Vhf、Vho和Vhg分别代表It、Ft、Ot、Gt的循环连接权重矩阵；
t-1表示t时刻的上一时刻。
2.2、卷积神经网络输出的空间特征向量经过步骤2.1处理后，生成包含n个表征的表征序列{m1,m2,...,mn}，将该表征序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：
2.3、将平均池化特征向量F输入softmax层，得到softmax分类器。
为了实现上述目的，本发明还提供了一种基于时间序列及CNN的不安全行为识别系统，包括：空间特征向量提取模块、平均池化特征向量提取模块、深度混合学习模块和在线识别模块；其中，
空间特征向量提取模块用于将施工现场不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量，并输出至平均池化特征向量提取模块；
平均池化特征向量提取模块用于将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量，并输出至深度混合学习模块；
深度混合学习模块用于将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；
在线识别模块用于调用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。
进一步地，空间特征向量提取模块包括如下子模块：
卷积激活模块：用于将原始视频数据输入卷积神经网络，在卷积神经网络中，后一层对前一层的输出进行卷积运算和激活操作，以提取前一层的行为空间特征，激活函数如公式(1)所示：
xl＝f(Wlxl-1+bl) (1)
其中，
xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；
Wl是l层的权值；
bl为l层的偏差；
f()为sigmoid激活函数。
池化模块：用于通过池化层对卷积激活模块提取出的上一层的行为空间特征进行池化操作；
空间特征向量输出模块：用于对卷积神经网络逐层重复调用卷积激活模块和池化模块，直至通过全连接层，最终从最后一层池化层输出空间特征向量，得到训练集视频中的行为空间特征。
进一步地，平均池化特征向量提取模块包括如下子模块：
单元格更新模块：用于将空间特征向量输出模块输出的空间特征向量作为时间递归神经网络的输入值，对于当前时间t，通过公式(2)更新单元格状态：
其中，
f()为sigmoid激活函数；
At代表图像的输入；
It、Ft、Ot分别表示单元格在t时刻的输入、遗忘和输出，
Gt表示生成的新的候选向量，
Ct表示单元格在t时刻的状态；
Ht为时间递归神经网络的隐藏层，表示当前t时刻整个图像的含义；
Bi、Bf、Bo和Bg均为偏移矢量，分别表示输入It、遗忘Ft、输出Ot和候选向量Gt的偏差；
Uai、Uaf、Uao和Uag分别代表It、Ft、Ot、Gt的输入连接权重矩阵，
Vhi、Vhf、Vho和Vhg分别代表It、Ft、Ot、Gt的循环连接权重矩阵；
t-1表示t时刻的上一时刻。
平均池化模块：用于在卷积神经网络输出的空间特征向量经过单元格更新模块处理后，生成包含n个表征的表征序列{m1,m2,...,mn}，将该表征序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：
分类器构建模块：用于将平均池化模块得到的平均池化特征向量F输入softmax层，得到softmax分类器。
总体而言，本发明所构思的以上技术方案与现有技术相比，通过将卷积神经网络、时间递归神经网络有机融合，开发了一种新型的混合深度学习模型，提供了一种自动化检测和识别建设工程工人不安全行为的方法，具有如下优势：
(1)基于视频而不是图片的行为特征识别，能实现连续地施工中不安全行为的捕捉，融合卷积神经网络和时间递归神经网络的混合深度模型可以自动提取来自一系列动作视频的不安全行为的时间、空间特征。
(2)由于视频监控在建筑工地的广泛使用，数据采集基于大量工程视频成本低，构建混合深度学习模型自动识别工人行为，使用方便，为方法的广泛应用提供了基础，同时由于其不依赖专家经验和人为判断，具有客观性。
(3)通过实验验证模型的准确性及可靠性，结果显示识别不安全行为的平均准确率为97％，相比目前最先进的方法(例如：HOG、HOF、MBH)，高出约10％，混合深度学习模型是经得起实践检验并值得信任的，进一步提高了所构建网络的适应性。
(4)本发明的时间递归神经网络具备基于循环神经网络的改进结构，能理解连续视频中的行为时间特征；结合卷积神经网络和时间递归神经网络的深度混合学习模型能有效识别视频中的不安全行为，开发的混合深度模型可以应用于施工中自动的不安全行为检测，实现及时地行为矫正，同时，视频也可以为工人提供直接的视觉反馈，实现更有效的安全培训。
附图说明
图1是本发明优选实施例的步骤示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本实施例提供一种自动化检测和识别建设工程工人不安全行为的方法，具体包括不安全行为分析、行为空间特征识别、行为时间特征识别三个部分，具体实施方式如下。
首先，建筑工程施工作业中工人的不安全行为分析，具体操作如下：
依据安全标准，操作说明，事故案例，现场观察和专家经验确定工人的不安全行为类型。同时，从政府记录中收集造成事故发生的不安全行为类型，以确定常见的不安全行为。对事故机制进行彻底分析以制定不安全行为清单，从而预定义不安全行为。针对研究的不安全行为，在当前需要监控的施工现场录制相应视频作为训练集及测试集，如：录制工人携带物体爬梯子的视频。训练集用于训练卷积神经网络和时间递归神经网络，以及调节网络参数；测试集则对训练好的网络进行检验。
然后，按照如下步骤进行不安全行为识别：
步骤1：行为空间特征识别，即卷积神经网络(CNN)的构建，参照google开发的Inception-v3建立卷积神经网络的结构，需完成以下操作：
1.1卷积神经网络具有进行自学习和特征提取的多层架构。Inception-v3的基本配置中有四个卷积模块，它包含一个42层的深卷积网络，拥有超过130层的299×299接受域。将原始视频数据输入卷积神经网络，对于每一层，卷积层对前一层的输出进行卷积运算和激活操作提取特征，激活函数可以采用tanh函数，xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；Wl是l层的权值；bl为l层的偏差；f()为激活函数。如公式(1)所示：
xl＝f(Wlxl-1+bl) (1)
1.2通过卷积层操作获得图像的特征之后，理论上可以直接使用特征训练分类器，但将面临巨大的计算量挑战，且易产生过拟合现象。为了进一步降低网络训练参数及模型的过拟合程度，需要通过池化层进行池化操作。Google的卷积神经网络结构中包含最大值池化，平均池化两种，其中前者指选择池化窗口中的最大值作为采样值，后者指将窗口中的所有值相加取平均，以平均值作为采样值。Google提出了一些模块，由5个均匀形状的滤波器的复合层组成，包括1×1，3×3，5×5，并产生一个3×3平均池化操作的输出。
1.3经过卷积、池化多次操作后，通过全连接层，最终从最后一层池化层输出2048维的特征向量，即提取的视频中的行为空间特征。
步骤2：行为时间特征识别，即时间递归神经网络(LSTM，Long Short-TermMemory)的构建，需完成以下操作：
2.1时间递归神经网络是一种特殊的循环神经网络结构，能够学习长期依赖关系，记忆信息很长一段时间。时间递归神经网络的关键点是单元状态，并通过三种门限保护和控制单元状态，即输入、遗忘、输出。门限作为确定信息能否被接受及接受程度的机制，每个门限中的记忆单元由一个sigmoid神经网络层和逐点乘法运算组成。sigmoid层输出0到1之间的数字，描述了每个成分应该通过门限的程度。0表示不让任何成分通过，而1则表示让所有成分通过。卷积神经网络获得的2048维特征向量成为了时间递归神经网络的输入值，对于时间t，可以通过以下方式更新单元格状态，f(·)代表激活函数sigmoid，为f(x)＝(1+e-x)-1；At代表图像的输入；It，Ft，Ot分别代表单元格在t时刻的“输入”、“遗忘”和“输出”门限的输出；Gt表示生成的新的候选向量；Ct为单元格在t时刻的状态；Ht为网络的隐藏层，表示当前t时刻整个图像的含义；Bi，Bf，Bo和Bg为偏移矢量，分别是输入、遗忘、输出和候选向量的偏差；Uai，Uaf，Uao，Uag代表输入连接权重矩阵，Vhi，Vhf，Vho和Vhg则代表循环连接权重矩阵；t-1为t的上一时刻。如公式(2)所示：
2.2最后一个池化层生成的2048维向量经过构建的时间递归神经网络后，记忆单元将生成一个表征序列{m1，m2，...，mn}。接着将该序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：
步骤3：将平均池化特征向量F输入softmax层，进行分类操作，得到softmax分类器。
进一步地，在正式投入使用之前，可以利用测试集视频对softmax模型进行校验，使用softmax模型对测试集视频中的不安全行为进行识别。
步骤4：利用验证合格的softmax分类器对施工现场的监控视频进行在线识别，以及时发现施工现场的不安全施工行为。
通过实验验证上述softmax分类器的准确性及可靠性，结果显示区分不安全行为的平均准确率为97％，相比目前最先进的方法(例如：HOG、HOF、MBH)，高出约10％，证明本发明的混合深度学习模型(即softmax分类器)是经得起实践检验并值得信任的，进一步提高了所构建网络的适应性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于时间序列及CNN的不安全行为识别方法，其特征在于，包括如下步骤：
步骤1：将施工现场不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量；
步骤2：将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量；
步骤3：将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；
步骤4：利用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。
2.如权利要求1所述的一种基于时间序列及CNN的不安全行为识别方法，其特征在于，步骤1中，卷积神经网络的训练方法如下：
1.1、将原始视频数据输入卷积神经网络，在卷积神经网络中，后一层对前一层的输出进行卷积运算和激活操作，以提取前一层的行为空间特征，激活函数如公式(1)所示：
xl＝f(Wlxl-1+bl) (1)
其中，
xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；
Wl是l层的权值；
bl为l层的偏差；
f(·)为sigmoid激活函数。
1.2、通过池化层对步骤2.1提取出的前一层的行为空间特征进行池化操作；
1.3、对卷积神经网络逐层重复步骤1.1、1.2，直至通过全连接层，最终从最后一层池化层输出空间特征向量，得到训练集视频中的行为空间特征。
3.如权利要求2所述的一种基于时间序列及卷积神经网络的不安全行为识别方法，其特征在于，步骤2中时间递归神经网络的训练方法如下：
2.1、将步骤1.3中卷积神经网络输出的空间特征向量作为时间递归神经网络的输入值，对于当前时间t，通过公式(2)更新单元格状态：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>F</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>f</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>f</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>f</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>O</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>o</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>o</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>G</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>g</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>g</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>t</mi> </msub> <mo>=</mo> <msub> <mi>F</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>C</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>I</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>G</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>H</mi> <mi>t</mi> </msub> <mo>=</mo> <msub> <mi>O</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，
f(·)为sigmoid激活函数；
At代表图像的输入；
It、Ft、Ot分别表示单元格在t时刻的输入、遗忘和输出，
Gt表示生成的新的候选向量，
Ct表示单元格在t时刻的状态；
Ht为时间递归神经网络的隐藏层，表示当前t时刻整个图像的含义；
Bi、Bf、Bo和Bg均为偏移矢量，分别表示输入It、遗忘Ft、输出Ot和候选向量Gt的偏差；
Uai、Uaf、Uao和Uag分别代表It、Ft、Ot、Gt的输入连接权重矩阵，
Vhi、Vhf、Vho和Vhg分别代表It、Ft、Ot、Gt的循环连接权重矩阵；
t-1表示t时刻的上一时刻。
2.2、卷积神经网络输出的空间特征向量经过步骤2.1处理后，生成包含n个表征的表征序列{m1,m2,...,mn}，将该表征序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：
<mrow> <mi>F</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>m</mi> <mi>n</mi> </msub> </mrow> <mi>n</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
2.3、将平均池化特征向量F输入softmax层，得到softmax分类器。
4.一种基于时间序列及CNN的不安全行为识别系统，其特征在于，包括：空间特征向量提取模块、平均池化特征向量提取模块、深度混合学习模块和在线识别模块；其中，
空间特征向量提取模块用于将施工现场不安全行为的训练集视频的原始数据输入卷积神经网络进行训练和学习，从卷积神经网络的最后一层池化层输出空间特征向量，并输出至平均池化特征向量提取模块；
平均池化特征向量提取模块用于将空间特征向量作为时间递归神经网络的输入，使用时间递归神经网络学习其中包含的时间序列依赖关系进而学习空间行为的时间序列表示，得到平均池化特征向量，并输出至深度混合学习模块；
深度混合学习模块用于将平均池化特征向量输入softmax层，得到卷积神经网络和时间递归神经网络的深度混合学习模型，即softmax分类器；
在线识别模块用于调用softmax分类器对施工现场的监控视频进行在线识别，识别出施工现场的不安全行为。
5.如权利要求4所述的一种基于时间序列及CNN的不安全行为识别系统，其特征在于，空间特征向量提取模块包括如下子模块：
卷积激活模块：用于将原始视频数据输入卷积神经网络，在卷积神经网络中，后一层对前一层的输出进行卷积运算和激活操作，以提取前一层的行为空间特征，激活函数如公式(1)所示：
xl＝f(Wlxl-1+bl) (1)
其中，
xl-1是l-1层的输出，也就是l层的输入，xl是l层的输出；
Wl是l层的权值；
bl为l层的偏差；
f(·)为sigmoid激活函数。
池化模块：用于通过池化层对卷积激活模块提取出的上一层的行为空间特征进行池化操作；
空间特征向量输出模块：用于对卷积神经网络逐层重复调用卷积激活模块和池化模块，直至通过全连接层，最终从最后一层池化层输出空间特征向量，得到训练集视频中的行为空间特征。
6.如权利要求5所述的一种基于时间序列及CNN的不安全行为识别系统，其特征在于，平均池化特征向量提取模块包括如下子模块：
单元格更新模块：用于将空间特征向量输出模块输出的空间特征向量作为时间递归神经网络的输入值，对于当前时间t，通过公式(2)更新单元格状态：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>F</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>f</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>f</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>f</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>O</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>o</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>o</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>G</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>a</mi> <mi>g</mi> </mrow> </msub> <msub> <mi>A</mi> <mi>t</mi> </msub> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>h</mi> <mi>g</mi> </mrow> </msub> <msub> <mi>H</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>t</mi> </msub> <mo>=</mo> <msub> <mi>F</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>C</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>I</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>G</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>H</mi> <mi>t</mi> </msub> <mo>=</mo> <msub> <mi>O</mi> <mi>t</mi> </msub> <mo>&amp;CircleTimes;</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，
f(·)为sigmoid激活函数；
At代表图像的输入；
It、Ft、Ot分别表示单元格在t时刻的输入、遗忘和输出，
Gt表示生成的新的候选向量，
Ct表示单元格在t时刻的状态；
Ht为时间递归神经网络的隐藏层，表示当前t时刻整个图像的含义；
Bi、Bf、Bo和Bg均为偏移矢量，分别表示输入It、遗忘Ft、输出Ot和候选向量Gt的偏差；
Uai、Uaf、Uao和Uag分别代表It、Ft、Ot、Gt的输入连接权重矩阵，
Vhi、Vhf、Vho和Vhg分别代表It、Ft、Ot、Gt的循环连接权重矩阵；
t-1表示t时刻的上一时刻。
平均池化模块：用于在卷积神经网络输出的空间特征向量经过单元格更新模块处理后，生成包含n个表征的表征序列{m1,m2,...,mn}，将该表征序列在所有时间步长上平均，得到平均池化特征向量F，如公式(3)所示：
<mrow> <mi>F</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>m</mi> <mi>n</mi> </msub> </mrow> <mi>n</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
分类器构建模块：用于将平均池化模块得到的平均池化特征向量F输入softmax层，得到softmax分类器。
CN201711045704.0A 2017-10-31 2017-10-31 一种基于时间序列及cnn的不安全行为识别方法及系统 Pending CN107862331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711045704.0A CN107862331A (zh) 2017-10-31 2017-10-31 一种基于时间序列及cnn的不安全行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711045704.0A CN107862331A (zh) 2017-10-31 2017-10-31 一种基于时间序列及cnn的不安全行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN107862331A true CN107862331A (zh) 2018-03-30

Family

ID=61697097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711045704.0A Pending CN107862331A (zh) 2017-10-31 2017-10-31 一种基于时间序列及cnn的不安全行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN107862331A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664922A (zh) * 2018-05-10 2018-10-16 东华大学 一种基于人身安全的红外视频人体行为识别方法
CN108694382A (zh) * 2018-05-14 2018-10-23 电子科技大学 一种基于超宽带雷达传感器的土壤pH分类方法
CN108805078A (zh) * 2018-06-11 2018-11-13 山东大学 基于行人平均状态的视频行人再识别方法及系统
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法
CN109086873A (zh) * 2018-08-01 2018-12-25 北京旷视科技有限公司 递归神经网络的训练方法、识别方法、装置及处理设备
CN109146849A (zh) * 2018-07-26 2019-01-04 昆明理工大学 一种基于卷积神经网络和图像识别的路面裂缝检测方法
CN109145150A (zh) * 2018-06-15 2019-01-04 深圳市商汤科技有限公司 目标匹配方法及装置、电子设备和存储介质
CN109389244A (zh) * 2018-09-06 2019-02-26 浙江鸿程计算机系统有限公司 一种基于gru的多因素感知短期景区内游客人数预测方法
CN109582834A (zh) * 2018-11-09 2019-04-05 阿里巴巴集团控股有限公司 数据风险预测方法及装置
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN109977843A (zh) * 2019-03-21 2019-07-05 重庆工程职业技术学院 一种煤矿现场人员行为监测及违章智能识别系统
CN110390381A (zh) * 2018-04-23 2019-10-29 Aptiv技术有限公司 利用卷积神经网络来处理数据序列的装置和方法
CN110414367A (zh) * 2019-07-04 2019-11-05 华中科技大学 一种基于gan和ssn的时序行为检测方法
CN110543825A (zh) * 2019-08-01 2019-12-06 江苏濠汉信息技术有限公司 基于时空特征的危险施工行为识别方法及装置
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控系统方法
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110996066A (zh) * 2019-12-19 2020-04-10 浙江中控技术股份有限公司 事故回溯方法及装置
CN111339978A (zh) * 2020-03-02 2020-06-26 北京建筑大学 利用卷积神经网络模型识别交通指数时间序列模式的方法
CN111368980A (zh) * 2020-03-06 2020-07-03 京东数字科技控股有限公司 状态检测方法、装置、设备及存储介质
CN111488758A (zh) * 2019-01-25 2020-08-04 富士通株式会社 用于驾驶行为识别的深度学习模型、训练装置及方法
CN112215130A (zh) * 2020-10-10 2021-01-12 吉林大学 一种基于2.5d/3d混合卷积模型的人体行为识别方法
CN113112819A (zh) * 2021-03-26 2021-07-13 华南理工大学 一种基于改进lstm的图卷积交通速度预测方法
CN113705770A (zh) * 2021-07-12 2021-11-26 中国石油大学(华东) 一种神经网络系统、叠前弹性阻抗反演方法及存储介质
CN113815679A (zh) * 2021-08-27 2021-12-21 北京交通大学 一种高速列车自主驾驶控制的实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412501A (zh) * 2016-09-20 2017-02-15 华中科技大学 一种视频的施工安全行为智能监控系统及其监控方法
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412501A (zh) * 2016-09-20 2017-02-15 华中科技大学 一种视频的施工安全行为智能监控系统及其监控方法
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
秦阳 等: "3D CNNs与LSTMs在行为识别中的组合及其应用", 《测控技术》 *
董海鹰 等: "《智能控制理论及应用》", 30 September 2016 *
陈雯柏 等: "《人工神经网络原理与实践》", 31 January 2016 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390381A (zh) * 2018-04-23 2019-10-29 Aptiv技术有限公司 利用卷积神经网络来处理数据序列的装置和方法
US11804026B2 (en) 2018-04-23 2023-10-31 Aptiv Technologies Limited Device and a method for processing data sequences using a convolutional neural network
CN110390381B (zh) * 2018-04-23 2023-06-30 Aptiv技术有限公司 利用卷积神经网络来处理数据序列的装置和方法
CN108664922A (zh) * 2018-05-10 2018-10-16 东华大学 一种基于人身安全的红外视频人体行为识别方法
CN108694382A (zh) * 2018-05-14 2018-10-23 电子科技大学 一种基于超宽带雷达传感器的土壤pH分类方法
CN108805078A (zh) * 2018-06-11 2018-11-13 山东大学 基于行人平均状态的视频行人再识别方法及系统
US11222231B2 (en) 2018-06-15 2022-01-11 Shenzhen Sensetime Technology Co., Ltd. Target matching method and apparatus, electronic device, and storage medium
CN109145150B (zh) * 2018-06-15 2021-02-12 深圳市商汤科技有限公司 目标匹配方法及装置、电子设备和存储介质
CN109145150A (zh) * 2018-06-15 2019-01-04 深圳市商汤科技有限公司 目标匹配方法及装置、电子设备和存储介质
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法
CN108985376B (zh) * 2018-07-17 2022-02-01 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法
CN109146849A (zh) * 2018-07-26 2019-01-04 昆明理工大学 一种基于卷积神经网络和图像识别的路面裂缝检测方法
CN109086873A (zh) * 2018-08-01 2018-12-25 北京旷视科技有限公司 递归神经网络的训练方法、识别方法、装置及处理设备
CN109389244B (zh) * 2018-09-06 2020-08-18 浙江鸿程计算机系统有限公司 一种基于gru的多因素感知短期景区内游客人数预测方法
CN109389244A (zh) * 2018-09-06 2019-02-26 浙江鸿程计算机系统有限公司 一种基于gru的多因素感知短期景区内游客人数预测方法
CN109582834A (zh) * 2018-11-09 2019-04-05 阿里巴巴集团控股有限公司 数据风险预测方法及装置
CN109582834B (zh) * 2018-11-09 2023-06-02 创新先进技术有限公司 数据风险预测方法及装置
CN111488758A (zh) * 2019-01-25 2020-08-04 富士通株式会社 用于驾驶行为识别的深度学习模型、训练装置及方法
US11244180B2 (en) 2019-01-25 2022-02-08 Fujitsu Limited Deep learning model used for driving behavior recognition and training apparatus and method thereof
CN109977843B (zh) * 2019-03-21 2021-03-30 重庆工程职业技术学院 一种煤矿现场人员行为监测及违章智能识别系统
CN109977843A (zh) * 2019-03-21 2019-07-05 重庆工程职业技术学院 一种煤矿现场人员行为监测及违章智能识别系统
US11138416B2 (en) 2019-03-22 2021-10-05 Boe Technology Group Co., Ltd. Method and apparatus for recognizing an organism action, server, and storage medium
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN110414367B (zh) * 2019-07-04 2022-03-29 华中科技大学 一种基于gan和ssn的时序行为检测方法
CN110414367A (zh) * 2019-07-04 2019-11-05 华中科技大学 一种基于gan和ssn的时序行为检测方法
CN110543825A (zh) * 2019-08-01 2019-12-06 江苏濠汉信息技术有限公司 基于时空特征的危险施工行为识别方法及装置
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控系统方法
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110996066B (zh) * 2019-12-19 2021-12-24 浙江中控技术股份有限公司 事故回溯方法及装置
CN110996066A (zh) * 2019-12-19 2020-04-10 浙江中控技术股份有限公司 事故回溯方法及装置
CN111339978A (zh) * 2020-03-02 2020-06-26 北京建筑大学 利用卷积神经网络模型识别交通指数时间序列模式的方法
CN111368980A (zh) * 2020-03-06 2020-07-03 京东数字科技控股有限公司 状态检测方法、装置、设备及存储介质
CN111368980B (zh) * 2020-03-06 2023-11-07 京东科技控股股份有限公司 状态检测方法、装置、设备及存储介质
CN112215130A (zh) * 2020-10-10 2021-01-12 吉林大学 一种基于2.5d/3d混合卷积模型的人体行为识别方法
CN113112819B (zh) * 2021-03-26 2022-10-25 华南理工大学 一种基于改进lstm的图卷积交通速度预测方法
CN113112819A (zh) * 2021-03-26 2021-07-13 华南理工大学 一种基于改进lstm的图卷积交通速度预测方法
CN113705770A (zh) * 2021-07-12 2021-11-26 中国石油大学(华东) 一种神经网络系统、叠前弹性阻抗反演方法及存储介质
CN113705770B (zh) * 2021-07-12 2024-03-15 中国石油大学(华东) 一种神经网络系统、叠前弹性阻抗反演方法及存储介质
CN113815679B (zh) * 2021-08-27 2023-01-13 北京交通大学 一种高速列车自主驾驶控制的实现方法
CN113815679A (zh) * 2021-08-27 2021-12-21 北京交通大学 一种高速列车自主驾驶控制的实现方法

Similar Documents

Publication Publication Date Title
CN107862331A (zh) 一种基于时间序列及cnn的不安全行为识别方法及系统
CN106681917B (zh) 一种基于神经网络的前端自动化评估方法
CN108052881A (zh) 一种实时检测施工现场图像中多类实体对象的方法及设备
CN111259481B (zh) 一种整合空间信息的建筑室内光环境设计评价方法及装置
CN111240350A (zh) 一种无人机飞行员动态行为评估系统
CN109978870A (zh) 用于输出信息的方法和装置
CN114842208B (zh) 一种基于深度学习的电网危害鸟种目标检测方法
CN112685950B (zh) 一种海洋时序观测数据的异常检测方法、系统和设备
CN115951014A (zh) 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法
CN116341272A (zh) 一种用于配网工程数字化的施工安全风险管控系统
CN116911571A (zh) 一种矿山运行与维护监控系统
CN114154622A (zh) 交通运行体系流量数据采集缺失补全的算法模型
CN113901927A (zh) 一种基于流场压力时程的水下物体外形识别方法
CN104504265A (zh) 一种在役桥梁监测信息安全评估的方法
CN111553115B (zh) 基于数据驱动的台风作用下大跨度桥梁振动响应预测方法
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
CN110852415B (zh) 基于神经网络算法的植被指数预测方法、系统及设备
Pavlova A Comparison of the Accuracies of a Convolution Neural Network Built on Different Types of Convolution Layers
CN114036829B (zh) 地质剖面图生成方法、系统、设备及存储介质
CN116244596A (zh) 基于tcn和注意力机制的工业时序数据异常检测方法
CN116523187A (zh) 一种基于bim的工程进度监控方法及其系统
CN113052255B (zh) 一种电抗器智能检测和定位的方法
CN113988519A (zh) 一种馆藏文物保存环境风险表征方法
Ferrario et al. Application of metamodel-based techniques for the efficient seismic analysis of structural systems
CN112510699A (zh) 一种基于大数据的变电站二次设备状态分析方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330