CN111414876A - 一种基于时序引导空间注意力的暴力行为识别方法 - Google Patents

一种基于时序引导空间注意力的暴力行为识别方法 Download PDF

Info

Publication number
CN111414876A
CN111414876A CN202010224816.8A CN202010224816A CN111414876A CN 111414876 A CN111414876 A CN 111414876A CN 202010224816 A CN202010224816 A CN 202010224816A CN 111414876 A CN111414876 A CN 111414876A
Authority
CN
China
Prior art keywords
time sequence
stm
conv
time
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010224816.8A
Other languages
English (en)
Other versions
CN111414876B (zh
Inventor
李凡
张斯瑾
贺丽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Xian Jiaotong University
Original Assignee
GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY, Xian Jiaotong University filed Critical GUANGDONG XI'AN JIAOTONG UNIVERSITY ACADEMY
Priority to CN202010224816.8A priority Critical patent/CN111414876B/zh
Publication of CN111414876A publication Critical patent/CN111414876A/zh
Application granted granted Critical
Publication of CN111414876B publication Critical patent/CN111414876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时序引导空间注意力的暴力行为识别方法，该方法采用双流参数共享的深度卷积网络提取RGB图像和帧差图像特征，分别作为空间域和时间域信息的表征，并对双流特征进行融合，提高了特征对于暴力行为的表征能力；在时序引导空间注意力模块，采用ConvLSTM的隐含时序状态引导空间注意力权值的策略，相较于传统的自注意力，时序引导的空间注意力根据全局运动信息赋予空间权值，引导网络关注运动区域，忽略背景信息的干扰，同时增大运动区域特征的比例可以减少目标较小时的漏检。在公开数据集上的测试结果验证了本发明对于暴力行为识别性能提升的有效性。

Description

一种基于时序引导空间注意力的暴力行为识别方法
技术领域
本发明属于行为识别领域，具体涉及一种基于时序引导空间注意力的暴力行为识别方法。
背景技术
暴力行为影响社会秩序，危害公共安全，及时识别并预警暴力行为，遏制暴力事件的事态发展对于公共安全具有重大意义。传统人工监控的方式不仅耗费大量人力，而且极易出现因监视者注意力不集中造成的漏检现象。近年来，基于深度学习识别行为的方法得到了广泛的关注，也促使了暴力行为检测算法性能的提高。
基于深度学习的暴力行为识别方法可分为三大类，一类是采用RGB和光流的双流结构，需要事先提取并保存光流，而提取光流的过程会耗费大量的时间和空间资源，因此难以满足实时性要求。第二类方法采用3D卷积网络结构，虽然该类方法识别速度较快，但是因为3D卷积网络参数量通常较大，对于硬件要求较高，难以应用于实际。第三类方法采用卷积长短时记忆网络(ConvLSTM)结构，因为在时序上每帧共享ConvLSTM网络参数，具有参数量较小的优点，但是仍然存在易受背景干扰的问题，尤其是当运动目标较小时，漏检现象明显。
在人眼视觉机制中存在注意力机制，即当人眼观察一幅图像时，会通过扫描全局图像，获得需要重点关注的目标区域，并对这一区域投入更多注意力资源，以获取该区域更多的细节信息，抑制其他区域无用的信息。空间注意力机制受人眼视觉注意力的启发，通过为部分区域赋予更高的权值，帮助网络关注重要区域，忽略其他区域的干扰。注意力机制在图像描述，机器翻译及图像识别等领域证明了其对减少背景干扰具有很好的效果。
发明内容
针对目前基于深度学习的暴力行为识别方法存在的问题，本发明提供了一种基于时序引导空间注意力的暴力行为识别方法。
本发明采用如下技术方案来实现：
一种基于时序引导空间注意力的暴力行为识别方法，包括以下步骤：
1)采用双流特征提取及融合模块对输入的视频图像，使用双流网络模型分别提取RGB图像和帧差图像的深度特征，并对双流特征进行融合，融合后的特征用于时序引导空间注意力模块；
2)时序引导空间注意力模块利用ConvLSTM输出的时序特征来引导空间注意力，为特征图分配不同的空间权重，使网络更加关注运动的区域。
本发明进一步的改进在于，步骤1)中，双流特征提取及融合模块选取经过ImageNet数据集预训练的VGG-16深度神经网络，去掉最后的三层全连接层，仅保留前面的卷积层部分作为特征提取器，提取RGB图像和帧差图像的特征，分别作为空间域和时间域的表征，然后将RGB和帧差双流的特征进行拼接融合，得到的融合特征输入时序引导空间注意力模块。
本发明进一步的改进在于，步骤2)中，时序引导空间注意力模块，提出使用ConvLSTM的隐含时序状态引导空间注意力权值的策略，采用了两层ConvLSTM网络层，将双流融合后的特征和第二层ConvLSTM上一时刻的隐含时序状态分别送入第一层ConvLSTM和空间注意力模块，之后将空间注意力模块输出的空间权值与第一层ConvLSTM的特征图进行点乘运算，为特征图不同空间位置赋予不同的权重，通过时序特征的引导使网络更加关注运动区域的特征，减少对运动目标的漏检。
本发明进一步的改进在于，第一层ConvLSTM和空间注意力模块分别采用式1-5和式6表示：
it＝σ(Whi*ht-1+Wxi*xt+bi) (1)
ft＝σ(Whf*ht-1+Wxf*xt+bf) (2)
ot＝σ(Who*ht-1+Wxo*xt+bo) (3)
ct＝ftΘct-1+itΘtanh(Whc*ht-1+Wxc*xt+bc) (4)
mt＝otΘtanh(ct) (5)
at＝σ(Wz*σ(Wha*ht-1+Wxa*xt+ba1)+bz) (6)
其中xt表示t时刻的双流融合特征，it表示输入门，ft表示遗忘门，ot表示输出门，ht,ht-1分别表示t时刻和t-1时刻的隐含状态，ct,ct-1分别表示t时刻和t-1时刻的细胞状态，mt表示t时刻ConvLSTM的输出，at表示t时刻空间注意力模块的输出，W*和b*分别代表对应输入情况下卷积网络的权值和偏移量，Θ表示逐元素点乘；
之后将第一层ConvLSTM和空间注意力模块的输出进行点乘加权操作，对于第一层ConvLSTM的输出赋予不同的权值，如下式所示，将t时刻隐含状态ht赋值为空间注意力权值at与ConvLSTM输出mt的乘积：
ht＝atΘmt (7)
经过加权之后的特征送入第二层ConvLSTM中进行再次的时序整合，将整合后的时序隐含状态送入三层全连接层，利用Softmax得到最终是否为暴力行为的分类结构和分类分数。
本发明至少具有以下有益的技术效果：
本发明提供的一种基于时序引导空间注意力的暴力行为识别方法。该方法基于暴力行为在空间和时间域的特点，提出RGB和帧差特征融合的双流结构，减少背景干扰的影响，同时设计由时序特征引导的空间注意力机制，通过为运动区域赋予更高的权值，减少运动目标较小时的漏检现象。
所述方法的双流特征提取结构中，每条支路的特征提取网络是基于VGG-16网络，VGG-16网络是在大规模图像分类数据集ImageNet上预训练好的，在提取RGB和帧差图像特征时，删除了最后的全连接层，仅保留了网络前面的五组卷积层。一方面通过删除参数量较大的全连接层，另一方面RGB和帧差图像共享特征提取网络的参数，减少了网络结构的参数量。
进一步，所述方法中的双流特征融合模块，采用拼接融合方式融合RGB图像特征和帧差图像特征。暴力行为在视频序列中一方面体现在空间域的挥拳打斗动作，另一方面体现在时间域的剧烈变化。RGB图像特征反映视频序列的静态信息，是行为在空间域的表征；帧差图像特征反映相邻视频帧之间的差异和运动变化，是行为在时间域的表征。双流网络将RGB图像的空间域信息和帧差图像的时间域信息融合，提高了网络特征的表征能力，从而可以减少误检情况的发生。
进一步，所述方法中的时序引导空间注意力模块，采用两层ConvLSTM结构，由上一时刻第二层的隐含状态作为时序特征，引导空间注意力模块对第一层的输出特征加权。相较于传统的空间自注意力，时序引导的空间注意力能够根据全局运动信息，自适应地为不同区域赋予不同权值，引导网络更加关注运动目标区域，忽略背景信息的干扰，从而减少运动区域较小时的漏检。
进一步，为了验证所述方法的有效性，在公开的暴力行为识别数据集HockyFights上进行了训练验证。通过实验证明所述方法中的双流特征提取及融合模块和时序引导的空间注意力模块均对暴力行为识别的准确性有一定的提升效果。
综上所述，本发明提供一种基于时序引导空间注意力的暴力行为识别方法。本发明基于暴力行为的特点，针对背景干扰和小目标漏检问题，使用双流特征提取和融合模块，提取并融合了RGB和帧差图像特征，结合空间域和时间域的信息，提高了特征对于运动信息的表征能力；同时使用时序特征引导的空间注意力模块，由上一时刻的时序特征引导网络为运动区域赋予更大的权值，减少背景区域的干扰，减少运动目标较小情况下的漏检。从整体上来看，本发明提高了暴力行为识别的准确率，同时通过共享参数减少网络的参数量，提高识别速率，具有良好的应用价值。
附图说明
图1为本发明中一种基于时序引导空间注意力的暴力行为识别方法流程图。
图2为本发明中双流特征提取及融合模块的流程图。
图3为本发明中时序引导空间注意力模块的流程图。
具体实施方式
下面结合附图对本发明进行详细阐述：
如图1所示，本发明提供的一种基于时序引导空间注意力的暴力行为识别方法，以下步骤：
1)双流特征提取及融合对于输入的连续视频序列，使用深度卷积神经网络分别提取RGB图像和帧差图像的特征，并将双流特征进行融合，用于时序引导的空间注意力模块。
2)时序引导空间注意力模块使用ConvLSTM输出的时序特征引导空间注意力模块为特征的不同空间区域赋予不同权值，引导网络关注运动区域。最后根据加权后的特征输出识别的类别和分数。
具体来说，在步骤1)双流特征提取及融合模块中，如图2所示，对于所有的输入图像，均先缩放至224x 224x 3的大小，作为RGB流的输入，同时计算相邻帧之间的对应像素差作为帧差流的输入。RGB和帧差图像的深度特征提取器均选用在ImageNet数据集上预训练好的VGG-16网络，去除最后的全连接层仅保留5组卷积层，减少网络的参数量。然后将提出的RGB和帧差图像特征拼接融合，形成融合特征，输入时序引导空间注意力模块中。
在步骤2)时序引导空间注意力模块中，如图3所示，将双流融合后的特征与上一时刻第二层ConvLSTM的时序隐含状态一起送入第一层ConvLSTM(式1)和空间注意力模块(式2)中，
为了测试本发明对于暴力行为识别的有效性，在公开的HockyFights暴力行为数据集上进行了训练和测试，实验中按照6:4的比例划分训练集和测试集，表1中展示了不同网络结构下暴力行为识别的准确率对比。根据测试结果，本发明中提出的双流网络结构和时序引导的空间注意力结构准确率为最高，相较原单流结构准确率有所提升，验证了双流网络结构和时序引导的空间注意力的有效性。
表1算法在HockyFights数据集上的评估结果
Figure BDA0002427294110000061

Claims (4)

1.一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，包括以下步骤：
1)采用双流特征提取及融合模块对输入的视频图像，使用双流网络模型分别提取RGB图像和帧差图像的深度特征，并对双流特征进行融合，融合后的特征用于时序引导空间注意力模块；
2)时序引导空间注意力模块利用ConvLSTM输出的时序特征来引导空间注意力，为特征图分配不同的空间权重，使网络更加关注运动的区域。
2.根据权利要求1所述的一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，步骤1)中，双流特征提取及融合模块选取经过ImageNet数据集预训练的VGG-16深度神经网络，去掉最后的三层全连接层，仅保留前面的卷积层部分作为特征提取器，提取RGB图像和帧差图像的特征，分别作为空间域和时间域的表征，然后将RGB和帧差双流的特征进行拼接融合，得到的融合特征输入时序引导空间注意力模块。
3.根据权利要求2所述的一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，步骤2)中，时序引导空间注意力模块，提出使用ConvLSTM的隐含时序状态引导空间注意力权值的策略，采用了两层ConvLSTM网络层，将双流融合后的特征和第二层ConvLSTM上一时刻的隐含时序状态分别送入第一层ConvLSTM和空间注意力模块，之后将空间注意力模块输出的空间权值与第一层ConvLSTM的特征图进行点乘运算，为特征图不同空间位置赋予不同的权重，通过时序特征的引导使网络更加关注运动区域的特征，减少对运动目标的漏检。
4.根据权利要求3所述的一种基于时序引导空间注意力的暴力行为识别方法，其特征在于，第一层ConvLSTM和空间注意力模块分别采用式1-5和式6表示：
it＝σ(Whi*ht-1+Wxi*xt+bi) (1)
ft＝σ(Whf*ht-1+Wxf*xt+bf) (2)
ot＝σ(Who*ht-1+Wxo*xt+bo) (3)
ct＝ftΘCt-1+itΘtanh(Whc*ht-1+Wxc*xt+bc) (4)
mt＝otΘtanh(ct) (5)
at＝σ(Wz*σ(Wha*ht-1+Wxa*xt+ba1)+bz) (6)
其中xt表示t时刻的双流融合特征，it表示输入门，ft表示遗忘门，ot表示输出门，ht，ht-1分别表示t时刻和t-1时刻的隐含状态，ct，ct-1分别表示t时刻和t-1时刻的细胞状态，mt表示t时刻ConvLSTM的输出，at表示t时刻空间注意力模块的输出，W*和b*分别代表对应输入情况下卷积网络的权值和偏移量，Θ表示逐元素点乘；
之后将第一层ConvLSTM和空间注意力模块的输出进行点乘加权操作，对于第一层ConvLSTM的输出赋予不同的权值，如下式所示，将t时刻隐含状态ht赋值为空间注意力权值at与ConvLSTM输出mt的乘积：
ht＝atΘmt (7)
经过加权之后的特征送入第二层ConvLSTM中进行再次的时序整合，将整合后的时序隐含状态送入三层全连接层，利用Sofimax得到最终是否为暴力行为的分类结构和分类分数。
CN202010224816.8A 2020-03-26 2020-03-26 一种基于时序引导空间注意力的暴力行为识别方法 Active CN111414876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010224816.8A CN111414876B (zh) 2020-03-26 2020-03-26 一种基于时序引导空间注意力的暴力行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010224816.8A CN111414876B (zh) 2020-03-26 2020-03-26 一种基于时序引导空间注意力的暴力行为识别方法

Publications (2)

Publication Number Publication Date
CN111414876A true CN111414876A (zh) 2020-07-14
CN111414876B CN111414876B (zh) 2022-04-22

Family

ID=71493227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010224816.8A Active CN111414876B (zh) 2020-03-26 2020-03-26 一种基于时序引导空间注意力的暴力行为识别方法

Country Status (1)

Country Link
CN (1) CN111414876B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别系统及方法
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法
CN112861698A (zh) * 2021-02-03 2021-05-28 西安交通大学 一种基于多尺度时序感受野的压缩域行为识别方法
CN112926453A (zh) * 2021-02-26 2021-06-08 电子科技大学 基于运动特征增强和长时时序建模的考场作弊行为分析方法
CN113095306A (zh) * 2021-06-09 2021-07-09 神威超算(北京)科技有限公司 一种安防报警方法和芯片
CN113569675A (zh) * 2021-07-15 2021-10-29 郑州大学 一种基于ConvLSTM网络的小鼠旷场实验行为分析方法
CN113762007A (zh) * 2020-11-12 2021-12-07 四川大学 一种基于外观和动作特征双预测的异常行为检测方法
CN115311740A (zh) * 2022-07-26 2022-11-08 国网江苏省电力有限公司苏州供电分公司 一种电网基建现场人体异常行为识别方法及系统
CN117079352A (zh) * 2023-10-17 2023-11-17 山东大学 一种基于视频序列的人体动作识别方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN109409307A (zh) * 2018-11-02 2019-03-01 深圳龙岗智能视听研究院 一种基于时空上下文分析的在线视频行为检测系统及其方法
CN109740419A (zh) * 2018-11-22 2019-05-10 东南大学 一种基于Attention-LSTM网络的视频行为识别方法
CN110110624A (zh) * 2019-04-24 2019-08-09 江南大学 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN110163041A (zh) * 2018-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频行人再识别方法、装置及存储介质
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110533053A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置及电子设备
CN110738070A (zh) * 2018-07-02 2020-01-31 中国科学院深圳先进技术研究院 基于视频的行为识别方法、行为识别装置及终端设备
CN110826447A (zh) * 2019-10-29 2020-02-21 北京工商大学 一种基于注意力机制的餐厅后厨人员行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN110163041A (zh) * 2018-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频行人再识别方法、装置及存储介质
CN110533053A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置及电子设备
CN110738070A (zh) * 2018-07-02 2020-01-31 中国科学院深圳先进技术研究院 基于视频的行为识别方法、行为识别装置及终端设备
CN109409307A (zh) * 2018-11-02 2019-03-01 深圳龙岗智能视听研究院 一种基于时空上下文分析的在线视频行为检测系统及其方法
CN109740419A (zh) * 2018-11-22 2019-05-10 东南大学 一种基于Attention-LSTM网络的视频行为识别方法
CN110110624A (zh) * 2019-04-24 2019-08-09 江南大学 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110826447A (zh) * 2019-10-29 2020-02-21 北京工商大学 一种基于注意力机制的餐厅后厨人员行为识别方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
FEI XUE等: ""Attention-based spatial–temporal hierarchical ConvLSTM network for action recognition in videos"", 《THE INSTITUTION OF ENGINEERING AND TECHNOLOGY》 *
JINGJUN CHEN等: ""SPATIAL MASK CONVLSTM NETWORK AND INTRA-CLASS JOINT TRAINING METHOD FOR HUMAN ACTION RECOGNITION IN VIDEO"", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
MAHSHID MAJD等: ""A motion-aware ConvLSTM network for action recognition"", 《APPLIED INTELLIGENCE》 *
SWATHIKIRAN SUDHAKARAN等: ""Attention is All We Need: Nailing Down Object-centric Attention for Egocentric Activity Recognition"", 《HTTP://ARXIV.ORG/ABS/1807.11794V1》 *
SWATHIKIRAN SUDHAKARAN等: ""Learning to detect violent videos using convolutional long short-term memory"", 《2017 14TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE (AVSS)》 *
刘佳: ""基于深度循环卷积网络和时空信息融合的图像描述算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
夏清: ""视频监控中的人群异常行为检测研究"", 《中国优秀硕士学位论文全文数据库 社会科学Ⅰ辑》 *
徐洋洋: ""基于深度神经网络的人体行为识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
苏学威: ""基于深度学习的视频监控中人体异常行为研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邵晨智: ""基于音视频特征融合的暴力镜头识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈晓春等: ""基于运动区域差分与卷积神经网络的动作识别"", 《计算机工程》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别系统及方法
CN113762007A (zh) * 2020-11-12 2021-12-07 四川大学 一种基于外观和动作特征双预测的异常行为检测方法
CN113762007B (zh) * 2020-11-12 2023-08-01 四川大学 一种基于外观和动作特征双预测的异常行为检测方法
CN112861698A (zh) * 2021-02-03 2021-05-28 西安交通大学 一种基于多尺度时序感受野的压缩域行为识别方法
CN112861698B (zh) * 2021-02-03 2023-04-07 西安交通大学 一种基于多尺度时序感受野的压缩域行为识别方法
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法
CN112818901B (zh) * 2021-02-22 2023-04-07 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法
CN112926453A (zh) * 2021-02-26 2021-06-08 电子科技大学 基于运动特征增强和长时时序建模的考场作弊行为分析方法
CN113095306B (zh) * 2021-06-09 2021-09-24 神威超算(北京)科技有限公司 一种安防报警方法和芯片
CN113095306A (zh) * 2021-06-09 2021-07-09 神威超算(北京)科技有限公司 一种安防报警方法和芯片
CN113569675A (zh) * 2021-07-15 2021-10-29 郑州大学 一种基于ConvLSTM网络的小鼠旷场实验行为分析方法
CN113569675B (zh) * 2021-07-15 2023-05-23 郑州大学 一种基于ConvLSTM网络的小鼠旷场实验行为分析方法
CN115311740A (zh) * 2022-07-26 2022-11-08 国网江苏省电力有限公司苏州供电分公司 一种电网基建现场人体异常行为识别方法及系统
CN117079352A (zh) * 2023-10-17 2023-11-17 山东大学 一种基于视频序列的人体动作识别方法、系统及存储介质

Also Published As

Publication number Publication date
CN111414876B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN111414876B (zh) 一种基于时序引导空间注意力的暴力行为识别方法
CN108182409A (zh) 活体检测方法、装置、设备及存储介质
CN112989977B (zh) 一种基于跨模态注意力机制的视听事件定位方法及装置
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN112434608B (zh) 一种基于双流结合网络的人体行为识别方法及系统
CN111401268B (zh) 一种面向开放环境的多模态情感识别方法及装置
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN110866454B (zh) 人脸活体检测方法及系统、计算机可读取的存储介质
CN113378641B (zh) 基于深度神经网络和注意力机制的手势识别方法
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN112613579A (zh) 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法
CN105930808A (zh) 一种基于vector boosting模板更新的运动目标跟踪方法
Geng et al. Learning deep spatiotemporal feature for engagement recognition of online courses
Tang et al. Smoking behavior detection based on improved YOLOv5s algorithm
US20230017578A1 (en) Image processing and model training methods, electronic device, and storage medium
CN113537027A (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN115731596A (zh) 基于渐进式标签分布和深度网络的自发表情识别方法
CN110796090A (zh) 基于循环神经网络的人机协作人体行为意图判别方法
Wang et al. Yolov5 enhanced learning behavior recognition and analysis in smart classroom with multiple students
CN110647905A (zh) 一种基于伪脑网络模型下的涉恐场景识别方法
Zhang et al. An improved YOLOv5s algorithm for emotion detection
CN114663910A (zh) 基于多模态学习状态分析系统
CN114463844A (zh) 一种基于自注意力双流网络的跌倒检测方法
CN109711300A (zh) 盲人辅助沟通方法、装置、计算机设备和存储介质
CN116682168B (zh) 一种多模态表情识别方法、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant