CN109635790A - 一种基于3d卷积的行人异常行为识别方法 - Google Patents
一种基于3d卷积的行人异常行为识别方法 Download PDFInfo
- Publication number
- CN109635790A CN109635790A CN201910079769.XA CN201910079769A CN109635790A CN 109635790 A CN109635790 A CN 109635790A CN 201910079769 A CN201910079769 A CN 201910079769A CN 109635790 A CN109635790 A CN 109635790A
- Authority
- CN
- China
- Prior art keywords
- convolution
- abnormal behaviour
- video
- pedestrian
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000005856 abnormality Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 9
- NVNSXBXKNMWKEJ-UHFFFAOYSA-N 5-[[5-(2-nitrophenyl)furan-2-yl]methylidene]-1,3-diphenyl-2-sulfanylidene-1,3-diazinane-4,6-dione Chemical compound [O-][N+](=O)C1=CC=CC=C1C(O1)=CC=C1C=C1C(=O)N(C=2C=CC=CC=2)C(=S)N(C=2C=CC=CC=2)C1=O NVNSXBXKNMWKEJ-UHFFFAOYSA-N 0.000 claims description 3
- 108010074506 Transfer Factor Proteins 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000001351 cycling effect Effects 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于3D卷积的行人异常行为识别方法，包括步骤：S1：创建一个包含打架斗殴、遛狗、摔倒等异常行为的数据集；S2：结合最新的视频行为识别方案，构建一个兼顾精度与速率的3D卷积神经网络；S3：对数据集中图像进行预处理后送入3D卷积神经网络，得到视频异常行为识别模型；S4：输入测试行人监控视频，输出异常行为类型。本发明所述识别方法将轻量级的2D卷积网络MobileNet思想迁移到3D网络中，可以在保持识别性能的基础上降低计算成本；同时，采用自适应池化层与稀疏时间采样策略，可以减少连续帧中包含大量冗余的信息与模糊噪声。
Description
技术领域
本发明属于视频处理技术领域，主要涉及行人异常行为识别，具体来说，即基于3D卷积的行人异常行为识别方法。
背景技术
行为识别在现实生活中有着广泛应用，引起了广大研究团队的兴趣。随着深度学习技术在图像领域的快速发展，研究者开始相信深度学习方法也可以用于视频分析和理解等任务。相比于传统的基于人工特征方法，采用深度学习方法的模型能够自动地获取有意义的分层特征表示。然而，从互联网或者电影中获取的视频片段比之前的标准数据中库中的视频样本更加复杂，这些视频片段包含了大量的运动成分。这些因素使得学习一个有意义的视觉表示更加困难，如何从视频中提取有效的特征仍然是众多研究人员的核心工作。
在深度神经网络体系结构中使用3D卷积是一种流行且有效的学习视频特征方法。3D卷积是2D卷积的扩展，具有三维内核，可以沿时间维度卷积。通过简单地替换2D空间卷积核，3D卷积核可用于构建3D CNN，使得模型可以实现端到端的训练。最先进的3D CNN模型，如Res 3D和I3D以这种直截了当的方式构建了CNN模型，并使用多层3D卷积来学习强大的视频特征，在多个数据集上实现了最高精度，但是计算代价非常高昂。
发明内容
尽管最近的算法着重于提高3D CNN的效率，同时保持其在视频识别任务上的最先进的准确性。例如，3D MF-Net每个残差块内部引入稀疏连接，在精度与速率上取得了一定的成效，但其中的3D卷积依旧有很大的计算量，本发明使用MobileNet中的可深度分离卷积思想、宽度乘数以及分辨率乘数进一步减少网络模型的计算量，此外采用自适应池化层与稀疏时间采样策略，重点关注信息量较高的关键帧，丢弃大部分非信息帧，以减少连续帧中包含大量冗余的信息与模糊噪声。
本发明采取如下技术方案：
一种基于3D卷积的行人异常行为识别方法，包括步骤：
S1：创建一个包含异常行为的数据集；
S2：结合视频行为识别方案，构建一个兼顾精度与速率的3D卷积神经网络；
S3：对数据集中图像进行预处理后送入3D卷积神经网络，得到视频异常行为识别模型；
S4：输入测试监控视频，输出异常行为类型。
所述的，所述步骤S3具体实施步骤如下：
S3.1：对训练视频大小调整分辨率，使用稀疏采样方案在长视频序列上提取短片段，然后在各片段的时间维度上进行均匀采样，最终将各片段中的采样帧拼接为一组连续帧；
S3.2：将输入图像送入3D卷积神经网络，通过一系列三维卷积操作，非线性激活函数，三维池化操作层层堆叠，逐层从原始数据获取高层语义信息，输出学习的特征向量；
S3.3：计算输出层实际值和输出值间的偏差，根据反向传播算法中的链式法则，得到每个隐藏层的误差，根据每层的误差调整各层的参数，完成网络的反向传播过程；
S3.4：不断迭代前两步中的正向传播和反向传播过程，直至网络收敛。
优选地，所述数据集主要筛选收集自KTH、CASIA、Kinetics、UCF-101等数据集以及网络视频数据，包含骑自行车、打架斗殴、遛狗、摔倒等异常行为与正常行走行为，每类分为训练集、验证集和测试集。
优选地，所述网络结构，将3D多纤维单元加入ResNet-18网络中，并将平均池化层替换为自适应池化层，用于聚合对最终任务具有辨别力的帧的信息。
优选地，所述3D卷积层，采用深度可分离卷积思想，通过在空间域(相当于2D CNN)加上3×1×1的卷积核上模拟3×3×3卷积，以达到进一步减小计算量的目的。
以下是本发明一种优选方案：
一种基于3D卷积的行人异常行为识别方法，按如下步骤进行：
1.将训练视频大小调整为224×224分辨率，使用稀疏采样方案在长视频序列上提取短片段：给定视频V，我们将其分成相等持续时间的K个段{S1，S2，...，SK}。然后，在各片段的时间维度上进行均匀采样，得到采样帧T1，T2，…，TK，拼接为一个张量{T1，T2，...，TK}作为模型的输入；
2.建立基于3D卷积的行人异常行为识别的网络结构，将将分解为空间域卷积串联时间域卷积的3D多纤维单元加入ResNet-18网络中，并将平均池化层替换为自适应池化层，稍微调整通道的数量，用于降低处理视频的GPU内存成本；
3.将输入图像送入3D卷积神经网络进行训练，训练过程中，初始学习率为0.1，衰减因子为0.1；使用动量随机梯度下降作为优化器学习网络参数，动量设置为0.9，权重衰减设置为0.0001；batch size设置为32；
4.使用交叉熵损失函数开算计算输出层实际值yi∈{1,2，…，C}和输出值hj,j∈{1,2,…，C}间的偏差，具体形式如下：
根据反向传播算法中的链式法则，得到每个隐藏层的误差，根据每层的误差调整各层的参数，完成网络的反向传播过程，不断迭代正向传播和反向传播过程，epoch设置为100。
5.测试并验证利用上述步骤可训练得到异常检测模型，输入测试监控视频，输出异常行为类型，并进行精度与速度测试。
本发明与现有技术相比有如下优点：
1.本发明将轻量级的2D卷积网络MobileNet思想迁移到3D网络中，可以在保持识别性能的基础上降低计算成本。
2.本发明采用自适应池化层与稀疏时间采样策略，可以减少连续帧中包含大量冗余的信息与模糊噪声。
附图说明
下面结合附图对本发明作进一步描述。
图1是视频异常行为识别框架图；
图2是设计的模型架构图；
图3是自适应池化层的结构图。
具体实施方式
以下参考附图，对本发明的进一步详细阐述。
本发明中的视频异常行为识别整体框架如图1所示，可以看到行为识别主要可以分为三个部分：数据采集、数据预处理以及分类器的训练和使用。首先是数据采集步骤，本发明创建了一个较小的异常行为数据集，主要筛选收集自KTH、CASIA、Kinetics、UCF-101等数据集以及网络视频数据，包含骑自行车、滑滑板/平衡车、打架斗殴、遛狗、摔倒5类异常行为与正常行走1类正常行为的6类数据集，与Kinetics数据集类似，每类分为训练集、验证集和测试集，分别包含大约400、30、70个视频片段，每个视频片段持续时间为10s左右。然后对数据集中的视频进行提取帧、重设尺寸等预处理操作。
接下来是行为特征提取阶段，本发明基于ResNet网络的设计思想，用3D多纤维单元替换原结构中的残差单元，构建了一个包含18层卷积层的网络，具体架构如图2所示，在图2中，输入为数据集数据，经过一系列卷积与池化操作最终由全连接层输出预测结果。
此外，本发明将其中的平均池化层替换为自适应池化层，该模块通过仅聚合对最终任务具有辨别力的帧的信息来选择性地聚合帧特征，而忽略其余的冗余帧。如图3所示，自适应池化模块通过递归计算两个操作来实现池化。第一个操作表示为fimp，使用三层多层感知器预测判别重要性，输出每帧的判别重要性分数；第二个操作是加权平均合并操作，通过利用当前帧的特征及其判别重要性分数来聚合先前合并的特征，并输出计算的新特征。由于后续操作仅依赖于标准的线性和非线性操作，因此它既计算快速，又可以轻松地整合到CNN网络的端到端学习中。
最近，S3D和R(2+1)D采用深度可分离卷积思想，通过在空间域(相当于2D CNN)加上3×1×1的卷积核上模拟3×3×3卷积，不仅提高了模型的训练速度，同时实现了更好的精度，本发明将部分或全部多纤维模块中的3×3×3卷积核加以分解，以达到进一步减小计算量的目的。
本发明结合最新的视频行为识别方案，使用MobileNet中的可深度分离卷积思想、宽度乘数以及分辨率因子进一步减少网络模型的计算量，并采用自适应池化层与稀疏时间采样策略，重点关注信息量较高的关键帧，最终提出一个兼顾精度与速率的行人异常行为识别模型。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于3D卷积的行人异常行为识别方法，其特征在于，包括步骤：
S1：创建包含异常行为的数据集；
S2：结合视频行为识别方案，构建3D卷积神经网络；
S3：对所述数据集中的图像进行预处理，送入所述3D卷积神经网络，得到视频异常行为识别模型；
S4：输入测试监控视频，输出异常行为类型。
2.如权利要求1所述的一种基于3D卷积的行人异常行为识别方法，其特征在于，所述步骤S3具体实施步骤如下：
S3.1：对训练视频大小调整分辨率，使用稀疏采样方案在长视频序列上提取短片段，在各短片段的时间维度上进行均匀采样，最终将各短片段中的采样帧拼接为一组连续帧；
S3.2：将输入图像送入3D卷积神经网络，通过三维卷积操作，非线性激活函数，三维池化操作层层堆叠，逐层从原始数据获取高层语义信息，输出学习的特征向量；
S3.3：计算输出层实际值和输出值间的偏差，根据反向传播算法中的链式法则，得到每个隐藏层的误差，根据每层的误差调整各层的参数，完成网络的反向传播过程；
S3.4：迭代S3.1和S3.2中的正向传播和反向传播过程，直至网络收敛。
3.如权利要求1所述的一种基于3D卷积的行人异常行为识别方法，其特征在于：
所述异常行为数据集筛选收集于KTH、CASIA、Kinetics、UCF-101数据集以及网络视频数据，包括正常行走行为和异常行为，所述异常行为包含骑自行车/滑滑板/平衡车、打架斗殴、遛狗和摔倒，每类行为分为训练集、验证集和测试集。
4.如权利要求1所述的一种基于3D卷积的行人异常行为识别方法，其特征在于：
所述3D卷积神经网络，将3D多纤维单元加入ResNet-18网络中，并将平均池化层替换为自适应池化层，用于聚合对最终任务具有辨别力的帧的信息。
5.如权利要求4所述的一种基于3D卷积的行人异常行为识别方法，其特征在于：
所述3D卷积层，采用深度可分离卷积思想，在空间域加上3×1×1的卷积核上模拟3×3×3卷积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079769.XA CN109635790A (zh) | 2019-01-28 | 2019-01-28 | 一种基于3d卷积的行人异常行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079769.XA CN109635790A (zh) | 2019-01-28 | 2019-01-28 | 一种基于3d卷积的行人异常行为识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635790A true CN109635790A (zh) | 2019-04-16 |
Family
ID=66062271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910079769.XA Pending CN109635790A (zh) | 2019-01-28 | 2019-01-28 | 一种基于3d卷积的行人异常行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635790A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084202A (zh) * | 2019-04-29 | 2019-08-02 | 东南大学 | 一种基于高效三维卷积的视频行为识别方法 |
| CN110263728A (zh) * | 2019-06-24 | 2019-09-20 | 南京邮电大学 | 基于改进的伪三维残差神经网络的异常行为检测方法 |
| CN110263638A (zh) * | 2019-05-16 | 2019-09-20 | 山东大学 | 一种基于显著信息的视频分类方法 |
| CN110472604A (zh) * | 2019-08-20 | 2019-11-19 | 中国计量大学 | 一种基于视频的行人与人群行为识别方法 |
| CN110705367A (zh) * | 2019-09-05 | 2020-01-17 | 西安理工大学 | 一种基于三维卷积神经网络的人体平衡能力分类方法 |
| CN110717447A (zh) * | 2019-09-30 | 2020-01-21 | 上海数禾信息科技有限公司 | 图像识别方法以及装置、设备、存储介质 |
| CN110826522A (zh) * | 2019-11-15 | 2020-02-21 | 广州大学 | 人体异常行为监控方法、系统、存储介质及监控设备 |
| CN111027440A (zh) * | 2019-12-03 | 2020-04-17 | 北京师范大学珠海分校 | 一种基于神经网络的人群异常行为检测装置和检测方法 |
| CN111062315A (zh) * | 2019-12-14 | 2020-04-24 | 大连大学 | 2d和3d混合行为识别方法 |
| CN111210592A (zh) * | 2020-01-07 | 2020-05-29 | 珠海爬山虎科技有限公司 | 视频识别监护方法、计算机装置以及计算机可读存储介质 |
| CN111563488A (zh) * | 2020-07-14 | 2020-08-21 | 成都市映潮科技股份有限公司 | 一种视频主题内容识别方法、系统及存储介质 |
| CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
| CN111859023A (zh) * | 2020-06-11 | 2020-10-30 | 中国科学院深圳先进技术研究院 | 视频分类方法、装置、设备及计算机可读存储介质 |
| CN111985618A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
| CN112287791A (zh) * | 2020-10-21 | 2021-01-29 | 济南浪潮高新科技投资发展有限公司 | 基于设备端的智能暴恐行为检测方法 |
| CN112396637A (zh) * | 2021-01-19 | 2021-02-23 | 南京野果信息技术有限公司 | 一种基于3d神经网络的动态行为识别方法及系统 |
| CN112396012A (zh) * | 2020-11-25 | 2021-02-23 | 江苏新安电器股份有限公司 | 一种基于MobileNetV3网络模型的红外人体行为识别方法 |
| CN112528733A (zh) * | 2020-10-29 | 2021-03-19 | 西安工程大学 | 一种网络的异常行为识别方法 |
| CN112883929A (zh) * | 2021-03-26 | 2021-06-01 | 全球能源互联网研究院有限公司 | 在线视频异常行为检测模型训练、异常检测方法及系统 |
| CN112949359A (zh) * | 2019-12-10 | 2021-06-11 | 清华大学 | 基于卷积神经网络的异常行为识别方法和装置 |
| CN112966547A (zh) * | 2021-01-05 | 2021-06-15 | 北京市燃气集团有限责任公司 | 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 |
| CN113283400A (zh) * | 2021-07-19 | 2021-08-20 | 成都考拉悠然科技有限公司 | 一种基于选择性超图卷积网络的骨架动作识别方法 |
| WO2022007954A1 (en) * | 2020-07-10 | 2022-01-13 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for action recognition based on deep residual network, and related products |
| CN114037930A (zh) * | 2021-10-18 | 2022-02-11 | 苏州大学 | 基于时空增强网络的视频动作识别方法 |
| WO2022134983A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳市优必选科技股份有限公司 | 行为识别方法、装置、终端设备和可读存储介质 |
| CN115294644A (zh) * | 2022-06-24 | 2022-11-04 | 北京昭衍新药研究中心股份有限公司 | 一种基于3d卷积参数重构的快速猴子行为识别方法 |
| CN115937907A (zh) * | 2023-03-15 | 2023-04-07 | 深圳市亲邻科技有限公司 | 社区宠物识别方法、装置、介质及设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110182469A1 (en) * | 2010-01-28 | 2011-07-28 | Nec Laboratories America, Inc. | 3d convolutional neural networks for automatic human action recognition |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN105447190A (zh) * | 2015-12-18 | 2016-03-30 | 小米科技有限责任公司 | 基于卷积神经网络的图片检索方法、装置和服务器 |
| CN106384098A (zh) * | 2016-09-23 | 2017-02-08 | 北京小米移动软件有限公司 | 基于图像的头部姿态检测方法、装置以及终端 |
| CN106991428A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 基于自适应池化模型的害虫图像识别方法 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学（武汉） | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| CN108229527A (zh) * | 2017-06-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 训练及视频分析方法和装置、电子设备、存储介质、程序 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及系统 |
| CN108615011A (zh) * | 2018-04-24 | 2018-10-02 | 东南大学 | 基于多尺度滑动窗口的非修剪视频行为识别预测方法 |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| CN109064444A (zh) * | 2018-06-28 | 2018-12-21 | 东南大学 | 基于显著性分析的轨道板病害检测方法 |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
| CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
-
2019
- 2019-01-28 CN CN201910079769.XA patent/CN109635790A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110182469A1 (en) * | 2010-01-28 | 2011-07-28 | Nec Laboratories America, Inc. | 3d convolutional neural networks for automatic human action recognition |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN105447190A (zh) * | 2015-12-18 | 2016-03-30 | 小米科技有限责任公司 | 基于卷积神经网络的图片检索方法、装置和服务器 |
| CN106384098A (zh) * | 2016-09-23 | 2017-02-08 | 北京小米移动软件有限公司 | 基于图像的头部姿态检测方法、装置以及终端 |
| CN106991428A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 基于自适应池化模型的害虫图像识别方法 |
| CN107092960A (zh) * | 2017-04-17 | 2017-08-25 | 中国民航大学 | 一种改进的并行通道卷积神经网络训练方法 |
| CN108229527A (zh) * | 2017-06-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 训练及视频分析方法和装置、电子设备、存储介质、程序 |
| CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学（武汉） | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
| CN107633220A (zh) * | 2017-09-13 | 2018-01-26 | 吉林大学 | 一种基于卷积神经网络的车辆前方目标识别方法 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及系统 |
| CN108615011A (zh) * | 2018-04-24 | 2018-10-02 | 东南大学 | 基于多尺度滑动窗口的非修剪视频行为识别预测方法 |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| CN109064444A (zh) * | 2018-06-28 | 2018-12-21 | 东南大学 | 基于显著性分析的轨道板病害检测方法 |
| CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
| CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技（深圳）有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| FRANCOIS CHOLLET ETAL: "Xception:Deep Learning with Depthwise Separable Convolutions", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| FRANCOIS CHOLLET ETAL: "Xception:Deep Learning with Depthwise Separable Convolutions", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 1 July 2017 (2017-07-01), pages 1 - 10 * |
| YUNPENG CHEN ETAL: "multi-fiber networks for video recognition", 《COMPUTER SCIENCE - COMPUTER VISION AND PATTERN RECOGNITION》 * |
| YUNPENG CHEN ETAL: "multi-fiber networks for video recognition", 《COMPUTER SCIENCE - COMPUTER VISION AND PATTERN RECOGNITION》, 18 September 2018 (2018-09-18), pages 1 - 3 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084202A (zh) * | 2019-04-29 | 2019-08-02 | 东南大学 | 一种基于高效三维卷积的视频行为识别方法 |
| CN110263638A (zh) * | 2019-05-16 | 2019-09-20 | 山东大学 | 一种基于显著信息的视频分类方法 |
| CN110263638B (zh) * | 2019-05-16 | 2023-04-18 | 山东大学 | 一种基于显著信息的视频分类方法 |
| CN110263728A (zh) * | 2019-06-24 | 2019-09-20 | 南京邮电大学 | 基于改进的伪三维残差神经网络的异常行为检测方法 |
| CN110263728B (zh) * | 2019-06-24 | 2022-08-19 | 南京邮电大学 | 基于改进的伪三维残差神经网络的异常行为检测方法 |
| CN110472604A (zh) * | 2019-08-20 | 2019-11-19 | 中国计量大学 | 一种基于视频的行人与人群行为识别方法 |
| CN110705367A (zh) * | 2019-09-05 | 2020-01-17 | 西安理工大学 | 一种基于三维卷积神经网络的人体平衡能力分类方法 |
| CN110717447A (zh) * | 2019-09-30 | 2020-01-21 | 上海数禾信息科技有限公司 | 图像识别方法以及装置、设备、存储介质 |
| CN110826522A (zh) * | 2019-11-15 | 2020-02-21 | 广州大学 | 人体异常行为监控方法、系统、存储介质及监控设备 |
| CN111027440A (zh) * | 2019-12-03 | 2020-04-17 | 北京师范大学珠海分校 | 一种基于神经网络的人群异常行为检测装置和检测方法 |
| CN111027440B (zh) * | 2019-12-03 | 2023-05-30 | 北京师范大学珠海分校 | 一种基于神经网络的人群异常行为检测装置和检测方法 |
| CN112949359A (zh) * | 2019-12-10 | 2021-06-11 | 清华大学 | 基于卷积神经网络的异常行为识别方法和装置 |
| CN111062315A (zh) * | 2019-12-14 | 2020-04-24 | 大连大学 | 2d和3d混合行为识别方法 |
| CN111062315B (zh) * | 2019-12-14 | 2023-07-28 | 大连大学 | 2d和3d混合行为识别方法 |
| CN111210592A (zh) * | 2020-01-07 | 2020-05-29 | 珠海爬山虎科技有限公司 | 视频识别监护方法、计算机装置以及计算机可读存储介质 |
| CN111582095B (zh) * | 2020-04-27 | 2022-02-01 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
| CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
| CN111859023B (zh) * | 2020-06-11 | 2024-05-03 | 中国科学院深圳先进技术研究院 | 视频分类方法、装置、设备及计算机可读存储介质 |
| CN111859023A (zh) * | 2020-06-11 | 2020-10-30 | 中国科学院深圳先进技术研究院 | 视频分类方法、装置、设备及计算机可读存储介质 |
| WO2021248859A1 (zh) * | 2020-06-11 | 2021-12-16 | 中国科学院深圳先进技术研究院 | 视频分类方法、装置、设备及计算机可读存储介质 |
| WO2022007954A1 (en) * | 2020-07-10 | 2022-01-13 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for action recognition based on deep residual network, and related products |
| CN111563488A (zh) * | 2020-07-14 | 2020-08-21 | 成都市映潮科技股份有限公司 | 一种视频主题内容识别方法、系统及存储介质 |
| CN111985618B (zh) * | 2020-08-14 | 2024-03-05 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
| CN111985618A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
| CN112287791A (zh) * | 2020-10-21 | 2021-01-29 | 济南浪潮高新科技投资发展有限公司 | 基于设备端的智能暴恐行为检测方法 |
| CN112528733B (zh) * | 2020-10-29 | 2024-03-22 | 西安工程大学 | 一种基于改进inceptionv3网络的人体异常行为识别方法 |
| CN112528733A (zh) * | 2020-10-29 | 2021-03-19 | 西安工程大学 | 一种网络的异常行为识别方法 |
| CN112396012A (zh) * | 2020-11-25 | 2021-02-23 | 江苏新安电器股份有限公司 | 一种基于MobileNetV3网络模型的红外人体行为识别方法 |
| WO2022134983A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳市优必选科技股份有限公司 | 行为识别方法、装置、终端设备和可读存储介质 |
| CN112966547A (zh) * | 2021-01-05 | 2021-06-15 | 北京市燃气集团有限责任公司 | 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质 |
| CN112396637A (zh) * | 2021-01-19 | 2021-02-23 | 南京野果信息技术有限公司 | 一种基于3d神经网络的动态行为识别方法及系统 |
| CN112883929B (zh) * | 2021-03-26 | 2023-08-08 | 全球能源互联网研究院有限公司 | 在线视频异常行为检测模型训练、异常检测方法及系统 |
| CN112883929A (zh) * | 2021-03-26 | 2021-06-01 | 全球能源互联网研究院有限公司 | 在线视频异常行为检测模型训练、异常检测方法及系统 |
| CN113283400A (zh) * | 2021-07-19 | 2021-08-20 | 成都考拉悠然科技有限公司 | 一种基于选择性超图卷积网络的骨架动作识别方法 |
| CN114037930A (zh) * | 2021-10-18 | 2022-02-11 | 苏州大学 | 基于时空增强网络的视频动作识别方法 |
| CN115294644A (zh) * | 2022-06-24 | 2022-11-04 | 北京昭衍新药研究中心股份有限公司 | 一种基于3d卷积参数重构的快速猴子行为识别方法 |
| CN115937907A (zh) * | 2023-03-15 | 2023-04-07 | 深圳市亲邻科技有限公司 | 社区宠物识别方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635790A (zh) | 一种基于3d卷积的行人异常行为识别方法 | |
| CN107330362B (zh) | 一种基于时空注意力的视频分类方法 | |
| CN106355248A (zh) | 一种深度卷积神经网络训练方法及装置 | |
| CN110442684A (zh) | 一种基于文本内容的类案推荐方法 | |
| CN106778854A (zh) | 基于轨迹和卷积神经网络特征提取的行为识别方法 | |
| CN107506692A (zh) | 一种基于深度学习的密集人群计数与人员分布估计方法 | |
| CN109002845A (zh) | 基于深度卷积神经网络的细粒度图像分类方法 | |
| AU2018101313A4 (en) | Image recognition of dangerous tools based on deep learning | |
| CN108846350A (zh) | 容忍年龄变化的人脸识别方法 | |
| CN108905209A (zh) | 游戏中的外挂检测方法及系统、电子设备和存储介质 | |
| CN107679462A (zh) | 一种基于小波的深度多特征融合分类方法 | |
| CN104933428B (zh) | 一种基于张量描述的人脸识别方法及装置 | |
| CN109376720A (zh) | 基于关节点时空简单循环网络和注意力机制的动作分类方法 | |
| CN108629326A (zh) | 目标体的动作行为识别方法及装置 | |
| CN114398976B (zh) | 基于bert与门控类注意力增强网络的机器阅读理解方法 | |
| CN107622233A (zh) | 一种表格识别方法、识别系统及计算机装置 | |
| CN110766063A (zh) | 基于压缩激励和紧密连接卷积神经网络的图像分类方法 | |
| CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| CN107220616A (zh) | 一种基于自适应权重的双路协同学习的视频分类方法 | |
| CN110110686A (zh) | 基于多损失双流卷积神经网络的人体动作识别方法 | |
| CN107918761A (zh) | 一种基于多流形核鉴别分析的单样本人脸识别方法 | |
| CN115644823A (zh) | 康复效果动态预测及个体化干预方法和系统 | |
| CN114283469A (zh) | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 | |
| CN110210550A (zh) | 基于集成学习策略的图像细粒度识别方法 | |
| CN111047078A (zh) | 交通特征预测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |