CN109919031B - 一种基于深度神经网络的人体行为识别方法 - Google Patents
一种基于深度神经网络的人体行为识别方法 Download PDFInfo
- Publication number
- CN109919031B CN109919031B CN201910097412.4A CN201910097412A CN109919031B CN 109919031 B CN109919031 B CN 109919031B CN 201910097412 A CN201910097412 A CN 201910097412A CN 109919031 B CN109919031 B CN 109919031B
- Authority
- CN
- China
- Prior art keywords
- video
- neural network
- data set
- time sequence
- human behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 70
- 230000003287 optical effect Effects 0.000 claims abstract description 39
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Abstract
一种基于深度神经网络的人体行为识别方法，涉及人体行为识别领域。采集视频数据集，根据视频中的人体行为类别对视频进行切割，并赋予对应的类别标签；对视频数据进行抽帧和光流计算预处理，并对抽取的视频帧和光流图像赋予与其对应视频相同的类别标签；人体行为特征学习，使用深度卷积神经网络和双支流输入类残差长短期记忆单元循环神经网络LSTM模型学习视频长时序运动特征；根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别。
Description
技术领域
本发明涉及人体行为识别领域，尤其是涉及一种基于深度神经网络的人体行为识别方法。
背景技术
人体行为识别是指根据给定视频，利用机器学习和计算机视觉等技术自动分析视频中人的行为动作类别。近年来，随着人工智能技术的发展，行为识别在人工智能领域中的人机交互、基于内容的视频检索和城市天网工程等方面成为研究热点，具有重要的科学研究意义和广阔的市场应用前景。
基于视频的人体行为识别方法一般可以如下四个基本步骤：视频图像预处理、行为特征的学习和提取、分类器设计和行为样本的识别。当前，根据行为特征学习与提取的不同，将人体行为特征划分为人工设计特征和深度学习特征两大类。人工设计特征主要采用传统的机器学习方法提取视频中行为目标的局部或全局特征来描述视频，对应的识别方法称为基于人工设计特征的行为识别方法。深度学习特征则是通过深度卷积神经网络等深度学习模型模拟人类大脑的认知学习过程，以大规模训练样本为学习基础，自动学习视频中的行为特征，对应的识别方法称为基于深度学习的人体行为识别方法。
中国专利CN104850846A公开一种基于深度神经网络的人体行为识别方法，包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。
发明内容
本发明的目的在于提供从长时序语义运动特征难以获得问题出发，将残差学习引入到长短期记忆单元循环神经网络可有效增加循环神经网络模型隐含单元层数，提升网络模型语义特征学习能力和长时序运动特征学习能力，为人体行为识别提供新的人体行为特征学习方法的一种基于深度神经网络的人体行为识别方法。
本发明包括以下步骤：
1)采集视频数据集，根据视频中的人体行为类别对视频进行切割，并赋予对应的类别标签；
2)对视频数据进行抽帧和光流计算预处理，并对抽取的视频帧和光流图像赋予与其对应视频相同的类别标签；
3)人体行为特征学习，使用深度卷积神经网络和双支流输入类残差长短期记忆单元循环神经网络LSTM模型学习视频长时序运动特征；
4)根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别。
在步骤1)中，所述采集视频数据集的具体方法可为：
(1.1)视频数据的采集，包括通过自建视频数据集和使用已建的公共数据集，对自建的数据集中的视频按行为类别进行切割，并赋予相应的行为类别；
(1.2)将自建的数据集划分为训练集和测试集。
在步骤2)中，所述对视频数据进行抽帧和光流计算预处理，并对抽取的视频帧和光流图像赋予与其对应视频相同的类别标签的具体方法可为：
(2.1)视频数据集中的所有视频进行抽帧处理，并保存所抽帧图像在原视频中的时序位置信息；
(2.2)将视频抽帧后得到视频帧数据集，单个视频X抽帧后可表示为视频帧图像集X＝{x1，x2，……，xm}，m是单个视频的视频帧数目；
(2.3)计算所有帧图像与其对应前后连续帧图像间的光流值，并按线性变换方法把光流值转换到[0,255]，把帧图像的光流值转换为光流图像。
在步骤3)中，所述人体行为特征学习，使用深度卷积神经网络和双支流输入类残差长短期记忆单元循环神经网络LSTM模型学习视频长时序运动特征的具体方法可为：
(3.1)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上抽取的视频帧数据集上进行微调训练，得到空间卷积神经网络模型；
(3.2)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上计算得到的光流图像数据集上进行微调训练，得到时序卷积神经网络模型；
(3.3)微调训练好空间卷积神经网络模型和时序卷积神经网络模型后，分别当成帧图像和光流图像特征提取器，提取空间和时序特征；
(3.4)对提取的视频空间特征和时序特征按L2范进行归一化处理；
(3.5)设计双支流输入类残差长短期记忆单元循环神经网络，在网络中，除第一个隐含层外，其它隐含层的输入是上一个隐含层的输出和网络输入特征向量的串接，共包含3个隐含层；
(3.6)双支流类残差循环神经网络输入样本扩增，将输入视频特征分割为长为T(帧数)，特征子段间重叠率为50％，特征子段类别标签同视频的标签；
(3.7)将视频子段的空间特征和时序特征按视频中的时序输入到双支流类残差循环神经网络。
在步骤4)中，所述根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别的具体方法可为：
Softmax层输出各个视频子段样本的属于各个类别的概率值，属于同一视频的视频子段输出类别概率值取平均值作为视频最终的输出类别概率，取概率值最大的类别为该视频样本的识别类别。
本发明公开一种基于深度神经网络的人体行为识别方法，具体地，包括视频采集模块、视频数据预处理模块、深度行为特征学习模块和人体行为识别模块，所述视频采集模块用摄像头获取人体行为的视频数据，视频数据预处理模块包括视频帧提取单元和光流计算单元，所述视频帧提取单元用于将视频转换为记录有视频时序信息的帧图像序列，光流计算单元用于视频光流的计算，深度行为特征学习模块包括卷积神经网络单元和循环神经网络单元，所述卷积神经网络单元用于帧图像高层语义特征学习，循环神经网络单元用于视频行为运动特征学习，所述人体行为识别模块用于对视频中的人体行为动作类别进行识别。本发明用于异常行为的实时报警，起到智能安防的作用；可以实现对视频内容的自动标注，减少人为主观认识差异的影响。
本发明以识别准确率作为方法的评价指标。
附图说明
图1为本发明实施例的双支流类残差循环神经网络原理框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合相关实例对本发明进行进一步详细说明。
本发明实施例包括以下步骤：
1)采集视频数据集，根据视频中的人体行为类别对视频进行切割，并赋予对应的类别标签；具体方法为：
(1.1)视频数据的采集，包括通过自建视频数据集和使用已建的公共数据集，对自建的数据集中的视频按行为类别进行切割，并赋予相应的行为类别；
(1.2)将自建的数据集划分为训练集和测试集。
2)对视频数据进行抽帧和光流计算预处理，并对抽取的视频帧和光流图像赋予与其对应视频相同的类别标签，具体方法为：
(2.1)视频数据集中的所有视频进行抽帧处理，并保存所抽帧图像在原视频中的时序位置信息；
(2.2)将视频抽帧后得到视频帧数据集，单个视频X抽帧后可表示为视频帧图像集，X＝{x1，x2，……，xm}，m是单个视频的视频帧数目；
(2.3)计算所有帧图像与其对应前后连续帧图像间的光流值，并按线性变换方法把光流值转换到[0,255]，把帧图像的光流值转换为光流图像。
3)人体行为特征学习，使用深度卷积神经网络和双支流输入类残差长短期记忆单元循环神经网络LSTM模型学习视频长时序运动特征，具体方法为：
(3.1)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上抽取的视频帧数据集上进行微调训练，得到空间卷积神经网络模型；
(3.2)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上计算得到的光流图像数据集上进行微调训练，得到时序卷积神经网络模型；
(3.3)微调训练好空间卷积神经网络模型和时序卷积神经网络模型后，分别当成帧图像和光流图像特征提取器，提取空间和时序特征；
(3.4)对提取的视频空间特征和时序特征按L2范进行归一化处理；
(3.5)设计双支流输入类残差长短期记忆单元循环神经网络，在网络中，除第一个隐含层外，其它隐含层的输入是上一个隐含层的输出和网络输入特征向量的串接，共包含3个隐含层；
(3.6)双支流类残差循环神经网络输入样本扩增，将输入视频特征分割为长为T(帧数)，特征子段间重叠率为50％，特征子段类别标签同视频的标签；
(3.7)将视频子段的空间特征和时序特征按视频中的时序输入到双支流类残差循环神经网络。
4)根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别，具体方法为：
Softmax层输出各个视频子段样本的属于各个类别的概率值，属于同一视频的视频子段输出类别概率值取平均值作为视频最终的输出类别概率，取概率值最大的类别为该视频样本的识别类别。
以下给出具体实施例。
本发明实施例包括视频采集模块、视频数据预处理模块、深度行为特征学习模块和人体行为识别模块，所述视频采集模块用摄像头获取人体行为的视频数据，视频数据预处理模块包括视频帧提取单元和光流计算单元，所述视频帧提取单元用于将视频转换为记录有视频时序信息的帧图像序列，光流计算单元用于视频光流的计算，深度行为特征学习模块包括卷积神经网络单元和循环神经网络单元，所述卷积神经网络单元用于帧图像高层语义特征学习，循环神经网络单元用于视频行为运动特征学习，所述人体行为识别模块用于对视频中的人体行为动作类别进行识别。所述方法的具体步骤如下：
1)以UCF101标准行为识别数据集为例，其包含101个行为类别共13320个视频，采用三种训练集和测试集划分方法对人体行为算法进行评测，其中训练集约包含有9.5K视频，测试集有3.8K左右视频。最后把三次测试的结果取平均作为算法在该数据集上的识别准确率。
2)对UCF101数据集中的视频转换为帧图像的形式，并保留帧图像在原视频中的时序位置信息；同时计算各个帧图像的光流值并按线性变换方法将光流值变换到[0,255]范围，得到相应的光流图像。
3)以GoogLeNet网络模型为基础，设计双支流卷积神经网络提取视频的人体行为识别特征。第一条卷积神经网络支流的输入是RGB视频帧图像，用于视频帧静态表观特征的提取，称该支流为空间支流。第二条卷积神经网络支流的输入是光流图像，用于视频运动特征的提取，称该支流为时序支流。
以双支流卷积神经网络为特征提取器，分别提取GoogLeNet网络中最后最大池化层输出为视频帧的空间特征和时序运动特征。
双支流类残差循环神经网络采用长短期记忆单元LSTM和门控循环单元GRU两种控制单元验证算法的有效性。LSTM网络主要由输入门、遗忘门、记忆存储单元和输出门组成，GRU是LSTM的一个变体版本，具有LSTM能处理长时序数据优点的同时，网络结构也要更加简单，其仅包含有更新门和重置门两个门结构单元。
双支流类残差循环神经网络输入为视频帧图像特征和光流图像特征的双支流残差循环神经网络结构。时间t表示输入时序信息在t时刻的特征向量，t＝4表示输入时序信息时长为4。每条支流都包含3个隐含层，每个隐含层由512个存储单元组成。在网络中，除第一个隐含层外，其它隐含层的输入是上一个隐含层的输出和网络输入特征向量的串接。
双支流卷积神经网络和双支流类残差循环神经网络两个模型分别单独训练，其中卷积神经网络结构的权重采用预训练的GoogLeNet模型初始化。随机梯度下降算法被用于卷积神经网络的训练，初始学习率等于0.001，动量值m＝0.9，以及权重衰减率为0.0005。双支流类残差循环神经网络使用BPTT随机循环下降方法进行训练，学习参数除初始学习率设为0.01，网络中所有权重都用高斯随机初始化(σ＝0.01)，偏置设为0。
4)Softmax层融合两条支流的输出实现最后的视频行为识别。
本发明实施例的双支流类残差循环神经网络原理框图参见图1。
Claims (2)
1.一种基于深度神经网络的人体行为识别方法，其特征在于包括以下步骤：
1)采集视频数据集，根据视频中的人体行为类别对视频进行切割，并赋予对应的类别标签；所述采集视频数据集的具体方法为：
(1.1)视频数据的采集，包括通过自建视频数据集和使用已建的公共数据集，对自建的数据集中的视频按行为类别进行切割，并赋予相应的行为类别；
(1.2)将自建的数据集划分为训练集和测试集；
2)对视频数据进行抽帧和光流计算预处理，并对抽取的视频帧和光流图像赋予与其对应视频相同的类别标签，具体方法为：
(2.1)视频数据集中的所有视频进行抽帧处理，并保存所抽帧图像在原视频中的时序位置信息；
(2.2)将视频抽帧后得到视频帧数据集，单个视频X抽帧后可表示为视频帧图像集，X＝{x1，x2，……，xm}，m是单个视频的视频帧数目；
(2.3)计算所有帧图像与其对应前后连续帧图像间的光流值，并按线性变换方法把光流值转换到[0,255]，把帧图像的光流值转换为光流图像；
3)人体行为特征学习，使用深度卷积神经网络和双支流输入类残差长短期记忆单元循环神经网络学习视频长时序运动特征，具体方法为：
(3.1)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上抽取的视频帧数据集上进行微调训练，得到空间卷积神经网络模型；
(3.2)将在ImageNet图像分类数据集上训练好的GoogLeNet网络模型在人体行为目标数据集上计算得到的光流图像数据集上进行微调训练，得到时序卷积神经网络模型；
(3.3)微调训练好空间卷积神经网络模型和时序卷积神经网络模型后，分别当成帧图像和光流图像特征提取器，提取空间和时序特征；
(3.4)对提取的视频空间特征和时序特征按L2范进行归一化处理；
(3.5)设计双支流输入类残差长短期记忆单元循环神经网络，在网络中，除第一个隐含层外，其它隐含层的输入是上一个隐含层的输出和网络输入特征向量的串接，共包含3个隐含层；
(3.6)双支流输入类残差长短期记忆单元循环神经网络输入样本扩增，将输入视频特征分割为长为帧数T，特征子段间重叠率为50％，特征子段类别标签同视频的标签；
(3.7)将视频子段的空间特征和时序特征按视频中的时序输入到双支流类残差循环神经网络；
4)根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别。
2.如权利要求1所述一种基于深度神经网络的人体行为识别方法，其特征在于在步骤4)中，所述根据学习到的人体行为识别特征，用Softmax层融合两条支流类残差循环神经网络学习到的长时序运动特征，并输出视频的识别类别的具体方法为：
Softmax层输出各个视频子段样本的属于各个类别的概率值，属于同一视频的视频子段输出类别概率值取平均值作为视频最终的输出类别概率，取概率值最大的类别为该视频样本的识别类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910097412.4A CN109919031B (zh) | 2019-01-31 | 2019-01-31 | 一种基于深度神经网络的人体行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910097412.4A CN109919031B (zh) | 2019-01-31 | 2019-01-31 | 一种基于深度神经网络的人体行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919031A CN109919031A (zh) | 2019-06-21 |
| CN109919031B true CN109919031B (zh) | 2021-04-09 |
Family
ID=66961201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910097412.4A Expired - Fee Related CN109919031B (zh) | 2019-01-31 | 2019-01-31 | 一种基于深度神经网络的人体行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919031B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427831B (zh) * | 2019-07-09 | 2022-02-11 | 淮阴工学院 | 一种基于融合特征的人体动作分类方法 |
| CN110472531B (zh) * | 2019-07-29 | 2023-09-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN110415236A (zh) * | 2019-07-30 | 2019-11-05 | 深圳市博铭维智能科技有限公司 | 一种基于双流神经网络的复杂地下管道的异常检测方法 |
| CN110602526B (zh) * | 2019-09-11 | 2021-09-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
| CN110781771A (zh) * | 2019-10-08 | 2020-02-11 | 北京邮电大学 | 一种基于深度学习的异常行为实时监测方法 |
| CN111292765B (zh) * | 2019-11-21 | 2023-07-28 | 台州学院 | 一种融合多个深度学习模型的双模态情感识别方法 |
| CN111027487B (zh) * | 2019-12-11 | 2023-04-28 | 山东大学 | 基于多卷积核残差网络的行为识别系统、方法、介质及设备 |
| CN111079646B (zh) * | 2019-12-16 | 2023-06-06 | 中山大学 | 基于深度学习的弱监督视频时序动作定位的方法及系统 |
| CN111325253B (zh) * | 2020-02-12 | 2023-05-05 | 杭州涂鸦信息技术有限公司 | 一种基于深度学习的双流法行为识别方法及系统 |
| CN111382677B (zh) * | 2020-02-25 | 2023-06-20 | 华南理工大学 | 基于3d注意力残差模型的人体行为识别方法及系统 |
| CN111401149B (zh) * | 2020-02-27 | 2022-05-13 | 西北工业大学 | 基于长短期时域建模算法的轻量级视频行为识别方法 |
| CN111681676B (zh) * | 2020-06-09 | 2023-08-08 | 杭州星合尚世影视传媒有限公司 | 视频物体识别构建音频方法、系统、装置及可读存储介质 |
| CN111797912B (zh) * | 2020-06-23 | 2023-09-22 | 山东浪潮超高清视频产业有限公司 | 影片年代类型识别的系统、方法及识别模型的构建方法 |
| CN111754669A (zh) * | 2020-06-24 | 2020-10-09 | 桂林理工大学 | 一种基于人脸识别技术的高校学生管理系统 |
| CN111814661B (zh) * | 2020-07-07 | 2024-02-09 | 西安电子科技大学 | 基于残差-循环神经网络的人体行为识别方法 |
| CN111738218B (zh) * | 2020-07-27 | 2020-11-24 | 成都睿沿科技有限公司 | 人体异常行为识别系统及方法 |
| CN111968019A (zh) * | 2020-07-31 | 2020-11-20 | 中国地质大学（武汉） | 一种基于cnn与rnn集成的滑坡灾害易发性预测方法 |
| CN111967418A (zh) * | 2020-08-25 | 2020-11-20 | 晋江市博感电子科技有限公司 | 基于深度学习的人体动作识别方法 |
| CN112560602A (zh) * | 2020-12-02 | 2021-03-26 | 中山大学中山眼科中心 | 一种白内障手术步骤的识别方法及装置 |
| CN112580523A (zh) * | 2020-12-22 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 行为识别方法、装置、设备及存储介质 |
| CN112766066A (zh) * | 2020-12-31 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种动态视频流和静态图像处理显示方法、系统 |
| CN112784704A (zh) * | 2021-01-04 | 2021-05-11 | 上海海事大学 | 一种面向小样本视频动作分类的方法 |
| CN112749672A (zh) * | 2021-01-19 | 2021-05-04 | 携程旅游网络技术（上海）有限公司 | 相册视频识别方法、系统、设备及存储介质 |
| CN113221627B (zh) * | 2021-03-08 | 2022-05-10 | 广州大学 | 一种人脸遗传特征分类数据集构建方法、系统、装置及介质 |
| CN113128354B (zh) * | 2021-03-26 | 2022-07-19 | 中山大学中山眼科中心 | 一种洗手质量检测方法及装置 |
| CN113269054B (zh) * | 2021-04-30 | 2022-06-10 | 重庆邮电大学 | 一种基于时空2d卷积神经网络的航拍视频分析方法 |
| CN113408852B (zh) * | 2021-05-18 | 2022-04-19 | 江西师范大学 | 基于在线学习行为和深度神经网络的元认知能力评估模型 |
| CN113723230A (zh) * | 2021-08-17 | 2021-11-30 | 山东科技大学 | 业务流程抽取领域过程性视频的过程模型抽取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280406A (zh) * | 2017-12-30 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种基于分段双流模型的行为识别方法、系统及装置 |
| CN108985223A (zh) * | 2018-07-12 | 2018-12-11 | 天津艾思科尔科技有限公司 | 一种人体动作识别方法 |
-
2019
- 2019-01-31 CN CN201910097412.4A patent/CN109919031B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280406A (zh) * | 2017-12-30 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种基于分段双流模型的行为识别方法、系统及装置 |
| CN108985223A (zh) * | 2018-07-12 | 2018-12-11 | 天津艾思科尔科技有限公司 | 一种人体动作识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的人体行为识别方法研究;余胜;《中国博士学位论文全文数据库》;20180401;第三章基于全卷积神经网络的人体行为识别方法，第四章基于循环混合网络的人体行为识别方法，第五章基于类残差循环神经网络的人体行为识别方法，图3.5、3.7、5.1，5.4(a) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919031A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
| CN106295568B (zh) | 基于表情和行为双模态结合的人类自然状态情感识别方法 | |
| CN107784293B (zh) | 一种基于全局特征和稀疏表示分类的人体行为识别方法 | |
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN109671102B (zh) | 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| Lyu et al. | Long-term multi-granularity deep framework for driver drowsiness detection | |
| CN107729363B (zh) | 基于GoogLeNet网络模型鸟类种群识别分析方法 | |
| CN111814661A (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| CN111523421B (zh) | 基于深度学习融合各种交互信息的多人行为检测方法及系统 | |
| Li et al. | Sign language recognition based on computer vision | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN112364791B (zh) | 一种基于生成对抗网络的行人重识别方法和系统 | |
| CN113065515B (zh) | 基于相似度图神经网络的异常行为智能检测方法及系统 | |
| CN112036276A (zh) | 一种人工智能视频问答方法 | |
| CN111738218B (zh) | 人体异常行为识别系统及方法 | |
| CN110991278A (zh) | 计算机视觉系统的视频中人体动作识别方法和装置 | |
| CN112668492A (zh) | 一种自监督学习与骨骼信息的行为识别方法 | |
| CN114821014A (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
| CN111860117A (zh) | 一种基于深度学习的人体行为识别方法 | |
| CN111626197B (zh) | 一种基于人体行为识别网络模型的识别方法 | |
| CN110826459B (zh) | 基于姿态估计的可迁移校园暴力行为视频识别方法 | |
| CN111985333A (zh) | 一种基于图结构信息交互增强的行为检测方法及电子装置 | |
| Özbay et al. | 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks. | |
| CN110659576A (zh) | 一种基于联合判断与生成学习的行人搜索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210409 |