CN110909658A - 一种基于双流卷积网络的视频中人体行为识别方法 - Google Patents

一种基于双流卷积网络的视频中人体行为识别方法 Download PDF

Info

Publication number
CN110909658A
CN110909658A CN201911132228.5A CN201911132228A CN110909658A CN 110909658 A CN110909658 A CN 110909658A CN 201911132228 A CN201911132228 A CN 201911132228A CN 110909658 A CN110909658 A CN 110909658A
Authority
CN
China
Prior art keywords
video
convolution
network
layer
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911132228.5A
Other languages
English (en)
Inventor
邓毅彪
蔡强
李海生
毛典辉
颜津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN201911132228.5A priority Critical patent/CN110909658A/zh
Publication of CN110909658A publication Critical patent/CN110909658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双流卷积网络的视频中人体行为识别方法，涉及计算机视觉领域。本发明的目的是识别出视频片段中出现的人体行为。本发明包括：将视频片段预处理成连续的视频帧；对视频帧进行稀疏采样；将采样到的视频帧输入到所设计的行为识别网络模型中，利用卷积操作初步提取卷积特征；然后将特征向量同时输入空间流分支和时间流分支，分别提取视频的空间外观特征和时序运动特征；将两种特征融合后输入分类器中，得到视频片段中人体行为的识别结果。本发明利用卷积网络预测光流场，节省了大量的计算时间和存储空间，并融合了视频的外观特征和运动特征，利用两种特征信息互补来表征人体行为，提高识别的性能。

Description

一种基于双流卷积网络的视频中人体行为识别方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于双流卷积网络的视频中人体行为识别的方法。
背景技术
视频中人体行为识别作为计算机视觉领域的一个重要研究方向，已经被广泛用于诸多实际应用场景中，如智能监控、智能家居、视频检索等，近年来受到了国内外学者的广泛关注，涌现出了大量的人体行为识别方法，但由于人体行为的非刚性、复杂性以及视频的视角变换、遮挡、光照变化等因素，目前的人体行为识别方法大都存在计算效率较低、识别准确率不足等问题，视频中人体行为仍是计算机视觉领域的热点和难题。
受卷积网络在图像识别领域性能卓越的启发，将卷积神经网络应用于视频人体行为识别领域已成为一种发展趋势。近年来，随着深度学习的迅猛发展，越来越多的基于卷积神经网络的模型被提出，在人体行为识别方法上也得到了广泛的应用。Simonyan等人(SIMONYAN K，ZISSERMAN A. Two-Stream Convolutional Networks for ActionRecognition in Videos[C]// Advances in Neural Information Processing Systems，2014：568-576.)提出了一种双流卷积网络的人体行为识别方法，双流卷积网络分为时间流卷积神经网络和空间流卷积神经网络两个分支，且两个分支具有同样的网络结构。时间流网络需要预先计算光流图像，输入光流图像提取时序特征，空间流网络输入 RGB图像提取空间特征，最后通过分类得分融合得到最终的人体行为识别结果，实验证明了通过计算光流场来提取时序运动特征，对提高视频中的人体行为识别准确率非常有效。尽管双流卷积网络能够取得较高的识别率，但是光流图像的计算成本和存储空间成本太过昂贵，并且难以有效地对长时运动特征建模，在实际场景中无法得到有效的应用，因此设计一种更高效的光流计算方法对时序特征建模尤为重要。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于双流卷积网络的视频中人体行为识别方法，以采用多个2D和3D Inception模块堆叠组成的空间流网络作为空间流分支，提高对视频片段的高层语义信息建模能力，采用光流预测卷积网络作为时间流分支，对相邻特征向量计算梯度，预测特征残差的光流场，降低计算光流场产生的时间和空间成本，并将空间外观特征和时序运动特征信息互补，增强视频中人体行为识别方法对人体行为的表征能力。
本发明技术解决方案：一种基于双流卷积网络的视频中人体行为识别方法，本发明的目的是在视频片段人体行为识别过程中，更快速更准确地获得表示视频片段中出现的人体行为的标签。本发明包括：利用计算机视觉库 OpenCV将视频切分成连续的视频帧，调整成固定尺寸后，采用稀疏采样的方式依次随机选取视频帧，采样的视频帧通过网络底层的卷积操作初步提取卷积特征后，分别输入到空间流分支和时间流分支中提取用来表示视频中人体行为的空间外观特征和时序运动特征，接着将两种特征在通道上进行融合，训练网络模型，确定模型参数，在模型趋于稳定后停止训练，并将测试视频相同预处理后进行输入，经过所述训练好的模型后，得到最终的识别结果。
具体步骤如下：
(1)利用计算机视觉库OpenCV中提取视频帧的方法，从包含人体行为的视频片段中提取连续视频帧，并将视频帧全部处理成尺寸为112*112像素的RGB图像，接着根据视频帧数量平均分成三个部分，依次从三个部分中随机选取8、9、8张图像，组成25张连续视频帧。
(2)将步骤(1)中采样到的25张连续视频帧输入到双流卷积网络模型中，由网络最先开始的卷积操作初步提取特征，其中第一个卷积层采用1*7*7 的卷积核，获取较大的网络感受野，然后通过最大池化层进行下采样，接着通过1*1卷积层和3*3卷积层对卷积特征降维，然后将特征向量同时输入双流卷积网络模型的时间流分支和空间流分支。
(3)利用空间流分支对步骤(2)中初步提取的卷积特征提取空间外观特征，所述空间流分支由多个2D Inception模块和3D Inception模块堆叠构成，其中Inception模块是图像识别领域网络结构常用的模块，空间流分支的底层采用2D Inception模块，利用在ImageNet上训练好的模型进行初始化，而高层采用3D Inception模块则可以更好地捕捉高层语义特征信息。
(4)利用时间流分支对步骤(2)中初步提取的卷积特征提取时序运动特征，时间流分支采用1*1*1的卷积层调整输入特征向量的通道数，将相邻通道的特征向量F1，F2输入光流预测卷积层，采用Sobel算子作为卷积核，预测特征残差的光流场，捕捉视频的时序运动特征，所涉及的计算方式为 u＝Flow(F1，F2)，其中
Figure RE-GSB0000185229140000031
张量u表示特征向量上每个位置水平方向和垂直方向的预测光流，Flow表示光流预测卷积层。
(5)将空间流分支和时间流分支提取的特征在通道上融合后输入到 Softmax分类器中，在避免梯度消失的基础上训练网络，使分类器获得的预测分类得分尽可能地接近真实标签值，最后将分类得分进行输出，在训练过程中采用交叉熵损失函数。
本发明与现有技术相比的优点在于：
(1)相比现有技术，本发明首先利用2D卷积层提取视频图像的外观特征，2D卷积层可以利用图像识别领域在ImageNet上预训练过的模型进行初始化，可以有效地加快模型收敛，提高训练的速度，并且加入多个3D Inception 模块，增加了网络的深度的同时并没有带来大量的网络参数，对长时视频中的人体行为识别有较好的效果。
(2)相比现有技术，本发明利用光流预测卷积网络对特征残差计算预测光流场，经过迭代优化参数后，可以产生预测光流场，提取时序运动特征，快速地对人体行为的时序运动变化建模，不需要预先计算光流图像以及存储光流图像，节省了行为识别所需的计算时间和存储空间，提高了识别效率。
附图说明
图1是根据本发明进行视频中人体行为识别的整体流程示意图；
图2是根据本发明人体行为识别方法的网络结构示意图；
图3是图2网络模型中的Inception模块的结构示意图；
具体实施方式
下面结合附图和具体实施方式对本发明进行描述。其中图1描述了基于双流卷积网络的视频中人体行为识别过程。
如图1所示，本发明包括以下步骤：
(1)输入视频片段，利用计算机视觉库OpenCV对视频片段切帧，并将视频帧全部处理成尺寸为112*112像素的RGB图像，接着进行稀疏采样，根据视频帧数量平均分成三个部分，依次从三个部分中随机选取8、9、8张图像，组成25张连续视频帧作为网络的输入。
(2)将步骤(1)中采样到的25张连续视频帧输入到双流卷积网络模型中，利用网络最先开始的卷积操作初步提取特征，其中第一个卷积层采用1*7*7 的卷积核，获取较大的网络感受野，然后通过最大池化层进行下采样，接着通过1*1卷积层和3*3卷积层对卷积特征降维，降低卷积计算成本，提高特征的鲁棒性，然后将特征向量同时输入所设计的双流卷积网络模型的时间流分支和空间流分支。
(3)利用空间流分支对步骤(2)中初步提取的卷积特征提取空间外观特征，所述空间流分支由多个2D Inception模块和3D Inception模块堆叠构成，其中Inception模块是图像识别领域网络结构常用的模块，空间流分支的底层采用 2D Inception模块，利用在ImageNet上训练好的模型进行初始化，而高层采用3D Inception模块则可以更好地捕捉高层语义特征信息。
(4)利用时间流分支对步骤(2)中初步提取的卷积特征提取时序运动特征，时间流分支采用1*1*1的卷积层调整输入特征向量的通道数，将相邻通道的特征向量F1，F2输入光流预测卷积层，采用Sobel算子作为卷积核，预测特征残差的光流场u，捕捉视频的时序运动特征，然后通过1*1*1的卷积层调整运动特征的维度，保证其能与空间流外观特征融合，光流预测所涉及的计算方式为u＝Flow(F1，F2)，其中
Figure RE-GSB0000185229140000051
张量u表示特征向量上每个位置水平方向和垂直方向的预测光流，Flow表示光流预测卷积层，具体计算方式如下：
初始化u＝0，p＝0
Figure RE-GSB0000185229140000052
ρc＝F2-F1
Figure RE-GSB0000185229140000053
Figure RE-GSB0000185229140000054
u＝v+divergence(p)
Figure RE-GSB0000185229140000055
其中p表示散度变量，ρ表示特征残差，λ控制输出的平滑度，θ控制权重，τ控制时间步长，λ、θ、τ均是需要学习的参数，经过网络的多次迭代优化，使得输出的张量u更接近真实光流场的分布。
(5)将空间流分支和时间流分支提取的特征在通道上融合后，所述的融合方式为：Ffinal＝concat(Fs，Ft)，其中Ffinal是(cs+ct)×h×w维的矩阵，为融合后的人体行为特征，Fs是cs×h×w维的矩阵，表示空间外观特征，Ft是ct×h×w 维的矩阵，表示时序运动特征，c、h、w分别表示特征的通道数、高和宽，将 Ffinal输入到Softmax分类器中，沿梯度下降最快的方向，在避免梯度消失的基础上训练网络，使分类器获得的预测分类得分尽可能地接近真实标签值，最后将分类得分进行输出。在训练过程中，采用交叉熵损失函数，计算方式为：
Figure RE-GSB0000185229140000061
其中，C表示所有的行为类别，yi为类别i的真实标签，gj为G的第j个维度。
如图2所示，为一种基于双流卷积网络的视频中人体行为识别方法的整体网络结构示意图。网络模型通过输入连续视频帧，输出行为识别结果。其中，网络初始时利用1*7*7的卷积核获取较大的感受野，尽可能保证局部信息完整，然后通过1*1*1和1*3*3的卷积核对特征卷积，降低特征的维度，以及使用最大池化层下采样，简化网络复杂度，提高特征的鲁棒性，接着网络分成两个分支结构，连接2D Inception模块的是空间流分支，分支底层采用2D Inception模块，可以利用经过ImageNet预训练的模型进行参数初始化，加快训练收敛速度，节省训练时间，空间流分支的高层采用3D Inception模块，可以更好地捕捉高层语义信息，并且通过多个模块的堆叠，增加网络的深度，增强对长时视频的人体行为特征捕捉能力；另一个分支是时间流分支，首先通过1*1*1卷积核对特征进行卷积操作，降低特征维度的同时，也减少了光流预测的计算成本，加快产生预测光流场的速度，图2中光流预测卷积层Flowlayer采用的是Sobel算子作为卷积核，计算相邻特征向量之间运动残差的梯度，通过多次迭代优化其中的参数，使其产生的预测光流场更平滑，更接近真实光流场，传统的光流计算方法TV-L1需要亮度恒定和运动边界平滑两个假设作为前提，而光流预测网络则是利用可学习的参数来调整预测光流场的平滑度，不需要提前假设。然后将两个分支的特征在通道上融合，经过平均池化层下采样，再利用1*1*1卷积层将特征向量调整成一维的向量输入Softmax分类器中进行分类。
如图3所示，为Inception模块的结构示意图，Inception模块来源于图像识别领域表现不错的GoogleNet，Inception模块最大的特点是增加网络的深度和宽度的同时减小参数，多个分支结构能够捕捉不同尺度的信息，每个分支上都有一个1*1*1的卷积层调整通道数，用来保证不同尺度的特征能够结合。

Claims (6)

1.一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：包括以下步骤：
(1)对视频片段进行切帧、调整尺寸等预处理，获取连续的视频帧，接着对视频帧进行稀疏采样；
(2)将采样获取的视频帧输入到所述双流卷积网络模型中，利用卷积操作初步提取视频帧的卷积特征；
(3)将步骤(2)中初步提取的卷积特征分别输入空间流分支和时间流分支提取空间外观特征和时序运动特征，接着进行特征融合；
(4)将步骤(3)中融合后的特征向量输入Softmax分类器中进行分类，得到行为类别得分，模型经过不断地训练，趋于稳定后，输入测试视频片段，就能够得到最终的人体行为识别结果。
2.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(1)中，利用计算机视觉库OpenCV中提取视频帧的方法，从包含人体行为的视频片段中提取连续视频帧，并将视频帧全部处理成尺寸为112*112像素的RGB图像，接着根据视频帧数量平均分成三个部分，依次从三个部分中随机选取8、9、8张图像，组成25张连续视频帧输入到步骤(2)的网络模型中。
3.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(2)中，初步提取特征的卷积操作包括3个卷积层和2个最大池化层，其中第一个卷积层采用1*7*7的卷积核，获取较大的网络感受野，然后通过最大池化层进行下采样，接着通过1*1卷积层和3*3卷积层对卷积特征降维，减少网络模型的参数量，提高特征的鲁棒性。
4.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(3)中，所述空间流分支由多个2D Inception模块和3D Inception模块堆叠构成，其中Inception模块是图像识别领域网络结构常用的模块，空间流分支的底层采用2DInception模块，利用在ImageNet上训练好的模型进行初始化，加快网络训练的收敛速度，而高层采用3D Inception模块则可以更好地捕捉高层语义特征信息。
5.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(3)中的时间流分支采用1*1*1的卷积层调整输入特征向量的通道数，将相邻通道的特征向量F1，F2输入光流预测卷积层，采用Sobel算子作为卷积核，预测特征残差的光流场，捕捉视频的时序运动特征，所涉及的计算方式为u＝Flow(F1，F2)，其中
Figure FSA0000195184780000025
张量u表示特征向量上每个位置水平方向和垂直方向的预测光流，Flow表示光流预测卷积层，使用光流预测卷积层计算张量u，具体步骤为：
初始设置u＝0，p＝0
Figure FSA0000195184780000021
ρc＝F2-F1
Figure FSA0000195184780000022
Figure FSA0000195184780000023
u＝v+divergence(p)
Figure FSA0000195184780000024
其中p表示散度变量，ρ表示特征残差，λ控制输出的平滑度，θ控制权重，τ控制时间步长，λ、θ、τ均是需要学习的参数，经过网络的多次迭代优化，使得输出的张量u更接近真实光流场的分布。
6.根据权利要求1所述的一种基于双流卷积网络的视频中人体行为识别方法，其特征在于：在步骤(3)中，将空间外观特征和时序运动特征在通道上进行特征融合得到一个特征向量，将特征向量输入Softmax分类器中，输出人体行为的分类得分，其中网络采用交叉熵损失函数，网络的训练过程是最小化交叉熵损失函数的过程，所涉及的计算方式为：
Figure FSA0000195184780000031
其中，C表示所有的行为类别，yi为类别i的真实标签，gj为G的第j个维度。
CN201911132228.5A 2019-11-19 2019-11-19 一种基于双流卷积网络的视频中人体行为识别方法 Pending CN110909658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911132228.5A CN110909658A (zh) 2019-11-19 2019-11-19 一种基于双流卷积网络的视频中人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911132228.5A CN110909658A (zh) 2019-11-19 2019-11-19 一种基于双流卷积网络的视频中人体行为识别方法

Publications (1)

Publication Number Publication Date
CN110909658A true CN110909658A (zh) 2020-03-24

Family

ID=69817930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911132228.5A Pending CN110909658A (zh) 2019-11-19 2019-11-19 一种基于双流卷积网络的视频中人体行为识别方法

Country Status (1)

Country Link
CN (1) CN110909658A (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582230A (zh) * 2020-05-21 2020-08-25 电子科技大学 基于空时特征的视频行为分类方法
CN111709304A (zh) * 2020-05-21 2020-09-25 江南大学 一种基于时空注意力增强特征融合网络的行为识别方法
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别系统及方法
CN111783520A (zh) * 2020-05-18 2020-10-16 北京理工大学 基于双流网络的腹腔镜手术阶段自动识别方法及装置
CN111860148A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于时序移位的自纠错人类行为识别方法
CN111881818A (zh) * 2020-07-27 2020-11-03 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质
CN111898533A (zh) * 2020-07-30 2020-11-06 中国计量大学 一种基于时空特征融合的步态分类方法
CN111931603A (zh) * 2020-07-22 2020-11-13 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法
CN112016500A (zh) * 2020-09-04 2020-12-01 山东大学 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN112035701A (zh) * 2020-08-11 2020-12-04 南京烽火星空通信发展有限公司 一种互联网短视频溯源的方法及系统
CN112183240A (zh) * 2020-09-11 2021-01-05 山东大学 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN112287893A (zh) * 2020-11-25 2021-01-29 广东技术师范大学 一种基于音视频信息融合的母猪哺乳行为识别方法
CN112364757A (zh) * 2020-11-09 2021-02-12 大连理工大学 一种基于时空注意力机制的人体动作识别方法
CN112380999A (zh) * 2020-11-16 2021-02-19 东北大学 一种针对直播过程中诱导性不良行为的检测系统及方法
CN112417989A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种监考人员违规行为识别方法及系统
CN112464835A (zh) * 2020-12-03 2021-03-09 北京工商大学 一种基于时序增强模块的视频人体行为识别方法
CN112580577A (zh) * 2020-12-28 2021-03-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112597856A (zh) * 2020-12-16 2021-04-02 中山大学 一种基于部分解耦条件下通道分配的动作识别方法及系统
CN112633260A (zh) * 2021-03-08 2021-04-09 北京世纪好未来教育科技有限公司 视频动作分类方法、装置、可读存储介质及设备
CN112800988A (zh) * 2021-02-02 2021-05-14 安徽工业大学 一种基于特征融合的c3d行为识别方法
CN112926396A (zh) * 2021-01-28 2021-06-08 杭州电子科技大学 一种基于双流卷积注意力的动作识别方法
CN113111822A (zh) * 2021-04-22 2021-07-13 深圳集智数字科技有限公司 用于拥堵识别的视频处理方法、装置与电子设备
CN113128353A (zh) * 2021-03-26 2021-07-16 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113343786A (zh) * 2021-05-20 2021-09-03 武汉大学 基于深度学习的轻量化视频动作识别网络、方法及系统
CN113420632A (zh) * 2021-06-17 2021-09-21 武汉科技大学 一种基于3d人体部件的行人重识别方法
CN113435430A (zh) * 2021-08-27 2021-09-24 中国科学院自动化研究所 基于自适应时空纠缠的视频行为识别方法、系统、设备
CN113435262A (zh) * 2021-06-08 2021-09-24 上海电机学院 基于双流膨胀3d卷积网络的异常行为识别方法和预警系统
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113536898A (zh) * 2021-05-31 2021-10-22 大连民族大学 全面特征捕捉型时间卷积网络、视频动作分割方法、计算机系统和介质
CN113556567A (zh) * 2020-04-24 2021-10-26 华为技术有限公司 帧间预测的方法和装置
CN113836979A (zh) * 2020-06-24 2021-12-24 顺丰科技有限公司 动作识别方法、装置、计算机设备和存储介质
CN113901889A (zh) * 2021-09-17 2022-01-07 广州紫为云科技有限公司 一种基于时间和空间建立行为识别热度图的方法
CN114419524A (zh) * 2022-03-29 2022-04-29 之江实验室 一种基于伪光流辅助的视频分类方法及系统
CN114494981A (zh) * 2022-04-07 2022-05-13 之江实验室 一种基于多层次运动建模的动作视频分类方法及系统
CN115294644A (zh) * 2022-06-24 2022-11-04 北京昭衍新药研究中心股份有限公司 一种基于3d卷积参数重构的快速猴子行为识别方法
CN116631050B (zh) * 2023-04-20 2024-02-13 北京电信易通信息技术股份有限公司 一种面向智能视频会议的用户行为识别方法及系统
CN114677704B (zh) * 2022-02-23 2024-03-26 西北大学 一种基于三维卷积的时空特征多层次融合的行为识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AJ PIERGIOVANNI等: "Representation Flow for Action Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SAINING XIE等: "Rethinking Spatiotemporal Feature Learning:Speed-Accuracy Trade-offs in Video Classification", 《UROPEAN CONFERENCE ON COMPUTER VISION 2018》 *
ZHENG LIU等: "Spatiotemporal Relation Networks for Video Action Recognition", 《IEEE ACCESS》 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556567A (zh) * 2020-04-24 2021-10-26 华为技术有限公司 帧间预测的方法和装置
CN111783520A (zh) * 2020-05-18 2020-10-16 北京理工大学 基于双流网络的腹腔镜手术阶段自动识别方法及装置
CN111709304A (zh) * 2020-05-21 2020-09-25 江南大学 一种基于时空注意力增强特征融合网络的行为识别方法
CN111582230A (zh) * 2020-05-21 2020-08-25 电子科技大学 基于空时特征的视频行为分类方法
CN111709304B (zh) * 2020-05-21 2023-05-05 江南大学 一种基于时空注意力增强特征融合网络的行为识别方法
CN111860148A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于时序移位的自纠错人类行为识别方法
CN111860148B (zh) * 2020-06-11 2022-08-26 南京邮电大学 一种基于时序移位的自纠错人类行为识别方法
CN113836979A (zh) * 2020-06-24 2021-12-24 顺丰科技有限公司 动作识别方法、装置、计算机设备和存储介质
CN111931603A (zh) * 2020-07-22 2020-11-13 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法
CN111931603B (zh) * 2020-07-22 2024-01-12 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法
CN111881818B (zh) * 2020-07-27 2022-07-22 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质
CN111881818A (zh) * 2020-07-27 2020-11-03 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别系统及方法
CN111898533A (zh) * 2020-07-30 2020-11-06 中国计量大学 一种基于时空特征融合的步态分类方法
CN111898533B (zh) * 2020-07-30 2023-11-28 中国计量大学 一种基于时空特征融合的步态分类方法
CN112035701A (zh) * 2020-08-11 2020-12-04 南京烽火星空通信发展有限公司 一种互联网短视频溯源的方法及系统
CN112016500A (zh) * 2020-09-04 2020-12-01 山东大学 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN112016500B (zh) * 2020-09-04 2023-08-22 山东大学 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN112183240A (zh) * 2020-09-11 2021-01-05 山东大学 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN112183240B (zh) * 2020-09-11 2022-07-22 山东大学 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN112417989A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种监考人员违规行为识别方法及系统
CN112364757A (zh) * 2020-11-09 2021-02-12 大连理工大学 一种基于时空注意力机制的人体动作识别方法
CN112380999B (zh) * 2020-11-16 2023-08-01 东北大学 一种针对直播过程中诱导性不良行为的检测系统及方法
CN112380999A (zh) * 2020-11-16 2021-02-19 东北大学 一种针对直播过程中诱导性不良行为的检测系统及方法
CN112287893A (zh) * 2020-11-25 2021-01-29 广东技术师范大学 一种基于音视频信息融合的母猪哺乳行为识别方法
CN112287893B (zh) * 2020-11-25 2023-07-18 广东技术师范大学 一种基于音视频信息融合的母猪哺乳行为识别方法
CN112464835A (zh) * 2020-12-03 2021-03-09 北京工商大学 一种基于时序增强模块的视频人体行为识别方法
CN112597856A (zh) * 2020-12-16 2021-04-02 中山大学 一种基于部分解耦条件下通道分配的动作识别方法及系统
CN112597856B (zh) * 2020-12-16 2023-09-26 中山大学 一种基于部分解耦条件下通道分配的动作识别方法及系统
CN112580577A (zh) * 2020-12-28 2021-03-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112580577B (zh) * 2020-12-28 2023-06-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112926396A (zh) * 2021-01-28 2021-06-08 杭州电子科技大学 一种基于双流卷积注意力的动作识别方法
CN112800988A (zh) * 2021-02-02 2021-05-14 安徽工业大学 一种基于特征融合的c3d行为识别方法
CN112633260B (zh) * 2021-03-08 2021-06-22 北京世纪好未来教育科技有限公司 视频动作分类方法、装置、可读存储介质及设备
CN112633260A (zh) * 2021-03-08 2021-04-09 北京世纪好未来教育科技有限公司 视频动作分类方法、装置、可读存储介质及设备
CN113128353B (zh) * 2021-03-26 2023-10-24 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113128353A (zh) * 2021-03-26 2021-07-16 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113111822B (zh) * 2021-04-22 2024-02-09 深圳集智数字科技有限公司 用于拥堵识别的视频处理方法、装置与电子设备
CN113111822A (zh) * 2021-04-22 2021-07-13 深圳集智数字科技有限公司 用于拥堵识别的视频处理方法、装置与电子设备
CN113343786B (zh) * 2021-05-20 2022-05-17 武汉大学 基于深度学习的轻量化视频动作识别方法及系统
CN113343786A (zh) * 2021-05-20 2021-09-03 武汉大学 基于深度学习的轻量化视频动作识别网络、方法及系统
CN113536898A (zh) * 2021-05-31 2021-10-22 大连民族大学 全面特征捕捉型时间卷积网络、视频动作分割方法、计算机系统和介质
CN113536898B (zh) * 2021-05-31 2023-08-29 大连民族大学 全面特征捕捉型时间卷积网络、视频动作分割方法、计算机系统和介质
CN113435262A (zh) * 2021-06-08 2021-09-24 上海电机学院 基于双流膨胀3d卷积网络的异常行为识别方法和预警系统
CN113420632A (zh) * 2021-06-17 2021-09-21 武汉科技大学 一种基于3d人体部件的行人重识别方法
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113506289B (zh) * 2021-07-28 2024-03-29 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113435430A (zh) * 2021-08-27 2021-09-24 中国科学院自动化研究所 基于自适应时空纠缠的视频行为识别方法、系统、设备
CN113901889A (zh) * 2021-09-17 2022-01-07 广州紫为云科技有限公司 一种基于时间和空间建立行为识别热度图的方法
CN114677704B (zh) * 2022-02-23 2024-03-26 西北大学 一种基于三维卷积的时空特征多层次融合的行为识别方法
CN114419524A (zh) * 2022-03-29 2022-04-29 之江实验室 一种基于伪光流辅助的视频分类方法及系统
CN114494981B (zh) * 2022-04-07 2022-08-05 之江实验室 一种基于多层次运动建模的动作视频分类方法及系统
CN114494981A (zh) * 2022-04-07 2022-05-13 之江实验室 一种基于多层次运动建模的动作视频分类方法及系统
CN115294644A (zh) * 2022-06-24 2022-11-04 北京昭衍新药研究中心股份有限公司 一种基于3d卷积参数重构的快速猴子行为识别方法
CN116631050B (zh) * 2023-04-20 2024-02-13 北京电信易通信息技术股份有限公司 一种面向智能视频会议的用户行为识别方法及系统

Similar Documents

Publication Publication Date Title
CN110909658A (zh) 一种基于双流卷积网络的视频中人体行为识别方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN108520535B (zh) 基于深度恢复信息的物体分类方法
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
CN110210551A (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN109886225A (zh) 一种基于深度学习的图像手势动作在线检测与识别方法
CN111652903B (zh) 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法
CN111046821B (zh) 一种视频行为识别方法、系统及电子设备
CN112183240B (zh) 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN101236657A (zh) 单一运动目标轨迹的跟踪与记录方法
CN110674741A (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN111160356A (zh) 一种图像分割分类方法和装置
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN112507904A (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN105956604B (zh) 一种基于两层时空邻域特征的动作识别方法
CN107967441A (zh) 一种基于双通道3d-2d rbm模型的视频行为识别方法
KR20210011707A (ko) Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치
CN103235943A (zh) 基于pca的3d人脸识别系统
CN113255464A (zh) 一种飞机动作识别方法及系统
Ke et al. Vehicle logo recognition with small sample problem in complex scene based on data augmentation
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200324

WD01 Invention patent application deemed withdrawn after publication