CN110119703B - 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 - Google Patents

一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 Download PDF

Info

Publication number
CN110119703B
CN110119703B CN201910373679.1A CN201910373679A CN110119703B CN 110119703 B CN110119703 B CN 110119703B CN 201910373679 A CN201910373679 A CN 201910373679A CN 110119703 B CN110119703 B CN 110119703B
Authority
CN
China
Prior art keywords
human body
video
security
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910373679.1A
Other languages
English (en)
Other versions
CN110119703A (zh
Inventor
柯逍
柯力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910373679.1A priority Critical patent/CN110119703B/zh
Publication of CN110119703A publication Critical patent/CN110119703A/zh
Application granted granted Critical
Publication of CN110119703B publication Critical patent/CN110119703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

本发明提出一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，首先对获取的安防场景下的人体动作分析数据集进行随机划分，分为为训练集和验证集；其次对训练集和验证集视频数据进行数据增强处理；接着对获取的和增强的数据集利用注意力机制进行关键帧筛选；然后对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注，为训练人体动作检测与识别模型做好准备；最后构建时空骨骼图卷积神经网络模型，并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重，使用验证集进行神经网络模型的准确率预测。其不仅可以扩大原始动作数据量，还可以增强模型的鲁棒性，进而提升最终的动作识别准确率。

Description

一种安防场景下融合注意力机制和时空图卷积神经网络的人 体动作识别方法
技术领域
本发明涉及模式识别与计算机视觉领域，尤其涉及一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法。
背景技术
视觉一直是人类获取外界信息的最重要、最直观的途径，据有关统计，人类获取信息的80％都是通过视觉。随着摄像头等图像传感器的质量不断上升，同时价格的不断下降，图像传感器得到大规模的部署和应用，每天都会因此产生海量的信息。单纯地依靠眼睛去获取所需要的信息已经不能满足人们对与新信息、新知识的要求。另外，随着计算机运算速度的提高、计算能力的进一步增强，以及图像处理算法的不断发展，计算机视觉技术应运而生。计算机视觉技术依托计算机或者其他嵌入式平台，利用图像处理、机器学习和深度学习等技术，对图像进行特定目标检测识别、图像切割和图像理解等处理，实现对图像中的视觉信息自动分析和智能处理，提取我们所感兴趣的信息。近年来，计算机视觉技术得到越来越多研究人员的青睐，是当前最活跃和最重要的一个方向。基于视频的人体行为识别作为计算机视觉的一个热门研究领域，旨在研究和理解视频中人的行为动作，包括人的单体行为动作、人与人之间的交互行为、人与环境的交互关系等，自动识别视频或者图片序列中的行为动作。
人体行为识别方法主要分为传统的机器学习和深度学习两大类方法。传统的机器学习主要算法流程为特征提取、特征编码、行为分类这三个步骤。深度学习主要有双流卷积网络(Two-Stream Convolutional Networks)及其衍生网络、3D卷积神经网络(3DConvolutional Neural Networks，3D卷积)和长短期记忆网络(Long-Short Term Memory，LSTM)等等。
当前安防场景下人体动作识别的困难之处包括：
(1)在安防场景下异常动作发生频率很低、数据收集和标注困难等问题，即无论是常规动作还是异常动作都存在多样且复杂的特点，进而导致类别内的多样性较高。
(2)传统的骨架建模方法通常依赖于手工制作的部件或遍历规则，导致表达能力有限与难以推广。
时间信息是视频动作识别的关键因素，在视频动作识别中，探索研究一种有效的运动表示方法是非常重要的。传统如3DHOG、运动向量、密集轨迹等运动描述方法存在效率低下、准确率偏低等问题。
发明内容
针对上述问题，本发明提供一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，解决安防场景下异常动作发生频率很低、数据收集和标注困难；传统的骨架建模方法通常依赖于手工制作的部件或遍历规则，导致表达能力有限与难以推广；传统如3DHOG、运动向量、密集轨迹等运动描述方法存在效率低下、准确率偏低等问题。
其首先对获取的安防场景下的人体动作分析数据集进行随机划分，分为为训练集和验证集；其次对训练集和验证集视频数据进行数据增强处理；接着对获取的和增强的数据集利用注意力机制进行关键帧筛选；然后对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注，为训练人体动作检测与识别模型做好准备；最后构建时空骨骼图卷积神经网络模型，并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重，使用验证集进行神经网络模型的准确率预测。
本发明具体包括以下方案：
一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于，包括以下步骤：
步骤S1：对获取的安防场景下的人体动作分析数据集进行随机划分，分为为训练集和验证集；
步骤S2：对训练集和验证集中的安防视频数据进行数据增强处理；
步骤S3：对增强后的人体动作分析数据集利用注意力机制进行关键帧筛选；
步骤S4：对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注；
步骤S5：构建时空骨骼图卷积神经网络模型，使用训练集进行训练并利用随机梯度下降进行优化网络参数权重；
步骤S6：使用验证集进行融合注意力机制和时空骨骼图卷积神经网络模型的准确率预测。
优选地，步骤S1具体包括以下步骤：
步骤S11：获取安防视频数据构建人体动作分析数据集，对获得的安防视频数据进行标准化处理，将视频分辨率和帧率统一；
步骤S12：将所述人体动作分析数据集按照100:1的比例随机分为训练集和验证集。
优选地，步骤S2具体包括以下步骤：
步骤S21：对所述安防视频数据进行自适应随机遮挡增强；
步骤S22：对所述安防视频数据进行旋转变换增强；
步骤S23：对所述安防视频数据进行随机剪裁增强；
步骤S24：对所述安防视频数据进行对比度变换增强；
步骤S25：对所述安防视频数据进行长或宽拉伸增强；
步骤S26：对所述安防视频数据进行随机加噪增强；
步骤S27：对所述安防视频数据进行去噪增强。
优选地，步骤S3具体包括以下步骤：
步骤S31：从一个安防视频数据序列中选择N个视频帧构成一个视频帧集合；
步骤S32：将所述视频帧集合中的每张图片经过预训练的ResNet50处理后得到N*2048*8*4的特征图；
步骤S33：将所述特征图送入多区域空间注意力模块得到多个关注不同行人的特征集；
步骤S34：将不同视频帧同一个行人的特征经过时域注意力模块进行处理；
步骤S35：在时域上进行聚合得到一个行人的一个向量表示，多个行人得到的多个向量连接后经过一个全连接降维后作为视频序列的特征，训练阶段使用OIM loss训练，获得一个视频序列的关键帧。
优选地，步骤S4具体包括以下步骤：
步骤S41：对筛选出来的关键帧视频输入到OpenPose姿态估计系统中，并使用COCO模型提取18个关键点坐标信息和概率；
步骤S42：将关键帧视频数据表示为(3,T,18,2)的张量，其中T为视频数据的帧数，并将每个关键帧视频通过重复填充到300帧，使一个特征对应一个json数据文件；
步骤S43：将提取完特征的全部所述json数据文件，转化并打包为一个关键帧视频文件对应一个json数据文件的格式；
步骤S44：对打包完的json数据文件进行人工标注，把关键帧视频对应的动作类型用标签进行标明。
优选地，在步骤S41当中，多人场景下，只选取置信度(所有关键点置信度均值)最高的两个人的关键点信息。
优选地，步骤S5具体包括以下步骤：
步骤S51：构造时空骨骼图卷积神经网络模型，采用图像卷积核公式：
Figure BDA0002050850740000041
其中x表示位置，K表示内核大小，h表示卷积核高度偏移的坐标，ω表示卷积核纵向偏移的坐标，fin表示输入特征函数，fout(x)表示x处的输出特征函数，P表示抽样函数，w表示权重函数；
步骤S52：将给定的某帧内的节点按照人体结构进行连接，然后将此帧，按帧内每个节点和下一帧中对应节点进行连接；
步骤S53：使用所述训练集进行训练并利用随机梯度下降对网络参数权重进行优化，损失函数为：
Figure BDA0002050850740000042
其中，J(θ)是损失函数，m代表每次取多少样本进行训练，i代表从1到m的循环参数，采用随机梯度下降进行训练，每次随机取一组样本，m＝1，θ是参数，h(θ)为待拟合的函数，x是样本值，y是预测目标。
优选地，步骤S6具体包括以下步骤：
步骤S61：将所述验证集进行数据增强；
步骤S62：采用步骤S3和S4的方法对验证集使用注意力机制进行关键帧筛选并转码和标注，得到视频中关键帧的信息；
步骤S63：将步骤S62得到的视频中关键帧的信息传入所述融合注意力机制和时空骨骼图卷积神经网络模型，得到一个类别，将此类别与标注的结果进行比较，计算准确率。
与现有技术相比，本发明及其优选方案具有以下主要有益效果：(1)不仅可以扩大原始动作数据量，还可以增强模型的鲁棒性，进而提升最终的动作识别准确率。(2)较大程度地提升了骨架建模能力。不仅具有较强的表达能力，而且具有较强的泛化能力。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例整体流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：
如图1所示，本实施例整体流程包括以下步骤：
步骤S1：对获取的安防场景下的人体动作分析数据集进行随机划分，分为为训练集和验证集；
在本实施例中，所述步骤S1具体包括：
步骤S11：采取自建或者下载公用的安防领域数据集；对获得的视频数据统一进行处理，将大小缩放为340*256，帧数率调整为30帧/秒；
步骤S12：将数据集按照100:1的比例随机分为训练集和验证集。
步骤S2：对训练集和验证集视频数据进行数据增强处理；
在本实施例中，所述步骤S2具体包括：
步骤S21：对视频数据进行自适应随机遮挡增强；
步骤S22：对视频数据进行旋转变换增强；
步骤S23：对视频数据进行随机剪裁增强；
步骤S24：对视频数据进行对比度变换增强；
步骤S25：对视频数据进行长或宽拉伸增强；
步骤S26：对视频数据进行随机加噪增强；
步骤S27：对视频数据进行去噪增强；
步骤S3：对获取的和增强的数据集利用注意力机制进行关键帧筛选；
在本实施例中，所述步骤S3具体包括：
步骤S31：从一个安防视频数据序列中选择N个视频帧构成一个视频帧集合；
步骤S32：将所述视频帧集合中的每张图片经过预训练的ResNet50处理后得到N*2048*8*4的特征图；
步骤S33：将所述特征图送入多区域空间注意力模块得到多个关注不同行人的特征集；
该多区域空间注意力模块的具体实现方式为：对于每张图，看作有32个2048维的空间特征，对于每个空间注意力模块，将2048*32的空间特征图经过d个神经元的全连接和Relu降维得到dx32，然后再经过一个神经元的全连接得到一张图32个空间向量分数，经过softmax得到32个空间向量的权重，然后根据L个权重对L个空间特征进行加权求和，得到第n帧、第k个空间注意力模块的特征；
步骤S34：将不同视频帧同一个行人的特征经过时域注意力模块进行处理；时域注意力模块是为了关注到更多细粒度的信息，采用了N*K个权重、每帧视频的每个空间感受野一个单独权重的时域注意力方法。该模块具体实现为：将特征图经过一个神经元的全连接得到一个分数，然后经时域上的softmax得到时域权重；
步骤S35：在时域上进行聚合得到一个行人的一个向量表示，多个行人得到的多个向量连接后经过一个全连接降维后作为视频序列的特征，训练阶段使用OIM loss训练，获得一个视频序列的关键帧。
步骤S4：对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注，为训练人体动作检测与识别模型做好准备；
在本实施例中，所述步骤S4具体包括：
步骤S41：对筛选出来的关键帧视频输入到OpenPose姿态估计系统中，并使用COCO模型提取18个关键点坐标信息和概率；多人场景下，只选取置信度最高(所有关键点置信度均值)的两个人的关键点信息；
步骤S42：将视频数据表示为(3,T,18,2)的张量，其中T为视频数据的帧数，为方便起见，将每个视频通过重复填充到300帧，此时是一个特征一个json数据文件，即一个视频文件有多个特征数据。
步骤S43：将提取完特征的全部json格式文件，转化并打包为一个视频文件对应一个json文件的格式。
步骤S44：对打包完的json视频数据进行人工标注，把视频文件对应的动作类型用标签进行标明。为训练人体动作检测与识别模型做好准备。
步骤S5：构建时空骨骼图卷积神经网络模型，并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重；
在本实施例中，所述步骤S5具体包括：
步骤S51：构造时空骨骼图卷积神经网络模型，采用图像卷积核公式：
Figure BDA0002050850740000071
其中x表示位置，K表示内核大小，h表示卷积核高度偏移的坐标，ω表示卷积核纵向偏移的坐标，fin表示输入特征函数，fout(x)表示x处的输出特征函数，P表示抽样函数，w表示权重函数；
步骤S52：将给定的某帧内的节点按照人体结构进行连接，然后将此帧，按帧内每个节点和下一帧中对应节点进行连接，这样构造可使模型应用于具有不同节点数和节点连接关系的不同数据集；
步骤S53：使用训练集进行训练并利用随机梯度下降进行优化网络参数权重，损失函数为：
Figure BDA0002050850740000072
其中，J(θ)是损失函数，m代表每次取多少样本进行训练，i代表从1到m的循环参数，采用随机梯度下降进行训练，每次随机取一组样本，m＝1，θ是参数，h(θ)为待拟合的函数，x是样本值，y是预测目标。
步骤S6：使用验证集进行融合注意力机制和时空骨骼图卷积神经网络模型的准确率预测。
在本实施例中，所述步骤S6具体包括：
步骤S61：将验证集进行数据增强；
步骤S62：采用步骤S3和S4的方法对验证集使用注意力机制进行关键帧筛选并转码和标注，得到视频中关键帧的信息；
步骤S63：将步骤S62得到的视频中关键帧的信息传入所述融合注意力机制和时空骨骼图卷积神经网络模型，得到一个类别，将此类别与标注的结果进行比较，计算准确率。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (5)

1.一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于，包括以下步骤：
步骤S1：对获取的安防场景下的人体动作分析数据集进行随机划分，分为训练集和验证集；
步骤S2：对训练集和验证集中的安防视频数据进行数据增强处理；
步骤S3：对增强后的人体动作分析数据集利用注意力机制进行关键帧筛选；
步骤S4：对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注；
步骤S5：构建时空骨骼图卷积神经网络模型，使用训练集进行训练并利用随机梯度下降进行优化网络参数权重；
步骤S6：使用验证集进行融合注意力机制和时空骨骼图卷积神经网络模型的准确率预测；
步骤S3具体包括以下步骤：
步骤S31：从一个安防视频数据序列中选择N个视频帧构成一个视频帧集合；
步骤S32：将所述视频帧集合中的每张图片经过预训练的ResNet50处理后得到N*2048*8*4的特征图；
步骤S33：将所述特征图送入多区域空间注意力模块得到多个关注不同行人的特征集；
步骤S34：将不同视频帧同一个行人的特征经过时域注意力模块进行处理；
步骤S35：在时域上进行聚合得到一个行人的一个向量表示，多个行人得到的多个向量连接后经过一个全连接降维后作为视频序列的特征，训练阶段使用OIM loss训练，获得一个视频序列的关键帧；
步骤S4具体包括以下步骤：
步骤S41：对筛选出来的关键帧视频输入到OpenPose姿态估计系统中，并使用COCO模型提取18个关键点坐标信息和概率；
步骤S42：将关键帧视频数据表示为(3,T,18,2)的张量，其中T为视频数据的帧数，并将每个关键帧视频通过重复填充到300帧，使一个特征对应一个json数据文件；
步骤S43：将提取完特征的全部所述json数据文件，转化并打包为一个关键帧视频文件对应一个json数据文件的格式；
步骤S44：对打包完的json数据文件进行人工标注，把关键帧视频对应的动作类型用标签进行标明；
步骤S5具体包括以下步骤：
步骤S51：构造时空骨骼图卷积神经网络模型，采用图像卷积核公式：
Figure FDA0003764271260000021
其中x表示位置，K表示内核大小，h表示卷积核高度偏移的坐标，ω表示卷积核纵向偏移的坐标，fin表示输入特征函数，fout(x)表示x处的输出特征函数，P表示抽样函数，w表示权重函数；
步骤S52：将给定的某帧内的节点按照人体结构进行连接，然后将此帧，按帧内每个节点和下一帧中对应节点进行连接；
步骤S53：使用所述训练集进行训练并利用随机梯度下降对网络参数权重进行优化，损失函数为：
Figure FDA0003764271260000022
其中，J(θ)是损失函数，m代表每次取多少样本进行训练，i代表从1到m的循环参数，采用随机梯度下降进行训练，每次随机取一组样本，m＝1，θ是参数，h(θ)为待拟合的函数，x是样本值，y是预测目标。
2.根据权利要求1所述的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于：
步骤S1具体包括以下步骤：
步骤S11：获取安防视频数据构建人体动作分析数据集，对获得的安防视频数据进行标准化处理，将视频分辨率和帧率统一；
步骤S12：将所述人体动作分析数据集按照100:1的比例随机分为训练集和验证集。
3.根据权利要求1所述的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于：
步骤S2具体包括以下步骤：
步骤S21：对所述安防视频数据进行自适应随机遮挡增强；
步骤S22：对所述安防视频数据进行旋转变换增强；
步骤S23：对所述安防视频数据进行随机剪裁增强；
步骤S24：对所述安防视频数据进行对比度变换增强；
步骤S25：对所述安防视频数据进行长或宽拉伸增强；
步骤S26：对所述安防视频数据进行随机加噪增强；
步骤S27：对所述安防视频数据进行去噪增强。
4.根据权利要求1所述的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于：在步骤S41当中，多人场景下，只选取所有关键点置信度均值最高的两个人的关键点信息。
5.根据权利要求1所述的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法，其特征在于：
步骤S6具体包括以下步骤：
步骤S61：将所述验证集进行数据增强；
步骤S62：采用步骤S3和S4的方法对验证集使用注意力机制进行关键帧筛选并转码和标注，得到视频中关键帧的信息；
步骤S63：将步骤S62得到的视频中关键帧的信息传入所述融合注意力机制和时空骨骼图卷积神经网络模型，得到一个类别，将此类别与标注的结果进行比较，计算准确率。
CN201910373679.1A 2019-05-07 2019-05-07 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 Active CN110119703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910373679.1A CN110119703B (zh) 2019-05-07 2019-05-07 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910373679.1A CN110119703B (zh) 2019-05-07 2019-05-07 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

Publications (2)

Publication Number Publication Date
CN110119703A CN110119703A (zh) 2019-08-13
CN110119703B true CN110119703B (zh) 2022-10-04

Family

ID=67521772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373679.1A Active CN110119703B (zh) 2019-05-07 2019-05-07 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

Country Status (1)

Country Link
CN (1) CN110119703B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515456B (zh) * 2019-08-14 2022-09-23 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN111091045B (zh) * 2019-10-25 2022-08-23 重庆邮电大学 一种基于时空注意力机制的手语识别方法
CN110781843B (zh) * 2019-10-29 2022-11-04 首都师范大学 课堂行为检测方法及电子设备
CN110909621A (zh) * 2019-10-30 2020-03-24 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于视觉的健身指导系统
CN110969187B (zh) * 2019-10-30 2020-12-11 创意信息技术股份有限公司 一种图谱迁移的语义分析方法
CN110929637B (zh) * 2019-11-20 2023-05-16 中国科学院上海微系统与信息技术研究所 一种图像识别方法、装置、电子设备及存储介质
CN111126453B (zh) * 2019-12-05 2022-05-03 重庆邮电大学 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN112950924B (zh) * 2019-12-10 2022-08-19 东北大学秦皇岛分校 一种基于深度学习的复杂交通路网交通速度预测方法
CN111738043A (zh) * 2019-12-10 2020-10-02 珠海大横琴科技发展有限公司 一种行人重识别方法及装置
CN111126478B (zh) * 2019-12-19 2023-07-07 北京迈格威科技有限公司 卷积神经网络训练方法、装置和电子系统
CN111027507A (zh) * 2019-12-20 2020-04-17 中国建设银行股份有限公司 基于视频数据识别的训练数据集生成方法及装置
CN111191626B (zh) * 2020-01-02 2021-01-01 北京航空航天大学 一种多类别交通工具的精细识别方法
CN111310659B (zh) * 2020-02-14 2022-08-09 福州大学 基于增进式图卷积神经网络的人体动作识别方法
CN111444812A (zh) * 2020-03-23 2020-07-24 星汉智能科技股份有限公司 一种用于公安日常训练的人体姿态评估方法及系统
CN111476181B (zh) * 2020-04-13 2022-03-04 河北工业大学 一种人体骨架动作的识别方法
CN111539941B (zh) * 2020-04-27 2022-08-16 上海交通大学 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
CN111709306B (zh) * 2020-05-22 2023-06-09 江南大学 基于多层次时空特征融合增强的双流网络行为识别方法
CN111695457B (zh) * 2020-05-28 2023-05-09 浙江工商大学 一种基于弱监督机制的人体姿态估计方法
CN111652899B (zh) * 2020-05-29 2023-11-14 中国矿业大学 一种时空部件图的视频目标分割方法
CN112084887A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于注意力机制的自适应视频分类方法及系统
CN112016506B (zh) * 2020-09-07 2022-10-11 重庆邮电大学 快速适应新场景的教室姿态检测模型参数训练方法
CN112101176B (zh) * 2020-09-09 2024-04-05 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112183317B (zh) * 2020-09-27 2022-04-19 武汉大学 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法
CN113205060A (zh) * 2020-12-28 2021-08-03 武汉纺织大学 采用循环神经网络依据骨骼形态判断的人体动作检测方法
CN112699786B (zh) * 2020-12-29 2022-03-29 华南理工大学 一种基于空间增强模块的视频行为识别方法及系统
CN112818829B (zh) * 2021-01-27 2022-09-09 中国科学技术大学 基于结构网络的弱监督时域动作定位方法及系统
CN112991656B (zh) * 2021-02-04 2022-08-16 北京工业大学 基于姿态估计的全景监控下人体异常行为识别报警系统及方法
CN112883930A (zh) * 2021-03-29 2021-06-01 动者科技(杭州)有限责任公司 基于全连接网络的实时真假运动判断方法
CN112926522B (zh) * 2021-03-30 2023-11-24 广东省科学院智能制造研究所 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN113408349B (zh) * 2021-05-17 2023-04-18 浙江大华技术股份有限公司 动作评价模型的训练方法、动作评价方法及相关设备
CN113673560B (zh) * 2021-07-15 2023-06-09 华南理工大学 一种基于多流三维自适应图卷积的人体行为识别方法
CN114879702B (zh) * 2022-07-06 2022-09-30 季华实验室 多智能体巡检控制方法、装置、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
US10438350B2 (en) * 2017-06-27 2019-10-08 General Electric Company Material segmentation in image volumes
US11853903B2 (en) * 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王珂等.一种融合全局时空特征的CNNs动作识别方法.《华中科技大学学报(自然科学版)》.2018,(第12期), *

Also Published As

Publication number Publication date
CN110119703A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110119703B (zh) 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN109886090B (zh) 一种基于多时间尺度卷积神经网络的视频行人再识别方法
CN110276316B (zh) 一种基于深度学习的人体关键点检测方法
CN113673489B (zh) 一种基于级联Transformer的视频群体行为识别方法
CN109711316B (zh) 一种行人重识别方法、装置、设备及存储介质
CN106951473B (zh) 面向视觉障碍人士的深度视觉问答系统的构建方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN113469094A (zh) 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN111091045A (zh) 一种基于时空注意力机制的手语识别方法
CN113283298B (zh) 基于时间注意力机制和双流网络的实时行为识别方法
CN112307982A (zh) 基于交错增强注意力网络的人体行为识别方法
CN114220154A (zh) 一种基于深度学习的微表情特征提取与识别方法
CN110163156A (zh) 一种基于卷积自编码模型的唇部特征提取方法
CN109766934A (zh) 一种基于深度Gabor网络的图像目标识别方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN115222998A (zh) 一种图像分类方法
CN110688966A (zh) 语义指导的行人重识别方法
CN106980823A (zh) 一种基于帧间自相似的动作识别方法
Du et al. Adaptive visual interaction based multi-target future state prediction for autonomous driving vehicles
CN115690917B (zh) 一种基于外观和运动智能关注的行人动作识别方法
CN115170985B (zh) 一种基于阈值注意力的遥感图像语义分割网络及分割方法
CN117011668A (zh) 一种基于时序预测神经网络的天气雷达回波外推方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant