CN113255514A - 基于局部场景感知图卷积网络的行为识别方法 - Google Patents

基于局部场景感知图卷积网络的行为识别方法 Download PDF

Info

Publication number
CN113255514A
CN113255514A CN202110562771.XA CN202110562771A CN113255514A CN 113255514 A CN113255514 A CN 113255514A CN 202110562771 A CN202110562771 A CN 202110562771A CN 113255514 A CN113255514 A CN 113255514A
Authority
CN
China
Prior art keywords
information
behavior
local scene
network
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110562771.XA
Other languages
English (en)
Other versions
CN113255514B (zh
Inventor
刘龙
黄炎航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110562771.XA priority Critical patent/CN113255514B/zh
Publication of CN113255514A publication Critical patent/CN113255514A/zh
Application granted granted Critical
Publication of CN113255514B publication Critical patent/CN113255514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了的一种基于局部场景感知图卷积网络的行为识别方法，具体包括如下步骤：步骤1，获取人体行为数据集；步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理，再利用骨骼信息获取骨骼关节点周围的局部场景信息；步骤3，搭建局部场景感知图卷积网络；步骤4，设计损失函数；步骤5，初始化神经网络参数；步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中；步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。解决了现有技术中存在的因为骨骼方法对场景信息感知能力弱，导致对于一部分较为依赖场景信息的动作识别效果较差的问题。

Description

基于局部场景感知图卷积网络的行为识别方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于局部场景感知图卷积网络的行为识别方法。
背景技术
人体行为识别是视频分类中重要的一个类别，在智能视频监控、医疗监护系统、运动训练、人机交互和虚拟现实等方面具有重要的应用价值。而近年来，随着各种具有深度信息提取能力的传感器(如微软发布的Kinect)及各种姿态估计算法的逐渐成熟，基于骨骼数据的行为识别方法成为了一种实现方法。相较于视频序列及二维图像信息进行行为识别容易受到光照、遮挡、穿着变化以及环境变化影响，骨骼数据的表现形式更加稳定，此类研究中由卷积神经网络泛化而来的图卷积神经网络模型发展较晚，但取得了目前最佳的识别效果。而骨骼数据在避免受外部不稳定条件干扰的同时，也面临着丢失场景信息的缺陷，导致此类算法识别率难以进一步提升。
现有行为识别任务中，识别对象往往会与场景中的一些物体对象进行交互。而对此类信息表现能力的不足导致基于骨骼数据的行为识别方法对某些骨骼运动表现近似的动作类识别精度较差。如戴帽子、摘帽子这种关节时序信息相似的动作对于基于骨骼信息的行为识别方法分辨难度较高。而关节点周围的图像中包含了一部分场景信息，也包括一部分当前动作序列中交互物体的信息。也因此，局部区域的场景信息对于骨骼行为识别效果的进一步提升有着很大的作用。
发明内容
本发明的目的是提供一种基于局部场景感知图卷积网络的行为识别方法，该方法通过RGB信息与关节坐标特征的深度融合的方式解决了现有技术中存在的因为骨骼方法对场景信息感知能力弱，导致对于一部分较为依赖场景信息的动作识别效果较差的问题。
本发明所采用的技术方案是，基于局部场景感知图卷积网络的行为识别方法，具体包括如下步骤：
步骤1，获取人体行为数据集；
步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理获得2D或3D骨骼信息，再利用骨骼信息获取骨骼关节点周围的局部场景信息；
步骤3，搭建局部场景感知图卷积网络；
步骤4，设计损失函数；
步骤5，初始化神经网络参数；
步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；
步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。
本发明的特点还在于：
步骤2的具体过程为：
步骤2.1，对步骤1得到数据集按帧进行拆分，得到N帧对应的N个图像；
步骤2.2，对单帧图像中的人体关节信息进行获取，得到N帧对应的N组关节信息；
步骤2.3，将关节点信息映射到原RGB图像中，获取每个关节点信息为中心的局部场景RGB信息；
步骤2.4，将人体整体关节坐标以重心为x＝0，y＝0为基准进行平移，并进行将坐标信息归一化到(0,1)区间内。
步骤3中搭建的局部场景感知图卷积网络，输入部分为双支路输入，支路一输入为关节信息，结构依次为：输入层、批归一化层、三个级联的图卷积层；支路二输入为各关节点对应的局部场景RGB信息结构依次为：输入层、批归一化层、三个级联的卷积层、以及全局平均池化层；支路一特征向量由关节位置得到，支路二特征向量由局部场景RGB信息得到。二者在特征通道上进行连接，并在后续网络层中进行后续分类。
步骤4中损失函数如下公式(1)所示：
Figure BDA0003079593840000031
其中，M表示类别数量，即数据库中包含行为类别数目；yc为指示变量，在类别与样本类别相同时为1，否则为0；pc表示Softmax层输出的属于类别C的预测概率。
步骤5的具体过程为：
对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，learning_rate为学习率。
步骤6的具体过程为：将步骤2得到的结果作为输入，单个样本为一个三维矩阵(C,T,V)，C为特征通道，即坐标信息，通道数为2，T＝300为时间序列，V为节点数量；通道2输入为多个经过剪裁得到的图像(C,T,V,H,W),此处C为通道数，RGB图像的通道数为3，T和V与通道1相同，W和H对应剪裁得到的局部区域RGB信息的宽和高，对应的行为标签作为输出。
步骤7的具体过程为：获取人体行为视频，将该行为视频进行剪辑预处理，并采用步骤2中方法获取人体关节结构图，以及各个关节对应的局部场景信息；将该信息输入训练搭建好的神经网络模型中计算输出预测分类结果对应的标签。
本发明的有益效果如下：
1.本发明基于局部场景感知图卷积网络的行为识别方法，使用关节坐标信息和关节周围局部图像信息作为共同输入，代替了原本单一模态特征作为输入，弥补了之前图卷积类行为识别方法对场景信息感知能力弱，对一些近似动作易错分的缺点；
2.本发明基于局部场景感知图卷积网络的行为识别方法针对使用的样本类型，使场景信息和关节信息在深度特征层面进行融合，相比传统的图卷积网络，经过修改的模型可以更好的同时学习两种信息，从而用于分类和识别任务。
附图说明
图1是本发明基于局部场景感知图卷积网络的行为识别方法中根据图像获取关节点及关节点周围的局部场景信息；
图2是本发明基于局部场景感知图卷积网络的行为识别方法中姿态估计算法获取的所有人体关节点；
图3是本发明基于局部场景感知图卷积网络的行为识别方法中提出的局部场景感知图卷积网络框架。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于局部场景感知图卷积网络的行为识别方法中，具体包括如下步骤：
步骤1、获取人体行为数据集；
步骤1具体为：使用图像采集设备采集行人的行为数据，使用常用的行为用数据集或自行建立数据集，常用的行为识别用数据集包括NTU-RGB+D数据集，或Kinetics-600数据集。自行建立数据集则根据需求采集不同场景和动作类别的视频序列，经过剪辑与标注处理得到单个视频对应单个动作标签的数据类型。
步骤2、对步骤1得到的训练数据使用经典姿态估计方法进行预处理获得2D或3D骨骼信息，再利用骨骼信息获取骨骼关节点周围的局部场景信息；
步骤2如图1所示，具体包括以下步骤：
步骤2.1、对步骤1得到训练数据按帧进行拆分，得到N帧对应的N个图像；
步骤2.2、利用经典姿态估计算法OpenPose对单帧图像中的人体关节信息进行获取，得到N帧对应的N组关节信息，具体如图2所示；
步骤2.3、将关节点信息映射到原RGB图像中，获取每个关节点信息为中心的局部场景RGB信息，具体为48×48像素的大小；
步骤2.4、将关节信息进行预处理，将坐标进行尺度和空间位置的标准统一，主要步骤是要将人体整体关节坐标以重心为x＝0，y＝0为基准进行平移，并进行将坐标信息归一化到(0,1)区间内；
步骤2.2中关节点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、有耳朵、左耳朵。
步骤3、搭建局部场景感知图卷积网络；
步骤3中局部场景感知图卷积网络，具体细节为：输入部分为双支路输入，支路1输入为关节信息，结构依次为：输入层、批归一化层、三个级联的图卷积层；支路2输入为各关节点对应的局部场景RGB信息结构依次为：输入层、批归一化层、三个级联的卷积层、以及全局平均池化层，具体如图3所示。支路1与支路2特征提取后分别得到各关节的特征向量，支路1特征向量由关节位置得到，支路2特征向量由局部场景RGB信息得到。二者在特征通道上进行连接，并在后续网络层中进行后续分类。设关节n的骨骼特征向量为Sn，RGB特征向量为Rn，其连接过程公式如下：Fn＝concat(Sn,Rn)。concat表示向量的连接操作。
后续具体网络结构为：批归一化层、六个级联的图卷积层、全局平均池化层、全连接层和softmax输出层。
每个卷积层具体设置为：1、卷积窗口大小：具体设置为3×3卷积；2、滑动步长：具体设置为1；3、填充参数：具体设置为1，保证卷积得到的特征图宽高不变。
每个图卷积层包括三部分：1、注意力机制层，用于衡量不同重心点的重要性；2、空间图卷积层，在空间维度上，即单帧内对每个重心点上，进行图卷积操作，卷积核大小为3，用于计算某时刻空间中包含的信息；3、时间图卷积层，在时间维度上进行图卷积操作，卷积核大小为9，用于计算重心点在时间上运动包含的信息。
图卷积公式如下：
Figure BDA0003079593840000071
其中节点vti邻域集的采样函数p定义为
Figure BDA0003079593840000072
同时包含空间上的邻域和时间上的邻域。其中d(vtj,vti)表示vti到vtj的最小路径，|q-t|表示节点在时间上的距离，D与Γ均为参数。因此采样函数可以写作p(vti,vtj)＝vtj。而权重函数并非给每个相邻节点一个唯一的标签，而是将一个关节点的邻域集划分为多个子集。权重函数w(vti,vtj)＝w'(lST(vqj))。其中l为将节点到子集标签的映射关系
Figure BDA0003079593840000073
其中lti(vtj)是vti中单帧情况下的标签映射关系。实际训练参数D＝1,Γ＝9,K＝2；
步骤4、设计损失函数；
本发明实现步骤4具体可视为一个多分类任务，采用分类任务中主要采用的交叉熵损失函数，具体计算为：
Figure BDA0003079593840000081
其中，M表示类别数量，即数据库中包含行为类别数目；yc为指示变量，在类别与样本类别相同时为1，否则为0；pc表示Softmax层输出的属于类别C的预测概率。
步骤5、初始化神经网络参数；
步骤5具体为：对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，设定为四的倍数，通常设置为{32，64}中的一个，learning_rate为学习率，初始学习率为0.01，每遍历30次数据后学习率降低10％，共遍历全部样本120次。
步骤6，训练搭建好的神经网络，将步骤2所得结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；
步骤6具体为：将步骤2所得结果作为输入，单个样本为一个三维矩阵(C,T,V)，C为特征通道，也就是坐标信息，通道数为2，T＝300为时间序列成都，V为节点数量；通道2输入为多个经过剪裁得到的图像(C,T,V,H,W),此处C为通道数，RGB图像的通道数为3，T和V与通道1相同，W和H对应剪裁得到的局部区域RGB信息的宽和高，W＝28,H＝28，对应其行为标签作为输出，模型训练过程采用随机梯度下降法。
步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。
步骤7具体为：获取人体行为视频，将该行为视频进行剪辑预处理，并采用步骤2中方法获取人体关节结构图，以及各个关节对应的局部场景信息；将该信息输入训练搭建好的神经网络模型中计算输出预测分类结果对应的标签。

Claims (7)

1.基于局部场景感知图卷积网络的行为识别方法，其特征在于：具体包括如下步骤：
步骤1，获取人体行为数据集；
步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理获得2D或3D骨骼信息，再利用骨骼信息获取骨骼关节点周围的局部场景信息；
步骤3，搭建局部场景感知图卷积网络；
步骤4，设计损失函数；
步骤5，初始化神经网络参数；
步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；
步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。
2.根据权利要求1所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，对步骤1得到数据集按帧进行拆分，得到N帧对应的N个图像；
步骤2.2，对单帧图像中的人体关节信息进行获取，得到N帧对应的N组关节信息；
步骤2.3，将关节点信息映射到原RGB图像中，获取每个关节点信息为中心的局部场景RGB信息；
步骤2.4，将人体整体关节坐标以重心为x＝0，y＝0为基准进行平移，并进行将坐标信息归一化到(0,1)区间内。
3.根据权利要求2所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤3中搭建的局部场景感知图卷积网络，输入部分为双支路输入，支路一输入为关节信息，结构依次为：输入层、批归一化层、三个级联的图卷积层；支路二输入为各关节点对应的局部场景RGB信息结构依次为：输入层、批归一化层、三个级联的卷积层、以及全局平均池化层；支路一特征向量由关节位置得到，支路二特征向量由局部场景RGB信息得到。二者在特征通道上进行连接，并在后续网络层中进行后续分类。
4.根据权利要求3所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤4中损失函数如下公式(1)所示：
Figure FDA0003079593830000021
其中，M表示类别数量，即数据库中包含行为类别数目；yc为指示变量，在类别与样本类别相同时为1，否则为0；pc表示Softmax层输出的属于类别C的预测概率。
5.根据权利要求4所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤5的具体过程为：
对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，learning_rate为学习率。
6.根据权利要求5所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤6的具体过程为：将步骤2得到的结果作为输入，单个样本为一个三维矩阵(C,T,V)，C为特征通道，即坐标信息，通道数为2，T＝300为时间序列，V为节点数量；通道2输入为多个经过剪裁得到的图像(C,T,V,H,W),此处C为通道数，RGB图像的通道数为3，T和V与通道1相同，W和H对应剪裁得到的局部区域RGB信息的宽和高，对应的行为标签作为输出。
7.根据权利要求6所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤7的具体过程为：获取人体行为视频，将该行为视频进行剪辑预处理，并采用步骤2中方法获取人体关节结构图，以及各个关节对应的局部场景信息；将该信息输入训练搭建好的神经网络模型中计算输出预测分类结果对应的标签。
CN202110562771.XA 2021-05-24 2021-05-24 基于局部场景感知图卷积网络的行为识别方法 Active CN113255514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110562771.XA CN113255514B (zh) 2021-05-24 2021-05-24 基于局部场景感知图卷积网络的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110562771.XA CN113255514B (zh) 2021-05-24 2021-05-24 基于局部场景感知图卷积网络的行为识别方法

Publications (2)

Publication Number Publication Date
CN113255514A true CN113255514A (zh) 2021-08-13
CN113255514B CN113255514B (zh) 2023-04-07

Family

ID=77183898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110562771.XA Active CN113255514B (zh) 2021-05-24 2021-05-24 基于局部场景感知图卷积网络的行为识别方法

Country Status (1)

Country Link
CN (1) CN113255514B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935407A (zh) * 2021-09-29 2022-01-14 光大科技有限公司 一种异常行为识别模型确定方法及装置
CN114187653A (zh) * 2021-11-16 2022-03-15 复旦大学 一种基于多流融合图卷积网络的行为识别方法
JP7560039B2 (ja) 2022-03-25 2024-10-02 広西大学 骨格情報を画像にマッピングする人物識別方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532861A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于骨架引导多模态融合神经网络的行为识别方法
CN111160294A (zh) * 2019-12-31 2020-05-15 西安理工大学 基于图卷积网络的步态识别方法
EP3664601A1 (en) * 2017-08-07 2020-06-17 The Jackson Laboratory Long-term and continuous animal behavioral monitoring
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统
CN111461063A (zh) * 2020-04-24 2020-07-28 武汉大学 一种基于图卷积和胶囊神经网络的行为识别方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112395945A (zh) * 2020-10-19 2021-02-23 北京理工大学 基于骨骼关节点的图卷积行为识别方法及装置
CN112633209A (zh) * 2020-12-29 2021-04-09 东北大学 一种基于图卷积神经网络的人类动作识别方法
CN112784736A (zh) * 2021-01-21 2021-05-11 西安理工大学 一种多模态特征融合的人物交互行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3664601A1 (en) * 2017-08-07 2020-06-17 The Jackson Laboratory Long-term and continuous animal behavioral monitoring
CN110532861A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于骨架引导多模态融合神经网络的行为识别方法
CN111160294A (zh) * 2019-12-31 2020-05-15 西安理工大学 基于图卷积网络的步态识别方法
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统
CN111461063A (zh) * 2020-04-24 2020-07-28 武汉大学 一种基于图卷积和胶囊神经网络的行为识别方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112395945A (zh) * 2020-10-19 2021-02-23 北京理工大学 基于骨骼关节点的图卷积行为识别方法及装置
CN112633209A (zh) * 2020-12-29 2021-04-09 东北大学 一种基于图卷积神经网络的人类动作识别方法
CN112784736A (zh) * 2021-01-21 2021-05-11 西安理工大学 一种多模态特征融合的人物交互行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHOU ZHIGANG等: "Human behavior recognition method based on double-branch deep convolution neural network", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
孙于成: "双流融合的动作识别方法研究", 《软件导刊》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935407A (zh) * 2021-09-29 2022-01-14 光大科技有限公司 一种异常行为识别模型确定方法及装置
CN114187653A (zh) * 2021-11-16 2022-03-15 复旦大学 一种基于多流融合图卷积网络的行为识别方法
JP7560039B2 (ja) 2022-03-25 2024-10-02 広西大学 骨格情報を画像にマッピングする人物識別方法

Also Published As

Publication number Publication date
CN113255514B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109636905B (zh) 基于深度卷积神经网络的环境语义建图方法
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN107808131B (zh) 基于双通路深度卷积神经网络的动态手势识别方法
CN111160164B (zh) 基于人体骨架和图像融合的动作识别方法
CN107103613B (zh) 一种三维手势姿态估计方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
KR20220081261A (ko) 객체 포즈 추정 방법 및 장치
CN116012950B (zh) 一种基于多重心时空注意图卷积网络的骨架动作识别方法
CN111028319A (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN114821640A (zh) 基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法
CN109670401B (zh) 一种基于骨骼运动图的动作识别方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN117854155B (zh) 一种人体骨骼动作识别方法及系统
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113158756A (zh) 基于HRNet深度学习的姿态、行为分析模块及分析方法
CN117115343A (zh) 动态场景自主定位与线上高精度三维重建方法
CN117218713A (zh) 动作解算方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant