CN111339942B - 基于视点调整的图卷积循环网络骨骼动作识别方法及系统 - Google Patents

基于视点调整的图卷积循环网络骨骼动作识别方法及系统 Download PDF

Info

Publication number
CN111339942B
CN111339942B CN202010119344.XA CN202010119344A CN111339942B CN 111339942 B CN111339942 B CN 111339942B CN 202010119344 A CN202010119344 A CN 202010119344A CN 111339942 B CN111339942 B CN 111339942B
Authority
CN
China
Prior art keywords
network
data
graph convolution
viewpoint
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119344.XA
Other languages
English (en)
Other versions
CN111339942A (zh
Inventor
周风余
黄晴晴
贺家凯
刘美珍
尹磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010119344.XA priority Critical patent/CN111339942B/zh
Publication of CN111339942A publication Critical patent/CN111339942A/zh
Application granted granted Critical
Publication of CN111339942B publication Critical patent/CN111339942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于视点调整的图卷积循环网络骨骼动作识别方法及系统，涉及动作识别技术领域，解决了观测视角不同带来的识别准确率下降的问题，具体方案为：对获取的动作数据进行预处理；利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果；本公开综合了图卷积网络和循环网络的优点，实现了对骨骼数据时间和空间信息的建模，从而能够在LSTM网络动作识别方法的基础上进一步提高动作识别的准确率，在基于骨骼数据集的行为识别上具有通用性，有广阔的应用前景。

Description

基于视点调整的图卷积循环网络骨骼动作识别方法及系统
技术领域
本公开涉及动作识别技术领域，特别涉及一种基于视点调整的图卷积循环网络骨骼动作识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
人类动作的识别一直是计算机视觉领域中很重要也非常具有挑战性的问题。人类动作识别技术应用在多个领域，如视觉监控、人机交互、视频索引/检索、视频摘要和视频理解等。
基于骨架的人类动作识别的主要挑战之一是捕获人类动作数据时复杂的视点变化。如果从不同的视点捕获相同姿态的骨架表示，则会有很大的不同。根据输入数据的不同，动作识别可以分为基于RGB数据的深度学习方法和基于骨骼的深度学习方法，相比于RGB数据，骨骼数据有对光照、颜色等具有很强的鲁棒性，数据量小，可以表达动作的大部分特征等优点，所以现在越来越多的研究人员基于骨骼来研究动作识别。
本公开发明人发现，现有技术中大多采用神经网络模型进行骨骼动作的识别，但是因为拍摄视角的不同或被拍摄人员身体的移动而造成的观测视角不同，从不同的视点捕获相同姿态的骨架表示，得到的识别结果也会有很大不同，从而导致最终的动作识别准确率较低。
发明内容
为了解决现有技术的不足，本公开提供了一种基于视点调整的图卷积循环网络骨骼动作识别方法及系统，能够在长短时记忆网络动作识别方法的基础上充分提取骨骼数据的空间结构信息，提高了动作识别的准确率。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于视点调整的图卷积循环网络骨骼动作识别方法。
一种基于视点调整的图卷积循环网络骨骼动作识别方法，包括以下步骤：
对获取的动作数据进行预处理；
利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；
采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果。
本公开第二方面提供了一种基于视点调整的图卷积循环网络骨骼动作识别系统。
一种基于视点调整的图卷积循环网络骨骼动作识别系统，包括：
预处理模块，被配置为：对获取的动作数据进行预处理；
骨骼数据预测模块，被配置为：利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；
分类模块，被配置为：采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果。
本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
与现有技术相比，本公开的有益效果是：
本公开所述的方法、系统、介质及电子设备，能够解决因为拍摄视角的不同或拍摄人员身体的移动而造成的观测视角的问题，将所有数据自动调整到最佳观测视角。
本公开所述的方法、系统、介质及电子设备，采用GC-LSTM(图卷积循环神经网络)，综合了图卷积网络和循环网络的优点，实现了对骨骼数据时间和空间信息的建模，从而能够在LSTM(长短期记忆网络)网络动作识别方法的基础上进一步提高动作识别的准确率，在基于骨骼数据集的行为识别上具有通用性，有广阔的应用前景。
附图说明
图1为本公开实施例1提供的基于视点调整的图卷积循环网络骨骼动作识别方法的流程图。
图2为本公开实施例1提供的基于视点调整的图卷积循环网络骨骼动作识别方法的神经网络结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本公开实施例1提供了一种基于视点调整的图卷积循环网络骨骼动作识别方法，包括以下步骤：
(1)对获取的动作数据进行预处理，使用NTU-RGB+D数据集作为动作识别数据集，该数据集是最大的动作数据，提供了3D的骨骼坐标，包含60类不同的动作，包括交叉视角和交叉主体两个基准；
具体为：
(1-1)从骨骼序列中获取原始身体数据；从骨骼序列中获取原始身体数据，每个身体数据都是一个字典，包含原始三维关节、原始2D颜色位置、主体的帧索引等关键词；
(1-2)从原始骨架序列中获取去噪数据；从原始骨架序列中获取去噪数据(关节位置和颜色位置)，对于一个骨架序列的每一帧，一个人员的25个关节的3D位置通过一个2D数组(形状：25×3)表示出来，将每个3维(x，y，z)坐标按关节顺序沿行维连接成一个75维的向量；
(1-3)为了对初始位置的动作不敏感，将坐标原点从摄像机传感器的位置转换到第一帧的身体中心位置；
(1-4)根据人体的物理连接，确定骨骼关节点之间边的连接，确定邻接矩阵A，邻接矩阵中相邻的节点值为1(自连接为1)，否则为0，采样一个固定长度为100帧的骨骼序列作为输入，邻居节点的集合只包括直接相连的邻居节点。
(2)建立VA-LSTM子网络和GC-LSTM时空主网络，将VA-LSTM子网络调整过观测视角的骨骼数据输入到GC-LSTM时空主网络，获取骨骼数据的时空信息，并通过Softmax进行动作分类；
具体为：
(2-1)使用LSTM构建一个视点自动调整子网络，由两部分组成，一部分是平移网络由一层LSTM层和一层全连接层组成(输出维度为100)，其中
Figure GDA0003574214810000051
dt是平移参数，
Figure GDA0003574214810000052
是LSTM层隐藏输出的向量，Wd，bd是表示FC层的权矩阵和偏移向量；另一部分是旋转网络也由一层LSTM层和一层全连接层组成(输出维度为100)，其中
Figure GDA0003574214810000053
Rt是旋转参数，
Figure GDA0003574214810000054
是LSTM层隐藏输出的向量，Wr，br是表示FC层的权矩阵和偏移向量，调整视点后的输入骨骼节点是v′t，j＝Rt(vt，j-dt)，vt，j＝[xt，j，yt，j，zt，j]T为输入的骨骼节点在三维坐标系下的坐标；
(2-2)使用3层GC-LSTM构建一个时空主网络获取骨骼数据的时空信息，所述图卷积模块的卷积核大小为1*1，每个GC-LSTM层的通道数为100维，将视点调整子网络与LSTM主网络串联起来，GC-LSTM模块的输入为Vt′＝{v′t，1，...，v′t，J}，输出为Ht：
it＝σ(Wxi*gVt′+Whi*gHt-1+bi)
ft＝σ(Wxf*gVt′+Whf*gHt-1+bf)
ot＝σ(Wxo*gVt′+Who*gHt-1+bo)
ut＝tanh(Wxc*gVt′+Whc*gHt-1+bc)
Ct＝ft⊙Ct-1+it⊙ut
Ht＝ot⊙tanh(Ct)
其中*g是图卷积，⊙是Hadamard乘积，σ(⊙)是sigmoid激活函数，it,ft,ot是输入门、遗忘门和输出门，ut是中间输入，Ct是记忆细胞输出，权重Wx,Wh和偏差bi,bf,bo,bc是模型参数，Ht-1是隐藏层的输出，然后将获取的时空特征连接到一个全连接层，再通过softmax进行动作分类。
(3)用训练集训练网络，优化参数，得到基于视点调整的图卷积循环网络骨骼动作识别网络；
具体为：
(3-1)所述网络训练、调优的方法为反向传播算法，选择交叉熵为损失函数，以top1(预测结果中概率最大的那个分类正确，则预测正确，否则预测错误)、top5(预测结果中概率向量最大的前五个中，只要出现了正确的类别即为预测正确，否则预测错误)衡量准确率；
使用Adam优化器来优化网络，采用概率为0.5的Dropout来避免数据集的过拟合，初始学习率设置为0.0005，并通过每20个周期乘以0.1来降低，数量样本的批处理大小为64；
(3-2)权重初始化，参数初始化时选择均值为0、方差为0.02的随机初始化，加载数据、模型、优化器，直到所述分类层Softmax输出的损失函数值下降并收敛时结束训练。
(4)把测试集输入到步骤(3)得到的网络进行预测，给出对应的动作类别，测试的批处理大小为64。
本实施例所述的方法能够解决因为拍摄视角的不同或拍摄演员的移动而造成的观测视角的问题，将所有数据自动调整到最佳观测视角，通过采用GC-LSTM网络，综合了图卷积网络和循环网络的优点，实现了对骨骼数据时间和空间信息的建模，从而能够在LSTM网络动作识别方法的基础上进一步提高动作识别的准确率，在基于骨骼数据集的行为识别上具有通用性，有广阔的应用前景。
实施例2：
本公开实施例2提供了一种基于视点调整的图卷积循环网络骨骼动作识别系统，包括：
预处理模块，被配置为：对获取的动作数据进行预处理；
骨骼数据预测模块，被配置为：利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；
分类模块，被配置为：采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果。
具体的识别方法与实施例1中的相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种基于视点调整的图卷积循环网络骨骼动作识别方法，其特征在于，包括以下步骤：
对获取的动作数据进行预处理；
利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；利用循环神经网络构建一个视点自动调整子网络，用于进行观测视角的调整；并将调整过观测视角的骨骼数据输入到图卷积循环神经网络，获取骨骼数据的时空信息；
其中，采用长短期记忆网络构建一个视点自动调整子网络，包括平移网络和旋转网络：
所述平移网络和旋转网络均包括一层长短期记忆网络层和一层全连接层，分别得到平移参数和旋转参数；调整视点后的输出为原始输入坐标数据与平移参数做差后与旋转网络的乘积；
采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果。
2.如权利要求1所述的基于视点调整的图卷积循环网络骨骼动作识别方法，其特征在于，对获取的动作数据进行预处理，具体为：
从骨骼序列中获取原始身体数据，从原始身体数据中获取去噪数据，将坐标原点从摄像机传感器的位置转换到第一帧的身体中心位置，根据人体的物理连接，确定骨骼关节点之间边的连接，确定邻接矩阵。
3.如权利要求1所述的基于视点调整的图卷积循环网络骨骼动作识别方法，其特征在于，所述图卷积循环神经网络采用反向传播算法进行训练，以交叉熵为损失函数，使用Adam优化器为优化函数。
4.如权利要求3所述的基于视点调整的图卷积循环网络骨骼动作识别方法，其特征在于，识别图卷积循环神经网络的预测准确度的方法具体为：
预测结果中概率最大的那个分类正确，则预测正确，否则预测错误；或者，预测结果中概率向量最大的前五个中，只要出现了正确的类别即为预测正确，否则预测错误。
5.如权利要求3所述的基于视点调整的图卷积循环网络骨骼动作识别方法，其特征在于，参数初始化时选择均值和方差为预设值的随机初始化，加载数据、模型和优化器，直到所述softmax函数输出的损失函数值下降并收敛时结束训练。
6.一种基于视点调整的图卷积循环网络骨骼动作识别系统，其特征在于，包括：
预处理模块，被配置为：对获取的动作数据进行预处理；
骨骼数据预测模块，被配置为：利用训练好的图卷积循环神经网络，以预处理后的数据为输入，获取骨骼数据的时空信息；利用循环神经网络构建一个视点自动调整子网络，用于进行观测视角的调整；并将调整过观测视角的骨骼数据输入到图卷积循环神经网络，获取骨骼数据的时空信息；其中，采用长短期记忆网络构建一个视点自动调整子网络，包括平移网络和旋转网络：
所述平移网络和旋转网络均包括一层长短期记忆网络层和一层全连接层，分别得到平移参数和旋转参数；调整视点后的输出为原始输入坐标数据与平移参数做差后与旋转网络的乘积；
分类模块，被配置为：采用Softmax函数，以获取的时空信息为输入，得到骨骼动作分类结果。
7.一种介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于视点调整的图卷积循环网络骨骼动作识别方法中的步骤。
CN202010119344.XA 2020-02-26 2020-02-26 基于视点调整的图卷积循环网络骨骼动作识别方法及系统 Active CN111339942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119344.XA CN111339942B (zh) 2020-02-26 2020-02-26 基于视点调整的图卷积循环网络骨骼动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119344.XA CN111339942B (zh) 2020-02-26 2020-02-26 基于视点调整的图卷积循环网络骨骼动作识别方法及系统

Publications (2)

Publication Number Publication Date
CN111339942A CN111339942A (zh) 2020-06-26
CN111339942B true CN111339942B (zh) 2022-07-12

Family

ID=71185585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119344.XA Active CN111339942B (zh) 2020-02-26 2020-02-26 基于视点调整的图卷积循环网络骨骼动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN111339942B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914807B (zh) * 2020-08-18 2022-06-28 太原理工大学 一种基于传感器和骨架信息的矿工行为识别方法
EP4200725A1 (en) * 2020-08-20 2023-06-28 Ramot at Tel-Aviv University Ltd. Dynamic identity authentication
CN112070027B (zh) * 2020-09-09 2022-08-26 腾讯科技（深圳）有限公司 网络训练、动作识别方法、装置、设备及存储介质
CN112329689B (zh) * 2020-11-16 2024-06-18 北京科技大学 车载环境下基于图卷积神经网络的异常驾驶行为识别方法
CN112507940B (zh) * 2020-12-17 2023-08-25 华南理工大学 一种基于差分指导表示学习网络的骨骼动作识别方法
CN112966628A (zh) * 2021-03-17 2021-06-15 广东工业大学 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法
CN113094547B (zh) * 2021-04-06 2022-01-18 大连理工大学 日语在线视频语料中特定动作视频片断检索方法
CN113780129B (zh) * 2021-08-31 2023-07-04 同济大学 基于无监督图序列预测编码的动作识别方法及存储介质
CN113963241B (zh) * 2021-12-22 2022-03-08 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质
CN114618147B (zh) * 2022-03-08 2022-11-15 电子科技大学 一种太极拳康复训练动作识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN109325517A (zh) * 2018-08-14 2019-02-12 浙江大学 一种基于Attention的循环神经网络模型的图分类方法
US20190066493A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Viewpoint invariant object recognition by synthesization and domain adaptation
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN110210372A (zh) * 2019-05-29 2019-09-06 中国科学院自动化研究所 基于注意增强图卷积网络的骨架行为识别方法、系统
CN110728183A (zh) * 2019-09-09 2020-01-24 天津大学 一种基于注意力机制的神经网络的人体动作识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
US20190066493A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Viewpoint invariant object recognition by synthesization and domain adaptation
CN109325517A (zh) * 2018-08-14 2019-02-12 浙江大学 一种基于Attention的循环神经网络模型的图分类方法
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN110210372A (zh) * 2019-05-29 2019-09-06 中国科学院自动化研究所 基于注意增强图卷积网络的骨架行为识别方法、系统
CN110728183A (zh) * 2019-09-09 2020-01-24 天津大学 一种基于注意力机制的神经网络的人体动作识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"GRAPH ATTENTION NETWORKS";Petar Velickovic et al;《arXiv》;20180204;第1-12页 *
"基于主题迁移的跨视角动作识别";王红军 等;《科学技术与工程》;20150831;第15卷(第23期);第164-169页 *
"面向智能监控的行为识别";马钰锡 等;《中国图象图形学报》;20190228;第24卷(第2期);第282-290页 *

Also Published As

Publication number Publication date
CN111339942A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339942B (zh) 基于视点调整的图卷积循环网络骨骼动作识别方法及系统
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
CN107609460B (zh) 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107492121B (zh) 一种单目深度视频的二维人体骨骼点定位方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN108182260B (zh) 一种基于语义选择的多变量时间序列分类方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN110458235B (zh) 一种视频中运动姿势相似度比对方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
KR20190128933A (ko) 시공간 주의 기반 감정 인식 장치 및 방법
CN114821764A (zh) 一种基于kcf追踪检测的手势图像识别方法及系统
CN113158861A (zh) 一种基于原型对比学习的运动分析方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN115761905A (zh) 一种基于骨骼关节点的潜水员动作识别方法
CN112529149A (zh) 一种数据处理方法及相关装置
CN114359785A (zh) 基于自适应矩阵特征融合网络的唇语识别方法、装置及电子设备
CN113139967A (zh) 点云实例分割方法及相关系统、存储介质
Dong et al. An improved deep neural network method for an athlete's human motion posture recognition
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN112749585A (zh) 一种基于图卷积的骨架动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant