CN111898576B - 一种基于人体骨架时空关系的行为识别方法 - Google Patents

一种基于人体骨架时空关系的行为识别方法 Download PDF

Info

Publication number
CN111898576B
CN111898576B CN202010783073.8A CN202010783073A CN111898576B CN 111898576 B CN111898576 B CN 111898576B CN 202010783073 A CN202010783073 A CN 202010783073A CN 111898576 B CN111898576 B CN 111898576B
Authority
CN
China
Prior art keywords
sequence
skeleton
multiplied
time
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010783073.8A
Other languages
English (en)
Other versions
CN111898576A (zh
Inventor
许毅
张栗粽
段贵多
罗光春
陈素云
曹京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010783073.8A priority Critical patent/CN111898576B/zh
Publication of CN111898576A publication Critical patent/CN111898576A/zh
Application granted granted Critical
Publication of CN111898576B publication Critical patent/CN111898576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，其公开了一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。该方法包括以下步骤：S1、对人体骨架序列进行均匀分段处理；S2、对每段人体骨架信息生成基于距离的图像表达；S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；S4、采用具有时序关系的多个短时空特征作为Bi‑LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。

Description

一种基于人体骨架时空关系的行为识别方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于人体骨架时空关系的行为识别方法。
背景技术
行为识别是将所给定的视频片段中人的行为类别识别出来，它当前计算机视觉领域中的一个重要研究方向。由于基于视频原始图像的行为识别方法在较多场合易受到光线、遮挡和距离等问题干扰的因素，使用从视频中提取出的骨架信息作为行为识别原始数据的研究越来越多。基于人体骨架的行为识别方法更具有鲁棒性，能在行为识别中获得较高的识别率。
基于人体骨架的行为识别可分为两大类：基于传统方法的行为识别与基于深度学习的行为识别。其中基于传统方法的行为识别使用人工设计的算法提取视频中的行为特征，依赖于先验知识；基于深度学习的方法在构造网络后，网络可自动学习对识别有益的图像特征，但对计算和存储能力要求高。由于当前计算能力与存储能力的高速发展，使用基于深度学习的行为识别方法一般可表现出优于传统行为识别的效果。
基于深度学习的行为识别方法在针对性上也可进行分类，即针对图像特征的方法、针对时序特征的方法与针对结构特征的方法。针对图像特征的方法常使用卷积神经网络及其变形网络，针对时序特征的方法常使用循环神经网络及其变形网络，针对结构特征的方法常使用图神经网络及其变形。但针对单一特征的方法难以充分捕捉人体骨架的时空关系，特别是对于行为来说，由于行为不仅是在空间中人体关节位置的相对关系，也是在不同时间点关节位置的变化。使用多种特征结合来进行行为识别能更充分地利用人体骨架在行为过程中的时空关系信息，从而提高识别的准确性。
发明内容
本发明所要解决的技术问题是：提出一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。
本发明解决上述技术问题采用的技术方案是：
一种基于人体骨架时空关系的行为识别方法，包括以下步骤：
S1、对人体骨架序列进行均匀分段处理；
S2、对每段人体骨架信息生成基于距离的图像表达；
S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；
S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。
作为进一步优化，步骤S1具体包括：
S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；
S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。
作为进一步优化，步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：
S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S112、若X＜L×K，则对原始人体骨架序列进行中的各帧进行复制，使得经过复制处理后的序列长度大于或等于L×K，若等于L×K，则进入步骤S12，若大于L×K，则进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S113、若X＝L×K，则进入步骤S12。
作为进一步优化，步骤S2具体包括：
S21、对于划分的短序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位；
S22、对于划分的短序列中每一帧骨架数据，计算各个部位中心点的位置：
Figure GDA0003545444020000021
其中，
Figure GDA0003545444020000022
表示第k帧时，第j个部位的中心点在m通道所对应的坐标值；
Figure GDA0003545444020000023
表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值，nj表示第j个部位中包含的关节点的数量；
S23、对于划分的短序列中每一帧骨架数据，计算各个部位中的关节点与中心点的距离：
Figure GDA0003545444020000024
其中，d为m通道中，该部位关节点与中心点的距离；
S24、对于划分的短序列中每一帧骨架数据，将其对应表达为包含中心点位置以及关节点与中心点距离的向量：
Figure GDA0003545444020000025
其中，
Figure GDA0003545444020000026
代表在第k帧中，第j个部位空间在m通道所对应的距离向量；
S25、对于划分的短序列，将其中每一帧骨架数据所得到的向量表达按时序顺序拼接；
S26、将拼接后的向量表达进行归一化处理；
S27、根据归一化后的向量获得每个短时序骨架数据的图形表达P：
P＝[P1，P2，…，Pm],
Figure GDA0003545444020000031
作为进一步优化，步骤S3具体包括：
针对每个短时序骨架的图形表达P，采用针对行为特征提取的带权多视角卷积进行特征提取，得到该短时序骨架的时空特征：
fr-mv＝a*S1(x)+b*S2(x)+c*S3(x)+x
其中x代表本层输入，在第一层时，该输入为P，S1、S2、S3分别对应三个视角的卷积操作，a、b、c分别对应三个视角卷积的结果在输出中所占的重要性，S1、S2、S3与a、b、c具体数值均由网络学习得到。
作为进一步优化，步骤S4具体包括：
S41、将多段短时序骨架时空特征作为Bi-LSTM网络的输入，以得到最终长时序骨架时空特征F；
S42、将长时序骨架时空特征F作为全连接层和softmax层的输入，得到最终各类得分；
S43、通过选取最高分类别的方式得到识别结果。
本发明的有益效果是：
通过将人体骨架数据进行基于图像的生成，可将图像任务中的知识有效地迁移到使用骨架数据进行行为识别的领域，有利于模型的训练及最终效果的提升；使用针对行为特征的带权多视角卷积可从多个角度对行为进行描述，将所得短时序行为特征作为输入，使用双向LSTM可将不同时间点的行为联系起来，有效实现对行为时空关系的提取，提升识别准确率。
附图说明
图1为本发明识别方法的流程图；
图2为带权多视角卷积示意图；
图3为带残差思想的带权多卷积示意图；
图4为分层特征提取示意图。
具体实施方式
本发明旨在提出一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。其核心思想是：将人体骨架序列进行分段后，进行基于距离的图像表达生成，然后使用带权多视角卷积方法对每个人体骨架信息的图像表达进行短时空特征提取，并使用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别，本发明正是基于对人体行为时序特性进行的“短时序-长时序”分层特征提取能提高行为识别的准确率。
下面结合附图对本发明的方案作进一步的描述。
如图1所示，本发明中的基于人体骨架时空关系的行为识别方法包括以下步骤：
S1、人体骨架序列均匀分段处理：
本步骤中，以视频中原始人体骨架序列作为此阶段的输入，进行均匀分段，具体包括：
S11：确定均匀分段段数L、每段中包含的帧数K。对于含有X帧数据的骨架数据：
若X＞L×K，跳至S12；
若X＜L×K，跳至S13；
若X＝L×K，跳至S14；
S12：对长度为X的骨架数据进行顺序随机取帧至L×K帧，其中随机取帧方法具体包括：：
(1)对于X，从1～X中按顺序随机取L×K个数，如：X＝10，L×K＝6，随机取数为[1,2,4,7,9,10]；
(2)从长度为X的骨架数据中，按(1)中随机所得数取帧，如随机取数为[1,2,4,7,9,10]，则取长度为X的骨架数据中的第1帧、第2帧、第4帧、第7帧、第9帧和第10帧。
(3)将所取的骨架数据进行合并，得到长度为L×K帧的骨架数据，进入S14；
S13：对长度为X的骨架数据以复制填充的方式，填充至L×K帧，具体方法包括：
(1)对于X，计算
Figure GDA0003545444020000041
表示对小数a向上取整，如X＝4，L×K＝7，则此时d＝2；
(2)将长度为X的骨架数据中的每一帧，复制d-1次，如原始帧为[1,2,3,4]，d＝2，则原始帧经过复制后变为[1,1,2,2,3,3,4,4]；
(3)若L×K％X＝0，％表示取余，则跳至S14；
(4)若L×K％X≠0，如7％4＝3≠0，此时复制后的帧长度为8≠L×K。此时，从复制后的帧长度Xˊ中，随机取L×K个数，如随机取数为[1,2,3,4,6,7,8]；
(5)取长度为Xˊ的骨架数据中的第1帧、第2帧、第4帧、第6帧、第7帧和第8帧数据；
(6)将所取的骨架数据进行合并，得到长度为L×K帧的骨架数据，进入S14；
S14：对长度为L×K的骨架数据，以长度为K进行均匀分段，得到L段短时序骨架数据。
S2、对每段人体骨架信息生成基于距离的图像表达：
本步骤中，使用基于人体关节距离的图像表达生成方法，对切分后的短时序骨架序，进行图像表达生成，具体步骤包括：
S21：对于短时序骨架序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位，如可划分为左手、右手、头部、躯干、左腿和右腿六个区域，对于每个部位，分别包括的关节点个数为n1，n2，…，nJ；
S22：对于每一帧骨架数据，计算每个部位中心点在每个维度的位置，中心点位置计算方法如下式所示；
Figure GDA0003545444020000051
其中短时序整体骨架表示为S，
Figure GDA0003545444020000052
表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值。
Figure GDA0003545444020000053
表示第k帧时，第j个部位的中心点在m通道所对应的坐标值。
S23：对于每一帧骨架数据，计算各个部位关节点与中心点的距离，如下式所示；
Figure GDA0003545444020000054
其中
Figure GDA0003545444020000055
表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值。
Figure GDA0003545444020000056
表示第k帧时，第j个部位的中心点在m通道所对应的坐标值。d为m维度中，该部位关节点与中心点的距离
S24：对于每一帧骨架数据，将其对应表达为包含中心点位置与关节与中心点距离的向量，矩阵中的
Figure GDA0003545444020000057
代表在第k帧中，第j个部位空间在m通道所对应的距离向量，计算方式如下所示；
Figure GDA0003545444020000058
S25：对于每一段短时序骨架序列，将其中每一帧骨架数据所得到的向量表达按时序顺序拼接，当单个骨架关节点个数为N时，得到V×(N+J)×K大小的表达，V为维度数；
S26：对于得到的V×(N+J)×K向量表达，将其归一化至[0,255]区间，使其能表达为图像形式，归一化方法如下式：
Figure GDA0003545444020000061
其中a为被归一化的值，min为0，max为255。
S27：最后对每个短时序骨架数据得到一个大小为V×(N+J)×K的表达P。
Figure GDA0003545444020000062
P＝[P1，P2，…，Pm],m＝{1,2,…,V}
S3、获取每段短时序骨架的时空关系特征：
本步骤中，使用针对行为特征提取的带权多视角卷积，对短时序骨架的图像表达P进行特征提取，得到短时序骨架序列的行为时空关系特征fr-mv，具体步骤包括：
S31：将得到的短时序骨架数据图像表达作为输入，对每个图像表达P，使用针对行为特征提取的带权多视角卷积进行特征提取，带权多视角卷积如图2所示，其输出表示为：
fmv＝a*S1(x)+b*S2(x)+c*S3(x)
其中，x为该带权多视角卷积的输入，在第一层时，该输入为P。fmv是卷积的输出，S1、S2、S3分别对应三个视角的卷积操作，a、b、c分别对应三个视角卷积的结果在输出中所占的重要性，其中S1、S2、S3与a、b、c具体数值均由网络学习得到。
S32：在使用多视角卷积的卷积层中加入残差的恒等映射，如图3所示，使用带权多视角卷积的残差块的输出为：
fr-mv＝a*S1(x)+b*S2(x)+c*S3(x)+x
其中x代表本层输入，f在x已经是足够表达行为特征时不做改变，依旧为x本身。fr-mv为经过使用带权多视角卷积块的输出。
S4、在得到短时序骨架时空特征的基础上，获取行为识别结果：
本步骤中，将多段短时序骨架时空特征作为输入，使用Bi-LSTM对具有时序关系的短时序骨架的时空关系特征进行整体特征提取，并进行行为识别，最后得到行为识别结果，如图4所示，具体步骤包括：
S41：将多段短时序骨架时空特征作为Bi-LSTM网络的输入，得到最终长时序骨架时空特征F；
S42：将长时序骨架时空特征F作为全连接层和softmax层的输入，得到最终各类得分；
S43：通过选取最高分类别的方式得到识别结果。

Claims (5)

1.一种基于人体骨架时空关系的行为识别方法，其特征在于，包括以下步骤：
S1、对人体骨架序列进行均匀分段处理；
S2、对每段人体骨架信息生成基于距离的图像表达；
S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；
S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别；
步骤S2具体包括：
S21、对于划分的短序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位；
S22、对于划分的短序列中每一帧骨架数据，计算各个部位中心点的位置：
Figure FDA0003545444010000011
其中，
Figure FDA0003545444010000012
表示第k帧时，第j个部位的中心点在m通道所对应的坐标值；
Figure FDA0003545444010000013
表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值，nj表示第j个部位中包含的关节点的数量；
S23、对于划分的短序列中每一帧骨架数据，计算各个部位中的关节点与中心点的距离：
Figure FDA0003545444010000014
其中，d为m通道中，该部位关节点与中心点的距离；
S24、对于划分的短序列中每一帧骨架数据，将其对应表达为包含中心点位置以及关节点与中心点距离的向量：
Figure FDA0003545444010000015
其中，Pj (k,m)代表在第k帧中，第j个部位空间在m通道所对应的距离向量；
S25、对于划分的短序列，将其中每一帧骨架数据所得到的向量表达按时序顺序拼接；
S26、将拼接后的向量表达进行归一化处理；
S27、根据归一化后的向量获得每个短时序骨架数据的图形表达P：
P＝[P1，P2，…，Pm],
Figure FDA0003545444010000021
2.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S1具体包括：
S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；
S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。
3.如权利要求2所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：
S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S112、若X＜L×K，则对原始人体骨架序列进行中的各帧进行复制，使得经过复制处理后的序列长度大于或等于L×K，若等于L×K，则进入步骤S12，若大于L×K，则进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S113、若X＝L×K，则进入步骤S12。
4.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S3具体包括：
针对每个短时序骨架的图形表达P，采用针对行为特征提取的带权多视角卷积进行特征提取，得到该短时序骨架的时空特征：
fr-mv＝a*S1(x)+b*S2(x)+c*S3(x)+x
其中x代表本层输入，在第一层时，该输入为P，S1、S2、S3分别对应三个视角的卷积操作，a、b、c分别对应三个视角卷积的结果在输出中所占的重要性，S1、S2、S3与a、b、c具体数值均由网络学习得到。
5.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S4具体包括：
S41、将多段短时序骨架时空特征作为Bi-LSTM网络的输入，以得到最终长时序骨架时空特征F；
S42、将长时序骨架时空特征F作为全连接层和softmax层的输入，得到最终各类得分；
S43、通过选取最高分类别的方式得到识别结果。
CN202010783073.8A 2020-08-06 2020-08-06 一种基于人体骨架时空关系的行为识别方法 Active CN111898576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783073.8A CN111898576B (zh) 2020-08-06 2020-08-06 一种基于人体骨架时空关系的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783073.8A CN111898576B (zh) 2020-08-06 2020-08-06 一种基于人体骨架时空关系的行为识别方法

Publications (2)

Publication Number Publication Date
CN111898576A CN111898576A (zh) 2020-11-06
CN111898576B true CN111898576B (zh) 2022-06-24

Family

ID=73245453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783073.8A Active CN111898576B (zh) 2020-08-06 2020-08-06 一种基于人体骨架时空关系的行为识别方法

Country Status (1)

Country Link
CN (1) CN111898576B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434679B (zh) * 2021-01-27 2021-05-18 萱闱(北京)生物科技有限公司 康复运动的评估方法及装置、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN108846348A (zh) * 2018-06-07 2018-11-20 四川大学 一种基于三维骨骼特征的人体行为识别方法
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN110348395A (zh) * 2019-07-12 2019-10-18 电子科技大学 一种基于时空关系的骨架行为识别方法
CN110889335A (zh) * 2019-11-07 2020-03-17 辽宁石油化工大学 基于多通道时空融合网络人体骨架双人交互行为识别方法
CN111476181A (zh) * 2020-04-13 2020-07-31 河北工业大学 一种人体骨架动作的识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN108846348A (zh) * 2018-06-07 2018-11-20 四川大学 一种基于三维骨骼特征的人体行为识别方法
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN110348395A (zh) * 2019-07-12 2019-10-18 电子科技大学 一种基于时空关系的骨架行为识别方法
CN110889335A (zh) * 2019-11-07 2020-03-17 辽宁石油化工大学 基于多通道时空融合网络人体骨架双人交互行为识别方法
CN111476181A (zh) * 2020-04-13 2020-07-31 河北工业大学 一种人体骨架动作的识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Behavior Recognition Framework Based on Skeleton Spatio-Temporal Relation;Lizong Zhang等;《2019 International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData)》;20191021;第854-860页 *
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates;Jun Liu等;《 IEEE Transactions on Pattern Analysis and Machine Intelligence》;20171109;第40卷(第12期);第3007-3021页 *
基于视频的人体行为识别方法研究;高彤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115(第2020（01）期);I138-1998 *
时空特征融合深度学习网络人体行为识别方法;裴晓敏等;《红外与激光工程》;20180225;第47卷(第2期);第55-60页 *

Also Published As

Publication number Publication date
CN111898576A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109522818B (zh) 一种表情识别的方法、装置、终端设备及存储介质
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN109829959B (zh) 基于人脸解析的表情编辑方法及装置
CN112699786B (zh) 一种基于空间增强模块的视频行为识别方法及系统
He et al. Sketch recognition with deep visual-sequential fusion model
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN113395578A (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
CN113570685A (zh) 图像处理方法及装置、电子设备、存储介质
CN110335299A (zh) 一种基于对抗网络的单目深度估计系统实现方法
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112418166A (zh) 一种基于多模态信息的情感分布学习方法
CN114064974A (zh) 信息处理方法、装置、电子设备、存储介质及程序产品
CN111898576B (zh) 一种基于人体骨架时空关系的行为识别方法
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN112418068A (zh) 基于情绪识别的线上培训效果评估方法、装置和设备
CN115599954B (zh) 一种基于场景图推理的视频问答方法
CN116958324A (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
CN113609355B (zh) 一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
CN113269068A (zh) 一种基于多模态特征调节与嵌入表示增强的手势识别方法
CN116542292B (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN113099228B (zh) 一种视频编解码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant