CN110458046A - 一种基于关节点提取的人体运动轨迹分析方法 - Google Patents

一种基于关节点提取的人体运动轨迹分析方法 Download PDF

Info

Publication number
CN110458046A
CN110458046A CN201910664993.5A CN201910664993A CN110458046A CN 110458046 A CN110458046 A CN 110458046A CN 201910664993 A CN201910664993 A CN 201910664993A CN 110458046 A CN110458046 A CN 110458046A
Authority
CN
China
Prior art keywords
artis
stage
human body
human
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910664993.5A
Other languages
English (en)
Other versions
CN110458046B (zh
Inventor
高�浩
杨泽宇
徐枫
宗睿
余新光
潘隆盛
凌至培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910664993.5A priority Critical patent/CN110458046B/zh
Publication of CN110458046A publication Critical patent/CN110458046A/zh
Application granted granted Critical
Publication of CN110458046B publication Critical patent/CN110458046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关节点提取的人体运动轨迹分析方法，所述方法包括如下步骤：将待测人体视频中放入人体骨架识别模型中得到关节点位置序列；根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；将所述精细关节点位置带回到待测人体视频中得到精细关节点在待测人体视频中的位置；根据精细关节点在待测人体视频中的位置分析得到关节点在视频中的运动轨迹。本发明步骤简单，进一步提高了关节点运动轨迹的预测精度。

Description

一种基于关节点提取的人体运动轨迹分析方法
技术领域
本发明属于人工智能领域，具体涉及一种基于关节点提取的人体运动轨迹分析方法。
背景技术
Openpose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性，是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。openpose的前身就是CPM算法，相比较与CPM算法识别单人，openpose可以识别多人，因为CPM算法也是可以通过heat map识别出多人的，但openpose提出了PAFs，更好地解决了多人的问题。
LSTM算法全称为Long short-term memory，最早由 Sepp Hochreiter和JurgenSchmidhuber于1997年提出，是一种特定形式的RNN（Recurrent neural network，循环神经网络），而RNN是一系列能够处理序列数据的神经网络的总称。一般地，RNN包含如下三个特性：a.循环神经网络能够在每个时间节点产生一个输出，且隐单元间的连接是循环的；b.循环神经网络能够在每个时间节点产生一个输出，且该时间节点上的输出仅与下一时间节点的隐单元有循环连接；c.循环神经网络包含带有循环连接的隐单元，且能够处理序列数据并输出单一的预测。
RNN还有许多变形，例如双向RNN（Bidirectional RNN）等。然而，RNN在处理长期依赖（时间序列上距离较远的节点）时会遇到巨大的困难，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，这会带来梯度消失（经常发生）或者梯度膨胀（较少发生）的问题，这样的现象被许多学者观察到并独立研究。为了解决该问题，研究人员提出了许多解决办法，例如ESN（Echo State Network），增加有漏单元（Leaky Units）等等。其中最成功应用最广泛的就是门限RNN（Gated RNN），而LSTM就是门限RNN中最著名的一种。有漏单元通过设计连接间的权重系数，从而允许RNN累积距离较远节点间的长期联系；而门限RNN则泛化了这样的思想，允许在不同时刻改变该系数，且允许网络忘记当前已经累积的信息。
LSTM的巧妙之处在于通过增加输入门限、遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。
CNN-LSTM结构涉及在输入数据中使用卷积神经网络（CNN）层做特征提取并结合LSTM来支持序列预测。CNN-LSTM开发用来可视化序列预测问题和从图像序列生成文本描述的应用（例如：视频）。CNN-LSTM是这样一类模型，它在空间和时间上都很深，并具有适用于各种输入任务和输出的视觉任务的灵活性。这种架构最初被称为长期卷积神经网络（Long-term Recurrent Convolutional Network）或者LRCN模型。尽管我们将使用更通用的名为CNN-LSTM来指代本课题中使用的CNN作为前段的LSTM模型,该体系结构用于生成图像的文本描述的任务。关键是使用CNN，它在具有挑战性的图像分类问题上被预训练，该任务被重新用作字幕生成问题的特征提取器。
目前的人体姿态检测算法大部分使用了置信度图的方法预测关节点触电的概率，该类方法的精度很大程度上依赖于置信度图与图中人体的相对尺寸，而显存的大小限制了两者的比值，也限制了预测精度。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于关节点提取的人体运动轨迹分析方法，以解决现有技术中存在的检测精度不高的问题。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于关节点提取的人体运动轨迹分析方法，所述方法包括如下步骤：
将待测人体视频放入人体骨架识别模型中得到关节点位置序列；
根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；
将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；
将所述精细关节点位置带回到待测人体视频中得到关节点在待测人体视频中的精细位置；
根据所述精细位置分析得到关节点在视频中的运动轨迹；
通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。
进一步的，所述人体骨架识别模型依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。
进一步的，所述关节中心预测网络依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取，用来预测人体关节点的位置。
进一步的，所述人体先验包括人体关节点的分布信息、互相之间的连接信息和距离信息。
进一步的，所述人体骨架识别模型的建立方法包括：
a、将第一帧图像经VGG网络生成第一阶段特征图；
b、所述第一阶段特征图通过卷积层得到第一阶段热度图和第一阶段向量图；
c、将所述第一阶段热度图、第一阶段向量图和第一阶段特征图输入至网络结构，经过卷积层得到第二阶段热度图和第二阶段向量图；
重复步骤c至设定的次数得到最终的热度图和向量图；
根据所述最终的热度图和向量图得到人体骨架识别模型。
进一步的，所述人体骨架识别模型的网络结构包括openpose+lstm网络结构。
进一步的，所述精细关节点位置的具体获取方法包括：
a、将输入图像经过第一阶段网络处理得到第一阶段特征图；
b、将所述第一阶段特征图经过第一阶段卷积层网络处理得到第一阶段置信图；
c、将所述第一阶段特征图、第一阶段置信图输入至第二阶段卷积层网络获取第二阶段置信图；
d、将所述第一阶段特征图、第二阶段置信图输入至第三阶段卷积层网络获取第三阶段置信图；
重复步骤d至设定的次数得到最终的置信图；
根据所述最终的置信图得到精细关节点位置。
进一步的，所述运动学数据包括频率、速度和加速度
由于人体骨架识别模型关节点在特征图中尺度较小，造成预测关节点的精度不高，因此设计了关节中心预测网络，用来提高预测关节点的精度，这里使用卷积位姿机器即cpm模型作为关节中心预测网络的基本结构。
与现有技术相比，本发明所达到的有益效果是：
本发明通过将openpose和lstm相结合建立人体骨架识别模型，该模型能够处理时序信息，使模型能够恢复人体的运动轨迹；通过使用大尺度人体图像来预测关节点位置，进一步提高了关节点的预测精度。
附图说明
图1是本发明基于关节点提取的人体运动轨迹分析方法的流程图；
图2是本发明中openpose+lstm网络结构图；
图3是本发明中cpm网络结构图。
具体实施方式
下面结合说明书附图和具体实施对本发明工作原理和技术方案作进一步详细的描述。
如图1所示，一种基于关节点提取的人体运动轨迹分析方法步骤如下：
首先使用coco人体关节点数据集对人体骨架识别模型进行预训练：
人体骨架识别模型是一种基于openpos和lstm的人体骨架识别模型，即在原有的openpose基础上加上每个阶段加入一个卷积lstm模块形成了一个新的网络结构，即openpose+lstm网络；openpose+lstm模型进行预训练，其中预训练的目的是为了提高openpose+lstm模型的泛化性能；然后对特定环境人体的视频的数据集中的关节点进行关节点标注并且将视频的数据集对openpose+lstm模型进行训练，一方面可以提高openpose+lstm模型在处理业务数据时的精度，另一方面，训练模型对时序的记忆部分使得模型有能力处理时间序列信息；
接下来把待测人体的视频序列输入训练好的人体骨架识别模型中，可以得到关节点位置序列；
然后根据关节点和人体先验，从图像中把人体的各个关节点分割下来，得到大尺度关节图像，用于进一步提高预测关节点的精度；由于openpose+lstm模型预测关节点的精度不高，因此设计了关节中心预测网络，用来提高预测关节点的精度，使用与上一步相同的人体先验对coco人体关节点数据集进行分割，然后用分割后的coco人体关节点数据集对关节中心预测网络进行训练，用来预测关节点的精确位置。
将各关节大尺度图像放入关节中心预测网络，得到精细度关节点位置，再带回到待测人体视频中中，根据分割出的图像在待测人体视频的图像中的位置以及关节点在分割出图像中的位置，得到关节点在待测人体视频中的图像中的位置，即可得到关节点在视频序列中的运动轨迹。
如图2所示，图2是openpose+lstm网络结构图，该架构体系同时预测了向量图和热度图，其中热度图用二维来表示，表明在每个像素位置出现特定关机诶单的概率，把坐标原点当作关键点，假设生成的热度图大小与原图像大小一致，生成的热度图会在关节点处生成一个成高斯分布的概率区域，区域的中心即关节点中心值最大，接近1，越向四周，概率越小。向量图的生成与热度图的生成思想基本一致，为肢体的向量场图，矢量分为x,y两个方向，每个方向占一个通道。在原有的openpose基础上加上lstm形成了一个新的网络结构，其目的是为了更好地捕获视频帧间的几何一致性和相关性，用于视频序列的人体姿态估计。网络分为2个分支，左侧分支用来预测向量图，右侧分支用来预测热度图，每个分支都是一个迭代预测结构。首先通过卷积网络（VGG-19前十层）提取图像特征，第一帧图像经VGG网络生成一组特征图F，分别输入到第一个阶段的两个分支，网络产生一组热度图和一组向量图。其中，输入数据为368*368原始的图像，VGG网络将原始图像转化为特征图，尺寸变为原来的1/8，即46*46。然后将它们分别送入两个分支，两个分支有相同的结构，都由3个3*3的卷积层连接2个1*1的卷积层构成，这些卷积层都使用0填充以保证原来特征图尺寸不变，输出为一组向量图P 1 和一组热度图H 1 。第二个阶段的输入包括第二帧、第一阶段向量图P 1 ，第一阶段热度图H 1 ,其中第二帧的输入数据同样为368*368原始的图像，VGG网络将原始图像转化为特征图，尺寸变为原来的1/8，即46*46。然后将特征图、向量图P 1 和热度图H 1 在通道维度连接，作为LSTM的输入，LSTM的输出分别送入两个分支，来预测第二阶段热度图H 2 和向量图P 2 ，同时LSTM的输出也作为第三个阶段LSTM的输入。第二个阶段的两个分支有相同的结构，都由5层7*7的卷积层连接2个1*1的卷积层构成，使用0填充以保持特征图尺寸不变，输出为一组向量图P 2 和一组热度图H 2 ，后续的每个阶段同第二个阶段相同。最终，根据热度图和向量图，openpose+lstm网络输出一个人体骨架识别模型。
接下来根据人体先验和关节点位置，从图像中把人体的各个关节点分割下来，得到关节点大尺度图像。这里的人体先验包括人体关节点的分布、互相之间的连接、距离等信息。例如，若要得到右手手腕的图像，令右手手腕为A点，右胳膊肘为B点，以A点为中心，AB的一半为边长做正方形，将正放心区域从原图中分割下来即可得到该关节点的大尺度图像，用于下一步精确预测关节点中心。
由于人体骨架识别模型预测关节点的精度不高，因此设计了关节中心预测网络，即cpm网络，用来提高预测关节点的精度。
如图3所示，图3是cpm网络结构图（关节中心预测网络），cpm由一系列卷积网络组成，并重复输出每个关节点的二维置信度热度图以提高置信度图质量。在cpm的每个阶段，采用图像特征和前一阶段产生的二维置信度热度图作为输入。cpm的每个阶段都会生成置信图，每个关节点的位置都会有越来越精确的估计。在第一个阶段，cpm根据图片局部信息预测关节点。输入图片经过卷积网络，输出关节点的置信图。网络前7层由三个9*9的卷积层和三个2*2的池化层交叉相连再连接一个5*5的卷积层构成，其中卷积层使用0填充不改变特征图尺寸，三个池化层将特征图尺寸下采样的原图的1/8。输入图片为368*368的rgb图，经过前7层得到46*46*128的特征图。这些特征图经过一个9*9的卷积和两个1*1的卷积得到第一阶段的置信度热度图预测结果。第二个阶段的输入包括两部分，一部分是第一个阶段输出的置信热度图，另一部分是前7层提取的46*46*128的特征图，输出第二阶段的置信度热度图。第二阶段的网络由三层11*11的卷积层连接两层1*1的卷积层构成，后续的每个阶段网络结构与第二阶段相投，输入包括两部分，一部分是前一个阶段输出的置信度热度图，另一部分是前7层提取出的图像特征图。cpm的每个阶段都会输出关节点的预测结果，重复地输出每个关节点位置的置信图，以渐进精细化地方式预测关节点。因此，在每个阶段输出后均与期望图像计算L2损失，作为中间监督损失，避免梯度消失问题。最终，cpm网络输出一个精细关节点位置。
将精细关节点位置带回到待测人体视频中的图像中--根据分割出的图像在原图中的位置以及关节点在分割出图像中的位置，得到关节点在原来图像中的位置，即可得到关节点在视频序列中的运动轨迹。通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。由于运动序列中夹杂高频噪音和相机运动引起的低频噪声，所以采用带通滤波的方法进行降噪，然后将运动序列使用小波变换计算实时频率和振幅，作为正弦函数的初值来拟合抖动曲线，得到各个关节点运动轨迹的实时幅值和频率。
本技术领域技术人员可以理解的是，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出各种变化和变型，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述方法包括如下步骤：
将待测人体视频放入人体骨架识别模型中得到关节点位置序列；
根据关节点和人体先验对所述关节点位置序列进行分割得到大尺度关节图像；
将所述大尺度关节图像放入关节中心预测网络中得到精细关节点位置；
将所述精细关节点位置带回到待测人体视频中得到关节点在待测人体视频中的精细位置；
根据所述精细位置分析得到关节点在视频中的运动轨迹；
通过计算所述运动轨迹的运动学数据辅助分析人体运动状态。
2.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述人体骨架识别模型依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。
3.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述关节中心预测网络依次通过人体关节点数据集、待测人体的历史关节点数据集训练获取。
4.根据权利要求1所述的一种关节点运动轨迹的检测方法，其特征在于，所述人体先验包括人体关节点的分布信息、互相之间的连接信息和距离信息。
5.根据权利要求1所述的一种关节点运动轨迹的检测方法，其特征在于，所述人体骨架识别模型的建立方法包括：
a、将第一帧图像经VGG网络生成第一阶段特征图；
b、所述第一阶段特征图通过卷积层得到第一阶段热度图和第一阶段向量图；
c、将所述第一阶段热度图、第一阶段向量图和第一阶段特征图输入至网络结构，经过卷积层得到第二阶段热度图和第二阶段向量图；
重复步骤c至设定的次数得到最终的热度图和向量图；
根据所述最终的热度图和向量图得到人体骨架识别模型。
6.根据权利要求5所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述人体骨架识别模型的网络结构包括openpose+lstm网络结构。
7.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述精细关节点位置的具体获取方法包括：
a、将输入图像经过第一阶段网络处理得到第一阶段特征图；
b、将所述第一阶段特征图经过第一阶段卷积层网络处理得到第一阶段置信图；
c、将所述第一阶段特征图、第一阶段置信图输入至第二阶段卷积层网络获取第二阶段置信图；
d、将所述第一阶段特征图、第二阶段置信图输入至第三阶段卷积层网络获取第三阶段置信图；
重复步骤d至设定的次数得到最终的置信图；
根据所述最终的置信图得到精细关节点位置。
8.根据权利要求1所述的一种基于关节点提取的人体运动轨迹分析方法，其特征在于，所述运动学数据包括频率、速度和加速度。
CN201910664993.5A 2019-07-23 2019-07-23 一种基于关节点提取的人体运动轨迹分析方法 Active CN110458046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910664993.5A CN110458046B (zh) 2019-07-23 2019-07-23 一种基于关节点提取的人体运动轨迹分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910664993.5A CN110458046B (zh) 2019-07-23 2019-07-23 一种基于关节点提取的人体运动轨迹分析方法

Publications (2)

Publication Number Publication Date
CN110458046A true CN110458046A (zh) 2019-11-15
CN110458046B CN110458046B (zh) 2020-11-24

Family

ID=68483112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910664993.5A Active CN110458046B (zh) 2019-07-23 2019-07-23 一种基于关节点提取的人体运动轨迹分析方法

Country Status (1)

Country Link
CN (1) CN110458046B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209861A (zh) * 2020-01-06 2020-05-29 浙江工业大学 一种基于深度学习的动态手势动作识别方法
CN111274909A (zh) * 2020-01-16 2020-06-12 重庆邮电大学 一种基于深度学习的人体点云骨架提取方法
CN111462169A (zh) * 2020-03-27 2020-07-28 杭州视在科技有限公司 一种基于背景建模的老鼠轨迹追踪方法
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
WO2021129064A1 (zh) * 2019-12-24 2021-07-01 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN113361333A (zh) * 2021-05-17 2021-09-07 重庆邮电大学 一种非接触式骑行运动状态监测方法及其系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030160760A1 (en) * 2002-02-28 2003-08-28 Fujitsu Limited Image comining apparatus and method
CN1945632A (zh) * 2006-10-19 2007-04-11 浙江大学 由数据驱动的基于草图的三维武术动作的生成和编排方法
US20070172476A1 (en) * 2005-07-28 2007-07-26 Kyowa Hakko Kogyo Co., Ltd. Method of treating B-cell neoplasms or Hodgkin's lymphoma
CN101983389A (zh) * 2008-10-27 2011-03-02 松下电器产业株式会社 移动体检测方法以及移动体检测装置
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
US20160352361A1 (en) * 2015-05-27 2016-12-01 John P. Fonseka Constrained interleaving for 5G wireless and optical transport networks
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
CN108053462A (zh) * 2017-12-15 2018-05-18 佛山市晴天视觉数字科技有限公司 一种从静态人体模型直接自动生成动画的方法
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN108664885A (zh) * 2018-03-19 2018-10-16 杭州电子科技大学 基于多尺度级联HourGlass网络的人体关键点检测方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN109858407A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于多种信息流特征和异步融合的视频行为识别方法
CN109858390A (zh) * 2019-01-10 2019-06-07 浙江大学 基于端到端时空图学习神经网络的人体骨架的行为识别方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030160760A1 (en) * 2002-02-28 2003-08-28 Fujitsu Limited Image comining apparatus and method
US20070172476A1 (en) * 2005-07-28 2007-07-26 Kyowa Hakko Kogyo Co., Ltd. Method of treating B-cell neoplasms or Hodgkin's lymphoma
CN1945632A (zh) * 2006-10-19 2007-04-11 浙江大学 由数据驱动的基于草图的三维武术动作的生成和编排方法
CN101983389A (zh) * 2008-10-27 2011-03-02 松下电器产业株式会社 移动体检测方法以及移动体检测装置
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
US20160352361A1 (en) * 2015-05-27 2016-12-01 John P. Fonseka Constrained interleaving for 5G wireless and optical transport networks
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
CN108053462A (zh) * 2017-12-15 2018-05-18 佛山市晴天视觉数字科技有限公司 一种从静态人体模型直接自动生成动画的方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN108664885A (zh) * 2018-03-19 2018-10-16 杭州电子科技大学 基于多尺度级联HourGlass网络的人体关键点检测方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109508688A (zh) * 2018-11-26 2019-03-22 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109858390A (zh) * 2019-01-10 2019-06-07 浙江大学 基于端到端时空图学习神经网络的人体骨架的行为识别方法
CN109858407A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于多种信息流特征和异步融合的视频行为识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
R. RASCH 等: ""A Joint Motion Model for Human-Like Robot-Human Handover"", 《2018 IEEE-RAS 18TH INTERNATIONAL CONFERENCE ON HUMANOID ROBOTS (HUMANOIDS)》 *
SHIH-EN WEI等: ""Convolutional Pose Machines"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
YONG DU等: ""Hierarchical recurrent neural network for skeleton based action recognition"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
Z CAO等: ""OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields"", 《COMPUTER VISION AND PATTERN RECOGNITION 》 *
关韬: ""基于深度学习的行人姿态识别与行为预判算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张志强: ""基于深度学习的人体姿态估计研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129064A1 (zh) * 2019-12-24 2021-07-01 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111209861A (zh) * 2020-01-06 2020-05-29 浙江工业大学 一种基于深度学习的动态手势动作识别方法
CN111209861B (zh) * 2020-01-06 2022-03-18 浙江工业大学 一种基于深度学习的动态手势动作识别方法
CN111274909A (zh) * 2020-01-16 2020-06-12 重庆邮电大学 一种基于深度学习的人体点云骨架提取方法
CN111274909B (zh) * 2020-01-16 2022-05-20 重庆邮电大学 一种基于深度学习的人体点云骨架提取方法
CN111462169A (zh) * 2020-03-27 2020-07-28 杭州视在科技有限公司 一种基于背景建模的老鼠轨迹追踪方法
CN111462169B (zh) * 2020-03-27 2022-07-15 杭州视在科技有限公司 一种基于背景建模的老鼠轨迹追踪方法
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111754620B (zh) * 2020-06-29 2024-04-26 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN113361333A (zh) * 2021-05-17 2021-09-07 重庆邮电大学 一种非接触式骑行运动状态监测方法及其系统

Also Published As

Publication number Publication date
CN110458046B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110458046A (zh) 一种基于关节点提取的人体运动轨迹分析方法
CN105069413B (zh) 一种基于深度卷积神经网络的人体姿势识别方法
CN111209861B (zh) 一种基于深度学习的动态手势动作识别方法
CN112395945A (zh) 基于骨骼关节点的图卷积行为识别方法及装置
Chen et al. Joint anchor-feature refinement for real-time accurate object detection in images and videos
CN107492121B (zh) 一种单目深度视频的二维人体骨骼点定位方法
CN111695457B (zh) 一种基于弱监督机制的人体姿态估计方法
CN111191627B (zh) 一种多视点下提高动态手势动作识别准确率的方法
CN107102727B (zh) 基于elm神经网络的动态手势学习与识别方法
CN109872346A (zh) 一种支持循环神经网络对抗学习的目标跟踪方法
CN109299701A (zh) 基于gan扩充多人种特征协同选择的人脸年龄估计方法
CN111199207B (zh) 基于深度残差神经网络的二维多人体姿态估计方法
Liu et al. 2-D human pose estimation from images based on deep learning: a review
CN112836652B (zh) 一种基于事件相机的多阶段人体姿态估计方法
Zhang et al. VGM-RNN: HRRP sequence extrapolation and recognition based on a novel optimized RNN
CN113989928A (zh) 一种动作捕捉和重定向方法
CN117373116A (zh) 基于图神经网络的轻量级特征保留的人体动作检测方法
CN117037216A (zh) 一种面向人体骨架的羽毛球运动预测方法和装置
CN116580450A (zh) 一种分视角步态识别方法
CN103116901B (zh) 基于运动特征的人体运动插值计算方法
CN115641644A (zh) 基于孪生MViT的多视角步态识别方法
CN113298136B (zh) 一种基于alpha散度的孪生网络跟踪方法
Zhang et al. (Retracted) Target recognition and localization based on lightweight single-shot multibox detector network for robotics
Song et al. Spatial-aware dynamic lightweight self-supervised monocular depth estimation
CN113065504A (zh) 一种行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant