CN111259735B - 基于多级预测特征增强卷积神经网络的单人姿态估计方法 - Google Patents

基于多级预测特征增强卷积神经网络的单人姿态估计方法 Download PDF

Info

Publication number
CN111259735B
CN111259735B CN202010018024.5A CN202010018024A CN111259735B CN 111259735 B CN111259735 B CN 111259735B CN 202010018024 A CN202010018024 A CN 202010018024A CN 111259735 B CN111259735 B CN 111259735B
Authority
CN
China
Prior art keywords
convolution
prediction
layer
skeleton
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010018024.5A
Other languages
English (en)
Other versions
CN111259735A (zh
Inventor
谢雪梅
马丽华
柴维路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010018024.5A priority Critical patent/CN111259735B/zh
Publication of CN111259735A publication Critical patent/CN111259735A/zh
Application granted granted Critical
Publication of CN111259735B publication Critical patent/CN111259735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于多级预测特征增强卷积神经网络的单人姿态估计方法，实现步骤为：获取训练集和测试集；对人体骨架点进行等级划分；构建多级预测特征增强卷积神经网络；对多级预测特征增强卷积神经网络进行训练；基于训练好的多级预测特征增强卷积神经网络获取单人姿态估计结果。本发明采用多级预测特征增强卷积神经网络，区分人体姿态骨架点预测的难易程度并采用无参数的特征增强模块，使得提取的骨架点特征更加精细，同时极大减少了模型的参数量，有效提高了单人姿态估计的准确率和速度。

Description

基于多级预测特征增强卷积神经网络的单人姿态估计方法
技术领域
本发明属于计算机视觉技术领域，涉及一种单人姿态估计方法，具体涉及一种基于多级预测特征增强神经网络的单人姿态估计方法，可用于人体行为分析技术的各项领域。
背景技术
随着现代信息技术的飞速发展，利用人体行为分析技术对大数据中的人体行为进行快速准确的分析有着非常广泛的应用，如安防监控、运动分析和人机交互等。准确的人体姿态骨架点的获取是人体行为分析技术的基础，相较于利用Kinect深度相机获取人体姿态信息，人体姿态估计算法可以直接从RGB相机所得的图像中获取人体骨架点，经济实用且应用范围更广。另外，人体行为分析的各项领域，如2D多人姿态估计、3D姿态估计、姿态跟踪以及步态分析等，均依赖于准确的单人姿态估计算法。因此，急需要一种高精度轻量级的单人姿态估计算法，对图像中的人体进行快速、准确的姿态估计。
传统的单人姿态估计算法直接通过全局特征将单人姿态估计问题看作分类或者回归问题直接求解，其采取的特征一般均使用HOG、Shape Context和SIFI等浅层特征，算法精度一般且只适用于背景干净的场景。随着深度学习的发展，单人姿态估计算法开始使用具有强大特征表达能力的卷积神经网络，其估计效果的精度有了显著的提升，并且可以适用于较复杂背景的场景。同时，深度学习对单人姿态估计中的特征提取和空间位置建模不进行独立的拆解，算法模型更容易优化，因而设计性能良好的模型变得尤为重要。
目前，针对单人姿态估计方法的研究，主要集中在利用多阶段特征融合卷积神经网络来获取的人体姿态骨架点信息。其实现方案是通过不断地利用多个级联堆叠的卷积层，对每个阶段的输出结果融合输入图像的特征来修正该阶段姿态估计的结果，在模型训练过程中未区分人体姿态骨架点检测的难易程度，简易骨架点占据过多学习机会不利于困难骨架点学习，使得人体姿态骨架点特征表示不准确，导致单人姿态估计的准确率较低。另外，现有的单人姿态估计算法会通过至少六个阶段的特征融合来获取较为准确的人体姿态结果，模型参数量剧增，导致单人姿态估计的速度降低。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于多级预测特征增强神经网络的单人姿态估计方法，旨在提高单人姿态估计的准确率和速度。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练集和测试集：
从单人姿态估计数据集中随机选取M个带有真实标签的图像样本组成训练集，同时选取N个带有真实标签的图像样本组成测试集，其中，每个标签所包含人体骨架点的类别数为P，每个类别的人体骨架点个数为1，M≥2000，N≥10000，P≥14；
(2)对人体骨架点进行等级划分：
(2a)将测试集作为多阶段特征融合单人姿态估计模型的输入，对每个图像样本的每类人体骨架点的位置进行预测，并通过预测结果和人体骨架点的标签计算每类人体骨架点的准确率PCK；
(2b)设置判断阈值σ1和σ2，并将PCK≥σ1的骨架点作为简单骨架点，将σ2＜PCK＜σ1骨架点作为较难骨架点，将PCK≤σ2骨架点作为困难骨架点，其中，0.7≤σ1≤0.9，0.5≤σ2≤0.7；
(3)构建多级预测特征增强卷积神经网络：
(3a)构建包括级联堆叠的多个卷积层和多个池化层的图像特征提取网络；
(3b)构建包括级联的简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络的骨架点预测网络，每个子网络均包括多个级联堆叠的卷积层、concat层、特征增强模块和预测层，其中，特征增强模块包括全局均值池化函数、L2归一化函数和缩放函数，用于对特征图的表达能力进行增强；
(3c)将图像特征提取网络的输出与骨架点预测网络的输入连接，得到多级预测特征增强卷积神经网络；
(4)对多级预测特征增强卷积神经网络进行训练：
(4a)设迭代次数为t，最大迭代次数为T，T≥62500，并令t＝0；
(4b)从训练集中随机选取m个带有真实标签的图像样本作为多级预测特征增强卷积神经网络的输入进行训练，得到m个预测标签，并通过m个预测标签与其对应的真实标签计算多级预测特征增强卷积神经网络的损失值L，其中，m＝1,2,4,8,16；
(4c)采用梯度下降法，并通过损失值L对多级预测特征增强卷积神经网络各层的参数进行更新；
(4d)判断t＞＝T是否成立，若是，得到训练好的多级预测特征增强卷积神经网络，否则，令t＝t+1，并执行步骤(4b)；
(5)基于训练好的多级预测特征增强卷积神经网络获取单人姿态估计结果：
将与训练集中图像样本同类型的待预测图像作为多级预测特征增强卷积神经网络的输入进行检测，得到待预测图像的P个骨架点的预测结果，并将P个骨架点的预测结果按照人体骨架连接方式进行连接，得到最终的姿态估计结果。
与发明与现有技术相比，具有如下优点：
第一，本发明的简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络实现了骨架点的多级预测，直接分等级预测骨架点，避免采用多阶段特征融合方式的同时使得提取的骨架点特征更加精细，克服了现有技术不区分人体姿态骨架点预测的难易程度，进而不能准确的表示骨架点特征，导致现有技术单人姿态估计效果差的问题；克服了现有单人姿态估计算法模型参数量过大，导致对图像中人体姿态估计速度下降的问题，有效提高了单人姿态估计的准确率和速度。
第二，本发明构建了特征增强模块，使用无参数的计算方式增强人体骨架点特征表示，克服了现有技术中人体姿态骨架点特征表示不准确的问题，进一步提高了单人姿态估计的准确率。
附图说明
图1为本发明的实现流程图；
图2为本发明采用的人体骨架的结构示意图。
具体实施方式
以下结合附图和具体实施例子，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
(1)获取训练集和测试集：
从单人姿态估计数据集中随机选取M个带有真实标签的图像样本组成训练集，同时选取N个带有真实标签的图像样本组成测试集，其中，每个标签所包含人体骨架点的类别数为P，每个类别的人体骨架点个数为1，M＝2000，N＝10000，P＝14；
(2)对人体骨架点进行等级划分：
(2a)将测试集作为多阶段特征融合单人姿态估计模型的输入，本实施例采取现阶段准确率较高的Hourglass模型对每个图像样本的每类人体骨架点的位置进行预测，并通过预测结果和人体骨架点的标签计算每类人体骨架点的准确率PCK，其计算方式为：
Figure BDA0002359655860000041
其中，A和A+分别表示测试集中的骨架点总个数和预测正确的骨架点个数。
(2b)设置判断阈值σ1和σ2，并将PCK≥σ1的骨架点作为简单骨架点，将σ2＜PCK＜σ1骨架点作为较难骨架点，将PCK≤σ2骨架点作为困难骨架点，其中，σ1＝0.9，σ2＝0.7；
(3)构建多级预测特征增强卷积神经网络：
(3a)构建包括级联堆叠的七个卷积层和四个池化层的图像特征提取网络，其具体结构为：第一池化层→第一卷积层→第二池化层→第二卷积层→第三池化层→第三卷积层→第四池化层→第四卷积层→第五卷积层→第六卷积层→第七卷积层；
(3b)构建包括级联的简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络的骨架点预测网络，每个子网络均包括级联堆叠的四个卷积层、concat层、特征增强模块和预测层，其具体结构均为：第一卷积层→concat层→第二卷积层→第三卷积层→第四卷积层→特征增强模块→预测层，其中，特征增强模块包括全局均值池化函数、L2归一化函数和缩放函数，用于对特征图的表达能力进行增强，其对特征图的具体操作方式为：
Figure BDA0002359655860000051
Figure BDA0002359655860000052
xi＝F2(si,vi)＝si·vi
其中，vi为待增强特征图的第i个通道的特征图，H,W分别表示该特征图的长和宽，zi为对vi的所有像素值求和后取均值的结果，si表示对zi归一化后的结果，xi表示利用si对vi的幅值进行缩放后的结果。
简单骨架点预测子网络的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层的拼接维度为49；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C1:C1＝P1+1，卷积核步长为1，其中，P1为简单骨架点、较难骨架点和困难骨架点的类别数之和；
较难骨架点预测子网络网络的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层的拼接维度为32+C1；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C2:C2＝P2+1，卷积核步长为1，其中，P2为较难骨架点和困难骨架点类别数之和；
困难骨架点预测子网络网络的具体结构的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层，其拼接维度设置为32+C2；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C3:C3＝P3+1，卷积核步长为1，其中，P3为困难骨架点类别数。
(3c)将图像特征提取网络的输出与骨架点预测网络的输入连接，得到多级预测特征增强卷积神经网络；
(4)对多级预测特征增强卷积神经网络进行训练：
(4a)设迭代次数为t，最大迭代次数为T，T＝62500，并令t＝0；
(4b)从训练集中随机选取m个带有真实标签的图像样本作为多级预测特征增强卷积神经网络的输入进行训练，得到m个预测标签，并通过m个预测标签与其对应的真实标签计算多级预测特征增强卷积神经网络的损失值L，其中，m＝16，损失值L的计算公式为：
L＝L1+L2+L3
Figure BDA0002359655860000061
Figure BDA0002359655860000062
Figure BDA0002359655860000063
其中，L1、L2和L3分别表示简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络的损失值，P1表示简单骨架点、较难骨架点和困难骨架点的类别数之和，P2表示较难骨架点和困难骨架点的类别数之和，P3表示困难骨架点的类别数，m表示训练集的第m个训练样本，
Figure BDA0002359655860000064
和
Figure BDA0002359655860000065
表示第m个训练样本的第p类简单骨架点子网络预测标签和真实标签，
Figure BDA0002359655860000066
和
Figure BDA0002359655860000067
表示第m个训练样本的第p类较难骨架点子网络预测标签和真实标签，
Figure BDA0002359655860000068
和
Figure BDA0002359655860000071
表示第m个训练样本的第p类困难骨架点子网络预测标签和真实标签；
(4c)采用梯度下降法，并通过损失值L对多级预测特征增强卷积神经网络各层的参数进行更新；
(4d)判断t＞＝T是否成立，若是，得到训练好的级联式特征增强卷积神经网络，否则，令t＝t+1，并执行步骤(4b)；
(5)基于训练好的多级预测特征增强卷积神经网络获取单人姿态估计结果：
将与训练集中图像样本同类型的待预测图像作为多级预测特征增强卷积神经网络的输入进行检测，得到待预测图像的14个骨架点的预测结果，并将14个骨架点的预测结果按照图2人体骨架连接方式进行连接，得到最终的姿态估计结果。图2中的黑色圆圈表示组成人体的骨架点，圆圈内的数字1至14分别表示人体骨架点的编号，黑色直线表示两两骨架点之间的连接线，其中14个人体骨架点及其对应的编号为：1.右脚踝，2.右膝，3.右臀，4.左脚踝，5.左膝，6.左臀，7.右手腕，8.右肘，9.右肩，10.左肩，11.左肘，12.左手腕，13.颈部，14.头部。

Claims (5)

1.一种基于多级预测特征增强卷积神经网络的单人姿态估计方法，其特征在于，包括如下步骤：
(1)获取训练集和测试集：
从单人姿态估计数据集中随机选取M个带有真实标签的图像样本组成训练集，同时选取N个带有真实标签的图像样本组成测试集，其中，每个标签所包含人体骨架点的类别数为P，每个类别的人体骨架点个数为1，M≥2000，N≥10000，P≥14；
(2)对人体骨架点进行等级划分：
(2a)将测试集作为多阶段特征融合单人姿态估计模型的输入，对每个图像样本的每类人体骨架点的位置进行预测，并通过预测结果和人体骨架点的标签计算每类人体骨架点的准确率PCK；
(2b)设置判断阈值σ1和σ2，并将PCK≥σ1的骨架点作为简单骨架点，将σ2＜PCK＜σ1骨架点作为较难骨架点，将PCK≤σ2骨架点作为困难骨架点，其中，0.7≤σ1≤0.9，0.5≤σ2≤0.7；
(3)构建多级预测特征增强卷积神经网络：
(3a)构建包括级联堆叠的多个卷积层和多个池化层的图像特征提取网络；
(3b)构建包括级联的简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络的骨架点预测网络，每个子网络均包括多个级联堆叠的卷积层、concat层、特征增强模块和预测层，其中，特征增强模块包括全局均值池化函数、L2归一化函数和缩放函数，用于对特征图的表达能力进行增强；
(3c)将图像特征提取网络的输出与骨架点预测网络的输入连接，得到多级预测特征增强卷积神经网络；
(4)对多级预测特征增强卷积神经网络进行训练：
(4a)设迭代次数为t，最大迭代次数为T，T≥62500，并令t＝0；
(4b)从训练集中随机选取m个带有真实标签的图像样本作为多级预测特征增强卷积神经网络的输入进行训练，得到m个预测标签，并通过m个预测标签与其对应的真实标签计算多级预测特征增强卷积神经网络的损失值L，其中，m＝1,2,4,8,16；
(4c)采用梯度下降法，并通过损失值L对多级预测特征增强卷积神经网络各层的参数进行更新；
(4d)判断t＞＝T是否成立，若是，得到训练好的多级预测特征增强卷积神经网络，否则，令t＝t+1，并执行步骤(4b)；
(5)基于训练好的多级预测特征增强卷积神经网络获取单人姿态估计结果：
将与训练集中图像样本同类型的待预测图像作为多级预测特征增强卷积神经网络的输入进行检测，得到待预测图像的P个骨架点的预测结果，并将P个骨架点的预测结果按照人体骨架连接方式进行连接，得到最终的姿态估计结果。
2.根据权利要求1所述的基于多级预测特征增强卷积神经网络的单人姿态估计方法，其特征在于，步骤(2a)中所述的多阶段特征融合单人姿态估计模型和人体骨架点的准确率PCK，其中，多阶段特征融合单人姿态估计模型采用Hourglass模型或CPM模型，人体骨架点的准确率PCK的计算方式为：
Figure FDA0002359655850000021
其中，A和A+分别表示测试集中的骨架点总个数和预测正确的骨架点个数。
3.根据权利要求1所述的基于多级预测特征增强卷积神经网络的单人姿态估计方法，其特征在于，步骤(3a)中所述的图像特征提取网络，包括七个卷积层和四个池化层，该图像特征提取子网络的具体结构为：第一池化层→第一卷积层→第二池化层→第二卷积层→第三池化层→第三卷积层→第四池化层→第四卷积层→第五卷积层→第六卷积层→第七卷积层。
4.根据权利要求1所述的基于多级预测特征增强卷积神经网络的单人姿态估计方法，其特征在于，步骤(3b)中所述的简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络，该三个子网络所包含的卷积层的数量均为四个，具体结构均为：第一卷积层→concat层→第二卷积层→第三卷积层→第四卷积层→特征增强模块→预测层，其中：
简单骨架点预测子网络的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层的拼接维度为49；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C1:C1＝P1+1，卷积核步长为1，其中，P1为简单骨架点、较难骨架点和困难骨架点的类别数之和；
较难骨架点预测子网络网络的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层的拼接维度为32+C1；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C2:C2＝P2+1，卷积核步长为1，其中，P2为较难骨架点和困难骨架点类别数之和；
困难骨架点预测子网络网络的具体结构的具体参数为：
第一卷积层的卷积核大小为5×5，卷积核数量为32，卷积核步长为1；
concat层，其拼接维度设置为32+C2；
第二卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第三卷积层的卷积核大小为11×11，卷积核数量为128，卷积核步长为1；
第四卷积层的卷积核大小为1×1，卷积核数量为128，卷积核步长为1；
预测层的卷积核大小为1×1，卷积核数量为C3:C3＝P3+1，卷积核步长为1，其中，P3为困难骨架点类别数。
5.根据权利要求1所述的基于多级预测特征增强卷积神经网络的单人姿态估计方法，其特征在于，步骤(4b)中所述的多级预测特征增强卷积神经网络的损失值L，计算公式为：
L＝L1+L2+L3
Figure FDA0002359655850000041
Figure FDA0002359655850000042
Figure FDA0002359655850000043
其中，L1、L2和L3分别表示简单骨架点预测子网络、较难骨架点预测子网络和困难骨架点预测子网络的损失值，P1表示简单骨架点、较难骨架点和困难骨架点的类别数之和，P2表示较难骨架点和困难骨架点的类别数之和，P3表示困难骨架点的类别数，m表示训练集的第m个训练样本，
Figure FDA0002359655850000044
和
Figure FDA0002359655850000045
表示第m个训练样本的第p类简单骨架点子网络预测标签和真实标签，
Figure FDA0002359655850000046
和
Figure FDA0002359655850000047
表示第m个训练样本的第p类较难骨架点子网络预测标签和真实标签，
Figure FDA0002359655850000048
和
Figure FDA0002359655850000049
表示第m个训练样本的第p类困难骨架点子网络预测标签和真实标签。
CN202010018024.5A 2020-01-08 2020-01-08 基于多级预测特征增强卷积神经网络的单人姿态估计方法 Active CN111259735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018024.5A CN111259735B (zh) 2020-01-08 2020-01-08 基于多级预测特征增强卷积神经网络的单人姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018024.5A CN111259735B (zh) 2020-01-08 2020-01-08 基于多级预测特征增强卷积神经网络的单人姿态估计方法

Publications (2)

Publication Number Publication Date
CN111259735A CN111259735A (zh) 2020-06-09
CN111259735B true CN111259735B (zh) 2023-04-07

Family

ID=70948600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018024.5A Active CN111259735B (zh) 2020-01-08 2020-01-08 基于多级预测特征增强卷积神经网络的单人姿态估计方法

Country Status (1)

Country Link
CN (1) CN111259735B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814661B (zh) * 2020-07-07 2024-02-09 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法
CN113095251B (zh) * 2021-04-20 2022-05-27 清华大学深圳国际研究生院 一种人体姿态估计方法及系统
CN113222916B (zh) * 2021-04-28 2023-08-18 北京百度网讯科技有限公司 采用目标检测模型检测图像的方法、装置、设备和介质
CN116434127B (zh) * 2023-06-14 2023-11-07 季华实验室 人体姿态估计方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108491880B (zh) * 2018-03-23 2021-09-03 西安电子科技大学 基于神经网络的物体分类和位姿估计方法
US10672109B2 (en) * 2018-03-29 2020-06-02 Pixar Multi-scale architecture of denoising monte carlo renderings using neural networks
CN109919085B (zh) * 2019-03-06 2020-11-03 西安电子科技大学 基于轻量型卷积神经网络的人人交互行为识别方法
CN110532861B (zh) * 2019-07-18 2021-03-23 西安电子科技大学 基于骨架引导多模态融合神经网络的行为识别方法

Also Published As

Publication number Publication date
CN111259735A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN110070074B (zh) 一种构建行人检测模型的方法
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN112597955B (zh) 一种基于特征金字塔网络的单阶段多人姿态估计方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN109902565B (zh) 多特征融合的人体行为识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN109829414B (zh) 一种基于标签不确定性和人体组件模型的行人再识别方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN114821299B (zh) 一种遥感图像变化检测方法
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
Wang et al. Single shot multibox detector with deconvolutional region magnification procedure
CN110008847B (zh) 一种基于卷积神经网络的泳姿识别方法
CN111401209B (zh) 一种基于深度学习的动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant