CN111598995A - 一种基于原型分析的自监督多目三维人体姿态估计方法 - Google Patents

一种基于原型分析的自监督多目三维人体姿态估计方法 Download PDF

Info

Publication number
CN111598995A
CN111598995A CN202010326837.0A CN202010326837A CN111598995A CN 111598995 A CN111598995 A CN 111598995A CN 202010326837 A CN202010326837 A CN 202010326837A CN 111598995 A CN111598995 A CN 111598995A
Authority
CN
China
Prior art keywords
dimensional
prototype
posture
pose
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010326837.0A
Other languages
English (en)
Other versions
CN111598995B (zh
Inventor
邢帅
杨文武
贾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202010326837.0A priority Critical patent/CN111598995B/zh
Publication of CN111598995A publication Critical patent/CN111598995A/zh
Application granted granted Critical
Publication of CN111598995B publication Critical patent/CN111598995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于原型分析的自监督多目三维人体姿态估计方法，包括以下步骤：标定相机参数并对多目图像进行预处理；构建Two‑Stage的深度网络；构建3D‑Pose‑Refine模块。上述技术方案通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。

Description

一种基于原型分析的自监督多目三维人体姿态估计方法
技术领域
本发明涉及三维人体姿态估计领域，尤其涉及一种基于原型分析的自监督多目三维人体姿态估计方法。
背景技术
三维人体姿态估计是计算机视觉中较为热门的一个研究领域，其应用也是十分广泛，诸如动作识别，安防，人机交互等场景都有该技术的直接或间接应用。三维姿态估计仍然面临诸多挑战，相较于二维姿态估计而言，其主要有两点不同：首先，三维坐标系下，其拥有更大的姿态空间，具有歧义性；其次，对于数据驱动的算法，三维标注信息的获取是比较困难的，这就使得基于监督学习的方法不适用于野外场景。
有资料显示，近年来，深度卷积网络在视觉中发挥着越来越重要的作用，加之出现了大量的二维姿态数据集，二维人体姿态估计取得了较快的发展，已经达到了较高的准确性。而面对三维姿态数据集稀缺的问题，一部分研究开始转向基于弱监督和自监督技术的算法构建，其中主要包括基于二维投影一致性约束算法和基于多目几何约束的自监督算法。
原型分析法是一种无监督学习方法。类似于聚类学习中找寻数据样本与类别中心点的关联，原型分析法找寻一组数据样本的原型表示，同时满足数据样本为原型的凸线性组合。有研究表明，三维姿态空间中语义性较强的的姿态存在边界特性，因此利用原型分析方法构造三维姿态数据集的一组原型，以原型的凸组合表征和修正姿态是一个有效可行的方案。
中国专利文献CN104952105B公开了一种“三维人体姿态估计方法和装置”。方法包括：获得人体不同角度的多幅人体图像，该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的人体的多幅图像；对每幅人体图像分别进行二维人体姿态估计，确定每幅人体图像中的该人体的目标二维人体姿态；依据预先构建的二维人体姿态与三维人体姿态的映射库，确定目标二维人体姿态对应的目标三维人体姿态，以恢复出人体在多个不同角度的多个目标三维人体姿态；将多个目标三维人体姿态组合为一个三维人体，构建出该人体的三维姿态。上述技术方案面对三维姿态数据集稀缺的问题，如野外场景下，无法有效构建人体的三维姿态。
发明内容
本发明主要解决原有的三维姿态估计数据集稀缺，监督学习在野外场景下不适用技术问题，提供一种基于原型分析的自监督多目三维人体姿态估计方法，通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤
(1)标定相机参数并对多目图像进行预处理；
(2)构建Two-Stage的深度网络；
(3)构建3D-Pose-Refine模块。
作为优选，所述的步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。
作为优选，所述的步骤2中构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图；
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块。
作为优选，所述的步骤2.1包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块；
(2.12)通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果；其中，2D-Pose-ResNet模块是以ResNet深度卷积网络为主干的全卷积二维人体姿态估计模块。
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调。
作为优选，所述的步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。
作为优选，所述的步骤2.2包括以下步骤：
(2.21)初始化可学习的Joints-Confidence子模块；
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络；
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计。
作为优选，所述的步骤2.22中预训练Joints-Confidence网络包括以下步骤：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标；
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习；
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态；结合方式如下：
Figure BDA0002463525260000041
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积；
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
作为优选，所述的步骤3中构建3D-Pose-Refine模块包括：
(3.1)初始化三维姿态表示原型；
(3.2)利用三维姿态表示原型对预测的姿态进行修正；
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstruction模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure BDA0002463525260000042
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure BDA0002463525260000043
为预测的三维姿态的节点位置。
作为优选，所述的步骤3.1中初始化三维姿态表示原型包括以下步骤：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure BDA0002463525260000051
Figure BDA0002463525260000052
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数；K为原型数量,每个原型对应着一个高维向量,其值为:
Figure BDA0002463525260000053
作为优选，所述的步骤3.2中姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0；求解能量函数如下：
Figure BDA0002463525260000054
Figure BDA0002463525260000055
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
本发明的有益效果是：通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。
具体实施方式
下面通过实施例，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种基于原型分析的自监督多目三维人体姿态估计方法，包括以下步骤：
(1)利用人体检测器获得的包围盒对多目图像进行裁剪预处理，根据裁剪和缩放参数调整对应的相机投影参数。输入数据为是带有人体姿态的多相机图像。
(2)构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图，具体包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块。
(2.12)2D-Pose-ResNet模块是以ResNet深度卷积网络为主干的全卷积二维人体姿态估计模块，通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果。
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调。
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块，其中3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。具体构建步骤包括：
(2.21)初始化可学习的Joints-Confidence子模块。
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络，预训练步骤为：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标。
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习。
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态，结合方式如下：
Figure BDA0002463525260000071
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积。
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计。
(3)构建3D-Pose-Refine模块包含以下步骤：
(3.1)初始化三维姿态表示原型，具体步骤包括：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure BDA0002463525260000081
Figure BDA0002463525260000082
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数；K为原型数量,每个原型对应着一个高维向量,其值为:
Figure BDA0002463525260000083
(3.2)利用三维姿态表示原型对预测的姿态进行修正，姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0；求解能量函数如下：
Figure BDA0002463525260000084
Figure BDA0002463525260000085
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstruction模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure BDA0002463525260000091
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure BDA0002463525260000092
为预测的三维姿态的节点位置。

Claims (10)

1.一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，包括以下步骤：
(1)标定相机参数并对多目图像进行预处理；
(2)构建Two-Stage的深度网络；
(3)构建3D-Pose-Refine模块。
2.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。
3.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2中构建Two-Stage的深度网络包括：
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图；
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块。
4.根据权利要求3所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.1包括以下步骤：
(2.11)初始化2D-Pose-ResNet模块；
(2.12)通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果；
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调。
5.根据权利要求3所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。
6.根据权利要求5所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.2包括以下步骤：
(2.21)初始化可学习的Joints-Confidence子模块；
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络；
(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计。
7.根据权利要求6所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.22中预训练Joints-Confidence网络包括以下步骤：
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标；
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习；
(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态；结合方式如下：
Figure FDA0002463525250000021
其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积；
(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。
8.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3中构建3D-Pose-Refine模块包括：
(3.1)初始化三维姿态表示原型；
(3.2)利用三维姿态表示原型对预测的姿态进行修正；
(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstruction模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为
Figure FDA0002463525250000031
其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，
Figure FDA0002463525250000032
为预测的三维姿态的节点位置。
9.根据权利要求8所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.1中初始化三维姿态表示原型包括以下步骤：
(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；
(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：
Figure FDA0002463525250000033
s.t.βl，k≥0，αi，k≥0，
Figure FDA0002463525250000034
其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数；K为原型数量,每个原型对应着一个高维向量,其值为:
Figure FDA0002463525250000041
10.根据权利要求8所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.2中姿态修正方法包括：
(3.21)将预测的三维姿态标准化并以距离矩阵表示；
(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0；求解能量函数如下：
Figure FDA0002463525250000042
s.t.α≥0，|α|1＝1，
其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，s为原型与d的距离；
(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。
CN202010326837.0A 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法 Active CN111598995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326837.0A CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326837.0A CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN111598995A true CN111598995A (zh) 2020-08-28
CN111598995B CN111598995B (zh) 2023-04-28

Family

ID=72190333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326837.0A Active CN111598995B (zh) 2020-04-23 2020-04-23 一种基于原型分析的自监督多目三维人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN111598995B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200157A (zh) * 2020-11-30 2021-01-08 成都市谛视科技有限公司 一种降低图像背景干扰的人体3d姿态识别方法及其系统
CN112733761A (zh) * 2021-01-15 2021-04-30 浙江工业大学 一种基于机器学习的人体状态匹配方法
CN113449420A (zh) * 2021-06-28 2021-09-28 浙江图盛输变电工程有限公司温州科技分公司 一种影像实景管控平台三维测量数据分析方法
CN114627490A (zh) * 2021-12-15 2022-06-14 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112592A1 (en) * 2006-06-19 2008-05-15 Weiguo Wu Motion Capture Apparatus and Method, and Motion Capture Program
CN109087329A (zh) * 2018-07-27 2018-12-25 中山大学 基于深度网络的人体三维关节点估计框架及其定位方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110427877A (zh) * 2019-08-01 2019-11-08 大连海事大学 一种基于结构信息的人体三维姿态估算的方法
CN111046733A (zh) * 2019-11-12 2020-04-21 宁波大学 一种基于稀疏和深度的3d人体姿态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112592A1 (en) * 2006-06-19 2008-05-15 Weiguo Wu Motion Capture Apparatus and Method, and Motion Capture Program
CN109087329A (zh) * 2018-07-27 2018-12-25 中山大学 基于深度网络的人体三维关节点估计框架及其定位方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110427877A (zh) * 2019-08-01 2019-11-08 大连海事大学 一种基于结构信息的人体三维姿态估算的方法
CN111046733A (zh) * 2019-11-12 2020-04-21 宁波大学 一种基于稀疏和深度的3d人体姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHI-YI TSAI ET AL: "Simultaneous 3D Object Recognition and Pose Estimation Based on RGB-D Images" *
王伟楠;张荣;郭立君;: "结合稀疏表示和深度学习的视频中3D人体姿态估计" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200157A (zh) * 2020-11-30 2021-01-08 成都市谛视科技有限公司 一种降低图像背景干扰的人体3d姿态识别方法及其系统
CN112733761A (zh) * 2021-01-15 2021-04-30 浙江工业大学 一种基于机器学习的人体状态匹配方法
CN112733761B (zh) * 2021-01-15 2024-03-19 浙江工业大学 一种基于机器学习的人体状态匹配方法
CN113449420A (zh) * 2021-06-28 2021-09-28 浙江图盛输变电工程有限公司温州科技分公司 一种影像实景管控平台三维测量数据分析方法
CN113449420B (zh) * 2021-06-28 2022-10-21 浙江图盛输变电工程有限公司温州科技分公司 一种影像实景管控平台三维测量数据分析方法
CN114627490A (zh) * 2021-12-15 2022-06-14 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法
CN114627490B (zh) * 2021-12-15 2024-10-18 浙江工商大学 一种基于惯性传感器与多功能相机的多人姿态估计方法

Also Published As

Publication number Publication date
CN111598995B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111598995B (zh) 一种基于原型分析的自监督多目三维人体姿态估计方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN110458939A (zh) 基于视角生成的室内场景建模方法
CN108229416B (zh) 基于语义分割技术的机器人slam方法
CN111161364B (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN113283525B (zh) 一种基于深度学习的图像匹配方法
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
Song et al. 6-DOF image localization from massive geo-tagged reference images
CN108537844A (zh) 一种融合几何信息的视觉slam回环检测方法
CN112560648B (zh) 一种基于rgb-d图像的slam方法
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN108151728A (zh) 一种用于双目slam的半稠密认知地图创建方法
CN112132950B (zh) 一种基于众包图像的三维点云场景更新方法
CN117522990B (zh) 基于多头注意力机制和迭代细化的类别级位姿估计方法
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法
CN111597367A (zh) 基于视图和哈希算法的三维模型检索方法
CN115810219A (zh) 一种基于rgb摄像头的三维手势追踪方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Su et al. Omnidirectional depth estimation with hierarchical deep network for multi-fisheye navigation systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant