CN111368733B - 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 - Google Patents

一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 Download PDF

Info

Publication number
CN111368733B
CN111368733B CN202010142945.2A CN202010142945A CN111368733B CN 111368733 B CN111368733 B CN 111368733B CN 202010142945 A CN202010142945 A CN 202010142945A CN 111368733 B CN111368733 B CN 111368733B
Authority
CN
China
Prior art keywords
point
point cloud
dimensional
sampling
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010142945.2A
Other languages
English (en)
Other versions
CN111368733A (zh
Inventor
王旭鹏
李晓瑜
李伟强
雷航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010142945.2A priority Critical patent/CN111368733B/zh
Publication of CN111368733A publication Critical patent/CN111368733A/zh
Application granted granted Critical
Publication of CN111368733B publication Critical patent/CN111368733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端，所述方法包括：通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。本发明的优点在于：可以充分利用3D空间信息，可以近似表示3D体素，使得复杂度大大降低，复杂度与分辨率成一维线性关系；通过OBB归一化可以使初始点云数据在整体方向上保持一致，而一般归一化只是在简单归一化到0和1之间，增加对输入数据的鲁棒性。

Description

一种基于标签分布学习的三维手部姿态估计方法、存储介质 及终端
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于标签分布学习的三维手部姿态估计方 法、存储介质及终端。
背景技术
近年来，使用深度相机进行实时3D手部姿势估计的研究稳步增长，因为该技术可以在 各种人机交互应用程序中发挥重要作用，尤其是在虚拟现实和增强现实应用程序中。然而， 由于3D手势的高维度，手势的变化大，使得3D手势估计仍遭受准确性和鲁棒性的问题。
目前对手部姿态进行估计的现有技术存在缺点有：1、以2D图像作为输入的2D CNN无 法充分利用深度图像中的3D空间信息；2、将手部深度图像编码为3D体素，并应用3D CNN推断3D手部姿势；但是，3D CNN的时间和空间复杂度随输入3D体素的分辨率呈立方增长，计算量过大。因此，如何降低计算量、减少计算的复杂度，使得手部姿态估计更加精确，是目前需要解决的问题。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种基于标签分布学习的三维手部姿态 估计方法、存储介质及终端，解决了目前对手部姿态进行估计的方法中存在的问题。
本发明的目的通过以下技术方案来实现：一种基于标签分布学习的三维手部姿态估计方 法，所述方法包括：
通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；
采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；
通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布， 并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。
所述方法还包括在进行最远点采样法和基于OBB的点云归一化法对点云数据进行预处 理之前，需要将采集到的手部三维散点深度图像的原始数据转换为三维点云数据的步骤。
所述通过最远点采样法对点云数据进行预处理步骤包括：
从初始点集P＝{p0,p1,…,pn}中选取任意一点pi，并从剩余点中取出与该点距离最远的pij加 入到新的采样点集Psa中；
以新加入的采样点集Psa中的点pij为基准继续从剩余点钟取出与到采样点集Psa距离最远 的点继续放入到采样点集Psa中；迭代直到采样到目标数量N截止。
所述基于OBB的点云归一化法对点云数据进行预处理步骤包括：
对输入的点云数据进行PCA主成分分析，得到输入点云数据的特征向量矩阵；
将原始数据乘以特征向量矩阵得到OBB坐标系下的原始数据旋转矩阵；
并根据点云数据在OBB坐标系下各个坐标方向最大值进行归一化。
为保证输入输出数据在物理意义上相同，在训练阶段各手部关节点的三维坐标经过
Figure BDA0002399722000000021
公式映射到OBB参考坐标系中；在测试阶段根据
Figure BDA0002399722000000022
公 式将OBB参考坐标系中的各手部关节点的三维位置坐标系坐标变换回相机参考坐标系。
所述采样特征学习网络将输入点云数据进行处理得到点云数据再高纬度的特征向量包 括：
将输入点云N个点进行第一次最远点采样得到N1个点，并根据采样点进行球查询，按 照指定半径下N1个点周围的K个点为一个采样组，得到N1×D×K的点云数据，通过三个卷积核数量为64、64、128的1×1卷积层，将点云数据从D维变为128维，变为了点云数 据高纬度的表示，再通过最大池化层得到每个采样点的特征；此时维度为N1×128、物理意 义为N1个采样点的128维特征向量，代表了采样点及周围点的特征；
对N1个点进行第二次最远点采样并通过球查询的方式，获得N2×K个点，将每个点对 应1中的128维特征向量与该点原始坐标信息合并得到N2×(d+128)×K特征集合，通过三个卷积核数量为128、128、256的1×1卷积层，将特征维度变为256维，再通过最大池化层；此时维度为N2×256、物理意义为N2个采样点的256维特征向量；
将N2个采样点的256维特征与采样点原始坐标信息合并成为N2×(d+256)特征集合， 通过三个卷积核数量为256、512、1024的1×1卷积层，将特征维度变为1024维，再通过最 大池化层，得到整体点云的特征；此时维度为1024，从而得到点云数据的1024维特征向量。
所述特征学习网络包括PointNet++网络模型，通过在采样时使用最远点采样法以保证局 部特征能够被充分学习。
所述通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分 布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计包括：
将OBB空间进行网格化划分，并将手部各关节点在三维坐标中的空间内的概率密度分布 表示为
Figure BDA0002399722000000031
分别计算x,y,z每个维度上的概率密度分布，并将每个维度的概率密度分布当做一个标 签；
根据关节点标签的概率密度分布得到关节点标签位置的概率密度最大点，用该点表示标 签信息，也就是x,y,z的坐标信息，即关节点位置信息；
确定预测估计的关节点位置信息与真实关节点位置信息之间距离差值大小，距离差值越 小则预测估计结果越准确。
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序运行时执行一种基 于标签分布学习的三维手部姿态估计方法的步骤。
一种终端，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基 于标签分布学习的三维手部姿态估计的控制程序，所述基于标签分布学习的三维手部姿态估 计的控制程序运行时执行一种基于标签分布学习的三维手部姿态估计方法的步骤。
本发明具有以下优点：一种基于标签分布学习的三维手部姿态估计方法、存储介质及终 端，可以充分利用3D空间信息，可以近似表示3D体素，使得复杂度大大降低，复杂度与分 辨率成一维线性关系；通过OBB归一化可以使初始点云数据在整体方向上保持一致，而一般 归一化只是在简单归一化到0和1之间，增加对输入数据的鲁棒性；相较于传统PointNet网 络模型不能有效表示局部特征，通过使用PointNet++网络模型能够有效解决局部特征学习的 问题。
附图说明
图1为本发明的整体框架示意图；
图2为特征学习网络结构示意图；
图3为特征提取示意图；
图4为手部关节点标签分布示意图。
具体实施方式
下面结合附图对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于标签分布学习的三维手部姿态估计方法，所述方法包括：
S1、通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；
S2、采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；
S3、通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分 布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。
三维手部姿态估计是根据给定的手部深度图
Figure RE-GDA0002446170850000041
来预测相机参考坐标系下各手部关节点 的位置信息
Figure RE-GDA0002446170850000042
其中J是要预测的手部关节点总数。本发明使用
Figure RE-GDA0002446170850000043
表示训练样本集合，其中M表示训练样本总数。数据预处理步骤给出了手部三维点云数据的 生成方法。特征学习网络采用PointNet++网络模型。PointNet++直接处理点云数据，并已被 成功应用于目标分类、检测和场景分割等任务。标签分布学习网络采用全连接网络回归手部 关节点的空间位置概率分布。
所述方法还包括在进行最远点采样法和基于OBB的点云归一化法对点云数据进行预处 理之前，需要将采集到的手部三维散点深度图像的原始数据转换为三维点云数据的步骤。
进一步地，深度传感器采集的是特定视角下的手部的三维散点深度图像，然而因为特征 学习网络的输入是点云数据，所以需要将原始数据转换成三维点云数据；传感器保存的深度 图像是以像素点的方式组织的。由深度图片中的任意像素点(u,v)∈D转换成相机参考坐标系中 点云p坐标(x,y,z)，如下式所示：
Figure BDA0002399722000000042
其中(u0,v0)是深度图像的像素中点坐标，即原点坐标；fx,fy是深度传感器的内部参数，分 别为水平和垂直焦距；d是像素点(u,v)处的深度值。
深度学习端到端神经网络要求输入数据的维度一致，使用下采样方法将相机参考坐标系 下的点云数据将数据点数量进行统一；三维手部姿态估计存在手部全局方位变化大的问题， 使用归一化方法将原始点云经过旋转归一化处理映射到手部点云方向一致的标准坐标系，即 OBB坐标系下，如图1中(a)部分所示
所述通过最远点采样法对点云数据进行预处理步骤包括：
A1、从初始点集P＝{p0,p1,…,pn}中选取任意一点pi，并从剩余点中取出与该点距离最远 的pij加入到新的采样点集Psa中；
A2、以新加入的采样点集Psa中的点pij为基准继续从剩余点钟取出与到采样点集Psa距离最 远的点继续放入到采样点集Psa中；迭代直到采样到目标数量N截止。
A3、采样点集Psa＝{pi1,pi1,…,piN}，其中点到点集Psa距离为到Psa中每一点距离的最小值。最 远点采样的优点在于相较随机采样，在给定采样点个数的情况下，对于整个点集有着更好的 覆盖范围。
所述基于OBB的点云归一化法对点云数据进行预处理步骤包括：
B1、对输入的点云数据进行PCA主成分分析，得到输入点云数据的特征向量矩阵；
B2、将原始数据乘以特征向量矩阵得到OBB坐标系下的原始数据旋转矩阵；
B3、并根据点云数据在OBB坐标系下各个坐标方向最大值进行归一化。
基于OBB的点云归一化方法对于输入手的全局方向具有健壮性。OBB是紧密包裹手部 输入点云的一个长方体边界框。通过对于输入点云的三维坐标进行PCA主成分分析来确定 OBB的方向。根据公式
Figure BDA0002399722000000051
将点云所在相机参考坐标系映射到OBB参考坐标系下，然后将点平移到以均值为原点的坐标系中，并缩放至单位大小。
其中pcam和pobb分别是点云在相机参考坐标系和OBB参考坐标系中的三维坐标，
Figure BDA0002399722000000052
是相 机参考坐标系中OBB的旋转矩阵，
Figure BDA0002399722000000053
是点云图中采样的N个点在OBB参考坐标系中的平 均坐标位置，Lobb是OBB框的最大边长。
为保证输入输出数据在物理意义上相同，在训练阶段各手部关节点的三维坐标经过
Figure BDA0002399722000000061
公式映射到OBB参考坐标系中；在测试阶段根据
Figure BDA0002399722000000062
公 式将OBB参考坐标系中的各手部关节点的三维位置坐标系坐标变换回相机参考坐标系。
其中
Figure BDA0002399722000000063
表示第j个关节点在OBB参考坐标系中三维位置坐标的预测值，
Figure BDA0002399722000000064
表示对应相 机参考坐标系中三维位置坐标的预测值。
如图2所示，所述采样特征学习网络将输入点云数据进行处理得到点云数据再高纬度的 特征向量包括：
S21、将输入点云N个点进行第一次最远点采样得到N1个点，并根据采样点进行球查询， 按照指定半径下N1个点周围的K个点为一个采样组，得到N1×D×K的点云数据，通过三 个卷积核数量为64、64、128的1×1卷积层，将点云数据从D维变为128维，变为了点云 数据高纬度的表示，再通过最大池化层得到每个采样点的特征；此时维度为N1×128、物理 意义为N1个采样点的128维特征向量，代表了采样点及周围点的特征；
S22、对N1个点进行第二次最远点采样并通过球查询的方式，获得N2×K个点，将每个 点对应1中的128维特征向量与该点原始坐标信息合并得到N2×(d+128)×K特征集合，通过三个卷积核数量为128、128、256的1×1卷积层，将特征维度变为256维，再通过最大 池化层；此时维度为N2×256、物理意义为N2个采样点的256维特征向量；
S23、将N2个采样点的256维特征与采样点原始坐标信息合并成为N2×(d+256)特征集合，通过三个卷积核数量为256、512、1024的1×1卷积层，将特征维度变为1024维，再 通过最大池化层，得到整体点云的特征；此时维度为1024，从而得到点云数据的1024维特 征向量。
所述特征学习网络包括PointNet++网络模型，通过在采样时使用最远点采样法以保证局 部特征能够被充分学习。
与Pointnet不同的是在采样和分组时，采样使用最远点采样方法，在进行点集映射的时 候用分组集合
Figure RE-GDA0002446170850000065
代替了直接使用点集P，其中gi＝{pi0,pi1,…,pik}是由pi点通 过k近邻算法选取的周围的点表示的gi分组。
此外，对于分组后的点云数据依旧采用多层感知机的方式进行特征学习。如图3所示， 点集的某一层特征是由两部分特征向量组成，左边是每个分组所表示的原始采样点的原始特 征向量，右边是本层每个分组的从上一层学习到的特征向量。以图1中(b)部分中第二个部分 举例，图中N1×(D+C1)中N1表示采样点个数，D表示本层采样点的原始特征向量，C1代表本层 分组的特征向量。在学习过程中，同时学习了整体和局部的特征。
所述通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分 布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计包括：
S31、将OBB空间进行网格化划分，每个维度88等分，整个空间被划分为883个空间立 方体，并将手部各关节点在三维坐标中的每个空间立方体内的概率密度分布表示为
Figure BDA0002399722000000071
S32、分别计算x,y,z每个维度上的概率密度分布，并将每个维度的概率密度分布当做一 个标签；其目的是由于关节点位置信息可以表示为x、y、z方向上的值，即每个维度的值。 我们将直接学习x、y、z的值(x、y、z可视为三个不同标签)变成学习关节点在x、y、z上的概率分布(即将每个维度的概率分布当做是一个标签)，使得深度学习的非线性降低，使 得网络学习更加容易，更加精确。
S33、根据关节点标签的概率密度分布得到关节点标签位置的概率密度最大点，用该点表 示标签信息，也就是X,Y,Z的坐标信息，即关节点位置信息；
S34、确定预测估计的关节点位置信息与真实关节点位置信息之间距离差值大小，距离差 值越小则预测估计结果越准确。
其中(xj,yj,zj)是第j个关节点的真实位置，σ＝1.7是高斯分布的标准差。由于为了方便神 经网络快速收敛，故H的概率密度和不为1，而是最大概率密度为1。为了减小网络的空间复 杂度，根据公式：
Figure BDA0002399722000000081
H(x,y,z)在x,y,z三个维度上是独立同分布的，所以可以分别计算x,y,z每个维度上的概率 密度分布。每个维度的概率分布是一个标签，关节点标签分布如图4所示，该图分别选取了 两个不同手部姿态下两个不同关节点的下x,y,z标签概率分布情况，由于实际所用网格划分数 量较多，该图采用求均值方式降低了网格数量。图中明亮的格子表示概率密度较高。采用均 方误差作为损失函数引导网络进行学习，Loss如下：
Figure RE-GDA0002446170850000082
其中Hj和
Figure BDA0002399722000000083
分别是第j个关节点概率分布的真实值和预测值。
本发明最后一层的复杂度由883×J降低为3×88×J，如图1中(c)部分所示，本模块的网络 采用多个全连接网络相连接的方式对标签进行学习，使用包含2048、4096、3×88×J个神经元 的全连接网络相连接的方式构成标签分布学习网络。
本发明的另一实施例包括一种存储介质，所述存储介质上存储有计算机程序，所述计算 机程序运行时执行一种基于标签分布学习的三维手部姿态估计方法的步骤。
本发明的又一实施例包括一种终端，包括存储器、处理器以及存储在所述存储器上并可 在所述处理器上运行的基于标签分布学习的三维手部姿态估计的控制程序，所述基于标签分 布学习的三维手部姿态估计的控制程序运行时执行一种基于标签分布学习的三维手部姿态估 计方法的步骤。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式， 不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述 构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动 和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于标签分布学习的三维手部姿态估计方法，其特征在于：所述方法包括：
通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理；
采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量；
通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计；
所述通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布，并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计包括：
将OBB空间进行网格化划分，并将手部各关节点在三维坐标中的空间内的概率密度分布表示为
Figure FDA0003923124050000011
分别计算x,y,z每个维度上的概率密度分布，并将每个维度的概率密度分布当做一个标签；
根据关节点标签的概率密度分布得到关节点标签位置的概率密度最大点，用该点表示标签信息，也就是x,y,z的坐标信息，即关节点位置信息；
确定预测估计的关节点位置信息与真实关节点位置信息之间距离差值大小，距离差值越小则预测估计结果越准确；
所述采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量包括：
将输入点云N个点进行第一次最远点采样得到N1个点，并根据采样点进行球查询，按照指定半径下N1个点周围的K个点为一个采样组，得到N1×D×K的点云数据，通过三个卷积核数量为64、64、128的1×1卷积层，将点云数据从D维变为128维，变为了点云数据高纬度的表示，再通过最大池化层得到每个采样点的特征；此时维度为N1×128、物理意义为N1个采样点的128维特征向量，代表了采样点及周围点的特征；
对N1个点进行第二次最远点采样并通过球查询的方式，获得N2×K个点，将每个点对应1中的128维特征向量与该点原始坐标信息合并得到N2×(d+128)×K特征集合，通过三个卷积核数量为128、128、256的1×1卷积层，将特征维度变为256维，再通过最大池化层；此时维度为N2×256、物理意义为N2个采样点的256维特征向量；
将N2个采样点的256维特征与采样点原始坐标信息合并成为N2×(d+256)特征集合，通过三个卷积核数量为256、512、1024的1×1卷积层，将特征维度变为1024维，再通过最大池化层，得到整体点云的特征；此时维度为1024，从而得到点云数据的1024维特征向量；
所述特征学习网络包括PointNet++网络模型，通过在采样时使用最远点采样法以保证局部特征能够被充分学习。
2.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法，其特征在于：所述方法还包括在进行最远点采样法和基于OBB的点云归一化法对点云数据进行预处理之前，需要将采集到的手部三维散点深度图像的原始数据转换为三维点云数据的步骤。
3.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法，其特征在于：所述通过最远点采样法对点云数据进行预处理步骤包括：
从初始点集P＝{p0,p1,…,pn}中选取任意一点pi，并从剩余点中取出与该点距离最远的pij加入到新的采样点集Psa中；
以新加入的采样点集Psa中的点pij为基准继续从剩余点钟取出与到采样点集Psa距离最远的点继续放入到采样点集Psa中；迭代直到采样到目标数量N截止。
4.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法，其特征在于：所述基于OBB的点云归一化法对点云数据进行预处理步骤包括：
对输入的点云数据进行PCA主成分分析，得到输入点云数据的特征向量矩阵；
将原始数据乘以特征向量矩阵得到OBB坐标系下的原始数据旋转矩阵；
并根据点云数据在OBB坐标系下各个坐标方向最大值进行归一化。
5.根据权利要求4所述的一种基于标签分布学习的三维手部姿态估计方法，其特征在于：为保证输入输出数据在物理意义上相同，在训练阶段各手部关节点的三维坐标经过
Figure FDA0003923124050000021
公式映射到OBB参考坐标系中；在测试阶段根据
Figure FDA0003923124050000022
公式将OBB参考坐标系中的各手部关节点的三维位置坐标系坐标变换回相机参考坐标系。
6.一种存储介质，其特征在于：所述存储介质上存储有计算机程序，所述计算机程序运行时执行如权利要求1-5中任意一项所述的一种基于标签分布学习的三维手部姿态估计方法的步骤。
7.一种终端，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于标签分布学习的三维手部姿态估计的控制程序，所述基于标签分布学习的三维手部姿态估计的控制程序运行时执行如权利要求1-5中任意一项所述的一种基于标签分布学习的三维手部姿态估计方法的步骤。
CN202010142945.2A 2020-03-04 2020-03-04 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 Active CN111368733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142945.2A CN111368733B (zh) 2020-03-04 2020-03-04 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142945.2A CN111368733B (zh) 2020-03-04 2020-03-04 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111368733A CN111368733A (zh) 2020-07-03
CN111368733B true CN111368733B (zh) 2022-12-06

Family

ID=71210219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142945.2A Active CN111368733B (zh) 2020-03-04 2020-03-04 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111368733B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365582B (zh) * 2020-11-17 2022-08-16 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112396655B (zh) * 2020-11-18 2023-01-03 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112989470B (zh) * 2021-03-26 2022-06-07 武汉大学 一种基于点云数据的室内空间布局提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置
RU2683561C1 (ru) * 2017-12-12 2019-03-28 Частное учреждение образовательная организация высшего образования "Медицинский университет "Реавиз" Способ трехмерного моделирования операции чрескостного остеосинтеза при переломах области голеностопного сустава

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159134B2 (en) * 2011-12-16 2015-10-13 Universitat Zu Lubek Method and apparatus for estimating a pose
CN106055091B (zh) * 2016-05-16 2019-08-06 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
CN108334198B (zh) * 2018-02-09 2021-05-14 华南理工大学 基于增强现实的虚拟雕塑方法
CN108983978B (zh) * 2018-07-20 2020-11-10 北京理工大学 虚拟手控制方法及装置
CN110222580B (zh) * 2019-05-09 2021-10-22 中国科学院软件研究所 一种基于三维点云的人手三维姿态估计方法和装置
CN110348359B (zh) * 2019-07-04 2022-01-04 北京航空航天大学 手部姿态追踪的方法、装置及系统
US11182909B2 (en) * 2019-12-10 2021-11-23 Google Llc Scalable real-time hand tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2683561C1 (ru) * 2017-12-12 2019-03-28 Частное учреждение образовательная организация высшего образования "Медицинский университет "Реавиз" Способ трехмерного моделирования операции чрескостного остеосинтеза при переломах области голеностопного сустава
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-Time 3D Hand Pose Estimation with 3D Convolutional Neural Networks;Liuhao Ge等;《 IEEE Transactions on Pattern Analysis and Machine Intelligence 》;IEEE;20190401;第956 - 970页 *
Weakly-supervised 3D hand pose estimation from monocular RGB images;Yujun Cai等;《ECCV 2018: Computer Vision – ECCV 2018 》;20181006;第678–694页 *
采用RGBD图像的三维手势识别算法研究;黎佳明;《中国优秀硕士学位论文全文数据库信息科技辑》;20200215(第2期);I138-1611 *

Also Published As

Publication number Publication date
CN111368733A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN113673425B (zh) 一种基于Transformer的多视角目标检测方法及系统
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN113283525B (zh) 一种基于深度学习的图像匹配方法
CN107067410B (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN110969648A (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
Yang et al. Visual tracking with long-short term based correlation filter
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN114445633A (zh) 图像处理方法、装置和计算机可读存储介质
CN115757857A (zh) 一种水下三维跨模态联合检索方法、存储介质和电子设备
CN116097307A (zh) 图像的处理方法及相关设备
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN116823816B (zh) 一种基于安防监控静态存储器的检测设备及检测方法
CN112199994B (zh) 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置
CN116519106B (zh) 一种用于测定生猪体重的方法、装置、存储介质和设备
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
WO2023086398A1 (en) 3d rendering networks based on refractive neural radiance fields
Feng et al. Robust face recognition with deeply normalized depth images
Zhang [Retracted] An Intelligent and Fast Dance Action Recognition Model Using Two‐Dimensional Convolution Network Method
CN114387489A (zh) 电力设备识别方法、装置和终端设备
CN113962846A (zh) 图像对齐方法及装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant