CN111274909B - 一种基于深度学习的人体点云骨架提取方法 - Google Patents

一种基于深度学习的人体点云骨架提取方法 Download PDF

Info

Publication number
CN111274909B
CN111274909B CN202010048599.1A CN202010048599A CN111274909B CN 111274909 B CN111274909 B CN 111274909B CN 202010048599 A CN202010048599 A CN 202010048599A CN 111274909 B CN111274909 B CN 111274909B
Authority
CN
China
Prior art keywords
point
joint
points
human body
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010048599.1A
Other languages
English (en)
Other versions
CN111274909A (zh
Inventor
秦红星
张嵩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010048599.1A priority Critical patent/CN111274909B/zh
Publication of CN111274909A publication Critical patent/CN111274909A/zh
Application granted granted Critical
Publication of CN111274909B publication Critical patent/CN111274909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的人体点云骨架提取方法，属于计算机图形学领域。该方法为：首先使用PointCNN学习人体点云中每个表面点的特征用于判断该点是否为歧义点，并将歧义点剔除，得到感兴趣点云；使用PointCNN学习感兴趣点云中的每个表面点的特征，用于人体部位分割以及预测每点到对应关节点的偏移向量，将部位分割结果与偏移向量预测结果结合，将感兴趣点云转化为关节点预测值集合；剔除关节点预测值集合中的低质量预测，然后对预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值，根据关节点的语义信息，将所有关节点连接为3D人体骨架；最后利用人体结构的先验知识，检查并修复骨架中的错误。

Description

一种基于深度学习的人体点云骨架提取方法
技术领域
本发明属于计算机图形学领域，涉及一种基于深度学习的人体点云骨架提取方法。
背景技术
人体点云模型作为三维人体模型的一种表达方式，在工程设计、游戏、动画等研究领域有着广泛的应用，然而使用三维扫描设备得到的原始点云中含有大量噪声，且使用点云模型会占用庞大的存储空间，因此在实际处理和应用中不宜直接使用点云数据。三维人体骨架能以较高的精度描述三维人体模型的拓扑结构和几何形状，忽略原模型中所包含的冗余信息，表现形式更加精炼，在动画制作、人机交互和增强现实等多种领域中都有重要的应用。比如，目前大多数人体动作识别方法都以人体骨架序列为输入。因此，从人体点云模型中提取准确的三维人体骨架具有重要的研究意义。
近年来许多国内外专家学者针对点云骨架的提取进行了深入研究，目前已经有很多点云骨架提取算法，近年来出现的一些算法对点云缺失和噪声具有很好的鲁棒性。但是现存的点云骨架提取方法都是传统的手工设计的算法，它们存在一些缺点。这些方法提取的三维人体骨架中可能会出现分支错误、分支缺失、骨架断开等问题。而且，骨架点的语义信息对很多实际应用非常重要，而这些传统方法通常无法获得骨架点的语义信息。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的人体点云骨架提取方法，解决了现有点云骨架提取方法无法获取骨架点的语义信息，且提取的三维人体骨架中错误较多的问题，提高了三维人体骨架的准确率。本发明能够从人体点云模型中提取较为精确且包含语义信息的三维人体骨架。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的人体点云骨架提取方法，该方法具体包括以下步骤：
S1：将人体点云模型归一化，使得该模型位于最长边为1的轴向平行包围盒内；
S2：使用PointCNN学习人体点云中每个表面点的特征用于判断该点是否为位于两个人体关节连接部位的歧义点，并将这些歧义点剔除，得到兴趣点云；
S3：重新使用PointCNN学习兴趣点云中的每个表面点的特征，用于人体部位分割以及预测每点到对应关节点的偏移向量，将部位分割结果与偏移向量预测结果结合，从每个表面点得到一个对应关节点位置预测值，得到收缩后的关节点预测值集合；
S4：利用关节点预测值集合中的点密度，剔除低质量预测，然后使用DBSCAN聚类方法，对每个身体部位对应的所有关节点预测坐标聚类，得到该部位关节点的坐标预测值，根据关节点的语义信息，将所有关节点连接为3D人体骨架；
S5：利用人体结构的先验知识，检查并修复骨架中的错误。
可选的，所述步骤S1中，人体点云模型P由n个人体表面点组成，每个点仅包含三维坐标x、y、z，根据下列公式将点云数据归一化：
Figure BDA0002370304280000021
Figure BDA0002370304280000022
rmax＝max(xmax-xmin,ymax-ymin,zmax-zmin)
其中，x、y、z为原始点云中每个点的三维坐标，x′、y′、z′为归一化后点云中每个点的三维坐标，xmax和xmin分别表示原始点云中所有点x坐标的最大值和最小值，xcenter表示原始点云轴向平行包围盒的中心点的x坐标。
可选的，所述步骤S2中，去除点云中的歧义点：首先以归一化后的人体点云模型作为第一阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符习得每个表面点的128维特征
Figure BDA0002370304280000023
用于判断该点是否是歧义点，即位于两个关节连接部位上的点，将fa输入多层感知机MLP，并使用softmax激活函数，得到每个点为歧义点的概率pa，将pa大于0.5的点标记为歧义点并将剔除，得到感兴趣点云Pi。
可选的，所述步骤S3中，以感兴趣点云Pi为第二阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符重新习得每个表面点的192维特征
Figure BDA0002370304280000024
用于人体部位分割，将fc输入多层感知机MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率pseg，将最大的pseg对应的部位预测为该点所属的关节部位。
可选的，所述步骤S3中，以感兴趣点云Pi中每点特征fc输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值
Figure BDA0002370304280000025
将每个表面点pi沿着偏移向量预测值
Figure BDA0002370304280000026
收缩，得到一个关节点位置预测值
Figure BDA0002370304280000027
最终将感兴趣点云Pi转化为关节点预测值集合Jpre。
可选的，所述步骤S4中，删除关节点预测值集合Jpre中的低质量预测，具体的方法为：
对于Jpre中部位分割结果为l的点构成的点云
Figure BDA0002370304280000031
计算
Figure BDA0002370304280000032
中每点的点密度ρi，剔除
Figure BDA0002370304280000033
中密度较小的n个点，得到
Figure BDA0002370304280000034
ρi为以pi为球心以r为半径的球中点的个数与
Figure BDA0002370304280000035
中点的总数Nl的比例，ρi的计算公式如下：
Figure BDA0002370304280000036
Figure BDA0002370304280000037
对于每个身体部位，都执行上述步骤，最终得到高质量关节点集合Jh。
可选的，所述步骤S4中，使用DBSCAN聚类方法，从高质量关节点集合Jh得到3D人体骨架，具体为：
对于Jh中部位分割结果为l的点构成的点云
Figure BDA0002370304280000038
使用DBSCAN聚类方法对
Figure BDA0002370304280000039
进行聚类，如果将点云聚成一簇，则直接取该簇的质心作为l部位的关节点预测值；当聚簇数大于1时，取点最多的簇的质心作为l部位的关节点预测值，其余簇的质心作为候选关节点保存到l部位的候选点列表中；将各部位的关节点预测值连接起来，得到3D人体骨架。
可选的，所述步骤S5中，根据人体结构的先验知识，增加两个额外的约束条件来检查和修正错误骨架中的错误；这两个约束为：
(1)对称肢体长度相同；
(2)肢体长度应该在合适的范围内；
由中轴关节向四肢延伸，依次检查四肢是否存在误差；对于上半身，从胸部关节开始检测；如果从胸关节到左、右肩关节长度相同，且长度在正常范围内，则认为左、右肩关节是正确的；否则，认为是错误的；当检测到错误时，对应候选点列表中选择一个满足两个约束条件的点作为该部位关节点；如果有多个点满足约束条件，则选择使得对称肢体长度最接近的候选点作为关节点；如果没有候选点满足条件，则继续从对称关节点的候选点中寻找合适的点。
本发明的有益效果在于：本发明基于深度学习方法，将点云深度学习框架扩展到3D人体骨架提取，将人体部位分割与偏移向量回归相结合，降低了直接回归3D骨架难度；本发明采用歧义消除策略，提高了点云分割与偏移量预测的准确度，本发明所述方法克服了现有方法无法获取人体骨架点语义信息的缺点，减少了分支错误、分支缺失、骨架断开的现象，能够得到较为精确的三维人体骨架，同时本发明对存在缺失的点云模型具有一定的鲁棒性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述的基于深度学习的人体点云骨架提取方法的流程图；
图2为本发明所述的基于深度学习的人体点云骨架提取方法的整体框架示意图；
图3为本发明提出的人体点云骨架提取方法从完整人体点云数据中提取的人体骨架；
图4为本发明提出的人体点云骨架提取方法从存在缺失的人体点云数据中提取的人体骨架。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图4，为一种基于深度学习的人体点云骨架提取方法，首先使用PointCNN学习人体点云中每个表面点的特征用于判断该点是否为歧义点，并将歧义点剔除，得到感兴趣点云；使用PointCNN学习感兴趣点云中的每个表面点的特征，用于人体部位分割以及预测每点到对应关节点的偏移向量，将部位分割结果与偏移向量预测结果结合，将感兴趣点云转化为关节点预测值集合；剔除关节点预测值集合中的低质量预测，然后对预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值，根据关节点的语义信息，将所有关节点连接为3D人体骨架；最后利用人体结构的先验知识，检查并修复骨架中的错误。如图1所示，本发明所述人体点云骨架提取方法具体包括以下步骤：
步骤1：输入人体点云模型，并进行归一化处理，使得该模型位于最长边为1的轴向平行包围盒内；
输入的人体点云模型P由n个人体表面点组成，每个点仅包含三维坐标x、y、z，根据下列公式将点云数据归一化：
Figure BDA0002370304280000051
Figure BDA0002370304280000052
rmax＝max(xmax-xmin,ymax-ymin,zmax-zmin)
其中，x、y、z为原始点云中每个点的三维坐标，x′、y′、z′为归一化后点云中每个点的三维坐标，xmax和xmin分别表示原始点云中所有点x坐标的最大值和最小值，xcenter表示原始点云轴向平行包围盒的中心点的x坐标。
步骤2：使用PointCNN学习人体点云中每个表面点的特征用于判断该点是否为位于两个人体关节连接部位的歧义点，并将这些歧义点剔除，得到感兴趣点云；
首先以归一化后的人体点云模型作为第一阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符习得每个表面点的128维特征
Figure BDA0002370304280000053
用于判断该点是否是歧义点(位于两个关节连接部位上的点)，将fa输入多层感知机MLP，并使用softmax激活函数，得到每个点为歧义点的概率pa，将pa大于0.5的点标记为歧义点并将剔除，得到感兴趣点云Pi。
步骤3：重新使用PointCNN学习兴趣点云中的每个表面点的特征，用于人体部位分割以及预测每点到对应关节点的偏移向量，将部位分割结果与偏移向量预测结果结合，从每个表面点得到一个对应关节点位置预测值，得到收缩后的关节点预测值集合；
步骤301：以感兴趣点云Pi为第二阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符重新习得每个表面点的192维特征
Figure BDA0002370304280000054
用于人体部位分割，将fc输入多层感知机MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率pseg，将pseg最大的部位预测为该点所属的关节部位。
步骤302：以感兴趣点云Pi中每点特征fc输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值
Figure BDA0002370304280000061
将每个表面点pi沿着偏移向量预测值
Figure BDA0002370304280000062
收缩，得到一个关节点位置预测值
Figure BDA0002370304280000063
最终将感兴趣点云Pi转化为关节点预测值集合Jpre。
步骤4：利用关节点预测值集合中的点密度，剔除低质量预测，然后使用DBSCAN聚类方法，对每个身体部位对应的所有关节点预测坐标聚类，得到该部位关节点的坐标预测值，根据关节点的语义信息，将所有关节点连接为3D人体骨架；
步骤401：删除关节点预测值集合Jpre中的低质量预测，具体的方法为：
对于Jpre中部位分割结果为l的点构成的点云
Figure BDA0002370304280000064
计算
Figure BDA0002370304280000065
中每点的点密度ρi，剔除
Figure BDA0002370304280000066
中密度较小的n个点，得到
Figure BDA0002370304280000067
ρi为以pi为球心以r为半径的球中点的个数与
Figure BDA0002370304280000068
中点的总数Nl的比例，ρi的计算公式如下：
Figure BDA0002370304280000069
Figure BDA00023703042800000610
对于每个身体部位，都执行上述步骤，最终得到高质量关节点集合Jh。
步骤402：使用DBSCAN聚类方法，从高质量关节点集合Jh得到3D人体骨架。具体的方法为：
对于Jh中部位分割结果为l的点构成的点云
Figure BDA00023703042800000611
使用DBSCAN聚类方法对
Figure BDA00023703042800000612
进行聚类，如果将点云聚成一簇，则直接取该簇的质心作为l部位的关节点预测值。当聚簇数大于1时，取点最多的簇的质心作为l部位的关节点预测值，其余簇的质心作为候选关节点保存到l部位的候选点列表中。将各部位的关节点预测值连接起来，得到3D人体骨架。
步骤5：利用人体结构的先验知识，检查并修复骨架中的错误。
根据人体结构的先验知识，增加了两个额外的约束条件来检查和修正错误骨架中的错误。
这两个约束为：
(1)对称肢体长度相同，比如一个人的左前臂与右前臂长度应该相同；
(2)肢体长度应该在合适的范围内，比如左前臂不可能有两米长。
由中轴关节向四肢延伸，依次检查四肢是否存在误差。对于上半身，我们从胸部关节开始检测。如果从胸关节到左、右肩关节长度相同，且长度在正常范围内，则认为左、右肩关节是正确的；否则，认为他们是错误的。当检测到错误时，对应候选点列表中选择一个满足两个约束条件的点作为该部位关节点。如果有多个点满足约束条件，则选择使得对称肢体长度最接近的候选点作为关节点。如果没有候选点满足条件，则继续从对称关节点的候选点中寻找合适的点，因为有可能在身体部位分割时把某个身体部位上的点误判为对称身体部位上的点。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于深度学习的人体点云骨架提取方法，其特征在于：该方法具体包括以下步骤：
S1：将人体点云模型归一化，使得该模型位于最长边为1的轴向平行包围盒内；
S2：使用PointCNN学习人体点云中每个表面点的特征用于判断该点是否为位于两个人体关节连接部位的歧义点，并将这些歧义点剔除，得到兴趣点云；
S3：重新使用PointCNN学习兴趣点云中的每个表面点的特征，用于人体部位分割以及预测每点到对应关节点的偏移向量，将部位分割结果与偏移向量预测结果结合，从每个表面点得到一个对应关节点位置预测值，得到收缩后的关节点预测值集合；
S4：利用关节点预测值集合中的点密度，剔除低质量预测，然后使用DBSCAN聚类方法，对每个身体部位对应的所有关节点预测坐标聚类，得到该部位关节点的坐标预测值，根据关节点的语义信息，将所有关节点连接为3D人体骨架；
S5：利用人体结构的先验知识，检查并修复骨架中的错误；
所述步骤S1中，人体点云模型P由n个人体表面点组成，每个点仅包含三维坐标x、y、z，根据下列公式将点云数据归一化：
Figure FDA0003568095040000011
Figure FDA0003568095040000012
rmax＝max(xmax-xmin，ymax-ymin，zmax-zmin)
其中，x、y、z为原始点云中每个点的三维坐标，x′、y′、z′为归一化后点云中每个点的三维坐标，xmax和xmin分别表示原始点云中所有点x坐标的最大值和最小值，xcenter表示原始点云轴向平行包围盒的中心点的x坐标；
所述步骤S2中，去除点云中的歧义点：首先以归一化后的人体点云模型作为第一阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符习得每个表面点的128维特征
Figure FDA0003568095040000014
用于判断该点是否是歧义点，即位于两个关节连接部位上的点，将fa输入多层感知机MLP，并使用softmax激活函数，得到每个点为歧义点的概率pa，将pa大于0.5的点标记为歧义点并将剔除，得到感兴趣点云Pi；
所述步骤S3中，以感兴趣点云Pi为第二阶段子网络的输入，该子网络使用PointCNN中的χ-conv和χ-deconv操作符重新习得每个表面点的192维特征
Figure FDA0003568095040000013
用于人体部位分割，将fc输入多层感知机MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率pseg，将最大的pseg对应的部位预测为该点所属的关节部位；
所述步骤S3中，以感兴趣点云Pi中每点特征fc输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值
Figure FDA0003568095040000021
将每个表面点pi沿着偏移向量预测值
Figure FDA0003568095040000022
收缩，得到一个关节点位置预测值
Figure FDA0003568095040000023
最终将感兴趣点云Pi转化为关节点预测值集合Jpre。
2.根据权利要求1所述的一种基于深度学习的人体点云骨架提取方法，其特征在于：所述步骤S4中，删除关节点预测值集合Jpre中的低质量预测，具体的方法为：
对于Jpre中部位分割结果为l的点构成的点云
Figure FDA0003568095040000024
计算
Figure FDA0003568095040000025
中每点的点密度ρi，剔除
Figure FDA0003568095040000026
中密度较小的n个点，得到
Figure FDA0003568095040000027
ρi为以pi为球心以r为半径的球中点的个数与
Figure FDA0003568095040000028
中点的总数Nl的比例，ρi的计算公式如下：
Figure FDA0003568095040000029
Figure FDA00035680950400000210
对于每个身体部位，都执行上述步骤，最终得到高质量关节点集合Jh。
3.根据权利要求2所述的一种基于深度学习的人体点云骨架提取方法，其特征在于：所述步骤S4中，使用DBSCAN聚类方法，从高质量关节点集合Jh得到3D人体骨架，具体为：
对于Jh中部位分割结果为l的点构成的点云
Figure FDA00035680950400000211
使用DBSCAN聚类方法对
Figure FDA00035680950400000212
进行聚类，如果将点云聚成一簇，则直接取该簇的质心作为l部位的关节点预测值；当聚簇数大于1时，取点最多的簇的质心作为l部位的关节点预测值，其余簇的质心作为候选关节点保存到l部位的候选点列表中；将各部位的关节点预测值连接起来，得到3D人体骨架。
4.根据权利要求3所述的一种基于深度学习的人体点云骨架提取方法，其特征在于：所述步骤S5中，根据人体结构的先验知识，增加两个额外的约束条件来检查和修正错误骨架中的错误；这两个约束为：
(1)对称肢体长度相同；
(2)肢体长度应该在合适的范围内；
由中轴关节向四肢延伸，依次检查四肢是否存在误差；对于上半身，从胸部关节开始检测；如果从胸关节到左、右肩关节长度相同，且长度在正常范围内，则认为左、右肩关节是正确的；否则，认为是错误的；当检测到错误时，对应候选点列表中选择一个满足两个约束条件的点作为该部位关节点；如果有多个点满足约束条件，则选择使得对称肢体长度最接近的候选点作为关节点；如果没有候选点满足条件，则继续从对称关节点的候选点中寻找合适的点。
CN202010048599.1A 2020-01-16 2020-01-16 一种基于深度学习的人体点云骨架提取方法 Active CN111274909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010048599.1A CN111274909B (zh) 2020-01-16 2020-01-16 一种基于深度学习的人体点云骨架提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010048599.1A CN111274909B (zh) 2020-01-16 2020-01-16 一种基于深度学习的人体点云骨架提取方法

Publications (2)

Publication Number Publication Date
CN111274909A CN111274909A (zh) 2020-06-12
CN111274909B true CN111274909B (zh) 2022-05-20

Family

ID=71001708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010048599.1A Active CN111274909B (zh) 2020-01-16 2020-01-16 一种基于深度学习的人体点云骨架提取方法

Country Status (1)

Country Link
CN (1) CN111274909B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681274A (zh) * 2020-08-11 2020-09-18 成都艾尔帕思科技有限公司 基于深度相机点云数据的3d人体骨骼识别和提取方法
CN112070835A (zh) * 2020-08-21 2020-12-11 达闼机器人有限公司 机械臂位姿预测方法、装置、存储介质及电子设备
CN112365589B (zh) * 2020-12-01 2024-04-26 东方梦幻虚拟现实科技有限公司 一种虚拟三维场景展示方法、装置及系统
CN112967333B (zh) * 2021-02-04 2024-02-09 重庆大学 基于等级划分的复杂点云骨架提取方法及系统
CN113449637A (zh) * 2021-06-28 2021-09-28 桂林电子科技大学 毫米波雷达人体骨骼姿势估计方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330903A (zh) * 2017-06-29 2017-11-07 西安理工大学 一种人体点云模型的骨架提取方法
CN108932746A (zh) * 2018-05-21 2018-12-04 电子科技大学 一种人体三维动画关节皮肤变形方法
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109829972A (zh) * 2019-01-19 2019-05-31 北京工业大学 一种面向连续帧点云的三维人体标准骨架提取方法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236900B2 (ja) * 2002-10-22 2009-03-11 本田技研工業株式会社 ロボットの関節構造
WO2019099899A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing spatially-sparse data based on submanifold sparse convolutional neural networks
US11127189B2 (en) * 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330903A (zh) * 2017-06-29 2017-11-07 西安理工大学 一种人体点云模型的骨架提取方法
CN108932746A (zh) * 2018-05-21 2018-12-04 电子科技大学 一种人体三维动画关节皮肤变形方法
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109829972A (zh) * 2019-01-19 2019-05-31 北京工业大学 一种面向连续帧点云的三维人体标准骨架提取方法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PointSkelCNN: Deep Learning-Based 3D Human Skeleton Extraction from Point Clouds;Hongxing Qin 等;《COMPUTER GRAPHICS forum》;20201124;第39卷(第7期);第363-374页 *
基于凸壳与有向包围盒的骨架提取方法;林佼等;《计算机辅助设计与图形学学报》;20120615(第06期);第793-798页 *
基于表面及切向属性的点模型骨架提取方法;何志莹等;《计算机研究与发展》;20120715(第07期);第1377-1387页 *

Also Published As

Publication number Publication date
CN111274909A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111274909B (zh) 一种基于深度学习的人体点云骨架提取方法
CN108764065B (zh) 一种行人重识别特征融合辅助学习的方法
CN104463250B (zh) 一种基于达芬奇技术的手语识别翻译方法
CN101477529B (zh) 一种三维对象的检索方法和装置
CN106897666A (zh) 一种室内场景识别的闭环检测方法
Hagelskjær et al. Pointvotenet: Accurate object detection and 6 dof pose estimation in point clouds
CN111950412A (zh) 一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法
CN108305283A (zh) 基于深度相机和基本姿势的人体行为识别方法及装置
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN109460267A (zh) 移动机器人离线地图保存与实时重定位方法
Rusu et al. Perception for mobile manipulation and grasping using active stereo
CN110232698A (zh) 一种基于模型分割与l1中值骨架的连续帧三维人体曲线骨架提取方法
Uddin et al. Human Activity Recognition via 3-D joint angle features and Hidden Markov models
CN109447170A (zh) 移动机器人同步定位与地图构建系统的字典优化方法
CN112733953B (zh) 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法
CN114782503A (zh) 一种基于多尺度特征相似度约束的点云配准方法及系统
Ding et al. Extraction of human body skeleton based on silhouette images
CN104964684B (zh) 一种高动态下快速星跟踪方法
Dhore et al. Human Pose Estimation And Classification: A Review
CN115953806A (zh) 一种基于yolo的2d姿态检测方法
Özbay et al. 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks.
CN113673327B (zh) 一种基于人体姿态估计的罚球命中预测方法
Xiang et al. Contour graph based human tracking and action sequence recognition
CN112949419A (zh) 一种基于肢体层次结构的动作识别方法
Sun et al. Keyframe extraction for human motion capture data based on affinity propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant