CN114783066B

CN114783066B - 基于动作捕捉无序点云的关节标签智能识别系统、方法

Info

Publication number: CN114783066B
Application number: CN202210667094.2A
Authority: CN
Inventors: 蒯声政; 耿红荔; 刘杨
Original assignee: Shenzhen Second Peoples Hospital
Current assignee: Shenzhen Second Peoples Hospital
Priority date: 2022-06-14
Filing date: 2022-06-14
Publication date: 2022-08-26
Anticipated expiration: 2042-06-14
Also published as: CN114783066A

Abstract

基于动作捕捉无序点云的关节标签智能识别系统、方法，属于人工智能和人体运动特征评测技术领域。为了解决针对动作捕捉中对无序标记点人工识别分配标签的方式存在过程繁琐、效率较低的问题。本发明首先构建了以神经网络为基础的标记点初步识别模块，进一步构建了基于人体不同节段的刚性和同一个骨性标志位的连续性特征的标记点深度识别模块，初步识别模块通过二级识别，第一级将所有点按照体节进行分组，第二级分别对每个体节上的点逐个识别分配标签；然后深度识别模块逐帧检索修正与校验，可自动去除噪点，补上丢失的标记点，以及修正漂移中断的点。本发明主要用于动作捕捉无序点云的关节标签智能识别。

Description

基于动作捕捉无序点云的关节标签智能识别系统、方法

技术领域

本发明涉及一种动作捕捉中点云的关节标签智能识别系统及方法，属于人工智能和人体运动特征评测技术领域。

背景技术

在人体运动评估中，动作捕捉是应用最广泛的一种方法。其基本步骤是在人体骨性标志位粘贴标记点，通过运动捕捉系统获取标记点的三维空间坐标。随后根据不同的应用场景构建不同模型进行运动评估。但是，无论采用何种模型，均需要将无序的标记点通过人工肉眼识别的方式，给每个标记点分配标签（如踝关节点）。

目前，市面上采用的粘贴在骨性标志位的标记点分为主动发光球和被动发光球两大类。主动发光球采集的点相对稳定，但是每个发光球需要连线供电，并且粘贴过程异常复杂，因此仅用于运动幅度较小且保持原地不动的某些动作捕捉（如弯腰）。被动发光球，是目前应用最广泛的标记点，粘贴方便且不受线的约束。但是，相对主动发光球，容易出现标记点丢失或者连续性中断等问题，从而极大的增加了人工肉眼识别与给标记点分配标签的难度和工作量。当标记点较多，连续性较差，真实点部分丢失和噪点较多时（也是非常常见的情况），人工分配标签则需要逐点、逐帧进行观察识别，调整，从而完成整个动作（如行走）下的标记点标签的人工分配。该分配过程，在一次全身步态采集的数据，往往需要耗时数小时，甚至数天，巨大的工作量，严重限制了其在康复评定和运动评估等领域的应用，成为行业的痛点问题之一。因此，如何进行标记点的高效准确地智能识别与调整，将技术人员从耗时，繁杂的标签分配工作中解放出来，是基于被动反光球的动作捕捉能在康复评定，运动评估等领域中推广使用的关键。

发明内容

本发明是为了解决针对动作捕捉中对无序标记点人工识别分配标签的方式存在过程繁琐、效率较低的问题。

基于动作捕捉无序点云的关节标签智能识别系统，包括初步识别模块和深度识别模块；

在初步识别模块中，将连续采集的数据分割成每一帧进行独立识别，针对每帧数据，利用原始位置处理单元和平移位置处理单元对每帧数据中的点云进行初步分割和识别；

原始位置处理单元即针对每帧数据中的无序点保持原始位置进行处理，平移位置处理单元即针对每帧数据中的无序点平移到所有点中心后进行处理；

原始位置处理单元和平移位置处理单元进行标记点识别均采用二级识别方式，第一级将所有点按照体节进行分组，第二级分别对每个体节上的点逐个识别分配标签；

针对同一个点在原始位置处理单元和平移位置处理单元中的识别概率，采用最大池化的方式获得每个点最终对应所有体节的识别概率，将最终识别概率中体节概率最高对应的骨性标志位确定为该点的骨性标志位标签；分别为每个无序点识别分配相应的骨性标志位标签；

深度识别模块中，首先对初步识别模块中逐帧识别的标签进行逐帧检索，确定连续若干帧识别结果完全一致的几帧作为基准帧集合，以基准帧集合中的中间帧为基准帧，获得基准帧中所有识别标签的点对应的编号以及每个刚性体节上的基准点集合，然后分别向起始帧和终点帧方向进行逐帧检索修正与校验；检索修正校验遵循的基本原则如下：

原则一：相邻两帧之间的空间位移应低于一定的位移阈值，超过位移阈值的下一帧的点，认为是噪点；

原则二：当当前帧中某个编号点X在下一帧出现丢失时，在下一帧剩余的其它点中检索是否有距离当前帧距离小于位移阈值的点，将小于位移阈值的点调整为当前帧中编号点X对应的在下一帧中的编号点；

原则三：根据同一个刚性体节上各个点之间在运动中保持相对位置关系不变的特征，相对于基准帧，当某一帧中刚性体节上一个点或多个点丢失，根据某一帧中剩余的点构建刚体模型与基准帧中基准点集合中对应的剩余点通过旋转平移进行匹配，进而根据相对位置关系不变的特征对丢失点进行补点；

原则四：根据连续性原则，当某个编号点在某几帧丢失时，根据前后未丢失的若干帧通过插值运动进行补点。

进一步地，当原则三和原则四能够同时进行补点时，优先采用原则三进行补点。

进一步地，原始位置处理单元的二级识别方式包括以下步骤：

针对标记点保持原始坐标的无序点，首先调用进行整体点云分割的第一全局分割神经网络模型将无序点按照体节进行分割；

然后针对于不同体节，分别调用体节各自对应点云分割的第一局部分割神经网络模型将体节分割后对应体节的点集合进一步分割成每个点标签。

进一步地，平移位置处理单元的二级识别方式包括以下步骤：

针对标记点平移到所有点中心的无序点，首先调用进行整体点云分割的第二全局分割神经网络模型将无序点按照体节进行分割；

然后针对于不同体节，分别调用体节各自对应点云分割的第二次局部分割神经网络模型将每个体节上分割的点集合进一步分割成成每个点标签。

进一步地，第一全局分割神经网络，和/或第一局部分割神经网络，和/或第二全局分割神经网络，和/或第二次局部分割神经网络为PointNet网络模型或PointNet++网络模型。

基于动作捕捉无序点云的关节标签智能识别方法，包括初步识别的步骤和深度识别的步骤；

初步识别的步骤如下：

将连续采集的数据分割成每一帧进行独立识别，针对每帧数据，利用原始位置处理单元和平移位置处理单元对每帧数据中的点云进行初步分割和识别；

深度识别的步骤如下：

首先对初步识别模块中逐帧识别的标签进行逐帧检索，确定连续若干帧识别结果完全一致的几帧作为基准帧集合，以基准帧集合中的中间帧为基准帧，获得基准帧中所有识别标签的点对应的编号以及每个刚性体节上的基准点集合，然后分别向起始帧和终点帧方向进行逐帧检索修正与校验；检索修正校验遵循的基本原则如下：

一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现基于动作捕捉无序点云的关节标签智能识别方法。

基于动作捕捉无序点云的关节标签智能识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现基于动作捕捉无序点云的关节标签智能识别方法。

有益效果：

本发明是针对动作捕捉中对无序标记点人工识别分配标签过程繁琐，效率较低的问题，提出了一种高效，智能地识别并分配标签的方法。该方法深度融合了人工智能算法和动作捕捉采集标记点的特征，构建了以PointNet神经网络为基础的标记点初步识别模块，进一步构建了基于人体不同节段的刚性和同一个骨性标志位的连续性特征的标记点深度识别模块。通过初步识别模块和深度识别模块的二级识别结构，可对采集的标记点进行准确识别分配，并且可自动去除噪点，补上丢失的标记点，以及修正漂移中断的点，使得该方法具有更普遍的适用性。从图3的结果可以看出，采用该方法可以完整识别并为每个标签自动分配对应的标签；图4显示，该方法可以实现自动去除噪点；图5显示，该方法可以补上丢失的标记点；图6显示，该方法可以修正漂移中断的点。此外，通过构建该智能识别方法，可将识别分配标签的时间成本从数小时的人工时间压缩到十几分钟的计算机计算时间，极大的提高了分配标签的效率的同时也减少了人工干预，为基于被动光学反光球的动作捕捉在康复评定以及运动评估的广泛应用奠定了基础。

附图说明

图1为基于动作捕捉无序点云的关节标签智能识别流程图；

图2为初步识别模块中各个分割模型的训练流程图；

图3（a）为包括噪点的原始无序标记点效果图；图3（b）为本发明识别并分配的骨性标签效果图；

图4（a）为步行中包括噪点的原始无序标记点图；图4（b）为本发明识别有效标签图；

图5（a）为步行中右侧股骨上的RTHI_B点丢失效果图；图5（b）为本发明识别有效标签图；

图6（a）为步行中左侧脚跟点漂移中断效果图；图6（b）为本发明自动识别纠正漂移中断的点效果图。

具体实施方式

具体实施方式一：

本实施方式所述的基于动作捕捉无序点云的关节标签智能识别方法，包括以下步骤：

结合神经网络与动作捕捉的数据特征构建包括二级识别模块的识别系统，二级识别模块分别为初步识别模块和深度识别模块，如图1所示，其中，

初步识别模块中，将连续采集的数据分割成每一帧进行独立识别，针对每帧数据，利用原始位置处理单元和平移位置处理单元对每帧数据中的点云进行初步分割和识别；

原始位置处理单元即针对每帧数据中的无序点保持原始位置进行处理，平移位置处理单元即针对每帧数据中的无序点平移到所有点中心后进行处理；然后调用不同处理单元对应的神经网络模型进行数据分割与识别。

原始位置处理单元和平移位置处理单元进行标记点识别均采用二级识别方式，第一级将所有点按照体节（如胸、腰、骨盆、左侧大腿，右侧大腿等）进行分组，第二级分别对每个体节上的点（如骨盆上的髂后上棘，髂前上棘等）逐个识别分配标签。通过二级识别可以减少标记点识别时，不同体节之间点的互相干扰。

原始位置处理单元：

针对标记点保持原始坐标的无序点，首先调用PN_org_global模型将无序点按照体节进行分割，PN_org_global模型即原始位置处理单元中用于对保持原始坐标的无序点进行分割的神经网络，本实施方式中采用PointNet网络；

然后针对于不同体节，分别调用PN_org_Local_segmentname模型将体节分割后对应体节的点集合进一步分割成每个点标签；PN_org_Local_segmentname模型即原始位置处理单元中用于对对应体节点集合中无序点进行分割的神经网络，本实施方式中采用PointNet网络；

平移位置处理单元：

针对标记点平移到所有点中心的无序点，首先调用PN_offset_global模型将无序点按照体节进行分割，PN_offset_global模型即平移位置处理单元中用于对平移到所有点中心的无序点进行分割的神经网络，本实施方式中采用PointNet网络；

然后针对于不同体节，分别调用PN_offset_Local_segmentname模型将每个体节上分割的点集合进一步分割成成每个点标签，PN_offset_Local_segmentname模型即平移位置处理单元中用于对对应体节点集合中无序点进行分割的神经网络，本实施方式中采用PointNet网络；

原始位置处理单元和平移位置处理单元，对于每一帧的所有无序点，采用不同的数据处理方式和识别模型，均可得到每一种备选标签的识别概率，原始位置处理单元和平移位置处理单元在识别过程中针对同一个点的识别概率是不同的，采用最大池化的方式获得最终的识别概率，即针对同一个点将二者中概率大的作为该点的最终识别概率。例如：针对某个点，在原始位置处理单元中被识别为各个体节的概率分别为A1、A2、A3、……、An，其中A1、A2、A3、……、An表示各个体节对应的概率，n为体节的数量；在平移位置处理单元被识别为各个体节的概率分别为B1、B2、B3、……、Bn，其中B1、B2、B3、……、Bn表示各个体节对应的概率；然后分别对比A1和B1，将二者中大的作为最终的识别概率，记为C1，同样针对其他体节的概率对应的得到C2、C3、……、Cn；最终在C1、C2、C3、……、Cn中找到最大概率作为该点最终对应体节的概率，即得到了骨性标志位标签；

按照概率最大的原则，分别为每个无序点识别分配相应的骨性标志位标签。

本发明中的初步识别模块中的各个分割模型采用图2的方式进行逐个训练获取。

初步识别模块中将连续采集的数据分割成每一帧进行独立识别，当某些帧出现噪点或者丢失点的情况时，可能无法正确的识别每个无序点。因此本发明利用深度识别模块，根据连续采集的连续性以及骨性标记点之间的特征进行深度识别。

深度识别模块中，首先对初步识别模块中逐帧识别的标签进行逐帧检索，确定连续若干帧识别结果完全一致的几帧作为基准帧集合，以基准帧集合中的中间帧为基准帧（如果基准帧集合是偶数，则以中间两针中的任意一帧为基准帧），获得基准帧中所有识别标签的点对应的编号以及每个刚性体节上的基准点集合，然后分别向起始帧和终点帧方向进行逐帧检索修正与校验。检索修正校验应遵循的基本原则如下：

原则一：根据连续性原则，相邻两帧之间的空间位移应低于一定的位移阈值。因此，超过位移阈值的下一帧的点，则认为是噪点进行排除。

原则二：根据连续性原则，当当前帧中某个编号点X（如40号点）在下一帧出现丢失时，在下一帧剩余的其它点中检索是否有距离当前帧距离小于位移阈值的点，从而将小于位移阈值的点调整为当前帧中编号点X对应的在下一帧中的编号点，从而实现偏移中断点的调整。

同一个点在不同帧之间的位移阈值是相同的；不同的点的位移阈值是不同的，比如步行中，骨盆上点相邻两帧位移阈值比较小，因为变化幅度小；而脚跟的两帧位移阈值比较大一些，因为变化幅度较大。

原则三：根据同一个刚性体节（如大腿）上各个点之间在运动中保持相对位置关系不变的特征，相对于基准帧，当某一帧中刚性体节上一个点或多个点丢失，可以根据某一帧中剩余的点（至少三个点）构建刚体模型与基准帧中基准点集合中对应的剩余点通过旋转平移进行匹配，进而根据相对位置关系不变的特征对丢失点进行补点。

当原则三和原则四同时可以进行补点时，优先采用原则三进行补点。

本实施方式中的初步识别模块中的分割模型为PointNet模型，实际上也可以为其他分割模型，包括PointNet模型、以及PointNet改进模型（如PointNet++）等，只要能实现点云分割的模型都可以纳入初步识别模块中，代替PointNet 分割模型。

本发明中的方法不限于躯干及下肢模型，也适用于不同体节单独或者任意组合下的骨性标志点的自动识别。

实施例

利用本发明进行基于动作捕捉无序点云的关节标签智能识别，本实例按照图2中的骨性标志点进行粘贴标记，先采集约10个志愿者步行过程中上述标记点的轨迹坐标作为初步识别模块中的模型训练数据，分别训练整体与局部的PointNet分割模型（对应第一级和第二级的模型）。

重新采集新的志愿者步行数据，对步行中的每一帧所有采集点分别调用初步识别模块中训练的整体和局部的PointNet网络进行二级分割，从而初步为每个点识别并分配标签。调用深度识别模块深度识别模块，首先对初步识别模块中识别的标签进行逐帧检测与校验，确认识别正确的点为基准，分别向步行周期的起点和终点逐帧进行去噪，补点和漂移中断修正，从而完成最后的所有点的识别与智能分配标签。

标记的效果如图3（a）和图3（b）所示，图3（a）为包括噪点的原始无序标记点效果图；图3（b）为本发明识别并分配的骨性标签效果图；在图3（a）和图3（b）中，右侧为标记结果，图4（a）、图4（b）至图6（a）、图6（b）中，右侧也为标记结果；对应图3（a）右侧为标记结果为无序标记，对应图3（b）中右侧为本发明的标记结果，其中，

T1、T3、T5、T7、T9、T11、T12分别为胸部的第一、三、五、七、九、十一、十二椎体棘突处；

CLAV，STRN 分别为颈静脉切迹与胸骨剑突处；

L1、L2、L3、L4、L5分别为腰部第一、二、三、四、五椎体棘突处；

LASI，LPSI，LIC，RASI，RPSI，RIC分别为骨盆上的左侧髂前上棘，髂后上棘，髂嵴最高点和右侧髂前上棘，髂后上棘，髂嵴最高点；

Scapular_Left_Up,Scapular_Left_Down,Scapular_Left_Outer,LSHO 分别为左侧肩胛骨的上角，下角，肩胛冈以及肩峰；

Scapular_Right_Up,Scapular_Right_Down,Scapular_Right_Outer,RSHO 分别为右侧肩胛骨的上角，下角，肩胛冈以及肩峰；

LKNE_O，LKNE_I，LTHI_U，LTHI_D，LTHI_F，LTHI_B分别为左侧，膝关节外侧髁，内侧髁，股骨上的上侧，下侧，前侧，后侧点；

RKNE_O，RKNE_I，RTHI_U，RTHI_D，RTHI_F，RTHI_B分别为右侧，膝关节外侧髁，内侧髁，股骨上的上侧，下侧，前侧，后侧点；

LANK_O， LANK_I，LTIB_U，LTIB_D，LTIB_F，LTIB_B分别为左侧，踝关节外踝，内踝，胫骨上的上侧，下侧，前侧，后侧点；

RANK_O，RANK_I，RTIB_U，RTIB_D，RTIB_F，RTIB_B分别为右侧，踝关节外踝，内踝，胫骨上的上侧，下侧，前侧，后侧点；

LHEE，LTOE_Inner_lower，LTOE_Outer_lower，LTOE_Middle_high分别为左侧，脚跟，第一跖趾关节，第五跖趾关节，跗骨上表面处；

RHEE，RTOE_Inner_lower，RTOE_Outer_lower，RTOE_Middle_high分别为左侧，脚跟，第一跖趾关节，第五跖趾关节，跗骨上表面处。

本发明删除噪点并正确分配骨性标签的效果如图4（a）至图4（b）所示，其中图4（a）为步行中包括噪点的原始无序标记点，其中红色（右侧无序标记中标出的点）为周围环境或者其它因素产生的噪点；图4（b）为本发明识别有效标签，其删除噪点，正确分配骨性标签。

本发明识别有效标签并针对丢失的点可实现自动补全的效果如图5（a）至图5（b）所示，其中图5（a）为步行中右侧股骨上的RTHI_B点因遮挡等因素造成丢失；图5（b）为本发明识别有效标签，其针对丢失的点可实现自动补全（右侧无序标记中标出的点）。

本发明自动识别纠正漂移中断的点的效果如图6（a）至图6（b）所示，其中图6（a）为步行中左侧脚跟点漂移中断；图6（b）为本发明自动识别纠正漂移中断的点。以图示右侧RTHI_F点为例，漂移中断是指该点一直能被动作捕捉系统捕捉到，但是该点轨迹一会是23号点，一会是56号点，一会又是其它编号点，因此整个采集周期内RTHI_F点的编号无规律漂移和中断，无法连续。经过本发明可以自动识别纠正漂移中断的点。

具体实施方式二：

本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于动作捕捉无序点云的关节标签智能识别方法。

应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，所述指令可以用于编程计算机系统，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。

具体实施方式三：

本实施方式为基于动作捕捉无序点云的关节标签智能识别设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；

所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于动作捕捉无序点云的关节标签智能识别方法。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.基于动作捕捉无序点云的关节标签智能识别系统，其特征在于，包括初步识别模块和深度识别模块；

2.根据权利要求1所述的基于动作捕捉无序点云的关节标签智能识别系统，其特征在于，检索修正校验过程中，当原则三和原则四能够同时进行补点时，优先采用原则三进行补点。

3.根据权利要求1或2所述的基于动作捕捉无序点云的关节标签智能识别系统，其特征在于，原始位置处理单元的二级识别方式包括以下步骤：

4.根据权利要求3所述的基于动作捕捉无序点云的关节标签智能识别系统，其特征在于，平移位置处理单元的二级识别方式包括以下步骤：

然后针对于不同体节，分别调用体节各自对应点云分割的第二次局部分割神经网络模型将每个体节上分割的点集合进一步分割成每个点标签。

5.根据权利要求4所述的基于动作捕捉无序点云的关节标签智能识别系统，其特征在于，第一全局分割神经网络，和/或第一局部分割神经网络，和/或第二全局分割神经网络，和/或第二次局部分割神经网络为PointNet网络模型或PointNet++网络模型。

6.基于动作捕捉无序点云的关节标签智能识别方法，其特征在于，包括初步识别的步骤和深度识别的步骤；

初步识别的步骤如下：

深度识别的步骤如下：

7.根据权利要求6所述的基于动作捕捉无序点云的关节标签智能识别方法，其特征在于，检索修正校验过程中，当原则三和原则四能够同时进行补点时，优先采用原则三进行补点。

8.根据权利要求6或7所述的基于动作捕捉无序点云的关节标签智能识别方法，其特征在于，原始位置处理单元的二级识别方式包括以下步骤：

然后针对于不同体节，分别调用体节各自对应点云分割的第一局部分割神经网络模型将体节分割后对应体节的点集合进一步分割成每个点标签；

平移位置处理单元的二级识别方式包括以下步骤：

9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求6至8之一所述的基于动作捕捉无序点云的关节标签智能识别方法。

10.基于动作捕捉无序点云的关节标签智能识别设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求6至8之一所述的基于动作捕捉无序点云的关节标签智能识别方法。