CN112580463A - 三维人体骨架数据识别方法及装置 - Google Patents

Abstract

本发明提供一种三维人体骨架数据识别方法及装置，其中方法包括：从三维成像装置中获取人体在当前帧的三维数据流；输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；输出所述当前帧的三维人体骨架数据。

Description

三维人体骨架数据识别方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及三维人体骨架数据识别方法及装置。

背景技术

目前在计算机视觉领域，对人体骨架的研究越来越多，对人体骨架进行研究其目的在于确定人体姿态，以便基于人体姿态进行人机交互。相关技术提出确定人体骨架的两种网络结构：自上而下的网络结构以及自下而上的网络结构。

自上而下的网络结构需要对人体图像中的人体区域进行定位操作，然后再基于人体区域识别人体骨架数据，若对人体图像中人体区域的定位有误，则导致人体骨架数据识别效果和效率较差，适用性较差。

自下而上的网络结构无需对人体图像中人体区域进行定位操作，而是利用人体骨架的结构化特征，来确定人体骨架数据。但是，在人体图像较为复杂情况下(例如人体图像中前景、背景相似，光线太强或者太弱，画面模糊等)，对人体骨架数据的识别效果较差。

因此，现在需要一种方案，可以适应人体图像较为复杂的情况、能够确定三维人体骨架数据，并提高三维人体骨架数据的准确性。

发明内容

鉴于此，本申请提供三维人体骨架数据识别方法及装置，可以适应人体图像较为复杂的情况、能够确定三维人体骨架数据，并提高三维人体骨架数据的准确性。

为了实现上述目的，本发明提供了下述技术特征：

一种三维人体骨架数据识别方法，包括：

从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图；

输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据；

基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；

若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

输出所述当前帧的三维人体骨架数据。

可选的，所述基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点包括：

识别所述二维人体骨架数据并分为上半身数据和下半身数据；

在所述下半身数据中，确定左跨关键点数据和右跨关键点数据之间的中间关键点数据；

基于所述中间关键点数据和所述上半身数据确定上半身骨架朝向向量；

若所述上半身骨架朝向向量与三维坐标系中Z轴的夹角大于预设角度，则确定所述上半身数据中有被遮挡关节点；

基于所述中间关键点数据和所述下半身数据确定下半身骨架朝向向量；

若所述下半身骨架朝向向量与三维坐标系中Z轴的夹角大于预设角度，则确定所述下半身数据中有被遮挡关节点。

可选的，所述基于所述中间关键点数据和所述上半身数据确定上半身骨架朝向向量包括：

从上半身数据中，确定左肩关节点对应的第一关键点数据以及确定右肩关节点对应的第二关键点数据；

基于所述第一关键点数据和所述第二关键点数据组成向量a；

将所述第一关键点数据或所述第二关键点数据，与所述中间关键点数据组成向量b；

所述向量a与所述向量b进行向量叉乘运算，获得上半身骨架朝向向量c。

可选的，所述确定所述上半身数据中有被遮挡关节点包括：

将所述上半身数据划分为上左半身数据和上右半身数据；

若从深度图中确定所述上左半身数据对应的深度数据小，则确定所述上右半身数据中的关节点为被遮挡关节点；

若从深度图中确定所述上右半身数据对应的深度数据小，则确定所述上左半身数据中的关节点为被遮挡关节点。

可选的，所述基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据，包括：

确定所述第一关键点数据和所述第二关键点数据之间的距离len；

获取所述上半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

可选的，所述基于所述中间关键点数据和所述下半身数据确定下半身骨架朝向向量包括：

从下半身数据中，确定左跨关节点对应的第三关键点数据以及确定右跨关节点对应的第四关键点数据；

基于所述第三关键点数据和所述第四关键点数据组成向量d；

将所述第三关键点数据或所述第四关键点数据，与所述中间关键点数据组成向量e；

所述向量d与所述向量e进行向量叉乘运算，获得下半身骨架朝向向量f。

可选的，所述确定所述下半身数据中有被遮挡关节点，包括：

将所述下半身数据划分为下左半身数据和下右半身数据；

若从深度图中确定所述下左半身数据对应的深度数据小，则确定所述下右半身数据中的关节点为被遮挡关节点；

若从深度图中确定所述下右半身数据对应的深度数据小，则确定所述下左半身数据中的关节点为被遮挡关节点。

可选的，所述基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据，包括：

确定所述第三关键点数据和所述第四关键点数据之间的距离len；

获取所述下半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

可选的，还包括：

若所述当前帧无被遮挡关节点，将所述上半身骨架朝向向量与三维坐标系中Z轴的夹角，更新至历史有效夹角中；将所述下半身骨架朝向向量与三维坐标系中Z轴的夹角，更新至历史有效夹角中；

若所述当前帧无被遮挡关节点，在所述当前帧的二维人体骨架数据中，将关节点对应的二维关键点数据映射到深度图中，获得所述当前帧的三维人体骨架数据。

一种三维人体骨架数据识别装置，包括：

获取单元，用于从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图；

输入单元，用于输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据；

判断单元，用于基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；

第一计算单元，用于若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

第二计算单元，用于若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

输出单元，用于输出所述当前帧的三维人体骨架数据。

通过以上技术手段，可以实现以下有益效果：

本发明提供一种三维人体骨架数据识别方法，可以利用三维成像装置确定当前帧的三维数据流，并利用人体骨架识别模型获得当前帧的二维人体骨架数据。

为了提高准确性会判断人体结构是否有被遮挡关节点，若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；最后输出所述当前帧的三维人体骨架数据。

本申请对于被遮挡关键点，可以较为准确的确定被遮挡关节点的三维关键点数据，从而提高三维人体骨架数据的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种三维人体骨架识别系统的结构示意图；

图2为本发明提供一种三维人体骨架数据识别方法的流程图；

图3为本发明提供的一种人体结构的示意图；

图4为本发明提供的又一种三维人体骨架数据识别方法的流程图；

图5为本发明提供的又一种人体结构的示意图；

图6为本发明提供的一种计算原理示意图；

图7为本发明提供的一种三维人体骨架数据识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，本发明提供一种三维人体骨架识别系统，包括：

三维成像装置100与所述三维成像装置100相连的处理装置200。

在大部分场景中人体是动态的，三维成像装置拍摄人体一次可以获得一帧人体图像，在不断拍摄过程中可以获得多帧的三维数据流。其中一帧的三维数据流包括彩色图像和深度图。

此处彩色图像为RGB图像，深度图与RGB图像大小一致，深度图中每个距离数据为人体中某个位置与三维成像装置之间的距离。彩色图像与深度图具有对应关系，以彩色图像中一个像素点为例，彩色图像具有该像素点的二维坐标，深度图具有该像素点的z坐标，也即该像素点到三维成像装置的举例。

参见图2，本发明提供一种三维人体骨架数据识别方法，应用于三维人体骨架识别系统中的处理装置，所述方法包括：

步骤S201：从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图。

三维成像装置于当前时刻拍摄人体并获得当前帧的三维数据流，当前帧的三维数据流包括彩色图像和深度图，深度图为人体中不同部位与三维成像装置之间的距离。

步骤S202：输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据。

人体骨架识别模型为预先训练好的机器模型，可以识别彩色图像并将彩色图像转换为二维人体骨架数据。

参见图3为人体结构的示意图，通过示意图可以发现人体结构可以包括18个关节点：标号0～标号17，其中标号2和标号5分别为左肩关节点和右肩关节点，标号8和标号11分别为左跨关节点和右跨关节点。

标号8、标号9、标号10、标号11、标号12和标号13为人体下半身对应的关节点，其余为人体上半身对应的关节点。也即，按胯部关节点将人体结构为上半身和下半身，并将胯部关节点划分到下半身。

标号0为唇部关节点，标号1为颈部关节点，按标号0和标号1将上半身分为上左半身(标号2、标号3、标号4、标号14和标号16)，和，上右半身(标号0、标号1、标号5、标号6、标号7、标号15、标号17)。

将下半身分为下左半身(标号8、标号9和标号10)和下右半身(标号11、标号12和标号13)。

可以理解的是，人体结构还可以根据实际情况再增加一些关节点。增加关节点会使得二维人体骨架数据更加准确，但也会带来更大计算量，所以关节点数量可以根据实际情况而定，对此不再详细赘述。

在图3所示的人体结构的情况下，二维人体骨架数据包括与标号0至标号17对应的18个关键点数据。

步骤S203：基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点。

步骤S204：若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

步骤S205：若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

步骤S206：输出所述当前帧的三维人体骨架数据。

通过以上技术手段，可以实现以下有益效果：

本发明提供一种三维人体骨架数据识别方法，可以利用三维成像装置确定当前帧的三维数据流，并利用人体骨架识别模型获得当前帧的二维人体骨架数据。

为了提高准确性会判断人体结构是否有被遮挡关节点，若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；最后输出所述当前帧的三维人体骨架数据。

本申请对于被遮挡关键点，可以较为准确的确定被遮挡关节点的三维关键点数据，从而提高三维人体骨架数据的准确性。

参见图4，下面对步骤S203～205进行详细介绍：

步骤S401：识别所述二维人体骨架数据并分为上半身数据和下半身数据。

二维人体骨架数据包括与标号0至标号17对应的18个关键点数据，因为预先已经规定标号8、标号9、标号10、标号11、标号12和标号13为人体下半身对应的关节点，其余为人体上半身对应的关节点，因此可以将二维人体骨架数据中标号8、标号9、标号10、标号11、标号12和标号13对应的6个关键点数据作为下半身数据，其余关键点数据作为上半身数据。

步骤S402：在所述下半身数据中，确定左跨关键点数据和右跨关键点数据之间的中间关键点数据。

确定标号8左跨关节点对应的左跨关键点数据，确定标号11右跨关节点对应的右跨关键点数据，计算左跨关键点数据和右跨关键点数据之间的中间关键点。

步骤S403：基于所述中间关键点数据和所述上半身数据确定上半身骨架朝向向量。

从上半身数据中，确定左肩关节点对应的第一关键点数据以及确定右肩关节点对应的第二关键点数据；基于所述第一关键点数据和所述第二关键点数据组成向量a；将所述第一关键点数据或所述第二关键点数据，与所述中间关键点数据组成向量b；所述向量a与所述向量b进行向量叉乘运算，获得上半身骨架朝向向量c。

参见图5，从上半身数据中确定标号2左肩关节点对应的第一关键点数据，以及，标号5右肩关节点对应的第二关键点数据，将第一关键点数据和第二关键点数据组成向量a。将标号2左肩关节点对应的第一关键点数据和中间关键点数据组成向量b。

根据向量叉乘运算axb，得到虚线三角形的平面法向量c，向量c为上半身骨架朝向向量c。向量a、向量c和向量c位于三维成像装置的坐标系中，图5中的向量z为三维坐标系的Z轴。

步骤S404：判断上半身是否互遮挡，若是则进入步骤S405，若否则进入步骤S413。

判断人体上半身是否有相互遮挡的情况，因为相互遮挡的情况下，会导致一些关键点数据不准确。

当向量c与Z轴的夹角为0度时，人体正前面面对三维成像装置的镜头，此时完全不会遮挡。当人体开始向两侧转动时，向量c与Z轴之间的夹角开始增大。

当向量c与Z轴的夹角为90度时，人体侧面面对三维成像装置的镜头。此时，人体只有一个侧面是可见的，另外一个侧面完全是不可见的。

在向量c与Z轴之间的夹角不大于预设角度时，虽然人体并非正前面面对三维成像装置的镜头，但是并不会产生自遮挡。当人体转动超过一定程度，也即向量c与Z轴之间的夹角大于预设角度时，才会产生自遮挡。

为了保证关节点的准确性，定义预设角度例如60度，当向量c与Z轴之间的角度大于预设角度时，确定上半身产生互遮挡。

也即若所述上半身骨架朝向向量与三维坐标系中Z轴的夹角大于预设角度，则确定所述上半身数据中有被遮挡关节点。

步骤S405：确定被遮挡关键点数据。

将所述上半身数据划分为上左半身数据和上右半身数据；若从深度图中确定所述上左半身数据对应的深度数据小，则确定所述上右半身数据中的关节点为被遮挡关节点；若从深度图中确定所述上右半身数据对应的深度数据小，则确定所述上左半身数据中的关节点为被遮挡关节点。

上半身数据分为上左半身数据和上右半身数据，从深度图中确定上左半身数据与三维成像装置的距离近，还是上右半身数据距离三维成像装置的距离近。

若上左半身数据距离三维成像装置的距离近，则确定上右半身数据为被遮挡关键点数据(标号0、标号1、标号5、标号6、标号7、标号15和标号17对应的关键点数据)。

反之，若上右半身数据距离三维成像装置的距离近，则确定上左半身数据为被遮挡关键点数据(标号2、标号3、标号4、标号14和标号16)。

步骤S406：对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角。

参见图6提供计算过程的示意图。

确定所述第一关键点数据和所述第二关键点数据之间的距离len；也即肩宽。

获取所述上半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

步骤S407：对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据。

步骤S408：基于所述中间关键点数据和所述下半身数据确定下半身骨架朝向向量。

从下半身数据中，确定左跨关节点对应的第三关键点数据以及确定右跨关节点对应的第四关键点数据；基于所述第三关键点数据和所述第四关键点数据组成向量d；将所述第三关键点数据或所述第四关键点数据，与所述中间关键点数据组成向量e；所述向量d与所述向量e进行向量叉乘运算，获得下半身骨架朝向向量f。

参见图5，从下半身数据中确定标号9左膝关节点对应的第三关键点数据，以及，标号12右膝关节点对应的第四关键点数据，将第三关键点数据和第四关键点数据组成向量d。将标号9左膝关节点对应的第三关键点数据和中间关键点数据组成向量e。

根据向量叉乘运算dxe，得到虚线三角形的平面法向量f，向量f为下半身骨架朝向。向量d、向量e和向量f位于三维成像装置的坐标系中，图5中的向量z为三维坐标系的Z轴。

步骤S409：判断下半身是否互遮挡，若是则进入步骤S409，若否则进入步骤S413。

判断人体下半身是否有相互遮挡的情况，因为相互遮挡的情况下，会导致一些关键点数据不准确。

当向量f与Z轴的夹角为0度时，人体正前面面对镜头。当人体开始向两侧转动时，向量f与Z轴之间的夹角开始增大。

当向量f与Z轴的夹角为90度时，人体侧面面对三维成像装置的镜头。此时，人体只有一个侧面是可见的，另外一个侧面完全是不可见的。

在向量f与Z轴之间的夹角不大于预设角度时，虽然人体并非正前面面对三维成像装置的镜头，但是并不会产生自遮挡。当人体转动超过一定程度，也即向量f与Z轴之间的夹角大于预设角度时，才会产生自遮挡。

为了保证关节点的准确性，定义一个预设角度例如60度，当向量f与Z轴之间的角度大于预设角度时，确定下半身产生互遮挡。

步骤S410：确定被遮挡关键点数据。

将所述下半身数据划分为下左半身数据和下右半身数据；若从深度图中确定所述下左半身数据对应的深度数据小，则确定所述下右半身数据中的关节点为被遮挡关节点；若从深度图中确定所述下右半身数据对应的深度数据小，则确定所述下左半身数据中的关节点为被遮挡关节点。

下半身数据分为下左半身数据和下右半身数据，从深度图中确定下左半身数据与三维成像装置的距离近，还是下右半身数据距离三维成像装置的距离近。

若下左半身数据距离三维成像装置的距离近，则确定下右半身数据为被遮挡关键点数据(标号11、标号12和标号13对应的关键点数据)。

反之，若下右半身数据距离三维成像装置的距离近，则确定下左半身数据为被遮挡关键点数据(标号8、标号9和标号10)。

步骤S411：对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角。

确定所述第三关键点数据和所述第四关键点数据之间的距离len；也即跨宽。

获取所述下半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

步骤S412：对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据。

参见图7，本发明提供了一种三维人体骨架数据识别装置，包括：

获取单元71，用于从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图；

输入单元72，用于输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据；

判断单元73，用于基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；

第一计算单元74，用于若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

第二计算单元75，用于若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

输出单元76，用于输出所述当前帧的三维人体骨架数据。

关于三维人体骨架数据识别装置的具体实现可以参见三维人体骨架数据识别方法的具体描述，在此不再赘述。

通过以上技术手段，可以实现以下有益效果：

本发明提供一种三维人体骨架数据识别方法，可以利用三维成像装置确定当前帧的三维数据流，并利用人体骨架识别模型获得当前帧的二维人体骨架数据。

为了提高准确性会判断人体结构是否有被遮挡关节点，若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；最后输出所述当前帧的三维人体骨架数据。

本申请对于被遮挡关键点，可以较为准确的确定被遮挡关节点的三维关键点数据，从而提高三维人体骨架数据的准确性。

本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维人体骨架数据识别方法，其特征在于，包括：

从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图；

输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据；

基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；

若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

输出所述当前帧的三维人体骨架数据。

2.如权利要求1所述的方法，其特征在于，所述基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点包括：

识别所述二维人体骨架数据并分为上半身数据和下半身数据；

在所述下半身数据中，确定左跨关键点数据和右跨关键点数据之间的中间关键点数据；

基于所述中间关键点数据和所述上半身数据确定上半身骨架朝向向量；

若所述上半身骨架朝向向量与三维坐标系中Z轴的夹角大于预设角度，则确定所述上半身数据中有被遮挡关节点；

基于所述中间关键点数据和所述下半身数据确定下半身骨架朝向向量；

若所述下半身骨架朝向向量与三维坐标系中Z轴的夹角大于预设角度，则确定所述下半身数据中有被遮挡关节点。

3.如权利要求2所述的方法，其特征在于，所述基于所述中间关键点数据和所述上半身数据确定上半身骨架朝向向量包括：

从上半身数据中，确定左肩关节点对应的第一关键点数据以及确定右肩关节点对应的第二关键点数据；

基于所述第一关键点数据和所述第二关键点数据组成向量a；

将所述第一关键点数据或所述第二关键点数据，与所述中间关键点数据组成向量b；

所述向量a与所述向量b进行向量叉乘运算，获得上半身骨架朝向向量c。

4.如权利要求3所述的方法，其特征在于，所述确定所述上半身数据中有被遮挡关节点包括：

将所述上半身数据划分为上左半身数据和上右半身数据；

若从深度图中确定所述上左半身数据对应的深度数据小，则确定所述上右半身数据中的关节点为被遮挡关节点；

若从深度图中确定所述上右半身数据对应的深度数据小，则确定所述上左半身数据中的关节点为被遮挡关节点。

5.如权利要求4所述的方法，其特征在于，所述基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据，包括：

确定所述第一关键点数据和所述第二关键点数据之间的距离len；

获取所述上半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

6.如权利要求2所述的方法，其特征在于，所述基于所述中间关键点数据和所述下半身数据确定下半身骨架朝向向量包括：

从下半身数据中，确定左跨关节点对应的第三关键点数据以及确定右跨关节点对应的第四关键点数据；

基于所述第三关键点数据和所述第四关键点数据组成向量d；

将所述第三关键点数据或所述第四关键点数据，与所述中间关键点数据组成向量e；

所述向量d与所述向量e进行向量叉乘运算，获得下半身骨架朝向向量f。

7.如权利要求6所述的方法，其特征在于，所述确定所述下半身数据中有被遮挡关节点，包括：

将所述下半身数据划分为下左半身数据和下右半身数据；

若从深度图中确定所述下左半身数据对应的深度数据小，则确定所述下右半身数据中的关节点为被遮挡关节点；

若从深度图中确定所述下右半身数据对应的深度数据小，则确定所述下左半身数据中的关节点为被遮挡关节点。

8.如权利要求7所述的方法，其特征在于，所述基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据，包括：

确定所述第三关键点数据和所述第四关键点数据之间的距离len；

获取所述下半身骨架朝向向量与三维坐标系中Z轴的历史有效夹角r和所述对称关节点对应的三维关键点数据(x,y,z)；

计算被遮挡关节点的三维关键点数据(x’,y’,z’)；

其中，y’＝y；

z’＝z+sin(r)*len；

x’＝x+cos(r)*len。

9.如权利要求2所述的方法，其特征在于，还包括：

若所述当前帧无被遮挡关节点，将所述上半身骨架朝向向量与三维坐标系中Z轴的夹角，更新至历史有效夹角中；将所述下半身骨架朝向向量与三维坐标系中Z轴的夹角，更新至历史有效夹角中；

若所述当前帧无被遮挡关节点，在所述当前帧的二维人体骨架数据中，将关节点对应的二维关键点数据映射到深度图中，获得所述当前帧的三维人体骨架数据。

10.一种三维人体骨架数据识别装置，其特征在于，包括：

获取单元，用于从三维成像装置中获取人体在当前帧的三维数据流；其中所述当前帧的三维数据流包括彩色图像和深度图；

输入单元，用于输入所述当前帧的彩色图像至人体骨架识别模型，获得所述当前帧的二维人体骨架数据；其中，所述二维人体骨架数据包括与人体结构中多个关节点对应的多个二维关键点数据；

判断单元，用于基于所述当前帧的二维人体骨架数据判断是否有被遮挡关节点；

第一计算单元，用于若所述当前帧有被遮挡关节点，则对于未被遮挡关节点：在所述当前帧的二维人体骨架数据中，将未被遮挡关节点对应的二维关键点数据映射到深度图中，获得未被遮挡关节点的三维关键点数据；

第二计算单元，用于若所述当前帧有被遮挡关键点，则对于被遮挡关节点：在所述未被遮挡关节点中，确定与被遮挡关节点具有对称关系的对称关节点，基于历史有效夹角和所述对称关节点对应的三维关键点数据，确定所述被遮挡关节点的三维关键点数据；其中，所述历史有效夹角为二维人体骨架数据无被遮挡关节点时，人体骨架朝向向量与三维坐标系Z轴之间的夹角；

输出单元，用于输出所述当前帧的三维人体骨架数据。

Images