CN110598590A - 基于多视角相机的紧密交互人体姿态估计方法及装置 - Google Patents

Abstract

本发明公开了一种基于多视角相机的紧密交互人体姿态估计方法及装置，其中，该方法包括：获取多视角图像，对多视角图像进行检测生成人体特征关节点位置；通过多视角相机位姿对人体特征关节点位置进行估计生成人体特征关节点位置对应的三维坐标；通过优化姿态预处理函数对三维坐标进行处理生成初始人体姿态集合；通过SMPL‑model人体模型将初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对人体模型进行处理生成紧密交互人体真实姿态。该方法可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

Description

基于多视角相机的紧密交互人体姿态估计方法及装置

技术领域

本发明涉及多人体姿态估计应用技术领域，特别涉及一种基于多视角相机的紧密交互人体姿态估计方法及装置。

背景技术

紧密交互人体姿态估计是使用传感器检测并计算出场景中每个人体的三维姿态，本技术在对人体跟踪以及人体运动分析等方面有着广泛应用。

常用的人体姿态估计方法是在被监控人体上人为放置特殊标记点，通过相应匹配的传感器获取标记点的空间位置信息，然后根据这些标记点的相对位置关系，计算得到人体的姿态信息。也有使用单目或者双目CMOS相机，通过深度学习方法计算得到单个人体或者多个人体的姿态信息。

但是人为的标注方法无法适用于自然场景下的目标跟踪，适用场景受限。此外，在紧密交互场景下，由于深度学习中的训练数据以及模型限制，无法很好区分场景中的每个人体，造成人体三维姿态估计结果错误。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多视角相机的紧密交互人体姿态估计方法，该方法可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

本发明的另一个目的在于提出一种基于多视角相机的紧密交互人体姿态估计装置。

为达到上述目的，本发明一方面实施例提出了一种基于多视角相机的紧密交互人体姿态估计方法，包括：

获取多视角图像，对所述多视角图像进行检测生成人体特征关节点位置；

通过多视角相机位姿对所述人体特征关节点位置进行估计生成所述人体特征关节点位置对应的三维坐标；

通过优化姿态预处理函数对所述三维坐标进行处理生成初始人体姿态集合；

通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对所述人体模型进行处理生成紧密交互人体真实姿态。

本发明实施例的基于多视角相机的紧密交互人体姿态估计方法，通过检测多视角图像中人体特征关节点位置；根据多视角相机位姿估计关节点的三维坐标；通过优化姿态预处理函数得到初始人体姿态集合；通过SMPL-model人体模型将姿态集合拟合为人体模型并通过优化姿态后处理函数得到紧密交互人体真实姿态。由此，可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

另外，根据本发明上述实施例的基于多视角相机的紧密交互人体姿态估计方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述优化姿态预处理函数为：

其中， 为第m个人体的第n个骨骼，长度定义为n1、n2为人体m上的对称骨骼序号。

进一步地，在本发明的一个实施例中，所述通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的所述SMPL-model人体模型，将所述初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对所述初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

进一步地，在本发明的一个实施例中，还包括：

根据所述每个初始人体姿态生成所述人体模型的两两人体之间的骨架与点云信息位置，根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断。

进一步地，在本发明的一个实施例中，所述根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1 r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。

为达到上述目的，本发明另一方面实施例提出了一种基于多视角相机的紧密交互人体姿态估计装置，包括：

获取模块，用于获取多视角图像，对所述多视角图像进行检测生成人体特征关节点位置；

第一生成模块，用于通过多视角相机位姿对所述人体特征关节点位置进行估计生成所述人体特征关节点位置对应的三维坐标；

第二生成模块，用于通过优化姿态预处理函数对所述三维坐标进行处理生成初始人体姿态集合；

第三生成模块，用于通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对所述人体模型进行处理生成紧密交互人体真实姿态。

本发明实施例的基于多视角相机的紧密交互人体姿态估计装置，通过检测多视角图像中人体特征关节点位置；根据多视角相机位姿估计关节点的三维坐标；通过优化姿态预处理函数得到初始人体姿态集合；通过SMPL-model人体模型将姿态集合拟合为人体模型并通过优化姿态后处理函数得到紧密交互人体真实姿态。由此，可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

另外，根据本发明上述实施例的基于多视角相机的紧密交互人体姿态估计装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述优化姿态预处理函数为：

其中， 为第m个人体的第n个骨骼，长度定义为n1、n2为人体m上的对称骨骼序号。

进一步地，在本发明的一个实施例中，所述通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的所述SMPL-model人体模型，将所述初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对所述初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

进一步地，在本发明的一个实施例中，还包括：

根据所述每个初始人体姿态生成所述人体模型的两两人体之间的骨架与点云信息位置，根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断。

进一步地，在本发明的一个实施例中，所述根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1 r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于多视角相机的紧密交互人体姿态估计方法流程图；

图2为根据本发明一个实施例的基于多视角相机的紧密交互人体姿态估计方法流程框图；

图3为根据本发明一个实施例的人体模型交叉判断示意图；

图4为根据本发明一个实施例的基于多视角相机的紧密交互人体姿态估计装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于多视角相机的紧密交互人体姿态估计方法及装置。

首先将参照附图描述根据本发明实施例提出的基于多视角相机的紧密交互人体姿态估计方法。

图1为根据本发明一个实施例的基于多视角相机的紧密交互人体姿态估计方法流程图。

如图1和图2所示，该基于多视角相机的紧密交互人体姿态估计方法包括以下步骤：

在步骤S101中，获取多视角图像，对多视角图像进行检测生成人体特征关节点位置。

具体地，通过深度学习得到的OpenPose模型分析CMOS图像信息，多视角图像上的人体关节点信息，根据COCO-14的人体定义，每个人体共有13个关节点。由于OpenPose模型在单视角图像上输出的非可见关节点位置会有很大误差，为了提高检测的精确性，需要滤除非可见点的检测结果。定义为在第c个视角下检测得到的第m个第i种关节点，表示openpose模型输出的对应关节点置信度。通常非可见点关节点检测结果置信度会很低，因此定义置信度阈值τ_s，当时，表示关节点为可见关节点，否则忽略该点的检测结果。

在步骤S102中，通过多视角相机位姿对人体特征关节点位置进行估计生成人体特征关节点位置对应的三维坐标。

具体地，通过对极几何，将2D的人体关节点三角化为空间3D关节点。具体方法为：定义J为输出的3D关节点集合,J_i表示场中所有第i种关节点的3D集合，通过优化公式计算最小映射误差,分别得到含有语意i的关节点的三维空间坐标，其中M和C分别表示场景中总的人数以及使用的相机总数。

在步骤S103中，通过优化姿态预处理函数对三维坐标进行处理生成初始人体姿态集合。

具体地，通过将得到的带有语意的3D关节排列组合，得到紧密交互人体的姿态种子集合，以两个人为例，共有2¹²个姿态种子。为了提高系统实时性，减少紧密交互人体姿态种子数量，先采用预处理优化函数去除绝大部分非法姿态种子。具体方法为：定义第m个人体的第n个骨骼为其长度定义为根据两个对称骨骼的长度相等的事实，建立预处理优化函数定义为为其中n1 n2为人体m上的对称骨骼序号。根据COCO-14的人体关节点定义，一个人体的对称骨骼共有6对。当Ω＝1时，表示此姿态种子为预合法姿态种子。

在紧密交互场景中，会有多个人体模型之间相互交叉的不合理的人体姿态种子，为了检测多模型之间的交叉性，需要将预合法姿态种子拟合得到多个人体的模型信息。具体方法为：采集通过人体模型数据库训练得到的人体模型深度网络，将一个人体三维姿态信息作为输入，输出含有6890个点组成的人体模型点云，循环步骤对所有紧密交互人体姿态种子拟合，得到所有情况下场景中所有人的人体模型信息。

在步骤S104中，通过SMPL-model人体模型将初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对人体模型进行处理生成紧密交互人体真实姿态。

进一步地，通过SMPL-model人体模型将初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的SMPL-model人体模型，将初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

进一步地，还包括：根据每个初始人体姿态生成人体模型的两两人体之间的骨架与点云信息位置，根据骨架与点云信息位置对人体模型的交叉性进行判断。

进一步地，根据骨架与点云信息位置对人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1 r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。

具体地，根据每个姿态种子得到的人体模型的两两人体之间的骨架与点云信息位置，对人体模型的交叉性进行判断，具体方法为：若两个骨架所构成的人体分部存在交叉，两个骨架所处的空间线段必然存在公垂线，如图3所示，首先计算两三维空间骨架所处直线的公垂线，若至少有一个垂足不落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1 r2，若l<r1+r2,则判定两个人体分部存在交叉，则此姿态种子不合理。循环此步骤对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，得到无交叉的紧密交互人体姿态种子，即为所得。

根据本发明实施例提出的基于多视角相机的紧密交互人体姿态估计方法，通过检测多视角图像中人体特征关节点位置；根据多视角相机位姿估计关节点的三维坐标；通过优化姿态预处理函数得到初始人体姿态集合；通过SMPL-model人体模型将姿态集合拟合为人体模型并通过优化姿态后处理函数得到紧密交互人体真实姿态。由此，可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

其次参照附图描述根据本发明实施例提出的基于多视角相机的紧密交互人体姿态估计装置。

图4为根据本发明一个实施例的基于多视角相机的紧密交互人体姿态估计装置结构示意图。

如图4所示，该基于多视角相机的紧密交互人体姿态估计装置包括：获取模块100、第一生成模块200、第二生成模块300和第三生成模块400。

获取模块100，用于获取多视角图像，对多视角图像进行检测生成人体特征关节点位置。

第一生成模块200，用于通过多视角相机位姿对人体特征关节点位置进行估计生成人体特征关节点位置对应的三维坐标。

第二生成模块300，用于通过优化姿态预处理函数对三维坐标进行处理生成初始人体姿态集合。

第三生成模块400，用于通过SMPL-model人体模型将初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对人体模型进行处理生成紧密交互人体真实姿态。

进一步地，在本发明的一个实施例中，优化姿态预处理函数为：

其中， 为第m个人体的第n个骨骼，长度定义为n1、n2为人体m上的对称骨骼序号。

进一步地，在本发明的一个实施例中，通过SMPL-model人体模型将初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的SMPL-model人体模型，将初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

进一步地，在本发明的一个实施例中，还包括：

根据每个初始人体姿态生成人体模型的两两人体之间的骨架与点云信息位置，根据骨架与点云信息位置对人体模型的交叉性进行判断。

进一步地，在本发明的一个实施例中，根据骨架与点云信息位置对人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1 r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。

需要说明的是，前述对基于多视角相机的紧密交互人体姿态估计方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于多视角相机的紧密交互人体姿态估计装置，通过检测多视角图像中人体特征关节点位置；根据多视角相机位姿估计关节点的三维坐标；通过优化姿态预处理函数得到初始人体姿态集合；通过SMPL-model人体模型将姿态集合拟合为人体模型并通过优化姿态后处理函数得到紧密交互人体真实姿态。由此，可以计算获取自然场景中多人体的三维姿态信息，尤其是监控多个紧密交互人体的运动信息，有利于分析和追踪多人场景中人体的运动状态。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多视角相机的紧密交互人体姿态估计方法，其特征在于，包括以下步骤：

获取多视角图像，对所述多视角图像进行检测生成人体特征关节点位置；

通过多视角相机位姿对所述人体特征关节点位置进行估计生成所述人体特征关节点位置对应的三维坐标；

通过优化姿态预处理函数对所述三维坐标进行处理生成初始人体姿态集合；

通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对所述人体模型进行处理生成紧密交互人体真实姿态。

2.根据权利要求1所述的方法，其特征在于，所述优化姿态预处理函数为：

其中， 为第m个人体的第n个骨骼，长度定义为n1、n2为人体m上的对称骨骼序号。

3.根据权利要求1所述的方法，其特征在于，所述通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的所述SMPL-model人体模型，将所述初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对所述初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

4.根据权利要求3所述的方法，其特征在于，还包括：

根据所述每个初始人体姿态生成所述人体模型的两两人体之间的骨架与点云信息位置，根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断。

5.根据权利要求4所述的方法，其特征在于，所述根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。

6.一种基于多视角相机的紧密交互人体姿态估计装置，其特征在于，包括：

获取模块，用于获取多视角图像，对所述多视角图像进行检测生成人体特征关节点位置；

第一生成模块，用于通过多视角相机位姿对所述人体特征关节点位置进行估计生成所述人体特征关节点位置对应的三维坐标；

第二生成模块，用于通过优化姿态预处理函数对所述三维坐标进行处理生成初始人体姿态集合；

第三生成模块，用于通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，并通过优化姿态后处理函数对所述人体模型进行处理生成紧密交互人体真实姿态。

7.根据权利要求6所述的装置，其特征在于，所述优化姿态预处理函数为：

其中， 为第m个人体的第n个骨骼，长度定义为n1、n2为人体m上的对称骨骼序号。

8.根据权利要求6所述的装置，其特征在于，所述通过SMPL-model人体模型将所述初始人体姿态集合拟合为人体模型，进一步包括：

采集通过人体模型数据库训练得到的所述SMPL-model人体模型，将所述初始人体姿态集合种的一个初始人体姿态作为输入，输出含有多个点组成的人体模型点云，通过循环迭代对所述初始人体姿态集合中的每个初始人体姿态进行拟合，得到所有情况下场景中所有人的人体模型。

9.根据权利要求8所述的装置，其特征在于，还包括：

根据所述每个初始人体姿态生成所述人体模型的两两人体之间的骨架与点云信息位置，根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断。

10.根据权利要求9所述的装置，其特征在于，所述根据所述骨架与点云信息位置对所述人体模型的交叉性进行判断，具体包括：

计算两三维空间骨架所处直线的公垂线，若至少有一个垂足未落在骨架线段内，则两个人体分部不会交叉，否则，定义公垂线的长度为l，人体两个分部在公垂点处的半径为r1r2,若l<r1+r2,则判定两个人体分部存在交叉，则判定姿态种子不合理，循环对场景中所有人的所有关节之间两两分部点云和骨骼位置进行判断，将合理的姿态种子生成紧密交互人体真实姿态。