CN115890671A

CN115890671A - 一种基于smpl参数的多几何体人体碰撞模型生成方法及系统

Info

Publication number: CN115890671A
Application number: CN202211461670.4A
Authority: CN
Inventors: 周乐来; 李正茂; 李贻斌; 王畅聪; 田新诚; 宋锐
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2022-11-17
Filing date: 2022-11-17
Publication date: 2023-04-04

Abstract

本发明提供了一种基于SMPL参数的多几何体人体碰撞模型生成方法及系统，采用简化的几何体表征人体各部位尺寸形状，根据SMPL模型或依其衍生的模型，确定几何体的形状及长宽高等参数。其中，SMPL模型参数可由目前常用的3D人体姿态估计算法生成，依次将几何体贴合对到关键点坐标系，构结成机器人运动规划环境下人体姿态模型。

Description

一种基于SMPL参数的多几何体人体碰撞模型生成方法及系统

技术领域

本发明属于人体碰撞模型生成相关技术领域，尤其涉及一种基于SMPL参数的多几何体人体碰撞模型生成方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

人机协作也即人与机器人在同一工作环境下互相配合完成目标任务。这一协作过程中，为确保工作人员的安全性，一般将人体看做是机器人规划场景下的障碍物体；同时为了满足在动态环境下机器人轨迹规划的实时性与合理性，需要系统能够实时获取人体姿态信息，并能够结合人体各部位的尺寸、形状等特征，快速地生成机器人运动规划场景下的人体障碍物模型。

机器人运动规划环境下的人体碰撞模型的建立，结合工程实现可分为以下步骤：

获取人体关键点坐标系信息：目前有多种测量方法可以提供人体关键点坐标系信息，以抽象表征人体姿态。代表的有，使用多IMU贴附人体直接获取关键点坐标信息的穿戴设备方案；使用深度学习估计人体姿态的视觉处理方案。

拟合身体各部位碰撞模型的尺寸与形状：目前对身体部位尺寸与形状等特征参数的预估方案并不多。常见的3D人体模型代表的有SMPL。该模型能够提供6890个蒙皮顶点以及24个骨骼点，以表征人体形状与姿态。在此基础上衍生出多种类似的3D模型，如SMPL-X,STAR等。与之配套的，是各种估计SMPL参数的3D人体姿态估计算法，如SMPLify、HybrIK。

将碰撞模型依次添加到各对应坐标系，构成整个碰撞模型并导入人体碰撞模型至机器人规划环境。

目前，在机械臂运动规划环境下，尝试通过实时估计SMPL参数来构建人体姿态模型，并将其加入到机器人规划环境中是不可取的。SMPL参数繁多，仅针对避障的场景需求，整个识别过程显得数据冗余、计算低效、实时性差，对人体特征的过分提取没有意义。所以，针对机器人运动规划的场景，需要设计简洁的3D人体模型，满足实时性的同时，使之足以表征人体部位成为亟待解决的问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于SMPL参数的多几何体人体碰撞模型生成方法及系统，采用简化的几何体表征人体各部位尺寸形状。根据SMPL模型或依其衍生的模型，确定几何体的形状及长宽高等参数。其中，SMPL模型参数可由目前常用的3D人体姿态估计算法生成，依次将几何体贴合对到关键点坐标系，构结成机器人运动规划环境下人体姿态模型。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于SMPL参数的多几何体人体碰撞模型生成方法，包括：

获取与人体对应的SMPL模型参数；

根据人体部位创建对应的几何体模型，基于SMPL模型参数中提取到的蒙皮顶点与骨骼点确定几何体模型的尺寸；

获取并将身体各部分关键点坐标信息与几何体模型匹配，生成人体碰撞模型。

本发明的第二个方面提供一种基于SMPL参数的多几何体人体碰撞模型生成方法，包括：

模型参数获取模块：获取与人体对应的SMPL模型参数；

几何体模型生成模块：根据人体部位创建对应的几何体模型，基于SMPL模型参数中提取到的蒙皮顶点与骨骼点确定几何体模型的尺寸；

碰撞模型生成模块：获取并将身体各部分关键点坐标信息与几何体模型匹配，生成人体碰撞模型。

本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明所提供的人体碰撞模型通用易行，一方面，本发明是基于SMPL参数估计人体部位尺寸与形状，具体的，是依据SMPL提供的蒙皮顶点与骨骼点确定几何碰撞模型，故SMPL的各种衍生模型均可适用；另一方面，目前常用的人体姿态估计算法大都是对SMPL参数的估计，因此各种人体姿态估计算法与本专利提供的碰撞模型构建算法，在流程对接或参数调用上，是相容适配的。此外，人体各部位几何碰撞模型建立完成后，用户只需提供人体任意姿态下关键点坐标系信息。将各几何模型贴合到对应坐标系即可生成人体碰撞模型。

本发明针对机器人运动规划场景，剔除避障环境下人体的冗余特征，只使用简单的几何体将人体各部位尺寸与形状特征尽可能地包络。在保证安全的前提下，方案能满足机器人运动规划场景下动态避障的需求。相比传统方法，提高了人体碰撞模型构建的实时性，降低了计算复杂度。

本发明中身体各部位对应的几何模型一经确定，即可视为数据库或接口，随调随用，不需重复构建。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中人体碰撞模型生成流程示意图；

图2为本发明实施例一中人体T形姿态RGB图；

图3是本发明实施例一中蒙皮顶点与骨骼点选取示意图；

图4是本发明实施例一中中人体各部分几何碰撞模型示意图；

图5是本发明实施例一中人体任意姿态图；

图6是本发明实施例一中符合规范的关键点坐标系示意图；

图7是本发明实施例一中生成整体的碰撞模型示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例公开了一种基于SMPL参数的多几何体人体碰撞模型生成方法，包括：

步骤1：获取与人体对应的SMPL模型参数；

步骤2：根据人体部位创建对应的几何体模型，基于SMPL模型参数中提取的蒙皮顶点及骨骼点确定几何体模型的尺寸；

步骤3：获取并将身体各部分关键点坐标信息与几何体模型匹配，生成人体碰撞模型。

目前常用的3D人体姿态估计算法是对SMPL及其衍生模型参数的估计，可选取适合的算法以获取SMPL参数。

在本实施例步骤1中，以采用HybrIK人体姿态估计算法为例，进行说明。

如图2所示，摄像头获得人体T形姿态RGB图像，并将其导入HybrIK姿态估计算法，生成该人体对应的SMPL模型参数，SMPL参数中含有6890个蒙皮顶点与24个骨骼点坐标信息。

如图3所示，本实施例中蒙皮顶点与骨骼点选取具体为：

蒙皮顶点组成集合V：

V＝[v₁,v₂,v₃,…,v_N](V∈R(^N*3),N＝6890) (1)

根据身体各部分将蒙皮顶点坐标集合分成16个子集V_i(V_i∈V,i＝1,2,…,16)，分别为：头部、臀部、左手、右手、左脚、右脚、颈部、脊柱、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿。

24个骨骼点坐标取其中17个组成骨骼点集合，按0～16依次编号，分别为：(0，髋关节)、(1，左胯关节)、(2，左膝关节)、(3，左脚腕关节)、(4，右胯关节)、(5，右膝关节)、(6，右脚腕关节)、(7，腰部中心)、(8，脊柱中间)、(9，颈部中心)、(10，头部)、(11，左肩关节)、(12，左肘关节)、(13，左手腕关节)、(14，右肩关节)、(15，右肘关节)、(16，右手腕关节)。

本实施例所构建的碰撞模型将人体拆分为不同几何体的拼合，人体各关节转动基本上都是球形运动，可用球形、圆柱体、长方体等简易几何体表征身体各部位形状与运动特征。

如图4所示，本实施例步骤2中，依身体部位创建对应几何模型，其具体实现过程为：

使用圆柱体表征双关节组成的人体部位，即为颈部、脊柱、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿。

使用球形表征单关节或其他多关节的人体部位，即为手臂、臀部、左手、右手、左脚、右脚。

身体各部分几何体尺寸的确定涉及到相对应部位对应的骨骼点坐标，一般的，对于球形，需要一个骨骼点坐标作为球形中心；对于圆柱体，需要两个骨骼点坐标作为圆柱体上下两个底面的圆心。

在本实施例中，根据所构建的身体部位与骨骼点的对应关系，采用身体部分与骨骼点编号进行说明：(头部：10),(臀部：0),(左手：13),(右手：16),(左脚：3),(右脚：6),(颈部：8,9),(脊柱：7,8),(左大臂：11,12),(左小臂：12,13),(右大臂：14,15),(右小臂：15,16),(左大腿：1,2),(左小腿：2,3),(右大腿：4,5),(右小腿：5,6)。

对于圆柱体表征的部位i-th，确定该圆柱体的高L_i和半径R_i:

L_i＝max(C_i,n)

其中，α＝h_R/h_SMPL表征人体真实测量身高h_R与SMPL模型给定身高h_SMPL的比值。因为有图像估计的人体部位尺寸会与真实人体尺寸不符，需要因子α进行适当缩放。

是向量(v_n-p_i)在t_i方向的投影。其中，v_n∈V_i是i-th部位对应的蒙皮子集V_i中的一个元素。因需两个骨骼点坐标作为圆柱体上下两个底面的圆心，分别记作K_Parent(i)与K_Child(i)。则p_i是i-th部位对应骨骼点K_Parent(i)与K_Child(i)的中点。t_i是骨骼点K_Parent(i)指向K_Child(i)的向量。

圆柱的半径R_i：

R_i＝max(r_i,n)

其中，r_i,n表征蒙皮顶点v_n与以骨骼点K_Parent(i)、K_Child(i)为端点的线段的垂直距离。

对于使用球形表征的部位j-th，需要确定该球形的半径R_j:

R_j＝max(||v_n-K_point(j)||₂) (4)

其中，其中，v_n∈V_j是j-th部位对应的蒙皮子集V_j中的一个元素，K_point(j)为j-th部位对应的骨骼点。

本实施例所构建完成的身体各部分对应几何体的形状以及尺寸大小，为整体碰撞模型的拼接提供基础材料，只需要很少的计算量便可得到贴合人体的碰撞模型。

在本实施例步骤3中，为构成人体碰撞模型，包括获取关键点坐标系信息，并将其与生成的身体各部位几何体一一对应两个部分。

获取关键点坐标系信息部分，主要是对不同测量方法提供的关键点坐标系信息做规范化处理。

采用视觉测量方案为例，阐述获取关键点坐标系并对数据统一规范的具体方式。

具体的，规范化处理为：

不同测量方法提供的关键点坐标系信息，需包含关键点的坐标位置，与关键点位置重合的坐标系的位姿。

不同测量方法提供的关键点，其选取的位置应大致在以下16个身体部位选取：头部、臀部、左手、右手、左脚、右脚、颈部、脊柱、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿。

不同测量方法提供的关键点坐标系，z轴指向需根据其对应身体部位而定。对于双关节组成的部位，z轴指向其中任意一个关节坐标；其他身体部位，z轴指向不做要求。

根据上述规范处理，获取不同测量方法提供的人体关键点坐标系信息，并对所得数据规范处理。

在本实施例中，如图5所示，通过摄像头获取人体任意姿态RGB图片，导入HybrIK算法，得到任意姿态下人体骨骼点坐标集合。对于双关节组成的人体部位，该部位相邻两骨骼点坐标连线，取线段中点作为该部位对应的关键点坐标系原点，坐标系z轴方向指向相邻任意一个骨骼点坐标位置。

对于其他部位，该部位骨骼点坐标作为相应关键点坐标系原点，坐标系z轴方向任意。

身体各部位对应的关键点坐标系建立完成，可见图6获取符合规范的关键点坐标系。关键点位置选择以及相应坐标系及其z轴方向具已标明。根据规范要求，生成关键点坐标系，其Z轴按z(0～15)依次编号，与身体部位的对应关系为：

(z(0)，头部),(z(1)，臀部),(z(2)，左手),(z(3)，右手),(z(4)，左脚),(z(5)，右脚),(z(6)，颈部),(z(7)，脊柱),(z(8)，左大臂),(z(9)，左小臂),(z(10)，右大臂),(z(11)，右小臂),(z(12)，左大腿),(z(13)，左小腿),(z(14)，右大腿),(z(15)，右小腿)，其余身体部位未考虑。

在本实施例步骤3中，获取关键点坐标系信息后，需根据身体各部位，将几何体与关键点坐标系一一对应。

初始时刻，几何体初始坐标即为世界坐标系原点。需根据获取的关键点信息，依次将几何体贴合到各关键点对应坐标系。

具体的，对于身体各部位对应的关键点m与几何体碰撞模型n：依次将几何体绕轴α转动一定角度θ并移动几何体中心到对应关键点坐标系原点，生成人体任意姿态下的碰撞模型。α与θ的确定方式：

其中，z_kpoint(m)是关键点m对应的关键点坐标系的z轴单位向量，z_init(n)是初始碰撞模型n对应的物体坐标系的z轴单位向量。

如图7所示，为生成的整体的碰撞模型图。将人体碰撞模型导入机器人运动规划环境，完成避障场景搭建。

实施例二

本实施例的目的是提供一种基于SMPL参数的多几何体人体碰撞模型生成方法，包括：

模型参数获取模块：获取与人体对应的SMPL模型参数；

实施例三

本实施例的目的是提供一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，包括：

获取与人体对应的SMPL模型参数；

2.如权利要求1所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，SMPL模型参数包括蒙皮顶点与骨骼点坐标信息，根据身体各部位将蒙皮顶点坐标分成16个子集，分别为：头部、臀部、左手、右手、左脚、右脚、颈部、脊柱、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿；

采用的骨骼点坐标分别为：髋关节、左胯关节、左膝关节、左脚腕关节、右胯关节、右膝关节、右脚腕关节、腰部中心、脊柱中间、颈部中心、头部、左肩关节、左肘关节、左手腕关节、右肩关节、右肘关节、右手腕关节。

3.如权利要求1所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，对于双关节组成的人体部位，采用圆柱体模型表征；对于单关节或其他多关节的人体部位采用球形模型表征。

4.如权利要求3所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，对于所述圆柱体模型尺寸的确定采用两个骨骼点坐标分别作为圆柱体上下两个底面的圆心；对于球形模型尺寸的确定采用一个骨骼点坐标作为球形的中心。

5.如权利要求1所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，还包括：对于不同测量方法获取的人体关键点坐标信息进行统一规范处理，具体为：

不同测量方法获取的关键点，其选取的位置在以下16个身体部位中选取，16个身体部位分别为：头部、臀部、左手、右手、左脚、右脚、颈部、脊柱、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿；

不同测量方法提供的关键点坐标系，对于双关节组成的人体部分，z轴指向其中任意一个关节坐标。

6.如权利要求1所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，获取并将身体各部分关键点坐标信息与几何体模型匹配，具体为：将几何体模型绕轴α转动角度θ并移动几何体中心到对应点位生成人体任意姿态下的碰撞模型，其中α与θ的确定方式为：

其中，z_kpoint(m)是关键点m对应的关键点坐标系的z轴单位向量，z_init(n)是初始碰撞模型对应的物体坐标系的z轴单位向量。

7.如权利要求1所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，获取人体姿态RGB图像，采用3D人体姿态估计算法生成对应的SMPL模型参数，3D人体姿态估计算法包括但不限于HybrIK人体姿态估计算法、SMPLify人体姿态估计算法。

8.一种基于SMPL参数的多几何体人体碰撞模型生成方法，其特征在于，包括：

模型参数获取模块：获取与人体对应的SMPL模型参数；

碰撞模型生成模块：获取将身体各部分关键点坐标信息与几何体模型匹配，生成人体碰撞模型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于SMPL参数的多几何体人体碰撞模型生成方法中的步骤。