CN105719279A - 基于椭圆柱的人体躯干建模及手臂区域分割和手臂骨架提取方法 - Google Patents

Abstract

一种基于椭圆柱估计的人体模型手臂及手臂骨架的分割提取方法，通过从人体模型的点集中采集两侧肩膀、脊柱中部和脊柱底部的位置坐标并生成类椭圆柱体点集作为躯干模型，并从躯干模型的两侧得到手臂点集，通过投影后得到的平面图中得到三维手臂骨架点集，最后通过从三维手臂骨架点集中与肩膀骨架点和手腕骨架点之间的距离判断得到肩膀骨架点集、手腕骨架点集和手肘骨架点集，从而组成完整人体手臂骨架点集。

Description

基于椭圆柱的人体躯干建模及手臂区域分割和手臂骨架提取方法

技术领域

本发明涉及的是一种计算机图形处理领域的技术，具体是一种基于椭圆柱估计的人体模型手臂及手臂骨架的分割提取方法。

背景技术

随着科技的发展，体感技术给人们的日常生活带来了极大的便利。体感技术可以让计算机知道用户人体的姿态和人体的骨架。比如：用户可以通过人体的运动来控制计算机里的虚拟人物；用户可以通过手势来控制计算机的人机互动操作，来摆脱鼠标和键盘。为了实现以上的功能，人体手臂骨架提取算法是一个重要的环节。一个优秀的、鲁棒的人体手臂骨架提取算法可以给计算机提供精确的人体手臂姿态，进而将人机交互等应用做得更好。

经过对现有技术的文献检索发现，Shotton等人在《IEEETransactionsonPatternAnalysisandMachineIntelligence》2013年第35卷第12期上发表的论文“Efficienthumanposeestimationfromsingledepthimages”提出了“利用深度信息先将人体三维点云分块再对分割出的每块区域计算对应的骨架点”的人体骨架提取方法，该算法在人体分块中使用随机森林来提高点云分类的速度。该算法通过获得整体人体骨架进而得到手臂骨架和姿态。薛发光的2007年吉林大学硕士论文《基于图像的运动手臂的识别》中采用躯干模板得到肩部坐标，然后采用哈夫变换对手臂的轮廓线进行直线线段检测，最后经过曲线拟合找出手臂的骨架线段,得到手臂肘部的像素坐标。然而，手臂运动的灵活性无形之中增加了手臂提取的难度，以上方法在复杂场景下均不能得到较好的效果。

手臂的区域分割对手臂骨架点的提取有极大的益处。一个精确的手臂区域分割可以提供一个好的基础，有助于后续针对该分割区域提取骨架点的操作结果。因此，上述现有技术的问题分析促使去寻找一种更加全面的人体手臂分割及手臂骨架估计方法，使其能够应对复杂的场景和环境并提高骨架提取精度，而且该算法应该可以应用到实时的人体交互操作中。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于椭圆柱估计的人体模型手臂及手臂骨架的分割提取方法，估计得到的躯干模型和人体躯干更接近，从而分割出更准确的人体手臂区域。

本发明是通过以下技术方案实现的：

本发明通过从人体模型的点集中采集两侧肩膀、脊柱中部和脊柱底部的位置坐标并生成类椭圆柱体点集作为躯干模型，并从躯干模型的两侧得到手臂点集，通过投影后得到的平面图中得到三维手臂骨架点集，最后通过从三维手臂骨架点集中与肩膀骨架点和手腕骨架点之间的距离判断得到肩膀骨架点集、手腕骨架点集和手肘骨架点集，从而组成完整人体手臂骨架点集。

所述方法具体包括以下步骤：

第一步、通过像素阈值过滤，从三维坐标下的人体三维点云中得到人体轮廓的中轴线坐标、从人体三维点云中估计得到两侧肩膀、脊柱中部和脊柱底部的位置坐标；

第二步、在人体三维点云中分别生成三个对应包含两侧肩膀、脊柱中部和脊柱底部的位置坐标的椭圆形横截面，根据估计得到的椭圆形横截面的参数，经插值得到椭圆柱躯干模型；

第三步、将人体三维点云中位于椭圆柱躯干模型中的点作为人体躯干点，其余作为人体手臂点，将人体手臂点中位于中轴线任意一侧的点集分别投影至对应坐标轴的三个平面；

第四步、选择三个平面的投影中点集所占面积最大的两个投影图进行细化和剪枝处理，得到三维手臂骨架点集，并从三维手臂骨架中依次提取出两侧肩膀、手腕和手肘骨架点集，从而组成一条完整的人体手臂骨架点集。

技术效果

与现有技术相比，本发明所述的方法可以在人体360度朝向下分割出手臂区域，并精确提取手臂骨架点位置。实验表明，Shotton等人在《IEEETransactionsonPatternAnalysisandMachineIntelligence》2013年第35卷第12期上发表的论文“Efficienthumanposeestimationfromsingledepthimages”的算法手臂骨架点位置平均提取误差在16.49像素/骨架点，本发明的平均提取误差在5.78像素/骨架点，效果优于上述算法。同时经过测试，本发明所述的方法平均耗时仅13.2ms，可以在实时的系统中使用。

附图说明

图1是人体中轴线获取的示意图；

图2是估计人体躯干的椭圆柱模型的流程图；

图3是手臂骨架线上的点和肩膀-手肘-手腕折线的距离计算示意图。

具体实施方式

如图2所示，本实施例包括以下步骤:

步骤一，使用微软公司出品的Kinect摄像头(https://dev.windows.com/en-us/kinect)得到景深帧，获得在三维坐标下的人体三维点云以及人体前景图，即人体轮廓；在三维坐标系中设置x轴为宽度方向、y轴为高度方向、z轴为深度方向。

步骤二，通过像素阈值过滤得到人体轮廓的中轴线坐标，具体包括以下操作：

2.1对人体前景图中的每列进行统计，计算该列中人体前景图中的像素点个数，即前景像素点个数；

2.2计算各列统计的前景像素点个数中的最大值M，设定阈值T＝0.5M；

2.3从人体轮廓的一侧向中间查看每列统计的前景像素点个数，当个数大于阈值T时，设定该列为肩膀边缘点x坐标x₁；

2.4从步骤2.3中相对的另一侧向中间查看每列统计的前景像素点个数，当个数大于阈值T时，设定该列为肩膀边缘点x坐标x₂；

2.5如图1所示，人体中轴线位置x坐标即为

步骤三，首先使用人体躯干提取技术，从人体三维点云中得到两侧肩膀、脊柱中部和脊柱底部的位置坐标；然后在人体三维点云中分别生成三个对应包含两侧肩膀、脊柱中部和脊柱底部的位置坐标的椭圆形横截面，根据估计得到的椭圆形横截面的参数，经插值得到椭圆柱躯干模型。

所述的椭圆形横截面与中轴线的交点为该横截面的坐标原点。

所述的位置坐标提取，本实施例中采用林德静等人在《背景服装学院学报》2005年第25卷第3期的论文“基于三维扫描的人体尺寸提取技术”得到肩膀、脊柱中部和脊柱底部三点位置坐标。

所述的椭圆形横截面的参数，通过以下方式得到：

a)使用椭圆一般式拟合点集P，即使用最小二乘法拟合求解，得到椭圆参数长半轴a和短半轴b，即其中：x_i和y_i代表点集P第i个点的坐标。

b)对每个点p∈P，当则将该点p保留在点集P中，否则将p删除。其中ξ是松弛参数，本实施例中选取0.15。

c)当在步骤b中没有点从点集P里删除或者循环次数达到上限，则步骤a得到的椭圆参数a、b即为椭圆形横截面的长半轴和短半轴；否则，回到步骤a。

所述的插值，在本实施例中采用线性插值实现，线性插值后的类椭圆柱躯干模型中根据不同高度h可对应得到该高度横截面的椭圆参数a_h、b_h。

步骤四，剔去人体三维点云中肩膀坐标上方和脊柱底部坐标下方的点集，将剩余点云中位于椭圆柱躯干模型中的点作为人体躯干点，其余作为人体手臂点，实现人体手臂区域分割，具体为：对于躯干上任一高度h，根据步骤三得到类椭圆柱躯干模型得到对应的横截面椭圆参数a_h、b_h，依次判断点云中的任意一点p：

其中：x_p和y_p代表点p的坐标，ξ是松弛参数，本实施例中取0.15。

步骤五，将步骤四得到的人体手臂点中位于中轴线任意一侧的点集分别投影至对应坐标轴的三个平面，即xy、yz、xz平面，得到一条手臂对应的三幅平面投影图，选择其中点集所占面积最大的两幅手臂平面投影图进行细化和剪枝处理，得到三维手臂骨架点集。

本实施例中，使用Lam等人在1992年《IEEETransactionsonpatternanalysisandmachineintelligence》第14卷第9期发表的论文“Thinningmethodologies-acomprehensivesurvey”中所述的Hilditch算法提取手臂区域骨架。

本实施例中，假设选择投影到xy、yz平面的两幅区域图，则经细化和剪枝处理得到手臂区域骨架为单像素宽度且没有分支的曲线，即点集Skel₁和Skel₂；对于任一属于点集Skel₁的点p∈Skel₁，在点集Skel₂寻找y坐标轴上和p点最接近的点p^corres∈Skel₂，包含了xyz三轴的坐标信息p和p^corres构成了一个对应点组，所有点组构成了人体三维点云中的三维手臂骨架点集Skel。

步骤六，从三维手臂骨架中依次提取出两侧肩膀、手腕和手肘骨架点集，从而组成一条完整的人体手臂骨架点集，具体为：

6.1)从三维手臂骨架里找到两个端点e₁和e₂，其中距离该侧肩膀坐标较近的端点为肩膀骨架点，较远为手腕骨架点。

所述的端点，通过遍历骨架上所有点，计算每个点8-邻域中和其相邻的点个数，如果只有一个相邻点，则该相邻点即为骨架的端点。

6.2)如图3所示，手肘骨架点集的选择步骤如下：

i)在三维手臂骨架点集中取一点elb∈Skel，和两个端点e₁和e₂连接成折线e₁-elb-e₂；

ii)计算三维手臂骨架点集Skel中所有的点到折线e₁-elb-e₂的距离的平方平均值E，具体为：令线段e₁-elb的方程为Ax+By+Cz+D＝0，对于在e₁到elb之间的点p∈Skel，p到线段e₁-elb之间的距离以及对于②在elb到e₁之间的点p∈Skel，p到线段elb-e₁之间的距离均为：其中：p_x、p_y、p_z是p点的x、y、z坐标。

iii)计算目标函数其中：是线段长度，λ是权值参数。

本实施例中λ取10.0。

iv)当对Skel中的所有点都遍历一遍后，找出目标函数S最小时的elb，作为手肘骨架点的位置；否则，回到步骤i继续计算。

当重复上述步骤五和步骤六，则可以获得中轴线另一侧的人体手臂骨架点集。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于椭圆柱估计的人体模型手臂及手臂骨架的分割提取方法，其特征在于，通过从人体模型的点集中采集两侧肩膀、脊柱中部和脊柱底部的位置坐标并生成类椭圆柱体点集作为躯干模型，并从躯干模型的两侧得到手臂点集，通过投影后得到的平面图中得到三维手臂骨架点集，最后通过从三维手臂骨架点集中与肩膀骨架点和手腕骨架点之间的距离判断得到肩膀骨架点集、手腕骨架点集和手肘骨架点集，从而组成完整人体手臂骨架点集。

2.根据权利要求1所述的分割提取方法，其特征是，具体包括以下步骤：

第一步、通过像素阈值过滤，从三维坐标下的人体三维点云中得到人体轮廓的中轴线坐标、从人体三维点云中估计得到两侧肩膀、脊柱中部和脊柱底部的位置坐标；

第二步、在人体三维点云中分别生成三个对应包含两侧肩膀、脊柱中部和脊柱底部的位置坐标的椭圆形横截面，根据估计得到的椭圆形横截面的参数，经插值得到类椭圆柱躯干模型；

第三步、将人体三维点云中位于类椭圆柱躯干模型中的点作为人体躯干点，其余作为人体手臂点，将人体手臂点中位于中轴线任意一侧的点集分别投影至对应坐标轴的三个平面；

第四步、选择三个平面的投影中点集所占面积最大的两个投影图进行细化和剪枝处理，得到三维手臂骨架点集，并从三维手臂骨架中依次提取出两侧肩膀、手腕和手肘骨架点集，从而组成一条完整的人体手臂骨架点集。

3.根据权利要求2所述的分割提取方法，其特征是，所述的中轴线，通过以下方式得到：

2.1对人体前景图中的每列进行统计，计算该列中人体前景图中的像素点个数，即前景像素点个数；

2.2计算各列统计的前景像素点个数中的最大值M；

2.3从人体轮廓的一侧向中间查看每列统计的前景像素点个数，当个数大于阈值T时，设定该列为肩膀边缘点x坐标x₁；

2.4从步骤2.3中相对的另一侧向中间查看每列统计的前景像素点个数，当个数大于阈值T时，设定该列为肩膀边缘点x坐标x₂；

2.5如图1所示，人体中轴线位置x坐标即为

4.根据权利要求2所述的分割提取方法，其特征是，所述的椭圆形横截面的参数，通过以下方式得到：

a)使用椭圆一般式拟合点集P，即使用最小二乘法拟合求解，得到椭圆参数长半轴a和短半轴b，即其中：x_i和y_i代表点集P第i个点的坐标；

b)对每个点p∈P，当则将该点p保留在点集P中，否则将p删除，其中ξ是松弛参数；

c)当在步骤b中没有点从点集P里删除或者循环次数达到上限，则步骤a得到的椭圆参数a、b即为椭圆形横截面的长半轴和短半轴；否则，回到步骤a。

5.根据权利要求2所述的分割提取方法，其特征是，所述的插值，采用线性插值实现，线性插值后的类椭圆柱躯干模型中根据不同高度h可对应得到该高度横截面的椭圆参数a_h、b_h。

6.根据权利要求2所述的分割提取方法，其特征是，所述的人体手臂区域分割，具体为：对于躯干上任一高度h，根据步骤三得到类椭圆柱躯干模型得到对应的横截面椭圆参数a_h、b_h，依次判断点云中的任意一点p：其中：x_p和y_p代表点p的坐标，ξ是松弛参数。

7.根据权利要求2所述的分割提取方法，其特征是，所述的从三维手臂骨架中依次提取出两侧肩膀、手腕和手肘骨架点集，具体包括以下步骤：

6.1)从三维手臂骨架里找到两个端点e₁和e₂，其中距离该侧肩膀坐标较近的端点为肩膀骨架点，较远为手腕骨架点；

6.2)手肘骨架点集的选择步骤如下：

i)在三维手臂骨架点集中取一点elb∈Skel，和两个端点e₁和e₂连接成折线e₁-elb-e₂；

ii)计算三维手臂骨架点集Skel中所有的点到折线e₁-elb-e₂的距离的平方平均值E，具体为：令线段e₁-elb的方程为Ax+By+Cz+D＝0，对于①在e₁到elb之间的点p∈Skel，p到线段e₁-elb之间的距离以及对于②在elb到e₁之间的点p∈Skel，p到线段elb-e₁之间的距离均为：其中：p_x、p_y、p_z是p点的x、y、z坐标；

iii)计算目标函数其中：是线段长度，λ是权值参数；

iv)当对Skel中的所有点都遍历一遍后，找出目标函数S最小时的elb，作为手肘骨架点的位置；否则，回到步骤i继续计算。

8.根据权利要求7所述的分割提取方法，其特征是，所述的端点，通过遍历骨架上所有点，计算每个点8-邻域中和其相邻的点个数，如果只有一个相邻点，则该相邻点即为骨架的端点。