CN108734194A - 一种面向虚拟现实的基于单深度图的人体关节点识别方法 - Google Patents

Abstract

本发明公开了一种面向虚拟现实的基于单深度图的人体关节点识别方法，首先通过卷积网络离线训练手势公开数据集NYU，得到一个鲁棒性好、准确率高以及识别速度快的模型；然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后分别传入人体骨骼识别模块和手势识别模块，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明方法，在虚拟现实环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面均有较好的表现。

Description

一种面向虚拟现实的基于单深度图的人体关节点识别方法

技术领域

本发明属于人机交互技术领域，尤其是涉及一种面向虚拟现实的基于单深度图的人体关节点识别方法。

背景技术

虚拟现实是一种可以创建和体验虚拟拟世界的计算机系统，提供给用户具有高度沉浸感的人机交互和画面呈现。由于体验沉浸式虚拟现实需要穿头戴式显示设备(HMD)，视线被阻挡，因而传统的键鼠交互不再适用，新的人机交互形式是虚拟现实的核心技术之一，其主要交互形式依旧是人体姿势以及手势，市面上现存的硬件设备，包括leap motion、手柄、手套等设备。额外的交互设备不但增加了硬件成本，而且增加的连接线进一步造成动作的限制，裸手交互，轻量级设备的基于计算机视觉的交互技术是虚拟现实发展的重要方向。

单一深度图像中的人体关节点识别在虚拟现实(VR)和增强现实(AR)的应用中起着重要作用，当前在虚拟环境下的人机交互，尽管已经进行了多年的研究，但由于视野变化大，关节灵活度高，深度质量差，严重自闭症和类似部位混乱，仍然具有挑战性。传统的识别是对对象区域分割后的图像进行特征提取和模型参数估计，是将参数空间中的点或轨迹分类到该空间里某个子集的过程，常见的研究方法一般为3类：基于模板匹配的方法、基于人工神经网络的方法以及基于概率统计模型的方法，适用背景的复杂度和抗干扰能力都能满足一般用户的需求，准确率和识别率也得到了显著的提高。但这些算法在识别率、运算速度、普适性及准确性等方面仍有不足，最近卷积网络(ConvNets)在诸如对象分类和人体姿态估计等几种计算机视觉任务中的应用都出现了很大的增长，因为其具有很强的建模能力和端到端的特征学习能力，模型的准确性和鲁棒性都有显著提高。ConvNets也被引入解决手部姿态估计问题，通常采用复杂的结构设计，如多分支输入和多模型回归，有使用ConvNets生成2D热图并通过逆向运动学推断3D手势；有使用线性层作为先验姿态，使用多阶段ConvNets直接回归三维位置；有采用3个ConvNets分别对每个视图的2D热图进行深度投影并将它们融合以产生3D手势；有将骨架流形嵌入到ConvNets中，并端到端训练模型以呈现顺序预测。

ConvNets的多模型集成方法传统的集成学习意味着训练多个单独的模型，并通过平均或权重融合来结合他们的输出，这在识别竞赛中被广泛采用。然而，ConvNets仍然无法获得传统的随机森林方法的重要优势。使用ConvNets进行手势估计最近深度ConvNets已经应用于手部深度成像的姿态估计。但是，使用多个ConvNets需要大量的内存和时间，这对于应用程序来说并不实用，尤其是虚拟现实应用需要占用大量计算机资源。

发明内容

本发明提供了一种面向虚拟现实的基于单深度图的人体关节点识别方法，在虚拟现实环境下具有良好的交互功能，与现有技术相比，在识别率、运算速度、普适性及准确性等方面均有较大的提高。

一种面向虚拟现实的基于单深度图的人体关节点识别方法，包括以下步骤：

(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；

(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；

(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；

(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；

(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；

(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；

(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；

(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。

本发明所采用的图像为深度图像，它不受光线变化的影响，有效地克服了在计算机视觉领域目标在低亮度下的识别困难的难题。

步骤(1)中，所述五区域卷积神经网络包括：一个数据输入层、六个卷积层、三个池化层、两个eltwise层、两个全连接层。第一层为数据输入层，然后是六个卷积层，两个eltwise层分别位于第三、第五个卷积层之后，三个池化层分别位于第二个卷积层，第一、第二个eltwise层之后，两个全连接层位于第三个池化层之后。

其中所述六个卷积层卷积核大小都为3×3，卷积步长为1，各卷积核个数分别为16、16、32、32、64、64。

所述三个池化层卷积核大小为2×2，步长为2。每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接增加特征图尺寸。

步骤(2)中，所述的训练集采用公开数据集NYU进行模型训练，包含14个关节的72K张训练图像和8K张测试图像。

步骤(3)中，所述五区域卷积神经网络模型的训练过程为：

(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；

(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；

(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R₁,R₂,R₃,R₄,R₅，其中，R₁-R₄分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R₅为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心(见附图3)，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；

(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。

步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。

所述中值滤波处理的公式为：

D₂(x,y)＝med{D₁(x-k,y-l)}(k,l∈W)

其中，D₂(x,y)为滤波处理后的深度图像，D₁(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。

所述图像前景提取操作的公式为：

其中，f_g(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。

与现有技术相比，本发明的有益效果是：

1、本发明以深度图像为数据源，克服了RGB图像容易受到外界光照、阴影等因素变化的影响。

2、本发明采用卷积神经网络进行关键的手部关节点识别，而对自由度相对较低的人体关节点识别采用机器学习，在保证识别率的前提下，实时速度得到了提高。

3、本方法是采用具有共享卷积特征提取器的多输出分支。由于FC层的推理比卷积层的推理快得多，多输出结构比多输入结构花费的时间更少。

附图说明

图1为本发明的人体关节点识别架构图；

图2为本发明针对特征提取的网络结构图；

图3为本发明的网络概貌图；

图4为本发明实施例关节点识别效果图。

具体实施方式

下面结合附图对本发明做进一步阐述和说明。

如图1所示，面向虚拟现实的基于单深度图的人体关节点识别方法，包括两个阶段：人体关节点检测阶段和人体姿态识别阶段。

人体关节点检测阶段包括以下步骤：

步骤1：采用kinectV2深度摄像头捕捉深度图像帧D₁(分辨率为

512×424)，指定等待下一帧深度图像数据的时间，根据人体二值图像检测，若存在人体，进入步骤2，否则传入下一帧。

步骤2：对图像D₁进行中值滤波D₂(x,y)＝med{D₁(x-k,y-l)}(k,l∈W)，其中W代表二维滤波模板，k表示模板的长度，l表示模板的宽度，D₂(x,y)为滤波处理后的深度图像，D₁(x,y)为原始图像。

步骤3：对滤波处理后的深度图像D₂进行图像前景提取操作，深度图像前景提取的公式，公式中f_g(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值；θ表示深度图像的阈值门限(设定为0.8m)，得到深度图像D₃。

步骤4：对深度图像D₃进行膨胀，而后执行腐蚀操作完成对图像的一系列预处理操作。得到深度图像D₄，将D₄传入kinect人体骨骼识别模型，返回人体20个关节3D位置。

步骤5：根据opencv中的轮廓处理函数，根据手部二值图像检测D₄，若存在，进行步骤6，否则执行步骤10。

步骤6：根据手部轮廓计算手部中心，从深度图像D₄中以手部区域中心为中心提取一个尺寸为150mm的立方体。

如图2所示，人体姿态识别阶段包括以下步骤：

步骤7：获取数据集并预处理。采用公开数据集NYU进行模型训练，包含14个关节的72K张训练图像和8K张测试图像。根据opencv中的轮廓处理函数，根据手部二值图像检测并绘制其外部轮廓。根据道格拉斯-普克算法，求出轮廓的封闭多边形。确定封闭多边形的中心，以区域中心为中心提取一个尺寸为150mm的立方体。然后将立方体重新调整为96×96的图像，深度值归一化为[-1,1]作为ConvNet的输入。

步骤8：构造卷积神经网路，具体结构为：五区域卷积神经网络模型，具体结构为：一个数据输入层、六个卷积层、三个池化层、两个eltwise层、两个全连接层。

第一层为数据输入层，然后是六个卷积层，两个eltwise层分别位于第三、第五个卷积层之后，三个池化层分别位于第二个卷积层，第一、第二个eltwise层之后，两个全连接层位于第三个池化层之后。

六个卷积层卷积核大小都为3×3，卷积步长为1，各卷积核个数分别为16、16、32、32、64、64。

三个池化层卷积核大小为2×2，步长为2。每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接增加特征图尺寸。

六层卷积输出的12×12×64特征映射到N×N+1的网格中，此处设置N＝2，96×96图像边界内单个区域的接受区域为64×64，分别为R₁，R₂，R₃，R₄，R₅。进入两个2048维全连接层进行回归，每个回归器的丢失率为0.5，网络概貌如图3所示。回归器输出表示手关节的3D世界坐标的3×J向量，其中J是关节的数量。

训练使用最小批量为128的随机梯度下降。使用0.0005的重量衰减和0.9的动量。学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。

步骤9：将步骤6处理的手部深度图像传入步骤8训练好的caffe模型中进行运算识别，返回14个手关节点的三维坐标。

步骤10：通过深度摄像机的参数，将返回的关节三维参数从图像坐标系转换到物理坐标系，并最终映射三维人体模型。

如图4所示，为本实施例的关节点识别效果图，由图中可知，左列图像从下到上依次为摄像头捕获深度图像、前景提取后的真实图像以及调整大小后的手部图像，右列图像为关节映射的3D虚拟手以及对应的真实手势。

Claims (7)

1.一种面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，包括以下步骤：

(1)搭建五区域卷积神经网络模型，所述五区域卷积神经网络模型包括多个不同的卷积层、激活层、池化层和全连接层；

(2)选取训练集，并设置五区域卷积神经网络模型的训练参数；

(3)根据五区域卷积神经网络模型及其训练参数，以最小化损失函数为目标训练模型，得到深度图像手势估计神经网络模型；

(4)利用深度摄像机获取实时的深度图像帧，并对图像帧预处理；

(5)利用人体形态模型对经过预处理的图像帧进行分割，提取出独立的人体区域，通过人体骨骼识别模型识别人体关节点坐标；

(6)利用手部模型分类器，在每个独立的人体区域上检测手部区域；若能够检测出手部区域，则执行步骤(7)，若检测不到，则跳转至步骤(4)；

(7)通过步骤(3)的手势估计神经网络模型得到手势关节点坐标；

(8)通过深度摄像机的参数，将步骤(5)与步骤(7)返回的关节点坐标从图像坐标系转换到物理坐标系，并最终映射三维人体模型。

2.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(1)中，所述五区域卷积神经网络模型由6个具有3×3内核的卷积层和3个2×2内核的池化层组成，每个卷积层后面跟着一个ReLU激活，两个池化层之间通过残差连接以增加特征图尺寸。

3.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(2)中，所述的训练集为公开数据集NYU。

4.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(3)中，所述五区域卷积神经网络模型的训练过程为：

(3-1)根据手部二值图像检测并绘制其外部轮廓，求出轮廓的封闭多边形并确定封闭多边形的中心；

(3-2)以该中心为中心提取一个立方体，将立方体重新调整大小，深度值归一化为[-1,1]作为ConvNet的输入；

(3-3)深度值归一化后的图像作为输入，先进入网络通过六个卷积层进行特征提取，将输出特征映射到五个特征区域：R₁,R₂,R₃,R₄,R₅，其中，R₁-R₄分别为以图像四个顶点为顶点且沿着特征图边缘提取的固定大小区域，R₅为以图像中心为区域中心提取的同样大小区域，以图像中心为区域中心，五个特征区域作为分支，分别馈送到两个全连接层进行回归，每个回归器的丢失率为0.5；

(3-4)训练使用最小批量为128的随机梯度下降，使用0.0005的重量衰减和0.9的动量，学习率从0.005开始，每5万次迭代后除以10，模型训练达到200000次迭代。

5.根据权利要求1所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，步骤(4)中，所述的预处理具体步骤为：对实时深度图像帧进行中值滤波处理，然后进行图像前景提取操作，最后进行膨胀与腐蚀操作。

6.根据权利要求5所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述中值滤波处理的公式为：

D₂(x,y)＝med{D₁(x-k,y-l)}(k,l∈W)

其中，D₂(x,y)为滤波处理后的深度图像，D₁(x,y)为原始图像，(x,y)为坐标处的深度值，W代表二维滤波模板，k表示模板的长度，l表示模板的宽度。

7.根据权利要求5所述的面向虚拟现实的基于单深度图的人体关节点识别方法，其特征在于，所述图像前景提取操作的公式为：

其中，f_g(x,y)表示前景图像中(x,y)处的逻辑值，d(x,y)表示深度图像(x,y)坐标处的深度值。