CN103559505A - 一种3d骨架建模与手检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别涉及一种3D骨架建模与手检测方法。该方法包括步骤：用深度摄像机拍摄人物视频；在视频中进行人脸检测；基于人脸深度信息，提取人体轮廓；对人体轮廓进行验证，判断是否是人体轮廓，是，则进行下一步，否，则返回到人脸检测步骤；进行图像滤波与平滑处理；使用细化算法提取骨架线；计算人体部位距离，建立概率分布图；识别人体各部位；得到精确的关节点，并得到手在3维空间中的坐标；连接各个关节点，形成完整的3D人体骨架；输出3D人体骨架与手的坐标；跟踪人体轮廓，并为下一帧提供信息。本发明在现有的技术条件下能够快速检测到人，得到人体骨架模型，精确地定位人的每个关节点，并建立3D骨架，运算速度快，计算复杂度低，适应各种复杂背景，每帧图片仅需5ms。

Description

一种3D骨架建模与手检测方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种3D骨架建模与手检测方法。

背景技术

人机交互越来越成为人们日常生活中的一个重要组成部分，特别是近几年，随着计算机技术的迅猛发展，符合人们交流习惯的新型人机交互技术变得异常活跃并取得了很多创新性成果。

随着深度摄像机的兴起，基于深度摄像机的隔空操作计算机日益走入人们的生活，鲁棒的人体骨架识别在游戏、人机交互、安全、远程监控，甚至医疗方面有很广泛的应用。随着深度摄像机的引入，人体骨架识别领域不断有新的方法被提出。但是仍然没有一套能够完整显示人的轮廓，并且实时的生成人体的3D骨架模型，得到各个关节点的3D坐标的方法。

发明内容

本发明的目的在于提供一种3D骨架建模与手检测方法，解决现有技术无法完整显示人的轮廓，并且实时的生成人体的3D骨架模型，得到各个关节点的3D坐标的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种3D骨架建模与手检测方法，包括步骤：

步骤一，用深度摄像机拍摄人物视频；

步骤二，在视频中进行人脸检测；

步骤三，提取人体轮廓；

步骤四，对人体轮廓进行验证，判断是否是人体轮廓，是，则进行下一步，否，则返回到人脸检测步骤；

步骤五，进行图像滤波与平滑处理，并使用细化算法提取骨架线；

步骤六，计算人体部位距离，建立概率分布图；

步骤七，识别人体各部位，得到各关节点的坐标；

步骤八，连接各个关节点，形成完整的3D人体骨架；

步骤九，输出3D人体骨架与手的坐标；

步骤十，跟踪人体轮廓，并为下一帧提供信息。

其中，所述步骤提取人体轮廓包括如下具体步骤：

从人脸中心点开始，向四周扩展找出所有与此深度相近的像素点，并保持区域连通性。即对一个像素点，判断其是否在区域边界上，如果不在边界上，则把当前点置位，并递归处理其上方、下方、左方、右方的像素点，直到整个图像扩展完毕。最后得到人体轮廓二值图像。

其中，所述步骤对人体轮廓进行验证包括如下具体步骤：

在得到人体轮廓二值图像后，用“凸模板”进行验证。如附图3所示，区域1即是“凸模板”，我们把“凸模板”放在人脸区域，并用以下公式计算：

$C=\frac{S_1}{S_2}$

式中，S₁是区域1的面积，S₂是区域2的面积；

然后，判断C是否大于预定阈值，是，则认为此处是人脸；否，则认为此处不是人脸。

其中，所述步骤进行图像滤波与平滑处理并使用细化算法提取骨架线包括步骤：

用图像滤波算法使图像平滑；

再用图像降采样的方法使图像更加平滑；

用细化算法提取人体骨架线，得到人体骨架线图像。

其中，所述步骤计算人体部位距离并建立概率分布图包括步骤：

在人体轮廓二值图像中，对每个白色像素点，统计坐标x，y的平均值，得到人体重心点；

在细化的骨架线上，找一点与重心点距离最近，把此点作为“人体中心点”；

在人体轮廓二值图像中，对每个白色像素点，用深度值替代像素值，得到轮廓深度图；

计算骨架线上每个像素点到人体中心点的“线上最短距离”，将距离值存储于一个矩阵中，这个矩阵叫作M图。

在人体轮廓二值图像中，对每个白色像素点，用以下公式计算人体部位距离(HBPD，Human Body Part Distance)：

$D_{i,j}=\sqrt{{L_{i,j}}^2+{M_{i2,j2}}^2+{({\mathrm{Depth}}_{i,j}-{\mathrm{Depth}}_C)}^2}$

式中，D_i，j表示人体部位距离，Depth_i，j表示当前像素点的深度，Depth_C表示人体中心点的深度，L_i，j是从当前像素点到骨架线的最近距离，对应骨架线上最近的点是(i₂，j₂)，从M图中可以获取位于坐标(i₂，j₂)处的数值M_i2，j2；

在轮廓深度图中，统计所有点的人体部位距离的平均值，各个像素点的人体部位距离大于平均值并且大于阈值T1的分为一类，距离小于平均值并且小于阈值T2的分为另一类，用如下数学公式表示：

$E=\frac{\underset{i,j\∈A}{\mathrm{\Σ}}{D}_{i,j}}{n}$

$C_{i,j}\&Element;\left\{\begin{array}{cc}\mathrm{Body}& ,D_{i,j}<\mathrm{EAnd}{D}_{i,j}<T_1\\ \mathrm{Limbs}& ,D_{i,j}>\mathrm{EAnd}{D}_{i,j}>T_2\end{array}\right.$

式中，C_i，j是分类结果，n是轮廓区域中像素点的个数，A是轮廓区域，E是所有点的距离平均值，T₁，T₂是两个经验阈值参数；

将分类结果存储于一个新的图像中，得到概率分布图。

其中，所述“线上最短距离算法”能用于计算复杂曲线上两点间最短距离，“线上最短距离算法”包括步骤：

在线上有两个点需要计算最近距离，我们将这两个点分别标记为点A和点B；

新建一个矩阵，矩阵与图像有相同的宽度和高度，对骨架线图像中的每个像素点进行判断，如果是白色像素，则将矩阵中对应位置的标记置位，如果是黑色像素，则将矩阵中对应位置的标记清空；

在点A和点B中任选一个点，从此点开始，进行递归运算；

在当前点处，把距离值加1，同时把对应标记清空，表示此点已计算过；

递归处理线上每个像素点，每次移动一格，判断此点是否已到达目标点，是，则返回距离值，否，则计算此点上方、下方、左方、右方的点的距离，选择最小距离，并返回距离值；

判断上方、下方、左方、右方是否都不存在白色且状态置位的点，是，则返回-1，否，则递归直到所有路径已计算过。

其中，所述步骤识别人体各部位包括步骤：

用一个矩形框将Body区域框住；

在矩形框四个角点处得到4个关节点，左肩、右肩、左臀、右臀；

在矩形框中，找到位于两肩之间的颈部关节点，找到位于中心点附近的腰部关节点；

在概率分布图中，提取出Limbs区域，在这个区域中，将人体部位距离大的一端作为四肢的端点，将人体部位距离小的一端作为中间关节点。

其中，所述步骤跟踪人体轮廓包括步骤：

根据上一帧图片中人体轮廓的位置，用位置与运动速度估算下一帧图片中人体轮廓可能在的位置区域；

在可能的区域中，找到深度相近、形状相似的区域作为下一帧的人体轮廓。

与现有技术相比，本发明的有益效果是：能快速地检测到人，得到人体骨架线，并且精确定位每个人的关节点，建立3D骨架模型，运算速度快，计算复杂度低，适应各种复杂背景，每帧图像仅需5ms。

附图说明

图1为本发明一种3D骨架建模与手检测方法的一个实施例的流程图；

图2为本发明一种3D骨架建模与手检测方法中用深度摄像机提取的深度图像；

图3为本发明一种3D骨架建模与手检测方法中用到的“凸模板”的示意图；

图4为本发明一种3D骨架建模与手检测方法的一个实施例的结果图；

图5为本发明一种3D骨架建模与手检测方法中中的标准骨架模型的示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例提供了一种3D骨架建模与手检测方法，参见图1所示，包括步骤：

步骤一，用深度摄像机拍摄人物视频；

步骤二，在视频中进行人脸检测；

步骤三，提取人体轮廓；

步骤四，对人体轮廓进行验证，判断是否是人体轮廓，是，则进行下一步，否，则返回到人脸检测步骤；

步骤五，进行图像滤波与平滑处理，并使用细化算法提取骨架线；

步骤六，计算人体部位距离，建立概率分布图；

步骤七，识别人体各部位，得到各关节点的坐标；

步骤八，连接各个关节点，形成完整的3D人体骨架；

步骤九，输出3D人体骨架与手的坐标；

步骤十，跟踪人体轮廓，并为下一帧提供信息。

其中，所述步骤提取人体轮廓包括如下具体步骤：

从人脸中心点开始，向四周扩展找出所有与此深度相近的像素点，并保持区域连通性。即对一个像素点，判断其是否在区域边界上，如果不在边界上，则把当前点置位，并递归处理其上方、下方、左方、右方的像素点，直到整个图像扩展完毕。最后得到人体轮廓二值图像。

其中，所述步骤对人体轮廓进行验证包括如下具体步骤：

在得到人体轮廓二值图像后，用“凸模板”进行验证。如附图3所示，区域1即是“凸模板”，我们把“凸模板”放在人脸区域，并用以下公式计算：

$C=\frac{S_1}{S_2}$

式中，S₁是区域1的面积，S₂是区域2的面积；

然后，判断C是否大于预定阈值，是，则认为此处是人脸；否，则认为此处不是人脸。

其中，所述步骤进行图像滤波与平滑处理并使用细化算法提取骨架线包括步骤：

用图像滤波算法使图像平滑；

再用图像降采样的方法使图像更加平滑；

用细化算法提取人体骨架线，得到人体骨架线图像。

其中，所述步骤计算人体部位距离并建立概率分布图包括步骤：

在人体轮廓二值图像中，对每个白色像素点，统计坐标x，y的平均值，得到人体重心点；

在细化的骨架线上，找一点与重心点距离最近，把此点作为“人体中心点”；

在人体轮廓二值图像中，对每个白色像素点，用深度值替代像素值，得到轮廓深度图；

计算骨架线上每个像素点到人体中心点的“线上最短距离”，将距离值存储于一个矩阵中，这个矩阵叫作M图。

在人体轮廓二值图像中，对每个白色像素点，用以下公式计算人体部位距离(HBPD，Human Body Part Distance)：

$D_{i,j}=\sqrt{{L_{i,j}}^2+{M_{i2,j2}}^2+{({\mathrm{Depth}}_{i,j}-{\mathrm{Depth}}_C)}^2}$

式中，D_i，j表示人体部位距离，Depth_i，j表示当前像素点的深度，Depth_C表示人体中心点的深度，L_i，j是从当前像素点到骨架线的最近距离，对应骨架线上最近的点是(i₂，j₂)，从M图中可以获取位于坐标(i₂，j₂)处的数值M_i2，j2；

在轮廓深度图中，统计所有点的人体部位距离的平均值，各个像素点的人体部位距离大于平均值并且大于阈值T1的分为一类，距离小于平均值并且小于阈值T2的分为另一类，用如下数学公式表示：

$E=\frac{\underset{i,j\&Element;A}{\mathrm{\&Sigma;}}{D}_{i,j}}{n}$

$C_{i,j}\&Element;\left\{\begin{array}{cc}\mathrm{Body}& ,D_{i,j}<\mathrm{EAnd}{D}_{i,j}<T_1\\ \mathrm{Limbs}& ,D_{i,j}>\mathrm{EAnd}{D}_{i,j}>T_2\end{array}\right.$

式中，C_i，j是分类结果，n是轮廓区域中像素点的个数，A是轮廓区域，E是所有点的距离平均值，T₁，T₂是两个经验阈值参数；

将分类结果存储于一个新的图像中，得到概率分布图。

其中，所述“线上最短距离算法”能用于计算复杂曲线上两点间最短距离，“线上最短距离算法”包括步骤：

在线上有两个点需要计算最近距离，我们将这两个点分别标记为点A和点B；

新建一个矩阵，矩阵与图像有相同的宽度和高度，对骨架线图像中的每个像素点进行判断，如果是白色像素，则将矩阵中对应位置的标记置位，如果是黑色像素，则将矩阵中对应位置的标记清空；

在点A和点B中任选一个点，从此点开始，进行递归运算；

在当前点处，把距离值加1，同时把对应标记清空，表示此点已计算过；

递归处理线上每个像素点，每次移动一格，判断此点是否已到达目标点，是，则返回距离值，否，则计算此点上方、下方、左方、右方的点的距离，选择最小距离，并返回距离值；

判断上方、下方、左方、右方是否都不存在白色且状态置位的点，是，则返回-1，否，则递归直到所有路径已计算过。

其中，所述步骤识别人体各部位包括步骤：

用一个矩形框将Body区域框住；

在矩形框四个角点处得到4个关节点，左肩、右肩、左臀、右臀；

在矩形框中，找到位于两肩之间的颈部关节点，找到位于中心点附近的腰部关节点；

在概率分布图中，提取出Limbs区域，在这个区域中，将人体部位距离大的一端作为四肢的端点，将人体部位距离小的一端作为中间关节点。

其中，所述步骤跟踪人体轮廓包括步骤：

根据上一帧图片中人体轮廓的位置，用位置与运动速度估算下一帧图片中人体轮廓可能在的位置区域；

在可能的区域中，找到深度相近、形状相似的区域作为下一帧的人体轮廓。

其中，所述细化算法包括步骤：

用Rosenfeld8算法对图像进行细化，此算法能很好地提取骨架线，且骨架线满足连通性、单线性，这是很有用的。对比Hilditch算法、Deutch算法、PatternThin算法、Naccche算法、Pavlidisl算法、Pavlidis2算法等，可以看出，Rosenfeld8的性能明显优于其它算法。

当然，这里还可以选用2.5D细化算法，2.5D细化算法的性能是较好的。这里仅是一个实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。

其中，步骤识别人体部位可以用到以下公式，从而提高准确度：

L_{Neck_Shoulder}：L_{Shoulder_Elbow}：L_{Elbw_Hand}＝1∶1∶2

L_{Waist_Hip}：L_{Hip_Knee}：L_{Knee_Foot}＝1∶2∶2

式中，L_{Neck_Shoulder}是从脖子到肩的长度，L_{Shoulder_Elbow}是从肩到肘的长度，L_{Elbw_Hand}是从肘到手掌的长度，L_{Waist_Hip}是腰到臀的长度，L_{Hip_Knee}是臀到膝的长度，L_{Knee_Foot}是膝到脚的长度。

其中，识别人体部位时，当产生模棱两可的情形时，可以用以下步骤得到更好的识别结果：

当识别结果模棱两可时，我们能生成多个骨架模型。把各个关节点连起来，我们得到多个人体模型。然后，计算各个人体模型与真实深度图的相似度，相似度计算公式如下：

$S_I=\underset{j\&Element;[L_1,L_n]}{\mathrm{\&Sigma;}}\frac{\mathrm{\&alpha;}}{\underset{x,y\&Element;S_j}{\mathrm{\&Sigma;}}\left|\right|{D1}_{x,y}-{D2}_{x,y}\left|\right|}$

式中，L₁到L_n是连接骨架关节点的n条线，D₁代表由人体模型估算得到的深度信息，D₂代表真实的深度图像。S_j是连接骨架各关节点的线上的点集。α是一个比例系数。

$S_J=\underset{j\&Element;[J_1,J_m]}{\mathrm{\&Sigma;}}\frac{\mathrm{\&beta;}}{\sqrt{{(x_{i,j}-x_{2,j})}^2+{(y_{1,j}-y_{2,j})}^2}}$

式中，J₁到J_m是m个关节点，x₁，y₁代表当前图像帧中的关节点，x₂，y₂代表上一个图像帧中的关节点。

S＝S_I+S_J

式中，S是总的相似度，S_I计算由计算机产生的骨架与真实世界中真实场景的相似度，S_J计算当前图像帧中的骨架与上一个图像帧中的骨架的相似度，并滤除噪声。

我们用以下算法获得多个模型中最好的3D人体骨架：

$K=\underset{i\&Element;[1,k]}{\arg \max S_i}$

式中，K是最好的骨架识别结果，k是假设的骨架模型数量。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种3D骨架建模与手检测方法，其特征在于，包括步骤：

用深度摄像机拍摄人物视频；

在视频中进行人脸检测；

提取人体轮廓；

对人体轮廓进行验证，判断是否是人体轮廓，是，则进行下一步，否，则返回到人脸检测步骤；

进行图像滤波与平滑处理，并使用细化算法提取骨架线；

计算人体部位距离，建立概率分布图；

识别人体各部位，得到各关节点的坐标；

连接各个关节点，形成完整的3D人体骨架；

输出3D人体骨架与手的坐标；

跟踪人体轮廓，并为下一帧提供信息。

2.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤提取人体轮廓包括如下具体步骤：

从人脸中心点开始，向四周扩展找出所有与此深度相近的像素点，并保持区域连通性。即对一个像素点，判断其是否在区域边界上，如果不在边界上，则把当前点置位，并递归处理其上方、下方、左方、右方的像素点，直到整个图像扩展完毕。最后得到人体轮廓二值图像。

3.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤对人体轮廓进行验证包括如下具体步骤：

在得到人体轮廓二值图像后，用“凸模板”进行验证。如附图3所示，区域1即是“凸模板”，我们把“凸模板”放在人脸区域，并用以下公式计算：

$C=\frac{S_1}{S_2}$

式中，S₁是区域1的面积，S₂是区域2的面积；

然后，判断C是否大于预定阈值，是，则认为此处是人脸；否，则认为此处不是人脸。

4.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤进行图像滤波与平滑处理并使用细化算法提取骨架线包括步骤：

用图像滤波算法使图像平滑；

再用图像降采样的方法使图像更加平滑；

用细化算法提取人体骨架线，得到人体骨架线图像。

5.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤计算人体部位距离并建立概率分布图包括步骤：

在人体轮廓二值图像中，对每个白色像素点，统计坐标x，y的平均值，得到人体重心点；

在细化的骨架线上，找一点与重心点距离最近，把此点作为“人体中心点”；

在人体轮廓二值图像中，对每个白色像素点，用深度值替代像素值，得到轮廓深度图；

计算骨架线上每个像素点到人体中心点的“线上最短距离”，将距离值存储于一个矩阵中，这个矩阵叫作M图。

在人体轮廓二值图像中，对每个白色像素点，用以下公式计算人体部位距离(HBPD，Human Body Part Distance)：

$D_{i,j}=\sqrt{{L_{i,j}}^2+{M_{i2,j2}}^2+{({\mathrm{Depth}}_{i,j}-{\mathrm{Depth}}_C)}^2}$

式中，D_i，j表示人体部位距离，Depth_i，j表示当前像素点的深度，Depth_C表示人体中心点的深度，L_i，j是从当前像素点到骨架线的最近距离，对应骨架线上最近的点是(i₂，j₂)，从M图中可以获取位于坐标(i₂，j₂)处的数值M_i2，j2；

在轮廓深度图中，统计所有点的人体部位距离的平均值，各个像素点的人体部位距离大于平均值并且大于阈值T1的分为一类，距离小于平均值并且小于阈值T2的分为另一类，用如下数学公式表示：

$E=\frac{\underset{i,j\&Element;A}{\mathrm{\&Sigma;}}{D}_{i,j}}{n}$

$C_{i,j}\&Element;\left\{\begin{array}{cc}\mathrm{Body}& ,D_{i,j}<\mathrm{EAnd}{D}_{i,j}<T_1\\ \mathrm{Limbs}& ,D_{i,j}>\mathrm{EAnd}{D}_{i,j}>T_2\end{array}\right.$

式中，C_i，j是分类结果，n是轮廓区域中像素点的个数，A是轮廓区域，E是所有点的距离平均值，T₁，T₂是两个经验阈值参数；

将分类结果存储于一个新的图像中，得到概率分布图。

6.根据权利要求5所述的计算人体部位距离并建立概率分布图，其特征在于，所述“线上最短距离算法”能用于计算复杂曲线上两点间最短距离，“线上最短距离算法”包括步骤：

在线上有两个点需要计算最近距离，我们将这两个点分别标记为点A和点B；

新建一个矩阵，矩阵与图像有相同的宽度和高度，对骨架线图像中的每个像素点进行判断，如果是白色像素，则将矩阵中对应位置的标记置位，如果是黑色像素，则将矩阵中对应位置的标记清空；

在点A和点B中任选一个点，从此点开始，进行递归运算；

在当前点处，把距离值加1，同时把对应标记清空，表示此点已计算过；

递归处理线上每个像素点，每次移动一格，判断此点是否已到达目标点，是，则返回距离值，否，则计算此点上方、下方、左方、右方的点的距离，选择最小距离，并返回距离值；

判断上方、下方、左方、右方是否都不存在白色且状态置位的点，是，则返回-1，否，则递归直到所有路径已计算过。

7.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤识别人体各部位包括步骤：

用一个矩形框将Body区域框住；

在矩形框四个角点处得到4个关节点，左肩、右肩、左臀、右臀；

在矩形框中，找到位于两肩之间的颈部关节点，找到位于中心点附近的腰部关节点；

在概率分布图中，提取出Limbs区域，在这个区域中，将人体部位距离大的一端作为四肢的端点，将人体部位距离小的一端作为中间关节点。

8.根据权利要求1所述的一种3D骨架建模与手检测方法，其特征在于，所述步骤跟踪人体轮廓包括步骤：

根据上一帧图片中人体轮廓的位置，用位置与运动速度估算下一帧图片中人体轮廓可能在的位置区域；

在可能的区域中，找到深度相近、形状相似的区域作为下一帧的人体轮廓。

Images