CN103679175A - 一种基于深度摄像机的快速3d骨骼模型检测方法 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种基于深度摄像机的快速3D骨骼模型检测方法，包括：使用深度摄像机拍摄整个人体，在图像中使用Adaboost算法进行人脸检测，得到人脸的深度信息；基于人脸的深度信息，提取人体轮廓；使用“凸模板”验证算法对检测到的人体轮廓进行检测验证；验证通过后，对人体轮廓进行图像平滑处理，通过细化算法获取人体轮廓骨架线；提取人体轮廓骨架线上的特征点，并且对特征点进行个数和位置的修正，排除干扰点；对修正后的特征点进行验证，如果验证通过，则采用快速关节点提取算法得到精确关节点等特征。本发明能运算速度快，计算复杂度低，适应各种复杂背景，每帧图像仅需5ms。

Description

一种基于深度摄像机的快速3D骨骼模型检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度摄像机的快速3D骨骼模型检测方法。

背景技术

人机交互越来越成为人们日常生活中的一个重要组成部分，特别是近几年，随着计算机技术的迅猛发展，符合人们交流习惯的新型人机交互技术变得异常活跃并取得了很多创新性成果。

随着以红外扫描方式为核心的人体骨骼识别方式的兴起，以体感输入隔空操作计算机将日益走入人们的生活，鲁棒的人体骨架识别在游戏、人机交互、安全、远程监控，甚至医疗方面有很广泛的应用，而深度摄像机的出现使得人体骨骼模型识别更加便宜且易于实现。

发明内容

本发明的目的在于提供一种基于深度摄像机的快速3D骨骼模型检测方法，解决现有技术无法完整显示人的轮廓，并且不能实时的生成人体的3D骨骼模型，以得到各个关节点的3D坐标的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于深度摄像机的快速3D骨骼模型检测方法，包括：

步骤一，使用深度摄像机拍摄整个人体，在图像中使用Adaboost算法进行人脸检测，得到人脸的深度信息；

步骤二，基于人脸的深度信息，提取人体轮廓；

步骤三，使用“凸模板”验证算法对检测到的人体轮廓进行检测验证；

步骤四，验证通过后,对人体轮廓进行图像平滑处理，通过细化算法获取人体轮廓骨架线；

步骤五，提取人体轮廓骨架线上的特征点，并且对特征点进行个数和位置的修正,排除干扰点；

步骤六，对修正后的特征点进行验证，如果验证通过，则采用快速关节点提取算法得到精确关节点，如果验证没有通过，则采用3D人体部位识别算法得到精确关节点；

步骤七，连接关节点，形成完整的人体骨骼模型。

进一步的，所述步骤二中提取人体轮廓的方法如下：深度摄像机人脸中心点开始，向四周扩展，找出所有与此深度相近的像素点，对每一个像素点，计算其4-邻域点（上、下、左、右邻域点）的深度值，判断其深度值与中心点的差值是否小于阈值，如果小于阈值则保留此像素点，并以此点为中心进行递归计算，数学表达式如下：

|Depth(x,y)-Depth(x-1,y)|＜Thresh

|Depth(x,y)-Depth(x,y-1)|＜Thresh

|Depth(x,y)-Depth(x+1,y)|＜Thresh

|Depth(x,y)-Depth(x,y+1)|＜Thresh

如果大于阈值则停止此点的计算，深度满足条件的点记录为1，否则取为0，这样递归计算直到整个图像扩展完毕便可得到人的轮廓。

进一步的，所述步骤三中“凸模板”分为相互扣合的“凹”形和“凸”形，“凸模板”验证算法是指把“凸模板”放在人脸检测到的区域附近，设定S_convex是“凸”形面积，S_concave是“凹”形面积，通过公式

$C=\frac{S_{\mathrm{convex}}}{S_{\mathrm{concave}}}$

当C大于预订阈值时，就认为此处就是人脸；而当C小于预订阈值时，就判断此处不是人脸。

进一步的，所述步骤四中，通过细化算法获取人体轮廓骨架线的方法如下：使用图像降采样，将图像高度和宽度同时缩小为原来的四分之一，然后使用5×5中值滤波进行图像的平滑操作，最后使用Rosenfeld-8细化算法提取人体轮廓骨架线。

进一步的，所述步骤五中，特征点提取使的方法如下：在骨架点上，使用递归算法，遍历骨架每个像素点，对每个像素点进行处理，在每个像素点处，虚拟画一个圆，用圆周与骨架线相交进行判断，如果骨架线的四周只有一个连接点且与圆周只有一个交点，则为端点；如果骨架线与圆周有三个或以上交点，则为分支点；如果骨架线与圆周只有两个交点，则为内部线，由此可提取骨架上的特征点。

进一步的，所述步骤五中，对特征点进行修正是通过合并端点、合并分支点以及合并干扰分支点与端点实现的，如果端点距离过近，则合并端点，新特征点为两个初始点的线上的中点；如果分支点距离过近，则合并分支点，新特征点为两个初始点的线上的中点；如果分支点与端点的距离过近，则可能是干扰线条，合并干扰分支点与端点，新特征点为两个初始点的线上的中点。

进一步的，所述步骤六中，特征点验证算法如下：在骨架线上有设定2个分支点和5个端点，用线上最短距离计算，d_e-nb+d_middle＝d_e-fb，其中d_e-nb为端点到近临分支点的距离，d_middle为中轴长度，d_e-fb为端点到远分支点的距离。

进一步的，所述步骤六中，快速关节点提取算法得到精确关节点的方法如下：首先使用“线上最短距离找点算法”，找到关节点的大概位置，然后通过在轮廓中设置最大占有面积矩形区域，定位肩部和臀部四个关节点坐标，接着在矩形区域上下两点之间定位腰部与颈部位的关节坐标，最后通过计算骨架线上点到手与颈部直线或者脚与臀部直线的距离，变化率最大的点为关节点。

进一步的，所述步骤六中，3D人体部位识别算法得到精确关节点的方法如下：

提取的人体轮廓的二值图，在轮廓区域处，把深度值填充进去，形成轮廓深度图；

统计物体x，y的平均值，得到物体重心点，在骨架线上，找一点与重心点距离最近，把此点作为“骨架线中心点”或“人体中心点”；

计算骨架线上每一个点到人体中心点的距离，并生成一个M图，记录所有骨架线上的距离值；利用M图，为了提取各个人体部位，提出一种人体部位距离度量算法（Human Body PartDistance，HBPD），估算人体各个部位之间距离,为关节识别提供基本信息。该算法可用下式表示：

$D_{i,j}=\sqrt{L_{i,j}^2+M_{i2,j2}^2+{({\mathrm{Depth}}_{i,j}-{\mathrm{Depth}}_c)}^2}$

式中，Depth_i,j表示当前点的深度，Depth_C表示人体中心点的深度信息，L_i,j是从当前点到骨架线的最短距离，在此我们得到一个新的(i₂,j₂)点位于骨架线上，M_i2,j2是建立的距离分布M图的值，D_i,j是计算得到的最终HBPD距离；

统计在轮廓深度图中所有的距离平均值，HBPD距离大于平均值中取75%分为一类，距离小于平均值中取75%分为另一类；

用一个矩形框把身体区域框住，并使它位于二值轮廓区域中，在交线处得到左肩、右肩、左臀和右臀四个关节点位置，在矩形框上下方找到位于两肩之间的颈部关节点和位于中心点附近的腰部关节点，然后提取手部区域，该区域距四个关节更远的一端作为四肢端点，距离四个关节近的一端作为中间关节点。

与现有技术相比，本发明的有益效果是：能快速地检测到人，得到人体骨架线，并且精确定位每个人的关节点，建立3D骨架，运算速度快，计算复杂度低，适应各种复杂背景，每帧图像仅需5ms。

附图说明

图1为本发明一种基于深度摄像机的快速3D骨骼模型检测方法一个实施例的流程示意图。

图2为本发明一种基于深度摄像机的快速3D骨骼模型检测方法中使用的深度摄像机提取的深度图像。

图3为本发明一种基于深度摄像机的快速3D骨骼模型检测方法中“凸模板”检验算法模型示意图。

图4为本发明一种基于深度摄像机的快速3D骨骼模型检测方法获得的标准骨架模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明一种基于深度摄像机的快速3D骨骼模型检测方法的一个实施例：一种基于深度摄像机的快速3D骨骼模型检测方法，包括：

步骤一，使用深度摄像机（可用微软公司提供的Kinect for Windows）拍摄整个人体，在图像中使用Adaboost算法进行人脸检测，得到人脸的深度信息；

步骤二，基于人脸的深度信息，提取人体轮廓；

步骤三，使用“凸模板”验证算法对检测到的人体轮廓进行检测验证；

步骤四，验证通过后,对人体轮廓进行图像平滑处理，通过细化算法获取人体轮廓骨架线，如果验证没有通过，则继续使用深度摄像机并在图像中进行人脸检测；

步骤五，提取人体轮廓骨架线上的特征点，并且对特征点进行个数和位置的修正,排除干扰点；

步骤六，对修正后的特征点进行验证，如果验证通过，则采用快速关节点提取算法得到精确关节点，如果验证没有通过，则采用3D人体部位识别算法得到精确关节点；

步骤七，连接关节点，形成完整的人体骨骼模型。

在使用深度摄像机拍摄整个人体，人体是可以作出任何姿势的。

图2示出了本发明一种基于深度摄像机的快速3D骨骼模型检测方法的一个优选实施例，所述步骤二中提取人体轮廓的方法如下：深度摄像机人脸中心点开始，向四周扩展，找出所有与此深度相近的像素点，对每一个像素点，计算其4-邻域点（上、下、左、右邻域点）的深度值，判断其深度值与中心点的差值是否小于阈值，如果小于阈值则保留此像素点，并以此点为中心进行递归计算，数学表达式如下：

|Depth(x,y)-Depth(x-1,y)|＜Thresh

|Depth(x,y)-Depth(x,y-1)|＜Thresh

|Depth(x,y)-Depth(x+1,y)|＜Thresh

|Depth(x,y)-Depth(x,y+1)|＜Thresh

如果大于阈值则停止此点的计算，深度满足条件的点记录为1，否则取为0，这样递归计算直到整个图像扩展完毕便可得到人的轮廓。

图3示出了本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤三中“凸模板”分为相互扣合的“凹”形和“凸”形，“凸模板”验证算法是指把“凸模板”放在人脸检测到的区域附近，设定S_convex是“凸”形面积，S_concave是“凹”形面积，通过公式

$C=\frac{S_{\mathrm{convex}}}{S_{\mathrm{concave}}}$

当C大于预订阈值时，就认为此处就是人脸；而当C小于预订阈值时，就判断此处不是人脸。

根据本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤四中，通过细化算法获取人体轮廓骨架线的方法如下：使用图像降采样，将图像高度和宽度同时缩小为原来的四分之一，然后使用5×5中值滤波进行图像的平滑操作，最后使用Rosenfeld-8细化算法提取人体轮廓骨架线。

所述使用Rosenfeld-8细化算法如下：

Repeat循环；

Step1:如果p1是上边界点和8-简化点，且p1不是8-孤立点和8-端点，则把p1从黑色变为白色；

Step2:如果p1是下边界点和8-简化点，且p1不是8-孤立点和8-端点，则把p1从黑色变为白色；

Step3:如果p1是右边界点和8-简化点，且p1不是8-孤立点和8-端点，则把p1从黑色变为白色；

Step4:如果p1是左边界点和8-简化点，且p1不是8-孤立点和8-端点，则把p1从黑色变为白色；

End Repeat。

根据本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤五中，特征点提取使的方法如下：在骨架点上，使用递归算法，遍历骨架每个像素点，对每个像素点进行处理，在每个像素点处，虚拟画一个圆，用圆周与骨架线相交进行判断，如果骨架线的四周只有一个连接点且与圆周只有一个交点，则为端点；如果骨架线与圆周有三个或以上交点，则为分支点；如果骨架线与圆周只有两个交点，则为内部线，由此可提取骨架上的特征点。

作为优选：对于分支点，可以使用两个圆型进行判定，一个小圆，一个大圆。小圆进行初步检测，大圆进行进一步判定，小圆能把特征点定位到很小一个区域，大圆能全面地判断此点是否是分支点。

根据本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤五中，对特征点进行修正是通过合并端点、合并分支点以及合并干扰分支点与端点实现的，如果端点距离过近，则合并端点，新特征点为两个初始点的线上的中点；如果分支点距离过近，则合并分支点，新特征点为两个初始点的线上的中点；如果分支点与端点的距离过近，则可能是干扰线条，合并干扰分支点与端点，新特征点为两个初始点的线上的中点。

根据本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤六中，特征点验证方法如下：在骨架线上有设定2个分支点和5个端点，用线上最短距离计算，d_e-nb+d_middle＝d_e-fb，其中d_e-nb为端点到近临分支点的距离，d_middle为中轴长度，d_e-fb为端点到远分支点的距离。

使用线上最短距离算法，包括如下具体步骤：首先把图像复制到矩阵中，如果是白色像素，标记为1，黑色像素标记为0。以一个特征点开始，进行递归运算，在此点处，把距离加1，同时把对应标记置为0，表示此点已计算过。判断此点，如果已到达目标点，则返回距离。递归计算此点上方、下方、左方、右方的点的距离，选择最小距离，返回距离值。如果上方、下方、左方、右方都不存在白色点或已置为0，则返回-1，递归，直到所有路径已计算过。

图4示出了本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤六中，快速关节点提取算法得到精确关节点的方法如下：首先使用“线上最短距离找点算法”，找到关节点的大概位置，然后通过在轮廓中设置最大占有面积矩形区域，定位肩部和臀部四个关节点坐标（即左肩、右肩、左臀和右臀），接着在矩形区域上下两点之间定位腰部与颈部位的关节坐标，最后通过计算骨架线上点到手与颈部直线或者脚与臀部直线的距离，变化率最大的点为关节点。

关节点的大概位置可以分为：

L_{Neck_Shoulder}:L_{Shoulder_Elbow}:L_{Elbow_Hand}＝1:1:2

L_{Waist_Hip}:L_{Hip_Knee}:L_{Knee_Foot}=1:2:2

其中，L_{Neck_Shoulder}是从脖子到肩部的长度，L_{Shoulder_Elbow}是从肩部到肘部的长度，L_{Elbow_Hand}是从肘部到手掌的长度，L_{Waist_Hip}是腰部到臀部的长度，L_{Hip_Knee}是臀部到膝的长度，L_{Knee_Foot}是膝部到脚部的长度。用上式，结合“线上最短距离找点算法”，就能得到大概的关键点位置。

根据本发明一种基于深度摄像机的快速3D骨骼模型检测方法的另一个优选实施例，所述步骤六中，3D人体部位识别算法得到精确关节点的方法如下：

提取的人体轮廓的二值图，在轮廓区域处，把深度值填充进去，形成轮廓深度图；

统计物体x，y的平均值，得到物体重心点，在骨架线上，找一点与重心点距离最近，把此点作为“骨架线中心点”或“人体中心点”；

计算骨架线上每一个点到人体中心点的距离，并生成一个M图，记录所有骨架线上的距离值；利用M图，为了提取各个人体部位，提出一种人体部位距离度量算法（Human Body PartDistance，HBPD），估算人体各个部位之间距离,为关节识别提供基本信息。该算法可用下式表示：

$D_{i,j}=\sqrt{L_{i,j}^2+M_{i2,j2}^2+{({\mathrm{Depth}}_{i,j}-{\mathrm{Depth}}_c)}^2}$

式中，Depth_i,j表示当前点的深度，Depth_C表示人体中心点的深度信息，L_i,j是从当前点到骨架线的最短距离，在此我们得到一个新的(i₂,j₂)点位于骨架线上，M_i2,j2是建立的距离分布M图的值，D_i,j是计算得到的最终HBPD距离；

统计在轮廓深度图中所有的距离平均值，HBPD距离大于平均值中取75%分为一类，距离小于平均值中取75%分为另一类；

用一个矩形框把身体区域框住，并使它位于二值轮廓区域中，在交线处得到左肩、右肩、左臀和右臀四个关节点位置，在矩形框上下方找到位于两肩之间的颈部关节点和位于中心点附近的腰部关节点，然后提取手部区域，该区域距四个关节更远的一端作为四肢端点，距离四个关节近的一端作为中间关节点。

在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”、“优选实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (9)

1.一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于包括：

步骤一，使用深度摄像机拍摄整个人体，在图像中使用Adaboost算法进行人脸检测，得到人脸的深度信息；

步骤二，基于人脸的深度信息，提取人体轮廓；

步骤三，使用“凸模板”验证算法对检测到的人体轮廓进行检测验证；

步骤四，验证通过后,对人体轮廓进行图像平滑处理，通过细化算法获取人体轮廓骨架线；

步骤五，提取人体轮廓骨架线上的特征点，并且对特征点进行个数和位置的修正,排除干扰点；

步骤六，对修正后的特征点进行验证，如果验证通过，则采用快速关节点提取算法得到精确关节点，如果验证没有通过，则采用3D人体部位识别算法得到精确关节点；

步骤七，连接关节点，形成完整的人体骨骼模型。

2.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤二中提取人体轮廓的方法如下：深度摄像机人脸中心点开始，向四周扩展，找出所有与此深度相近的像素点，对每一个像素点，计算其4-邻域点的深度值，判断其深度值与中心点的差值是否小于阈值，如果小于阈值则保留此像素点，并以此点为中心进行递归计算，如果大于阈值则停止此点的计算，深度满足条件的点记录为1，否则取为0，这样递归计算直到整个图像扩展完毕便可得到人的轮廓。

3.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤三中“凸模板”分为相互扣合的“凹”形和“凸”形，“凸模板”验证算法是指把“凸模板”放在人脸检测到的区域附近，设定S_convex是“凸”形面积，S_concave是“凹”形面积，通过公式

$C=\frac{S_{\mathrm{convex}}}{S_{\mathrm{concave}}}$

当C大于预订阈值时，就认为此处就是人脸；而当C小于预订阈值时，就判断此处不是人脸。

4.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤四中，通过细化算法获取人体轮廓骨架线的方法如下：使用图像降采样，将图像高度和宽度同时缩小为原来的四分之一，然后使用5×5中值滤波进行图像的平滑操作，最后使用Rosenfeld-8细化算法提取人体轮廓骨架线。

5.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤五中，特征点提取使的方法如下：在骨架点上，使用递归算法，遍历骨架每个像素点，对每个像素点进行处理，在每个像素点处，虚拟画一个圆，用圆周与骨架线相交进行判断，如果骨架线的四周只有一个连接点且与圆周只有一个交点，则为端点；如果骨架线与圆周有三个或以上交点，则为分支点；如果骨架线与圆周只有两个交点，则为内部线，由此可提取骨架上的特征点。

6.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤五中，对特征点进行修正是通过合并端点、合并分支点以及合并干扰分支点与端点实现的，如果端点距离过近，则合并端点，新特征点为两个初始点的线上的中点；如果分支点距离过近，则合并分支点，新特征点为两个初始点的线上的中点；如果分支点与端点的距离过近，则可能是干扰线条，合并干扰分支点与端点，新特征点为两个初始点的线上的中点。

7.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤六中，特征点验证方法如下：在骨架线上有设定2个分支点和5个端点，用线上最短距离计算，d_e-nb+d_middle＝d_e-fb，其中d_e-nb为端点到近临分支点的距离，d_middle为中轴长度，d_e-fb为端点到远分支点的距离。

8.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤六中，快速关节点提取算法得到精确关节点的方法如下：首先使用“线上最短距离找点算法”，找到关节点的大概位置，然后通过在轮廓中设置最大占有面积矩形区域，定位肩部和臀部四个关节点坐标，接着在矩形区域上下两点之间定位腰部与颈部位的关节坐标，最后通过计算骨架线上点到手与颈部直线或者脚与臀部直线的距离，变化率最大的点为关节点。

9.根据权利要求1所述的一种基于深度摄像机的快速3D骨骼模型检测方法，其特征在于：所述步骤六中，3D人体部位识别算法得到精确关节点的方法如下：

提取的人体轮廓的二值图，在轮廓区域处，把深度值填充进去，形成轮廓深度图；

统计物体x，y的平均值，得到物体重心点，在骨架线上，找一点与重心点距离最近，把此点作为“骨架线中心点”或“人体中心点”；

计算骨架线上每一个点到人体中心点的距离，并生成一个M图，记录所有骨架线上的距离值；利用M图，为了提取各个人体部位，提出一种人体部位距离度量算法，估算人体各个部位之间距离,为关节识别提供基本信息；

统计在轮廓深度图中所有的距离平均值，HBPD距离大于平均值中取75%分为一类，距离小于平均值中取75%分为另一类；

用一个矩形框把身体区域框住，并使它位于二值轮廓区域中，在交线处得到左肩、右肩、左臀和右臀四个关节点位置，在矩形框上下方找到位于两肩之间的颈部关节点和位于中心点附近的腰部关节点，然后提取手部区域，该区域距四个关节更远的一端作为四肢端点，距离四个关节近的一端作为中间关节点。

Images