CN106909883A - 一种基于ros的模块化手部区域检测方法和装置 - Google Patents

Abstract

本发明公开了一种基于ROS的模块化手部区域检测方法和装置，方法包括以下步骤：步骤1：建立手势图片库；步骤2：从输入的手势图像中检测并分割出人体上半身区域；步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

Description

一种基于ROS的模块化手部区域检测方法和装置

技术领域

本发明涉及计算机视觉中的特定对象检测领域，具体涉及一种基于ROS(RobotOperating System，机器人操作系统)的模块化手部区域检测方法和装置。

背景技术

随着机器人的广泛应用，人机交互技术越来越多地受到人们的重视。基于视觉的手势识别具有交互自然的优点，有广泛的应用前景，是人机交互的重要组成部分。手部检测和分割是手势识别和手势跟踪的基础，分割的效果直接影响手势识别或手势跟踪的效果。

人与机器人交互过程中，机器人上安装的视频采集设备与人体有一定距离时，采集的照片包含人体全身。由于此类图片存在大量背景，手部区域只是图片中很小的一部分，如何从大量背景区域检测到手部，并将其分割出来，从而为手势识别奠定基础，是值得研究的问题。

发明内容

为了解决上述问题，本发明提供一种基于ROS(Robot Operating System，机器人操作系统)的模块化手部区域检测方法，丰富了人与机器人交互的多样性，实现更为有效的人机交互操作。

一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁、d₂和d₃，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练 好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

一种基于ROS的模块化手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，提取HOG特征，使用支持向量机训练，并使用训练好的分类器检测手部区域，手部检测模块分为训练和检测两个阶段，训练阶段，将区域调整模块分割出的类肤色区域，进行尺寸归一化后，提取HOG特征，使用支持向量机训练手部检测模型，检测阶段，将区域调整模块分割出的类肤色区域进行尺寸归一化后，使用训练好的手部检测模型检测手部区域。

本发明的优点在于：

(1)本发明所述基于ROS的模块化手部区域检测方法和装置，基于ROS(RobotOperating Syestem，机器人操作系统)，移植性好，可用于多种机器人系统；

(2)本发明所述基于ROS的模块化手部区域检测方法，提供一种分层结构的检测人体全身照的手部检测方法。第一层检测人体上半身，在一定程度上减少复杂环境对手部区域检 测的影响；第二层检测人体上半身中的肤色，去除非肤色区域；第三层调整检测到的肤色区域，第四层检测手部；

(3)本发明所述基于ROS的模块化手部区域检测方法，采用筛选策略，逐层缩小区域，计算量较少。即，先检测出人体上半身区域，去除复杂背景的影响，然后再使用肤色条件过滤出类肤色区域，去除非肤色区域，接下来对检测到的肤色区域进行形态学操作、区域调整，接下来提取这些区域的方向梯度直方图特征，使用支持向量机训练分类器，并使用训练好的分类器检测手部区域；

(4)本发明提出一种基于肤色模型的手部检测方法，先通过肤色进行粗检测，去除非肤色区域，减少计算量，然后，对检测到的肤色区域，提取方向梯度直方图特征，使用支持向量机建立手部检测模型；

(5)本发明提出一种基于RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型，该模型综合使用RGB-YCbCr显式阈值与统计学模型，可更好检测肤色区域。其中，RGB-YCbCr色彩空间使用阈值综合考虑经验阈值与样本计算阈值相结合的方法；

(6)本发明所述基于ROS的模块化手部区域检测装置，采用定制式设计、模块化结构，各模块功能相对独立，用户可根据需要增加、删除或调换某些模块，提高了本发明的通用性。

附图说明

图1为本发明提供的基于ROS的手部区域检测方法流程图；

图2为本发明提供的基于ROS的手部区域检测装置结构框架图；

图3为本发明提供的手势库中的12种手势图像；

图4为本发明实施实例使用的一张手势库中的照片；

图5为本发明实施实例中人体上半身区域的检测结果；

图6为本发明实施实例中填充空洞的结果；

图7为本发明实施实例中标记最小连通区域的结果；

图8为本发明实施实例中类肤色区域检测结果；

图9为本发明实施实例中类肤色区域分割结果；

图10为本发明实施实例中尺寸归一化后的类肤色区域分割结果；

图11为尺寸归一化后的结果。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明还提供一种基于ROS(Robot Operating System，机器人操作系统)的模块化手部区域检测装置。

本发明针对复杂背景下，包含人体全身的手势图像，采用筛选策略，模块化思想，分层次检测手部区域。即，采用分层结构检测手部，去除复杂背景，在第一层，检测包含人脸的人体上半身区域。经过第一层的人体上半身区域检测，去除复杂背景的影响，第二层手部检测所面临的图片检测区域将显著减少。在第二层，基于已检测出的人体上半身图像，通过肤色模型检测类肤色区域；在第三层，通过形态学操作，最小连通区域的长宽比限制和面积阈值，调整检测出的类肤色区域；在第四层，对检测出的类肤色区域进行归一化后，提取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，通过支持向量机训练手部模型，并使用手部模型检测手部区域。

本发明的一种基于ROS的模块化手部区域检测方法，具体包括以下步骤：

步骤1：建立手势图片库；

由于本发明基于机器人背景，手势检测为操作者使用手势控制机器人运动打下坚实基础。因此，本发明手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离(照相机分别距被拍摄人d₁m,d₂m和d₃m)下拍摄，每个人每只手同种距离拍摄三次，分别使人在图像中央、左边和右边，在实验室和走廊两种环境下拍摄，如图3所示，采集的照片数共：2×3×3×2xy＝36xy。图3为本发明手势图片库中提供的部分手势图像；图4本发明手势图片库中提供的同一种手势两只手在不同距离、不同位置的照片；图5为本发明实施实例使用的一张手势库中的照片；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了人体形态学的先验知识：局部上下文信息，检测人体上半身的鲁棒性较强。

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域。

本发明采用肤色模型的目的，是将肤色检测作为手部检测的预处理，减少手部检测过程 中的计算代价。

本发明所用肤色模型综合采用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的方法。其中，显式阈值采用RGB-YCbCr颜色空间的显式阈值，运算速度快。而高斯模型是基于统计的模型，将其结合，可更好检测肤色。其中，RGB-YCbCr色彩空间使用阈值综合考虑经验阈值与样本计算阈值相结合的方法。

具体包括以下步骤：

综合使用RGB-YCbCr显式阈值和高斯模型，建立肤色模型。

RGB色彩空间虽然常用，但RGB色彩空间受光线强度影响较大，而肤色在YCbCr色彩空间聚类性较好，肤色与非肤色分布范围交叉区域较小。因此，本发明在RGB和YCbCr色彩空间综合使用显式阈值检测肤色，为了更好检测肤色，同时结合高斯肤色模型，建立本发明所述肤色模型。

(1)使用RGB颜色空间显式阈值，检测肤色区域。

提取所建手势库的手部肤色区域，并读取这些肤色像素值，并分析这些像素点RGB三通道间的以下关系：

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为提取手部肤色样本R,G,B三通道的最小值；分别为提取手部肤色样本R,G,B三通道的最大值。

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为手部肤色样本R-G,R-B,G-B通道差值的最小值；分别为手部肤色样本R-G,R-B,G-B通道差值的最大值。

由于文献中，在RGB颜色空间使用的显式肤色阈值如下所示：

文献[4,5]采用公式(5)所示的阈值，

文献[6]采用公式(6)的所示阈值，

因此，本发明肤色模型在RGB颜色空间采用公式(7)所示阈值，

在RGB颜色空间的肤色像素点S_rgb(r,g,b)满足以下公式(8)要求：

其中，r(r,g,b)为某像素在RGB色彩空间的值。

(2)使用YCbCr显式阈值检测肤色。

对于YCbCr，其中Y是亮度分量；Cb是指蓝色分量；Cr指红色色度分量。根据文献[7]，YCbCr色彩空间可由RGB色彩空间经公式(9)矩阵变换得到，

根据文献[8]，肤色区域在YCbCr颜色空间满足的阈值为：

(80≤Cb≤120)∩(133≤Cr≤173) (10)

由经公式(9)可得到其中，分别为提取手部肤色样本Y,Cb,Cr分量的最小值；分别为提取手部肤色样本Y,Cb,Cr分量的最大值。

在YCbCr色彩空间，满足肤色条件的区域S_ycbcr(cb,cr)满足公式(12)的条件，

其中，分别为肤色像素在YCbCr颜色空间，Cb通道的最低阈值，最高阈值，Cr通道的最低阈值，最高阈值。c(cb,cr)为某像素在YCbCr色彩空间中Cb,Cr分量的值。

(3)建立高斯肤色模型进行肤色检测

由于肤色像素在YCbCr色彩空间的统计分布，可近似看作高斯分布。因此，在YCbCr色彩空间建立高斯肤色模型，并使用建立的高斯肤色模型进行肤色检测。

具体包括以下两个步骤：

步骤a：首先，手工剪裁出本发明构造手势图片库中的手部肤色样本，利用公式(9)，将肤色像素从RGB转换到YCbCr色彩空间后，并对其进行统计分析，通过椭圆高斯联合概率密度函数(pdf)，贝叶斯最大似然估计得到高斯模型的均值μ(μ_cb μ_cr)和协方差∑(∑_cb∑_cr)。

椭圆高斯联合概率密度函数如下所示：

其中，c为肤色向量，μ为均值向量，∑为协方差矩阵。

其中，

手工剪裁出本发明构造手势图片库中的手部肤色样本由RGB转换到YCbCr色彩空间后(c_j)，通过贝叶斯最大似然估计可得到参数μ(μ_cb μ_cr)和∑(∑_cb ∑_cr)。

步骤b：计算所给像素点与肤色相似的程度，即肤色似然度，进而可得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，再对肤色似然图进行阈值化，以便将肤色区域分割出来。

肤色的灰度分布可近似用一维高斯曲线拟合，CbCr空间的波峰区域是肤色部分，其他分布较少的是非肤色部分。利用这种对应关系，用像素点的肤色相似度作为对应像素点灰度值的权值，建立肤色模型。

根据建立的高斯肤色模型，计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr)，计算公式如下：

D(Cb,Cr)＝exp[-0.5(c-μ)^T∑^-1(c-μ)] (16)

相似度D计算出来后，可得到待检测图像的最大肤色似然度，两者的比值为肤色概率值，由此，可得到肤色似然图，再对其阈值化后得到肤色图像的二值图。

本发明肤色模型中的肤色区域S_skin为满足肤色高斯模型S_g(Cb,Cr)、YCbCr显式阈值S_ycbcr(cb,cr)和RGB显式阈值S_rgb(r,g,b)的交集，即

S_skin＝S_g(Cb,Cr)∩S_ycbcr(cb,cr)∩S_rgb(r,g,b) (18)

如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型，则认为该区域是肤色区域。

满足肤色模型的区域进入步骤4，对其进行形态学处理。不满足要求的图像，不进行处理。

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。

对满足肤色条件的区域进行形态学处理和区域调整，包括：删除二值图中的小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值，在原始图像上分割出类肤色区域。

步骤5：将原始图像分割出类肤色区域(即步骤4得到的结果)进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

步骤5包括模型训练和手部检测两部分，具体如下所示：

(1)模型训练

提取训练样本集的HOG特征，使用支持向量机训练分类器，即手部区域模型。

步骤4分割出来肤色区域进行尺寸归一化后，作为样本集。样本包含正样本和负样本，具体来说，正样本为包含手部区域的照片，负样本为不包含手部区域的照片。另外，为保证模型训练效果，如果手部区域占步骤4筛选肤色区域面积的一半或一半以上，则将该肤色区域视为正样本，如果手部区域占肤色区域的面积小于一半或手部区域不全，则将该样本舍弃。样本集分为训练样本集和测试样本集，训练样本集用于训练模型，测试样本集用于测试模型。

(2)手部检测

提取测试样本的HOG特征，使用训练好的手部检测模型，检测手部区域。

本发明的一种基于ROS的模块化手部区域检测装置，如图2所示，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块。

手势库模块用于提供手势图片，为其他模块提供原材料，是手势检测的基础。

人体检测模块用于将人体上半身区域从复杂背景中检测出来，具体来说，对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar 小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了人体形态学的局部上下文信息，检测人体上半身的鲁棒性较强。

肤色检测模块，人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块，将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞等形态学操作、最小连通区域的长宽比和面积阈值，进一步调整肤色检测的结果，并且，将类肤色区域从原始RGB图像中分割出来；

手部检测模块，将区域调整模块分割出的类肤色区域进行尺寸归一化，提取HOG特征，使用支持向量机训练，并使用训练好的分类器检测手部区域。手部检测模块分为训练和检测两个阶段。训练阶段，将区域调整模块分割出的类肤色区域，进行尺寸归一化后，提取HOG特征，使用支持向量机训练手部检测模型。检测阶段，将区域调整模块分割出的类肤色区域进行尺寸归一化后，使用训练好的手部检测模型检测手部区域。

本发明所述基于ROS的模块化手部区域检测装置，不仅适用于复杂背景下，人体上半身区域、全身的图像，还适用于仅包含手部区域的照片。例如，尽管本发明主要针对包含人体全身的手势照片，但如果用户的手势照片仅有手部区域，则用户可去除人体检测模块，使用后面的模块检测手部区域。如果用户的照片光照条件不太好，则用户可以将肤色检测模块去掉，添加某个模块，该模块使用某种特征某种分类器检测出符合条件的某些区域，如果需要进入区域调整模块，如果不需要，可将区域调整模块去掉，直接进入手部检测模块。用户也可以根据需要使用自己的特征和分类器替换手部检测模块中的方向梯度直方图特征和分类器。

本发明所述基于ROS的模块化手部区域检测装置，采用定制式设计，使用模块化结构，各模块功能相对独立，用户可根据需要增加、删除或调换某些模块。例如，如果用户的手势图片中只有手部区域，没有人体上半身区域，则用户可以将人体检测模块去除，直接用肤色检测模块、区域调整模块和手部检测模块检测手部区域。

实施例：

本发明的一种基于ROS的模块化手部区域检测装置，如图2所示，所述基于ROS的模块化手部区域检测装置基于Linux Ubuntu 12.04上安装的Robot Operating System(ROS)的hydro版本，本发明的基于ROS的模块化手部区域检测装置包括：手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块。将本发明的模块化手部区域检测装置抽象为ROS的一个结点(node)，该结点通过ROS中话题(topic)和消息(message)与其他结点通信。

本发明实施实例以图5作为输入图像，检测手部区域。图5为手势库中的一张照片。由图5可知，该图像为复杂背景(并且人体背后有类肤色背景)人体全身照。因此，此时采用的本发明所述基于ROS的模块化手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块。

图5经人体检测模块后，检测出图中的人体上半身区域，检测结果进入肤色检测模块，然后使用建立的肤色模型检测出人体上半身区域中的肤色区域，然后，检测结果进入区域调整模块，并将类肤色区域分割出来，接下来进入手部检测模块，检测出手部。

本发明提供一种基于ROS的模块化手部区域检测方法，如图1所示，具体包括以下步骤：

步骤1：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后采用提取脸部、脖子、肩膀、胳膊和手部的Haar小波特征，基于Viola-Jones检测器框架，使用级联分类器瀑布式算法训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了脸、脖子、肩膀、胳膊和手部相连的局部上下文信息，检测人体上半身的鲁棒性较强。

采用步骤1的方法以本发明自建手势图片库中的照片为实施实例，实施实例使用图片如图4所示，但同时存在一定误检测，即，除了检测出人体上半身区域，如图6(c)，还把环境中一些物体，如图6中的(a)和(b)，检测出来。但相比原图像(即图5)，大大缩小了手部候选区域，减少了计算量。

步骤2：使用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型，提取人体上半身图像中的类肤色区域；

步骤3：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。

对满足肤色条件的区域进行形态学处理和区域调整，包括：删除二值图中小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值，在原始图像上分割出类肤色区域。填充空洞后的结果、标记最小连通区域、根据最小连通区域的面积和长宽比检测出类肤色区域、从原始图片中分割出类肤色区域，分别如图7、图8、图9和图10所示。

步骤4：将原始图像上分割出类肤色区域(即步骤3得到的结果)进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机训练手部区域模型。提取测试集的方向梯度直方图特征后，使用训练好的手部区域模型检测手部区域。

图11为尺寸归一化后的结果，本实施实例归一化为90×90。

为了训练手部区域模型，建立训练集。训练集包括正样本和负样本。本文使用的训练集1共6829张图片，其中，训练正样本共838张图片，训练负样本集有5991张图片。测试集1共733张，其中，测试正样本共194张图片，测试负样本集有539张图片。

准备好训练集后，提取训练集的HOG特征，并使用支持向量机训练分类器，即手部区域模型。

测试集1使用训练好的分类器进行测试，结果具体如下：

测试相关性能指标包括检测率(True Positive Rate,样本正确检测的比例)，漏检率(False Negative Rate,样本没能检出的比例)和误检率(False Positive Rate，检测不是目标的比例)。

提取测试集1的HOG特征，使用训练集1训练好的分类器，对测试集1进行测试。测试集1样本共733个，其中，测试正样本194个，测试负样本539个，预测正确正样本176个，将1个负样本检测成正样本，手部检测率如表1所示。

为了比较检测结果，将正样本训练集设为原来图片剪切下来的手部区域，作为训练集2，训练集2包含：正样本1264个，负样本共5991个；测试集2包含：测试样本共733个，测试正样本为408个，测试负样本为539。测试集2的手部检测率如表1所示。

由表1看到本发明算法在检测率上性能较好。

表1手部检测结果

Table 1 Result of hand posture detection

由表1看到，使用训练集2的检测率较高，漏检率较低。这是因为训练集2是手工标注的正样本，因此，在同等条件下，训练的手部检测模型较好，故手部检测率较高，漏检率较低。而训练集1采用分割后的类肤色区域作为数据集，由此训练得到的手部检测模型，对检测到的类肤色区域进行分类时，误检率较低。

分层与不分层结构对比实验：

所使用电脑配置：windows 7,Intel(R)Core(TM)i5-4590CPU,3.30GHz 3.30GHz,4G内存。

为了更好比较分层与不分层结构的计算时间，二者除采用分层与不分层结构不同外，其他条件(如，测试图片，手部检测模型等)完全相同。实验结果如表2所示。

由表2可知，采用分层结构缩短了计算时间。这是因为本文自建手势库中图片存在大量复杂背景，尤其是类肤色背景，不分层结构通过肤色和形态学操作、连通区域长宽比等条件筛选出较多类肤色区域，并提取这些区域的方向梯度直方图特征，相比分层结构，一方面，花费了更多计算时间，另一方面，由于候选的类肤色区域增多，导致误检率增大。由此，可知本文采用分层结构较为合理。

表2不同结构手部检测结果

1.Hasan,H.and S.Abdul-Kareem,Human–computer interaction using vision-based hand gesture recognition systems:a survey.Neural Computing andApplications,2014.25(2):p.251-261.

2.Pisharady,P.K.and M.Saerbeck,Recent methods and databases invision-based hand gesture recognition:A review.Computer Vision and ImageUnderstanding,2015.141:p.152-165.

3.Rautaray,S.S.and A.Agrawal,Vision based hand gesture recognitionfor human computer interaction:a survey.Artificial Intelligence Review,2015.43(1):p.1-54.

4.Peer,P.and F.Solina,An automatic human face detection method.1999.

5.Solina,F.,et al.15 seconds of fame-an interactive,computer-visionbased art installation.in Control,Automation,Robotics and Vision,2002.ICARCV2002.7th International Conference on.2002.IEEE.

6.Chen,W.-C.and M.-S.Wang,Region-based and content adaptive skindetection in color images.International journal of pattern recognition andartificial intelligence,2007.21(05):p.831-853.

7.Ban,Y.,et al.,Face detection based on skin color likelihood.PatternRecognition,2014.47(4):p.1573-1585.

8.Basilio,J.A.M.,et al.,Explicit image detection using YCbCr spacecolor model as skin detection.Applications of Mathematics and ComputerEngineering,2011:p.123-128.

Claims (4)

1.一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁、d₂和d₃，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

2.根据权利要求1所述的一种基于分层结构和可变形部分模型的手部区域检测方法，所述的步骤3中具体为：

采用RGB-YCbCr显式阈值和高斯模型，建立肤色模型具体包括：

(1)使用RGB颜色空间显式阈值，检测肤色区域；

提取所建手势库的手部肤色区域，读取肤色像素值，像素点RGB三通道间的关系为：

$\begin{array}{c}{r}_R^L=min\left(p_R\right)\\ r_G^L=min\left(p_G\right)\\ r_B^L=min\left(p_B\right)\end{array}---\left(1\right)$

$\begin{array}{c}{r}_R^U=\max \left(p_R\right)\\ r_G^U=\max \left(p_G\right)\\ r_B^U=\max \left(p_B\right)\end{array}---\left(2\right)$

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为提取手部肤色样本R,G,B三通道的最小值；分别为提取手部肤色样本R,G,B三通道的最大值；

$\begin{array}{c}{r}_{R-G}^L=min(p_R-p_G)\\ r_{R-B}^L=min(p_R-p_B)\\ r_{G-B}^L=min(p_G-p_B)\end{array}---\left(3\right)$

$\begin{array}{c}{r}_{R-G}^U=\max (p_R-p_G)\\ r_{R-B}^U=\max (p_R-p_B)\\ r_{G-B}^U=\max (p_G-p_B)\end{array}---\left(4\right)$

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为手部肤色样本R-G,R-B,G-B通道差值的最小值；分别为手部肤色样本R-G,R-B,G-B通道差值的最大值；

肤色模型在RGB颜色空间的阈值为：

$\begin{array}{c}{\mathrm{Th}}_R^L=\max \left(\begin{array}{cc}{r}_R^L,& 95\end{array}\right)\\ {\mathrm{Th}}_G^L=\max \left(\begin{array}{cc}{r}_G^L,& 40\end{array}\right)\\ {\mathrm{Th}}_B^L=\max \left(\begin{array}{cc}{r}_B^L,& 20\end{array}\right)\\ {\mathrm{Th}}_{R-G}^L=\max \left(\begin{array}{cc}{r}_{R-G}^L,& 30\end{array}\right)\\ {\mathrm{Th}}_{G-B}^L=\max \left(\begin{array}{cc}{r}_{G-B}^L,& 10\end{array}\right)\\ {\mathrm{Th}}_{R-G}^U=\min \left(\begin{array}{cc}{r}_{R-G}^U,& 80\end{array}\right)\\ {\mathrm{Th}}_{G-B}^U=\min \left(\begin{array}{cc}{r}_{G-B}^U,& 80\end{array}\right)\\ {\mathrm{Th}}_{R-B}^U=\min \left(\begin{array}{cc}{r}_{R-B}^U,& 120\end{array}\right)\end{array}---\left(7\right)$

在RGB颜色空间的肤色像素点S_rgb(r,g,b)满足以下要求：

$\begin{array}{c}{\mathrm{Th}}_R^L\≤r\left(r\right)\≤r_R^U\∩\\ {\mathrm{Th}}_G^L\≤r\left(g\right)\≤r_G^U\∩\\ {\mathrm{Th}}_B^L\≤r\left(b\right)\≤r_B^U\∩\\ {\mathrm{Th}}_{R-G}^L\≤r(r-g)\≤{\mathrm{Th}}_{R-G}^U\∩\\ {\mathrm{Th}}_{G-B}^L\≤r(g-b)\≤{\mathrm{Th}}_{G-B}^U\∩\\ {\mathrm{Th}}_{R-B}^L\≤r(r-g)\≤{\mathrm{Th}}_{R-B}^U\end{array}---\left(8\right)$

其中，r(r,g,b)为某像素在RGB色彩空间的值；

(2)使用YCbCr显式阈值检测肤色；

针对YCbCr，其中Y是亮度分量，Cb是指蓝色分量，Cr指红色色度分量，YCbCr色彩空间由RGB色彩空间经下式矩阵变换得到：

$\left(\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.168& -0.331& 0.5\\ 0.5& -0.418& -0.081\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(9\right)$

肤色区域在YCbCr颜色空间满足的阈值为：

(80≤Cb≤120)∩(133≤Cr≤173) (10)

由经公式(9)得到其中，分别为提取手部肤色样本Y,Cb,Cr分量的最小值；分别为提取手部肤色样本Y,Cb,Cr分量的最大值；

$\begin{array}{c}{\mathrm{Th}}_{Cb}^L=\max \left(\begin{array}{cc}{r}_{Cb}^L,& 80\end{array}\right)\\ {\mathrm{Th}}_{Cr}^L=\max \left(\begin{array}{cc}{r}_{Cr}^L,& 133\end{array}\right)\\ {\mathrm{Th}}_{Cb}^U=\min \left(\begin{array}{cc}{r}_{Cb}^U,& 120\end{array}\right)\\ {\mathrm{Th}}_{Cr}^L=\min \left(\begin{array}{cc}{r}_{Cr}^L,& 173\end{array}\right)\end{array}---\left(11\right)$

在YCbCr色彩空间，满足肤色条件的区域S_ycbcr(cb,cr)满足下式的条件，

$\begin{array}{c}{\mathrm{Th}}_{Cb}^L\≤c(x,y)\≤{\mathrm{Th}}_{Cb}^U\∩\\ {\mathrm{Th}}_{Cr}^L\≤c(x,y)\≤{\mathrm{Th}}_{Cr}^U\end{array}---\left(12\right)$

其中，分别为肤色像素在YCbCr颜色空间，Cb通道的最低阈值，最高阈值，Cr通道的最低阈值，最高阈值；c(cb,cr)为某像素在YCbCr色彩空间中Cb,Cr分量的值；

(3)建立高斯肤色模型进行肤色检测

具体包括以下两个步骤：

步骤a：获取构造手势图片库中的手部肤色样本，利用公式(9)，将肤色像素从RGB转换到YCbCr色彩空间后，并对其进行统计分析，通过椭圆高斯联合概率密度函数(pdf)，贝叶斯最大似然估计得到高斯模型的均值μ(μ_cb μ_cr)和协方差∑(∑_cb ∑_cr)；

椭圆高斯联合概率密度函数如下所示：

$p\left(c\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{1/2}|\mathrm{\Σ}{|}^{1/2}}\exp (-\frac{1}{2}{\left(c-\mathrm{\μ}\right)}^T{\left(\mathrm{\Σ}\right)}^{-1}(c-\mathrm{\μ}\left)\right)---\left(13\right)$

其中，c为肤色向量，μ为均值向量，∑为协方差矩阵；

$\begin{array}{c}\mathrm{\μ}=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{c}_j\\ \mathrm{\Σ}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\Σ}}(c_j-\mathrm{\μ}){(c_j-\mathrm{\μ})}^T\end{array}---\left(14\right)$

其中，

$\begin{array}{c}\mathrm{\μ}=\mathrm{\μ}\left(\begin{array}{cc}{\mathrm{\μ}}_{cb}& {\mathrm{\μ}}_{cr}\end{array}\right)\\ \mathrm{\Σ}=\mathrm{\Σ}\left(\begin{array}{cc}{\mathrm{\Σ}}_{cb}& {\mathrm{\Σ}}_{cr}\end{array}\right)\end{array}---\left(15\right)$

步骤b：计算所给像素点与肤色相似的程度，即肤色似然度，得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，再对肤色似然图进行阈值化，将肤色区域分割出来；

根据建立的高斯肤色模型，计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr)，计算公式如下：

D(Cb,Cr)＝exp[-0.5(c-μ)^T∑^-1(c-μ)] (16)

相似度D计算出来后，得到待检测图像的最大肤色似然度，两者的比值为肤色概率值，由此，可得到肤色似然图，再对其阈值化后得到肤色图像的二值图；

肤色模型中的肤色区域S_skin为满足肤色高斯模型S_g(Cb,Cr)、YCbCr显式阈值S_ycbcr(cb,cr)和RGB显式阈值S_rgb(r,g,b)的交集，即

S_skin＝S_g(Cb,Cr)∩S_ycbcr(cb,cr)∩S_rgb(r,g,b) (18)

如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型，则认为该区域是肤色区域；

满足肤色模型的区域进入步骤4，对其进行形态学处理；不满足要求的图像，不进行处理。

3.根据权利要求1所述的一种基于分层结构和可变形部分模型的手部区域检测方法，所述的步骤5中包括模型训练和手部检测两部分，具体如下所示：

(1)模型训练

提取训练样本集的HOG特征，使用支持向量机训练分类器，即手部区域模型；

步骤4分割出来肤色区域进行尺寸归一化后，作为样本集，样本包含正样本和负样本，具体来说，正样本为包含手部区域的照片，负样本为不包含手部区域的照片，如果手部区域占步骤4筛选肤色区域面积的一半或一半以上，则将该肤色区域视为正样本，如果手部区域占肤色区域的面积小于一半或手部区域不全，则将该样本舍弃，样本集分为训练样本集和测试样本集，训练样本集用于训练模型，测试样本集用于测试模型；

(2)手部检测

提取测试样本的HOG特征，使用训练好的手部检测模型，检测手部区域。

4.一种基于ROS的模块化手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，提取HOG特征，使用支持向量机训练，并使用训练好的分类器检测手部区域，手部检测模块分为训练和检测两个阶段，训练阶段，将区域调整模块分割出的类肤色区域，进行尺寸归一化后，提取HOG特征，使用支持向量机训练手部检测模型，检测阶段，将区域调整模块分割出的类肤色区域进行尺寸归一化后，使用训练好的手部检测模型检测手部区域。