CN109961016A - 面向智能家居场景的多手势精准分割方法 - Google Patents

Abstract

本发明揭示了一种面向智能家居场景的多手势精准分割方法，包括如下步骤：S1、对手势图像Image0进行预处理，得到图像Image1；S2、对预处理后的图像Image1进行肤色分割，得到经过处理后的图像Image4；S3、在图像Image4中构建图像的最小绑定矩形MBR；S4、通过非手势区域排除准则对图像Image4中的非手势区域进行排除，获取手势图像Image5；S5、通过基于手部形状特征的手臂冗余去除算法对图像Image5进行处理，完成对手臂冗余的去除。本发明可以在本地智能化地对手势进行分割，整个过程快速、准确，显著地提高了基于手势的人机交互系统的使用舒适度。

Description

面向智能家居场景的多手势精准分割方法

技术领域

本发明涉及一种智能识别方法，具体涉及一种面向智能家居场景的多手势精准分割方法，属于智能家居领域。

背景技术

手势分割是指将手势信息从复杂的图像背景中分割出来的技术，手势分割质量(准确性、完整性、冗余性)的好坏对基于手势的人机交互系统的识别与检测准确率有着重要的影响。

面向家居场景下的实时手势分割更为复杂，用户手势不仅更为复杂多变，而且易受背景、光照与拍摄角度等因素的影响。在目前的计算机视觉领域内，尚未存在一种能够自适应的手势分割算法。现行的一些具有代表性的手势分割方法主要依赖于外部设备或者需要对用户的手部进行特殊处理，但由于其限制了人们活动范围，同时需要配套的硬件设备，造价及其昂贵等原因，这些技术也很难在实际应用中得到大规模的推广。

与技术发展相对应的是，当今市场上，具有手势分割功能的智能家居设备还较为少见，大多数的手势分割产品仅仅停留在对皮肤的分割上，并不能完全且准确地针对手势进行分割，分割效果并不理想。并且这些设备大多依靠云端服务器、过于依赖网络，在没有网络的情况下将无法进行工作。

综上所述，如何在现有技术的基础上提出一种全新的面向智能家居场景的多手势精准分割方法，以实现手势分割技术在智能家居设备上的大规模推广应用，也就成为了目前业内人士所亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种面向智能家居场景的多手势精准分割方法，包括如下步骤：

S1、对手势图像Image0进行预处理，得到图像Image1；

S2、对预处理后的图像Image1进行肤色分割，得到经过处理后的图像Image4；

S3、在图像Image4中构建图像的最小绑定矩形MBR；

S4、通过非手势区域排除准则对图像Image4中的非手势区域进行排除，获取手势图像Image5；

S5、通过基于手部形状特征的手臂冗余去除算法对图像Image5进行处理，完成对手臂冗余的去除。

优选地，S1中所述预处理至少包括：手势图像去噪、手势图像二值化及形态学处理。

优选地，S2具体包括如下步骤：

S21、将Image1图像从RGB颜色空间转换到YCbCr颜色空间，得到图像Image2，再通过全局固定阈值二值化法对每个像素与阈值进行比较，得到二值化图像Image3；

S22、使用形态学中的膨胀腐蚀运算对二值化图像Image3中的孔洞与缝隙进行消除，并使用中值滤波器处理二值化图像，得到图像Image4。

优选地，S3具体包括如下步骤：将S2中所获得到的二值化手势图像的轮廓信息存放至列表contours中，并根据坐标信息获得外接矩形的四个顶点坐标，分别为top_left，top_right，bottom_left与bottom_right。

优选地，S4中所述非手势区域排除准则，具体包括：

1)外接矩形的面积小于2500时，则认定为非手势区域，其采集到的图像尺寸为640*480；

2)外接矩形的长度与宽度之比大于5时，则认定为非手势区域；

3)矩形内像素值为255的点与矩形面积的比大于0.8或小于0.4时，则认定为非手势区域。

优选地，S5中所述基于手部形状特征的手臂冗余去除算法，具体包括：对图像Image6统计其手部宽度分布直方图与梯度分布直方图，其中，手势宽度分布直方图中的宽度最大值及其对应坐标为拇指腕掌关节，手腕分割线的坐标通过查找拇指腕掌关节点之后的梯度分布直方图中的值进行确定。

优选地，S5步骤中所述手腕分割线的坐标通过查找拇指腕掌关节点之后的梯度分布直方图中的值进行确定，确定标准为：当前点的梯度为0，且下一点的梯度大于等于0。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的面向智能家居场景的多手势精准分割方法，可以在本地智能化地对手势进行分割，克服了现有技术过于依赖网络的弊端，使得应用本方法的设备在没有网络连接的情况下仍然可以正常工作。

本发明通过将手势图片从RGB颜色空间转化到YCbCr颜色空间、再通过全局固定阈值二值化的方法，完成了对肤色的分割。随后，对非手势区域进行排除，构建出手势轮廓的MBR与MABR，并对手势图像进行旋转以统计手部宽度、构建出宽度分布直方图与基于宽度的梯度分布直方图，确定手腕分割线。最后，完成对手臂冗余的去除，得到完整的手势图像。本发明能够快速且准确地对家居环境图像中的手势进行分割，显著地提高了基于手势的人机交互系统的使用舒适度，提升了用户满意度。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他关于手势分割的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明所提供的对手势图像进行肤色分割的步骤流程示意图；

图2为本发明所提供的对手势图像进行手臂冗余去除的步骤流程示意图；

图3为本发明所提供的面向智能家居场景的多手势精准分割方法的总体步骤流程示意图。

具体实施方式

本发明揭示了一种面向智能家居场景的多手势精准分割方法，所述方法基于YCbCr颜色空间的肤色分割算法，非手势区域排除准则，基于手部形状特征的手臂冗余去除算法。本发明的方法包括如下步骤：

S1、对手势图像Image0进行预处理，得到图像Image1；

S2、对预处理后的图像Image1进行肤色分割，得到经过处理后的图像Image4；

S3、在图像Image4中构建图像的最小绑定矩形MBR；

S4、通过非手势区域排除准则对图像Image4中的非手势区域进行排除，获取手势图像Image5；

S5、通过基于手部形状特征的手臂冗余去除算法对图像Image5进行处理，完成对手臂冗余的去除。

由上述步骤表述可以看出，本发明的方法主要包括两大方面，即肤色分割及手臂冗余去除。

以下结合附图对本发明的方法进行具体说明，图1显示了本发明实施例提供的一种对手势图像进行肤色分割的方法，该方法的步骤主要包含：

S1、对手势图像Image0进行预处理，得到图像Image1。

由于手势图像在获取时不可避免的会存在噪声的干扰，会对手势图像的分割与识别造成严重的影响，因此在对手势分割前对图像进行预处理显得尤为重要。所述预处理至少包括：手势图像去噪、手势图像二值化及形态学处理。

其中，手势图像去噪主要使用高斯滤波器，该滤波器属于线性滤波器，其滤波器窗口的像素取值服从高斯分布，随着距离模板中心的距离增大而减小，其二维高斯函数为：

其中，h(x,y)表示高斯滤波器中(x,y)坐标上的取值，σ表示标准差。

S21、将Image1图像从RGB颜色空间转换到YCbCr颜色空间，得到图像Image2，再通过全局固定阈值二值化法对全局固定阈值二值化法对每个像素与阈值进行比较，得到二值化图像Image3。

YCbCr颜色空间是视频图像和数字图像中常用的色彩空间。包含三个分量：Y(luma，亮度)，表示的是图像的亮暗程度，取值范围为0～255；Cb分量表示的是RGB颜色空间中蓝色分量与RGB颜色空间中亮度值之间差异，取值范围为0～255；Cr分量表示的是RGB颜色空间中红色分量的值与RGB颜色空间中亮度之间的差异，取值范围为0～255。其中Cb分量和Cr分量是相互独立的，并且与Y分量能有效地分离。

RGB颜色空间到YCbCr颜色空间的转换公式如下：

转化为矩阵形式为：

上述步骤中所述的将每个像素与阈值进行比较，具体操作为，人的肤色的Y，Cb，Cr值大约为[0:256,130:174,77:128]，如果图像中像素的YCbCr值属于这个区间，则该像素值置为255，否则置为0，则可得到二值化图像Image3。

S22、使用形态学中的膨胀腐蚀运算对二值化图像Image3中的孔洞与缝隙进行消除，并使用中值滤波器处理二值化图像，得到图像Image4。

手势图像经过二值化处理后，得到的图像会存在空隙、残缺等现象。形态学的作用就是去除孤立的小点、毛刺、填充小孔、弥合小缝隙等，形态学操作主要有以下4种：

1、膨胀。形态学操作中的膨胀运算过程是：将物体接触到的背景点合并到该物体。其结果使目标物体的面积变大；其意义在于对目标区域中存在的空洞与缝隙进行填充。

2、腐蚀。形态学操作中的腐蚀运算过程是：将物体的所有边界点进行消除。其结果使目标物体的面积变小；其意义在于对目标区域中存在的一些较小的没有意义的孤立点进行消除。

3、开运算。形态学操作中的开运算过程先对二值化图像进行腐蚀运算，然后在对其进行膨胀运算。其意义在于对目标区域中存在的孤立小点、毛刺等没有意义的点进行消除(腐蚀运算)，空洞与缝隙进行填充(膨胀运算)。

4、闭运算。形态学操作中的闭运算过程先对二值化图像进行膨胀运算，然后在对其进行腐蚀运算。其意义在于对目标区域中存在的空洞与缝隙进行填充(膨胀运算)，孤立小点、毛刺等没有意义的点进行消除(腐蚀运算)。

所述的中值滤波器属于非线性滤波器，主要是对当前点的周围像素点进行统计与排序，选取其中值作为当前点的像素值，从而消除孤立的噪声点。主要用中值滤波器平滑手势二值化图像边缘的毛刺，使其边缘变得平滑，降低对手腕分割线的查找带来的影响。

图2为本发明实施例提供的对手势图像进行手臂冗余去除方法，该方法的步骤主要包含：

S3、构建手势图像的最小面积绑定矩形MABR；

在图像Image4中构建手势图像的最小绑定矩形MBR，其顶点坐标信息为，

在MBR的基础上构建图像的MABR，在已知轮廓的前提下可以根据Graham扫描法求手势轮廓的凸包，将图形以其MBR的中心为原点，在其90度范围内以β为尺度等间隔的进行旋转。同时记录相应旋转角度下图形的MBR面积，则在记录中最小的MBR面积所对应的MBR就是所求的MABR。

S4、通过非手势区域排除准则对图像Image4中的非手势区域进行排除，获取手势图像Image5。

所述非手势区域排除准则，具体包括：

1)外接矩形的面积小于2500时，则认定为非手势区域，其采集到的图像尺寸为640*480；

2)外接矩形的长度与宽度之比大于5时，则认定为非手势区域；

3)矩形内像素值为255的点与矩形面积的比大于0.8或小于0.4时，则认定为非手势区域。

随后逆时针旋转二值化手势图像，在上述步骤中可以得到MABR对应的旋转角度，逆时针旋转手势图像，即可使手势方向变为垂直。

S5、通过基于手部形状特征的手臂冗余去除算法对图像Image5进行处理，完成对手臂冗余的去除。

S5中所述基于手部形状特征的手臂冗余去除算法，具体包括：对图像Image6统计其手部宽度分布直方图与梯度分布直方图，其中，手势宽度分布直方图中的宽度最大值及其对应坐标为拇指腕掌关节，手腕分割线的坐标通过查找拇指腕掌关节点之后的梯度分布直方图中的值进行确定。

所述宽度直方图的计算程序如下：

所述梯度直方图的计算程序如下：

gradient＝[0]

for index in range(1,len(width)):

gradient.append(width[index]-width[index-1])。

随后，确定手腕分割线，由于手势宽度分布直方图中的宽度最大值及其对应坐标为拇指腕掌关节，手腕分割线的坐标可以通过查找拇指腕掌关节点之后的梯度分布直方图中的值确定，其确定方法为：当前点的梯度为0，且下一点的梯度大于等于0。

最后，完成手臂冗余去除。在上述步骤中获取得到手腕分割线的坐标信息，令在手腕分割线下面的像素值为0，即只保留上部手势图像，手臂部分去除掉。

以下结合图3，提出一面向智能家居场景的多手势精准分割方法的具体实施例，该实施例主要包括如下步骤：

步骤S301，图像采集；

主要通过2D摄像头采集家居图像。

步骤S302，对采集到的图像进行预处理；

对图像进行滤波处理，形态学处理，二值化处理等。

步骤S303，对图像进行肤色分割；

通过把在YCbCr颜色空间中使用全局固定阈值方法，对其进行二值化处理，并通过八邻域法获取每个区域的轮廓信息。

步骤S304，对非手势区域进行过滤；

通过对步骤S303中分割出的手势图像进行非手势区域过滤，首先构建手势图像的MBR，对不符合条件的区域进行过滤，符合条件的则进行手势分割处理。

步骤S305，对图像进行手势分割；

在手势图像MBR的基础上构建MABR，并获取得到手势图像的偏转角度，通过分析手部宽度分布直方图与手部梯度分布直方图，获取得到手势的手腕分割线，并对手臂区域进行过滤。

步骤S306，获取得到完整的手势图像；

经过手势分割后，会产生0～多个手势，可以把图像中的手势都提取出来，用于后续需要，主要用于基于手势的人机交互系统，实现人们通过手势对家居设备的控制。

本发明所提出的面向智能家居场景的多手势精准分割方法，可以在本地智能化地对手势进行分割，克服了现有技术过于依赖网络的弊端，使得应用本方法的设备在没有网络连接的情况下仍然可以正常工作。

本发明通过将手势图片从RGB颜色空间转化到YCbCr颜色空间、再通过全局固定阈值二值化的方法，完成了对肤色的分割。随后，对非手势区域进行排除，构建出手势轮廓的MBR与MABR，并对手势图像进行旋转以统计手部宽度、构建出宽度分布直方图与基于宽度的梯度分布直方图，确定手腕分割线。最后，完成对手臂冗余的去除，得到完整的手势图像。本发明能够快速且准确地对家居环境图像中的手势进行分割，显著地提高了基于手势的人机交互系统的使用舒适度，提升了用户满意度。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他关于手势分割的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种面向智能家居场景的多手势精准分割方法，其特征在于，包括如下步骤：

S1、对手势图像Image0进行预处理，得到图像Image1；

S2、对预处理后的图像Image1进行肤色分割，得到经过处理后的图像Image4；

S3、在图像Image4中构建图像的最小绑定矩形MBR；

S4、通过非手势区域排除准则对图像Image4中的非手势区域进行排除，获取手势图像Image5；

S5、通过基于手部形状特征的手臂冗余去除算法对图像Image5进行处理，完成对手臂冗余的去除。

2.根据权利要求1所述的面向智能家居场景的多手势精准分割方法，其特征在于，S1中所述预处理至少包括：手势图像去噪、手势图像二值化及形态学处理。

3.根据权利要求1所述的面向智能家居场景的多手势精准分割方法，其特征在于，S2具体包括如下步骤：

S21、将Image1图像从RGB颜色空间转换到YCbCr颜色空间，得到图像Image2，再通过全局固定阈值二值化法对每个像素与阈值进行比较，得到二值化图像Image3；

S22、使用形态学中的膨胀腐蚀运算对二值化图像Image3中的孔洞与缝隙进行消除，并使用中值滤波器处理二值化图像，得到图像Image4。

4.根据权利要求1所述的面向智能家居场景的多手势精准分割方法，其特征在于，S3具体包括如下步骤：将S2中所获得到的二值化手势图像的轮廓信息存放至列表contours中，并根据坐标信息获得外接矩形的四个顶点坐标，分别为top_left，top_right，bottom_left与bottom_right。

5.根据权利要求1所述的面向智能家居场景的多手势精准分割方法，其特征在于，S4中所述非手势区域排除准则，具体包括：

1）外接矩形的面积小于2500时，则认定为非手势区域，其采集到的图像尺寸为640*480；

2）外接矩形的长度与宽度之比大于5时，则认定为非手势区域；

3）矩形内像素值为255的点与矩形面积的比大于0.8或小于0.4时，则认定为非手势区域。

6.根据权利要求1所述的面向智能家居场景的多手势精准分割方法，其特征在于，S5中所述基于手部形状特征的手臂冗余去除算法，具体包括：对图像Image6统计其手部宽度分布直方图与梯度分布直方图，其中，手势宽度分布直方图中的宽度最大值及其对应坐标为拇指腕掌关节，手腕分割线的坐标通过查找拇指腕掌关节点之后的梯度分布直方图中的值进行确定。

7.根据权利要求6所述的面向智能家居场景的多手势精准分割方法，其特征在于，S5步骤中所述手腕分割线的坐标通过查找拇指腕掌关节点之后的梯度分布直方图中的值进行确定，确定标准为：当前点的梯度为0，且下一点的梯度大于等于0。