CN104679242A - 基于单目视觉复杂背景下的手势分割方法 - Google Patents

Abstract

本发明涉及一种基于单目视觉复杂背景下的手势分割方法，适用于人机交互中手势识别中手势分割部分。步骤包括：（1）通过单目摄像头获取手势图像。（2）进行颜色空间的选择。（3）进行颜色空间的转换。（4）改进椭圆模型算法提取出手势图像中的肤色信息。（5）实现帧差法，将肤色信息中的手势区域提取出来。本发明在价格上解决了Kinect设备造价高的问题，只需要一个普通的RGB摄像头。在准确率上解决了基于单目摄像头复杂背景下的手势分割准确率不高的问题，从而为手势识别、手势控制等人机交互工作提供了必要的保障。

Description

基于单目视觉复杂背景下的手势分割方法

技术领域

    本发明涉及手势分割技术，特别是人机交互中的分割技术，尤指一种基于单目摄像头下对复杂背景下的基于单目视觉复杂背景下的手势分割方法。其可广泛应用与体感交互系统，并可以结合手势识别技术实现手势控制系统以便完成一些体感游戏、休闲娱乐运动、学术PPT等的自然交互。

背景技术

    近几年随着计算机技术的发展，人机交互技术已从键盘和鼠标逐步被自然人体所代替。鉴于手势具有直观、自然地特点，手势已经成为自然人机交互的一种重要手段。作为新型的自然交互技术，基于计算机视觉的手势识别在生活中的应用还不够广泛。

    基于单目视觉的手势识别中手势分割是手势识别是最关键的步骤，其分割效果直接影响到后续的跟踪、特征提取及识别的效果。但由于环境等多方面因素的影响导致基于单目摄像头复杂背景下的手势分割效果还不够理想。市场上有一些基于Kinect的手势识别方法，但是由于Kinect设备成本较高，不适用广泛的推广，因此Kinect设备并没有深入广大百姓的生活里。目前国内外也有一些手势识别的研究，但是由于在单目摄像头复杂背景下的手势分割效果还不够理想，因此降低设备成本、发明一种在单目摄像头复杂背景下的准确地实现手势分割方法是目前亟待解决的问题。

发明内容

本发明的目的在于提供一种基于单目视觉复杂背景下的手势分割方法，是一种基于单目摄像头复杂背景下准确地实现手势分割的方法，解决了现有的基于单目摄像头无法准确分割出复杂背景下的手势的问题。其是基于肤色探测法与帧差法相结合的技术方案，其内部实现了图像由RGB颜色空间（RGB颜色是红色Red、绿色Green和蓝色Blue三基色的字母缩写）向YCbCr（YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量）颜色空间转换的方法、基于肤色探测法中椭圆模型改进的方法、帧差法等，达到了手势的实时分割、检测正确率高、误检率低等效果。人体必需保持手部的运动，身体其他部位的静止，本发明支持单手、多手以及复杂手势的分割。

本发明的上述目的通过以下技术方案实现：

在获取手势图像时，采用单目摄像头获取视频流。然后将视频流中的图像序列进行处理。对手势图像进行颜色空间转换后，经过肤色探测法肤色模型的改进，提取出肤色信息，再经过帧差法的处理实现手势图像的分割。本发明的技术要点是：一、肤色探测法中图像颜色空间的选择：在肤色探测法中存在多种颜色空间，颜色空间的选择直接影响到分割的效果，究竟选择哪一种颜色空间最适合本发明，需要做大量的实验来论证。本发明选择了YCbCr颜色空间。二、肤色探测法中颜色空间的转换：选择了YCbCr颜色空间之后，需要将获取的图像由RGB颜色空间转换到YCbCr颜色空间。颜色空间的转换对后续的分割效果产生很大的影响。三、肤色探测法中椭圆模型的改进：椭圆模型的改进能够准确的实现肤色区域的分割与检测。四、帧差法的实现：帧差法能够将检测出的肤色信息进行处理准确的分割出手部信息。

本发明的基于单目视觉复杂背景下的手势分割方法的具体步骤如下：

    本发明的有益效果在于：基于Kinect设备的手势分割造价高，不适于广大百姓的使用。传统的基于单目摄像头复杂背景下的手势分割准确率不高，影响后续的手势识别功能。本发明在价格上解决了Kinect设备造价高的问题，只需要一个普通的RGB摄像头。在准确率上解决了基于单目摄像头复杂背景下的手势分割准确率不高的问题，从而为手势识别、手势控制等人机交互工作提供了必要的保障。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的流程图；

图2为本发明的手势图像在RGB颜色空间进行的手势分割效果图；

图3为本发明的手势图像在RG（Red红色、Green绿色）颜色空间进行的手势分割效果图；

图4为本发明的手势图像在YCbCr颜色空间进行的手势分割效果图；

图5为本发明的手势图像在HSV(Hue色度,Saturation饱和度,Value亮度)颜色空间进行的手势分割效果图；

图6为本发明的手势图像经过传统椭圆模型的检测肤色信息的效果图；

图7为本发明的手势图像经过改进的椭圆模型检测肤色信息的效果图；

图8为本发明的手势图像经过帧差法获取手势信息的效果图。

具体实施方式

下面结合附图进一步说明本发明的详细内容及其具体实施方式。

参见图1至图8所示，本发明的基于单目视觉复杂背景下的手势分割方法，具体流程是：

    1、手势图像的采集

    本发明在单目摄像头下对手势图像进行采集。截取视频流中的其中一帧图像进行处理。

    2、颜色空间的选择

    由于物体的颜色往往被用来是区别于不同物体之间的显著特征点，人眼对颜色信息的感知要比灰度信息敏感的多。因此，颜色对于彩色图像分割来说是一个重要的参考指标，选择合适的颜色空间对图像分割的效果能够提供丰富和准确的信息。肤色检测法经常使用到的颜色空间有归一化RGB颜色空间、RG颜色空间、HSV颜色空间、YCbCr颜色空间等。本发明对不同颜色空间的手势跟个做了大量的实验，通过实验发现，YCbCr颜色空间的分割效果最为理想，因此本发明在YCbCr颜色空间对图像进行分割。

      2.1、在RGB颜色空间实现图像分割；

      2.2、在RG颜色空间实现图像分割；

      2.3、HSV颜色空间实现图像分割；

      2.4、YCbCr颜色空间实现图像分割；

    3、肤色探测法中颜色空间的转换

    在选择颜色空间之后，需要把图像从RGB颜色空间转换到选择的YCbCr颜色空间。

    4、肤色探测法中椭圆模型的改进 

      41、首先将图像在传统的椭圆模型中进行实现；

      42、将图像在改进的椭圆模型中进行实现；

    5、帧差法的实现

      在得到图像的肤色信息后，经过帧差法的处理，实现手部信息的分割。

实施例1：

    参加图1至图8所示，本发明的基于单目视觉复杂背景下的手势分割方法，具体流程是：

    1、手势图像的采集

    通过单目彩色摄像头获取视频流信息，截取视频流其中的一帧图像；

    2、颜色空间的选择

      2.1、在RGB颜色空间实现图像分割；

      2.2、在RG颜色空间实现图像分割；

      2.3、HSV颜色空间实现图像分割；

      2.4、YCbCr颜色空间实现图像分割；

    3、肤色探测法中颜色空间的转换

    在选择颜色空间之后，需要把图像从RGB颜色空间转换到选择的YCbCr颜色空间。根据公式（1）进行转换。

    (1)

    4、肤色探测法中椭圆模型的改进

      41、将图像在本发明的椭圆模型中进行实现；

      其核心思想是改变椭圆模型的中心位置以应对光照等引起肤色聚类的变化，提出一种椭圆模型参数可自适应变化的肤色聚类模型。根据光照条件把椭圆公示中的长短轴扩大n（n≠0）倍以适应肤色聚类随光照条件的变化，从而更准确地分割出肤色区域。改进后的椭圆模型如公式（2）所示。根据公式（2）实现改进传统椭圆模型下的肤色探测。

         (2)

    本发明的椭圆模型实现步骤：

（4.1）首先将获取的图像由RGB颜色空间转换到YCbCr颜色空间；

（4.2）计算亮度Y值，根据Y值的不同选择不同的n值；

（4.3）初始化肤色区域面积；设定最大迭代次数为，迭代步长，最小迭代误差；

（4.4）由公式(2)和(3)将图像像素由YCbCr空间转到YCb'Cr'颜色空间；

          (2)

     (3)

式中x, y分别表示像素点的横纵坐标；a, b分别表示椭圆的长短轴。

（4.5）根据公式(4)计算肤色区域并存入设定的S中；

（4.6）计算迭代肤色面积差；

（4.7）若或者达到最大迭代次数，迭代结束，否则转到步骤（4.5）进行下一次迭代。

为了减少计算量，缩短肤色检测的时间，只对77≤Cb≤127，133≤Cr≤173区域的肤色进行检测。

    5、帧差法的实现

在检测出肤色信息后，利用帧差法获取完整手势图像。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于单目视觉复杂背景下的手势分割方法，其特征在于：步骤如下：

（1）、手势图像的采集：在单目摄像头下对手势图像进行采集，获取视频序列，并截取视频流中的其中一帧图像进行处理；

（2）、肤色探测法中图像颜色空间的选择：选择在YCbCr颜色空间对图像进行分割；

（3）、肤色探测法中颜色空间的转换：将获取的图像由RGB颜色空间转换到所选择的YCbCr颜色空间；

（4）、肤色探测法中椭圆模型的改进：实现手势图像不受环境因素的影响，提高手势分割的正确率，将传统的椭圆模型进行改进，提取出手势图像中的肤色区域信息；

（5）、帧差法的实现：图像经过椭圆模型后，提取出肤色信息，用帧差法将非手势区域滤除，提取出完整的手势区域信息；整个处理结束。

2.根据权利要求1所述的基于单目视觉复杂背景下的手势分割方法，其特征在于：所述的肤色探测法中椭圆模型的改进，通过椭圆模型的长短轴增加比例系数n来实现，具体步骤是：

    （4.1）、首先将获取的图像由RGB颜色空间转换到YCbCr颜色空间；

    （4.2）、计算亮度Y值，Y值的不同选择不同的n值；

    （4.3）、初始化肤色区域面积                                                ；设定最大迭代次数为，迭代步长，最小迭代误差；

    （4.4）、将图像像素由YCbCr空间转到YCb'Cr'颜色空间；

    （4.5）、计算肤色区域并存入设定的中；

    （4.6）、计算迭代肤色面积差；

（4.7）、若或者达到最大迭代次数，迭代结束；否则转到步骤（4.5）进行下一次迭代；

为了减少计算量，缩短肤色检测的时间，只对77≤Cb≤127，133≤Cr≤173区域的肤色进行检测。