CN102799855B - 基于视频流的人手定位方法 - Google Patents

Abstract

本发明公开了一种基于视频流的人手定位方法，该方法包括如下步骤：（1）摄像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；（2）根据人脸的位置与大小信息，确定挥手检测区域，并计算出人手大小；（3）计算所述挥手检测区域内是否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；（4）以变化像素区域的位置中心点作为参考点，并根据步骤（2）计算出人手的大小，确定人手搜索区域，再定位人手的精确位置。本发明基于视频流的人手定位方法，其能够简单化人手定位的方法，更富有人性化。

Description

基于视频流的人手定位方法

技术领域

本发明涉及人机交互领域，尤其是指一种基于视频流的人手定位方法。

背景技术

手势是人们日常生活中广泛使用的一种交流方式，具有很强的表意功能。随着计算机技术的发展，手势控制以其操作自然、直观、非接触等优势逐步被应用于家电控制、互动展示、游戏控制等场合。

基于计算机视觉的手势交互，其核心是利用计算机视觉、图像处理等技术对图像采集设备采集到的视频序列进行处理，得到对手势控制行为的理解，从而进行相应响应。

手势人机交互系统中，通常会设计启动、跟踪、识别等过程，因为跟踪开始的时候往往需要知道被跟踪目标的信息，常见的方法是利用固定手形的检测来实现，这种方法不够贴近人的自然行为。

发明内容

本发明的目的是提供一种基于视频流的人手定位方法，其能够简单化人手定位的方法，更富有人性化。

本发明的目的是这样实现的：

一种基于视频流的人手定位方法，该方法包括如下步骤：

（1）摄像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；

（2）根据人脸的位置与大小信息，确定挥手检测区域，并计算出人手大小；

（3）计算所述挥手检测区域内是否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；

（4）以变化像素区域的位置中心点作为参考点，并根据步骤（2）计算出人手的大小，确定人手搜索区域，再定位人手的精确位置。

在其中一个实施例中，所述步骤（3）计算所述挥手检测区域包括如下步骤：

A：计算采集到图像的帧间差分图像D(x,y,t)；

B：计算二值化后的帧间差分图像B(x,y,t)，设定阀值Th1，如果D(x,y,t)>Th1，则B(x,y,t)=V₁，相反B(x,y,t)=V₂；

C：对二值化后的帧间差分图像B(x,y,t)进行标定，确定挥手的像素点总数S；

D：设定阀值Th2，若S>Th2，则判定检测到挥手，初步确定手势位置。

在其中一个实施例中，所述步骤（4）包括如下步骤：

A：确定挥手区域的中心点，并根据步骤（2）计算出人手的大小，确定人手搜索区域；

B：将人手搜索区域中的图像转换到适宜肤色分割的颜色空间，在该颜色空间上建立初始肤色模型；

C：根据建立的初始肤色模型，对图像进行肤色的粗分割；

D：根据粗分割的结果更新肤色模型，对图像再次进行肤色分割；

E：重复步骤D，对比前后肤色模型参数，若参数趋于稳定，则停止，获得肤色的细分割结果；

F：根据细分割后的结果，计算出人手位置中心点，得到精确的人手位置。

本发明基于视频流的人手定位方法与现有技术相比，具有如下有益效果：

（1）本发明人手定位方法对挥手时用户的手形不做限制，更符合人的自然操作，贴近人的日常行为习惯，提高人机交互系统的交互体验；

（2）结合人脸检测及挥手检测区域的设定，减少误操作的出现，提高识别准确度；

（3）与动态肤色分割技术的结合使用，使得人手位置确定更加精确。

附图说明

图1为本发明基于视频流的人手定位方法确定挥手区域的示意图；

图2为本发明基于视频流的人手定位方法利用肤色分割方法修正挥手检测位置示意图。

具体实施方式

本发明基于视频流的人手定位方法，该方法包括如下步骤：

（1）摄像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；

（2）根据人脸的位置与大小信息，确定挥手检测区域，并计算出人手大小；

（3）计算所述挥手检测区域内是否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；

（4）以变化像素区域的位置中心点作为参考点，并根据步骤（2）计算出人手的大小，确定人手搜索区域，再定位人手的精确位置。

其中，所述步骤（3）计算所述挥手检测区域包括如下步骤：

A：计算采集到图像的帧间差分图像D(x,y,t)；

B：计算二值化后的帧间差分图像B(x,y,t)，设定阀值Th1，如果D(x,y,t)>Th1，则B(x,y,t)=V₁，相反B(x,y,t)=V₂；

C：对二值化后的帧间差分图像B(x,y,t)进行标定，确定挥手的像素点总数S；

D：设定阀值Th2，若S>Th2，则判定检测到挥手，初步确定手势位置。

其中，所述步骤（4）包括如下步骤：

A：确定挥手区域的中心点，并根据步骤（2）计算出人手的大小，确定人手搜索区域；

B：将人手搜索区域中的图像转换到适宜肤色分割的颜色空间，在该颜色空间上建立初始肤色模型；

C：根据建立的初始肤色模型，对图像进行肤色的粗分割；

D：根据粗分割的结果更新肤色模型，对图像再次进行肤色分割；

E：重复步骤D，对比前后肤色模型参数，若参数趋于稳定，则停止，获得肤色的细分割结果；

F：根据细分割后的结果，计算出人手位置中心点，得到精确的人手位置，初步定为手势位置。

下面对本实施例所述检测方法再详细说明：

步骤（1）：用户进入摄像头范围内，身体正对摄像头，并挥手，摄像头采集一段序列图像，人机交互系统采用haar小波变换进行特征提取，选择Adoboost分类器做人脸检测，搜索到人脸后，获取图像中人脸位置(x₀,y₀)与大小信息(w₀,h₀)。

步骤（2）：根据人脸位置与大小信息，设定挥手检测区域，按照日常习惯，我们将以人的右肩膀为中心的一块矩形区域设定为挥手检测区域(x_d,y_d,w_d,h_d)，并且根据人体结构特点计算出人手大小(w₁,h₁)，具体计算方法如下：

w₁=a₀*w₀，h₁=b₀*h₀

w_d=a₁*w₁，h_d=b₁*h₁

x_d=x₀+w₀，y_d=y₀+h₀–0.5*h_d

（其中a₀，b₀，a₁，b₁为比例系数）。

步骤（3）：通过对摄像头采集视频图像序列进行计算，在设定的挥手检测区域中检测是否有挥手产生，并获得变化像素区域的位置中心点，初步定为手势位置。该步骤的具体步骤如下：

A：计算采集到视频图像序列的帧间差分图像D(x,y,t)=|I(x,y,t)-I(x,y,t-1)|，其中，I(x,y,t)表示t时刻采集到的一幅图像中的挥手检测区域图像；

B：计算二值化后的帧间差分图像B(x,y,t)，设定阀值Th1，如果D(x,y,t)>Th1，则B(x,y,t)=V₁，相反B(x,y,t)=V₂；

C：通过对比二值化后的帧间差分图像对挥手像素点进行标定，确定挥手的像素点总数S。具体步骤如下：

设定一段时间长度T，获取T时间长度的二值化后的帧间差分图像。对一个二维的标定记录矩阵U(x,y)进行操作，如果B(x,y,t)的值不等于B(x,y,t-1)的值，则认为是变化像素点，若记录到连续n次发生变化，则标记U(x,y)是挥手像素点；相反，如果B(x,y,t)的值等于B(x,y,t-1)的值，则认为该像素点未发生变化，若该像素点连续未发生变化，则标记U(x,y)是静止像素点。对U(x,y)中标记的挥手像素点进行统计求和，得到挥手像素点的总数S。

D：设定阀值Th2，若S>Th2，则判定为检测到挥手。

由于挥手动作是动态的，所以挥手成功后得到的位置是不精确的，必须通过其他途径来确定挥手的精确位置。本实施例采用自适应阈值的肤色分割技术定位人手位置。

（4）以变化像素区域的位置中心点作为参考点，并根据步骤（2）计算出人手的大小，确定人手搜索区域，再定位人手的精确位置。该步骤具体包括如下步骤：

A：如图1中所示，以获得的粗略的手势位置中心点为参考点，参考步骤（2）计算出的人手大小信息，划定人手搜索区域；

B：将搜索区域中的图像转换到对肤色分割具有良好效果的颜色空间YCrCb，在该颜色空间上建立初始肤色阀值模型；

C：根据建立的初始肤色模型，对图像进行肤色的粗分割，把Y，Cr，Cb三个通道的阈值适当的放大，然后用放大后的肤色模型对这个图像进行处理，确保是肤色的地方都能分割出来，允许部分类肤色的图像干扰；

D：对已经分割出来的图像进行统计处理，对每个通道的像素求平均值，得到适合当前场景内肤色的模型，设定比较窄的通道阈值，对图像再次进行肤色分割；

E：重复步骤D，对比前后肤色模型参数，若参数趋于稳定，则停止，获得肤色的细分割结果；

F：根据细分割后的结果，计算出位置中心点，得到精确的人手位置。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于视频流的人手定位方法，其特征在于，该方法包括如下步骤：

(1)摄像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；

(2)根据人脸的位置与大小信息，确定挥手检测区域，并计算出人手大小；

(3)计算所述挥手检测区域内是否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；

(4)以变化像素区域的位置中心点作为参考点，并根据步骤(2)计算出人手的大小，确定人手搜索区域，再定位人手的精确位置；

其中，所述步骤(3)计算所述挥手检测区域包括如下步骤：

A：计算采集到图像的帧间差分图像D(x,y,t)；

B：计算二值化后的帧间差分图像B(x,y,t)，设定阀值Th1，如果D(x,y,t)>Th1，则B(x,y,t)＝V₁，相反B(x,y,t)＝V₂；

C：设定一段时间长度T，获取T时间长度的二值化后的帧间差分图像；对一个二维的标定记录矩阵U(x,y)进行操作，如果B(x,y,t)的值不等于B(x,y,t-1)的值，则认为是变化像素点，若记录到连续n次发生变化，则标记U(x,y)是挥手像素点；相反，如果B(x,y,t)的值等于B(x,y,t-1)的值，则认为该像素点未发生变化，若该像素点连续未发生变化，则标记U(x,y)是静止像素点；对U(x,y)中标记的挥手像素点进行统计求和，得到挥手像素点的总数S；

D：设定阀值Th2，若S>Th2，则判定检测到挥手，初步确定手势位置；

所述步骤(4)包括如下步骤：

A：确定挥手区域的中心点，并根据步骤(2)计算出人手的大小，确定人手搜索区域；

B：将人手搜索区域中的图像转换到适宜肤色分割的颜色空间，在该颜色空间上建立初始肤色模型；

C：根据建立的初始肤色模型，对图像进行肤色的粗分割；

D：根据粗分割的结果更新肤色模型，对图像再次进行肤色分割；

E：重复步骤D，对比前后肤色模型参数，若参数趋于稳定，则停止，获得肤色的细分割结果；

F：根据细分割后的结果，计算出人手位置中心点，得到精确的人手位置。