CN104167006B - 一种任意手形的手势跟踪方法 - Google Patents

Abstract

本发明公开了一种任意手形的手势跟踪方法，该方法包括如下步骤：（1）初始化背景模型；（2）初始化手的位置区域；（3）根据手的位置区域得到目标区域的统计直方图；（4）根据统计直方图对当前时刻读入的图像做直方图反向投影，得到肤色概率图；（5）将当前帧分别与前一帧、背景模型做差，得到差分图像；（6）根据差分图像将各像素点标记为不同类型，得到前景概率图；（7）由前景概率图与肤色概率图得到运动肤色概率图；（8）对运动肤色概率图进行聚类，定位人手的精确位置；（9）根据跟踪结果对背景模型进行更新。本发明中的方法能简单有效地进行人手跟踪，对使用者的手形要求不高，且运算复杂度底，更富有人性化。

Description

一种任意手形的手势跟踪方法

技术领域

本发明涉及手势跟踪技术领域，具体涉及一种任意手形的人手跟踪方法。

背景技术

手势跟踪是计算机视觉领域的重要部分，随着智能家居概念的提出，手势交互技术正逐步成为一种重要的人机交互手段。研究人员通过赋予计算机理解人手动作的理解能力，使得计算机通过采集人手图像序列，对图像序列处理，获取对人手动作的识别，并且在交互系统中得到智能响应。

在手势跟踪过程中存在手的非刚性形变、环境变化、背景干扰以及类肤色干扰等问题。目前国内外在手势跟踪这个研究领域也取得了丰富的成果，针对任意手形跟踪，现有的较为广泛使用的跟踪方法主要分为：（1）结合Camshift、卡尔曼滤波的人手跟踪算法；（2）基于压缩感知技术的手势跟踪方法；（3）基于特征提取和粒子滤波的人手跟踪方法。第一种方法对手形的变化要求不高，但是跟踪精度不高，且容易受得背景类肤色干扰；后两种方法在固定手形的前提下跟踪效果良好，精度高，可应付一定的形变，但相对而言人手的形状和运动方法受到约束。这些都使得用户在做手势交互中时无法得到最自然的交互体验，在交互过程中，用户所处的复杂背景影响交互效果，对手形变化和运动的要求又会给用户带来疲劳感。针对这些问题，本发明提出了一种任意手形的手势跟踪算法。采用多种颜色空间相结合的自适应肤色分割，建立背景模型，利用当前帧帧差与背景差的结合得到分割完整的手，并且实时更新背景模型，准确地找到运动的手势目标，排除干扰。实验结果证明，该算法鲁棒性强，实时性高，抗干扰能力强。

发明内容

本发明提供一种任意手形的手势跟踪方法，基于自适应多颜色空间多通道分割和帧差与背景建模相结合的方法，在空间中对任意的自由手形进行跟踪，在跟踪过程当中，手形可以任意形变，算法能对其进行准确定位跟踪，实现自然的手势交互，具体技术方案如下。

一种任意手形的手势跟踪方法，该方法包括如下步骤：

（1）摄像头实时采集用户操作范围以内的视频图像，将摄像头启动后的第一帧作为初始化的背景模型；

（2）根据已训练好的检测五指张开的手掌分类器检测到人手的结果，初始化手的位置区域，并计算出人手的面积大小；

（3）根据初始化手的位置区域得到自适应目标区域的颜色统计直方图；

（4）根据颜色统计直方图对当前时刻摄像头读入的图像做颜色直方图反向投影，得到肤色概率图；

（5）将当前帧图像分别与前一帧图像、背景模型图像做差，得到两幅差分图像；

（6）根据两幅差分图像的灰度图上每个像素点的灰度值大小，将对应的像素点标记为相应类型，所述类型包括前景、背景、空洞或重影，并得到前景概率图；

（7）由前景概率图与肤色概率图中得到运动肤色概率图；

（8）对运动肤色概率图进行聚类，定位人手中心的精确位置，并结合人手的面积大小，得到最终的跟踪结果；根据跟踪结果将整幅图像的像素点所属的目标类型进一步细分，标记目标类型，所述目标类型包括：目标、前景、背景、空洞或重影，跟踪结果所在的区域以外的部分设定为背景；

（9）根据跟踪结果和像素标记类型对背景模型进行更新；

（10）若跟踪未结束，则回到步骤（4）。

在其中一个实施例中，所述的颜色统计直方图和颜色直方图反向投影，所使用的颜色空间是HSV和YCrCb，所使用的颜色通道是H、S、Cr，得到三个颜色通道的反向投影图分别为Sh、Ss、Scr，对三个反射投影图进行加权，Wh、Ws、Wcr是对应三个颜色通道H、S、Cr的权值，再求和，利用公式S=Wh*Sh+Ws* Ss +Wcr* Scr得到肤色概率图S。

在其中一个实施例中，所述根据两幅差分图像的结果得到像素标志和前景概率图包括如下步骤：计算采集到的当前帧图像与前一帧图像的帧间差分图像D；计算采集到的当前帧图像与背景模型图像的差分图像IB。

在其中一个实施例中，所述的设定阈值Th1，Th2，每个位置像素点对应两幅图像上的值分别与两个阈值Th1和Th2的比较，标志每个像素点所属类型；根据每个像素点所属的类型对前景图不同的概率值（p1、p2、p3、p4）。

在其中一个实施例中，所述的根据D(x,y)和IB(x,y)与两个阈值Th1和Th2的比较，标志每个像素点所属类型，分别为：前景、空洞、重影、背景。

在其中一个实施例中，所述的由前景概率图Pb与肤色概率图Ps，利用公式P=Pb *Ps得到概率图P，对运动肤色概率图进行分割阈值和归一化处理后得到运动肤色概率图P。

在其中一个实施例中，所述跟踪结果和像素标记类型对背景模型进行更新，即根据每个像素点所属标记类型进行自适应背景更新，每种标记类型(目标、前景、空洞、重影、背景)的更新率不同。结合前一帧背景模型和当前帧灰度图与对应的更新率，利用如下式子对背景模板进行实时更新，背景更新公式：。

本发明与现有技术相比，具有如下优点和技术效果：

（1）本发明实现了在普通单目2D摄像头下，任意可变化手形的人手跟踪；（2）采用自适应多颜色空间多通道分割，提高肤色分割的精确度；（3）采用帧差与背景建模相结合的方法，提高前景分割的完整度；（4）算法简单高效，实时性高，运算复杂度低。

附图说明

图1为任意手形跟踪方法整体流程。

具体实施方式

以下结合附图对本发明的具体实施做进一步的说明。

请参阅图1，实施例提供的一种任意手形的手势跟踪方法，包括以下步骤：

步骤S101：摄像头实时采集视频图像，初始化背景模型。具体的，该步骤采集视频第一帧作为初始化的背景图像B₀。

步骤S102：根据手掌分类器检测的人手结果，初始化手的位置区域，并计算出人手的面积大小R，在本实施例中，利用人手检测分类器在图像中搜索人手位置，为了降低误检概率，设置连续检测到人手的阈值个数THn，只有当连续N帧（N>THn）在图像上同一敏感区域内检测到人手，人手的初始化才有效，该人手获取控制权。

步骤S103：由初始化的手的位置区域中将得该区域块的颜色空间由RGB分别转为HSV颜色空间和YCrCb颜色空间，选取H、S、Cr通道进行直方图统计，分别得到对应的自适应目标区域的统计直方图HistH、HistS和HistCr。

步骤S104：根据步骤中的统计直方图HistH、HistS和HistCr，得到当前输入图像在三个颜色通道的反向投影图，分别为Sh、Ss、Scr，对三个反射投影图分别进行加权Wh、Ws、Wcr后，求和得，公式S=Wh*Sh+Ws* Ss +Wcr* Scr得到肤色概率图S。

步骤S105：根据两幅差分图像的结果得到像素标志和前景概率图，具体的，根据公式：计算采集到的当前帧图像与前一帧图像的帧间差分图像D，根据公式：计算采集到的当前帧图像与背景模型图像的差分图像IB。

步骤S106：设定阈值Th1，Th2，每个位置像素点对应两幅图像上的值分别为D(x,y)和IB(x,y)，根据D(x,y)和B(x,y)与两个阈值Th1和Th2做如下比较：

前景：D(x,y) >= Th1 &&IB(x,y) > Th2；

空洞：D(x,y) < Th1 &&IB(x,y) >= Th2；

重影：D(x,y) >= Th1 &&IB(x,y) < Th2；

背景：D(x,y) < Th1 &&IB(x,y) < Th2；

根据每个像素点所属的类型对前景图不同的概率值（p1、p2、p3、p4）标志每个像素点所属类型。

步骤S107：由前景概率图与肤色概率图得到运动肤色概率图，具体方法：定义前景概率图Pb，肤色概率图Ps，根据公式：P=Pb * Ps计算运动肤色概率图上每个像素点(x,y)对应的概率值大小，然后设置阈值THp，对运动肤色概率图上所有的点，满足P(x,y)<THp的情况，都设置P(x,y)=0。最后将运动肤色概率图P上的每个像素点的概率值做归一化处理，使所有概率值被归一化为0~1之间。

步骤S108：由前景概率图与肤色分割图得到运动肤色概率图P=Pb * Ps，对运动肤色概率图进行多次迭代聚类，定位人手中心的精确位置，并结合人手的面积大小，得到最终的跟踪结果。根据跟踪结果（将整幅图像的像素点所属的目标类型进一步细分，标记目标类型，所述目标类型包括：目标、前景、背景、空洞或重影，跟踪结果所在的区域以外的部分设定为背景。

步骤S109：根据跟踪结果和像素标记类型对背景模型进行更新，即根据每个像素点所属标记类型进行自适应背景更新，每种标记类型的更新率不同。根据实际应用情况，目标、前景、空洞、重影、背景的更新率设置如下：

其中分别代表前景、空洞、重影、背景对应像素点的更新率大小，并且满足。然后根据像素点所属的不同类型，对自适应调整背景模型每个像素点的更新权重w。最后，依据公式：对背景进行实时更新。

步骤S110：若跟踪未结束，则回到步骤S104。

以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属于本发明的保护范围。

Claims (4)

1.一种任意手形的手势跟踪方法，其特征在于，该方法包括如下步骤：

(1)摄像头实时采集用户操作范围以内的视频图像，将摄像头启动后的第一帧作为初始化的背景模型；

(2)根据已训练好的检测五指张开的手掌分类器检测到人手的结果，初始化手的位置区域，并计算出人手的面积大小；

(3)根据初始化手的位置区域得到自适应目标区域的颜色统计直方图；所述颜色统计直方图所使用的颜色空间是HSV和YCrCb，所使用的颜色通道是H、S、Cr；

(4)根据颜色统计直方图对当前时刻摄像头读入的图像做颜色直方图反向投影，得到肤色概率图；具体是：三个颜色通道H、S、Cr的颜色直方图反向投影图分别为Sh、Ss、Scr，对三个反向投影图分别进行加权，再求和，得到肤色概率图S，S＝Wh*Sh+Ws*Ss+Wcr*Scr，其中Wh、Ws、Wcr是对应三个颜色通道H、S、Cr的权值；

(5)将当前帧图像分别与前一帧图像、背景模型图像做差，得到两幅差分图像；所述的两幅差分图像通过如下步骤获得：

A：计算采集到的当前帧图像灰度图I_t与前一帧图像灰度图I_t-1的帧间差分图像；

B：计算采集到的当前帧图像灰度图I_t与背景模型图像B_t-1的差分图像；

(6)根据两幅差分图像的灰度图上每个像素点的灰度值大小，将对应的像素点标记为相应类型，所述类型包括前景、背景、空洞或重影，并得到前景概率图；标记像素类型和得到前景概率图的过程包括：

A：设定阈值Th1，Th2，每个位置像素点对应两幅图像上的值分别为D(x,y)和IB(x,y)，根据D(x,y)、IB(x,y)分别与两个阈值Th1、Th2的比较，标记每个像素点所属类型；

B：根据每个像素点所属的类型对像素点赋予不同的概率值，前景、背景、空洞和重影类型的像素点对应的概率值分别为p1、p2、p3、p4，得到前景概率图；

(7)由前景概率图与肤色概率图中得到运动肤色概率图；

(8)对运动肤色概率图进行聚类，定位人手中心的精确位置，并结合人手的面积大小，得到最终的跟踪结果；根据跟踪结果将整幅图像的像素点所属的目标类型进一步细分，标记目标类型，所述目标类型包括：目标、前景、背景、空洞或重影，跟踪结果所在的区域以外的部分设定为背景；

(9)根据跟踪结果和像素标记类型对背景模型进行更新；

(10)若跟踪未结束，则回到步骤(4)。

2.根据权利要求1所述的一种任意手形的手势跟踪方法，其特征在于根据D(x,y)、IB(x,y)分别与两个阈值Th1、Th2的比较，标记每个像素点所属类型，具体判断依据：

前景：D(x,y)>＝Th1&&IB(x,y)>Th2；

空洞：D(x,y)<Th1&&IB(x,y)>＝Th2；

重影：D(x,y)>＝Th1&&IB(x,y)<Th2；

背景：D(x,y)<Th1&&IB(x,y)<Th2。

3.根据权利要求1所述的一种任意手形的手势跟踪方法，其特征在于，所述步骤(7)由前景概率图与肤色概率图中得到运动肤色概率图的过程包括如下步骤：

A：定义前景概率图Pb，肤色概率图Ps；

B：运动肤色概率图P上每个像素点(x,y)对应的概率值大小为P＝Pb*Ps；

C：设置阈值THp，对运动肤色概率图上所有的像素点，当P(x,y)<THp的情况，都设置P(x,y)＝0；

D：将运动肤色概率图P上的每个像素点的概率值做归一化处理，使所有概率值被归一化为0～1之间。

4.根据权利要求1所述的一种任意手形的手势跟踪方法，其特征在于，所述步骤(9)根据跟踪结果和像素标记类型对背景模型进行更新，即根据每个像素点所属标记类型进行自适应背景更新，每种标记类型的更新率不同，

A：根据实际应用情况，目标、前景、空洞、重影、背景更新率设置如下：

其中w₁,w₂,w₃,w₄分别代表前景、空洞、重影、背景对应像素点的更新率大小，并且满足w₁<w₂<w₃<w₄；

B：根据像素点所属类型，对背景模型自适应调整像素的更新权重；结合前一帧背景模型B_t-1和当前帧灰度图I_t与对应的更新率w，利用如下式子对背景模板进行实时更新：

B_t(i,j)＝B_t-1(i,j)×w+I_t(i,j)×(1-w)。