CN102270348B

CN102270348B - 基于视频流的对变形手势进行跟踪的方法

Info

Publication number: CN102270348B
Application number: CN 201110242587
Authority: CN
Inventors: 王阳生; 石磊
Original assignee: Beijing Interjoy Technology Ltd; Institute of Automation of Chinese Academy of Science
Current assignee: Beijing Interjoy Technology Ltd; Institute of Automation of Chinese Academy of Science
Priority date: 2011-08-23
Filing date: 2011-08-23
Publication date: 2013-08-07
Anticipated expiration: 2031-08-23
Also published as: CN102270348A

Abstract

本发明公开了一种基于视频流的对变形手势进行跟踪的方法，包括：获取帧图像，并从获取的帧图像中提取包含人手的子图像；从该包含人手的子图像中选取特征跟踪点，并利用该包含人手的子图像对连续自适应均值漂移跟踪器进行初始化；对选取的特征跟踪点进行光流计算，作为局部跟踪结果，同时利用连续自适应均值漂移跟踪器对人手进行整体跟踪，作为全局跟踪结果；对特征跟踪点进行更新；以及以光流跟踪的结果作为变形手势的最终输出结果。本发明可以跟踪任意变化手型的人手，能使人机手势交互以更舒适的方式进行操作。针对任意变化的手型进行跟踪，消除了背景变化和大面积肤色的干扰，实现了实时的、鲁棒的手势跟踪。

Description

基于视频流的对变形手势进行跟踪的方法

技术领域

本发明涉及图像处理、模式识别、人机交互等技术领域，尤其涉及一种基于视频流的对变形手势进行跟踪的方法。

背景技术

基于计算机视觉的人机手势交互，其核心是利用计算机视觉、图像处理、模式识别等技术，对摄像头采集到的视频序列中的帧图像进行检测、跟踪和识别，得到人们的各种手势，并对该手势所表示的行为进行理解和响应。近些年来，随着计算机视觉和模式识别技术的不断发展，手势交互技术已经应用到了电视遥控、视频游戏、视频会议等领域中，给人们的生活和娱乐带来了极大的便利。

基于计算机视觉的手势交互是先进人机交互领域中的一项关键技术，也是当前的一个比较热门的研究课题。国内外已有很多的学者在这个领域取得了一定的成果，然而这项技术尚未完善。在手势交互技术研究的早期，基于数据手套的手势识别研究较多，但是随着用户要求的不断提高和科学技术的不断发展，基于视觉的手势识别逐步凸显它的优越性。因为，基于视觉的手势识别在一定程度上为使用者提供了更加自然，更加直接的人机交互方式。对于一个基于计算机视觉的手势交互系统，由于研究人员为了处理方便，往往会对使用者进行限制，例如，对手势的形状进行限制，在手势移动过程中需要用户的手一直处于张开状态并且与摄像头保持平行。然而，过多类似的限制就会对手势动作的内容提出很高的限定性，不利于深入拓展复杂的手势识别。

对于一个基于计算机视觉的手势交互系统，对手势的快速跟踪是整个过程的重要基础，也是研究的热点和难点。虽然手势识别技术研究已经取得了很大的进步，但是距离性能稳定、可靠的要求还有一定的距离，它存在若干难点和亟待解决的问题。首先，如何应对变化的环境，例如，光线、背景、视角等，这也是计算机视觉领域常见的问题；其次，如何应对人手的各种变形，人手是最为灵活的器官之一，有很高的自由度，能否在人手任意变化的情况下都能识别出各种手势是很关键的问题，在利用手势进行交互的过程中，如果过多的限制人手的形状和运动方式，必将给使用者带来不适，也不满足自然、舒适、和谐的初衷。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的是提供一种基于视频流的对变形手势进行跟踪的方法，以在普通单目摄像头下，对任意变化的人手进行实时跟踪，在嘈杂的背景下和大面积肤色干扰的情况下，都能鲁棒和快速的跟踪人手的位置。

(二)技术方案

为达到上述目的，本发明提供了一种基于视频流的对变形手势进行跟踪的方法，包括：获取帧图像，并从获取的帧图像中提取包含人手的子图像；从该包含人手的子图像中选取特征跟踪点，并利用该包含人手的子图像对连续自适应均值漂移(Camshift)跟踪器进行初始化；对选取的特征跟踪点进行光流计算，作为局部跟踪结果，同时利用Camshift跟踪器对人手进行整体跟踪，作为全局跟踪结果；对特征跟踪点进行更新；以及以光流跟踪的结果作为变形手势的最终输出结果。

(三)有益效果

本发明提供的基于视频流的对变形手势进行跟踪的方法，是针对任意变化的手型进行跟踪，其具有的有益效果如下：

首先，由于采用了肤色特征角点的光流计算进行跟踪，所以消除了背景变化和大面积肤色的干扰；

其次，由于采用了肤色特征角点和连续自适应均值漂移整体控制的局部加全局的策略，充分利用到了两种方法的优点，使对变形人手的跟踪更为鲁棒；

最后，由于采用了特征点实时更新的策略，所以能够在手型剧烈变化下进行实时跟踪，特征点的更新策略充分利用到了运动预测和连续自适应均值漂移全局的控制，使特征点的更新更为精确和可靠。

总之，本发明提供的基于视频流的对变形手势进行跟踪的方法，在普通单目摄像头下，能够对任意变化的人手进行实时跟踪，在嘈杂的背景下和大面积肤色干扰的情况下，都能鲁棒和快速的跟踪人手的位置，实现了实时的、鲁棒的手势跟踪。

附图说明

图1是依照本发明实施例的基于视频流的对变形手势进行跟踪的方法流程图；

图2是光流跟踪结果与Camshift跟踪器之间相互作用的示意图；

图3是运动预测的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出了依照本发明实施例的基于视频流的对变形手势进行跟踪的方法流程图，其具体步骤如下：

步骤1：获取帧图像，并从获取的帧图像中提取包含人手的子图像。采用单目摄像头获取帧图像，并运用检测算法从获取的帧图像中提取包含人手的子图像。此步骤是要选定跟踪目标，本实施例利用自动的选取方法，将人手作为跟踪目标。

步骤2：从该包含人手的子图像中选取特征跟踪点，并利用该包含人手的子图像对Camshift跟踪器进行初始化。在利用光流进行跟踪的实现过程中，计算每一个像素点的光流实际上是没有必要的，跟踪的目的是想知道目标的移动方向和位置，所以本实施例是选择一些有代表性的像素点作为特征点进行光流跟踪，在这里选择包含人手的子图像上面的一些包含丰富纹理信息的角点作为跟踪点，这样就融合了纹理和肤色信息，在一定程度上可以与背景点和其他肤色干扰点做出区分，在这里从包含人手的子图像中选择强Harris特征角点作为跟踪点；在选取特征跟踪点的同时，利用检测到的包含人手的子图像对Camshift跟踪器进行初始化，作为一个全局跟踪的约束，而光流特征点作为局部跟踪的约束。

步骤3：对选取的特征跟踪点进行光流计算，作为局部跟踪结果，同时利用Camshift跟踪器对人手进行整体跟踪，作为全局跟踪结果。本实施例采用局部跟踪加全局约束的融合策略，即采用人手上的特征点作为局部跟踪目标，采用Camshift针对人手进行全局的跟踪约束，控制特征点的更新范围。本实施例选取30个哈里斯(Harris)特征点并且是肤色的像素点进行稀疏点光流计算，这里稀疏点光流计算使用的是Lucas-Kanade算法；采用稀疏点光流计算进行手势跟踪，一方面满足了跟踪的需求，另一方面极大的加快了跟踪的速度。利用初始化的肤色模型，Camshift跟踪器对人手进行整体跟踪。

步骤4：对特征跟踪点进行更新。利用光流特征跟踪点在前后两帧的位置关系统计出人手的运动方向和大小，结合Camshift跟踪结果的整体性约束，对跟踪特征点进行更新，删除那些由于人手变形造成的丢失的特征点，添加一些新的特征点，使得特征点的总数保持30个。

步骤5：输出跟踪结果。整个跟踪方法以光流跟踪的结果作为变形手势的最终输出结果。

在利用光流进行跟踪的实现过程中，计算每一个像素点的光流实际上是没有必要的，因为本实施例只需要知道目标的整体移动方向和位置，如果计算全图光流的话，速度也会大大的降低。所以，本实施例要选择一些有代表性的像素点作为跟踪点进行光流计算。考虑到本实施例是对人手进行实时跟踪，本实施例可以选择人手上面的一些包含丰富纹理信息的角点作为特征跟踪点，这样一来本实施例就融合了纹理和肤色信息，在一定程度上可以与背景点和其他肤色干扰点做出区分。在这里采用强Harris特征点作为特征跟踪点，强Harris特征点实际上是采用Harris特征点的思想，在图像邻域内选择特征最强的那些角点作为特征跟踪点。采用强Harris特征点方法，在包含手势的子图像内选择特征较强的Harris特征点，在这些Harris特征点内再筛选是肤色特征点的像素点作为跟踪的目标，即特征跟踪点。因此，图1中所述从该包含人手的子图像中选取特征跟踪点的具体实现步骤如下：

步骤1：在包含人手的子图像的检测框内选取若干Harris特征点，作为特征跟踪点的备选对象；

步骤2：从选取的若干Harris特征点选出肤色特征点，删除非肤色特征点；

步骤3：对选出的肤色特征点进行筛选，首先选取位置处于中心地带的一个肤色特征点，然后通过距离阈值的判断，以此点为中心往四周扩散，再选取若干特征较强的肤色特征点，保证这些点分布比较均匀；

步骤4：选取30个分布均匀的肤色特征点，然后针对这些肤色特征点进行光流跟踪。

图1中所述利用Camshift跟踪器对人手进行整体跟踪，采用的是Camshift跟踪算法，该Camshift跟踪算法是以均值漂移(MeanShift)算法为基础的一种跟踪算法，在建立好跟踪模型之后，对以后的每一帧图像，Camshift跟踪器能够自动调节搜索框的大小和位置，利用当前帧的跟踪结果去预测下一帧图像中目标的中心和大小。Camshift跟踪算法是一种动态变化分布的密度函数估计的非参数方法。为了减少光照的影响，Camshift跟踪算法一般将颜色空间转换到HSV空间，并使用H通道的信息。Camshift跟踪算法可以分为以下几个步骤：

步骤1：初始化跟踪目标的搜索框大小；

步骤2：计算目标颜色概率分布情况；

步骤3：运行MeanShift获得搜索窗口新的大小和位置；

步骤4：重新设定搜索窗口大小，并输出参数；

步骤5：将当前帧的跟踪结果赋值给下一帧并进行下一帧循环。

图1中所述在对特征跟踪点进行更新的步骤中，利用光流跟踪结果和Camshift相结合排除大面积肤色干扰。图2示出了光流跟踪结果与Camshift跟踪器之间相互作用的示意图。Camshift的跟踪仅仅依靠肤色特征，这样一来很容易受到其他大面积肤色物体的干扰，尤其是当人手和人脸有重叠时，Camshift便漂移到人脸上去。为了能够除去这种干扰，考虑到光流跟踪几乎不受人脸的影响，本实施例添加了一个判断机制，即在每一帧对Camshift跟踪中心与光流跟踪中心之间的距离d进行判断，当这个距离d达到某一阈值时，便利用光流跟踪的结果对Camshift跟踪器重定位，在人手离开与人脸的重叠区时，就可以把Camshift“拉到”人手上来，从而摆脱了人脸的影响。

图1中所述在对特征跟踪点进行更新的步骤中，利用光流特征跟踪点在前后两帧的位置关系统计出人手的运动方向和大小，即人手运动预测的具体实现采用了运动预测的机制，该运动预测的机制基于对相邻两帧内若干特征点的运动向量的统计，如图3所示，图3所示为人手运动预测的示意图。已知这个运动向量，本实施例可以用这些运动向量来估计一个整体的运动方向和大小，计算方法如下：

V = \frac{1}{n} Σ_{i = 1}^{n} \overset{&OverBar;}{v_{i}}

其中，v_i表示某一特征点前后两帧的运动矢量，n表示特征点的总数目，归一化的向量V表示对人手运动方向和大小的预估，i表示特征点的序号。

基于此，本实施例中对特征跟踪点进行更新，具体包括：

步骤1：根据人手运动预测的结果获得人手的大致运动速度和方向，利用这个运动向量乘以一个放缩因子生成一个矩形框；

步骤2：将生成的矩形框与Camshift跟踪结果进行对比，计算出重叠的那部分区域；

步骤3：在重叠的那部分区域中选择若干新的肤色特征点作为备选特征跟踪点；

步骤4：在备选特征跟踪点中选择若干位于区域中心的像素点作为新的特征跟踪点添加到特征跟踪点集中，使得特征跟踪点总数目为30个。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视频流的对变形手势进行跟踪的方法，其特征在于，包括：

获取帧图像，并从获取的帧图像中提取包含人手的子图像；

从该包含人手的子图像中选取特征跟踪点，并利用该包含人手的子图像对连续自适应均值漂移跟踪器进行初始化；

对选取的特征跟踪点进行光流计算，作为局部跟踪结果，同时利用连续自适应均值漂移跟踪器对人手进行整体跟踪，作为全局跟踪结果；

对特征跟踪点进行更新；以及

以光流跟踪的结果作为变形手势的最终输出结果；

其中，所述对特征跟踪点进行更新，是利用光流特征跟踪点在前后两帧的位置关系统计出人手的运动方向和大小，结合连续自适应均值漂移跟踪结果的整体性约束，对跟踪特征点进行更新，删除那些由于人手变形造成的丢失的特征点，添加一些新的特征点，使得特征点的总数保持30个；

所述在对特征跟踪点进行更新的步骤中，利用光流特征跟踪点在前后两帧的位置关系统计出人手的运动方向和大小，人手运动预测的具体实现采用运动预测的机制，该运动预测的机制基于对相邻两帧内若干特征点的运动向量的统计，计算方法如下：

V = \frac{1}{n} Σ_{i = 1}^{n} \overset{&RightArrow;}{v_{i}}

2.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述获取帧图像，并从获取的帧图像中提取包含人手的子图像的步骤中，采用单目摄像头获取帧图像，并运用检测算法从获取的帧图像中提取包含人手的子图像。

3.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述从该包含人手的子图像中选取特征跟踪点的步骤中，选取包含人手的子图像中的包含丰富纹理信息的强哈里斯Harris特征点作为跟踪点，以融合纹理和肤色信息，并与背景点和其他肤色干扰点做出区分。

4.根据权利要求1或3所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述从该包含人手的子图像中选取特征跟踪点，具体包括：

在包含人手的子图像的检测框内选取若干Harris特征点，作为特征跟踪点的备选对象；

从选取的若干Harris特征点选出肤色特征点，删除非肤色特征点；

对选出的肤色特征点进行筛选，首先选取位置处于中心地带的一个肤色特征点，然后通过距离阈值的判断，以此点为中心往四周扩散，再选取若干特征较强的肤色特征点，保证这些点分布比较均匀；以及

选取30个分布均匀的肤色特征点，然后针对这些肤色特征点进行光流跟踪。

5.根据权利要求4所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述在从该包含人手的子图像中选取特征跟踪点的同时，利用检测到的包含人手的子图像对连续自适应均值漂移跟踪器进行初始化，作为一个全局跟踪的约束，而光流特征点作为局部跟踪的约束。

6.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述对选取的特征跟踪点进行光流计算，是选取30个Harris特征点并且是肤色的像素点进行稀疏点光流计算，该稀疏点光流计算使用的是Lucas-Kanade算法。

7.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述利用连续自适应均值漂移跟踪器对人手进行整体跟踪，采用的是连续自适应均值漂移跟踪算法，该连续自适应均值漂移跟踪算法是以均值漂移算法为基础的一种跟踪算法，在建立好跟踪模型之后，对以后的每一帧图像，连续自适应均值漂移跟踪器能够自动调节搜索框的大小和位置，利用当前帧的跟踪结果去预测下一帧图像中目标的中心和大小。

8.根据权利要求7所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述连续自适应均值漂移跟踪算法是一种动态变化分布的密度函数估计的非参数方法，为了减少光照的影响，连续自适应均值漂移跟踪算法将颜色空间转换到HSV空间，并使用H通道的信息；该连续自适应均值漂移跟踪算法包括：

初始化跟踪目标的搜索框大小；

计算目标颜色概率分布情况；

运行均值漂移获得搜索窗口新的大小和位置；

重新设定搜索窗口大小，并输出参数；以及

将当前帧的跟踪结果赋值给下一帧并进行下一帧循环。

9.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述在对特征跟踪点进行更新的步骤中，利用光流跟踪结果和连续自适应均值漂移相结合排除大面积肤色干扰，具体是在每一帧对连续自适应均值漂移跟踪中心与光流跟踪中心之间的距离进行判断，当这个距离达到某一阈值时，便利用光流跟踪的结果对连续自适应均值漂移跟踪器重定位，在人手离开与人脸的重叠区时，就可以把连续自适应均值漂移“拉到”人手上来，从而摆脱人脸的影响。

10.根据权利要求1所述的基于视频流的对变形手势进行跟踪的方法，其特征在于，所述对特征跟踪点进行更新，具体包括：

根据人手运动预测的结果获得人手的大致运动速度和方向，利用这个运动向量乘以一个放缩因子生成一个矩形框；

将生成的矩形框与连续自适应均值漂移跟踪结果进行对比，计算出重叠的那部分区域；

在重叠的那部分区域中选择若干新的肤色特征点作为备选特征跟踪点；以及

在备选特征跟踪点中选择若干位于区域中心的像素点作为新的特征跟踪点添加到特征跟踪点集中，使得特征跟踪点总数目为30个。