CN102799875B - 任意手形人手跟踪方法 - Google Patents

Abstract

本发明提供一种任意手形人手跟踪方法，其包括：获得初始化的背景图像；获得人手跟踪起始位置，并依此获得跟踪感兴趣区域；获取图像帧间差分运动信息，并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域；根据预定公式更新背景图像信息；根据更新后的背景图像信息获得人手的分割图像；以及根据人手的分割图像计算分割后的人手的位置，并依据该位置获得新的感兴趣区域。

Description

任意手形人手跟踪方法

技术领域

本发明涉及手势交互技术，特别是涉及一种任意手形人手跟踪方法。

背景技术

随着计算机视觉技术的不断发展，手势交互技术逐步得到推广应用。基于计算机视觉的手势交互，其核心是利用计算机视觉、图像处理等技术对图像采集设备采集到的视频序列进行处理，得到对手势控制行为的理解，从而进行相应响应。

基于计算机视觉的手形跟踪是手势人机交互中的一项关键技术，国内外已有很多学者在这个领域取得了一定的成果，目前已存在的跟踪方法大体分为：（1）基于分类器和粒子滤波的固定手形检测跟踪方法；（2）结合Camshift、光流法、Kalman滤波的运动可变形手形跟踪方法。前者能在固定手形下得到较好的跟踪效果与准确率，很大的缺陷在于手形固定；后者能在一定程度上克服手形变化的问题，但要求变化及运动的速度不是很快，并且精度不高。这使得手势在人机交互应用中存在很大的局限性。而过多的限制人手的形状和运动方式，会带来手势控制疲劳、烦琐等问题，不能满足手势控制自然、舒适的初衷。

发明内容

基于此，本发明提供一种任意手形人手跟踪方法，基于背景模型，对任意变化的人手进行快速精确地跟踪，能够更自然舒适地实现手势控制。

一种任意手形人手跟踪方法，其包括：获得初始化的背景图像；根据该背景图像获得人手跟踪起始位置，并依此获得跟踪感兴趣区域；获取图像帧间差分运动信息，并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域；根据预定公式更新所述当前人手的初始位置区域的背景图像信息；根据更新后的背景图像信息获得人手的分割图像；以及根据人手的分割图像计算分割后的人手的位置，并依据该位置获得新的感兴趣区域。

在其中一个实施例中，所述获得初始化的背景图像的步骤包括：利用公式：对一段时间T内获得的图像帧求平均，而得到初始化的背景图像，其中，B₀表示初始化的背景图像，I_i表示第i个图像帧。

在其中一个实施例中，所述获得人手跟踪起始位置，并依此获得跟踪感兴趣区域的步骤包括：利用手势检测分类器在图像中搜索人手位置，并设定以人手位置为中心，半径为r的圆形区域为跟踪感兴趣区域。

所述获取帧间差分运动信息并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域的步骤包括：根据公式：I_diff＝I_t-I_t-1获得相邻两图像帧之间的差分图像帧，其中，I_t表示t时刻的图像帧，I_t-1表示t-1时刻的图像帧；根据公式： $I_{\mathrm{th}1}=\left\{\begin{array}{cc}255& \mathrm{if}{I}_{\mathrm{diff}}(x,y)>T_{h1}\\ 0& \mathrm{otherwise}\end{array}\right.$ 对该差分图像进行二值化，其中，Th1为预先设定的二值化分割阈值；对该二值化后的图像进行增强去噪处理；以及利用均值飘移方法计算出人手的初始位置区域。

在其中一个实施例中，所述对该二值化后的图像进行增强去噪处理的步骤包括：对感兴趣区域内的运动信息进行加强，以及对感兴趣区域外的运动信息进行减弱。

在其中一个实施例中，所述更新背景图像信息的步骤包括：保留所述当前根据公式： $B_t(x,y)=\left\{\begin{array}{cc}{B}_{t-1}(x,y)& \mathrm{if}(x,y)\∈R_t\\ I_t(x,y)& \mathrm{otherwise}\end{array}\right.$ 保留所述当前人手的初始位置区域内的背景图像信息不变，更新所述当前人手的初始位置区域外的背景图像信息，其中，B_t(x,y)表示t时刻位于背景图像(x,y)处的像素值，I_t(x,y)表示t时刻位于图像帧(x,y)处的像素值，(x,y)代表像素点的坐标位置，R_t表示t时刻的人手的初始位置区域。

在其中一个实施例中，所述根据更新后的背景图像信息，获得人手的分割图像的步骤包括：获得前景与背景差分图像I_bf＝I_t-B_t；以及根据公式： $I_{\mathrm{th}2}=\left\{\begin{array}{cc}255& \mathrm{if}{I}_{\mathrm{diff}}(x,y)<T_{h2}\\ 0& \mathrm{otherwise}\end{array}\right.$ 对该差分图像进行二值化处理，其中，Th2为预先设定的另一个二值化分割阈值。

使用本发明所述的基于视频流的任意手形的手形跟踪方法，具有以下有益效果：（1）实现了在普通单目摄像头下，任意变化手形的人手跟踪；（2）采用背景模型，提高了跟踪精确度；（3）简单有效的算法，实时性高、运算成本低。

附图说明

图1为本发明所述的任意手形人手跟踪方法的流程图；

图2为使用图1的方法获得的分割后的人手图像；

附图标记说明：

步骤：S201、S203、S205、S207、S209、S211；

R_t、t时刻的感兴趣区域位置；R、初始位置区域

具体实施方式

以下结合多个附图对本技术方案做进一步的说明。

请参阅图1，本发明一实施例提供一种基于背景模型来提高精度的任意手形人手跟踪方法。所述方法包括以下步骤：

步骤S201：获得初始化的背景图像。具体的，此步骤采用平均值法，利用公式：对一段时间T内获得的图像帧（序列）求平均，得到初始化的背景图像，其中，B₀表示初始化的背景图像，I_i表示第i个图像帧。

步骤S203：根据该背景图像获得人手跟踪起始位置，并依此获得跟踪感兴趣区域。在本实施例中，利用手势检测分类器在图像中搜索人手位置，并设定以人手位置为中心，半径为r的圆形区域为跟踪感兴趣区域R_t（此时t=0）。

步骤S205：获取图像帧间差分运动信息，并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域。具体的，根据公式：I_diff＝I_t-I_t-1（1）计算相邻两图像帧之间的差分图像，其中，I_t表示t时刻的图像帧，I_t-1表示t-1时刻的图像帧。进一步的，根据公式 $I_{\mathrm{th}1}=\left\{\begin{array}{cc}255& \mathrm{if}{I}_{\mathrm{diff}}(x,y)>T_{h1}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$ 对该差分图像进行二值化，其中，Th1为预先设定的二值化分割阈值。更进一步的，对该二值化后的图像进行增强去噪处理，即：对感兴趣区域中的运动信息进行加强，对感兴趣区域之外的运动信息进行弱化。具体的，对二值化后的图像中，感兴趣区域R_t内进行数字图像处理中的膨胀操作，感兴趣区域R_t外进行数字图像处理中的腐蚀操作。最后，利用均值飘移方法计算出当前人手的初始位置区域。具体的，利用均值飘移（mean-shift）方法计算人手位置的偏移向量，依据所述人手位置的偏移向量并结合人手在图像中的大小经验值进一步计算出人手的初始位置区域R。

步骤S207：根据预定公式更新背景图像信息。具体的，根据公式： $B_t(x,y)=\left\{\begin{array}{cc}{B}_{t-1}(x,y)& \mathrm{if}(x,y)\&Element;R_t\\ I_t(x,y)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$ 保留所述当前人手的初始位置区域R内的背景图像信息不变，更新所述当前人手的初始位置区域R外的背景图像信息，其中，B_t(x,y)表示t时刻位于背景图像(x,y)处的像素值，I_t(x,y)表示t时刻图像帧(x,y)处的像素值，(x,y)代表像素点的坐标位置。在实际应用中，由于当前图像场景是不断发生变化的，因此需要更新背景图像来保证其能够反应不断变化的当前场景。

步骤S209：从当前图像中减去更新后的背景图像，获得人手的分割图像。具体的，本步骤中，先获得前景与背景差分图像I_bf＝I_t-B_t，再根据公式： $I_{\mathrm{th}2}=\left\{\begin{array}{cc}255& \mathrm{if}{I}_{\mathrm{diff}}(x,y)<T_{h2}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$ 对该差分图像进行二值化处理，其中，Th2为预先设定的另一个二值化分割阈值。由此，可得到分割后的人手图像。如图2所示，为单一的帧间差分运动跟踪与结合背景模型之后的分割效果对比。从图中可看出，通过单一的帧间差分运动跟踪方式获得的是一个大体的粗糙的运动轮廓，在此基础上得到的跟踪结果不精确，而结合背景模型之后，则能够获得一个清晰的完整的目标区域，在此基础上能获得比前者更加精确的效果。

步骤S211：根据人手的分割图像，计算分割后的人手的位置，并依据该位置计算获得新的感兴趣区域。完成步骤S211后，返回步骤S205，即为本发明实施例的跟踪循环过程。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种任意手形人手跟踪方法，其包括：

获得初始化的背景图像；

根据该背景图像获得人手跟踪起始位置，并依此获得跟踪感兴趣区域；

获取图像帧间差分运动信息，并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域；

根据预定公式更新背景图像信息，所述更新背景图像信息的步骤包括：

根据公式： $B_t(x,y)=\left\{\begin{array}{cc}{B}_{t-1}(x,y)& if(x,y)\&Element;R_t\\ I_t(x,y)& otherwise\end{array}\right.$

保留所述当前人手的初始位置区域内的背景图像信息不变，更新所述当前人手的初始位置区域外的背景图像信息，其中，B_t(x,y)表示t时刻位于背景图像(x,y)处的像素值，I_t(x,y)表示t时刻位于图像帧(x,y)处的像素值，(x,y)代表像素点的坐标位置，R_t表示t时刻的人手的初始位置区域；

根据更新后的背景图像信息获得人手的分割图像；以及

根据人手的分割图像计算分割后的人手的位置，并依据该位置获得新的感兴趣区域。

2.如权利要求1所述的任意手形人手跟踪方法，其特征在于，所述获得初始化的背景图像的步骤包括：

利用公式：对一段时间T内获得的图像帧求平均，而得到初始化的背景图像，其中，B₀表示初始化的背景图像，I_i表示第i个图像帧。

3.如权利要求1所述的任意手形人手跟踪方法，其特征在于，所述获得人手跟踪起始位置，并依此获得跟踪感兴趣区域的步骤包括：

利用手势检测分类器在图像中搜索人手位置，并设定以人手位置为中心，半径为r的圆形区域为跟踪感兴趣区域。

4.如权利要求1所述的任意手形人手跟踪方法，其特征在于，所述获取帧间差分运动信息并根据感兴趣区域位置中的运动信息，获得当前人手的初始位置区域的步骤包括：

根据公式：I_diff＝I_t-I_t-1获得相邻两图像帧之间的差分图像帧，其中，I_t表示t时刻的图像帧，I_t-1表示t-1时刻的图像帧；

根据公式： $I_{th1}=\left\{\begin{array}{ccc}255& if& I_{diff}(x,y)>T_{h1}\\ 0& & otherwise\end{array}\right.$ 对该差分图像进行二值化，其中，Th1为预先设定的二值化分割阈值；

对该二值化后的图像进行增强去噪处理；

利用均值飘移方法计算出当前人手的初始位置区域。

5.如权利要求4所述的任意手形人手跟踪方法，其特征在于，所述对该二值化后的图像进行增强去噪处理的步骤包括：

对感兴趣区域内的运动信息进行加强，以及对感兴趣区域外的运动信息进行弱化。

6.如权利要求1所述的任意手形人手跟踪方法，其特征在于，所述根据更新后的背景图像信息，获得人手的分割图像的步骤包括：

获得前景与背景差分图像I_bf＝I_t-B_t；以及

根据公式： $I_{th2}=\left\{\begin{array}{ccc}255& if& I_{diff}(x,y)>T_{h2}\\ 0& & otherwise\end{array}\right.$ 对该差分图像进行二值化处理，其中，Th2为预先设定的另一个二值化分割阈值。