CN104143195A - 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法 - Google Patents

一种手势跟踪过程中手形变化导致跟踪偏移的修正方法 Download PDF

Info

Publication number
CN104143195A
CN104143195A CN201410318691.XA CN201410318691A CN104143195A CN 104143195 A CN104143195 A CN 104143195A CN 201410318691 A CN201410318691 A CN 201410318691A CN 104143195 A CN104143195 A CN 104143195A
Authority
CN
China
Prior art keywords
hand
light stream
fist
frame
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410318691.XA
Other languages
English (en)
Other versions
CN104143195B (zh
Inventor
徐向民
裘索
罗雅愉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410318691.XA priority Critical patent/CN104143195B/zh
Publication of CN104143195A publication Critical patent/CN104143195A/zh
Application granted granted Critical
Publication of CN104143195B publication Critical patent/CN104143195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，包括：利用当前帧图像信息与前一帧图像信息做块匹配，得到两帧的运动光流；由跟踪过程得到的目标的位置、大小信息获得每一帧的初始检测区域；将初始检测区域做简单的阈值肤色分割得到区域分割二值图；由初始检测区域设置掌心位置；分别统计以掌心为中心点所有像素的内聚和扩散的加权和；判断手是否处于握拳和张开状态，修正对前跟踪算法得到的跟踪框进行修正。本发明方法不受限于任何跟踪算法，灵活地运用到手型变化过程中，及时检测到因握拳导致的手型变化趋势，直接对跟踪结果进行修正，使跟踪结果更加精确。

Description

一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
技术领域
本发明涉及计算机视觉跟踪领域，具体涉及一种手势跟踪过程中手形变化导致跟踪偏移的修正方法。
背景技术
基于计算机视觉的手势跟踪是目前人机交互的热点，手势跟踪算法日益成熟，常用的手势跟踪算法是针对固定手形，在手的正常漫游情况下，能成功跟踪到目标。但是，在实际操作中，由于人手是非刚性物体，在手移动过程中，由于实际系统的操作需要，用户在采用握拳手势进行“确认”选择过程中，手形发生较大形变。就目前研究技术而言，大部分手势跟踪算法在手的形变不大时，基本能正常跟踪，而应对手的快速形变时，无论是固定模板、半监督、在线学习等跟踪算法，都会出现不同程度的跟踪偏移或者跟丢的情况。目前大部分在线更新样本算法虽然能部分解决跟踪过程中的形变问题，但是，如图1，仍然解决不了握拳形变导致跟踪框下移的问题。为了克服目前手势跟踪算法中的不足，本发明提出了一种手势跟踪过程中由握拳形变导致跟踪偏移的修正方法。
发明内容
本发明的目标在于克服现有的手势跟踪算法在实际应用中存在的不足，提供了一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，具体技术方案如下。
一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，包括如下步骤：
获取帧图像，利用跟踪算法得到目标的跟踪框作为算法的输入图像块；
利用当前帧输入图像与前一帧的图像得到光流；
对所得光流矢量图统计光流信息和光流分布特征；
根据统计结果和分布特征预测手形变化趋势；
结合手的整体运动速度，得到当前人手所做动作，根据判断策略修正最终的跟踪结果。
在其中一个实施例中，将当前帧的跟踪结果所在敏感区域与前一帧图像对应区域做稠密光流，得到运动目标的光流矢量图。该方法能有效减少光流算法的运算量，得到运动目标的光流矢量图。
在其中一个实施例中，所述对所得光流矢量图统计光流信息和光流分布特征，包括以下步骤：
(a)提取光流矢量图中的速度大小值；
(b)对速度图做二值化处理；
(c)计算速度二值化图像的重心、总面积“半径”；
(d)将速度二值化图像的重心、总面积“半径”与实际的光流团分布做比较，分析速度二值化图的光流分布特点；
(e)根据分布特点判断手是否处于稳定状态。
进一步的，所述统计光流信息和光流分布特征，根据统计结果和分布特征判断手当前所处的状态，具体包括：提取光流矢量图中的速度大小值，对速度图做二值化处理，计算速度二值化图像的重心、总面积“半径”，并与实际二值图像中的光流团分布做比较，分析速度二值化图的光流分布特点，根据分布特点判断手是否处于稳定状态。
进一步的，所述预测握拳张开趋势具体包括：对所得到的光流矢量图，与肤色分割后的二值图像相与，得到运动的肤色光流图，对该图进行光流信息统计，以掌心为中心点，统计光流的内聚和发散程度，并以光流的大小作为角度的加权值，根据光流内聚值和发散值的比较初步判断握拳、拳头和张开状态。
进一步的，所述手的整体运动速度的获得过程是：在跟踪过程中，保留当前帧的前五帧跟踪结果，利用前五帧的跟踪结果与当前帧的跟踪框所处位置，计算得到当前帧和前四帧中每一帧手的整体运动速度。
进一步的，所述的统计光流的内聚和发散程度包括：根据跟踪结果确定手的掌心位置；以掌心的位置为中心，设置敏感区域上每个像素上光流内聚和扩散的阈值；分别统计敏感区域中光流的向内聚拢和向外扩散的像素及其速度加权值的和。
进一步的，所述的光流分布特点的分析过程包括：
提取光流矢量图中的速度大小值，对速度图做二值化处理；
计算图像中所有非零像素点的重心坐标cen；
标记二值化速度图像各个部分连通域i，并计算各个连通域的重心坐标ceni；
累加所有连通域面积的值sum，将sum作为一个未知圆的总面积，并计算其半径；
计算各个连通域的重心坐标ceni与半径的方差vari之平均值var；
根据var的值与跟踪框的大小的比值与所有非零像素点的重心坐标cen判断光流分布的特点。
进一步的，所述握拳状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终状态为握拳或者速度停下的手掌状态，且预测握拳张开趋势中的所述初步判断结果为握拳。
进一步的，所述的拳头状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终状态为拳头状态、握拳状态或者拳头移动状态，且预测握拳张开趋势中的所述初步判断结果为非握拳非张开状态。
进一步的，其特征在于所述的张开状态判断方法：张开状态判断方法：在用户的手处于稳定状态的前提下，若上一帧的最终状态为张开或者拳头的状态，且预测握拳张开趋势中的初步判断结果为张开。
在其中一个实施例中，所述的拳头状态是由拳头检测器检测得到，拳头检测器是由拳头正样本，经过提取特征，训练得来。
在其中一个实施例中，所述的手掌状态是由手掌检测器检测得到，手掌检测器是由手掌正样本，经过提取特征，训练得来。
本发明一种手势跟踪过程中握拳导致跟踪偏移的修正方法与现有技术相比，具有如下优点和技术效果：
(1)本发明方法复杂度低，在实际应用中消耗的资源少。
(2)本发明对一般的手势跟踪算法具有通用性，不受跟踪算法的限制，可以直接使用。
(3)本发明采用光流法，结合肤色分割，划分运动中的肤色区域，减少背景干扰和统计误差，能有效修正因人手非刚性特点带来的跟踪偏移。
(4)本发明结合在实际应用中人手操作过程在空间的分布特点做相应的判断策略，修正因人的自然行为习惯所致的跟踪偏移。
附图说明
图1是握拳动作导致跟踪框下移示意图。
图2是方法的整体流程图。
图3a、图3b是模拟光流示意图。
具体实施方式
以下结合附图对本发明的具体实施方法作进一步说明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明的符号和过程，均是本领域技术人员可参照现有技术实现的。
如图2，本发明提供一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，利用当前帧输入图像与前一帧的图像得到光流(如图3a、图3b)，对所得光流矢量图统计光流信息和光流分布特征，根据统计结果和分布特征预测手形变化趋势，结合手的整体运动速度，根据判断策略修正最终的跟踪结果。该方法的大体步骤如下：
(1)摄像头采集到图像序列，并保存当前帧图像信息和前一帧图像信息；
(2)利用当前帧图像信息与前一帧图像信息做光流算法，得到两帧的运动光流；
(3)由跟踪过程得到的目标的位置、大小信息获得每一帧的初始检测区域；
(4)将初始检测区域做简单的阈值肤色分割得到区域分割二值图，提取运动中的肤色区域；
(5)分析光流速度矢量图的分布特点；
(6)选定初始检测区域的中心点，分别统计所有像素的内聚和扩散加权值的总和；
(7)根据判断结果，对先前跟踪算法得到的跟踪框进行修正，记录当前帧的跟踪结果。
其中，所述的步骤(2)计算两幅图像的运动光流，将当前帧的跟踪结果所在敏感区域与前一帧图像对应区域做稠密光流，该方法能有效减少光流算法的运算量，得到运动目标的光流矢量图，包括如下步骤：
(a)在跟踪过程中，摄像头不断采集图像序列，保存当前帧及其前一帧的图像；
(b)根据当前帧的跟踪算法得到的跟踪结果截取待处理的敏感区域cur_img，同时对前一帧图像截取相应的区域pre_img；
(c)分别将cur_img、pre_img转换为灰度图像cur_gray、pre_gray；
(d)利用稠密光流算法，由cur_gray、pre_gray得到两幅图像的运动光流flow；
其中，所述的步骤(4)中提取运动中的运动中的肤色区域包括如下步骤：
(a)将敏感区域中的图像由RGB颜色空间转换成YCrCb颜色空间(这里不考虑亮度的影响，只考虑二维空间CrCb)：
RGB色彩空间与YcrCb(YUV)色彩空间的转换公式如下:
Y＝0.299R+0.587G+0.114B
U＝-0.147R-0.289G+0.436B
V＝0.615R-0.515G-0.100B
R＝Y+1.14V
G＝Y-0.39U-0.58V
B＝Y+2.03U
(b)使用简单的参数模型对肤色进行聚类描述，定义符合以下条件的色彩为肤色：
130＜Cr＜170
85＜Cb＜130
(c)对图像中符合肤色阈值范围的像素进行二值化处理，得到图像的肤色掩膜skin_mask。
将运动光流flow与肤色掩膜skin_mask相与，得到肤色区域运动光流skin_flow；将其进行二值化处理得到二值化图像flow_seg。
所述的步骤(5)中分析光流速度矢量图的分布特点包括如下步骤：
(a)提取二值化图像flow_seg的连通阈，并统计其非零区域的面积大小area；
(b)逐个标记连通阈的重心ceni
(c)求所有连通阈中心的平均中心位置；
(d)计算所有连通阈中心ceni到平均中心位置的欧氏距离vari的平均值var；
(e)根据求圆面积公式S＝πr2，求出面积为area的圆的半径radius；
(f)根据distance与radius的比值与阈值threshold的关系，判断手是否处于稳定状态。
所述步骤(6)中统计光流内聚和扩散的方法包括以下步骤：
(a)跟踪初始跟踪框确定掌心位置为中心点；
(b)肤色区域运动光流skin_flow中每一个像素点与中心点连线，以该线段的法线方向作为阈值，在法线方向向中心一侧的角度范围为内聚范围，相反一侧为扩散范围；
(c)根据阈值划分每一个像素点上对应的光流速度方向为内聚或者扩散类型，并以速度大小作为加权，再按类型分别求和，得到内聚总和vel1和扩散总和vel2；
(d)根据实验情况设置大小阈值thresholdmax和thresholdmin；
(e)内聚总和vel1和扩散总和vel2的比值为ratio，判断标准如下：
所述步骤(7)中的判断方法包括：
(a)优先检测拳头：在用户的手处于稳定状态的前提下，若上一帧的最终状态为拳头状态、握拳状态或者拳头移动状态，且预测握拳张开趋势中的初步判断结果为无状态，利用拳头检测器检测到敏感区域中存在拳头。
(b)检测握拳：在用户的手处于稳定状态的前提下，若上一帧的最终状态为握拳或者速度停下的手掌状态，且预测握拳张开趋势中的初步判断结果为握拳。
(c)检测张手：在用户的手处于稳定状态的前提下，若上一帧的最终状态为张开或者拳头的状态，且预测握拳张开趋势中的初步判断结果为张开。
以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属于本发明的保护范围。

Claims (10)

1.一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于包括：获取帧图像，利用当前帧输入图像与前一帧的图像得到光流，对所得光流矢量图统计光流信息和光流分布特征，根据统计结果和分布特征判断手当前所处的状态及预测握拳张开趋势，结合手的整体运动速度，得到当前人手所做动作，根据判断策略修正最终的跟踪结果。
2.如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于将当前帧的跟踪结果所在敏感区域与前一帧图像对应区域做稠密光流，得到运动目标的光流矢量图。
3.如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述统计光流信息和光流分布特征，根据统计结果和分布特征判断手当前所处的状态，具体包括：提取光流矢量图中的速度大小值，对速度图做二值化处理，计算速度二值化图像的重心、总面积“半径”，并与实际二值图像中的光流团分布做比较，分析速度二值化图的光流分布特点，根据分布特点判断手是否处于稳定状态。
4.如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述预测握拳张开趋势具体包括：对所得到的光流矢量图，与肤色分割后的二值图像相与，得到运动的肤色光流图，对该图进行光流信息统计，以掌心为中心点，统计光流的内聚和发散程度，并以光流的大小作为角度的加权值，根据光流内聚值和发散值的比较初步判断握拳、拳头和张开状态。
5.如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述手的整体运动速度的获得过程是：在跟踪过程中，保留当前帧的前五帧跟踪结果，利用前五帧的跟踪结果与当前帧的跟踪框所处位置，计算得到当前帧和前四帧中每一帧手的整体运动速度。
6.如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述的统计光流的内聚和发散程度包括：
   根据跟踪结果确定手的掌心位置；
以掌心的位置为中心，设置敏感区域上每个像素上光流内聚和扩散的阈值；
分别统计敏感区域中光流的向内聚拢和向外扩散的像素及其速度加权值的和。
7.如权利要求3所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述的光流分布特点的分析过程包括：
   提取光流矢量图中的速度大小值，对速度图做二值化处理；
   计算图像中所有非零像素点的重心坐标cen；
   标记二值化速度图像各个部分连通域i，并计算各个连通域的重心坐标ceni；
   累加所有连通域面积的值sum，将sum作为一个未知圆的总面积，并计算其半径；
   计算各个连通域的重心坐标ceni与半径的方差vari之平均值var；
   根据var的值与跟踪框的大小的比值与所有非零像素点的重心坐标cen判断光流分布的特点。
8.如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述握拳状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终状态为握拳或者速度停下的手掌状态，且预测握拳张开趋势中的所述初步判断结果为握拳。
9.如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于所述的拳头状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终状态为拳头状态、握拳状态或者拳头移动状态，且预测握拳张开趋势中的所述初步判断结果为非握拳非张开状态。
10.如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于其特征在于所述的张开状态判断方法：张开状态判断方法：在用户的手处于稳定状态的前提下，若上一帧的最终状态为张开或者拳头的状态，且预测握拳张开趋势中的初步判断结果为张开。
CN201410318691.XA 2014-07-04 2014-07-04 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法 Active CN104143195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410318691.XA CN104143195B (zh) 2014-07-04 2014-07-04 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410318691.XA CN104143195B (zh) 2014-07-04 2014-07-04 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法

Publications (2)

Publication Number Publication Date
CN104143195A true CN104143195A (zh) 2014-11-12
CN104143195B CN104143195B (zh) 2017-04-05

Family

ID=51852363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410318691.XA Active CN104143195B (zh) 2014-07-04 2014-07-04 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法

Country Status (1)

Country Link
CN (1) CN104143195B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371307A (zh) * 2017-07-14 2017-11-21 中国地质大学（武汉） 一种基于手势识别的灯效控制方法及系统
CN107527358A (zh) * 2017-08-23 2017-12-29 北京图森未来科技有限公司 一种稠密光流估计方法及装置
CN111612094A (zh) * 2020-05-30 2020-09-01 郑州大学 一种速度误检和修正方法、设备及计算机可读存储介质
CN113554039A (zh) * 2021-07-27 2021-10-26 广东工业大学 基于多注意力机制的动态图像的光流图生成方法和系统
CN117291953A (zh) * 2023-11-27 2023-12-26 长春理工大学 一种用于无人机在复杂背景下跟踪地面动态目标的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270348A (zh) * 2011-08-23 2011-12-07 中国科学院自动化研究所 基于视频流的对变形手势进行跟踪的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270348A (zh) * 2011-08-23 2011-12-07 中国科学院自动化研究所 基于视频流的对变形手势进行跟踪的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DESMOND CHIK: "Using Optical Flow for Step Size Initialisation in Hand Tracking by Stochastic Optimisation", 《HCSNET WORKSHOP ON THE USE OF VISION IN HCI》 *
MUHAMMAD RAZA ALI AND TIM MORRIS: "Combining Skin Color and Optical Flow for Computer Vision Systems", 《INTERNATIONAL JOURNAL OF COMPUTER, ELECTRICAL, AUTOMATION, CONTROL AND INFORMATION ENGINEERING》 *
刘江华 等: "基于光流的动态手势识别", 《计算机工程》 *
王西颖 等: "一种面向实时交互的变形手势跟踪方法", 《软件学报》 *
王西颖 等: "基于HMM-FNN模型的复杂动态手势识别", 《软件学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371307A (zh) * 2017-07-14 2017-11-21 中国地质大学（武汉） 一种基于手势识别的灯效控制方法及系统
CN107371307B (zh) * 2017-07-14 2018-06-05 中国地质大学（武汉） 一种基于手势识别的灯效控制方法及系统
CN107527358A (zh) * 2017-08-23 2017-12-29 北京图森未来科技有限公司 一种稠密光流估计方法及装置
CN111612094A (zh) * 2020-05-30 2020-09-01 郑州大学 一种速度误检和修正方法、设备及计算机可读存储介质
CN111612094B (zh) * 2020-05-30 2023-07-21 郑州大学 一种速度误检和修正方法、设备及计算机可读存储介质
CN113554039A (zh) * 2021-07-27 2021-10-26 广东工业大学 基于多注意力机制的动态图像的光流图生成方法和系统
CN117291953A (zh) * 2023-11-27 2023-12-26 长春理工大学 一种用于无人机在复杂背景下跟踪地面动态目标的方法
CN117291953B (zh) * 2023-11-27 2024-03-08 长春理工大学 一种用于无人机在复杂背景下跟踪地面动态目标的方法

Also Published As

Publication number Publication date
CN104143195B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN102324025B (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN104598915B (zh) 一种手势识别方法与装置
CN104143195A (zh) 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
CN103077531B (zh) 基于边缘信息的灰度目标自动跟踪方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN103413120A (zh) 基于物体整体性和局部性识别的跟踪方法
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN104167006B (zh) 一种任意手形的手势跟踪方法
CN106530340A (zh) 一种指定物体跟踪方法
CN105138990A (zh) 一种基于单目摄像头的手势凸包检测与掌心定位方法
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN104598914A (zh) 一种肤色检测的方法及装置
CN103544478A (zh) 一种全方位人脸检测的方法及系统
CN105069816A (zh) 一种进出口人流量统计的方法及系统
CN105321188A (zh) 基于前景概率的目标跟踪方法
CN109712171A (zh) 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN107730487A (zh) 一种图像检测方法及装置
CN102006462A (zh) 利用运动信息的快速监控视频增强方法及其实现装置
CN103996207A (zh) 一种物体跟踪方法
Lu et al. Hybrid deep learning based moving object detection via motion prediction
CN102800112B (zh) 一种基于概率密度估计的随机摆动区域检测方法
Yuxi et al. A new motion obstacle detection based monocular-vision algorithm
Wu et al. Driver’s posture detection based on centroid coordinates of two-hand (arm) region
Jingbiao et al. Dynamic gesture recognition algorithm in human computer interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant