CN106934818A - 一种手部运动跟踪方法及系统 - Google Patents

一种手部运动跟踪方法及系统 Download PDF

Info

Publication number
CN106934818A
CN106934818A CN201511030482.6A CN201511030482A CN106934818A CN 106934818 A CN106934818 A CN 106934818A CN 201511030482 A CN201511030482 A CN 201511030482A CN 106934818 A CN106934818 A CN 106934818A
Authority
CN
China
Prior art keywords
block
unicom
frame
barycenter
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511030482.6A
Other languages
English (en)
Other versions
CN106934818B (zh
Inventor
池立盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN201511030482.6A priority Critical patent/CN106934818B/zh
Publication of CN106934818A publication Critical patent/CN106934818A/zh
Application granted granted Critical
Publication of CN106934818B publication Critical patent/CN106934818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及计算机技术领域,具体涉及一种手部运动跟踪方法及系统。步骤S1,采集图像以获取图像数据;步骤S2,获取图像数据中预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;步骤S3,自运动区域中提取当前图像帧的目标区域;步骤S4,在目标区域进行目标跟踪以得到当前图像帧的跟踪结果;步骤S5,在当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正跟踪结果。本发明提出了一种结合多种方法的手部运动估计方法,能够实时对手部进行跟踪,耗时短,计算快,对形变及快速的手部运动鲁棒性高,结合运动跟踪以及目标检测,可及时纠正跟踪偏差的结果。

Description

一种手部运动跟踪方法及系统
技术领域
本发明涉及图像处理技术领域,具体涉及一种手部运动跟踪方法及系统。
背景技术
运动目标跟踪是计算机视觉领域重要的研究内容之一,其跟踪算法易于受到光照、背景、其它运动物体及目标自身变化的影响,为了设计鲁棒且精准的跟踪算法,可以通过背景去除获得运动目标,包括CodeBook(码本算法)、GMM(Gaussian Mixture Model,高斯混合模型)等背景建模方法,然而这通常需要一定时间的背景建模,不适用于实时的检测以及背景变化多的场景。如光流估计的方法都是基于以下假设:图像灰度分布的变化完全是目标或者场景的运动引起的,它对噪声比较敏感,计算复杂度高。目标跟踪时,可以通过区域匹配、特征点跟踪、轮廓跟踪等算法进行,而这些方法对于目标的变形敏感,并且计算量大,耗时长,实时性差。从上述内容可以看出,传统的方法进行运动估计需要进行较为复杂的计算,效率较低。
发明内容
针对以上技术问题,提供一种手部运动跟踪方法及系统,以解决现有技术的缺陷;
具体技术方案如下:
一种手部运动跟踪方法,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取所述图像序列中预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;
步骤S3,自所述运动区域中提取当前图像帧的目标区域;
步骤S4,在所述目标区域进行目标跟踪以得到当前图像帧的跟踪结果;
步骤S5,在所述当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正所述跟踪结果。
上述的手部运动跟踪方法,所述步骤S2的具体步骤为:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,对获得的所述当前运动图进行联通域处理,找到联通的二值化运动区域及多个联通区块。
上述的手部运动跟踪方法,所述步骤S3的具体步骤为:对于得到的多个所述联通区块,分别计算与上一帧跟踪结果附近搜索域中的联通区块的重叠率,选取重叠率最高的联通区块作为当前图像帧的目标区域,所述重叠率通过以下公式计算:
H3=H1∪H2
其中,H3为当前图像帧的目标区域在搜索域中的区块;
H1为上一图像帧的跟踪结果中的联通区块;
H2为上一图像帧的跟踪结果附近搜索域中的联通区块;
overlap为重叠率。
上述的手部运动跟踪方法,所述步骤S3的具体步骤如下:
步骤S31,获得五个联通区块:第n-1帧的跟踪结果中的第一联通区块,第n-1帧的跟踪结果附近搜索域中的第二联通区块,当前第n帧的目标区域在搜索域中的第三联通区块,所述第一联通区块与所述第三联通区块的交集为第四联通区块,所述第二联通区块与所述第三联通区块的交集为第五联通区块;
步骤S32,获得第n-2帧的第一跟踪结果中心,第n-1帧的第二跟踪结果中心;第三联通区块的第一质心,第四联通区块的第二质心,第五联通区块的第三质心;
步骤S33,根据所述第一跟踪结果中心、所述第二跟踪结果中心、所述第二质心、所述第三质心调整所述第一质心,得到跟踪结果;记录当前第n帧的跟踪结果中的第六联通区块,当前第n帧的跟踪结果附近搜索域中的第七联通区块。
上述的手部运动跟踪方法,所述步骤S33的具体步骤包括:
步骤S331,根据所述第一跟踪结果中心、所述第二跟踪结果中心计算估计运动方向及速度;
步骤S332,根据所述运动方向及速度计算权重矩阵和中心权重,调整所述第一质心为调整后的第一质心;
步骤S333,根据所述第二质心、所述第三质心校正调整后的第一质心,得到最终质心为跟踪结果。
上述的手部运动跟踪方法,所述步骤S331通过以下公式得到运动方向以及速度;
其中,p1x和p1y分别为第一跟踪结果中心C1的横向坐标和纵向坐标;p2x和p2y分别为第二跟踪结果中心C2的横向坐标和纵向坐标;ν为运动的速度;y为连接第一跟踪结果中心C1和第二跟踪结果中心C2的速度方向直线的直线函数;x为横向坐标的变量;b为一常数;Rect.width为搜索域的宽度;Rect.height为搜索域的高度。
上述的手部运动跟踪方法,所述步骤S332包括步骤332a:根据所述速度的方向得到与所述速度方向垂直的向量,穿过搜索域中心将当前所述第三联通区块分为第一联通子区块与第二联通子区块,分别求出所述第一联通子区块的质心及所述第二联通子区块的质心,通过速度得到的中心权重来结合所述第一联通子区块的质心及所述第二联通子区块的质心,得到所述第三联通区块的中点:
其中,w为权重系数;C31.x为第一子区块的质心C31的横向坐标;C32.x为第二子区块的质心C32的横向坐标;C31.y为第一子区块的质心C31的纵向坐标,C32.y为第二子区块的质心C32的纵向坐标;C3'.x为第三区块Q3的中点C3’的横向坐标;C3'.y为第三区块Q3的中点C3’的纵向坐标。
上述的手部运动跟踪方法,所述步骤S332中,所述步骤332a之后还包括步骤S332b,提取两个图像帧的共有部分:第四联通区块和第五联通区块,分别计算所述第四联通区块和第五联通区块的质心,根据C4、C5调整C3’,得到最终C3”为跟踪结果。
C3".x=C4.x-C5.x+c3'.x
C3".y=C4.y-C5.y+C3'.y;
其中,C4.x为第二质心C4的横向坐标;C4.y为第二质心C4的纵向坐标;C5.x为第三质心C5的横向坐标,C5.y为第三质心C5的纵向坐标;
C3'.x为中点C3’的横向坐标;C3'.y为中点C3’的纵向坐标;C3"x为最终质心C3"的横向坐标;C3".y为最终质心C3"。
上述的手部运动跟踪方法,步骤S5中,若在所述搜索域中检测到手势,则将检测结果作为纠正后的跟踪结果,并且更新所述第六联通区块及所述第七联通区块。
还包括,一种手部运动目标跟踪系统,用于实施上述的手部运动跟踪方法,包括,
图像采集模块,用于采集图像数据;
运动检测模块,与所述图像采集模块连接,用于检测运动,得到运动图并计算联通域;
跟踪模块,与所述运动检测模块连接,用于对手部进行跟踪;
检测模块,用于检测手部并且纠正跟踪结果。
有益效果:本发明提出了一种结合多种方法的手部运动估计方法,能够实时对手部进行跟踪,耗时短,计算快,对形变及快速的手部运动鲁棒性高,结合运动跟踪以及目标检测,及时纠正跟踪偏差的结果。
附图说明
图1为本发明一种手部运动跟踪方法的流程示意图;
图2为本发明一种手部运动跟踪方法的步骤S2的流程示意图;
图3为本发明的运动检测结果及联通区块示意图;
图4本发明运动估计过程中得到的目标运动区块、跟踪结果区域及搜索域示意图;
图5为本发明的联通区块的重叠率计算示意图;
图6为本发明的步骤S3的流程示意图;
图7为本发明使用的联通区块示意图;
图8为本发明的步骤S33的流程示意图;
图9为本发明通过权重矩阵调整中心的示意图;
图10为本发明调整跟踪结果的示意图;
图11为本发明一种手部运动目标跟踪系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
参照图1,一种手部运动跟踪方法,其中,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取图像序列中预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;
步骤S3,自运动区域中提取当前图像帧的目标区域;
步骤S4,在目标区域进行目标跟踪以得到当前图像帧的跟踪结果;
步骤S5,在当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正跟踪结果。
本发明结合运动跟踪以及目标检测,获得跟踪结果,并可及时纠正跟踪偏差以纠正跟踪结果;通过跟踪一系列图像或者视频中的人手位置区域,可得到跟踪路径来判断手部运动的轨迹和方向,解析肢体语言,便于人机交互。可通过一单目摄像头获取的图像后进行分割处理。
上述的手部运动跟踪方法,参照图2,步骤S2的具体步骤可以为:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得第二帧差中的第一像素点集合部分作为第二像素点集合,获取第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,对获得的当前运动图进行联通域处理,找到联通的二值化运动区域及多个联通区块。
运动分割的目的是将当前运动的区域与非运动区域区分并且标记出来,精确的分割是减少手势检测运算量的重要前提,而快速的分割是提高系统运行速度的重要前提。为了减少运算量,本发明使用了基于帧差的运动分割方式,所需信息仅为三个图像帧之间像素差的信息。具体实现如下:首先计算第n-1帧与第n-2帧之间的帧差作为第一帧差D1,D1=Fn-1-Fn-2,其中,Fn-1为第n-1帧的像素灰度,Fn-2为第n-2帧的像素灰度;然后取得第一帧差大于0的第一像素点集合M1;获取第n帧与第n-2帧之间的帧差作为第二帧差D2,D2=Fn-Fn-2,其中,Fn为第n帧的像素灰度,Fn-2为第n-2帧的像素灰度;n=2、3、4、…;取得第二帧差D2中的第一像素点集合M1部分作为第二像素点集合M2;即:M2=D2&M1;获取第二像素点集合M2中像素大于第一设定阈值T的第三像素点集合M3;一种优选的实施例,第一设定阈值T的取值为10。移动平台计算能力的限制以及实时性的要求,需要快速且运算复杂度不高的方法。基于帧差的运动分割运算复杂度低,经过筛选后得到的运动区域相比原图减少了手势检测中大量的运算量,因此能够满足移动平台的要求;对于得到的帧差图像,即第三像素点集合M3,存在许多散落的点,这些点可能是噪声产生的,也可能是运动区域阈值化引起的。在这里需要进行膨胀腐蚀等图像处理,即执行步骤S22,去除由于噪声产生的较为分散的点,连接由于阈值化引起的较为密集的小块。具体地,首先对图像进行腐蚀处理,去除孤立点,腐蚀的模版大小可以为g1×g1;对图像进行膨胀处理,连接运动区域中较为分散的小区块;膨胀的模版大小可以为g2×g2。在这里,可以使用较小的腐蚀模版和较大的膨胀模版进行图像操作,如g1=2,g2=16,即分别为,腐蚀的模版大小为2×2,膨胀的模版大小为16×16,得到当前运动图M4。接着执行步骤S23,对获得的当前运动图M4进行联通域处理,找到联通的二值化运动区域及多个联通区块,区分相互独立的联通区块,计算各个联通区块的面积,去除面积过小的区域,最终得到的联通区块用不同的序号如L1、L2、L3等进行标记,如图3所示;
以上步骤通过图像处理去除所述当前的运动区域中的孤立点;连接缺失区域,得到当前二值化运动图;对当前二值化的运动图进行联通域分析,去除面积过小的联通区块,计算其余联通区块与上一帧跟踪结果附近搜索域中的联通区块的重叠率,选取重叠率最高的联通区块作为当前帧的目标区域。
接着,对于得到的多个联通区块,分别计算与上一帧跟踪结果附近搜索域中的联通区块的重叠率,选取重叠率最高的联通区块作为当前图像帧的目标区域。图4中联通区块L3为跟踪目标区域,较小的虚线框围起来的区域为跟踪结果区域,大一些的虚线框围起来的区域为搜索域。
结合图5,重叠率通过以下公式计算:
H3=H1∪H2
其中,H3为当前图像帧的目标区域在搜索域中的区块;
H1为上一图像帧的跟踪结果中的联通区块;
H2为上一图像帧的跟踪结果附近搜索域中的联通区块;
overlap为重叠率。
一种具体的实施例,步骤S3的具体步骤如图6所示,包括:
步骤S31,获得五个联通区块:如图7所示,第n-1帧的跟踪结果中的第一联通区块Q1,第n-1帧的跟踪结果附近搜索域中的第二联通区块Q2,当前第n帧的目标区域在搜索域中的第三联通区块Q3,第一联通区块Q1与第三联通区块Q3的交集为第四联通区块Q4,第二联通区块Q2与第三联通区块Q3的交集为第五联通区块Q5;
步骤S32,获得第n-2帧的第一跟踪结果中心C1,第n-1帧的第二跟踪结果中心C2;第三联通区块Q3的第一质心C3,第四联通区块Q4的第二质心C4,第五联通区块Q5的第三质心C5;
步骤S33,根据第一跟踪结果中心C1、第二跟踪结果中心C2、第二质心C4、第三质心C5调整第一质心C3,得到跟踪结果;记录当前第n帧的跟踪结果中的第六联通区块Q6,当前第n帧的跟踪结果附近搜索域中的第七联通区块Q7。
上述的手部运动跟踪方法,参照图8,步骤S33的具体步骤包括:
步骤S331,根据第一跟踪结果中心C1、第二跟踪结果中心C2计算估计运动方向及速度;
步骤S332,根据运动方向及速度计算权重矩阵和中心权重,调整第一质心C3为调整后的第一质心C3’;
步骤S333,根据第二质心C4、第三质心C5校正调整后的第一质心C3’,得到最终质心C3”为跟踪结果。
本发明的方法通过根据第一跟踪结果中心C1、第二跟踪结果中心C2计算估计运动方向及速度:根据运动方向及速度计算权重矩阵和中心权重,调整第一质心C3为调整后的第一质心C3’;由于相邻两帧运动目标具有相似性,可根据第二质心C4、第三质心C5调整C3’,得到最终C3”为跟踪结果。
为了防止在运动过程中,人身其它部分如手臂所占的区块对最终跟踪中心的影响,可以根据前两帧的运动信息,建立权重矩阵,赋予联通区块内部不同的权重,从而减小非有效区域对跟踪结果的影响,得到更加精确的跟踪结果。
上述的手部运动跟踪方法,步骤S331通过以下公式得到运动的方向以及速度;
其中,p1x和p1y分别为第一跟踪结果中心C1的横向坐标和纵向坐标;p2x和p2y分别为第二跟踪结果中心C2的横向坐标和纵向坐标;ν为运动的速度;y为连接第一跟踪结果中心C1和第二跟踪结果中心C2的速度方向直线的直线函数;x为横向坐标的变量;b为一常数;Rect.width为搜索域的宽度;Rect.height为搜索域的高度。
上述的手部运动跟踪方法,步骤S332包括步骤332a:根据速度的方向得到与速度的方向垂直的向量,穿过搜索域中心C6将当前第三联通区块Q3分为两个部分:第一子区块Q31与第二子区块Q32,分别求出第一子区块的质心C31及第二子区块的质心C32,如图9所示,依据下列公式,通过速度得到的中心权重来结合这两个质心C31和C32,得到第三联通区块Q3的中点C3’;
其中,w为权重系数;C31.x为第一子区块的质心C31的横向坐标;C32.x为第二子区块的质心C32的横向坐标;C31.y为第一子区块的质心C31的纵向坐标,C32.y为第二子区块的质心C32的纵向坐标;C3'.x为第三区块Q3的中点C3’的横向坐标;C3'.y为第三区块Q3的中点C3’的纵向坐标;
步骤S332b,提取两个图像帧的共有部分,第四联通区块Q4和第五联通区块Q5,分别计算它们的质心,由于对于上一帧结果,Q4/Q5相当于上一帧跟踪结果框/搜索域框,那么对于当前帧结果,Q4/Q5可相当于(当前帧跟踪结果框/搜索域框,,因此可根据第二质心C4、第三质心C5依据下列公式调整中点C3’,得到最终质心C3"为跟踪结果。
C3".x=C4.x-C5.x+c3'.x
C3".y=C4.y-C5.y+C3'.y。
上述的C4.x为第二质心C4的横向坐标;C4.y为第二质心C4的纵向坐标;C5.x为第三质心C5的横向坐标,C5.y为第三质心C5的纵向坐标;
C3'.x为中点C3’的横向坐标;C3'.y为中点C3’的纵向坐标;C3"x为最终质心C3"的横向坐标;C3".y为最终质心C3"。
上述方法中搜索域的大小影响后续跟踪性能:若搜索框过小,导致无法判别运动过快的物体;若搜索框过大,导致引入过多背景噪声或者其它运动噪声,影响跟踪鲁棒性。
上述的手部运动跟踪方法,步骤S5的具体步骤如下:
在当前第n帧的跟踪结果附近搜索域中进行手势检测,若检测到手势,则将检测结果作为纠正后的跟踪结果,并且更新第六联通区块Q6及第七联通区块Q7。为了防止跟踪失败以及偏差,在当前帧跟踪结果附近搜索域中进行手势检测,若检测到手势,则将检测结果作为跟踪结果;保存跟踪结果以及目标物体区块Q3。
采用上述方法能够实时对手部进行跟踪,具有耗时短、计算快、对形变及快速的手部运动鲁棒性高的优点,结合运动跟踪以及目标检测,及时纠正跟踪偏差的结果。并且由于计算量小,本发明能够实时的运行在移动平台上。本发明中,通过一个具体的手势触发跟踪开关,通过帧差得到目标运动区域,根据前后帧目标区域的运动及小范围手势的检测得到最终的跟踪结果。
还提供,一种手部运动目标跟踪系统,参照图11,包括,
图像采集模块3,用于采集图像数据;
运动检测模块4,与图像采集模块连接,用于检测运动,得到运动图并计算联通域;
跟踪模块5,与运动检测模块4连接,用于对手部进行跟踪;
检测模块6,用于检测手部并且纠正跟踪结果。
本发明提出了一种结合多种方法的手部运动估计方法,优点在于能够实时对手部进行跟踪,耗时短,计算快,对形变及快速的手部运动鲁棒性高,结合运动跟踪以及目标检测,及时纠正跟踪偏差的结果。由于计算量小,基于本发明一种结合多种方法的手部运动估计方法的手部运动跟踪系统能够实时的运行在移动平台上。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种手部运动跟踪方法,其特征在于,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取所述图像序列中预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;
步骤S3,自所述运动区域中提取当前图像帧的目标区域;
步骤S4,在所述目标区域进行目标跟踪以得到当前图像帧的跟踪结果;
步骤S5,在所述当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正所述跟踪结果。
2.根据权利要求1所述的手部运动跟踪方法,其特征在于,所述步骤S2的具体步骤为:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,对获得的所述当前运动图进行联通域处理,找到联通的二值化运动区域及多个联通区块。
3.根据权利要求2所述的手部运动跟踪方法,其特征在于,所述步骤S3的具体步骤为:对于得到的多个所述联通区块,分别计算与上一帧跟踪结果附近搜索域中的联通区块的重叠率,选取重叠率最高的联通区块作为当前图像帧的目标区域,所述重叠率通过以下公式计算:
H3=H1∪H2
o v e r l a p = H 3 H 1 ∩ H 2 ;
其中,H3为当前图像帧的目标区域在搜索域中的区块;
H1为上一图像帧的跟踪结果中的联通区块;
H2为上一图像帧的跟踪结果附近搜索域中的联通区块;
overlap为重叠率。
4.根据权利要求3所述的手部运动跟踪方法,其特征在于,所述步骤S3的具体步骤如下:
步骤S31,获得五个联通区块:第n-1帧的跟踪结果中的第一联通区块,第n-1帧的跟踪结果附近搜索域中的第二联通区块,当前第n帧的目标区域在搜索域中的第三联通区块,所述第一联通区块与所述第三联通区块的交集为第四联通区块,所述第二联通区块与所述第三联通区块的交集为第五联通区块;
步骤S32,获得第n-2帧的第一跟踪结果中心,第n-1帧的第二跟踪结果中心;第三联通区块的第一质心,第四联通区块的第二质心,第五联通区块的第三质心;
步骤S33,根据所述第一跟踪结果中心、所述第二跟踪结果中心、所述第二质心、所述第三质心调整所述第一质心,得到跟踪结果;记录当前第n帧的跟踪结果中的第六联通区块,当前第n帧的跟踪结果附近搜索域中的第七联通区块。
5.根据权利要求4所述的手部运动跟踪方法,其特征在于,所述步骤S33的具体步骤包括:
步骤S331,根据所述第一跟踪结果中心、所述第二跟踪结果中心计算估计运动方向及速度;
步骤S332,根据所述运动方向及速度计算权重矩阵和中心权重,调整所述第一质心为调整后的第一质心;
步骤S333,根据所述第二质心、所述第三质心校正调整后的第一质心,得到最终质心为跟踪结果。
6.根据权利要求5所述的手部运动跟踪方法,其特征在于,所述步骤S331通过以下公式得到运动方向以及速度;
y = p 1 y - p 2 y p 1 x - p 2 x · x + b ;
v = ( p 1 x - p 2 x ) 2 + ( p 1 y - p 2 y ) 2 Re c t . width 2 + Re c t . height 2 ;
其中,p1x和p1y分别为第一跟踪结果中心C1的横向坐标和纵向坐标;p2x和p2y分别为第二跟踪结果中心C2的横向坐标和纵向坐标;ν为运动的速度;y为连接第一跟踪结果中心C1和第二跟踪结果中心C2的速度方向直线的直线函数;x为横向坐标的变量;b为一常数;Rect.width为搜索域的宽度;
Rect.height为搜索域的高度。
7.根据权利要求5所述的手部运动跟踪方法,其特征在于,所述步骤S332包括步骤332a:根据所述速度的方向得到与所述速度方向垂直的向量,穿过搜索域中心将当前所述第三联通区块分为第一联通子区块与第二联通子区块,分别求出所述第一联通子区块的质心及所述第二联通子区块的质心,通过速度得到的中心权重来结合所述第一联通子区块的质心及所述第二联通子区块的质心,得到所述第三联通区块的中点:
C 3 ′ x = C 31 x × w + C 32 x × 1 1 + w ;
C 3 ′ . y = C 31. y × w + C 32. y × 1 1 + w ; 其中,w为权重系数;C31.x为第一子区块的质心C31的横向坐标;C32.x为第二子区块的质心C32的横向坐标;C31.y为第一子区块的质心C31的纵向坐标,C32.y为第二子区块的质心C32的纵向坐标;C3'.x为第三区块Q3的中点C3’的横向坐标;C3'.y为第三区块Q3的中点C3’的纵向坐标。
8.根据权利要求5所述的手部运动跟踪方法,其特征在于,所述步骤S332中,所述步骤332a之后还包括步骤S332b,提取两个图像帧的共有部分:第四联通区块和第五联通区块,分别计算所述第四联通区块和第五联通区块的质心,根据C4、C5调整C3’,得到最终C3”为跟踪结果。
C3".x=C4.x-C5.x+c3'.x
C3".y=C4.y-C5.y+C3'.y;
其中,C4.x为第二质心C4的横向坐标;C4.y为第二质心C4的纵向坐标;C5.x为第三质心C5的横向坐标,C5.y为第三质心C5的纵向坐标;
C3'.x为中点C3’的横向坐标;C3'.y为中点C3’的纵向坐标;C3"x为最终质心C3"的横向坐标;C3".y为最终质心C3"。
9.根据权利要求4所述的手部运动跟踪方法,其特征在于,步骤S5中,若在所述搜索域中检测到手势,则将检测结果作为纠正后的跟踪结果,并且更新所述第六联通区块及所述第七联通区块。
10.一种手部运动目标跟踪系统,其特征在于,用于实施权利要求1所述的手部运动跟踪方法,包括,
图像采集模块,用于采集图像数据;
运动检测模块,与所述图像采集模块连接,用于检测运动,得到运动图并计算联通域;
跟踪模块,与所述运动检测模块连接,用于对手部进行跟踪;
检测模块,用于检测手部并且纠正跟踪结果。
CN201511030482.6A 2015-12-31 2015-12-31 一种手部运动跟踪方法及系统 Active CN106934818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511030482.6A CN106934818B (zh) 2015-12-31 2015-12-31 一种手部运动跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511030482.6A CN106934818B (zh) 2015-12-31 2015-12-31 一种手部运动跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN106934818A true CN106934818A (zh) 2017-07-07
CN106934818B CN106934818B (zh) 2020-07-28

Family

ID=59443923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511030482.6A Active CN106934818B (zh) 2015-12-31 2015-12-31 一种手部运动跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN106934818B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN110532837A (zh) * 2018-05-25 2019-12-03 九阳股份有限公司 一种物品取放过程中的图像数据处理方法和家电设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236657A (zh) * 2008-03-03 2008-08-06 吉林大学 单一运动目标轨迹的跟踪与记录方法
CN102024143A (zh) * 2010-11-16 2011-04-20 湖南大学 高速医药生产线上药液异物图像跟踪识别方法
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
EP2365420A2 (en) * 2010-03-11 2011-09-14 Deutsche Telekom AG System and method for hand gesture recognition for remote control of an internet protocol TV
US20140240466A1 (en) * 2013-02-22 2014-08-28 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236657A (zh) * 2008-03-03 2008-08-06 吉林大学 单一运动目标轨迹的跟踪与记录方法
EP2365420A2 (en) * 2010-03-11 2011-09-14 Deutsche Telekom AG System and method for hand gesture recognition for remote control of an internet protocol TV
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN102024143A (zh) * 2010-11-16 2011-04-20 湖南大学 高速医药生产线上药液异物图像跟踪识别方法
US20140240466A1 (en) * 2013-02-22 2014-08-28 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵建: "基于三帧差法的运动目标检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532837A (zh) * 2018-05-25 2019-12-03 九阳股份有限公司 一种物品取放过程中的图像数据处理方法和家电设备
CN110532837B (zh) * 2018-05-25 2023-07-21 杭州九阳小家电有限公司 一种物品取放过程中的图像数据处理方法和家电设备
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质

Also Published As

Publication number Publication date
CN106934818B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
CN104598915B (zh) 一种手势识别方法与装置
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN104463903B (zh) 一种基于目标行为分析的行人图像实时检测方法
CN104978012B (zh) 一种指向交互方法、装置及系统
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN103218827B (zh) 基于形状传递联合分割和图匹配校正的轮廓跟踪方法
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN104217192B (zh) 基于深度图像的手定位方法和设备
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN104299245A (zh) 基于神经网络的增强现实跟踪方法
CN103218605A (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN101470809A (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN107895379A (zh) 一种视频监控中前景提取的改进算法
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN104599291B (zh) 基于结构相似度和显著性分析的红外运动目标检测方法
KR20160044316A (ko) 깊이 정보 기반 사람 추적 장치 및 그 방법
CN108830170A (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN105138983A (zh) 基于加权部件模型和选择性搜索分割的行人检测方法
CN106447695A (zh) 一种多物体追踪中判断同一物体的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant