CN106934333B - 一种手势识别方法及系统 - Google Patents

一种手势识别方法及系统 Download PDF

Info

Publication number
CN106934333B
CN106934333B CN201511031533.7A CN201511031533A CN106934333B CN 106934333 B CN106934333 B CN 106934333B CN 201511031533 A CN201511031533 A CN 201511031533A CN 106934333 B CN106934333 B CN 106934333B
Authority
CN
China
Prior art keywords
gesture
frame
image
motion
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511031533.7A
Other languages
English (en)
Other versions
CN106934333A (zh
Inventor
池立盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN201511031533.7A priority Critical patent/CN106934333B/zh
Publication of CN106934333A publication Critical patent/CN106934333A/zh
Application granted granted Critical
Publication of CN106934333B publication Critical patent/CN106934333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机信号处理技术领域,具体涉及一种手势识别方法及系统。一种手势识别方法,包括以下步骤:步骤S1,采集图像以获取图像序列;步骤S2,获取图像序列中的预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;步骤S3,在运动区域中进行静态手势识别;步骤S4,在识别到静态手势后进行动态手势识别。以上方案可以同时支持多种静态手势及动态手势识别,改善了运算量的复杂度,提升手势识别精度,提高运行效率;用于智能机器人时,用户不需携带任何辅助设备装置,只需要通过自然的手势变化即可实现控制。

Description

一种手势识别方法及系统
技术领域
本发明涉及计算机信号处理技术领域,具体涉及一种手势识别方法及系统。
背景技术
随着科技的发展和人们生活方式的转变,人们对智能化的生活方式有着越来越高的要求,相对于传统的人机按键交互,人们更加倾向于自然的智能化的人机交互方式。手势识别可以把手势这种自然、直观的交流方式引入人机接口中,实现更符合人类行为习惯的人机交互,在人机交互的发展过程中起到了不可或缺的作用;基于视觉的手势识别成为了人机交互领域中一个非常活跃的研究领域,现有技术中基于视觉的手势识别在数据采集时对外部环境的依赖比较大,如复杂光照、复杂背景等,容易对结果造成较为严重的干扰,当背景接近肤色时无法准确提取出手部区域,因此一些基于肤色的手势识别技术要求手部颜色与背景颜色有较好的区分,另外,多数的手势识别系统不仅识别算法复杂,而且仅能支持较少的手势,扩展性及实用性并不理想。
发明内容
针对以上技术问题,提供一种手势识别方法及系统,以解决现有技术的缺陷;
具体技术方案如下:
一种手势识别方法,其中,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取所述图像序列中的预定图像帧之间的帧差,依据所述帧差进行运动分割以获取当前的运动区域;
步骤S3,在所述运动区域中进行静态手势识别;
步骤S4,在识别到静态手势后进行动态手势识别。
上述的手势识别方法,所述步骤S2具体如下:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,去除所述当前运动图中时间超过阈值的部分,将运动区域部分置为当前时间,并更新至历史运动信息中;
步骤S24,利用所述历史运动信息进行运动分割以获取当前的运动区域;
上述的手势识别方法,所述步骤S4中还包括在所述运动区域中进行滑动手势判断,更新每一图像帧的跟踪结果的中心到所述手势队列时,按以下公式更新滑动方向值:
Figure BDF0000012148430000031
Figure BDF0000012148430000032
其中,x0、x1、…、xn-1、xn为每一图像帧的跟踪结果的中心的横向坐标,y0、y1、…、yn-1、yn为每一图像帧的跟踪结果的中心的纵向坐标;
Sxn为新的跟踪结果中心相对于起始点的横向滑动值,Sxn大于0则滑动方向为向右,Sxn小于0则滑动方向为向左;
Syn为新的跟踪结果中心相对于起始点的纵向滑动值,Syn大于0则滑动方向为向下,Syn小于0则滑动方向为向上。
上述的手势识别方法,所述步骤S3的具体步骤如下:
步骤S31a,将当前图像中的搜索窗口划分成复数个子区域;
步骤S32a,对每个所述子区域中的每个像素计算出局部二值特征值,依据所述局部二值特征值获得每个子区域的直方图后进行归一化;
步骤S33a,将归一化后的复数个所述子区域的直方图连接成为特征向量;
步骤S34a,根据已训练好的分类器特征库,运用级联的方法在当前图像中搜索手势区域。
上述的手势识别方法,所述步骤S34a之后,还包括:
步骤S35a,在运动区域中进行手势检测,计算检测到的手势矩形框与各个手势队列的检测框的重叠率;
步骤S36a,判断所述重叠率是否大于一第二设定阈值;如果是,执行步骤S37a,如果否,执行步骤S38a;
步骤S37a,将所述手势矩形框分配到重叠率大于所述第二设定阈值的手势队列;
步骤S38a,将所述手势矩形框分配入一新的手势队列。
上述的手势识别方法,所述步骤S37a或所述步骤S38a之后,包括步骤S39a,判断当前的手势队列中存在的手势数量是否到达第三阈值数量,若达到,则判断识别到静态手势,否则,继续检测。
上述的手势识别方法,所述步骤S34a中所述分类器特征库的训练步骤包括:
步骤S341a,对训练图像的标记区域计算出局部二值特征;
步骤S342a,自所述局部二值特征中筛选有效的特征,构成第一分类器;
步骤S343a,通过组合多个所述第一分类器,构成第二分类器;
步骤S343a,级联多个所述第二分类器,形成用于设定静态手势检测的分类器特征库。
上述的手势识别方法,所述步骤S4包括进行手势跟踪的步骤,具体如下:
步骤S41,获得前一图像帧的跟踪区域对应的联通域,以所述联通域在前一图像帧的跟踪区域部分作为第一区域部及所述联通域在搜索域中的部分作为第二区域部;
步骤S42,获得当前跟踪物体的联通域;
步骤S43,依据所述当前跟踪物体的联通域与所述第一区域部和所述第二区域部的相交区域求出所述相交区域的质心;
步骤S44,以所述质心作为新的跟踪结果。
上述的手势识别方法,所述步骤S4中还包括手势变化判断步骤,具体包括:
在跟踪结果的区域附近建立搜索域,在搜索域中进行手势的检测及分配手势队列;
判断所述手势队列中存在大于第四阈值数量的目标手势数量时,认为产生了一次起始手势到目标手势的变化。
还包括,一种手势识别系统,包括,
图像采集单元,用于采集图像并获取图像序列;
运动分割单元,与所述图像采集单元连接,用于计算所述图像序列中的预定图像帧之间的帧差,依据所述帧差进行运动分割以获取当前的运动区域;
静态手势识别单元,与所述运动分割单元连接,用于在所述运动区域中识别静态手势;
滑动手势识别单元,与所述静态手势识别单元连接,用于识别手势的滑动方向;
手势变化识别单元,与所述滑动手势识别单元连接,用于识别是否由一起始手势转变为一目标手势;
计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;去除所述当前运动图中时间超过阈值的部分,将运动区域部分置为当前时间,并更新至历史运动信息中;利用所述历史运动信息进行运动分割以获取当前的运动区域;
所述滑动手势识别单元还用于在所述运动区域中进行滑动手势判断,更新每一图像帧的跟踪结果的中心到手势队列时,按以下公式更新滑动方向值:
Figure BDF0000012148430000061
Figure BDF0000012148430000062
其中,x0、x1、…、xn-1、xn为每一图像帧的跟踪结果的中心的横向坐标,y0、y1、…、yn-1、yn为每一图像帧的跟踪结果的中心的纵向坐标;
Sxn为新的跟踪结果中心相对于起始点的横向滑动值,Sxn大于0则滑动方向为向右,Sxn小于0则滑动方向为向左;
Syn为新的跟踪结果中心相对于起始点的纵向滑动值,Syn大于0则滑动方向为向下,Syn小于0则滑动方向为向上。
有益效果:以上方案可以同时支持多种静态手势及动态手势识别,改善了运算量的复杂度,提升手势识别精度,提高运行效率;用于智能机器人时,用户不需携带任何辅助设备装置,只需要通过自然的手势变化即可实现控制。
附图说明
图1为本发明一种手势识别方法的流程示意图;
图2为本发明一种手势识别方法步骤S2的一种具体实施例的流程示意图;
图3为本发明一种手势识别方法步骤S3的一种具体实施例的流程示意图;
图4为本发明一种手势识别方法步骤S3中进行静态手势识别的流程示意图;
图5为本发明一种手势识别方法步骤S4中进行手势跟踪的流程示意图;
图6为本发明一种手势识别方法的手势状态切换示意图;
图7为本发明一种手势识别方法的一种具体实施例的流程示意图;
图8为本发明的图7中步骤3的具体实施例的流程示意图;
图9为本发明的一种手势识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
参照图1,一种手势识别方法,其中,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取图像序列中的预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;
步骤S3,在运动区域中进行静态手势识别;
步骤S4,在识别到静态手势后进行动态手势识别。
根据采集图像数据的设备和种类不同,步骤S1可以分为基于视觉的二维(two-dimensional,2D)图像采集和基于深度的图像采集,本发明优选基于视觉的二维图像输入,并以检测到静态手势作为入口,进行动态手势的识别,可以同时支持多种静态手势及动态手势识别。
上述的手势识别方法,参照图2,步骤S2具体如下:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得第二帧差中的第一像素点集合部分作为第二像素点集合;获取第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,将当前运动图更新至历史运动信息中,并且引入时间信息;
步骤S24,利用历史运动信息进行运动分割以获取当前的运动区域。
运动分割的目的是将当前运动的区域与非运动区域区分并且标记出来,精确的分割是减少手势检测运算量的重要前提,而快速的分割是提高系统运行速度的重要前提。为了减少运算量,本发明使用了基于帧差的运动分割方式,所需信息仅为三个图像帧之间像素差的信息,对于输入的每一帧图像,进行基于帧差的运动分割,得到运动区域。
上述的步骤S21具体实现如下:首先计算第n-1帧与第n-2帧之间的帧差作为第一帧差D1,D1=Fn-1-Fn-2,其中,Fn-1为第n-1帧的像素灰度,Fn-2为第n-2帧的像素灰度;然后取得第一帧差大于0的第一像素点集合M1;获取第n帧与第n-2帧之间的帧差作为第二帧差D2,D2=Fn-Fn-2,其中,Fn为第n帧的像素灰度,Fn-2为第n-2帧的像素灰度;n=2、3、4、…;取得第二帧差D2中的第一像素点集合M1部分作为第二像素点集合M2;即:M2=D2&M1;获取第二像素点集合M2中像素大于第一设定阈值T的第三像素点集合M3;一种优选的实施例,第一设定阈值T的取值为10。移动平台计算能力的限制以及实时性的要求,因此需要快速且运算复杂度不高的方法。基于帧差的运动分割运算复杂度低,经过筛选后得到的运动区域相比原图减少了手势检测中大量的运算量,因此能够满足移动平台的要求。
对于得到的帧差图像,即第三像素点集合M3,存在许多散落的点,这些点可能是噪声产生的,也可能是运动区域阈值化引起的。在这里需要进行膨胀腐蚀等图像处理,即执行步骤S22,去除由于噪声产生的较为分散的点,连接由于阈值化引起的较为密集的小块。具体地,首先对图像进行腐蚀处理,去除孤立点,腐蚀的模版大小可以为g1×g1;对图像进行膨胀处理,连接运动区域中较为分散的小区块;膨胀的模版大小可以为g2×g2。在这里,可以使用较小的腐蚀模版和较大的膨胀模版进行图像操作,如g1=2,g2=16,即分别为,腐蚀的模版大小为2×2,膨胀的模版大小为16×16,得到当前运动图M4。接着,将当前运动图M4更新至历史运动信息中,并且引入时间信息。这是一种表达运动的简单方法,将运动理解成为连续的与时间关联的轮廓层次,即带时间加权的运动历史图像(motion history image,MHI),它表达了当前的物体的位置,并且利用物体的运动信息来分割运动。这些被分割的区域不是“运动块”,而是自然的连接到物体的运动部分。更新时,去除历史运动图中时间超过阈值的部分,将运动区域部分置为当前时间,加入历史运动图。进一步地,执行步骤S24以对历史运动图计算梯度方向,得到运动轮廓。分割时,扫描图像找到当前运动轮廓,沿着轮廓的边缘寻找未被标记的运动的区域,并且标记,直到所有的轮廓循环完成,获取当前的运动区域。进行运动分割得到运动矩形框时,去除面积过小的矩形框,得到最终运动分割结果。
上述的手势识别方法,在获得当前的运动区域后,进行手势检测步骤,以检测局部区域中的手势,并且为检测到的手势区域建立搜索域,标记为感兴趣区域;参照图3、图4,步骤S3的具体步骤可以如下:
步骤S31a,将当前图像中的搜索窗口划分成复数个子区域;
步骤S32a,对每个所述子区域中的每个像素计算出局部二值特征值,依据所述局部二值特征值获得每个子区域的直方图后进行归一化;
步骤S33a,将归一化后的复数个所述子区域的直方图连接成为特征向量;
步骤S34a,根据已训练好的分类器特征库,运用级联的方法在当前图像中搜索手势区域。
上述方法中,可以通过基于局部二值特征(Local Binary Patterns,LBP)的检测算法,如Adaboost检测算法判断图像中是否有特定手势存在。
上述的步骤S34a之后,在运动区域中进行手势检测,对检测到的手势矩形框进行队列的分配;具体为:
步骤S35a,在运动区域中进行手势检测,计算检测到的手势矩形框与各个手势队列的检测框的重叠率;
步骤S36a,判断重叠率是否大于一第二设定阈值;如果是,执行步骤S37a,如果否,执行步骤S38a;
步骤S37a,将手势矩形框分配到重叠率大于第二设定阈值的手势队列;
步骤S38a,将手势矩形框分配入一新的手势队列。
步骤S37a或步骤S38a之后,包括步骤S39a,判断当前的手势队列中存在的手势数量是否到达第三阈值数量,若达到,则执行步骤S40a判断识别到静态手势,否则,继续检测。
上述的步骤S34a中分类器特征库的训练步骤可以包括:
步骤S341a,对训练图像的标记区域计算出局部二值特征;
步骤S342a,自局部二值特征中筛选有效的特征,构成第一分类器;
步骤S343a,通过组合多个第一分类器,构成第二分类器;
步骤S343a,级联多个第二分类器,形成特定手势检测的分类器特征库。
分类器特征库的训练步骤中,根据Adaboost算法,第一分类器构成弱分类器;通过组合多个弱分类器,构成第二分类器,即强分类器;级联多个强分类器,形成特定手势检测的分类器特征库。
作为本发明的一种具体实施例,步骤S4包括进行手势跟踪的步骤,在跟踪得到的区域搜索域范围内,进行手势检测,对跟踪结果进行校正及更新跟踪点记录;具体如下:
步骤S41,获得前一图像帧的跟踪区域对应的联通域,以联通域在前一图像帧的跟踪区域部分作为第一区域部及联通域在搜索域中的部分作为第二区域部;
步骤S42,获得当前跟踪物体的联通域;
步骤S43,依据当前跟踪物体的联通域与第一区域部和第二区域部的相交区域求出相交区域的质心;
步骤S44,以质心作为新的跟踪结果。
上述的手势识别方法,步骤S4中还包括在运动区域中进行滑动手势判断,更新每一图像帧的跟踪结果的中心到手势队列时,按以下公式更新滑动方向值:
Figure BDF0000012148430000121
Figure BDF0000012148430000122
其中,x0、x1、…、xn-1、xn为每一图像帧的跟踪结果的中心的横向坐标,y0、y1、…、yn-1、yn为每一图像帧的跟踪结果的中心的纵向坐标;
Sxn为新的跟踪结果中心相对于起始点的横向滑动值,Sxn大于0则滑动方向为向右,Sxn小于0则滑动方向为向左;
Syn为新的跟踪结果中心相对于起始点的纵向滑动值,Syn大于0则滑动方向为向下,Syn小于0则滑动方向为向上。
本发明还可进行手势变化判断步骤,具体包括:
在跟踪结果的区域附近建立搜索域,在搜索域中进行手势的检测及分配手势队列;
判断所述手势队列中存在大于第四阈值数量的目标手势数量时,则产生了一次起始手势到目标手势的变化。
与静态手势识别相似,若队列中存在大于阈值数量的目标手势数量,则认为产生了一次起始手势到目标手势的变化。
参照图6的手势状态切换示意图,基本手势类型分为拳头、手掌、赞和不赞四种,对应有上滑、下滑、左滑、右滑以及互相之间的变化。本发明可用于智能机器人,以通过相应的手势来开启机器人的不同功能,实现与机器人的更为自然直接的交互。
图7提供了本发明的一种具体实施例的流程示意图:具体步骤为:
步骤1,图像采集,通过图像采集设备采集图像数据,送入下一步进行处理;
步骤2,运动分割以获得运动区域;
步骤3,是否检测到静态手势,如果检测到静态手势,执行步骤4,否则,重复步骤3;静态手势识别包括手势的检测及静态手势判断,以检测到静态手势作为后续动态手势的入口;
步骤4,手势跟踪以获得跟踪结果;
步骤5,滑动手势判断,如果检测到手势滑动,执行步骤7,否则,执行步骤6;
步骤6,手势变化检测;如果检测到手势变化,执行步骤8,否则,执行步骤9;
步骤7,识别到滑动,进行针对滑动的后续操作;
步骤8,识别到变化,进行针对手势变化的后续操作;
步骤9,未识别到变化,重新执行步骤1。
其中,步骤3的一种具体实施例为:
步骤31,是否检测到静态手势一;如果是,执行步骤4,如果否,执行步骤32;
步骤32,是否检测到静态手势二;如果是,执行步骤4,如果否,执行步骤33;
步骤33,是否检测到静态手势三;如果是,执行步骤4,如果否,执行步骤34;
步骤34,是否检测到静态手势四;如果是,执行步骤4,如果否,执行步骤31。
以上示例性地输出了四种静态手势的检测流程,本发明的静态手势检测流程可以根据检测需要设置为多种,在此不作赘述。
还提供,一种手势识别系统,参照图8,包括,
图像采集单元3,用于采集图像并获取图像序列;
运动分割单元4,与图像采集单元3连接,用于计算图像序列中的预定图像帧之间的帧差,依据帧差进行运动分割以获取当前的运动区域;
静态手势识别单元5,与运动分割单元4连接,用于在运动区域中识别静态手势;
滑动手势识别单元7,与静态手势识别单元5连接,用于识别静态手势的滑动方向;
手势变化识别单元6,与滑动手势识别单元7连接,用于识别是否由一起始手势转变为一目标手势。
本发明综合了运动检测、物体检测和运动跟踪技术,可以同时支持多种静态、动态手势,包括滑动、手势变化的识别等,提高精度,改善了运算量的复杂度,提高运行效率,使得其可以快速运行在移动端中,实时判断当前手势。提供了一种自然的交互方式,用户不需携带任何辅助设备装置,只需要通过自然的手势变化即可实现控制。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (8)

1.一种手势识别方法,其特征在于,包括以下步骤:
步骤S1,采集图像以获取图像序列;
步骤S2,获取所述图像序列中的预定图像帧之间的帧差,依据所述帧差进行运动分割以获取当前的运动区域;
步骤S3,在所述运动区域中进行静态手势识别;
步骤S4,在识别到静态手势后进行动态手势识别;
所述步骤S4包括手势跟踪的步骤和手势变化判断的步骤;
所述步骤S2具体如下:
步骤S21,计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;
步骤S22,对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;
步骤S23,去除所述当前运动图中时间超过阈值的部分,将运动区域部分置为当前时间,并更新至历史运动信息中;
步骤S24,利用所述历史运动信息进行运动分割以获取当前的运动区域;
所述步骤S4还包括:
在所述运动区域中进行滑动手势判断,更新每一图像帧的跟踪结果的中心到手势队列时,按以下公式更新滑动方向值:
Figure FDF0000012148420000021
Figure FDF0000012148420000022
其中,x0、x1、…、xn-1、xn为每一图像帧的跟踪结果的中心的横向坐标,y0、y1、…、yn-1、yn为每一图像帧的跟踪结果的中心的纵向坐标;
Sxn为新的跟踪结果中心相对于起始点的横向滑动值,Sxn大于0则滑动方向为向右,Sxn小于0则滑动方向为向左;
Syn为新的跟踪结果中心相对于起始点的纵向滑动值,Syn大于0则滑动方向为向下,Syn小于0则滑动方向为向上。
2.根据权利要求1所述的手势识别方法,其特征在于,所述步骤S3的具体步骤如下:
步骤S31a,将当前图像中的搜索窗口划分成复数个子区域;
步骤S32a,对每个所述子区域中的每个像素计算出局部二值特征值,依据所述局部二值特征值获得每个子区域的直方图后进行归一化;
步骤S33a,将归一化后的复数个所述子区域的直方图连接成为特征向量;
步骤S34a,根据已训练好的分类器特征库,运用级联的方法在当前图像中搜索手势区域。
3.根据权利要求2所述的手势识别方法,其特征在于,所述步骤S34a之后,还包括:
步骤S35a,在运动区域中进行手势检测,计算检测到的手势矩形框与各个手势队列的检测框的重叠率;
步骤S36a,判断所述重叠率是否大于一第二设定阈值;如果是,执行步骤S37a,如果否,执行步骤S38a;
步骤S37a,将所述手势矩形框分配到重叠率大于所述第二设定阈值的手势队列;
步骤S38a,将所述手势矩形框分配入一新的手势队列。
4.根据权利要求3所述的手势识别方法,其特征在于,所述步骤S37a或所述步骤S38a之后,包括步骤S39a,判断当前的手势队列中存在的手势数量是否到达第三阈值数量,若达到,则判断识别到静态手势,否则,继续检测。
5.根据权利要求2所述的手势识别方法,其特征在于,所述步骤S34a中所述分类器特征库的训练步骤包括:
步骤S341a,对训练图像的标记区域计算出局部二值特征;
步骤S342a,自所述局部二值特征中筛选有效的特征,构成第一分类器;
步骤S343a,通过组合多个所述第一分类器,构成第二分类器;
步骤S343a,级联多个所述第二分类器,形成用于设定静态手势检测的分类器特征库。
6.根据权利要求1所述的手势识别方法,其特征在于,所述手势跟踪的步骤,具体如下:
步骤S41,获得前一图像帧的跟踪区域对应的联通域,以所述联通域在前一图像帧的跟踪区域部分作为第一区域部及所述联通域在搜索域中的部分作为第二区域部;
步骤S42,获得当前跟踪物体的联通域;
步骤S43,依据所述当前跟踪物体的联通域与所述第一区域部和所述第二区域部的相交区域求出所述相交区域的质心;
步骤S44,以所述质心作为新的跟踪结果。
7.根据权利要求6所述的手势识别方法,其特征在于,所述手势变化判断的步骤,具体包括:
在跟踪结果的区域附近建立搜索域,在搜索域中进行手势的检测及分配手势队列;
判断所述手势队列中存在大于第四阈值数量的目标手势数量时,则产生了一次起始手势到目标手势的变化。
8.一种手势识别系统,其特征在于,包括,
图像采集单元,用于采集图像并获取图像序列;
运动分割单元,与所述图像采集单元连接,用于计算所述图像序列中的预定图像帧之间的帧差,依据所述帧差进行运动分割以获取当前的运动区域;
静态手势识别单元,与所述运动分割单元连接,用于在所述运动区域中识别静态手势;
滑动手势识别单元,与所述静态手势识别单元连接,用于识别手势的滑动方向;
变化手势识别单元,与所述滑动手势识别单元连接,用于识别是否由一起始手势转变为一目标手势;
所述运动分割单元具体被配置为:
计算二值帧差:获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差,取得所述第一帧差大于0的第一像素点集合;获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差,取得所述第二帧差中的第一像素点集合部分作为第二像素点集合;获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合;对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图;去除所述当前运动图中时间超过阈值的部分,将运动区域部分置为当前时间,并更新至历史运动信息中;利用所述历史运动信息进行运动分割以获取当前的运动区域;
所述滑动手势识别单元还用于在所述运动区域中进行滑动手势判断,更新每一图像帧的跟踪结果的中心到手势队列时,按以下公式更新滑动方向值:
Figure FDF0000012148420000051
Figure FDF0000012148420000052
其中,x0、x1、…、xn-1、xn为每一图像帧的跟踪结果的中心的横向坐标,y0、y1、…、yn-1、yn为每一图像帧的跟踪结果的中心的纵向坐标;
Sxn为新的跟踪结果中心相对于起始点的横向滑动值,Sxn大于0则滑动方向为向右,Sxn小于0则滑动方向为向左;
Syn为新的跟踪结果中心相对于起始点的纵向滑动值,Syn大于0则滑动方向为向下,Syn小于0则滑动方向为向上。
CN201511031533.7A 2015-12-31 2015-12-31 一种手势识别方法及系统 Active CN106934333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511031533.7A CN106934333B (zh) 2015-12-31 2015-12-31 一种手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511031533.7A CN106934333B (zh) 2015-12-31 2015-12-31 一种手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN106934333A CN106934333A (zh) 2017-07-07
CN106934333B true CN106934333B (zh) 2021-07-20

Family

ID=59443696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511031533.7A Active CN106934333B (zh) 2015-12-31 2015-12-31 一种手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN106934333B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688391B (zh) * 2017-09-01 2020-09-04 广州大学 一种基于单目视觉的手势识别方法和装置
CN109697394B (zh) * 2017-10-24 2021-12-28 京东方科技集团股份有限公司 手势检测方法和手势检测设备
CN107765855A (zh) * 2017-10-25 2018-03-06 电子科技大学 一种基于手势识别控制机器人运动的方法和系统
SG11201909139TA (en) 2017-12-22 2019-10-30 Beijing Sensetime Technology Development Co Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
CN109960980B (zh) * 2017-12-22 2022-03-15 北京市商汤科技开发有限公司 动态手势识别方法及装置
CN110007748B (zh) * 2018-01-05 2021-02-19 Oppo广东移动通信有限公司 终端的控制方法、处理装置、存储介质及终端
CN110956059B (zh) * 2018-09-27 2023-08-01 深圳云天励飞技术有限公司 一种动态手势识别方法、装置和电子设备
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN110020634B (zh) * 2019-04-15 2020-05-19 刘政操 一种企业管理用资料展示板
CN111753771B (zh) * 2020-06-29 2024-09-20 武汉虹信技术服务有限责任公司 一种手势事件的识别方法、系统及介质
CN112115801B (zh) * 2020-08-25 2023-11-24 深圳市优必选科技股份有限公司 动态手势识别方法、装置、存储介质及终端设备
CN112989925B (zh) * 2021-02-02 2022-06-10 豪威芯仑传感器(上海)有限公司 一种识别手部滑动方向的方法及系统
CN112926454B (zh) * 2021-02-26 2023-01-06 重庆长安汽车股份有限公司 一种动态手势识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881615A (zh) * 2010-05-28 2010-11-10 清华大学 用于驾驶安全的视觉障碍物检测方法
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336967B (zh) * 2013-05-27 2016-12-28 东软集团股份有限公司 一种手部运动轨迹检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101881615A (zh) * 2010-05-28 2010-11-10 清华大学 用于驾驶安全的视觉障碍物检测方法
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三帧差法的运动目标检测方法研究;赵建;《中国优秀硕士学位论文全文数据库信息科技辑》;20140115;第29页第1段-第30页第3段,图3.1 *

Also Published As

Publication number Publication date
CN106934333A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934333B (zh) 一种手势识别方法及系统
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
CN107563286B (zh) 一种基于Kinect深度信息的动态手势识别方法
US9916012B2 (en) Image processing apparatus, image processing method, and program
CN108229324B (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN106651908B (zh) 一种多运动目标跟踪方法
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
KR20100138602A (ko) 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
CN104969261B (zh) 用于检测移动物体的方法和系统
Huang et al. Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera
JP7438684B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Joo et al. Real‐Time Depth‐Based Hand Detection and Tracking
CN103020580A (zh) 快速人脸检测方法
CN115375736A (zh) 一种基于图像的行人轨迹跟踪方法和装置
CN110532863B (zh) 手势操作方法、装置以及计算机设备
Choi et al. RGB-D camera-based hand shape recognition for human-robot interaction
CN112101139A (zh) 人形检测方法、装置、设备及存储介质
CN104699243B (zh) 一种基于单目视觉的无实体虚拟鼠标方法
Araki et al. Real-time both hands tracking using camshift with motion mask and probability reduction by motion prediction
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
CN117315767A (zh) 一种基于ai识别的动态手势行为识别方法及装置
Lee et al. Robust face tracking by integration of two separate trackers: Skin color and facial shape

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant