CN101853071B - 基于视觉的手势识别方法及系统 - Google Patents

基于视觉的手势识别方法及系统 Download PDF

Info

Publication number
CN101853071B
CN101853071B CN 201010171960 CN201010171960A CN101853071B CN 101853071 B CN101853071 B CN 101853071B CN 201010171960 CN201010171960 CN 201010171960 CN 201010171960 A CN201010171960 A CN 201010171960A CN 101853071 B CN101853071 B CN 101853071B
Authority
CN
China
Prior art keywords
image
gesture
images
gestures
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010171960
Other languages
English (en)
Other versions
CN101853071A (zh
Inventor
何伟
张玲
李佳
赖琴
谭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN 201010171960 priority Critical patent/CN101853071B/zh
Publication of CN101853071A publication Critical patent/CN101853071A/zh
Application granted granted Critical
Publication of CN101853071B publication Critical patent/CN101853071B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提出了一种基于视觉的手势识别的操作方法及系统,系统包括手势图像采集装置和控制器,实现主要功能包括手势图像采集、图像数据录入、手势图像识别、操作指令执行。所述手势图像识别包括:图像二值化、手势分割、特征提取、特征匹配。本发明具有实时性,通过提取用户手势图像的特征并匹配得出识别结果,再根据识别结果执行相应指令。本发明直接用人手作为输入工具,只要采集的图像包含完整的手势,可容忍手势的平移和尺度变化以及一定角度的旋转,大大增强了设备的易用性。

Description

基于视觉的手势识别方法及系统
技术领域
本发明属于手势识别领域,尤其涉及一种基于视觉的手势识别方法及系统。
背景技术
在人机交互技术中,键盘、鼠标、游戏杆目前是主要的输入工具,人们必须借助这些工具才能实现人机交互,而人的手势可以说是最为自然、直观、易于学习的交流手段,更是人机交互中最好的输入工具,但是由于人手是复杂的变形体,无法用简单的模型加以表示。
最初的研究主要集中在做一种专用硬件设备来进行输入,例如数据手套等。最后人们终于把注意力集中到自然手上,通过专用的加速硬件和脱机训练,一些研究者成功地研制了手势识别系统,但其识别的手势仅限于几种。例如,Freeman和Roth等人提出的基于方向直方图的手势识别系统。1994年,高文等人提出了一种静态复杂背景手势目标的捕获与识别,1995年又提出了动态复杂背景中实施目标的捕获与识别方法。1999年常红等人提出了基于计算机视觉技术的手形手位跟踪方法。2002年邹伟提出了一种基于双信息源的人手空间跟踪方法,其利用视觉输入提取手的平面位置信息,借助于安装于肘部的弯曲传感器获取手臂的弯曲角度,根据所建模型由二者通过模糊计算确定手的深度信息。
基于视觉的手势识别以人手直接作为计算机的输入设备,人机之间的通讯不再需要中间媒体,用户可以简单地定义一种适当的手势来对周围的机器进行控制。目前基于视觉的手势识别技术多采用人工神经网络(ANN)、隐Markov模型(HMM)等方法,但这些方法存在算法复杂、实时性不高等缺陷。
发明内容
为克服现有技术中的不足,本发明公开了一种基于视觉的手势识别方法及系统,在由FPGA作为主控芯片,与所述手势图像采集装置构成的系统上通过手势图像采集、图像数据录入、手势图像识别、操作指令执行四个步骤实现一种直接使用人手作为输入工具的简单实时的人机交互方法。
本发明的技术方案如下:
一种基于视觉的手势识别方法,其包括以下步骤:
(1)手势图像采集:通过手势图像采集装置不断采集图像数据更新数据缓存,用于获取用户手势图像数据,作为待识别手势。
(2)图像数据录入:从数据缓存中读取当前两幅连续手势图像数据,每次录入两幅连续RGB图像数据,将这两幅图像的像素值即R分量做差,差值大于15的像素点个数小于阈值,则认为图像静止,若静止进入步骤(3),否则返回步骤(1)。其中阈值的确定是将开机后的连续两幅图像像素值R分量做差,差值大于15的像素点个数加50作为阈值。
(3)手势图像识别:处理手势图像数据、提取特征并与特征库中的模板匹配得出识别结果;所述手势图像识别包括以下步骤:
(31)图像二值化:将彩色图像进行颜色空间转换之后用全局阈值法将图像划分为前景和背景两个区域,根据前景在整幅图像中所占比例判断图像中是否有手势,有手势进行所述手势分割,否则重新采集图像数据并录入;
(32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势图像;
(33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;
(34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果。
通过将两幅连续图像分别进行上述的图像二值化、手势分割、特征提取、特征匹配得出两个识别结果,若识别结果一致则根据该识别结果执行后续相应指令,否则重新采集手势图像进行识别。
本发明直接用人手作为输入工具,只要采集的图像包含完整的手势,可容忍手势的平移和尺度变化以及一定角度的旋转,大大增强了设备的易用性。
本发明还根据所述基于视觉的手势识别方法,提出了一种基于视觉的手势识别系统,所述手势识别系统包括:
手势图像采集装置:用于采集手势图像数据;
控制器:用于录入手势图像数据,并对所述录入图像进行手势识别得出识别结果并发送到嵌入手势识别系统的机器使其执行相应指令。
所述手势图像采集装置将采集到的图像数据写入外接SRAM中,然后控制器则在SRAM中读回图像数据进行后续处理,采用片上RAM作为缓冲。本发明利用Nios II软核,嵌入FPGA内部,与用户自定义逻辑结合构成一个基于FPGA的片上系统。
本发明利用FPGA的并行处理能力提高系统性能,采用定制自定义模块用硬件实现耗时大的软件算法模块提高系统性能,采用Nios II处理器的自定义指令方式用硬件实现部分复杂算法片段,方便的在软件程序中调用,大大提高了程序执行效率,另外还利用新推出的C2H工具直接将一些软件程序进行硬件化,提高系统性能,这些都好的保证了本发明的高速的处理速度,具有很好实时性,并具有高可靠性。
附图说明
图1为基于视觉的手势识别操作方法及系统的总体框图
图2为基于视觉的手势识别操作方法及系统的软件结构框图
图3为基于视觉的手势识别操作方法及系统的软件流程图
图4为八方向freeman链码图
具体实施方式
如图1所示,基于视觉的手势识别方法包括以下步骤:
1)手势图像采集:用于获取用户手势图像数据,作为待识别手势。
手势图像采集是通过手势图像采集装置不断采集图像数据更新数据缓存,为了得到具有一定清晰度且大小适中的手势,本发明采用的图像分辨率为120*160个像素。
2)图像数据录入:为了得到更加准确的识别结果,避免对用户还未摆放好手势时采集到的图像进行处理得出错误的结果,需要录入两幅连续图像数据,对应像素点的值做差判断图像是否静止,若静止进入步骤3),否则返回步骤1)。
3)手势图像识别:处理手势图像数据、提取特征并与模板匹配得出识别结果。
4)操作指令执行:根据所述手势图像识别得出的识别结果执行相应指令。
结合图2和图3所示:
本发明中首先对步骤2)中采集的其中一幅图像进行所述手势识别,若未得出正常识别结果,则返回步骤1),反之若得出正常识别结果,则转入步骤31),对步骤2)中读取的另一幅图像进行步骤3)中所述的操作得出另一识别结果,若判定图中手势为未定义手势则返回步骤1),若得出正常识别结果且两幅图像识别结果一致则转入步骤4)。步骤4)中根据步骤3)中得出的识别结果执行相应指令,转入步骤1)。
本方法的步骤3)具体包括以下步骤:
31)图像二值化:将彩色图像进行颜色空间转换之后用全局阈值法将图像划分为前景和背景两个区域。根据前景在整幅图像中所占比例判断图像中是否有手势,有手势则进入步骤32),否则返回步骤1)。
32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势。
33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征。
34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果。
进一步地,步骤31)中,所述图像二值化是指先将采集的RGB彩色图像转化到HLC颜色空间,然后用全局阈值法将图像划分为前景和背景两个区域。
在所述HLC空间中,H分量描述着物体的颜色类型,即色调;L为亮度;C为色彩的浓度。通过对大量肤色和非肤色在H空间分布的分析,建立的肤色分割公式如下:
Figure GSB00000819702400031
其中:H为像素点的色调值,Hu、Hd为H的上限和下限。根据上述公式分割HLC空间的H分量,得到肤色为前景的二值化图像。
所述的二值化图像中还存在许多噪声干扰,包括椒盐噪声和非手势的小连通域。因此本方法还进一步采用空域滤波的方式去除椒盐噪声,将图像中8邻域内白色像素的个数大于等于5的像素判定为前景(白色),否则判定为背景(黑色)。计算前景在整幅图像中所占的比例,若该比例在一定阈值范围内(本发明中所取阈值范围为[20%,70%])则认为图像中有手势,进入步骤32),否则返回步骤1)。
进一步地,在步骤32)中,所述手势分割的目的就是去除二值化图像中存在的非手势的小连通域。经所述图像二值化处理后的图像中前景(白色)不仅包括手势还存在一些小连通域,因此本发明采用区域生长的方式对手势区域作进一步分割。
由于手势区域的面积在整幅图像中占有一定比例,对图像进行逐行(或逐列)扫描,若白色像素点的个数大于图像每行像素点个数的20%则以该行(或该列)白色像素点个数过半的点为种子点,将图像以种子点为起始进行3次不同方向的全屏扫描,在种子点的8邻域内搜索白色像素点,纳入手势区域并作为种子继续搜索。
所述手势分割在分割出完整手势后,图像中前景包括手和手臂。为更准确的提取手势特征,采用一个42×40的框框定手势(去除手臂部分)之后,进入步骤33)。因为用户通常用右手操作,此时手臂在手的右边,通过扫描图像找出图像前景中左侧第一个白色点坐标(x1,y1),上方第一个白色点坐标(x2,y2),将图像中坐标在([x2,x2+39],[y1,y1+41])范围内的点取出作为所述手势分割后的手势图像。
进一步地,步骤33)中,所述特征提取中包括提取手指个数,手指长度及指尖距离。可用方向链码(Freeman链码)表示一条数字化二值轮廓曲线,如图4所示。八方向Freeman链码是相邻两像素连线的八种可能的方向值。一条曲线被网格离散化后形成n条链,此曲线链码可表示为{ai}n,每条链指向八个方向中的一个方向,ai∈{0,1,…7},i为像素的索引值,ai是由像素i指向像素(i+1)的方向链码。
本发明先提取手势边缘,然后以逆时针方向搜索求得手势边缘的freeman链码。边缘点中前后10个点的freeman链码对应按模8相减所得差值中有5个或5个以上大于等于2的点作为可疑指尖点,并计算该点作为指尖的手指长度及宽度,若手指长度大于12个像素且宽度在1到5个像素之间则将该点作为指尖,得到指尖坐标,并将手指个数加1以求得图像中手指个数。计算手指的长度时首先找出该指尖与相邻指尖之间弯曲程度最大的点,然后计算该点与该指尖的距离作为手指的长度。
本发明中将指尖坐标的欧式距离的平方作为指尖距离,公式如下:
dij=(xi-xj)2+(yi-yj)2
其中:dij为第i个手指与第j个手指之间的距离(0<=i,j<5),(xi,yi)、(xj,yj)分别为第i个手指与第j个手指的指尖坐标。
所述特征提取还包括图像几何矩和整体转动惯量。考虑到实验效果和计算复杂度,本发明使用前4个几何矩特征量,公式如下:
Φ1=η2002
Φ2=(η2002)2+4η11 2
Φ3=(η30-3η12)2+(3η2103)2
Φ4=(η3012)2+(η0321)2
其中:Φ1、Φ2、Φ3、Φ4为4个几何矩,ηpq为归一化中心矩:
Figure GSB00000819702400051
μpq为图像位移不变中心矩:
Figure GSB00000819702400052
f(x,y)为点(x,y)的像素值,(xi,yi)为图像的质心,p、q为中心矩的阶次。
根据经所述手势分割得到的手势图像计算得到前4个几何矩特征量作为手势的4个特征值。
采用整个图形的前四个几何矩和整体NMI(转动惯量)值未能将本发明定义的手势完全区分,因此除了将图像整体的NMI值作为特征外,还将图像四等分后分别求出其NMI作为图像的另外4个特征,也就是再求取图像的二阶NMI值。最后由手指长度,指尖距离,图像的四个几何矩,一个整体转动惯量,以及四个图像二阶转动惯量共同构成手势的特征向量,计算出所有特征后进入步骤34)。
进一步地,步骤34)中,所述特征匹配分为粗匹配和细匹配两个步骤。粗匹配是指根据手指个数将静态手势分为几大类。细匹配是指在经所述粗匹配的基础上,通过计算待识别手势特征向量(除手指个数外的特征)与特征库中所有模板的欧式距离,若最小距离小于阈值则将其手势判定为与其距离最小的模板,否则判定为未定义手势(不正常结果)。
采用整个图形的前四个几何矩和整体NMI(转动惯量)值未能将本发明定义的手势完全区分,因此除了将图像整体的NMI值作为特征外,还将图像四等分后分别求出其NMI作为图像的另外4个特征,也就是再求取图像的二阶NMI值。最后由手指长度,指尖距离,图像的四个几何矩,一个整体转动惯量,以及四个图像二阶转动惯量共同构成手势的特征向量。
由于基于freeman链码求出指尖坐标及手指个数的方法并不要求用户将手势完全按标准手势放置,即允许手势平移、旋转、尺度的变化,而图像几何矩和整体转动惯量同样具有平移、旋转和尺度不变性,虽然二阶转动惯量将图像四等分在一定程度上破坏了特征的旋转不变性,但本发明仍然可容忍手势的平移和尺度变化以及一定角度的旋转。
其中,所述步骤3)中包括一手势图像特征库,可采集一定量的手势样本,通特征提取得出需定义手势的特征,将其写入特征库便可完成手势的定义。该特征库中存储已定义手势的特征向量及对应操作指令,该特征向量未包括手指个数,因为手指个数已用于粗匹配。比如手握成拳头表示开机,五指张开表示关机等,还可按照用户需要定义其他手势,这些手势的特征向量需预先采集多个样本计算其特征向量得到。
实现上述方法的手势识别系统包括:
手势图像采集装置:用于采集手势图像数据;
控制器:用于录入手势图像数据,并对所述录入图像进行手势识别得出识别结果并发送到嵌入手势识别系统的机器使其执行相应指令。
本发明的硬件部分采用SOPC技术构建,所述控制器核心芯片为现场可编程门阵列(FPGA)芯片,内嵌Nios II软核处理器,具有结构简单,开发成本低,开发周期短等特点,并可方便灵活的进行软硬件升级、移植。
参见图2,在FPGA芯片上嵌入NiosII处理器作为主控器录入手势图像、判断手势是否静止,若静止则进行图像二值化、手势分割、进而提取手势特征与存储在特征库中的模板匹配得出识别结果发送相应红外信号控制周围的机器。在对一定量的手势样本进行特征提取后,可通过特征录入定义新的手势,并通过特征库管理设置与其对应的红外信号。
本系统具有学习功能,所述红外信号收发装置可接收红外信号,同时可通过设置所述已定义手势发送该红外信号,实现用户所需的各种功能,更加方便的进行人机交互。
本发明对于系统中比较复杂耗时的部分,比如图像二值化、手势分割部分等,使用自定义模块进行加速。另外本发明还采用了C2H进行硬件加速,将算法中有大量循环的程序,封装成函数,采用C2H进行加速,简单高效,极大提高了本发明的实时性,使本发明可实时采集并识别手势图像,手势识别时间仅需0.7s。

Claims (7)

1.一种基于视觉的手势识别方法,其特征在于包括以下步骤:
(1)手势图像采集:通过手势图像采集装置不断采集图像数据更新数据缓存,用于获取用户手势图像数据,作为待识别手势;
(2)图像数据录入:从数据缓存中读取当前两幅连续手势图像数据,每次录入两幅连续RGB格式的图像数据,将这两幅图像的像素点的R分量做差,差值大于15的像素点个数小于阈值,则认为图像静止,若静止进入步骤(3),否则返回步骤(1);所述阈值是将开机后的连续两幅图像像素值R分量做差,差值大于15的像素点个数加50作为阈值;
(3)手势图像识别:处理手势图像数据,提取特征并与特征库中的模板匹配得出识别结果;所述手势图像识别包括以下步骤:
(31)图像二值化:将彩色的手势图像进行颜色空间转换之后用全局阈值法将图像划分为前景和背景两个区域,根据前景在整幅图像中所占比例判断图像中是否有手势,若前景在整幅图像中所占比例在设定阈值范围内,则认为图像中有手势,即进行下一步手势分割,否则返回到步骤(1)重新采集图像数据并录入;
(32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势图像;
(33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;
(34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果;
通过将两幅连续图像分别进行上述的图像二值化、手势分割、特征提取、特征匹配过程得出两个识别结果,若识别结果一致则根据该识别结果执行后续相应指令,否则重新采集手势图像进行识别;
所述步骤(31)的图像二值化是指先将采集的RGB格式的彩色的手势图像转化到HLC颜色空间,然后用全局阈值法将图像划分为前景和背景两个区域;
在所述HLC颜色空间中,H分量描述着物体的颜色类型,即色调;L为亮度;C为色彩的浓度,采用肤色分割公式如下:
Figure FDA00002031117100011
其中:H为像素点的色调值,Hu、Hd为H的上限和下限,根据上述公式分割HLC空间的H分量,得到肤色为前景的二值化图像;
所述步骤(33)特征提取,包括提取手指个数,手指长度、指尖距离、图像几何矩和图像转动惯量;
所述提取手指个数是先提取手势边缘,然后以逆时针方向搜索求得手势边缘的freeman链码,边缘点中前后10个点的freeman链码对应按模8相减所得差值中有5个以上大于等于2的点作为可疑指尖点,并计算该点作为指尖的手指长度及宽度,若手指长度大于12个像素且宽度在1到5个像素之间则将该点作为指尖,得到指尖坐标,并将手指个数加1以求得图像中手指个数;
所述提取手指长度是首先找出该指尖与相邻指尖之间弯曲程度最大的点,然后计算该点与该指尖的距离作为手指的长度;
所述提取指尖距离是将指尖坐标的欧式距离的平方作为指尖距离;
所述提取图像几何矩是根据经所述手势分割得到的手势图像计算得到前4个几何矩特征量作为手势的4个特征值,公式如下:
Φ12002
Φ2=(η2002)2+4η11 2
Φ3=(η30-3η12)2+(3η2103)2
Φ4=(η3012)2+(η0321)2
其中:Φ1、Φ2、Φ3、Φ4为4个几何矩,ηpq为归一化中心矩:
Figure FDA00002031117100021
f(x,y)为点(x,y)的像素值,(xi,yi)为图像的质心,p、q为中心矩的阶次;
所述提取图像转动惯量是将图像整体的图像转动惯量NMI值作为特征。
2.根据权利要求1所述基于视觉的手势识别方法,其特征在于:
在所述步骤(31)的图像二值化处理中,直接由所述全局阈值法分割得到的二值化图像中还存在许多噪声干扰包括椒盐噪声和非手势的小连通域,采用空域滤波的方式去除椒盐噪声,将图像中8邻域内白色像素的个数大于等于5的像素判定为前景即白色,否则判定为背景即黑色。
3.根据权利要求2所述的基于视觉的手势识别方法,其特征在于:
所述步骤(32)的手势分割是对图像二值化处理后的图像进行逐行或逐列扫描,若白色像素点的个数大于图像每行或每列像素点个数的20%,则以该行或该列白色像素点个数过半的点为种子点,将图像以种子点为起始进行3次不同方向的全屏扫描,在种子点的8邻域内搜索白色像素点,纳入手势区域并作为种子继续搜索,最终分割出完整的手势。
4.根据权利要求3所述的基于视觉的手势识别方法,其特征在于:
所述步骤(32)的手势分割在分割出完整手势后,采用一个42×40的框框定手势,去除手臂部分,具体是通过扫描图像找出图像前景中左侧第一个白色点坐标(x1,y1),上方第一个白色点坐标(x2,y2),将图像中坐标在([x2,x2+39],[y1,y1+41])范围内的点取出作为所述手势分割后的手势图像。
5.根据权利要求4所述基于视觉的手势识别方法,其特征在于:
所述NMI特征提取还将图像四等分后分别求出其NMI作为图像的另外4个特征,即求取图像的二阶NMI值。
6.根据权利要求1所述基于视觉的手势识别方法,其特征在于:
所述步骤(34)的特征匹配分为粗匹配和细匹配两个步骤;
所述粗匹配是指根据手指个数将静态手势分为几大类;
所述细匹配是指在经所述粗匹配的基础上,通过计算待识别除手指个数外的手势特征向量与特征库中所有模板的欧式距离,若最小距离小于阈值则将其手势判定为与其距离最小的模板,否则判定为未定义手势;
所述特征库中存储已定义手势的特征向量及对应操作指令。
7.一种基于视觉的手势识别系统,所述手势识别系统采用SOPC技术构建,核心芯片为现场可编程门阵列FPGA芯片,内嵌NiosⅡ软核处理器,其特征在于所述手势识别系统包括:
(1)手势图像采集模块:通过手势图像采集装置不断采集图像数据更新数据缓存,用于获取用户手势图像数据,作为待识别手势;手势图像采集模块将采集到的图像数据写入外接SRAM中,然后控制器则在SRAM中读回图像数据进行后续处理,采用片上RAM作为缓冲;
(2)图像数据录入模块:从数据缓存中读取当前两幅连续手势图像数据,每次录入两幅连续RGB格式的图像数据,将这两幅图像的像素点的R分量做差,差值大于15的像素点个数小于阈值,则认为图像静止,若静止进入手势图像识别模块,否则返回手势图像采集模块;所述阈值是将开机后的连续两幅图像像素值R分量做差,差值大于15的像素点个数加50作为阈值;
(3)手势图像识别模块:处理手势图像数据,提取特征并与特征库中的模板匹配得出识别结果;所述手势图像识别模块包括以下子模块:
(31)图像二值化子模块:将彩色的手势图像进行颜色空间转换之后用全局阈值法将图像划分为前景和背景两个区域,根据前景在整幅图像中所占比例判断图像中是否有手势,若前景在整幅图像中所占比例在设定阈值范围内,则认为图像中有手势,即进行下一步手势分割,否则返回到手势图像采集模块重新采集图像数据并录入;
(32)手势分割子模块:从经手势图像二值化之后的图像中分割出完整的手势图像;
(33)特征提取子模块:根据经手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;
(34)特征匹配子模块:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果;
通过将两幅连续图像分别进行上述的图像二值化、手势分割、特征提取、特征匹配过程得出两个识别结果,若识别结果一致则根据该识别结果执行后续相应指令,否则重新采集手势图像进行识别;
所述图像二值化子模块的图像二值化是指先将采集的RGB格式的彩色的手势图像转化到HLC颜色空间,然后用全局阈值法将图像划分为前景和背景两个区域;
在所述HLC颜色空间中,H分量描述着物体的颜色类型,即色调;L为亮度;C为色彩的浓度,采用肤色分割公式如下:
Figure FDA00002031117100041
其中:H为像素点的色调值,Hu、Hd为H的上限和下限,根据上述公式分割HLC空间的H分量,得到肤色为前景的二值化图像;
所述特征提取子模块的特征提取,包括提取手指个数,手指长度、指尖距离、图像几何矩和图像转动惯量;
所述提取手指个数是先提取手势边缘,然后以逆时针方向搜索求得手势边缘的freeman链码,边缘点中前后10个点的freeman链码对应按模8相减所得差值中有5个以上大于等于2的点作为可疑指尖点,并计算该点作为指尖的手指长度及宽度,若手指长度大于12个像素且宽度在1到5个像素之间则将该点作为指尖,得到指尖坐标,并将手指个数加1以求得图像中手指个数;
所述提取手指长度是首先找出该指尖与相邻指尖之间弯曲程度最大的点,然后计算该点与该指尖的距离作为手指的长度;
所述提取指尖距离是将指尖坐标的欧式距离的平方作为指尖距离;
所述提取图像几何矩是根据经所述手势分割得到的手势图像计算得到前4个几何矩特征量作为手势的4个特征值,公式如下:
Φ12002
Φ2=(η2002)2+4η11 2
Φ3=(η30-3η12)2+(3η2103)2
Φ4=(η3012)2+(η0321)2
其中:Φ1、Φ2、Φ3、Φ4为4个几何矩,ηpq为归一化中心矩:
Figure FDA00002031117100051
Figure FDA00002031117100052
f(x,y)为点(x,y)的像素值,(xi,yi)为图像的质心,p、q为中心矩的阶次;
所述提取图像转动惯量是将图像整体的图像转动惯量NMI值作为特征。
CN 201010171960 2010-05-13 2010-05-13 基于视觉的手势识别方法及系统 Expired - Fee Related CN101853071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010171960 CN101853071B (zh) 2010-05-13 2010-05-13 基于视觉的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010171960 CN101853071B (zh) 2010-05-13 2010-05-13 基于视觉的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN101853071A CN101853071A (zh) 2010-10-06
CN101853071B true CN101853071B (zh) 2012-12-05

Family

ID=42804594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010171960 Expired - Fee Related CN101853071B (zh) 2010-05-13 2010-05-13 基于视觉的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN101853071B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426107A (zh) * 2015-11-30 2016-03-23 北京拉酷网络科技有限公司 基于触控板的手势识别方法

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486177B1 (ko) * 2010-10-18 2015-01-23 노키아 코포레이션 손 검출을 제공하기 위한 방법 및 장치
US20120224040A1 (en) * 2011-03-03 2012-09-06 Hand Held Products, Inc. Imager reader with hand gesture interface
CN102760198A (zh) * 2011-04-27 2012-10-31 德信互动科技(北京)有限公司 近距离体感互动装置和方法
CN102142084B (zh) * 2011-05-06 2012-12-26 北京网尚数字电影院线有限公司 一种手势识别的方法
CN102200834B (zh) * 2011-05-26 2012-10-31 华南理工大学 面向电视控制的指尖鼠标交互方法
CN102184021B (zh) * 2011-05-27 2013-06-12 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
CN102968177B (zh) * 2011-08-31 2015-10-28 敦宏科技股份有限公司 手势感测方法
CN102368290B (zh) * 2011-09-02 2012-12-26 华南理工大学 一种基于手指高级特征的手势识别方法
CN103034322A (zh) * 2011-09-30 2013-04-10 德信互动科技(北京)有限公司 人机互动系统和方法
WO2013056431A1 (en) * 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
CN103196550A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
CN102662465A (zh) * 2012-03-26 2012-09-12 北京国铁华晨通信信息技术有限公司 基于动态轨迹的视觉字符输入方法及系统
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
CN102693522A (zh) * 2012-04-28 2012-09-26 中国矿业大学 一种彩色图像区域复制篡改检测方法
CN102710908A (zh) * 2012-05-31 2012-10-03 无锡商业职业技术学院 一种基于手势控制电视机的装置
CN102868811B (zh) * 2012-09-04 2015-05-06 青岛大学 一种基于实时视频处理的手机屏幕操控方法
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN102945362B (zh) * 2012-10-18 2016-01-27 中国科学院计算技术研究所 基于异构数据融合的传感器协同手势识别方法及系统
CN103034333A (zh) * 2012-12-18 2013-04-10 福建华映显示科技有限公司 手势辨识装置及方法
CN103065312B (zh) * 2012-12-26 2015-05-13 四川虹微技术有限公司 一种手势跟踪过程中的前景提取法
KR101393570B1 (ko) * 2012-12-28 2014-05-27 현대자동차 주식회사 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템
CN104035547A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种输入方法和电子设备
CN103176603A (zh) * 2013-03-08 2013-06-26 广东工业大学 计算机手势输入系统
CN103218601B (zh) * 2013-04-03 2016-08-03 华为技术有限公司 检测手势的方法及装置
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
CN103903318A (zh) * 2013-11-29 2014-07-02 广州中大电讯科技有限公司 一种基于手势识别的居家养老中的身份认证系统及方法
CN103729628B (zh) * 2014-01-10 2017-01-11 西安电子科技大学宁波信息技术研究院 一种单步手势识别方法
CN104978551B (zh) * 2014-04-08 2019-10-15 香港理工大学深圳研究院 握姿人手图像识别系统及其识别方法
CN104699233B (zh) * 2014-04-14 2018-05-01 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN104063059B (zh) * 2014-07-13 2017-01-04 华东理工大学 一种基于手指分割的实时手势识别方法
CN105718037A (zh) * 2014-12-05 2016-06-29 乐视致新电子科技(天津)有限公司 一种识别目标对象状态的方法及其装置
CN104699243B (zh) * 2015-02-12 2017-10-13 长春理工大学 一种基于单目视觉的无实体虚拟鼠标方法
CN104636497A (zh) * 2015-03-05 2015-05-20 四川智羽软件有限公司 一种视频数据智能检索方法
CN104636495B (zh) * 2015-03-05 2017-11-03 四川智羽软件有限公司 一种基于内容的视频检索方法
CN104657490A (zh) * 2015-03-05 2015-05-27 四川智羽软件有限公司 一种信息检索方法
US9536136B2 (en) * 2015-03-24 2017-01-03 Intel Corporation Multi-layer skin detection and fused hand pose matching
CN104866825B (zh) * 2015-05-17 2019-01-29 华南理工大学 一种基于Hu矩的手语视频帧序列分类方法
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN104835231B (zh) * 2015-05-25 2018-02-27 安恒世通(北京)网络科技有限公司 一种人脸识别锁具
CN104915009B (zh) * 2015-06-25 2018-04-13 深圳先进技术研究院 手势预判的方法及系统
CN104916025B (zh) * 2015-06-25 2018-04-03 安恒世通(北京)网络科技有限公司 一种门控装置
CN104992492B (zh) * 2015-08-04 2018-02-27 安恒世通(北京)网络科技有限公司 一种锁具
CN105133956B (zh) * 2015-08-04 2018-02-06 安恒世通(北京)网络科技有限公司 一种屏显锁具
CN105064810B (zh) * 2015-08-04 2018-02-06 安恒世通(北京)网络科技有限公司 一种智能门控锁具
CN105224089A (zh) * 2015-10-23 2016-01-06 上海斐讯数据通信技术有限公司 手势操作方法及装置、移动终端
CN105607831B (zh) * 2015-12-17 2019-08-27 珠海豹趣科技有限公司 弹窗的控制方法及装置
CN105701806B (zh) * 2016-01-11 2018-08-03 上海交通大学 基于深度图像的帕金森震颤运动特征检测方法及系统
CN106094861B (zh) * 2016-06-02 2024-01-12 零度智控(北京)智能科技有限公司 无人机、无人机控制方法及装置
CN106203299A (zh) 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置
CN106326860A (zh) * 2016-08-23 2017-01-11 武汉闪图科技有限公司 基于视觉的手势识别方法
CN106295612A (zh) * 2016-08-23 2017-01-04 广西科技大学 一种手部康复训练中手指运动的视觉监测方法
CN106503619B (zh) * 2016-09-23 2020-06-19 南京理工大学 基于bp神经网络的手势识别方法
CN106548133B (zh) * 2016-10-17 2019-04-23 歌尔科技有限公司 一种模板匹配方法和装置以及手势识别方法和装置
CN106503650B (zh) * 2016-10-21 2019-09-24 上海未来伙伴机器人有限公司 一种手势图像的识别方法及系统
CN107992184A (zh) * 2016-10-25 2018-05-04 北京东软医疗设备有限公司 一种图像处理方法、装置及设备
CN106802713A (zh) * 2016-11-25 2017-06-06 上海航空电器有限公司 基于视觉的嵌入式手势识别系统装置
CN107598924B (zh) * 2017-09-07 2018-10-12 南京昱晟机器人科技有限公司 一种机器人手势识别控制方法
CN107578023A (zh) * 2017-09-13 2018-01-12 华中师范大学 人机交互手势识别方法、装置及系统
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108255298B (zh) * 2017-12-29 2021-02-19 安徽慧视金瞳科技有限公司 一种投影交互系统中的红外手势识别方法及设备
CN108462842A (zh) * 2018-05-14 2018-08-28 恒玄科技(上海)有限公司 一种高准确度、低功耗的视屏监控方法及监控系统
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN109002811B (zh) * 2018-08-07 2021-07-13 北醒(北京)光子科技有限公司 一种静态手势的识别方法及装置
CN109299743B (zh) * 2018-10-18 2021-08-10 京东方科技集团股份有限公司 手势识别方法及装置、终端
CN109634300B (zh) * 2018-11-23 2022-08-12 中国运载火箭技术研究院 基于隔空手势和超声波触觉反馈的多无人机操控系统及方法
CN109669537B (zh) * 2018-12-03 2019-12-03 浙江万里学院 一种基于计算机虚拟界面的人机交互系统
CN109635750A (zh) * 2018-12-14 2019-04-16 广西师范大学 一种复杂背景下的复合卷积神经网络手势图像识别方法
CN112446251A (zh) * 2019-08-30 2021-03-05 深圳云天励飞技术有限公司 图像处理方法及相关装置
CN111178170B (zh) * 2019-12-12 2023-07-04 青岛小鸟看看科技有限公司 一种手势识别方法和一种电子设备
CN111001154A (zh) * 2020-01-10 2020-04-14 北京铭客教育科技有限公司 一种带有语音播报功能的智能猜拳娱乐系统
CN111695475B (zh) * 2020-06-03 2023-06-27 浙江工业大学 一种基于nmi智能控制家用电器的方法
CN111914808B (zh) * 2020-08-19 2022-08-12 福州大学 一种基于fpga实现的手势识别系统及其识别方法
CN112232217B (zh) * 2020-10-16 2022-08-02 怀化新大地电脑有限公司 手势识别系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685343A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种实现手势识别的方法、装置及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685343A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种实现手势识别的方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙丽娟 等..基于视觉的手势识别技术.《计算机技术与发展》.2008,第18卷(第10期),214-216,221. *
曹陶科 等..基于视觉的手势识别研究.《郑州大学学报(理学版)》.2008,第40卷(第3期),63-66. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426107A (zh) * 2015-11-30 2016-03-23 北京拉酷网络科技有限公司 基于触控板的手势识别方法

Also Published As

Publication number Publication date
CN101853071A (zh) 2010-10-06

Similar Documents

Publication Publication Date Title
CN101853071B (zh) 基于视觉的手势识别方法及系统
Tian et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
CN102831404B (zh) 手势检测方法及系统
CN104361313B (zh) 一种基于多核学习异构特征融合的手势识别方法
Cai et al. Metagrasp: Data efficient grasping by affordance interpreter network
CN103150019A (zh) 一种手写输入系统及方法
CN102999152A (zh) 一种手势动作识别方法和系统
JP2016503220A (ja) ジェスチャ認識のためのパーツ及び状態検出
CN102981742A (zh) 基于计算机视觉的手势交互系统
CN114265498B (zh) 一种多模态手势识别和视觉反馈机制结合的方法
Li et al. Appearance-based gaze estimator for natural interaction control of surgical robots
Zhang et al. Handsense: smart multimodal hand gesture recognition based on deep neural networks
CN114120141A (zh) 一种可全天候遥感监测自动分析方法及其系统
Wang et al. Real-time visual static hand gesture recognition system and its FPGA-based hardware implementation
CN111460858B (zh) 图像中指尖点的确定方法、装置、存储介质及电子设备
CN110032270B (zh) 一种基于手势识别的人机交互方法
CN108108648A (zh) 一种新型的手势识别系统装置及方法
Luo et al. Multi-scale face detection based on convolutional neural network
Li et al. Fingertip blood collection point localization research based on infrared finger vein image segmentation
Dhamanskar et al. Human computer interaction using hand gestures and voice
CN111913584B (zh) 一种基于手势识别的鼠标光标控制方法及系统
Yin et al. Optimization of human body attitude detection based on mask RCNN
Jeong et al. Hand gesture user interface for transforming objects in 3d virtual space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121205

Termination date: 20180513