CN107316022B - 动态手势识别方法和装置 - Google Patents

动态手势识别方法和装置 Download PDF

Info

Publication number
CN107316022B
CN107316022B CN201710501819.XA CN201710501819A CN107316022B CN 107316022 B CN107316022 B CN 107316022B CN 201710501819 A CN201710501819 A CN 201710501819A CN 107316022 B CN107316022 B CN 107316022B
Authority
CN
China
Prior art keywords
gesture
image blocks
gesture image
exclusive
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710501819.XA
Other languages
English (en)
Other versions
CN107316022A (zh
Inventor
王晓曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201710501819.XA priority Critical patent/CN107316022B/zh
Priority to PCT/CN2017/094891 priority patent/WO2019000543A1/zh
Publication of CN107316022A publication Critical patent/CN107316022A/zh
Application granted granted Critical
Publication of CN107316022B publication Critical patent/CN107316022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了动态手势识别方法和装置,可以获取时间帧连续的多个手势图像,对每个手势图像划分为多个图像块,对每个图像进行傅里叶变换以及肤色判断变化,识别手势图像块和非手势图像块,然后根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,并根据逻辑运算结果进行手势滑动的识别,由于该方法处理过程,不需要对整幅图像进行处理,且用逻辑运算简化及整合标识后多个图像块关系,可以快速准确地进行手势识别,也不需要占用大量的内存资源,大大提高手势识别的效率。

Description

动态手势识别方法和装置
技术领域
本发明涉及人机交互技术领域,尤其涉及一种动态手势识别方法和装置。
背景技术
手势交互在人机交互技术领域中的重要性越发突出,在基于虚拟人机交互的场景中,主要通过手势来完成对虚拟界面上不同物体的抓取、移动并释放,因此,需要大量的动态手势来完成对物体的操作,为了保证动态手势识别的实时性,需要对动态手势进行快速准确的识别。
现有技术中,基于Tower算法来进行手势识别,其计算过程非常复杂,运算量超大,降低了手势识别的实时性。基于手势训练的手势识别,如果为了不占用大量内存则手势模型过于简单,造成手势识别准确率降低;如果为了保证手势识别准确率,需要对手势模型进行大量的训练,且增加的变量将占用大量的内存。
发明内容
为了解决上述问题,本发明提供一种动态手势识别方法和装置,可以快速准确地进行手势识别,而且算法简单,不需要占用大量的内存资源。
本发明提供一种动态手势识别方法,包括:
根据时间帧的先后顺序获取多个手势图像;
将每一个手势图像划分为预设个数的图像块;
从每个手势图像的图像块中,识别手势图像块和非手势图像块;
根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
可选地,从每个手势图像的图像块中,识别手势图像块和非手势图像块,包括:
根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比,其中高频分量表示图像中灰度变换速率大于预设阈值的图像区域;
若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
可选地,根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
将第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
可选地,将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;
将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
可选地,将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
本发明还提供一种动态手势识别装置,包括:
获取模块,用于根据时间帧的先后顺序获取多个手势图像;
划分模块,用于将每一个手势图像划分为预设个数的图像块;
第一识别模块,用于从每个手势图像的图像块中,识别手势图像块和非手势图像块;
第二识别模块,用于根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
可选地,第一识别模块具体用于:
根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比,其中高频分量表示图像中灰度变换速率大于预设阈值的图像区域;
若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
可选地,所述的装置还包括:
逻辑运算模块,用于将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
所述第二识别模块,用于将所述逻辑运算模块得到的第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
可选地,所述逻辑运算模块具体用于:将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
可选地,所述逻辑运算模块具体用于:将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
本发明实施例可以获取时间帧连续的多个手势图像,对每个手势图像划分为多个图像块,对每个图像进行傅里叶变换以及肤色判断变化,识别手势图像块和非手势图像块,然后根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果进行手势滑动的识别,由于该方法处理过程,不需要对整幅图像进行处理,且用逻辑运算简化及整合标识后多个图像块关系,可以快速准确地进行手势识别,也不需要占用大量的内存资源,大大提高手势识别的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的动态手势识别方法流程示意图;
图2为本发明实施例的一种划分图像示意图;
图3为图1所示实施例中步骤103的一种实现方法示意图;
图4为图1所示实施例中步骤105的一种实现方法示意图;
图5为本发明实施例提供的一种图像块异或运算示意图;
图6为本发明实施例提供的又一种图像块异或运算示意图;
图7为本发明实施例提供的另一种图像块异或运算示意图;
图8为本发明一实施例提供的动态手势识别装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
目前由于计算机视觉领域快速发展,及虚拟现实技术的蓬勃发展,虚拟现实技术领域也在拓宽,人机交互刻不容缓,但是,虚拟现实设备由于硬件上局限,不方便配置大量的硬件设备(键盘、鼠标)等进行人机交互,因此,基于视觉的手势识别就显得非常重要了。
然而现有的基于Tower算法来进行手势识别,其计算过程非常复杂,运算量超大,降低了手势识别的实时性。基于手势训练的手势识别,如果为了不占用大量内存则手势模型过于简单,造成手势识别准确率降低;如果为了保证手势识别准确率,需要对手势模型进行大量的训练,且增加的变量将占用大量的内存。
为了解决上述问题,本发明实施例提出了基于RGB摄像头的快速手势识别算法,该算法对图像分辨率的要求不高,且算法简单,效率高,可以快速准确地进行手势识别,也不需要占用大量的内存资源。
图1为本发明一实施例提供的动态手势识别方法流程示意图,如图1所示,包括:
101、根据时间帧的先后顺序获取多个手势图像;
假设虚拟现实设备上配有RGB摄像头,当用户通过手势挥动进行人机交互时,摄像头可以连续拍摄手势挥动图像,这些连续拍摄的手势挥动图像在时间帧上是连续的。
102、将每一个手势图像划分为预设个数的图像块;
本发明实施例中可以将每个手势图像划分为预设个数的图像块,其中,预设个数包括3、9、16等,图2为本发明实施例的一种划分图像示意图,如图2所示,将图像划分为9个图像块。
103、从每个手势图像的图像块中,识别手势图像块和非手势图像块;
图3为图1所示实施例中步骤103的一种实现方法示意图,如图3所示,包括:
201、根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
将步骤101中拍摄的每一个手势图像从RGB空间转化为HSV空间,对步骤102中划分的各个图像块进行颜色判断,为此,本发明设置有肤色范围区域([0,30,102]~[30,1000,256]及[168,30,102]~[180,170,256]),将属于肤色范围区域([0,30,102]~[30,1000,256]及[168,30,102]~[180,170,256])的图像块检测出来,之后对属于肤色范围区域的图像块进行形态学操作,以便去除噪点,并使手势图像的边界更加清晰。
202、对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比;
对每个图像块进行傅里叶变换时,可以确定每个图像块的高频分量和低频分量,其中,高频分量表示图像中灰度变换速率大于预设阈值的图像区域(即灰度变换比较快的区域),比如手势边缘部位灰度突然变化,所以手势边缘部位就是高频分量,而手势内部比较平坦,灰度基本没有变化,对应的就是低频分量,即低频分量表示图像中灰度变换小于等于预设阈值的图像区域(即灰度变换比较慢的区域),需要说明的是,这是的预设阈值是指图像灰度变换速度阈值,可以根据实际应用中可以根据经验值进行设置。
本发明实施例中,为了减少计算量,提高识别效率,只对步骤201中已经确定的属于肤色范围区域的图像块进行傅里叶变换,从而可以确定每个肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比,其他不属于肤色范围区域的图像块就不需要进行傅里叶变换。
203、若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
如图2所示,在手势运行时,手势运动区域其实是模糊,对步骤202中,对图像块进行傅里叶变换后得到的高频分量和低频分量进行分析得知,当图像是模糊的,从频率空间上体现为高频分量会非常少。因此,通过判断频率空间中,高频分量占整个图像块的频率空间占比,来判断该图像块是否为模糊图像,如果是模糊图像则可以确定该图像块是手势图像块。为此,本发明实施例中预设一个占比阈值,若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
需要说明的是,上述对每个图像块进行傅里叶变换时,在实际应用中,可以得到每个图像块的频谱图,将频谱移频到原点,计算以圆心为中心的亮斑占整个图像块的占比,这里的亮版是指高频分量,如果亮斑(高频分量)占比小,确定为图像块为手势图像块,否则不是手势图像块。
104、设置手势图像块和非手势图像块的标识值;
为了简化算法,降低运算量,提高手势运动的识别效率和实时性,本发明中将手势图像块标识值设为第一逻辑运算值,例如为1,将非手势图像块标识值设为第二逻辑运算值,例如为0,以便后续进行标识值的异或运算。
105、根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
基于步骤104中将手势图像块标识值设为第一逻辑运算值,非手势图像块标识值设为第二逻辑运算值,之后,可以根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,从而根据逻辑运算结果识别手势运动方向。
图4为图1所示实施例中步骤105的一种实现方法示意图;如图4所示,包括:
301、将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;
具体实现时包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;
将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
图5为本发明实施例提供的一种图像块异或运算示意图,如图5所示,将当前帧图像块的标识值与上一帧图像块的标识值进行异或运算,得到第一异或运算值;将第一异或运算值中每一列图像块的异或运算值相加,如果>0,则表示当前帧相比较于上一帧发生了变换,那么该列的异或运算值设为1,否则该列的异或运算值设为0;将当前帧的每一列图像块的标识值进行相加,得到第一区域值,如果>0,则该列的区域值设为1,否则该列的区域设为0;然后将上述得到的第一异或运算值与第一区域值进行与运算,得到的与运算值即为第一运算结果值,如果>0,则结果值为1,否则结果值为0。
302、将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
具体实现时包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
如图5所示,将当前帧手势图像中各图像块的标识与下一帧手势图像中各图像块的标识值进行异或运算得到第二运算结果值,具体实现参考上述步骤301中的具体描述。
303、将第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
将步骤301得到的第一运算结果值与步骤302得到的第二运算结果值进行比较,通过对相邻时间帧中第一运算结果值与第二运算结果值中1的位置移动来判断手势的运动方向,如图5所示,判断出手势是向右滑动,上下滑动判断也类似。
图6为本发明实施例提供的又一种图像块异或运算示意图;如图6所示,本发明实施例还可以将手势图像划分为16个图像块,从每个手势图像的图像块中,识别手势图像块和非手势图像块,之后,将手势图像块标识值设为1,非手势图像块标识值设为0,之后,对相邻时间帧对应的手势图像中各图像块的标识值进行逻辑运算,根据逻辑运算结果识别手势运动方向,如图6所示,通过对相邻时间帧中第一运算结果值与第二运算结果值中1的位置移动来判断手势的运动方向,如图6所示,判断出手势是向右滑动。
图7为本发明实施例提供的另一种图像块异或运算示意图;如图7所示,本发明实施例还可以将手势图像划分为3个图像块,此时不需要异或运算,如图7所示,通过对相邻时间帧中标识值1的位置移动来判断手势的运动方向,判断出手势是向右滑动。
本发明实施例可以基于RGB摄像头可以获取时间帧连续的多个手势图像,对每个手势图像划分为多个图像块,对每个图像进行傅里叶变换以及肤色判断变化,识别手势图像块和非手势图像块,然后对手势图像块标识为1,对非手势图像块标识为0,从而可以并对时间帧相邻的且标识后的手势图像进行异或运算、与运算等逻辑运算,根据异或运算逻辑运算结果进行手势滑动的识别,由于该方法处理过程,不需要对整幅图像进行处理,且用逻辑运算简化及整合标识后多个图像块关系,可以快速准确地进行手势识别,也不需要占用大量的内存资源,大大提高手势识别的效率。
图8为本发明一实施例提供的动态手势识别装置结构示意图,如图8所示,包括:
获取模块,用于根据时间帧的先后顺序获取多个手势图像;
划分模块,用于将每一个手势图像划分为预设个数的图像块;
第一识别模块,用于从每个手势图像的图像块中,识别手势图像块和非手势图像块;
第二识别模块,用于根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
可选地,第一识别模块具体用于:
根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比,其中高频分量表示图像中灰度变换速率大于预设阈值的图像区域;
若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
可选地,所述的装置还包括:
逻辑运算模块,用于将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;将当前帧手势图像中手势图像块和非手势图像块的标识与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
所述第二识别模块,用于将所述逻辑运算模块得到的第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
可选地,所述逻辑运算模块具体用于:将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
可选地,所述逻辑运算模块具体用于:将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
本发明实施例所述的装置可以上述实施例所示的方法,其实现原理和技术效果不再赘述。
本发明实施例中,上述动态手势识别装置的结构中包括处理器和存储器,所述存储器用于存储支持动态手势识别装置执行上述图1所示实施例中动态手势识别方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行。
本发明实施例还提供了一种计算机存储介质,用于储存动态手势识别装置所用的计算机软件指令,所述计算机软件指令包含了用于执行上述动态手势识别方法为动态手势识别装置所涉及的程序。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种动态手势识别方法,其特征在于,包括:
根据时间帧的先后顺序获取多个手势图像;
将每一个手势图像划分为预设个数的图像块;
从每个手势图像的图像块中,识别手势图像块和非手势图像块,所述手势图像块是模糊图像且所述手势图像块属于肤色范围区域;
根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
2.根据权利要求1所述的方法,其特征在于,从每个手势图像的图像块中,识别手势图像块和非手势图像块,包括:
根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量,以及高频分量在对应图像块中的占比,其中高频分量表示图像中灰度变换速率大于预设阈值的图像区域;
若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
3.根据权利要求1所述的方法,其特征在于,根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
将第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
4.根据权利要求3所述的方法,其特征在于,将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;
将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
5.根据权利要求3所述的方法,其特征在于,将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值,包括:
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
6.一种动态手势识别装置,其特征在于,包括:
获取模块,用于根据时间帧的先后顺序获取多个手势图像;
划分模块,用于将每一个手势图像划分为预设个数的图像块;
第一识别模块,用于从每个手势图像的图像块中,识别手势图像块和非手势图像块,所述手势图像块是模糊图像且所述手势图像块属于肤色范围区域;
第二识别模块,用于根据相邻时间帧对应的手势图像中手势图像块和非手势图像块的标识值,对相邻时间帧对应的手势图像进行逻辑运算,根据逻辑运算结果识别手势运动方向。
7.根据权利要求6所述的装置,其特征在于,第一识别模块具体用于:
根据肤色范围区域,在每个手势图像的图像块中确定属于肤色范围区域的图像块;
对每个属于肤色范围区域的图像块进行傅里叶变换,确定该肤色范围区域的图像块的高频分量以及高频分量在对应图像块中的占比,其中高频分量表示图像中灰度变换速率大于预设阈值的图像区域;
若高频分量在对应图像块中的占比小于等于预设的占比阈值,则确定该肤色范围区域的图像块为手势图像块,否则确定为非手势图像块。
8.根据权利要求6所述的装置,其特征在于,还包括:
逻辑运算模块,用于将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第一运算结果值;将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行逻辑运算得到第二运算结果值;
所述第二识别模块,用于将所述逻辑运算模块得到的第一运算结果值与第二运算结果值进行比较,识别手势运动方向。
9.根据权利要求8所述的装置,其特征在于,所述逻辑运算模块具体用于:
将当前帧手势图像中手势图像块和非手势图像块的标识值与上一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第一异或运算值;将第一异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将当前帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第一区域值;
将第一异或运算值与第一区域值进行与运算,得到第一运算结果值,若结果值大于0则设为1,否则设为0。
10.根据权利要求8所述的装置,其特征在于,所述逻辑运算模块具体用于:
将当前帧手势图像中手势图像块和非手势图像块的标识值与下一帧手势图像中手势图像块和非手势图像块的标识值进行异或运算,得到第二异或运算值;
将第二异或运算值中每一列的异或运算值相加,若大于0,则将该列的异或运算值设为1,否则将该列的异或运算值设为0;
将下一帧手势图像中每一列图像块的标识值进行相加,若大于0,则将该列区域值设为1,否则将该列区域值设为0,得到第二区域值;
将第二异或运算值与第二区域值进行与运算,得到第二运算结果值,若结果值大于0则设为1,否则设为0。
CN201710501819.XA 2017-06-27 2017-06-27 动态手势识别方法和装置 Active CN107316022B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710501819.XA CN107316022B (zh) 2017-06-27 2017-06-27 动态手势识别方法和装置
PCT/CN2017/094891 WO2019000543A1 (zh) 2017-06-27 2017-07-28 动态手势识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710501819.XA CN107316022B (zh) 2017-06-27 2017-06-27 动态手势识别方法和装置

Publications (2)

Publication Number Publication Date
CN107316022A CN107316022A (zh) 2017-11-03
CN107316022B true CN107316022B (zh) 2020-12-01

Family

ID=60180770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710501819.XA Active CN107316022B (zh) 2017-06-27 2017-06-27 动态手势识别方法和装置

Country Status (2)

Country Link
CN (1) CN107316022B (zh)
WO (1) WO2019000543A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960980B (zh) * 2017-12-22 2022-03-15 北京市商汤科技开发有限公司 动态手势识别方法及装置
SG11201909139TA (en) 2017-12-22 2019-10-30 Beijing Sensetime Technology Development Co Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
CN108255308A (zh) * 2018-02-11 2018-07-06 北京光年无限科技有限公司 一种基于虚拟人的手势交互方法及系统
CN112416128B (zh) * 2020-11-23 2022-07-01 森思泰克河北科技有限公司 一种手势识别方法及终端设备
CN112932401A (zh) * 2021-02-01 2021-06-11 读书郎教育科技有限公司 基于vr技术和手势识别的智能视力检测系统及方法
CN112926454B (zh) * 2021-02-26 2023-01-06 重庆长安汽车股份有限公司 一种动态手势识别方法
CN114998842B (zh) * 2022-08-03 2022-12-30 广东电网有限责任公司肇庆供电局 一种基于扰动放大的电力机房烟雾检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1881994A (zh) * 2006-05-18 2006-12-20 北京中星微电子有限公司 一种用于移动设备的手写输入及手势识别的方法和装置
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
CN102509088B (zh) * 2011-11-28 2014-01-08 Tcl集团股份有限公司 一种手部运动检测的方法、装置及人机交互系统
CN103839036B (zh) * 2012-11-22 2017-09-29 富士通株式会社 手追踪方法和装置
CN104392210A (zh) * 2014-11-13 2015-03-04 海信集团有限公司 一种手势识别方法

Also Published As

Publication number Publication date
WO2019000543A1 (zh) 2019-01-03
CN107316022A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107316022B (zh) 动态手势识别方法和装置
US11450146B2 (en) Gesture recognition method, apparatus, and device
CN110517283B (zh) 姿态跟踪方法、装置及计算机可读存储介质
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
JP6608465B2 (ja) ジェスチャーの検知識別の方法及びシステム
CN106934333B (zh) 一种手势识别方法及系统
US10885660B2 (en) Object detection method, device, system and storage medium
Nguyen et al. Yolo based real-time human detection for smart video surveillance at the edge
CN108416268B (zh) 一种基于双机器人视觉沟通的动作识别方法
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
CN104049760B (zh) 一种人机交互命令的获取方法及系统
CN105353634A (zh) 利用手势识别控制操作的家电设备与方法
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
US10922535B2 (en) Method and device for identifying wrist, method for identifying gesture, electronic equipment and computer-readable storage medium
Guo et al. Real-time hand detection based on multi-stage HOG-SVM classifier
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
US9489742B2 (en) Apparatus, method and computer-readable recording medium for detecting moving object using depth map
CN107194402B (zh) 一种并行细化骨架提取方法
WO2021012513A1 (zh) 手势操作方法、装置以及计算机设备
Liu et al. Mmx-accelerated real-time hand tracking system
WO2018053710A1 (zh) 数字图像的形态学处理方法和数字图像处理装置
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN111768427A (zh) 一种多运动目标跟踪方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201028

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.