CN107491755A - 用于手势识别的方法及装置 - Google Patents

用于手势识别的方法及装置 Download PDF

Info

Publication number
CN107491755A
CN107491755A CN201710701881.3A CN201710701881A CN107491755A CN 107491755 A CN107491755 A CN 107491755A CN 201710701881 A CN201710701881 A CN 201710701881A CN 107491755 A CN107491755 A CN 107491755A
Authority
CN
China
Prior art keywords
gesture identification
face
detection zone
priority
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710701881.3A
Other languages
English (en)
Other versions
CN107491755B (zh
Inventor
李英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710701881.3A priority Critical patent/CN107491755B/zh
Publication of CN107491755A publication Critical patent/CN107491755A/zh
Priority to US15/945,455 priority patent/US10509948B2/en
Application granted granted Critical
Publication of CN107491755B publication Critical patent/CN107491755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Abstract

本发明的实施例提供用于手势识别的方法及装置。用于手势识别的方法包括如下步骤:获取用户的图像;检测所述图像是否包括人脸;以及响应于检测到所述图像包括人脸,基于所检测到的人脸的信息进行手势识别。基于人脸的信息进行手势识别包括:在所述图像中划分出包括人脸的第一区域;在所述第一区域外,划分多个检测区域;确定所述多个检测区域的各自的优先级;以及按照从高优先级到低优先级的顺序,依次在所述多个检测区域中进行手势识别,直到得到手势识别的结果。在本发明的实施例中,利用了人脸的信息,能够在不增加硬件成本的情况下,更有效率地进行手势识别。

Description

用于手势识别的方法及装置
技术领域
本发明涉及人机交互技术领域,尤其涉及用于手势识别的方法及装置。
背景技术
智能设备已经普及到生活中的各个方面。智能设备技术中的一个重点就是如何更便捷、有效地实现人机交互。使用手势进行交互具有自然、方便的优点,能够应用于很多场景。为了提高手势识别的准确性,往往期望使用功能更强大的图像传感器以及处理器。这提高了手势识别的成本,并且并不能必然地提高手势识别的效率。
用于手势识别的方法及装置存在改进空间。
发明内容
本发明的实施例提供用于手势识别的方法及装置。
本发明的第一个方面提供了一种用于手势识别的方法,包括如下步骤:获取用户的图像;检测图像是否包括人脸;以及响应于检测到图像包括人脸,基于所检测到的人脸的信息进行手势识别。基于人脸的信息进行手势识别包括:在图像中划分出包括人脸的第一区域;在第一区域外,划分多个检测区域;确定多个检测区域的各自的优先级;以及按照从高优先级到低优先级的顺序,依次在多个检测区域中进行手势识别,直到得到手势识别的结果。
在本发明的实施例中,根据预设定的形状、尺寸,划分多个检测区域。
在本发明的实施例中,划分多个检测区域包括:检测图像中的连续的肤色区域,以及划分多个检测区域,使得检测区域包括连续的肤色区域。
在本发明的实施例中,根据检测区域中包含的连续的肤色区域的面积,确定多个检测区域的各自的优先级。
在本发明的实施例中,用于手势识别的方法还包括:改变第一区域的颜色,以区别于肤色。
在本发明的实施例中,根据多个检测区域与第一区域的位置关系,确定检测区域的各自的优先级。
在本发明的实施例中,确定多个检测区域的各自的优先级包括:将位于第一区域的左侧或右侧的检测区域的优先级确定为第一优先级;将位于第一区域的下方的检测区域的优先级确定为比第一优先级低的第二优先级;以及将位于第一区域的上方的检测区域的优先级确定为比第二优先级低的第三优先级。
在本发明的实施例中,根据用户的使用偏好,确定多个检测区域的各自的优先级。
在本发明的实施例中,在多个检测区域中进行手势识别包括:根据人脸的颜色,调整肤色的颜色区间;以及根据肤色的颜色区间,进行手势识别。
在本发明的实施例中,调整肤色的颜色区间包括:获取人脸的多个点的颜色的平均值,以及调整颜色区间,使得颜色区间的中心点为平均值。
在本发明的实施例中,多个点对称分布于人脸的左右部分。
在本发明的实施例中,用于手势识别的方法还包括:响应于检测到图像包括人脸,存储人脸的信息。对于之后的在预定时间内检测到的用户的图像,基于所存储的人脸的信息进行手势识别。
在本发明的实施例中,用于手势识别的方法还包括:响应于检测到图像不包括人脸,在图像中进行手势识别。
本发明的第二个方面提供了一种用于手势识别的装置,包括:处理器,存储器,以及图像传感器。处理器执行在存储器中存储的程序以进行以下步骤:获取用户的图像;检测图像是否包括人脸;以及响应于检测到图像包括人脸,基于所检测到的人脸的信息进行手势识别。基于人脸的信息进行手势识别包括:在图像中划分出包括人脸的第一区域;在第一区域外,划分多个检测区域;确定多个检测区域的各自的优先级;以及按照从高优先级到低优先级的顺序,依次在多个检测区域中进行手势识别,直到得到手势识别的结果。
在本发明的实施例中,根据预设定的形状、尺寸,划分多个检测区域。
在本发明的实施例中,划分多个检测区域包括:检测图像中的连续的肤色区域,以及划分多个检测区域,使得检测区域包括连续的肤色区域。
在本发明的实施例中,根据多个检测区域与第一区域的位置关系,确定检测区域的各自的优先级。
在本发明的实施例中,根据用户的使用偏好,确定多个检测区域的各自的优先级。
在本发明的实施例中,在多个检测区域中进行手势识别包括:根据人脸的颜色,调整肤色的颜色区间;以及根据肤色的颜色区间,进行手势识别。
在本发明的实施例中,步骤还包括:响应于检测到图像包括人脸,存储人脸的信息。对于之后的在预定时间内检测到的用户的图像,基于所存储的人脸的信息进行手势识别。
根据本发明的实施例的用于手势识别的方法及装置,利用了人脸的信息,能够在不增加硬件成本的情况下,更有效率地进行手势识别。
附图说明
为了更清楚地说明本发明的实施例的技术方案,下面将对实施例的附图进行简要说明,应当知道,以下描述的附图仅仅涉及本发明的一些实施例,而非对本发明的限制,其中:
图1是手势识别过程中获取的图像的示意图;
图2是本发明的实施例提供的用于手势识别的方法的示意性的流程图;
图3是检测到人脸的示意图;
图4是在所获取的图像中划分多个检测区域的一个示意图;
图5是在所获取的图像中划分多个检测区域的另一个示意图;
图6是检测连续的肤色区域的示例性的示意图;
图7是根据连续的肤色区域的检测结果调整多个检测区域的划分的示例性的示意图;
图8是根据连续的肤色区域的检测结果划分多个检测区域的示例性的示意图;
图9是改变所获取的图像中人脸的颜色的示意图;
图10是在图9的基础上检测连续的肤色区域的示意图;
图11是获取人脸的肤色信息的平均值的一个示例性的示意图;
图12是多个用户手势识别的示例性的示意图;
图13是用于手势识别的装置的一个示例性的框图。
具体实施方式
为了使本发明的实施例的技术方案和优点更加清楚,下面将结合附图,对本发明的实施例的技术方案进行清楚、完整的描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域技术人员在无需创造性劳动的前提下所获得的所有其他实施例,也都属于本发明保护的范围。
图1是手势识别过程中获取的图像的示意图。在常见的应用场景中,用户做出手势,由智能设备采集关于手势的图像,并对于手势进行识别和分析,以完成人机交互。一般而言,例如智能电视、智能手机等的智能设备,均会在相对较大范围内采集图像,以涵盖用户的手可能出现的各个区域。如图1所示,用户的手1和脸2常常被同时采集。
手1和脸2的肤色相近。如果利用肤色作为特征,直接对于如图1所示的图形进行手势识别,脸2的部分可能会对于手势识别的过程产生干扰,从而增加手势识别的难度。
图2是本发明的实施例提供的用于手势识别的方法的示意性的流程图。如图2所示,用于手势识别的方法包括:步骤S201,获取用户的图像;步骤S202,检测图像是否包括人脸;步骤S203,响应于检测到图像包括人脸,基于所检测到的人脸的信息进行手势识别。基于人脸的信息进行手势识别包括:在图像中划分出包括人脸的第一区域;在第一区域外,划分多个检测区域;确定多个检测区域的各自的优先级;以及按照从高优先级到低优先级的顺序,依次在多个检测区域中进行手势识别,直到得到手势识别的结果。
在多个检测区域中进行手势识别是指对于手的形状进行检测的具体过程。在检测到人脸后,分别在手可能出现的区域中进行手的形状的检测,能够减小计算量、提高效率和准确度。
图3是检测到人脸的示意图。如图3所示,在步骤S202中,检测到了人脸。此后,在步骤203中,并且,划分出包括人脸的第一区域3。第一区域3的形状和尺寸可以根据实际需求而设置,例如,可以是比检测到的人脸稍大的矩形,以便于后续的处理。在步骤202中,可以使用各种程序开发环境提供的通用算法进行人脸检测,例如,可以使用OpenCV、安卓系统、或者IOS系统提供的人脸检测模块,并且采用例如基于Haar特征的Adboost分类器。
图4是在所获取的图像中划分多个检测区域的一个示意图。作为一个示例,在步骤S203中,可以根据预设定的形状、尺寸,划分多个检测区域。如图4所示,围绕人脸划分出多个检测区域,其中,第一检测区域A1、第二检测区域A2位于人脸的两侧,第三检测区域A3位于人脸的下方,第四检测区域A4位于人脸的上方。
在划分多个检测区域后,可以根据上述检测区域与第一区域的位置关系,设置优先级。例如,可以对应于人们使用手的习惯,设置优先级,使得人脸两侧的检测区域的优先级大于人脸下方的检测区域的优先级,并且人脸下方的检测区域的优先级高于人脸上方的检测区域的优先级。即,可以使得第一检测区域A1和第二检测区域A2的优先级高于第三检测区域A3的优先级,第三检测区域A3的优先级高于第四检测区域A4的优先级。这样,手出现的可能性高的检测区域可以被优先检测。一旦在高优先级的检测区域中检测到了手势,则可以停止手势识别的过程,避免多余的计算,提高了效率。
进一步的,考虑到右手的使用率相对较高,对于人脸两侧的区域,可以设置优先检测右手对应的区域。即,可以使得第一检测区域A1的优先级高于第二检测区域A2的优先级。
第一检测区域A1、第二检测区域A2的高度可以是第一区域3的高度的2~4倍,例如3倍。第一检测区域A1、第二检测区域A2的宽度可以是第一区域3的宽度的1~3倍,例如2倍。
图5是在所获取的图像中划分多个检测区域的另一个示意图。如图5所示,在图4所示的区域之外,还可以进一步在外围划分出第五检测区域A5、第六检测区域A6、第七检测区域A7等等。对应于手出现的可能性,第五检测区域A5、第六检测区域A6、第七检测区域A7的优先级可以比第四检测区域A4的更低。
如图4和图5所示,划分多个检测区域,并且设置优先级。这样,在运行手势识别的算法时,每一次仅仅需要处理一个检测区域,极大的减少了计算量,提高了效率,并且提高了准确性。
此外,应当理解,图4和图5中的划分方式仅仅为示例,本发明的实施例中,任意数量、大小、形状的区域均可以被使用。
根据获取的图形中的各个检测区域与人脸的位置关系,设置优先级,然后,根据优先级,分别在各个检测区域中进行识别。这可以避免人脸的干扰,并且减小计算量,提高了手势识别的效率和准确度。
在本发明的实施例中,优先级的也可以根据其它参数来设置。
图6是检测连续的肤色区域的示例性的示意图。如图6所示,作为一个示例,在第一检测区域A1、第二检测区域A2、第三检测区域A3中检测得到了连续的肤色区域(图中阴影部分示出),并且第一检测区域A1中的面积大于第二检测区域A2,第二检测区域A2中的面积大于第三检测区域A3。由于在通常的应用场景中,手部(也可能包括与之连接的小臂部分)是脸部附近最可能检测到的具有连续的肤色的身体部位,所以,可以根据检测区域中肤色区域的面积,设置优先级。在图6中,可以使得第一检测区域A1的优先级高于第二检测区域A2,第二检测区域A2的优先级高于第三检测区域A3。
在检测连续的肤色区域后,设置多个检测区域的优先级,可以使得手势识别的过程更有针对性。检测得到的结果也可以用于手势识别的过程,因此,也不会增加额外的计算量。
检测连续的肤色区域可以使用各种算法,本发明的实施例不作限制。例如,可以首先使用预设置的肤色模型,进行图像分割。该预设置的肤色模型包括预设置的颜色区间,预设置的肤色的颜色区间可以表示为(Cmin,Cmax)。在例如灰度图像中,Cmin,Cmax可以分别表示灰度值的最小值,最大值。在该颜色区间的像素可以被标记为1,在该颜色区间的像素可以被标记为0,以实现图像分割(或者称为二值化)。
然后,检测标记为1的像素是否连续。如果在一个标记为1的像素周围存在另一个被标记为1的像素,则这两个像素连续。周围可以是指上、下、左、右四个方向,也可以是上、左上、右上、左、右、左下、右下、下八个方向。该过程中,直接对于像素的个数求和,即可以得到面积。此外,为了进一步提高效率,可以考虑对于连续的肤色区域的面积设置阈值,小于阈值的面积可以不被考虑,阈值可以设置为例如50*50。
分割后的图像还可以直接用于手势识别。手势识别的过程也可以采用各种算法,本发明的实施例对此不作限制。例如,可以在分割后的图像的基础上,采样Adaboost分类器基于LBP特征进行手势检测。
图7是根据连续的肤色区域的检测结果调整多个检测区域的划分的示例性的示意图。在某些情况下,在检测了连续的肤色区域后可能会发现,连续的肤色的区域跨越了两个或者更多的区域。如图7所示,连续的肤色区域跨越了原第一检测区域A1和第四检测区域A4。此时,根据连续的肤色区域的分布,调整多个检测区域的划分,使得任一个连续的肤色区域位于多个检测区域中的任一个中。如图7所示,可以根据连续的肤色区域的分布,调整二值化区域的划分,使得调整后的第一检测区域A1’包含了完整的连续的肤色区域。
调整多个检测区域的划分,可以使得手势识别的过程更有针对型。应当理解,调整的方式没有限制,只要使得完整的连续的肤色区域被任意一个区域包含即可。
如上所述,多个检测区域的划分可以是静态的进行,按照预定的数量、形状,围绕人脸划分出多个检测区域,并且可以在之后进行调整。然而,这并不是对于本发明的限制,应当理解,多个检测区域的划分也可以是动态进行的。
在本发明的实施例中,划分多个检测区域可以包括:检测图像中的连续的肤色区域,以及划分多个检测区域,使得检测区域包括连续的肤色区域。
图8是根据连续的肤色区域的检测结果划分多个检测区域的示例性的示意图。检测连续的肤色区域是常用的图像处理的方法,因此,该过程可以在检测到人脸后,或者是检测人脸的同时方便的进行,并可以得到了人脸之外的连续的肤色区域。如图8所示,在本发明的实施例中,可以直接根据检测的结果,划分第一检测区域A1”,以包含人脸之外的最大的连续的肤色区域,并设置最高的优先级。同理,可以划分第二检测区域A2”,第三检测区域A3”,并且使得第二检测区域A2”的优先级高于第三检测区域A3”。
在本发明的实施例中,可以直接根据连续的肤色区域的检测结果来同时进行检测区域的划分和优先级的设置。在手出现的位置经常变化的情况下,这样的方案可以更好的适用。
如上所述,在手势识别的过程中,人脸的位置信息可以被充分的利用,以提高效率和准确性。此外,人脸的颜色信息也可以被利用,以有利于手势识别的过程。
图9是改变所获取的图像中人脸的颜色的示意图。如图9所示,用于手势识别的方法还可以包括:改变第一区域的颜色,以区别于肤色。该步骤可以在检测到第一区域后立即执行。例如,人脸部分可以设置为全白,全黑,或者肤色的范围之外的其它任何颜色,优选地,人脸部分可以设置为同肤色及背景区别较大的颜色,如全黄、全绿等,这样,可以进一步防止对于划分多个检测区域等过程的干扰,防止因为人脸肤色同手的肤色接近而干扰手势识别。
图10是在图9的基础上检测连续的肤色区域的示意图。如图10所示,在进行图像分割(二值化)后,与图8相比较,可以除去人脸部分的区域。在图10的基础上,进行手势识别,能够进一步避免人脸的干扰。
图11是获取人脸的肤色信息的平均值的一个示例性的示意图。如上所述,使用预设置的肤色模型进行图像分割。在本发明的实施例中,还可以根据人脸的颜色,调整预设置的肤色模型,尤其是调整颜色区间。具体而言,调整预设置的肤色模型可以包括:获取人脸的多个点的颜色的平均值,以及调整颜色区间,使得颜色区间的中心点为平均值。
作为示例,获取人脸的多个点的颜色的平均值时,这多个点可以对称地分布在人脸的左右部分。如图11所示,设置人脸左右宽度的中心点O,第一范围F1、第二范围F2关于中心点O对称,且在同一水平线上。计算第一范围F1、第二范围F2中所有点的颜色的平均值,以Cv表示。
应当理解,第一范围F1、第二范围F2的位置、形状均可以任意设置。作为一个示例,使得第一范围F1、第二范围F2的中心到中心点O的距离是人脸检测区域3的宽度的1/4,第一范围F1、第二范围F2的宽度是人脸检测区域3的宽度的1/6。此外,第一范围F1、第二范围F2的高度可以是人脸检测区域3的宽度的1/6。
在例如灰度图像中,使用单一的值来表示灰度,或者颜色,此时,平均值Cv可以是单一的数值。在例如彩色图像中,使用多个值来表示颜色。平均值Cv可以包含多个值,例如RGB方式中分别表示红色、绿色、蓝色的Rv、Gv、Bv值,或者YUV方式中的U、V值,或者YCbCr中的Cb、Cr值等。
以下,举例说明,如何根据获取的人脸颜色的平均值Cv,调整肤色的颜色区间,其中,使用单一的值来表示灰度,或者颜色。预设置的肤色的颜色区间可以是(Cmin,Cmax),原中心点的值是Cmid=(Cmin+Cmax)/2。如果Cv<Cmid,则颜色区间可以调整为(Cmin,Cv+(Cv-Cmin)),中心点的值是Cv。如果Cv>Cmid,则颜色区间可以调整为(Cv-(Cmax-Cv),Cmax),中心点的值是Cv。如果Cv=Cmid,则无需调整。
应当理解,使用多个值来表示颜色时,可以对于每个值都进行上述调整,具体过程不再详述。
在本发明的实施例中,在获取人脸图像后,不仅可以利用人脸的位置信息寻找手可能出现的区域,还可以利用人脸的颜色信息,对于进行手势识别时需要使用的肤色模型进行调整。手势识别的准确度能够得到进一步的提高。
在本发明的实施例中,充分利用人脸的位置信息和颜色信息,可以提高手势识别的效率和准确度,这同样可以应用于多用户的手势识别。
图12是多个用户手势识别的示例性的示意图。如图12所示,以两个用户为例,第一用户U1使用右手H1进行操作,第二用户U2使用右手H2进行操作。
根据人脸的位置信息,对于第一用户U1而言,可以优先检测右手H1所在的区域,对于第二用户U2而言,可以优先检测右手H2的位置,这样可以容易地得到手和用户之间的对应关系。
此外,一般而言,同一用户的脸和手的颜色更加接近。第一用户U1的脸和手属于第一颜色区间,而第二用户U2的脸和手属于第二颜色区间。因此,也可以容易地通过比较手和脸的颜色,将手H1与第一用户U1进行匹配,并且将手H2与第二用户U2进行匹配。
在本发明的实施例中,优先级的还可以通过其它多种方式设置。例如,可以根据用户的偏好,设置优先级。用户可能习惯使用左手操作,或者将手举过头顶操作。用户可以自行将这些检测区域设置为优先级别最高的区域。此外,智能设备也可以根据历史记录,自动将指定时间内手势出现最多次的检测区域设置为优先级别最高的检测区域。
在本发明的实施例中,考虑到人脸的运动频率一般远远小于手,所以在检测到人脸后,可以存储人脸图像的位置和颜色信息,直接用于多次手势识别的操作。例如,以数秒钟为一个周期,每个周期进行1次人脸识别,并存储人脸位置、颜色等信息。之后,在该周期中,对于之后获取的预定数量的图像,使用所存储的人脸的信息进行手势识别。这样,在提高准确度的同时,可以进一步提高手势识别的效率。
在本发明的实施例中,在没有检测到人脸时,直接在所获取的图像中,对于手势进行检测。
图13是用于手势识别的装置的一个示例性的框图。如图13所示,用于手势识别的装置1300包括:处理器1301,存储器1302,以及图像传感器1303。处理器1300执行在存储器中存储的程序以进行以下步骤:获取用户的图像;检测图像是否包括人脸;以及响应于检测到图像包括人脸,基于所检测到的人脸的信息进行手势识别。基于人脸的信息进行手势识别包括:在图像中划分出包括人脸的第一区域;在第一区域外,划分多个检测区域;确定多个检测区域的各自的优先级;以及按照从高优先级到低优先级的顺序,依次在多个检测区域中进行手势识别,直到得到手势识别的结果。
用于手势识别的装置可以是任意专用或者通用的设备,例如,用于手势识别的装置可以是智能手机,处理器1301、存储器1302是智能手机中已有的处理器和存储器,图像传感器1303是智能手机中已有的摄像组件。
已经描述的用于手势识别的方法均可以由图13所示的实施识别装置执行。因此,至少可以提供以下的技术方案。
在本发明的实施例的用于手势识别的装置中,根据预设定的形状、尺寸,划分多个检测区域。
在本发明的实施例的用于手势识别的装置中,划分多个检测区域包括:检测图像中的连续的肤色区域,以及划分多个检测区域,使得检测区域包括连续的肤色区域。
在本发明的实施例的用于手势识别的装置中,根据多个检测区域与第一区域的位置关系,确定检测区域的各自的优先级。
在本发明的实施例的用于手势识别的装置中,根据用户的使用偏好,确定多个检测区域的各自的优先级。
在本发明的实施例的用于手势识别的装置中,在多个检测区域中进行手势识别包括:根据人脸的颜色,调整肤色的颜色区间;以及根据肤色的颜色区间,进行手势识别。
在本发明的实施例的用于手势识别的装置中,步骤还包括:响应于检测到图像包括人脸,存储人脸的信息。对于之后的在预定时间内检测到的用户的图像,基于所存储的人脸的信息进行手势识别。
在本发明的实施例的用于手势识别的装置中,步骤还包括:响应于检测到图像不包括人脸,在图像中进行手势识别。
如上所述,在本发明的实施例用于手势识别的方法和用于手势识别的装置中,包括了人脸检测的过程,在获取人脸的位置后,优先对与手部出现的可能性高的区域进行手势识别。在获取人脸颜色后,还可以动态更新手势识别的使用的肤色模型。本发明的实施例能够提高手势识别的效率和准确度。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (15)

1.一种用于手势识别的方法,包括如下步骤:
获取用户的图像;
检测所述图像是否包括人脸;以及
响应于检测到所述图像包括人脸,基于所检测到的人脸的信息进行手势识别;
其中,基于人脸的信息进行手势识别包括:
在所述图像中划分出包括人脸的第一区域;
在所述第一区域外,划分多个检测区域;
确定所述多个检测区域的各自的优先级;以及
按照从高优先级到低优先级的顺序,依次在所述多个检测区域中进行手势识别,直到得到手势识别的结果。
2.根据权利要求1所述的用于手势识别的方法,其中,根据预设定的形状、尺寸,划分多个检测区域。
3.根据权利要求1所述的用于手势识别的方法,其中,划分多个检测区域包括:检测所述图像中的连续的肤色区域,以及划分多个检测区域,使得所述检测区域包括所述连续的肤色区域。
4.根据权利要求3所述的用于手势识别的方法,其中,根据所述检测区域中包含的连续的肤色区域的面积,确定所述多个检测区域的各自的优先级。
5.根据权利要求1所述的用于手势识别的方法,还包括:改变所述第一区域的颜色,以区别于肤色。
6.根据权利要求1所述的用于手势识别的方法,其中,根据所述多个检测区域与所述第一区域的位置关系,确定所述检测区域的各自的优先级。
7.根据权利要求6所述的用于手势识别的方法,其中,确定所述多个检测区域的各自的优先级包括:
将位于所述第一区域的左侧或右侧的检测区域的优先级确定为第一优先级;
将位于所述第一区域的下方的检测区域的优先级确定为比所述第一优先级低的第二优先级;以及
将位于所述第一区域的上方的检测区域的优先级确定为比所述第二优先级低的第三优先级。
8.根据权利要求1所述的用于手势识别的方法,
其中,根据用户的使用偏好,确定所述多个检测区域的各自的优先级。
9.根据权利要求1所述的用于手势识别的方法,其中,在所述多个检测区域中进行手势识别包括:
根据人脸的颜色,调整肤色的颜色区间;以及
根据所述肤色的颜色区间,进行手势识别。
10.根据权利要求9所述的用于手势识别的方法,其中,调整肤色的颜色区间包括:
获取人脸的多个点的颜色的平均值,以及
调整所述颜色区间,使得所述颜色区间的中心点为所述平均值。
11.根据权利要求1所述的用于手势识别的方法,还包括:响应于检测到所述图像包括人脸,存储所述人脸的信息;
其中,对于之后的在预定时间内检测到的用户的图像,基于所存储的人脸的信息进行手势识别。
12.一种用于手势识别的装置,包括:处理器,存储器,以及图像传感器;其中,所述处理器执行在存储器中存储的程序以进行以下步骤:
获取用户的图像;
检测所述图像是否包括人脸;以及
响应于检测到所述图像包括人脸,基于所检测到的人脸的信息进行手势识别;
其中,基于人脸的信息进行手势识别包括:
在所述图像中划分出包括人脸的第一区域;
在所述第一区域外,划分多个检测区域;
确定所述多个检测区域的各自的优先级;以及
按照从高优先级到低优先级的顺序,依次在所述多个检测区域中进行手势识别,直到得到手势识别的结果。
13.根据权利要求12所述的用于手势识别的装置,其中,所述步骤还包括:改变所述第一区域的颜色,以区别于肤色。
14.根据权利要求12所述的用于手势识别的装置,其中,
根据所述多个检测区域与所述第一区域的位置关系,确定所述检测区域的各自的优先级;或者
根据用户的使用偏好,确定所述多个检测区域的各自的优先级。
15.根据权利要求12所述的用于手势识别的装置,其中,在所述多个检测区域中进行手势识别包括:
根据人脸的颜色,调整肤色的颜色区间;以及
根据所述肤色的颜色区间,进行手势识别。
CN201710701881.3A 2017-08-16 2017-08-16 用于手势识别的方法及装置 Active CN107491755B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710701881.3A CN107491755B (zh) 2017-08-16 2017-08-16 用于手势识别的方法及装置
US15/945,455 US10509948B2 (en) 2017-08-16 2018-04-04 Method and device for gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710701881.3A CN107491755B (zh) 2017-08-16 2017-08-16 用于手势识别的方法及装置

Publications (2)

Publication Number Publication Date
CN107491755A true CN107491755A (zh) 2017-12-19
CN107491755B CN107491755B (zh) 2021-04-27

Family

ID=60646176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710701881.3A Active CN107491755B (zh) 2017-08-16 2017-08-16 用于手势识别的方法及装置

Country Status (2)

Country Link
US (1) US10509948B2 (zh)
CN (1) CN107491755B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399009A (zh) * 2018-02-11 2018-08-14 易视腾科技股份有限公司 利用人机交互手势唤醒智能设备的方法及装置
CN108805035A (zh) * 2018-05-22 2018-11-13 深圳市鹰硕技术有限公司 基于手势识别的教学互动方法以及装置
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN109284689A (zh) * 2018-08-27 2019-01-29 苏州浪潮智能软件有限公司 一种利用手势识别进行活体检测的方法
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
WO2021185016A1 (en) * 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for controlling device using hand gestures in multi-user environment
WO2021189173A1 (en) * 2020-03-23 2021-09-30 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
CN113591578A (zh) * 2021-06-30 2021-11-02 广州市瀚云信息技术有限公司 一种屏蔽器控制方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491755B (zh) * 2017-08-16 2021-04-27 京东方科技集团股份有限公司 用于手势识别的方法及装置
CN112183429B (zh) * 2020-10-12 2024-01-19 苏州晴森模具有限公司 3d手势识别系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102324019A (zh) * 2011-08-12 2012-01-18 浙江大学 一种视频序列中自动提取手势候选区域的方法及系统
CN102592115A (zh) * 2011-12-26 2012-07-18 Tcl集团股份有限公司 一种人手定位方法及系统
CN102799855A (zh) * 2012-06-14 2012-11-28 华南理工大学 基于视频流的人手定位方法
CN202815864U (zh) * 2012-03-12 2013-03-20 李博男 一种手势识别系统
CN104049760A (zh) * 2014-06-24 2014-09-17 深圳先进技术研究院 一种人机交互命令的获取方法及系统
US9292097B1 (en) * 2008-10-24 2016-03-22 Google Inc. Gesture-based small device input
CN106020227A (zh) * 2016-08-12 2016-10-12 北京奇虎科技有限公司 无人机的控制方法、装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
EP1482724B1 (fr) * 2003-05-19 2007-07-11 STMicroelectronics S.A. Méthode de traitement d'images numériques avec correction d'exposition par reconnaissance de zones appartenant à la peau du sujet photographié
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
TW201123031A (en) * 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
CN105095882B (zh) 2015-08-24 2019-03-19 珠海格力电器股份有限公司 手势识别的识别方法和装置
CN107491755B (zh) * 2017-08-16 2021-04-27 京东方科技集团股份有限公司 用于手势识别的方法及装置
CN108229391B (zh) * 2018-01-02 2021-12-24 京东方科技集团股份有限公司 手势识别装置及其服务器、手势识别系统、手势识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US9292097B1 (en) * 2008-10-24 2016-03-22 Google Inc. Gesture-based small device input
CN102324019A (zh) * 2011-08-12 2012-01-18 浙江大学 一种视频序列中自动提取手势候选区域的方法及系统
CN102592115A (zh) * 2011-12-26 2012-07-18 Tcl集团股份有限公司 一种人手定位方法及系统
CN202815864U (zh) * 2012-03-12 2013-03-20 李博男 一种手势识别系统
CN102799855A (zh) * 2012-06-14 2012-11-28 华南理工大学 基于视频流的人手定位方法
CN104049760A (zh) * 2014-06-24 2014-09-17 深圳先进技术研究院 一种人机交互命令的获取方法及系统
CN106020227A (zh) * 2016-08-12 2016-10-12 北京奇虎科技有限公司 无人机的控制方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宇航: "基于手势理解的UR机器人视觉引导与控制方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399009A (zh) * 2018-02-11 2018-08-14 易视腾科技股份有限公司 利用人机交互手势唤醒智能设备的方法及装置
CN108805035A (zh) * 2018-05-22 2018-11-13 深圳市鹰硕技术有限公司 基于手势识别的教学互动方法以及装置
WO2019223056A1 (zh) * 2018-05-22 2019-11-28 深圳市鹰硕技术有限公司 基于手势识别的教学互动方法以及装置
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN108983979B (zh) * 2018-07-25 2021-11-30 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN109284689A (zh) * 2018-08-27 2019-01-29 苏州浪潮智能软件有限公司 一种利用手势识别进行活体检测的方法
WO2021185016A1 (en) * 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for controlling device using hand gestures in multi-user environment
WO2021189173A1 (en) * 2020-03-23 2021-09-30 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN113591578A (zh) * 2021-06-30 2021-11-02 广州市瀚云信息技术有限公司 一种屏蔽器控制方法及装置

Also Published As

Publication number Publication date
CN107491755B (zh) 2021-04-27
US10509948B2 (en) 2019-12-17
US20190057246A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
CN107491755A (zh) 用于手势识别的方法及装置
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
US7197166B2 (en) Iris extraction method capable of precisely determining positions and sizes of irises in a digital face image
CN103186904B (zh) 图片轮廓提取方法及装置
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
US10964070B2 (en) Augmented reality display method of applying color of hair to eyebrows
CN108875594B (zh) 一种人脸图像的处理方法、装置以及存储介质
CN104487999B (zh) 姿势估计装置和姿势估计方法
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
EP3772038A1 (en) Augmented reality display method of simulated lip makeup
CN105844242A (zh) 图像中的肤色检测方法
CN111062891A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN107507144A (zh) 肤色增强的处理方法、装置及图像处理装置
CN102521567B (zh) 一种人机交互的指尖检测方法、装置及电视机
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
CN104392210A (zh) 一种手势识别方法
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN108427932A (zh) 指纹图像的识别方法及装置
CN104766354A (zh) 一种增强现实绘图的方法及移动终端
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN108274476A (zh) 一种人形机器人抓取球体的方法
CN107153806B (zh) 一种人脸检测方法及装置
EP2924610A2 (en) Flesh color detection condition determining apparatus, and flesh color detection condition determining method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant