CN104102340A - 手势识别装置、手势识别方法、以及电子设备 - Google Patents

Abstract

本发明涉及手势识别装置、手势识别方法、以及电子设备。高精度地且通过简单的处理识别各种手势。手势识别装置具有：指尖候选检测部（24），从拍摄了用户的图像检测指尖候选；手指检测部（25），将从指间候选向某一方向延伸规定距离的皮肤区域检测为手指；以及形状确定部（27），基于检测到的手指的根数，确定手势的类别。

Description

手势识别装置、手势识别方法、以及电子设备

技术领域

本发明涉及根据用户的动作识别手势的手势识别装置、手势识别方法、电子设备、控制程序以及记录介质。

背景技术

近年来出现了对电视接收机、个人计算机、或平板终端等安装用于识别基于用户的手指等的手势的手势识别装置的电子设备。这样的电子设备具有通过用户移动手指等可进行直观的操作的优点，针对手势识别开发了各种技术。

例如，在专利文献1中，记载了检测外形凸包顶点、手区域、手臂区域等，从而高精度地确定基于用户的手指的指示点的技术。此外，在专利文献2中记载了通过模板匹配，识别用户的手势的技术。

专利文献1：（日本）特开2012-59271号公报（2012年3月22日公开）

专利文献2：（日本）特开平8-279044号公报（1996年10月22日公开）

这里，手势识别装置要求能够高精度且实时地（通过简单的处理）识别各种手势。但是，上述那样的现有技术关于上述这一点是不充分的。具体来说，专利文献1中记载的技术特定于用户的手的规定形状的识别，难以应用在其他形状的手势识别，不具有通用性。此外，专利文献2中记载的技术为了提高精度而增加进行匹配的模板数。此时，资源增大，实际上提高精度存在限度。

发明内容

本发明鉴于上述的问题点而完成，其目的在于，实现高精度且通过简单的处理识别各种手势的手势识别装置、手势识别方法、电子设备、控制程序以及记录介质。

为了解决上述的课题，本发明的一个方式的手势识别装置是，从拍摄了用户的图像识别手的手势的手势识别装置，具有：指尖候选检测部件，从上述图像检测指尖候选；手指检测部件，将从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及手势类别确定部件，基于上述手指检测部件检测到的手指的根数，确定手势的类别。

为了解决上述的课题，本发明的一个方式的手势识别装置是，从拍摄了用户的图像识别手的手势的手势识别装置，具有：指尖候选检测部件，从上述图像检测指尖候选；手指检测部件，将从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及指示位置确定部件，将由上述手指检测部件检测到的手指的指尖位置确定为用户指示的位置。

为了解决上述课题，本发明的一个方式的手势识别方法是，从拍摄了用户的图像识别手的手势的手势识别方法，包含：指尖候选检测步骤，从上述图像检测指尖候选；手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及手势类别确定步骤，基于在上述手指检测步骤中检测到的手指的根数，确定手势的类别。

为了解决上述课题，本发明的一个方式的手势识别方法是，从拍摄了用户的图像识别手的手势的手势识别方法，包含：指尖候选检测步骤，从上述图像检测指尖候选；手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及指示位置确定步骤，将在上述手指检测步骤中检测到的手指的指尖位置确定为用户指示的位置。

根据本发明的一个方式，起到能够高精度地且通过简单的处理识别各种手势的效果。

附图说明

图1是表示本发明的实施方式的图，是表示手势识别装置的主要部分结构的模块图。

图2（a）～（f）是表示上述手势识别装置识别的手势的类别的图。

图3是表示从二值图像检测的指尖候选的一例的图。

图4是表示从指尖候选的重心位置开始的皮肤区域的延伸方向的图。

图5是表示基于指尖候选，根据二值图像检测手指的方法的图。

图6是表示手指候选和手掌的位置关系的图。

图7是表示基于手指候选，根据二值图像检测手掌的方法的图。

图8是表示被检测到的手掌区域的图。

图9是表示手指检测以及手掌检测的检测结果的图。

图10是表示上述手势识别装置执行的手势识别处理的一例的流程图。

标号说明

1手势识别装置

21图像取得部

22手区域检测部

23二值图像生成部

24指尖候选检测部（指尖候选检测部件）

25手指检测部（手指检测部件）

26手掌检测部（手掌检测部件）

27形状确定部（手势类别确定部件）

28指示位置确定部（指示位置确定部件）

29控制信号输出部

具体实施方式

基于图1至图10说明本发明的一实施方式如下。

[手势识别装置的结构]

本发明的手势识别装置是从拍摄了用户的图像中识别手的手势的装置。手势识别装置搭载于电视接收机、个人计算机、移动电话机、智能手机、平板终端、游戏机、数字照相机、数字摄像机等电子设备。此外，手势识别装置在电子设备中起到作为用户的操作输入接口的操作部的作用。

这里，基于图2说明由本实施方式的手势识别装置识别的手势。图2是表示由本实施方式的手势识别装置识别的各种手势的图。

如图2所示，手势识别装置识别6种手势。这里，将图2（a）的手的形状称为“0手指形状”，将图2（b）的手的形状称为“1手指形状”，将图2（c）的手的形状称为“2手指形状”，将图2（d）的手的形状称为“3手指形状”，将图2（e）的手的形状称为“4手指形状”，将图2（f）的手的形状称为“5手指形状”。

本实施方式的手势识别装置不区分例如图2（c）所示那样竖起食指与中指的形状和竖起食指与小指的形状，均识别为“2手指形状”。即，本实施方式的手势识别装置基于手指竖起的根数，识别手的形状。但并不限定于此，手势识别装置也可以基于手指竖起的根数以及竖起的手指的类别，识别手的形状。

图1是表示手势识别装置1的主要部分结构的一例的模块图。如图1所示，手势识别装置1具有控制部11、存储部12、图像输入部13以及通信部14。

图像输入部13是与手势识别装置1的外部的装置（在图1所示的例子中是照相机2）之间的接口，是用于手势识别装置1从外部取得图像的部件。

通信部14通过无线通信部件或有线通信部件，与其他装置进行通信，根据控制部11的指示，进行数据的交换。在本实施方式中，如上述那样，手势识别装置1搭载于电子设备中，通信部14根据控制部11的指示，向统一控制电子设备的设备控制部3输出信号。

控制部11执行从存储部12读出至临时存储部（未图示）的程序，从而进行各种运算，并统一控制手势识别装置1具有的各部。

在本实施方式中，控制部11作为功能模块而具有图像取得部21、手区域检测部22、二值图像生成部23、指尖候选检测部（指尖候选检测部件）24、手指检测部（手指检测部件）25、手掌检测部（手掌检测部件）26、形状确定部（手势类别确定部件）27、指示位置确定部（指示位置确定部件）28以及控制信号输出部29。这些控制部11的各功能模块（21～29）能够通过由CPU（中央处理单元）将在通过ROM（只读存储器）等实现的存储装置中存储的程序读出至通过RAM（随机存取存储器）等实现的临时存储部后执行而实现。

图像取得部21经由图像输入部13取得照相机2拍摄的用户的图像。这里，将图像取得部21从照相机2取得的图像称为输入图像。图像取得部21将所取得的输入图像输出给手区域检测部22。另外，在存储部12存储了图像的情况下，图像取得部21也可以从存储部12读取图像。

另外，由图像取得部21取得的输入图像可以是二维图像，也可以是三维图像。即，输入图像除了各像素的像素值，还可以具有各像素的纵深信息。

手区域检测部22从图像取得部21取得输入图像，从所取得的输入图像检测用户的手，并从输入图像提取包含检测到的手的手区域。手区域检测部22将提取的手区域图像输出给二值图像生成部23。

手区域检测部22能够利用任意的公知技术检测用户的手。例如，手区域检测部22可以基于预先存储的背景图像和输入图像的差分确定活动区域，并将该确定的活动区域作为手区域来提取。此外，手区域检测部22也可以取得连续的多个输入图像，并提取帧间差的累积大的区域作为手区域。此外，手区域检测部22也可以利用例如增强法（Boosting）或SVM（支持向量机：Support Vector Machine）等与一般用于面部检测的方法相同的方法来检测手。此外，当对用户指示在面部的旁边的规定的位置进行手势的情况下，手区域检测部22也可以检测用户的面部，并提取以检测到的面部作为基准的规定的位置的区域作为手区域。此外，手区域检测部22也可以利用纵深信息确定手区域。

二值图像生成部23从手区域检测部22取得手区域图像，对取得的手区域图像进行二值化处理，生成在手区域图像中将皮肤区域和其他区域区分的二值图像。二值图像生成部23将生成的二值图像输出给指尖候选检测部24、手指检测部25以及手掌检测部26。

二值图像生成部23利用任意的公知技术，能够根据手区域图像生成二值图像。例如，二值图像生成部23也可以将在背景差分中获得的区域作为皮肤区域。此外，二值图像生成部23也可以利用预先定义的肤色模型提取皮肤区域。此外，二值图像生成部23也可以将手区域图像的规定的位置（例如，中央附近）的颜色作为肤色模型，从而提取皮肤区域。此外，二值图像生成部23也可以利用边缘检测（Sobel或Canny等）通过Snake等轮廓提取方法确定闭合轮廓，提取通过该闭合轮廓封闭的区域作为皮肤区域。此外，二值图像生成部23也可以利用纵深信息确定皮肤区域。

指尖候选检测部24从二值图像生成部23取得二值图像，从二值图像检测一个或多个指尖候选。这里，指尖候选是在二值图像中被认为指尖的皮肤区域。

具体来说，指尖候选检测部24在二值图像上以规定大小的矩形区域进行扫描，并将在该矩形区域中包含的皮肤区域的比例在规定范围内且该矩形区域中包含的该皮肤区域的重心位置位于矩形区域的下半部的皮肤区域确定为指尖候选。例如，当对于矩形区域的皮肤区域的比例是60%～80%且该皮肤区域的重心位置位于矩形区域的下半部的情况下，指尖候选检测部24将该皮肤区域作为指尖候选。

这里，假设用户对照相机执行如图2所示那样的指尖在上侧的手势。因此，利用皮肤区域的重心位置在矩形区域的下半部的条件，判定是否为指尖候选。

在图3所示的例子中，指尖候选检测部24对二值图像51通过规定大小的矩形区域进行扫描，并将满足上述条件的矩形区域52中包含的皮肤区域作为指尖候选。此外，指尖候选检测部24确定指尖候选的重心位置53。

另外，可以对指尖候选检测部24检测的指尖候选的数量设置上限。例如，指尖候选检测部24可以最多检测10个指尖候选。

指尖候选检测部24将检测到的指尖候选的重心位置输出给手指检测部25。当无法从二值图像检测到指尖候选的情况下，指尖候选检测部24向手掌检测部26通知无法检测到指尖候选的情况。

手指检测部25从指尖候选检测部24取得指尖候选的重心位置，检测从所取得的指尖候选的重心位置向某一方向连续延伸规定距离的皮肤区域作为手指。

具体来说，手指检测部25确定皮肤区域从指尖候选的重心位置最长延伸的延伸方向。这里，如图4所示，在本实施方式中，手指检测部25从指尖候选的重心位置53起针对上下左右倾斜的8个方向进行搜索。在图4所示的例子中，皮肤区域向下方向延伸最多，因此手指检测部25将延伸方向设为“下方向”。

接着，如图5所示，手指检测部25从重心位置53起向延伸方向每一定距离就判定皮肤区域是否在延伸。基于该判定结果，如果皮肤区域从重心位置向延伸方向延伸规定距离，则确定该皮肤区域作为手指候选。

更具体来说，手指检测部25确定指尖候选的重心位置中的、与所确定的延伸方向正交的方向的皮肤区域的基准宽度w1。然后，如果从重心位置向延伸方向相隔一定距离的位置中的、与延伸方向正交的方向的皮肤区域的宽度和上述基准宽度w1的差分值是规定值（例如，基准宽度w1的15%）以下，则判定为皮肤区域向延伸方向延伸至一定距离相隔的位置。接着，对从判定为皮肤区域在延伸的位置起相隔一定距离的位置进行判定。这样，进行判定直至与基准宽度w1的差分值不是规定值以下，或者成为二值图像的区域外为止。然后，手指检测部25确定判定为皮肤区域在延伸的、延伸方向的末端的位置。如果从指尖候选的重心位置起至该确定的手指末端位置的距离处于规定的范围内，则手指检测部25确定从指尖候选至手指末端位置向延伸方向延伸的皮肤区域作为手指候选。

这里，手指检测部25也可以将确定为手指候选的皮肤区域判定为“手指”，但在本实施方式中，进一步判定所确定的手指候选的延伸方向上是否存在手掌区域。如果确定的手指候选的延伸方向上有手掌区域，则手指检测部25将该手指候选的皮肤区域判定为“手指”。

因此，当一根“手指”都没有检测到的情况下，手指检测部25向手掌检测部26输出所确定的手指候选的手指末端位置以及延伸方向。然后，从手掌检测部26取得手掌区域的检测结果，并判定所确定的手指候选的延伸方向上是否存在手掌区域。另一方面，当已经检测到一根以上的“手指”的情况下，手指检测部25基于从手掌检测部26已经取得的手掌区域的检测结果，判定所确定的手指候选的延伸方向上是否存在手掌区域。

例如，如图6所示，设手指检测部25作为第二根以后的手指而检测到了由线段58表示的手指候选以及由线段59表示的手指候选。此时，由于在延伸方向上存在手掌区域，因此手指检测部25将由线段58表示的手指候选判定为是手指。另一方面，由于在延伸方向上不存在手掌区域，因此手指检测部25将由线段59表示的手指候选判定为不是手指。

另外，手指检测部25还可以进一步进行边缘检测或者参照纵深信息，从而提高手指检测的精度。

手指检测部25将检测到的手指的根数通知给形状确定部27。此外，手指检测部25还可以进一步将检测到的手指的指尖的重心位置、延伸方向、手指末端位置中的至少一个通知给形状确定部27。

此外，手指检测部25将检测到的手指的至少一个指尖的重心位置通知给指示位置确定部28。

手掌检测部26从二值图像生成部23取得二值图像，并从所取得的二值图像检测手掌区域。

具体来说，如图7所示，手掌检测部26从手指检测部25取得手指候选的手指末端位置56以及延伸方向，确定手指末端位置56中的、与延伸方向正交的方向的皮肤区域的基准宽度w2。然后，判定从手指末端位置向延伸方向相隔一定距离的位置中的、与延伸方向正交的方向的皮肤区域的宽度与上述基准宽度w2的差分值是否为规定值（例如，基准宽度w2的30%）以下。在判定为与上述基准宽度w2的差分值是规定值以下的情况下，对从该位置起进一步相隔一定距离的位置进行相同判定。这样，直到与基准宽度w2的差分值不是规定值以下，或者成为二值图像的区域外为止进行判定。然后，手掌检测部26确定判定为与上述基准宽度w2的差分值是规定值以下且作为延伸方向的末端的位置的手掌末端位置。手掌检测部26确定从手指末端位置开始至该确定的手掌末端位置的连续延伸的皮肤区域作为手掌区域。在图8所示的例子中，手掌检测部26将皮肤区域57确定为手掌区域。

另外，手掌检测部26也可以基于后述的初始信息、边缘信息、纵深信息等，判定从手指末端位置开始至手掌末端位置的皮肤区域是否处于规定大小的范围内，从而提高手掌区域的检测精度。

此外，若从指尖候选检测部24被通知无法检测到指尖候选的情况，则手掌检测部26从二值图像中检测手掌区域。这里，手掌检测部26预先设定用于表示用户的手掌的大小的初始信息。然后，手掌检测部26基于初始信息，从二值图像中检测手掌区域。手掌检测部26也可以例如在开始手势操作时等，对用户指示进行规定的手势，从此时拍摄的图像中取得用户的手掌的大小，从而设定初始信息。此外，初始信息也可以包含表示用户的手的位置、背景图像等的信息。

另外，手掌检测部26也可以利用其他任意的公知技术检测手掌。

手掌检测部26对手指检测部25以及形状确定部27通知手掌区域的检测结果。手掌检测部26对手指检测部26通知有无手掌区域作为检测结果，当检测到手掌区域时，通知检测到的手掌区域的位置。手掌检测部26对形状确定部27至少通知有无手掌区域。手掌检测部26对形状确定部27还可以通知手掌区域的位置。

形状确定部27基于手指检测部25检测到的手指的根数，确定手势的类别。具体来说，形状确定部27基于手指检测部25检测到的手指的根数，确定是“0手指形状”、“1手指形状”、“2手指形状”、“3手指形状”、“4手指形状”、“5手指形状”中的哪一个手势。

例如，如图9所示，当手指检测部25检测到5根手指时，形状确定部27判定为是“5手指形状”的手势。

这里，当手指检测部25检测到的手指为0根，即手指检测部25未能检测到手指的情况下，考虑用户在执行“0手指形状”的手势的状态，或者是用户没有执行有效的手势的状态。因此，形状确定部27也可以进一步从手掌检测部26取得手掌区域的检测结果，当手指检测部25检测到的手指的根数为0，且手掌检测部26检测到手掌区域的情况下，判定为是“0手指形状”的手势。此时，在手指检测部25检测到的手指的根数为0，且手掌检测部26未检测到手掌区域的情况下，形状确定部27设为没有对应的手势。

进一步，形状确定部27也可以利用手指检测部25检测到的手指的位置以及长度（从指尖（例如，重心位置）至手指末端位置的距离）、手掌检测部26检测到的手掌区域的位置以及大小（面积）、边缘信息以及纵深信息等，基于统计识别方法（SVM或神经网络等），判别手势的类别。

指示位置确定部28确定由手指检测部25检测到的任一个手指的指尖的重心位置作为指示位置。指示位置确定部28也可以进一步利用由形状确定部27确定的手势的类别、由手指检测部25检测到的手指的位置以及长度、由手掌检测部26检测到的手掌区域的位置以及大小（面积）、边缘信息以及纵深信息等，确定规定的手指（例如食指）的指尖的重心位置作为指示位置。

控制信号输出部29生成表示由形状确定部27确定的手势的类别以及指示位置确定部28确定的指示位置的至少一个的控制信号，并将所生成的控制信号经由通信部14输出给设备控制部3。

存储部12存储由控制部11参照的程序、数据等，例如存储上述的初始信息等。

[手势识别装置执行的手势识别处理]

接着，基于图10说明手势识别装置1执行的手势识别处理。图10是表示手势识别装置1执行的手势识别处理的流程的流程图。

如图5所示，首先，图像取得部21经由图像输入部13，取得拍摄了用户的输入图像（S1）。接着，手区域检测部22从输入图像检测用户的手，从输入图像提取包含检测到的手的手区域（S2）。然后，二值图像生成部23对手区域图像进行二值化处理，生成二值图像（S3）。

指尖候选检测部24从二值图像执行一个或多个指尖候选的检测（S4）。这里，当指尖候选检测部24检测到1个以上的指尖候选的情况下（S5：是），指尖候选检测部24保存检测到的指尖候选（S6）。

接着，手指检测部25从指尖候选检测部24检测到的指尖候选中选择一个（S7）。手指检测部25判定有无从选择的指尖候选的重心位置向某一方向延伸规定距离的皮肤区域，从而执行手指候选的饿检测（S8）。这里，当手指检测部25基于选择到的指尖候选而未能检测到手指候选的情况下（S9：否），进入S18。另一方面，当手指检测部25基于选择到的指尖候选而检测到手指候选的情况下（S9：是），判定是否已经检测到“手指”（S10）。

当手指检测部25尚未检测到一根手指的情况下（S10：否），手掌检测部26基于由手指检测部25检测到的手指候选，执行手掌区域的检测（S11）。这里，当手掌检测部26检测到手掌区域的情况下（S12：是），手指检测部25将检测到的手指候选判定为是手指（S13）。另一方面，当手掌检测部26未检测到手掌区域的情况下（S12：否），手指检测部25判定检测到的手指候选不是手指（S14）。

在S10中，当手指检测部25已经检测到一根以上的手指的情况下（S10：是），手指检测部25判定在检测到的手指候选的延伸方向上是否存在手掌检测部26检测到的手掌区域（S15）。当检测到的手指候选的延伸方向上存在手掌区域的情况下（S15：是），手指检测部25判定检测到的手指候选是手指（S16）。另一方面，当检测到的手指候选的延伸方向上不存在手掌区域的情况下（S15：否），手指检测部25判定为检测到的手指候选不是手指（S17）。

这里，手指检测部25判定是否对由指尖候选检测部24检测到的全部的指尖候选进行了处理（S18）。如果没有对全部指尖候选进行处理（S18：否），则返回到S7，手指检测部25选择由指尖候选检测部24检测到的其他指尖候选。另一方面，当对全部指尖候选进行了处理时（S18：是），手指检测部25判定手指检测部25是否检测到一根以上的手指（S19）。

当手指检测部25一根手指都未能检测到时（S19：否），以及指尖候选检测部24一个指尖候选都未能检测到时（S5：否），手掌检测部26基于初始信息，从二值图像执行手掌的检测（S20）。如果手掌检测部26不能检测到手掌（S21：否），结束手势识别处理。另一方面，当检测到手掌时（S21：是），手掌检测部26将检测结果通知给形状确定部27。

此外，当检测到一根以上的手指时（S19：是），手指检测部25将检测结果通知给形状确定部27以及指示位置确定部28。

形状确定部27基于手指检测部25以及手掌检测部26的检测结果，确定手势的类别（S22）。此外，指示位置确定部28基于手指检测部25的检测结果，确定指示位置（S23）。然后，控制信号输出部29生成与手势对应的控制信号，并将生成的控制信号输出给设备控制部3（S24）。

[基于软件的实现例]

手势识别装置1的控制模块（尤其是控制部11）可以通过集成电路（IC芯片）等中形成的逻辑电路（硬件）来实现，也可以利用CPU（中央处理单元）通过软件来实现。

后者的情况下，手势识别装置1具有：执行作为实现各功能的软件的程序的命令的CPU、计算机（或者CPU）可读取地记录了上述程序以及各种数据的ROM（只读存储器）或者存储装置（将这些称为“记录介质”）、展开上述程序的RAM（随机存取存储器）等。此外，通过由计算机（或者CPU）从上述记录介质读取上述程序而执行，从而达成本发明的目的。作为上述记录介质，能够利用“并非临时性的有形的介质”，例如带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，上述程序也可以经由可传输该程序的任意的传输介质（通信网路或者广播电波等）而被提供给上述计算机。另外，本发明也可以以上述程序通过电子传输而被具体化的、被嵌入载波的数据信号的形态实现。

[总结]

本发明的方式1的手势识别装置是从拍摄了用户的图像识别手的手势的手势识别装置，具有：指尖候选检测部件，从上述图像检测指尖候选；手指检测部件，检测从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域作为手指；以及手势类别确定部件，基于上述手指检测部件检测到的手指的根数，确定手势的类别。

根据上述结构，上述指尖候选检测部件从拍摄了用户的图像检测认为是指尖的指尖候选，上述手指检测部件检测从该指尖候选向某一方向延伸规定距离的皮肤区域作为手指。即，手势识别装置通过简单的处理能够从图像检测手指。

此外，上述手势类别确定部件基于检测到的手指的根数，确定手势的类别。这里，本发明的手势识别装置识别手的手势。该手势根据竖起的手指的根数而被分类。因此，手势识别装置基于手势的根数，能够准确地判别手势的类别。

从而起到能够高精度地且通过简单的处理识别各种手势的效果。

本发明的方式2的手势识别装置是从拍摄了用户的图像识别手的手势的手势识别装置，具有：指尖候选检测部件，从上述图像检测指尖候选；手指检测部件，检测从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域作为手指；以及指示位置确定部件，确定由上述手指检测部件检测到的手指的指尖位置作为由用户指示的位置。

根据上述的结构，由上述指尖候选检测部件从拍摄了用户的图像检测认为是指尖的指尖候选，上述手指检测部件检测从该指尖候选向某一方向延伸规定距离的皮肤区域作为手指。即，手势识别装置通过简单的处理能够从图像中检测手指。

这里，认为用户在通过手来表示位置时，会通过任意指尖指出其位置。因此，通过上述指示位置确定部件确定指尖位置作为用户的指示位置，从而手势识别装置能够通过手势来识别用户指示的位置。

从而，起到能够高精度且通过简单的处理识别各种手势的效果。

本发明的方式3的手势识别装置在上述方式1或2中，上述手指检测部件可以将上述某一方向设为皮肤区域从上述指尖候选检测部件检测到的指尖候选的重心位置延伸最多的方向。

这里，皮肤区域从指尖的重心位置延伸最多的方向是手指延伸的方向。因此，根据上述结构，上述手指检测部件能够准确地确定手指延伸的方向。

本发明的方式4的手势识别装置在上述方式1～3中，上述手指检测部件也可以确定由上述指尖候选检测部件检测到的指尖候选的重心位置中的、与上述某一方向正交的方向的皮肤区域的基准宽度w1，如果上述正交方向的皮肤区域的宽度和上述基准宽度w1的差分值是规定值以下，则判定为皮肤区域向上述某一方向延伸。

这里，手指是向某一方向延伸规定的长度的皮肤区域，是具有与指尖的宽度大致相同程度的宽度的皮肤区域。因此，根据上述的结构，能够准确地判定从指尖候选延伸的皮肤区域是否为手指。

本发明的方式5的手势识别装置在上述方式1～4的任一个中，上述指尖候选检测部件也可以对上述图像上，以规定的大小的矩形区域进行扫描，并将该矩形区域中包含的皮肤区域的比例处于规定范围内且该皮肤区域的重心位置位于上述矩形区域的下半部分的皮肤区域作为上述指尖候选。

这里，本发明的手势识别装置假设用户进行手势，使指尖朝向照相机（图像）的上面。因此，当提取了图像上的包含指尖的区域的情况下，认为指尖位于提取的区域的下方。从而，如上述的结构那样，通过检测指尖候选，能够检测指尖的可能性高的作为指尖候选。

本发明的方式6的手势识别装置在上述方式1～5的任一个中，也可以进一步具有用于从上述图像检测手掌的手掌检测部件，上述手指检测部件将从上述指尖候选向某一方向延伸规定距离的皮肤区域作为手指候选，当上述手掌检测部件检测到的手掌位于从上述手指候选起在上述某一方向上的情况下，检测该手指候选作为手指。

根据上述的结构，当手掌位于手指候选延伸的方向上时，上述手指检测部件检测该手指候选作为手指。因此，手指检测部件能够更准确地检测手指。

本发明的方式7的手势识别装置在上述方式4中，也可以进一步具有用于从上述图像检测手掌的手掌检测部件，上述手指检测部件将从上述指尖候选向某一方向延伸规定距离的皮肤区域设为手指候选，当由上述手掌检测部件检测到的手掌位于从该手指候选起在上述某一方向上时，检测该手指候选作为手指，上述手指检测部件在已经检测到一根以上的手指的情况下，利用第一根手指的上述基准宽度w1，执行第二根以后的手指检测。

如上述那样，当手掌位于手指候选延伸的方向上时，该手指候选是手指的可能性高。此外，5根手指的粗细大致是相同程度。因此，通过参照准确性高的手指的宽度，能够提高第二根以后的手指检测的精度。

本发明的方式8的手势识别装置在上述方式6或7中，上述手掌检测部件也可以确定由上述手指检测部件检测到的手指候选的末端位置中的、与该手指候选的上述某一方向正交的方向的皮肤区域的基准宽度w2，并检测从上述末端位置向上述某一方向连续延伸并且上述正交方向的皮肤区域的宽度和上述基准宽度w2的差分值是规定值以下的皮肤区域作为手掌。

这里，手掌是在手指延伸的方向上连续延伸的皮肤区域，且是具有与手指的末端位置（手指的根部）的宽度大致相同程度的宽度的皮肤区域。因此，根据上述的结构，功能准确地判定从手指候选的末端位置延伸的皮肤区域是否为手掌。

此外，具有上述手势识别装置的电子设备也包含于本发明的范畴内。

本发明的方式10的手势识别方法是从拍摄了用户的图像识别手的手势的手势识别方法，包含：指尖候选检测步骤，从上述图像检测指尖候选；手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及手势类别确定步骤，基于在上述手指检测步骤中检测到的手指的根数，确定手势的类别。

本发明方式11的手势识别方法是从拍摄了用户的图像识别手的手势的手势识别方法，包含：指尖候选检测步骤，从上述图像检测指尖候选；手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测作为手指；以及指示位置确定步骤，将在上述手指检测步骤中检测到的手指的指尖位置确定作为用户指示的位置。

本发明的各方式的手势识别装置可以通过计算机来实现，此时，通过使计算机作为上述手势识别装置具有的各部件而工作从而使计算机实现上述手势识别装置的手势识别装置的控制程序、以及记录了该控制程序的计算机可读取的记录介质也进入本发明的范畴内。

本发明并不限定于上述的实施方式，在权利要求所表示的范围内可进行各种变更。即，在权利要求表示的范围内适当变更的技术手段进行组合而获得的实施方式也包含于本发明的技术范围内。

本发明能够用于可通过手势来操作的电子设备。

Claims (17)

1.一种手势识别装置，从拍摄了用户的图像识别手的手势，其特征在于，所述手势识别装置具有：

指尖候选检测部件，从上述图像检测指尖候选；

手指检测部件，将从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及

手势类别确定部件，基于上述手指检测部件检测到的手指的根数，确定手势的类别。

2.如权利要求1所述的手势识别装置，其特征在于，

上述手指检测部件将上述某一方向设为皮肤区域从上述指尖候选检测部件检测到的指尖候选的重心位置最延伸的方向。

3.如权利要求1所述的手势识别装置，其特征在于，

上述手指检测部件确定由上述指尖候选检测部件检测到的指尖候选的重心位置中的、与上述某一方向正交的方向的皮肤区域的基准宽度w1，如果上述正交方向的皮肤区域的宽度和上述基准宽度w1的差分值是规定值以下，则判定为皮肤区域向上述某一方向延伸。

4.如权利要求1至3的任一项所述的手势识别装置，其特征在于，

上述指尖候选检测部件对上述图像以规定的大小的矩形区域进行扫描，将包含于该矩形区域的皮肤区域的比例是规定范围内且该皮肤区域的重心位置位于上述矩形区域的下半部的皮肤区域设为上述指尖候选。

5.如权利要求1所述的手势识别装置，其特征在于，

进一步具有手掌检测部件，该手掌检测部件从上述图像检测手掌，

将从上述指尖候选向某一方向延伸规定距离的皮肤区域设为手指候选，由上述手掌检测部件检测到的手掌位于从该手指候选起在上述某一方向上时，上述手指检测部件将该手指候选检测为手指。

6.如权利要求3所述的手势识别装置，其特征在于，

进一步具有手掌检测部件，从上述图像检测手掌，

将从上述指尖候选向某一方向延伸规定距离的皮肤区域设为手指候选，由上述手掌检测部件检测到的手掌位于从该手指候选起在上述某一方向上时，上述手指检测部件将该手指候选检测为手指，

当已经检测到一根以上的手指的情况下，上述手指检测部件利用第一根手指的上述基准宽度w1，执行第二根以后的手指检测。

7.如权利要求5或6所述的手势识别装置，其特征在于，

上述手掌检测部件确定由上述手指检测部件检测到的手指候选的末端位置中的、与该手指候选的上述某一方向正交的方向的皮肤区域的基准宽度w2，检测从上述末端位置向上述某一方向连续延伸且上述正交方向的皮肤区域的宽度和上述基准宽度w2的差分值是规定值以下的皮肤区域作为手掌。

8.一种手势识别装置，从拍摄了用户的图像识别手的手势，其特征在于，所述手势识别装置具有：

指尖候选检测部件，从上述图像检测指尖候选；

手指检测部件，将从由上述指尖候选检测部件检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及

指示位置确定部件，将由上述手指检测部件检测到的手指的指尖位置确定为用户指示的位置。

9.如权利要求8所述的手势识别装置，其特征在于，

上述手指检测部件将上述某一方向设为皮肤区域从上述指尖候选检测部件检测到的指尖候选的重心位置最延伸的方向。

10.如权利要求8所述的手势识别装置，其特征在于，

上述手指检测部件确定由上述指尖候选检测部件检测到的指尖候选的重心位置中的、与上述某一方向正交的方向的皮肤区域的基准宽度w1，如果上述正交方向的皮肤区域的宽度和上述基准宽度w1的差分值是规定值以下，则判定为皮肤区域向上述某一方向延伸。

11.如权利要求8至10的任一项所述的手势识别装置，其特征在于，

上述指尖候选检测部件对上述图像以规定的大小的矩形区域进行扫描，将包含于该矩形区域的皮肤区域的比例是规定范围内且该皮肤区域的重心位置位于上述矩形区域的下半部的皮肤区域设为上述指尖候选。

12.如权利要求8所述的手势识别装置，其特征在于，

进一步具有手掌检测部件，该手掌检测部件从上述图像检测手掌，

将从上述指尖候选向某一方向延伸规定距离的皮肤区域设为手指候选，由上述手掌检测部件检测到的手掌位于从该手指候选起在上述某一方向上时，上述手指检测部件将该手指候选检测为手指。

13.如权利要求10所述的手势识别装置，其特征在于，

进一步具有手掌检测部件，从上述图像检测手掌，

将从上述指尖候选向某一方向延伸规定距离的皮肤区域设为手指候选，由上述手掌检测部件检测到的手掌位于从该手指候选起在上述某一方向上时，上述手指检测部件将该手指候选检测为手指，

当已经检测到一根以上的手指的情况下，上述手指检测部件利用第一根手指的上述基准宽度w1，执行第二根以后的手指检测。

14.如权利要求12或13所述的手势识别装置，其特征在于，

上述手掌检测部件确定由上述手指检测部件检测到的手指候选的末端位置中的、与该手指候选的上述某一方向正交的方向的皮肤区域的基准宽度w2，检测从上述末端位置向上述某一方向连续延伸且上述正交方向的皮肤区域的宽度和上述基准宽度w2的差分值是规定值以下的皮肤区域作为手掌。

15.一种电子设备，搭载了权利要求1至14的任一项所述的手势识别装置。

16.一种手势识别方法，从拍摄了用户的图像识别手的手势，其特征在于，所述手势识别方法包含：

指尖候选检测步骤，从上述图像检测指尖候选；

手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及

手势类别确定步骤，基于在上述手指检测步骤中检测到的手指的根数，确定手势的类别。

17.一种手势识别方法，从拍摄了用户的图像识别手的手势，其特征在于，所述手势识别方法包含：

指尖候选检测步骤，从上述图像检测指尖候选；

手指检测步骤，将从在上述指尖候选检测步骤中检测到的指尖候选向某一方向延伸规定距离的皮肤区域检测为手指；以及

指示位置确定步骤，将在上述手指检测步骤中检测到的手指的指尖位置确定为用户指示的位置。