CN104424470A - 一种手势识别方法及装置 - Google Patents

Abstract

本发明公开了一种手势识别方法及装置，涉及图像处理技术领域，为能够在较远距离对手势进行识别而发明。所述方法包括：获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。本发明可用于手势识别技术中。

Description

一种手势识别方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种手势识别方法及装置。

背景技术

随着技术的发展，用户可以通过手势来控制电子设备，例如用户使用手势控制电视的播放等。在利用手势控制电子设备的过程中，对用户的手势进行识别是其中一个非常重要的部分。目前，可以使用3D（Three Dimensions，三维）摄像头获取局部区域（如手）的图像进行识别。

但是，在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：在现有技术中，使用3D摄像头可以对在一定的距离内获取到的局部区域图像中的较小区域（如手）进行识别。但是由于手势中除了包括手外，往往还包括身体或者手臂等其他部位，当3D摄像头与人体距离比较远时，由于3D摄像头的分辨率有限，从而导致利用现有3D摄像头可能无法识别人的手势。

发明内容

有鉴于此，本发明提供一种手势识别方法及装置，能够在较远距离对手势进行识别。

为达到上述目的，本发明实施例采用如下技术方案：

第一方面，本发明提供了一种手势识别方法，包括：获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；

当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；

根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；

根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

在第一方面的第一种可能实现方式中，所述根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果包括：

根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置；

根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像；

对所述二维图像中获取的包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述根据所述主要部位在所述三维图像中的位置，确定所述主要部位在所述二维图像中的位置包括：

根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标；

将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标；

根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。

结合第一方面的第一种可能实现方式或者第二种可能实现方式，在第一方面的第三种可能实现方式中，所述根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像具体为：

根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

结合第一方面，在第一方面的第四种可能实现方式中，所述方法还包括：

当所述三维图像的分辨率能够满足预定要求时，将根据所述三维图像获取的所述三维图像的识别结果作为手势识别结果。

第二方面，本发明提供了一种手势识别装置，包括：

图像获取单元，用于获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；

第一处理单元，与所述图像获取单元连接，用于当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；

第二处理单元，与所述图像获取单元和所述第一处理单元连接，用于根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；

结果获取单元，与所述第一处理单元和所述第二处理单元连接，用于根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

在第二方面的第一种可能实现方式中，所述第二处理单元包括：

第一处理模块，用于根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置；

第二处理模块，与所述第一处理模块连接，用于根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像；

第三处理模块，与所述第二处理模块连接，用于对从所述二维图像中获取的包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述第一处理模块具体用于：

根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标；

将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标；

根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。

结合第二方面的第一种可能实现方式或者第二种可能实现方式，在第二方面的第三种可能实现方式中，所述第二处理模块具体用于：

根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

结合第二方面，在第二方面的第四种可能实现方式中，所述第二处理单元还用于：

当所述三维图像的分辨率能够满足预定要求时，将根据所述三维图像获取的所述三维图像的识别结果作为手势识别结果。

本发明实施例提供的手势识别方法及装置，采用二维图像识别与三维图像识别相结合的技术对手势进行识别，首先获取包括组成手势的各部位的二维图像和三维图像，根据获取的三维图像获取所述手势的主要部位以及主要部位与其他部位的位置关系，然后根据三维图像中所述主要部位的位置，在所述二维图像中获取所述主要部位的图像，最后对此图像进行识别。当在远距离对手势识别时，由于三维摄像头的分辨率比较低，可能导致获取的三维图像的分辨率无法满足预定要求，而二维摄像头获得的二维图像的分辨率比较高，因此，利用本发明的手势识别方法及装置通过利用将三维图像识别与二维图像识别相结合的技术而能够在远距离对手势进行识别。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一手势识别方法的流程图；

图2为本发明实施例二手势识别装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了能够在较远距离对手势进行识别，本发明实施例一提供了一种手势识别方法。如图1所示，本发明实施例一的手势识别方法包括：

步骤11、获取包括组成手势的各部位的二维图像和三维图像。

其中，所述组成手势的各部位包括主要部位和其他部位，所述主要部位可以指的是需要精细识别的肢体部位，所述其他部位指的是和主要部位配合组成手势的肢体的其他部位。例如，若所述手势由手部和头部组成，其中手部需要精细识别，则可将手作为主要部位，头部作为其他部位。所述二维图像可由二维摄像头获得，所述三维图像可由三维摄像头获得，并且所述二维图像和所述三维图像是从同一个视角同时获得的。

例如，所述手势为：当右手食指向上竖起、挡在嘴唇之前时，表示静音。本例中，组成手势的各个部位包括手部、头部以及颈部。在此手势识别中，需要对手部所在的位置以及手部的形态（向上竖起）进行精细识别，因此本例中可将手部称为所述主要部位，头部与颈部称为所述其他部位。在对此手势进行识别时，可首先分别利用二维摄像头和三维摄像头从同一个视角同时获得所述手势的手部、头部以及颈部的二维图像和三维图像。

步骤12、当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系。

其中，所述三维图像的分辨率无法满足预定要求的情况可以为不能对所述三维图像正确识别的情况，如当三维摄像头与需要获取的手势之间的距离比较远时，由于三维摄像头的分辨率比较低，因此此时可能无法对所述三维图像正确识别。在此情况下，以步骤11中的例子为例，当所述三维摄像头获取了包括所述手势的手部、头部以及颈部的三维图像后，根据所述三维图像，获取手部的位置以及手部与头部和颈部的位置关系。在具体应用过程中，可利用现有图像处理技术中对图像位置的获取方法获取手部的位置以及手部与头部和颈部的位置关系。

步骤13、根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果。

此步骤具体为：首先根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置。然后根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像。最后对所述二维图像中获取包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

其中，根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置具体为：首先根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标。然后将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标。最后根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。在实际应用中，将所述三维图像中主要部位的三维坐标转换为所述二维图像中主要部位的二维坐标可利用现有图像处理技术中的坐标转换方法实现。

其中，根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像具体为：根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

例如，还是以步骤11中的例子为例，在获取手部与头部和颈部的二维与三维图像之后，首先根据手部在三维图像中的位置，确定三维图像中的手部的三维坐标；然后将三维图像中的手部的三维坐标转换所述二维图像中的手部的二维坐标；最后根据得到的二维图像中的手部的二维坐标，在二维图像中确定手部的位置，将二维图像中手部的图像剪切下来，对剪切下来手部图像进行识别，获得手部图像的识别结果。

步骤14、根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

其中，当所述手势结果中的所述主要部位的二维图像识别结果符合预定义的手势形态，并且所述位置关系符合所述预定义的手势的位置关系时，表明所述手势能够正确识别。例如，以步骤13中的例子为例，当手部的形态为竖直向上时，则符合预定义的手势的形态，并且手部的位置位于头部与颈部之间时，符合预定义的手势的位置关系，据此表明能够对此手势进行正确识别。其中，所述预定义的手势是在系统中预先设置的手势，包括手势的各个部位的形态以及各个部位之间的位置关系等。

在获得手势识别结果之后，设备会根据所述手势识别结果进行各种操作。

由上可以看出，利用本发明实施例提供的手势识别方法，当在远距离对手势识别时，由于三维摄像头的分辨率比较低，可能导致获取的三维图像的分辨率无法满足预定要求，而二维摄像头获得的二维图像的分辨率比较高，因此，利用本发明的手势识别方法通过利用将三维图像识别与二维图像识别相结合的技术而能够在远距离对手势进行识别。

另外，在实施例一中，当所述三维图像的分辨率能够满足预定要求时，根据所述三维图像获取所述三维图像的识别结果作为手势识别结果。此过程与现有技术中的相同。

在实施例一的基础上，为了进一步降低系统消耗，在步骤12之前还可包括：判断所述手势是否为有效手势。具体的，当所述组成手势的各个部位之间的位置关系符合预定义的手势中各部位之间的位置关系时，可认为此手势为有效手势，继续执行步骤13和14；当所述组成手势的各个部位之间的位置关系不符合预定义的手势中各部位之间的位置关系时，则认为此手势并不是需要识别的手势，属于无效手势，忽略此次的手势行为，则实施例一的方法结束。

例如，在步骤12的例子中，当手部的位置位于头部与颈部之间时，认为符合预定义的手势中各部位之间的位置关系，则继续进行下面的步骤13和14。当手部的位置不是位于头部与颈部之间，如手部的位置位于头部的上方时，则认为此手势为无效手势，忽略此次的手势行为，则实施例一的方法结束。

相应的，如图2所示，本发明实施例二提供了一种手势识别装置，包括：

图像获取单元20，用于获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；第一处理单元21，与所述图像获取单元20连接，用于当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；第二处理单元22，与所述图像获取单元20和所述第一处理单元21连接，用于根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；结果获取单元23，与所述第一处理单元21和所述第二处理单元22连接，用于根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

其中，所述手势的主要部位和其他部位、所述二维图像和三维图像的获得、所述三维图像分辨率无法满足预定要求的含义、所述图像中各部位的位置以及图像识别过程均可参照本发明实施例一中的描述，在此不再赘述。

其中，所述第二处理单元22包括：第一处理模块，用于根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置；第二处理模块，与所述第一处理模块连接，用于根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像；第三处理模块，与所述第二处理模块连接，用于对所述二维图像中获取包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

其中，所述第一处理模块具体用于：根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标；将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标；根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。在实际应用中，所述三维图像中主要部位的三维坐标转换为所述二维图像中主要部位的二维坐标的过程可利用现有图像处理技术中的坐标转换方法实现。

其中，所述第二处理模块具体用于：根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

另外，所述第二处理单元22还用于：当所述三维图像的分辨率能够满足预定要求时，根据所述三维图像获取所述三维图像的识别结果作为手势识别结果。

在实际应用中，本实施例中的所述第一处理单元21和第二处理单元22可集成到一个处理单元。

其中，所述装置的工作原理可参照前述方法实施例的描述，在此不再赘述。

由上可以看出，利用本发明实施例提供的手势识别装置，当在远距离对手势识别时，由于三维摄像头的分辨率比较低，可能导致获取的三维图像的分辨率无法满足预定要求，而二维摄像头获得的二维图像的分辨率比较高，因此，利用本发明的手势识别装置通过利用将三维图像识别与二维图像识别相结合的技术而能够在远距离对手势进行识别。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种手势识别方法，其特征在于，包括：

获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；

当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；

根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；

根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

2.根据权利要求1所述的手势识别方法，其特征在于，所述根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果包括：

根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置；

根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像；

对所述二维图像中获取的包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

3.根据权利要求2所述的手势识别方法，其特征在于，所述根据所述主要部位在所述三维图像中的位置，确定所述主要部位在所述二维图像中的位置包括：

根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标；

将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标；

根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。

4.根据权利要求2或3所述的手势识别方法，其特征在于，所述根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像具体为：

根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

5.根据权利要求1所述的手势识别方法，其特征在于，所述方法还包括：

当所述三维图像的分辨率能够满足预定要求时，将根据所述三维图像获取的所述三维图像的识别结果作为手势识别结果。

6.一种手势识别装置，其特征在于，包括：

图像获取单元，用于获取包括组成手势的各部位的二维图像和三维图像，其中所述组成手势的各部位包括主要部位和其他部位，所述二维图像与所述三维图像是从同一个视角同时获得的；

第一处理单元，与所述图像获取单元连接，用于当所述三维图像的分辨率无法满足预定要求时，根据所述三维图像获取所述三维图像中所述主要部位的位置以及所述主要部位和其他部位之间的位置关系；

第二处理单元，与所述图像获取单元和所述第一处理单元连接，用于根据所述三维图像中所述主要部位的位置对所述二维图像中的所述主要部位进行识别，获得所述主要部位的二维图像识别结果；

结果获取单元，与所述第一处理单元和所述第二处理单元连接，用于根据所述主要部位的二维图像识别结果以及所述位置关系获得手势识别结果。

7.根据权利要求6所述的手势识别方法，其特征在于，所述第二处理单元包括：

第一处理模块，用于根据所述三维图像中所述主要部位的位置，确定所述主要部位在所述二维图像中的位置；

第二处理模块，与所述第一处理模块连接，用于根据所述主要部位在所述二维图像中的位置，在所述二维图像中获取包括所述主要部位的图像；

第三处理模块，与所述第二处理模块连接，用于对从所述二维图像中获取的包括所述主要部位的图像进行识别，获得所述主要部位的二维图像识别结果。

8.根据权利要求7所述的手势识别装置，其特征在于，所述第一处理模块具体用于：

根据所述主要部位在所述三维图像中的位置，确定所述三维图像中的所述主要部位的三维坐标；

将所述三维图像中的所述主要部位的三维坐标转换为所述二维图像中的所述主要部位的二维坐标；

根据所述二维图像中的所述主要部位的二维坐标，确定所述主要部位在所述二维图像中的位置。

9.根据权利要求7或8所述的手势识别装置，其特征在于，所述第二处理模块具体用于：

根据所述主要部位在所述二维图像中的位置，将所述二维图像中的所述主要部位剪切下来，将剪切下来的图像作为所述主要部位的图像。

10.根据权利要求6所述的手势识别装置，其特征在于，所述第二处理单元还用于：

当所述三维图像的分辨率能够满足预定要求时，将根据所述三维图像获取的所述三维图像的识别结果作为手势识别结果。