CN105353634B - 利用手势识别控制操作的家电设备与方法 - Google Patents

Abstract

本申请公开了一种利用手势识别控制操作的家电设备与方法，该家电设备包括执行单元，用于执行家电设备的操作指令，摄像单元，用于获取包含预定义手势的连续图像序列；手势识别单元，用于识别连续图像序列中包含的预定义手势，存储单元，用于存储预定义的手势以及家电设备的操作指令与手势的对应关系；控制指令转换单元，用于根据家电设备的操作指令与预定义手势的对应关系，将识别结果转换为家电设备的操作指令输出到执行单元执行。通过上述家电设备和操作方法实现了方便快捷地利用手势控制家电设备的操作。

Description

利用手势识别控制操作的家电设备与方法

技术领域

本公开一般涉及智能家电技术领域，具体涉及基于神经网络的手势识别控制技术领域，尤其涉及利用手势识别控制操作的家电设备与方法。

背景技术

家电设备上的手势识别检测控制，可极大方便用户与家电设备进行便捷的交互与控制，在家具家电上创造出创新的用户体验。

在一些游戏机和智能家电的交互控制中，出现了采用利用深度摄像头如kinect或双目摄像头系统，获得人手的深度或立体信息从而进行手势识别检测控制的技术方案，但这类方案由于需要深度摄像头或多摄像头方案，硬件成本高且需要耗费相当大的计算资源。使用单目摄像头进行手势识别检测的技术方案中，通常基于肤色形状轮廓特征，采用SVM或决策树等分类方法检测跟踪手势，无法实现准确的手势识别检测。另外，在提取复杂的图像特征时，由于计算量大，导致无法实现在家电设备上的便捷人机交互。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种快速准确地进行手势识别控制的家电设备与方法。

根据本发明的第一方面，提供一种利用手势识别控制操作的家电设备，其包括执行单元，用于执行所述家电设备的操作指令，所述家电设备还包括：

摄像单元，用于获取包含预定义手势的连续图像序列，并将连续图像序列输出至手势识别单元；

手势识别单元，用于识别连续图像序列中包含的预定义手势，将识别结果输出至控制指令转换单元，

存储单元，用于存储预定义的手势以及所述家电设备的操作指令与手势的对应关系；

控制指令转换单元，用于根据存储单元中存储的所述家电设备的操作指令与手势的对应关系，将所述识别结果转换为所述家电设备的操作指令，输出至执行单元；

其中所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。

其中，所述手势识别单元包括手势粗略识别单元和手势精确识别单元，所述手势粗略识别单元用于：

基于所述连续图像序列中的单帧图像的低分辨率采样，在卷积神经网络模型中，进行“手”或“非手”的二分类，获得在所述低分辨率采样上的手出现位置的手势位置概率图，并将手势概率出现最高峰的位置范围确定为“手”出现的大致位置；

在确定的“手”出现的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据；

所述手势精确识别单元用于:

基于所述手势粗略识别单元识别的初步判定结果，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判断结果。

可选地，所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

优选地，所述预定义手势事件包括手掌悬停、手掌变握拳、手掌上下左右移动中的一个或多个。

可选地，响应于识别出的预定义手势事件，所述执行单元执行与所述预定义手势事件相对应的操作指令。

可选地，所述家电设备是空调，所述手掌由展开转握拳开启或关闭空调。

可选地，所述家电设备是空调，所述手掌悬停若干秒开启或关闭空调。

可选地，所述家电设备是空调，手掌左右平移即降低风速，手掌上下平移为提高风速，或者手掌左右平移即提高风速，手掌上下平移为降低风速。

可选地，所述家电设备是空调，顺时针转动手掌为升高温度，逆时针转动手掌为降低温度，或者顺时针转动手掌为降低温度，逆时针转动手掌为升高温度。

可选地，所述家电设备是空调，所述预定义手势事件能够用于控制切换风吹人或风避人模式。

本发明还提供一种利用手势识别控制操作的家电设备的操作方法，其特征在于，所述方法包括以下步骤：

获取包含预定义手势的连续图像序列；

识别连续图像序列中包含的预定义手势；

根据所述家电设备的操作指令与手势的对应关系，将所识别的预定义手势转换为所述家电设备的操作指令并执行。

通过本发明的利用手势识别控制操作的家电设备与方法，实现了在较低硬件成本的条件下，方便快捷地操作所述家电设备，创造出创新的用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个实施例的利用手势识别控制操作的家电设备的方框图；

图2示出根据上述实施例的家电设备进行手势识别控制的总体流程图；

图3示出根据上述实施例的家电设备识别连续图像序列中包含的预定义手势过程的流程图；

图4示出手势识别单元的组成示意图；

图5示出根据上述实施例的家电设备进行手势识别检测到“手”位置的处理示意图；

图6示出根据上述实施例的家电设备在手势识别中进行“聚类”处理的示意图；

图7示出根据上述实施例的家电设备进行手势识别的初步判定的详细流程图；

图8示出根据本发明的智能空调设备的利用手势识别控制操作的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1示出根据本发明一个实施例的利用手势识别控制操作的家电设备的方框图。该家电设备包括摄像单元，手势识别单元、控制指令转换单元、执行单元以及其它功能单元。摄像单元，用于获取包含预定义手势的连续图像序列，并将连续图像序列输出至手势识别单元；手势识别单元，用于识别连续图像序列中包含的预定义手势，将识别结果输出至控制指令转换单元；存储单元，用于存储预定义的手势以及所述家电设备的操作指令与手势的对应关系；控制指令转换单元，用于根据存储单元中存储的家电设备的操作指令与手势的对应关系，将识别结果转换为家电设备的操作指令，输出至执行单元；执行单元，用于执行家电设备的操作指令，实现家电设备的具体功能。其中预定义手势事件包括一个或多个预定义手势的出现，预定义手势对预定义大小的图像块进行手势分类。上述摄像单元，可以是普通的单目摄像头，也可以是能够获得深度数据的深度摄像头。其中，手势识别单元，基于深度神经网络的模型对连续图像序列中的预定义手势进行识别。

图2和图3分别示出根据上述实施例的家电设备进行手势识别控制的总体流程图和识别连续图像序列中包含的预定义手势过程的流程图。

根据本发明的利用手势识别控制操作的家电设备，例如，电视、或空调，做出各种手势，其中包括根据本发明的利用手势识别控制操作的家电设备预定义的手势，这些预定义的手势包括面朝(或侧对)家电设备掌心向外(正对家电设备)，握拳，举大拇指，V字手势等。家电设备中的手势识别单元对通过摄像单元获得的包含预定义手势的一连串连续图像序列进行手势识别检测。该手势识别单元可以通过基于ARM平台的芯片、FPGA芯片、ASIC芯片中的硬件、固件或者软件运行以下的基于深度神经网络模型的手势识别检测方法，判定预定义手势事件的发生。

手势识别单元包括手势粗略识别单元和手势精确识别单元，如图4所示，二者基于深度神经网络模型进行手势识别，其识别过程如下：

手势粗略识别单元在获取的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果，并将初步判定结果输出给手势精确识别单元。

利用卷积神经网络模型，对于多维数组数据，例如，包含RGB多通道的图像数据，可以进行多层网络非线性处理，例如卷积层、池化层、全联通层，以得到语义层面对图像的识别。在线下阶段，可以收集大量的手势训练数据，采用监督学习和反向传导算法，来优化模型参数的权重，逐步优化神经网络模型，实现准确的手势识别检测识别。

首先，手势粗略识别单元对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像。该全图通常包括了人的全身图像。例如，单帧图像的原始分辨率为1920*1080，1280*720，或者640*480。经过低分辨率的降采样，分辨率降低为320*240，160*120，或者176*144等，使处理的数据量大大减小，将降采样后的单帧图像的全图输入到卷积神经网络(Convolution Neural Network，简称CNN)，对每个位置的输入图像进行二分类(“手”或非“手”)，即运用二分类卷积神经网络，获得在该较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图。图4示出根据上述实施例的家电设备进行手势识别检测到“手”位置的处理示意图。

接着，手势粗略识别单元在手势位置概率图上通过聚类算法，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围。从而，在人的全身图像中尽快找到“手”的位置。这是对预定义手势的“粗”检测。图5示出根据上述实施例的家电设备在手势识别中进行“聚类”处理的示意图。这里的聚类算法包括多种算法，优选地，采用Mean-shift算法，采用该算法的优点是在二维空间上以梯度下降的方式快速找到最大的聚类峰。

然后，手势粗略识别单元再在估算的大致位置范围内，对原始单帧图像的全图进行多个降低分辨率的降采样，例如，640*480，320*240，176*144，获得多个分辨率的尺度空间的图像。再运行基于卷积神经网络模型的多分类模型(CNN_Classification)，在该多个分辨率的尺度空间的图像中利用滑动窗搜索嵌入式手势识别检测装置的预定义手势。例如，利用该多分类模型，可以将图像块分类为：“非手势”、“手掌”、“握拳”、“举大拇指”、“V字手势”等。这与嵌入式手势识别检测装置中的预定义手势的类型相对应。通过上述多个降低分辨率的降采样，有利于对手势识别检测的逐步细化求精并提高识别效率。优选地，先对较低分辨率的降采样的图像进行滑动窗搜索预定义手势，再对较高分辨率的降采样的图像进行滑动窗搜索预定义手势。这有利于节省运算量，降低硬件或软件的处理负担，缩短识别时间，提高搜索判断的效率。

最终，手势粗略识别单元将上述的搜索结果作为所述初步判定结果的依据。例如，通过上述的多分类模型，判断手势为“举大拇指”。图6示出了根据上述实施例的基于深度神经网络的手势识别检测进行初步判定的详细流程图。

手势精确识别单元，对于上述连续图像序列中的初步判定结果，再运行递归神经网络(Recurrent Neural Network，简称RNN)分类模型，判断预定义手势事件是否发生。这里的预定义手势事件包括上述的预定义手势，以及预定义手势的特定变化，例如，“手掌左右平移”，“手掌上下平移”，“握拳”，“手掌滑动”，“手掌悬停”，“手掌顺时针转动”，“手掌逆时针转动”。例如，通过运行递归神经网络分类模型，判断“手掌”变“握拳”或者手掌上下移动、左右移动的事件是否发生。这可以过滤去除单帧图像检测时可能发生的错误手势识别检测。这里的预定义手势事件，利用前后相关联的多个图像帧进行判断。例如，前后帧检测出来的手势位置和大小变化应该连续且平滑，这样可以减少误检个数，基于手势识别检测的时间序列，获得预定义手势事件的精确判定结果。

控制指令转换单元，将上述识别出的预定义手势事件，通过查找存储单元中存储的预定义手势与家电设备的操作指令的对应关系，获知用户手势的目的，将其转换为家电的执行命令、操作指令或操作指令集，并传送给家电设备的执行单元进行执行。

执行单元在接收到控制指令转换单元传送来的执行命令、操作指令或操作指令集后，执行执行命令或转换为具体的操作指令执行具体操作，实现目标功能。

可选地，上述摄像单元可以独立于该手势识别检测装置而设置，也可以一体地集成在一起。

根据上述实施例，本发明还提供一种利用手势识别控制操作的家电设备的操作方法，包括以下步骤：

获取包含预定义手势的连续图像序列；

识别连续图像序列中包含的预定义手势；

根据所述家电设备的操作指令与手势的对应关系，将所识别的预定义手势转换为所述家电设备的操作指令并执行。

本领域技术人员将会理解，上述的手势识别单元、手势粗略识别单元或手势精确识别单元，可以用专门的硬件电路实现或者在通用硬件平台上，通过软件算法实现，也可以其中的一部分用硬件实现，一部分用软件实现，它们都在本发明的范围内。也可以将其中的一部分，实现为专门的独立的装置，包括与上述的手势识别单元、手势粗略识别单元、手势精确识别单元、控制指令转换单元等功能等价的组成部分。它们可以与该家电设备一体地组成或独立地设置，利用数据接口进行连接。家电设备的其他功能部分，不受影响。

图8示出根据本发明的一种家用智能空调设备应用手势识别控制操作的一个实施例。该空调设备包括摄像单元，手势识别单元、控制指令转换单元、执行单元。其预定义指令包括以下控制操作：手掌由展开转握拳开启或关闭空调，或者反之，手掌由握拳转展开开启或关闭空调；手掌悬停若干秒开启或关闭空调；手掌左右平移即降低风速，手掌上下平移为提高风速；或者反之，手掌左右平移即提高风速，手掌上下平移为降低风速；顺时针转动手掌为升高温度，逆时针转动手掌为降低温度，或者反之，顺时针转动手掌为降低温度，逆时针转动手掌为升高温度。或者用手势控制切换风吹人或风避人模式。图中还示出设计的用于家电功能操作的几种手势，其仅为举例，并非穷尽。该智能空调设备手势识别控制操作的方法与结合图1-7描述的上述实施例相同。

通过适应性的修改，本发明的手势识别控制的操作也可以容易地应用到其它家电设备中，例如，家庭影院、冰箱、抽油烟机等。

通过本发明的利用手势识别控制操作的家电设备和操作方法，实现了在较低硬件成本的条件下，快速便捷地识别预定义的手势事件,方便家电设备的操作与控制，给用户提供了创新的体验。

应当注意，尽管在上述说明及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序，也可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

特别地，根据本公开的实施例，上文参考实施例描述的过程可以被实现为计算机软件程序，包括嵌入式软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种利用手势识别控制操作的家电设备，其特征在于，所述家电设备包括：

摄像单元，用于获取包含预定义手势的连续图像序列，并将连续图像序列输出至手势识别单元；

手势识别单元，用于识别连续图像序列中包含的预定义手势，判断预定义手势事件是否发生，将识别结果输出至控制指令转换单元，其中，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类；

存储单元，用于存储预定义手势以及所述家电设备的操作指令与预定义手势的对应关系；

控制指令转换单元，用于根据存储单元中存储的所述家电设备的操作指令与手势的对应关系，将所述识别结果转换为所述家电设备的操作指令，输出至执行单元；

执行单元，用于执行所述家电设备的操作指令，

其中，所述手势识别单元包括：

手势粗略识别单元，用于在获取的所述连续图像序列中的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果，并将初步判定结果输出给手势精确识别单元；和

手势精确识别单元，用于对于上述连续图像序列中的初步判定结果，再运行递归神经网络分类模型，判断预定义手势事件是否发生。

2.根据权利要求1所述的利用手势识别控制操作的家电设备，其特征在于，

所述手势粗略识别单元用于：

基于所述连续图像序列中的单帧图像的低分辨率采样，在卷积神经网络模型中，进行“手”或“非手”的二分类，获得在所述低分辨率采样上的手出现位置的手势位置概率图，并将手势概率出现最高峰的位置范围确定为“手”出现的大致位置；

在确定的“手”出现的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据；

所述手势精确识别单元用于：

基于所述手势粗略识别单元识别的初步判定结果，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判断结果。

3.根据权利要求2所述的利用手势识别控制操作的家电设备，其特征在于，所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

4.根据权利要求1所述的利用手势识别控制操作的家电设备，其特征在于，所述预定义手势事件包括手掌悬停、手掌变握拳、手掌上下左右移动中的一个或多个。

5.根据权利要求1所述的利用手势识别控制操作的家电设备，其特征在于，响应于识别出的手势事件，所述执行单元执行与所述手势事件相对应的操作指令。

6.根据权利要求4所述的利用手势识别控制操作的家电设备，其特征在于，所述家电设备是空调，所述手掌由展开转握拳开启或关闭空调。

7.根据权利要求4所述的利用手势识别控制操作的家电设备，其特征在于，所述家电设备是空调，所述手掌悬停若干秒开启或关闭空调。

8.根据权利要求4所述的利用手势识别控制操作的家电设备，其特征在于，所述家电设备是空调，手掌左右平移即降低风速，手掌上下平移为提高风速，或者手掌左右平移即提高风速，手掌上下平移为降低风速。

9.根据权利要求4所述的利用手势识别控制操作的家电设备，其特征在于，所述家电设备是空调，顺时针转动手掌为升高温度，逆时针转动手掌为降低温度，或者顺时针转动手掌为降低温度，逆时针转动手掌为升高温度。

10.根据权利要求4所述的利用手势识别控制操作的家电设备，其特征在于，所述家电设备是空调，所述预定义手势事件能够用于控制切换风吹人或风避人模式。

11.一种利用手势识别控制操作的家电设备的操作方法，其特征在于，所述方法包括以下步骤：

获取包含预定义手势的连续图像序列；

识别连续图像序列中包含的预定义手势，判断预定义手势事件是否发生，生成识别结果，其中，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类；

根据所述家电设备的操作指令与手势的对应关系，将所述识别结果转换为所述家电设备的操作指令并执行，

其中，识别连续图像序列中包含的预定义手势包括：

在获取的所述连续图像序列中的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果，并将初步判定结果输出给手势精确识别单元；和

对于上述连续图像序列中的初步判定结果，再运行递归神经网络分类模型，判断预定义手势事件是否发生。