CN107688390A - 一种基于体感交互设备的手势识别控制器 - Google Patents

Abstract

本发明涉及人机交互领域，特别是一种基于体感交互设备的手势识别控制器，主要涉及手势、体感交互设备、微型计算机，手势由使用者在体感交互设备可识别区域裸手实现；体感交互设备追踪手部，获取手势特征信息，发送到微型计算机；微型计算机应用手势识别程序分析判断手势信息，发送反馈信息到物联网平台，物联网平台发送指令信息，从而控制指令接收端。本发明充分利用三维空间的信息数据，通过非接触式的系统化控制交互模式，可实现用直接语义、简约便捷、集成高效、安全隐秘的控制操作。

Description

一种基于体感交互设备的手势识别控制器

技术领域

本发明涉及智能交互领域，特别是一种基于体感交互设备的手势识别控制器。

背景技术

随着物联网、数字化技术的发展，机器的功能产生了多维度的拓展。因而机器的控制方式也不断向更智能的方式演变。对机器的控制主要体现在人与机器的交互设计上。目前人机之间的交互设计主要分为接触式和非接触式两大类。非接触方式中又有近前操作和非近前操作。在对话时机上可分为预设和实时两种类型。

现代人机间的交互设计更加注重信息交互。交互是一种对话，就有信息的双向流动，一方面是人对机器的指令控制，另一方面机器接受指令做出反应并给人以反馈信息。接触式的交互方式是最为普遍，如人用手、脚等对机器的操作和控制(包括线控)。非接触式的交互，在各种电器电子产品中也不陌生，如通过红外线、WIFI等信号传输方式将人的操控指令传递给机器，通过体感、语音、目光等也是一类非接触式人机对话的方式。近前方式的交互过程包括红外线遥控、体感、语音等方式，操控者需要在一定距离范围内才能实现对电器设备的控制。非近前方式可以通过无线通讯，互联网等方式，在人机距离较远的情况下实现人机交互。预设方式可理解为出厂时完成的功能设定，实时则是根据个人需要可以进行实时的功能选择。以上这些全是人机过程，机器在接受指令后通过声、光指令运行等方式响应反馈给人，是机器对人的信息传递。

然而，现有的机器设备交互设计模式存在着一些亟待解决的弊端。一是开关控制器的泛滥。以家居为例，家电的多样化附带着遥控器等控制设备数量的增加，需要一个完善的系统取代繁多的独立个体。二是说在需要对多个机器进行操作的空间里，现阶段的开关罗列的集约控制面板复杂，不易操作。三是多功能的交互面板带来选择信息的层级嵌套。操作步骤与功能的数量正相关，导致功能完善的同时不能做到操作的简单。四是为追求简单而单一的操作方式而忽视了操作语义的直观性，使得操作动作本身没有意义，操作的目的难以得到直观体现，直接影响了机器多维度操作的直观性。

同时，现代的交互设计模式普遍还是基于二维平面的，提供的交互信息自然受到维度的限制，没有充分利用人体的空间立体性，使得对多维度机器的不同维度的操作方式单一。这种单一性通过多个相同开关来控制不同纬度的方式体现。

发明内容

针对上述存在的不足，本发明提出比较完善的解决办法，通过体感交互设备对人的手部进行探测，对手部用独特的建模算法获取特征信息，利用手部信息设计手势识别程序，通过定义手势获得相应指令，从而向被控制端发送指令实现的手势识别的交互控制模式，其技术方案如下：

一种基于体感交互设备的手势识别控制器，其特征在于，包括：

体感交互端：包括手势和体感交互设备，体感交互设备作为体感交互端的核心，连接到微型计算机，用于捕获手势信息，并将捕获的手势信息传递到微型计算机；

微型计算机：解析手势信息，匹配手势与可被被控制端识别的指令数据，将相应指令上传到物联网平台，被控制端从物联网平台获得指令，并执行指令；

手势为裸手输入手势，手势位于体感控制器可视区域。

在上述的一种基于体感交互设备的手势识别控制器，手势需位于体感交互设备的可视区域。

上述的一种基于体感交互设备的手势识别控制器，所述体感交互设备通过双红外摄像头捕捉手势，通过对基于设备建立笛卡尔空间坐标系的算法建模，获得手部的位置及其特征点相对位置、角度，特征向量和微小运动，同时可以探测到类似手指的实体，具体包括：

步骤1，在两个红外摄像头上，以两个摄像头中点为原点，水平平行于两个摄像头的方向为x轴，水平垂直于两个摄像头的方向为z轴，垂直方向为y轴，构建一个三维空间，即一个笛卡尔空间坐标系，

步骤2，在空间坐标中，利用双红外成像的原理重建出手的三维空间运动信息，

步骤3，检测并跟踪手、手指和类似手指的工具，实时获取他们的位置、方向，采集的基本单位是帧，获取手腕位置以及，每只手和手指的手掌坐标、手掌法向向量、手方向向量(由手掌中心指向手指的方向向量)、手指长度、手指方向(指根到指尖的方向)、指尖坐标，

步骤4，对检测到手部信息到手静止时间段中，每一帧的同类数据的变化进行计算，得到手部的运动信息。

上述的一种基于体感交互设备的手势识别控制器，体感交互设备与微型计算机相连，将获取手部信息直接输入计算机；计算机通过已编好的程序对输入手部信息进行判读，从而输出相应的指令到物联网平台。

上述的一种基于体感交互设备的手势识别控制器，微型计算机通过对权利要求3所述手部的位置及其特征点相对位置、角度，特征向量和微小运动，和类似手指实体的一个或者多个判断条件与已定义手势进行匹配，若作为判断条件的当前手势状态的数值与已定义手势的数值之差小于阈值则匹配成功，输出指令，若与所有的已定义手势无法匹配，则无法识别当前手势；除已定义手势外，还可以自主添加定义可识别手势，在添加手势的系统状态下，计算机分析多次重复手势的识别信息，总结特征点、特征关系和运动状态的数据特征，从而记录该手势状态，并通过人为定义，指定其输出指令；自主添加的可识别手势，通过权利要求3识别，与自主添加定义可识别手势的动作进行匹配。

上述的一种基于体感交互设备的手势识别控制器，控制指令从微型计算机上传到物联网平台，被控制端接收物联网平台的指令，实现相关操作。

上述的一种基于体感交互设备的手势识别控制器，被控制端理论上可以是任何一种可被操控的机器，机器获得物联网平台上的指令，执行对应操作。

本发明的有益效果：1、本发明三维手势的多维操作超越了普遍的二维操作或是接触式固定动作的控制方式。立体空间的维度增加带来了控制的立体多维性，使得同时控制多款设备，对其进行批处理，或是同时控制设备的不同纬度的属性值，甚至是控制范围的扩大都得以实现，即可以同时操作设备的不同属性模式，且可以在一处操作多个不同的设备。有效解决了二维平面对操作的限制问题；2、本发明的非接触式三维控制，提供沉浸式的虚拟体验，为生活中的不便提供高效的解决方案并利用空间距离有效提高了家居生活的安全性能；3、本发明只识别预定义手势，在进行危险操作时，可定义特殊的手势，使仅知道手势的人可以操作，有效限制适用人群，提高安全隐秘性；4、本发明能够在使用直观语义的状态下简化操作方式。将符合生活习惯的手势定义为操作指令，形成以用户为中心的经验性设计语言。通过直观的手势语义实现操作，简单明了；5、本发明利用集成化的小空间进行系统操作，在一处光滑探测平面前就可以控制所有连入系统的设备，应用了做出手势后随即获得回应的信息交互方式，避免了功能选择的嵌套式信息层级，使家居生活更加便捷高效；6、本发明不受光线、声音的限制，操作不外物辅助进行，普适性更强。

附图说明

图1是基于leap motion体感交互设备的手势识别控制器实现结构图；

图2是leap motion视场角示意图；

图3是leap motion笛卡尔坐标系示意图；

图4是手掌抬升手势控制水温示意图。

具体实施方式

本发明基于体感交互设备，具体步骤以leap motion作为体感交互设备为例，

结合附图进行详细说明。

图1表示的是基于leap motion体感交互设备的手势识别控制器的流程图，(1)手势。在leap motion这一体感控制器的可视区域内做出手势，如图2。Leapmotion的视场角度为150度，并且即使身体某些部位不在控制器的接受范围内，它也可以将手指、手掌、手臂作为一个整体来跟踪，再通过三维坐标实时模拟出手势模型。使用者可以在25到600毫米(呈倒立四棱椎体状)，约一英尺的空间内对其做出动作。

(2)体感交互设备。Leap Motion是面向PC及MAC的一款通过内置的两个红外摄像头实现手势在三维空间的数据采集的体感设备。外观是比U盘稍大一些的黑色小条，约有3寸长，1寸宽，是一个微米级的3D手动交互设备。在如图3的坐标系中，通过建立复杂的数学模型捕获人手的特征点、特征向量和运动数据，跟踪一个人10个手指小到0.01mm的动作。它的最大频率为290帧/s，延迟速率比显示器的刷新率还要低，采集手部数据精准快速，可以极有效率的采集手势信息。

(3)微型计算机。将leap motion连接到微型计算机上，利用leap motion的SDK编写手势识别程序。通过对体感交互设备捕捉到的手势特征点、特征向量、运动状态等数据进行聚类分析，得出对应手势的识别模型。在进行手势识别时，将空间数据进行坐标变换后，比较测得的手势数据与各模型的差异。采用最短距离法找到离探测数据最近的聚类。根据结果输出反馈信息。得到手势数据反馈信息后，根据物联网协议，将指令数据上传到物联网云端，最终被控制端获取数据，将数据转化为手势相应的控制操作。

在用户进行自定义手势时，程序通过多次读取该定义手势获得数据，建立手势识别模型。并通过用户输入，确定输出指令的应用对象和操作模式。

以下针对实施例流程中的各步骤，以手掌的抬升或下降(手掌面朝上)的手势实现水流温度调节的控制功能的具体案例，结合附图和实施例详细说明本发明技术方案，对本发明方法做进一步详细描述。

实施例中，在leap motion可视区域做出手掌抬升的手势，主要获取手掌朝向，手指指向，手掌位置三个参数，如图4。根据三参数与时间的关系建立识别模型。将数据通过USB连接线传入微型计算机。计算机对观测运动模型与标准运动模型的误差进行判断，若手掌抬升，输出水温升高的指令将上传到物联网云端。控制端的热水阀门开关从平台上捕获数据指令从而做出打开阀门的动作，最终实现了通过手掌位置变化的手势控制水流温度。

具体模块实现可参见上述方法相应说明。

本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于体感交互设备的手势识别控制器，其特征在于，包括：

体感交互端：包括手势和体感交互设备，体感交互设备作为体感交互端的核心，连接到微型计算机，用于捕获手势信息，并将捕获的手势信息传递到微型计算机；

微型计算机：解析手势信息，匹配手势与可被被控制端识别的指令数据，将相应指令上传到物联网平台，被控制端从物联网平台获得指令，并执行指令；

手势为裸手输入手势，手势位于体感控制器可视区域。

2.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：手势需位于体感交互设备的可视区域。

3.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：所述体感交互设备通过双红外摄像头捕捉手势，通过对基于设备建立笛卡尔空间坐标系的算法建模，获得手部的位置及其特征点相对位置、角度，特征向量和微小运动，同时可以探测到类似手指的实体，具体包括：

步骤1，在两个红外摄像头上，以两个摄像头中点为原点，水平平行于两个摄像头的方向为x轴，水平垂直于两个摄像头的方向为z轴，垂直方向为y轴，构建一个三维空间，即一个笛卡尔空间坐标系，

步骤2，在空间坐标中，利用双红外成像的原理重建出手的三维空间运动信息，

步骤3，检测并跟踪手、手指和类似手指的工具，实时获取他们的位置、方向，采集的基本单位是帧，获取手腕位置以及，每只手和手指的手掌坐标、手掌法向向量、手方向向量、手指长度、手指方向、指尖坐标，

步骤4，对检测到手部信息到手静止时间段中，每一帧的同类数据的变化进行计算，得到手部的运动信息。

4.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：体感交互设备与微型计算机相连，将获取手部信息直接输入计算机；计算机通过已编好的程序对输入手部信息进行判读，从而输出相应的指令到物联网平台。

5.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：微型计算机通过对权利要求3所述手部的位置及其特征点相对位置、角度，特征向量和微小运动，和类似手指实体的一个或者多个判断条件与已定义手势进行匹配，若作为判断条件的当前手势状态的数值与已定义手势的数值之差小于阈值则匹配成功，输出指令，若与所有的已定义手势无法匹配，则无法识别当前手势；除已定义手势外，还可以自主添加定义可识别手势，在添加手势的系统状态下，计算机分析多次重复手势的识别信息，总结特征点、特征关系和运动状态的数据特征，从而记录该手势状态，并通过人为定义，指定其输出指令；自主添加的可识别手势，通过权利要求3识别，与自主添加定义可识别手势的动作进行匹配。

6.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：控制指令从微型计算机上传到物联网平台，被控制端接收物联网平台的指令，实现相关操作。

7.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：被控制端理论上可以是任何一种可被操控的机器，机器获得物联网平台上的指令，执行对应操作。