CN109839827B - 一种基于全空间位置信息的手势识别智能家居控制系统 - Google Patents

Abstract

本发明提出了一种基于全空间位置信息的手势识别智能家居控制系统，包括主控模块、视频采集模块、设备位置标定模块、处理分析模块、数据传输模块和设备控制模块；本发明利用Kinect提供的深度信息，按照本发明设备位置标定模块中提供的设备位置标定方法，构建一个包含所有待控制设备的空间位置模型，并根据设计的手势指向算法、手势轨迹识别算法给出相应设备的功能。不需要操作者穿戴任何设备，并且在距离传感器距离在0.5‑4.5米范围内，无论操作者是站着还是坐着均可以操作，完全可以适用一般的室内需求。本发明中还设计了一种自定义手势方案，可以根据用户的使用习惯，自行的设定相应手势对应的功能，具有较好的扩展性。

Description

一种基于全空间位置信息的手势识别智能家居控制系统

技术领域

本发明属于智能家居控制技术领域，特别是涉及一种基于全空间位置信息的手势识别智能家居控制系统。

背景技术

智能家居的发展可以分为三个阶段：第一阶段是通过双绞线连接设备完成家庭组网，满足诸如灯光类设备最基本的开关需求。第二阶段是通过总线及IP组网，结合图像语音技术完成监控和语音控制；第三个阶段正处于发展阶段，通过物联网技术实现用户的个性需求。

在智能家居的控制方式中，各式各样的设备功能给用户得来交互体验不佳和操作繁琐的问题更加明显。相比于传统的人机交互使用鼠标、键盘、触屏等，更加简单、自然且人性化的手势识别技术在人机交互中扮演者重要的角色。将手势识别与智能家居系统进行融合，提高了人们对家用设备控制的方便性，灵活性。为行动不方便或者听觉、视觉、缺乏学习能力的老人和小孩提供了很大的帮助，更为重要的是用一个智能控制终端代替了多个遥控设备，方便性大幅度提高。

对于现在的物联网型智能家居系统，大部分都是基于遥控设备或者通过手机APP控制，这一类操作并没有真正的脱离遥控，只是将遥控设备集成化组成了一个超级遥控器而已，并且在使用中如果要选择不同的设备需要在主界面或者菜单中进入到相应的设备菜单中进行控制，这使得控制方式并没有摆脱传统的菜单式操作，并没有真正达到智能化。

另一方面，目前市面上基于的手势控制设备中，近景的手势操作包括一些电磁感应方案与超声方案，这些方案与传统开关类似，需要使用者靠近开关进行操作，并没有达到用户真正的随心所欲的操作；穿戴式控制方案依赖于手环、手套等设备，为使用者额外增加负担，让用户在操作某个设备时还需要提前穿戴一些设备，让人们仍然感觉是在使用固定的方式操作，体验感一般。

发明内容

本发明目的是为了解决当前智能家居中存在的操作繁琐、可操作范围小、必须佩带穿戴设备和用户不能通过自然的方式与机器进行交互而导致的体验差的问题，提供了一种基于全空间位置信息的手势识别智能家居控制系统。

本发明是通过以下技术方案实现的，本发明提出一种基于全空间位置信息的手势识别智能家居控制系统，包括主控模块、视频采集模块、设备位置标定模块、处理分析模块、数据传输模块和设备控制模块；

确定好需要控制的所有设备后主控模块调用设备位置标定模块对所有需要控制的设备的空间坐标进行标定；所述主控模块调用视频采集模块进行用户视频数据采集，并将采集到的视频数据发送到处理分析模块，所述处理分析模块对用户的手部进行检测，检测人手是否指向设备和手部的运动轨迹，当指向了设备后并检测到手停止信号时，对之前的手部运动轨迹进行分析处理，当用户的运动手势轨迹与设定的模板轨迹重合时，给出手势结果，并将所述手势结果发送给所述主控模块，所述主控模块将所述手势结果通过数据传输模块传到所述设备控制模块，所述设备控制模块根据所述手势结果控制相应设备的状态变化，并将所述设备的变化状态回传给主控模块。

进一步地，所述主控模块的具体工作流程为：

步骤1.1:系统启动，自检现存可用设备；

步骤1.2:启动时语音提示是否重新标定设备位置；

步骤1.3:如果给出标定手势，进入设备位置标定模块，否则进入开机运行模式；

步骤1.4:调用视频采集模块，进行数据采集，捕获用户视频数据；

步骤1.5:调用处理分析模块，重复调用步骤1.4～步骤1.5，直到给出有效的手势结果；

步骤1.6:根据有效的手势对应的功能控制相应的设备进行状态转换，返回步骤1.4。

进一步地，所述视频采集模块采用Kinect作为视频采集设备。

进一步地，所述设备位置标定模块对所有需要控制的设备的空间坐标进行标定，具体为：

所述视频采集设备的下方中心位置放置一个舵机，Kinect的水平视角为70度，旋转 3次角度为210°，对每一个旋转角度之间留有一部分的重叠区域；设定舵机三个角度分别为30°、90°、150°，在旋转Kinect时，视频采集设备会将面前的所有空间进行一次扫描，扫描前所有需要标定的设备均粘贴上与设备对应的唯一标识标定卡，标定卡上有代表该设备的标号，标定卡的法向量对着视频采集设备的舵机轴线；所述主控模块在控制舵机按照固定角度旋转时，在RGB图像上进行模板匹配，检测所有的已知设备，如果找到设备标号，那么将Kinect的Depth图像和RGB图像进行校正融合，根据在RGB空间识别到的位置映射到Depth空间，找到该标定卡的空间位置信息，用该标定卡的位置作为该设备的空间代表点，当语音提示找到的设备与要进行标定的设备一致时，标定完成。

进一步地，所述处理分析模块具体工作流程为：

步骤2.1、接收主控模块控制指令及视频采集模块数据；

步骤2.2、进行人手检测，包括手腕位置的检测；

步骤2.3、利用手腕和手指尖的空间位置，构建一个空间指向向量；

步骤2.4、利用指向向量遍历所有的设备，计算设备和手腕构建的设备向量和指向向量的夹角的大小和设备空间代表点到指向向量的距离来判断是否指向了该设备；

步骤2.5、在指向了确定设备后，根据设备所在的位置，利用空间中的一点和法向量构建一个平面来构建设备平面，法向量为设备空间代表点和手腕构成的向量，求出手指尖的运动轨迹在该设备平面上的投影；

步骤2.6、将三维空间的运动轨迹映射到二维平面，然后用二维的轨迹进行手势的识别；

步骤2.7、如果识别是功能目录里的手势那么给出相应设备的功能，否则返回步骤2.2。

进一步地，所述人手是否指向设备具体为：

通过标定已经构建了空间所有设备的位置信息，当用户进行操作时，通过采集到的手腕和手指尖的空间位置，构建一个空间指向向量；

设手腕的空间位置为W(x_w,y_w,z_w),手指尖的空间位置为H(x_h,y_h,z_h),设备的空间位置为S(x_s,y_s,z_s),于是构建空间指向向量为

手腕和设备组成设备向量

利用两个向量的夹角来判断手的指向性，夹角公式如下：

通过遍历当前手势和所有设备的夹角，找出最小角度，如果角度大小在设定的范围内，并且该设备空间代表点到指向向量的距离小于设定的阈值，则表示当前指向了该设备，否则表示没有指向。

进一步地，所述系统还包括自定义手势模块，用于用户自定义手势，并与其相应的功能对应。

本发明的有益效果：本发明利用Kinect提供的深度信息，按照本发明设备位置标定模块中提供的设备位置标定方法，构建一个包含所有待控制设备的空间位置模型，并根据设计的手势指向算法、手势轨迹识别算法给出相应设备的功能。不需要操作者穿戴任何设备，并且在距离传感器距离在0.5-4.5米范围内，无论操作者是站着还是坐着均可以操作，完全可以适用一般的室内需求。本发明中还设计了一种自定义手势方案，可以根据用户的使用习惯，自行的设定相应手势对应的功能，具有较好的扩展性。

附图说明

图1是本发明所述基于全空间位置信息的手势识别智能家居控制系统结构图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出一种基于全空间位置信息的手势识别智能家居控制系统，包括主控模块、视频采集模块、设备位置标定模块、处理分析模块、数据传输模块和设备控制模块；

确定好需要控制的所有设备后主控模块调用设备位置标定模块对所有需要控制的设备的空间坐标进行标定；所述主控模块调用视频采集模块进行用户视频数据采集，并将采集到的视频数据发送到处理分析模块，所述处理分析模块对用户的手部进行检测，检测人手是否指向设备和手部的运动轨迹，当指向了设备后并检测到手停止信号时，对之前的手部运动轨迹进行分析处理，当用户的运动手势轨迹与设定的模板轨迹重合时，给出手势结果，并将所述手势结果发送给所述主控模块，所述主控模块将所述手势结果通过数据传输模块传到所述设备控制模块，所述设备控制模块根据所述手势结果控制相应设备的状态变化，并将所述设备的变化状态回传给主控模块。

所述主控模块的具体工作流程为：

步骤1.1:系统启动，自检现存可用设备；

步骤1.2:启动时语音提示是否重新标定设备位置；

步骤1.3:如果给出标定手势，进入设备位置标定模块，否则进入开机运行模式；

步骤1.4:调用视频采集模块，进行数据采集，捕获用户视频数据；

步骤1.5:调用处理分析模块，重复调用步骤1.4～步骤1.5，直到给出有效的手势结果；

步骤1.6:根据有效的手势对应的功能控制相应的设备进行状态转换，返回步骤1.4。

本发明采用第二代Kinect作为视频采集设备，第二代Kinect与第一代Kinect相比，深度的获取采用TOF的方式，减少了可见光的干扰，并且在夜间的深度获取效果更好。Kinect通过彩色摄像机和深度传感器识别和追踪人体的骨骼关节点，利用所采集出现在摄像头前用户的骨骼关节点位置信息，通过对数据的筛选和平滑，得到有效的关节位置信息，让用户可以无需接触就可以控制设备，达到一种隔空操作的效果。并且在空间模型建立的过程中，利用到了Kinect的深度传感器采集的深度信息，并且根据深度空间与彩色空间的融合校正获取相关设备的空间位置信息，然后根据传感器角度位置的不同进行坐标的转化，利用Kinect的相机坐标系构建空间所有设备的空间位置模型。

所述设备位置标定模块对所有需要控制的设备的空间坐标进行标定，具体为：

设备位置标定模块是在系统初始化时或者有新设备添加时使用，所述视频采集设备的下方中心位置放置一个舵机，Kinect的水平视角为70度，旋转3次角度为210°，已经可以遍历Kinect前面的所有空间了。为了减少视角边缘受畸变的影响，对每一个旋转角度之间留有一部分的重叠区域；设定舵机三个角度分别为30°、90°、150°，在旋转 Kinect时，视频采集设备会将面前的所有空间进行一次扫描，扫描前所有需要标定的设备均粘贴上与设备对应的唯一标识标定卡，标定卡上有代表该设备的标号，例如标号“1”的卡片代表台灯，则将标定卡1粘贴到台灯上，标定卡的法向量对着视频采集设备的舵机轴线；所述主控模块在控制舵机按照固定角度旋转时，在RGB图像上进行模板匹配，检测所有的已知设备，如果找到设备标号，那么将Kinect的Depth图像和RGB图像进行校正融合，根据在RGB空间识别到的位置映射到Depth空间，找到该标定卡的空间位置信息，用该标定卡的位置作为该设备的空间代表点，当语音提示找到的设备与要进行标定的设备一致时，标定完成。

原本对于双目相机的使用需要进行标定，求出两个相机的内参和外参，并且构建的相机模型，根据同一幅图片在两个相机中的视差来求得图像坐标向世界坐标转化的转化矩阵 Q。Kinect已经对相机完成了标定，并且提供了相机图像坐标到世界坐标的转化矩阵，本发明就是在舵机的三个角度获得的世界坐标都转化到Kinect标准位置时的坐标，Kinect正常工作时的角度应为90°，于是当在30°和150°获得的坐标，只需按照相机坐标系下的Y轴进行旋转即可，即乘以一个绕Y轴的旋转矩阵。就可以得到正常使用时的所有设备基于当前Kinect位置的世界坐标。

本发明首先根据给定的设备标号列表中对应的设备标定卡贴在设备上，然后在系统启动时，利用标定手势进入标定功能模块，此时系统控制Kinect下面的舵机进行旋转。在每一次旋转结束后，系统都会采集RGB图像和Depth信息，在RGB中进行模板的匹配，系统已经提前录入了所有标定卡的模板，如果识别到了标定卡，则此时将RGB空间和Depth 空间进行融合，并根据坐标转换可以求出该设备基于Kinect在90°时的空间位置信息。最终将所有的设备全都遍历一遍以后，全空间的模型就建立完毕。

所述处理分析模块具体工作流程为：

步骤2.1、接收主控模块控制指令及视频采集模块数据；

步骤2.2、进行人手检测，包括手腕位置的检测；

步骤2.3、利用手腕和手指尖的空间位置，构建一个空间指向向量；

步骤2.4、利用指向向量遍历所有的设备，计算设备和手腕构建的设备向量和指向向量的夹角的大小和设备空间代表点到指向向量的距离来判断是否指向了该设备；

步骤2.5、在指向了确定设备后，根据设备所在的位置，利用空间中的一点和法向量构建一个平面来构建设备平面，法向量为设备空间代表点和手腕构成的向量，求出手指尖的运动轨迹在该设备平面上的投影；

步骤2.6、将三维空间的运动轨迹映射到二维平面，然后用二维的轨迹进行手势的识别；

步骤2.7、如果识别是功能目录里的手势那么给出相应设备的功能，否则返回步骤2.2。

所述人手是否指向设备具体为：

通过标定已经构建了空间所有设备的位置信息，当用户进行操作时，通过采集到的手腕和手指尖的空间位置，构建一个空间指向向量；

设手腕的空间位置为W(x_w,y_w,z_w),手指尖的空间位置为H(x_h,y_h,z_h),设备的空间位置为S(x_s,y_s,z_s),于是构建空间指向向量为

手腕和设备组成设备向量

利用两个向量的夹角来判断手的指向性，夹角公式如下：

通过遍历当前手势和所有设备的夹角，找出最小角度，如果角度大小在设定的范围内，并且该设备空间代表点到指向向量的距离小于设定的阈值，则表示当前指向了该设备，否则表示没有指向。

对于手势识别来说，手的检测是第一步，也是最重要的一步，他是后续所有控制的输入端，本发明选择Kinect作为视频采集设备就是因为他可以充分的利用深度图像来识别出位于Kinect前方1.0-4.5米的用户骨骼信息。Kinect可以计算出每个用户的25个关节信息，并且关节信息中包含关节点的三维坐标信息，特别的对于手的状态可以给出握拳和手掌，基于此可以充分利用这些信息进行手势的识别工作。

为了减少系统的误识别率，系统中设定的手势都是要求有手抬起的动作，具体到数据模型上来说就是要求手的高度要超过手肘的高度，此时的手才开始进行识别。并且由于Kinect在采集数据是会出现数据抖动的问题，于是本发明设计了一种防抖机制，选取连续的5帧作为备选，然后利用5帧中数据的中值来作为代表点，此方法能快速有效的减少数据的抖动。

手势识别在此指的是指定设备后，手的运动轨迹和预定的轨迹的匹配度，以指向某一设备为开始输入轨迹的起点，以手运动完毕后短暂的停留作为运动的停止量，当检测到手停止时，对之前的运动轨迹进行识别，具体如下：

第一步：手势归一化，由于手势动作产生采用等间隔采样，根据视频采集设备有关，所述视频采集设备为30帧/秒，那么相同的手势动作由于速度的差异，会导致采样数据点数各不相同。此外不同用户做出指定手势动作的幅度和角度也不尽相同，导致采集的手势存在较大差异。为保证识别的准确性，必须对所有采集的特征数据进行归一化，已消除采样点的差异对识别结果的影响。具体算法如下：

1、接收到开始指令时开始记录轨迹点，经过上面提到将手的空间运动轨迹向设备平面进行投影，去掉法向量方向信息量，将三维轨迹映射到二维，然后将运动的点记录到轨迹Trace中，直到发现停止的手势。

2、数组长度归一化：将手势路径按照长度均匀划分成N段，对手势数据进行等距重采样。

3.根据重采样Trace数组里每个点的二维坐标(X、Y)最大值与最小值求出上下左右的边缘，求出该手势路径点最小外接矩形。

4.手势坐标归一化：以手势中心点为原点，将Trace里的点归一化到-1<＝x<＝1,-1<＝y<＝1空间中。

5.手势角度归一化：以求得的手势中心为原点，将起始点旋转到规定的方向，算法中设定为向量(-1,0)为初始角度。

第二步：手势相似度

1、规定Trace的点乘为：

2、相似度度量：

由此根据两个手势的相似度计算出一个匹配分数MatchScore。用户输入了一个手势T，用该手势的路径和手势样本库的所有样本T₁...T_n计算相似度，然后求出相似度最大的那个样本T_m，并且该匹配分数大于某个特定阀值(比如0.75)，即可以判断用户输入的手势为 T_m手势。

对于一个具有多个功能的设备，在控制时与只具有开关量的设备不同，需要进行先指向、再功能的控制方式。首先应该用手势指向该设备的位置，手势静止0.5秒，然后会出现语音提示，提示指向了该设备，此时手进行功能轨迹的运动，在运动完毕后，手势再在空中静止0.5秒，系统进行刚才轨迹的识别工作，如果匹配分数满足最低的要求，则给出该设备刚才画轨迹对应的功能。

以单个多功能设备的控制为例，省略掉了标定和手势的添加功能，具体控制流程如下：

1.初始化所有设备和参数；

2.视频采集设备开始采集；

3.检测手是否超过肘部；

4.当手抬起时，计算手是否短暂的静止并指向了某一个设备；

5.根据指向的设备，进行响应手势的控制，对于多功能的设备，在指向设备后，记录手指尖的空间位置，并且向二维空间进行投影；

6.在手势运动完毕，再进行短暂的静止，则开始识别刚才的运动轨迹；

7.根据指向设备和轨迹的识别，主控模块给出对应的控制；

8.设备控制模块接收主控模块的控制信号，控制设备进行相应的状态变化，然后将状态量返回给主控模块；

9.主控模块接收设备控制模块返回的完成状态标志，此次手势功能完毕，返回步骤 3，继续。

数据传输模块作为其他各模块的通信中介，可通过电路、数据线或无线方式传输数据。本系统中采用无线通信中的Zigbee技术。一般来说，采用Zigbee技术的智能家电控制系统包括Zigbee协调器、ZigBee红外控制终端和家庭网关。Zigbee网络中有两种功能模块，一种是Zigbee协调器，对Zigbee网络进行建立和管理；另一种是Zigbee终端节点，主要完成Zigbee网络的加入和对学习型红外遥控模块的控制。Zigbee的协调器通过RS232 串口可以与家庭网关进行数据交互，实现无线控制网络与控制主机的连接。

所述系统还包括自定义手势模块，用于用户自定义手势，并与其相应的功能对应。

例如，系统默认设定的手势，设定如下：

以上对本发明所提供的一种基于全空间位置信息的手势识别智能家居控制系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于全空间位置信息的手势识别智能家居控制系统，其特征在于：包括主控模块、视频采集模块、设备位置标定模块、处理分析模块、数据传输模块和设备控制模块；

确定好需要控制的所有设备后主控模块调用设备位置标定模块对所有需要控制的设备的空间坐标进行标定；所述主控模块调用视频采集模块进行用户视频数据采集，并将采集到的视频数据发送到处理分析模块，所述处理分析模块对用户的手部进行检测，检测人手是否指向设备和手部的运动轨迹，当指向了设备后并检测到手停止信号时，对之前的手部运动轨迹进行分析处理，当用户的运动手势轨迹与设定的模板轨迹重合时，给出手势结果，并将所述手势结果发送给所述主控模块，所述主控模块将所述手势结果通过数据传输模块传到所述设备控制模块，所述设备控制模块根据所述手势结果控制相应设备的状态变化，并将所述设备的变化状态回传给主控模块；

所述处理分析模块具体工作流程为：

步骤2.1、接收主控模块控制指令及视频采集模块数据；

步骤2.2、进行人手检测，包括手腕位置的检测；

步骤2.3、利用手腕和手指尖的空间位置，构建一个空间指向向量；

步骤2.4、利用指向向量遍历所有的设备，计算设备和手腕构建的设备向量和指向向量的夹角的大小和设备空间代表点到指向向量的距离来判断是否指向了该设备；

步骤2.5、在指向了确定设备后，根据设备所在的位置，利用空间中的一点和法向量构建一个平面来构建设备平面，法向量为设备空间代表点和手腕构成的向量，求出手指尖的运动轨迹在该设备平面上的投影；

步骤2.6、将三维空间的运动轨迹映射到二维平面，然后用二维的轨迹进行手势的识别；

步骤2.7、如果识别是功能目录里的手势那么给出相应设备的功能，否则返回步骤2.2。

2.根据权利要求1所述的系统，其特征在于：所述主控模块的具体工作流程为：

步骤1.1:系统启动，自检现存可用设备；

步骤1.2:启动时语音提示是否重新标定设备位置；

步骤1.3:如果给出标定手势，进入设备位置标定模块，否则进入开机运行模式；

步骤1.4:调用视频采集模块，进行数据采集，捕获用户视频数据；

步骤1.5:调用处理分析模块，重复调用步骤1.4～步骤1.5，直到给出有效的手势结果；

步骤1.6:根据有效的手势对应的功能控制相应的设备进行状态转换，返回步骤1.4。

3.根据权利要求2所述的系统，其特征在于：所述视频采集模块采用Kinect作为视频采集设备。

4.根据权利要求3所述的系统，其特征在于：所述设备位置标定模块对所有需要控制的设备的空间坐标进行标定，具体为：

所述视频采集设备的下方中心位置放置一个舵机，Kinect的水平视角为70度，旋转3次角度为210°，对每一个旋转角度之间留有一部分的重叠区域；设定舵机三个角度分别为30°、90°、150°，在旋转Kinect时，视频采集设备会将面前的所有空间进行一次扫描，扫描前所有需要标定的设备均粘贴上与设备对应的唯一标识标定卡，标定卡上有代表该设备的标号，标定卡的法向量对着视频采集设备的舵机轴线；所述主控模块在控制舵机按照固定角度旋转时，在RGB图像上进行模板匹配，检测所有的已知设备，如果找到设备标号，那么将Kinect的Depth图像和RGB图像进行校正融合，根据在RGB空间识别到的位置映射到Depth空间，找到该标定卡的空间位置信息，用该标定卡的位置作为该设备的空间代表点，当语音提示找到的设备与要进行标定的设备一致时，标定完成。

5.根据权利要求4所述的系统，其特征在于：所述人手是否指向设备具体为：

通过标定已经构建了空间所有设备的位置信息，当用户进行操作时，通过采集到的手腕和手指尖的空间位置，构建一个空间指向向量；

设手腕的空间位置为W(x_w,y_w,z_w),手指尖的空间位置为H(x_h,y_h,z_h),设备的空间位置为S(x_s,y_s,z_s),于是构建空间指向向量为

手腕和设备组成设备向量

利用两个向量的夹角来判断手的指向性，夹角公式如下：

通过遍历当前手势和所有设备的夹角，找出最小角度，如果角度大小在设定的范围内，并且该设备空间代表点到指向向量的距离小于设定的阈值，则表示当前指向了该设备，否则表示没有指向。

6.根据权利要求1所述的系统，其特征在于：所述系统还包括自定义手势模块，用于用户自定义手势，并与其相应的功能对应。

Images