CN103760976B - 基于Kinect的手势识别智能家居控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于Kinect的手势识别智能家居控制方法及系统，所述方法包括：通过Kinect摄像机采集出现在其摄像头前面所有用户的骨架关节点信息数据；对每个用户的骨架关节点信息数据进行筛选，得到实际操作用户的骨架关节点信息数据，并在计算该实际操作用户的手掌与肩部的位置关系；将右手臂的可移动空间划分为不重叠的四个区域，根据右手掌与右肩的位置关系判断右手臂所处的区域，若此时左手掌抬起到与左肩、右肩近似平行的位置，则实际操作用户下达了控制指令，将控制指令通过无线网络传输装置传输到Wiser模块进行解析，并将解析后的控制指令发送到对应某个设备的C‑Bus控制模块，由该模块对设备进行相应的操作。本发明方法可以隔空操作，方式简单直接。

Description

基于Kinect的手势识别智能家居控制方法及系统

技术领域

本发明涉及一种智能家居控制系统及方法，尤其是一种基于Kinect的手势识别智能家居控制方法及系统，属于家居控制技术领域。

背景技术

智能家居是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活的设施集成，构成高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便捷性、舒适性、艺术性，并实现环保节能的居住环境。

网络通信技术作为智能家居控制系统的载体，其有效性、可扩展性和安全性是衡量其的重要指标。长期以来，不同的家居设备采用不同的控制方法，不同的设备之间无法解析其它设备的指令，所以各个设备只能实现各自的功能，无法组织起来提供更复杂的功能。施耐德公司的C-Bus是一个十分灵活的柔性控制系统，所有的输入和输出元件通过总线互联。每一个元件都可以按照需求进行编程以适应任何使用场合，其灵活的编程可在不改变任何硬件连线的情况下非常方便地调整控制程序。

智能家居的控制界面是面向用户的，其接口的便捷性和易用性直接影响用户体验。现有的用户控制界面包括机械开关、电脑控制、触摸屏控制等，都需要用户近距离操作设备，在控制设备离用户较远时，其便捷性大打折扣。

Kinect的出现弥补了用户需要近距离操作设备的缺陷，Kinect通过彩色摄像机和深度传感器识别和追踪人体的骨骼关节点，能够让用户无需接触控制设备便能方便地与设备交互；目前，Kinect已经在PC、游戏娱乐、广告等领域取得了巨大的成功，但在家居环境中的使用才刚刚起步，尚未形成高效便捷的使用方法。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供一种可以隔空操作，方式简单直接的基于Kinect的手势识别智能家居控制方法。

本发明的另一目的在于提供一种基于Kinect的手势识别智能家居控制方法的控制系统。

本发明的目的可以通过采取如下技术方案达到：

基于Kinect的手势识别智能家居控制方法，其特征在于包括以下步骤：

1)将Kinect摄像机安装在家居的客厅，平放于用户的正前方；

2)通过Kinect摄像机采集出现在其摄像头前面所有用户的骨架关节点信息数据，每个用户的骨架关节点信息数据包含20个骨架关节点的三维坐标信息数据；

3)利用数据处理装置对每个用户的骨架关节点信息数据进行筛选，得到实际操作用户的骨架关节点信息数据，并在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系；

4)将右手臂的可移动空间划分为不重叠的四个区域，根据右手掌与右肩的位置关系判断右手臂所处的区域，若此时左手掌抬起到与左肩、右肩近似平行的位置，则实际操作用户下达了与右手臂所处的区域对应的控制指令，将控制指令通过无线网络传输装置传输到Wiser模块；

5)Wiser模块对控制指令进行解析，并将解析后的控制指令发送到具体家居设备的C-Bus控制模块，由该C-Bus控制模块对家居设备进行相应的操作。

作为一种优选方案，步骤1)所述Kinect摄像机平放于用户的正前方1.2～3.5m处，平放高度为1.1m。

作为一种优选方案，步骤3)利用数据处理装置对每个用户的骨架关节点信息数据进行筛选，将满足以下两个条件的用户当作实际操作用户：

a)该用户的骨架关节点信息数据的有效关节点个数大于预先设定的阈值N_th；

b)在所有用户的骨架关节点信息数据中，该用户的骨架关节点信息数据拥有最多的有效关节点。

作为一种优选方案，所述有效关节点是指Kinect摄像机采集的原始骨架关节点信息数据中标定为准确值而非推断值的关节点。

作为一种优选方案，步骤3)所述Kinect三维空间的坐标系为：Z轴与Kinect摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向平行的方向为X轴，竖直平面为Y轴；所述在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系为：从实际操作用户的骨架关节点信息数据中取出左手掌、右手掌、左肩和右肩共四个点的三维坐标，其中右肩到右手掌关节点的矢量V与Z轴负方向的夹角定义为右手臂的张角为α，右肩到右手掌关节点的矢量V在X-Y平面上的投影射线与X轴正方向的夹角定义为右手臂的转角β，左肩到左手掌关节点的矢量U与左肩到右肩关节点的矢量W的夹角为左手臂的水平角γ。

作为一种优选方案，步骤4)所述四个区域的划分，如下：

首先为右手臂的张角为α取定一个阈值α_th，以及为右手臂的转角β取定四个范围B_β1、B_β2、B_β3和B_β4，区域1={α≥α_th，β∈B_β1}，区域2={α≥α_th，β∈B_β2}，区域3={α≥α_th，β∈B_β3}，区域4={α≥α_th，β∈B_β4}；

所述左手掌抬起到与左肩、右肩近似平行的位置判断方式如下：

为左手臂的水平角γ取定一个阈值γ_th，当γ≥γ_th时，判断为左手掌已抬起到与两肩部近似平行的位置。

作为一种优选方案，所述B_β1、B_β2、B_β3和B_β4的范围如下：

B_β1={x|2kπ+π/3≤x≤2kπ+2π/3，k为整数}；

B_β2={x|2kπ-π/6≤x≤2kπ+π/6，k为整数}；

B_β3={x|2kπ-4π/3≤x≤2kπ+5π/3，k为整数}；

B_β4={x|2kπ+5π/6≤x≤2kπ+7π/6，k为整数}。

作为一种优选方案，步骤3)所述的筛选过程是每10帧图像执行一次，而所述Kinect摄像机的摄像头帧率为30帧／秒。

本发明的另一目的可以通过采取如下技术方案达到：

基于Kinect的手势识别智能家居控制系统，其特征在于：包括手势识别装置和控制平台，所述手势识别装置包括依次相连的Kinect摄像机、数据处理装置和无线网络传输装置，所述数据处理装置通过无线网络传输装置与控制平台相连，其中：

所述Kinect摄像机，用于采集出现在其摄像头前面所有用户的骨架关节点信息数据；

所述数据处理装置，用于接收Kinect摄像机采集的骨架关节点信息数据并进行处理，识别出用户的手势，通过无线网络传输装置将手势所对应的控制指令传输到控制平台，同时将识别结果显示在屏幕上；

所述控制平台，用于对数据处理装置传输的控制指令进行解析，并根据解析后的控制指令对家居设备进行相应的操作。

作为一种优选方案，所述数据处理装置采用PC机；所述无线网络传输装置采用无线路由器；所述控制平台采用施耐德控制装置，包括Wiser模块和多个C-Bus控制模块，所述每个C-Bus控制模块都有与其对应的家居设备，所述Wiser模块用于对数据处理装置传输的控制指令进行解析，并将解析后的控制指令发送到对应具体家居设备的C-Bus控制模块，使C-Bus控制模块根据解析后的控制指令对家居设备进行相应的操作。

本发明相对于现有技术具有如下的有益效果：

1、本发明利用Kinect摄像机采集其摄像头前面所有用户的骨架关节点信息数据，并通过数据处理装置对这些数据进行处理，将控制指令发送到基于施耐德控制装置的控制平台，使得用户可以徒手远距离对家居设备进行有效控制，无需直接进行操作，方式简单直接，更加自然、便捷和高效。

2、本发明方法借助了Kinect对于人体骨架检测的高精度，同时采用一种手势识别算法筛选出实际用户的骨架关节点信息数据，并通过计算实际操作用户的手掌与肩部的位置关系得到相应的控制指令，具有计算简单、计算量少、准确度高、实时性好的优点，在实践中也取得了很好的效果。

3、本发明方法将基于Kinect的手势识别装置(与用户进行交互)与基于施耐德控制装置的控制平台分离开，当需要改变控制命令的时候，只需要对Kinect设定的控制命令进行修改，无需对C-Bus控制模块进行修改，实现了用户平面与控制平面的分离，有利于修改和扩展。

附图说明

图1为本发明的基于Kinect的手势识别智能家居控制系统结构原理框图。

图2为本发明的基于Kinect的手势识别智能家居控制方法的流程示意图。

图3为Kinect三维空间坐标系示意图。

图4为实际操作用户的右手臂的张角为α的示意图。

图5为实际操作用户的右手臂的转角β的示意图。

图6为实际操作用户的左手臂的水平角γ的示意图。

图7为手势识别区域的示意图。

图8为实际操作用户的左手掌与左肩、右肩的位置关系示意图。

具体实施方式

实施例1：

如图1所示，本发明的基于Kinect的手势识别智能家居控制系统包括手势识别装置和控制平台，所述手势识别装置包括依次相连的Kinect摄像机、数据处理装置和无线网络传输装置，所述数据处理装置通过无线网络传输装置与控制平台相连，所述数据处理装置采用PC机，所述无线网络传输装置采用无线路由器，所述控制平台采用施耐德控制装置，其中：

所述Kinect摄像机，用于采集出现在其摄像头前面所有用户的骨架关节点信息数据；

所述数据处理装置，用于接收Kinect摄像机采集的骨架关节点信息数据并进行处理，识别出用户的手势，通过无线网络传输装置将手势所对应的控制指令传输到控制平台，同时将识别结果显示在屏幕上；

所述控制平台，包括Wiser模块和多个C-Bus控制模块，所述每个C-Bus控制模块都有与其对应的家居设备(如图1中所示，五个C-Bus控制模块分别对应灯光、家庭影院、门窗、窗帘和中央空调)，所述Wiser模块用于对数据处理装置传输的控制指令进行解析，并将解析后的控制指令发送到具体家居设备的C-Bus控制模块，使C-Bus控制模块根据解析后的控制指令对家居设备进行相应的操作。

如图1和图2所示，基于Kinect的手势识别智能家居控制方法，包括以下步骤：

1)将Kinect摄像机安装在家居的客厅，平放于用户的正前方1.2～3.5m处，平放高度为1.1m；

2)通过Kinect摄像机采集出现在其摄像头前面所有用户的骨架关节点信息数据，每个用户的骨架关节点信息数据包含20个骨架关节点的三维坐标信息数据；

3)利用数据处理装置对每个用户的骨架关节点信息数据进行筛选，筛选过程是每10帧图像执行一次，而所述Kinect摄像机的摄像头帧率为30帧／秒，即每秒执行三次，将满足以下两个条件的用户当作实际操作用户：

a)该用户的骨架关节点信息数据的有效关节点个数大于预先设定的阈值N_th=15；

b)在所有用户的骨架关节点信息数据中，该用户的骨架关节点信息数据拥有最多的有效关节点；

所述有效关节点是指Kinect摄像机采集的原始骨架关节点信息数据中标定为准确值而非推断值的关节点；在用户的骨架关节点信息数据满足a)和b)的条件后，得到实际操作用户的骨架关节点信息数据，并在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系；

所述Kinect三维空间的坐标系为：Z轴与Kinect摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向平行的方向为X轴，竖直平面为Y轴；

所述在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系为：从实际操作用户的骨架关节点信息数据中取出左手掌、右手掌、左肩和右肩共四个点的三维坐标，其中右肩到右手掌关节点的矢量V与Z轴负方向的夹角定义为右手臂的张角为α，如图4所示；右肩到右手掌关节点的矢量V在X-Y平面上的投影射线与X轴正方向的夹角定义为右手臂的转角β，如图5所示；左肩到左手掌关节点的矢量U与左肩到右肩关节点的矢量W的夹角为左手臂的水平角γ，如图6所示；

4)如图7所示，将右手臂的可移动空间划分为不重叠的四个区域，根据右手掌与右肩的位置关系判断右手臂所处的区域；如图8所示，若此时左手掌抬起到与左肩、右肩近似平行的位置，则表示实际操作用户下达了与右手臂所处的区域对应的控制指令，本实施例以中央空调为例，其中区域1表示中央空调温度增加控制指令，区域2表示开启中央空调控制指令，区域4表示关闭中央空调控制指令，区域3表示中央空调温度降低控制指令；控制指令通过无线网络传输装置传输到施耐德控制装置的主控中心——Wiser模块；

所述四个区域的划分如下：

首先为右手臂的张角为α取定一个阈值α_th=π/4，以及为右手臂的转角β取定四个范围B_β1、B_β2、B_β3和B_β4，区域1={α≥α_th，β∈B_β1}，区域2={α≥α_th，β∈B_β2}，区域3={α≥α_th，β∈B_β3}，区域4={α≥α_th，β∈B_β4}；

所述B_β1、B_β2、B_β3和B_β4的范围如下：

B_β1={x|2kπ+π/3≤x≤2kπ+2π/3，k为整数}；

B_β2={x|2kπ-π／6≤x≤2kπ+π／6，k为整数}；

B_β3={x|2kπ-4π/3≤x≤2kπ+5π/3，k为整数}；

B_β4={x|2kπ+5π/6≤x≤2kπ+7π/6，k为整数}；

所述左手掌抬起到与左肩、右肩近似平行的位置的判断方式如下：

为左手臂的水平角γ取定一个阈值γ_th=5π／6，当γ≥γ_th时，判断为左手掌已抬起到与两肩部近似平行的位置；

5)Wiser模块对控制指令进行解析，并将解析后的控制指令发送到中央空调的C-Bus控制模块，由该C-Bus控制模块对中央空调进行相应的操作。

综上所述，本发明方法使得用户可以徒手远距离对家居设备进行有效控制，无需直接进行操作，方式简单直接，更加自然、便捷和高效。

以上所述，仅为本发明较佳的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都属于本发明的保护范围。

Claims (9)

1.基于Kinect的手势识别智能家居控制方法，其特征在于包括以下步骤：

1)将Kinect摄像机安装在家居的客厅，平放于用户的正前方；

2)通过Kinect摄像机采集出现在其摄像头前面所有用户的骨架关节点信息数据，每个用户的骨架关节点信息数据包含20个骨架关节点的三维坐标信息数据；

3)利用数据处理装置对每个用户的骨架关节点信息数据进行筛选，得到实际操作用户的骨架关节点信息数据，并在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系；其中，所述Kinect三维空间的坐标系为：Z轴与Kinect摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向平行的方向为X轴，竖直平面为Y轴；所述在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系为：从实际操作用户的骨架关节点信息数据中取出左手掌、右手掌、左肩和右肩共四个点的三维坐标，其中右肩到右手掌关节点的矢量V与Z轴负方向的夹角定义为右手臂的张角为α，右肩到右手掌关节点的矢量V在X-Y平面上的投影射线与X轴正方向的夹角定义为右手臂的转角β，左肩到左手掌关节点的矢量U与左肩到右肩关节点的矢量W的夹角为左手臂的水平角γ；

4)将右手臂的可移动空间划分为不重叠的四个区域，根据右手掌与右肩的位置关系判断右手臂所处的区域，若此时左手掌抬起到与左肩、右肩近似平行的位置，则实际操作用户下达了与右手臂所处的区域对应的控制指令，将控制指令通过无线网络传输装置传输到Wiser模块；

5)Wiser模块对控制指令进行解析，并将解析后的控制指令发送到具体家居设备的C-Bus控制模块，由该C-Bus控制模块对家居设备进行相应的操作。

2.根据权利要求1所述的基于Kinect的手势识别智能家居控制方法，其特征在于：步骤1)所述Kinect摄像机平放于用户的正前方1.2～3.5m处，平放高度为1.1m。

3.根据权利要求1所述的基于Kinect的手势识别智能家居控制方法，其特征在于：步骤3)利用数据处理装置对每个用户的骨架关节点信息数据进行筛选，将满足以下两个条件的用户当作实际操作用户：

a)该用户的骨架关节点信息数据的有效关节点个数大于预先设定的阈值N_th；

b)在所有用户的骨架关节点信息数据中，该用户的骨架关节点信息数据拥有最多的有效关节点。

4.根据权利要求3所述的基于Kinect的手势识别智能家居控制方法，其特征在于：所述有效关节点是指Kinect摄像机采集的原始骨架关节点信息数据中标定为准确值而非推断值的关节点。

5.根据权利要求1所述的基于Kinect的手势识别智能家居控制方法，其特征在于：步骤4)所述四个区域的划分，如下：

首先为右手臂的张角为α取定一个阈值α_th，以及为右手臂的转角β取定四个范围B_β1、B_β2、B_β3和B_β4，区域1＝{α≥α_th，β∈B_β1}，区域2＝{α≥α_th，β∈B_β2}，区域3＝{α≥α_th，β∈B_β3}，区域4＝{α≥α_th，β∈B_β4}；

所述左手掌抬起到与左肩、右肩近似平行的位置判断方式如下：

为左手臂的水平角γ取定一个阈值γ_th，当γ≥γ_th时，判断为左手掌已抬起到与两肩部近似平行的位置。

6.根据权利要求5所述的基于Kinect的手势识别智能家居控制方法，其特征在于：所述B_β1、B_β2、B_β3和B_β4的范围如下：

B_β1＝{x|2kπ+π/3≤x≤2kπ+2π/3，k为整数}；

B_β2＝{x|2kπ-π/6≤x≤2kπ+π/6，k为整数}；

B_β3＝{x|2kπ-4π/3≤x≤2kπ+5π/3，k为整数}；

B_β4＝{x|2kπ+5π/6≤x≤2kπ+7π/6，k为整数}。

7.根据权利要求1-6任一项所述的基于Kinect的手势识别智能家居控制方法，其特征在于：步骤3)所述的筛选过程是每10帧图像执行一次，而所述Kinect摄像机的摄像头帧率为30帧/秒。

8.基于Kinect的手势识别智能家居控制系统，其特征在于：包括手势识别装置和控制平台，所述手势识别装置包括依次相连的Kinect摄像机、数据处理装置和无线网络传输装置，所述数据处理装置通过无线网络传输装置与控制平台相连，其中：

所述Kinect摄像机，用于采集出现在其摄像头前面所有用户的骨架关节点信息数据；

所述数据处理装置，用于接收Kinect摄像机采集的骨架关节点信息数据并进行处理，识别出用户的手势，通过无线网络传输装置将手势所对应的控制指令传输到控制平台，同时将识别结果显示在屏幕上；

所述控制平台，用于对数据处理装置传输的控制指令进行解析，并根据解析后的控制指令对家居设备进行相应的操作；

数据处理装置对每个用户的骨架关节点信息数据进行筛选，得到实际操作用户的骨架关节点信息数据，并在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系；其中，所述Kinect三维空间的坐标系为：Z轴与Kinect摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向平行的方向为X轴，竖直平面为Y轴；所述在Kinect三维空间中计算该实际操作用户的手掌与肩部的位置关系为：从实际操作用户的骨架关节点信息数据中取出左手掌、右手掌、左肩和右肩共四个点的三维坐标，其中右肩到右手掌关节点的矢量V与Z轴负方向的夹角定义为右手臂的张角为α，右肩到右手掌关节点的矢量V在X-Y平面上的投影射线与X轴正方向的夹角定义为右手臂的转角β，左肩到左手掌关节点的矢量U与左肩到右肩关节点的矢量W的夹角为左手臂的水平角γ。

9.根据权利要求8所述的基于Kinect的手势识别智能家居控制系统，其特征在于：所述数据处理装置采用PC机；所述无线网络传输装置采用无线路由器；所述控制平台采用施耐德控制装置，包括Wiser模块和多个C-Bus控制模块，所述每个C-Bus控制模块都有与其对应的家居设备，所述Wiser模块用于对数据处理装置传输的控制指令进行解析，并将解析后的控制指令发送到对应具体家居设备的C-Bus控制模块，使C-Bus控制模块根据解析后的控制指令对家居设备进行相应的操作。