CN113468986A - 一种基于手势识别的空调控制方法及系统 - Google Patents

Abstract

本发明公开一种基于手势识别的空调控制方法及系统，所述方法包括：建立空调控制指令与手势动作的对应关系表；采集不同手势动作原始图像并进行图像预处理；对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。本发明通过熵权法改进了KNN算法中的欧式距离，借鉴了手势动作轮廓的特征量在不同维度的所表达的特征差异对手势识别的影响，提高了手势识别过程的可靠性。

Description

一种基于手势识别的空调控制方法及系统

技术领域

本发明属于空调控制技术领域，具体涉及一种基于手势识别的空调控制方法及系统。

背景技术

传统的空调控制方法以控制面板按键控制或红外遥控器控制为主，存在一定的不便和局限。随着技术的发展，手势识别等方法逐步应用到空调控制及智能家居等领域。现有的手势识别方法中，主要是基于数据手套和基于视觉的方法。

基于数据手套的手势识别使用数据手套采集手部的原始运动数据，对这些数据进行处理后用于手势的识别，利用超手套，通过卷积神经网络-长短时记忆(CNN-LSTM)像学习算法来提取手势，结合相位和频率特性提高手势识别准确率。这类手势识别方法的优点在于识别准确率高，但不足之处在于需要大量传感器辅助。

基于视觉的手势识别有利用Kinect深度摄像机采集手势动作的深度图像，利用空间信息技术进行手势的识别等。优点在于加大了可识别的范围，可以进行手臂、躯干乃至整个身体的动作识别。但Kinect深度摄像机的功耗较高，目前仅用于研究领域，难以拓展到工程领域进行实物的开发。目前的手势识别模型过多依赖于模型训练，未考虑数据本身的特征。

发明内容

有鉴于此，本发明提出了一种基于手势识别的空调控制方法及系统、设备、存储介质，用于解决手势识别中忽略手势特征与不同维度的手势数据之间的关联的问题。

本发明第一方面，公开一种基于手势识别的空调控制方法，所述方法包括：

建立空调控制指令与手势动作的对应关系表；

采集不同手势动作原始图像并进行图像预处理；

对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；

将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

优选的，所述对预处理后的图像提取手势轮廓图像，具体包括：

将RGB图像转换到肤色YC_bC_r颜色空间中；

依据YC_bC_r颜色空间的肤色检测理论，在以C_b，C_r为横纵坐标的二维空间中，通过判断任一像素点是否属于肤色分布的椭圆区域，确定人体肤色区域；

分割出手势动作所在的区域，寻找手势动作区域的边界并去除无关信息。进行二值化处理后得到手势轮廓图像。

优选的，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量具体包括：

对手势轮廓图像建立坐标系，将组成手势轮廓边缘的每个点转换成复数形式。在手势轮廓图像上任取一点并使其沿着手势轮廓边缘运动，用一维复数方程表示其运动过程中的轨迹：

式中，x(t)、y(t)分别为该点运动过程中的横纵坐标，对

进行傅里叶级数展开：

式中α_k是展开式的系数，取展开式的前n个系数作为手势动作轮廓的特征量。

优选的，所述训练熵权法改进的KNN模型具体包括：

设训练样本特征向量为x_p＝(x_p1,x_p2,...,x_pn)^T，测试样本特征向量为x_q＝(x_q1,x_q2,...,x_qn)^T；

采用熵权法提取手势特征向量本身的特征，为手势特征不同维度的数据赋予合适的权重；

选定KNN模型的K值，根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离，构成一个距离集合Q：

Q＝{d|d₁,d₂,...,d_m}

其中m>K，从距离集合中选择最小的K个值，统计它们各自对应的K个训练样本的分类标签，将出现频率最高的分类标签赋给测试样本，完成测试样本的分类，实现手势动作的识别。

优选的，所述采用熵权法提取手势特征向量本身的特征，为手势特征不同维度的数据赋予合适的权重具体包括：

将一个多维手势特征向量视作一组数据，E_i表示特征向量不同维度的信息熵：

其中n为数据的维度数，p_i为某个维度上数据的变异程度，得到特征向量各个维度的权重为：

根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离的计算公式如下：

式中，d为两个样本之间的欧式距离，x_pi与x_qi分别是特征向量x_p与x_q的第i个维度的数值。

优选的，所述方法还包括：

通过对应关系表查找与待识别手势动作对应的空调控制指令，实现对空调运行状态的控制。

本发明第二方面，公开一种基于手势识别的空调控制系统，所述系统包括：

建立空调控制指令与手势动作的对应关系表；

采集不同手势动作原始图像并进行图像预处理；

对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；

将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

本发明第三方面，公开一种移动终端，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。

本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。

本发明相对于现有技术具有以下有益效果：

1)本发明通过摄像头采集手势动作原始图像，利用傅里叶描述子来描述手势轮廓图像的边界形状，训练了熵权法改进的KNN手势识别模型并应用于空调控制领域，相较于SVM等手势识别方式，提高了识别的准确性，依据手势识别结果，匹配对应的空调控制命令，实现对空调的手势控制；

2)本发明通过熵权法改进了KNN算法中的欧式距离，借鉴了手势动作轮廓的特征量在不同维度的所表达的特征差异对手势识别的影响，通过改变不同维度数据在计算过程中的权重，优化了数据间距离的计算，提高了手势识别过程的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于手势识别的空调控制方法流程图；

图2为本发明手势动作1到10对应的手势图；

图3为本发明手势2和3的手势轮廓图像；

图4为本发明训练和测试熵权法改进的KNN模型的示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，本发明公开一种基于手势识别的空调控制方法，通过摄像头采集用户手势动作图像，然后利用处理芯片进行图像预处理、手势轮廓提取、特征量计算等处理。再然后利用手势识别模型进行识别。最后根据手势识别结果，通过空调控制电路对空调的工作进行控制。

所述基于手势识别的空调控制方法包括如下步骤：

S1、建立空调控制指令与手势动作的对应关系表；

空调使用中的常用指令包括开机、关机、升温、降温等10个指令，对应1至10这十个手势动作。空调控制指令与手势动作对应关系如表1所示。

表1空调控制指令与手势动作对应关系

手势动作1到10对应的手势如图2所示。

S2、采集不同手势动作原始图像并进行图像预处理；

具体可采用双边滤波器进行图像预处理，其计算原理如下所示：

式中：g(x,y)为滤波后图像g在位置(x,y)处的像素值，I(i,j)为滤波前图像I在位置(i,j)上的像素值，ω_s(i,j)为空间域权值，ω_r(i,j)为灰度域权值，ω_P为归一化参数，Ω为像素(x,y)处的邻域范围。

S3、对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；步骤S3具体包括如下步骤：

S31、将RGB图像转换到肤色YC_bC_r颜色空间中，以消除亮度对识别结果的影响。RGB图像到YC_bC_r颜色空间的转换公式为：

式中，Y代表亮度，C_b代表光源中的蓝色分量，C_r代表光源中的红色分量。

依据YC_bC_r颜色空间的肤色检测理论，在以C_b，C_r为横纵坐标的二维空间中，通过判断任一像素点是否属于肤色分布的椭圆区域，确定人体肤色区域；分割出手势动作所在的区域，寻找手势动作区域的边界并去除无关信息。进行二值化处理后得到手势轮廓图像，图3为手势2和3的手势轮廓图像。

S32、计算手势轮廓图像的傅里叶描述子特征。

对手势轮廓图像建立坐标系，将组成手势轮廓边缘的每个点转换成复数形式。在手势轮廓图像上任取一点并使其沿着手势轮廓边缘运动，用一维复数方程表示其运动过程中的轨迹：

式中，x(t)、y(t)分别为该点运动过程中的横纵坐标，对公式(3)进行傅里叶级数展开：

式中α_k是展开式的系数，也称为傅里叶描述子，与手势轮廓图像的边界形状直接相关，其低次决定图像全局的形状，高次描述轨迹的细节特征。取展开式的前n个系数作为手势动作轮廓的特征量，构成n维实数特征向量，储存在txt文本文件中，用于训练KNN模型。

S4、将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

采集手势动作，获取手势动作图像共1000张，按照8:2的比例随机划分为训练集与测试集，利用这些手势动作图像进行模型的训练及测试。

请参阅图4，训练和测试熵权法改进的KNN模型具体包括：

S41、采用熵权法提取手势特征向量本身的特征，为手势特征不同维度的数据赋予合适的权重；

设训练样本特征向量为x_p＝(x_p1,x_p2,...,x_pn)^T，测试样本特征向量为x_q＝(x_q1,x_q2,...,x_qn)^T；

传统的欧式距离计算方法对特征向量各个维度的数据赋予相同的权重，忽略了傅里叶描述子本身的数据特征。本文通过对傅里叶描述子的原理分析和对实验过程中的数据分析，发现手势特征向量中的数据与该数据所处的维度有关，即手势特征向量的数据特征与维度有一定的关系。故采用熵权法提取数据本身的特征，为手势特征不同维度的数据赋予合适的权重，对欧式距离计算方法进行改良。

根据熵权法的基本思想，某个指标的信息熵越小，表明指标值变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。

将一个多维手势特征向量视作一组数据，E_i表示特征向量不同维度的信息熵：

其中n为数据的维度数，p_i为某个维度上数据的变异程度，得到特征向量各个维度的权重为：

其具体数值如下表2所示：

表2熵权法权重汇总

根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离的计算公式如下：

式中，d为两个样本之间的欧式距离，x_pi与x_qi分别是特征向量x_p与x_q的第i个维度的数值。

本发明改进后的欧式距离方法借鉴了数据本身的特征，通过改变不同维度数据在计算过程中的权重，优化了数据间距离的计算，提高了手势识别过程的可靠性。

S42、选定KNN模型的K值，根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离，构成一个距离集合Q：

Q＝{d|d₁,d₂,...,d_m} (8)

其中m>K，从距离集合中选择最小的K个值，统计它们各自对应的K个训练样本的分类标签，将出现频率最高的分类标签赋给测试样本，完成测试样本的分类，实现手势动作的识别。K值的选取会对实验的结果产生一定的影响。K值过小会导致分类过程受异常值影响较大，导致分类出错；K值过大，会增加划分错误的可能，并且导致计算量呈指数形式增长。经过仿真测试，本发明中确定K的取值以20为宜。

S5、通过对应关系表查找与待识别手势动作对应的空调控制指令，实现对空调运行状态的控制。

利用现有的空调控制原理搭建空调控制电路，将KNN手势识别模型的识别结果作为该控制电路的输入，以实际的空调作为控制电路的作用对象，完成对空调的控制作用。

与所述方法实施例相对应，本发明还提出一种基于手势识别的空调控制系统，所述系统包括：

对应关系模块：用于建立空调控制指令与手势动作的对应关系表；

预处理模块：用于采集不同手势动作原始图像并进行图像预处理；

特征提取模块：用于对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；

手势识别模块：用于将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于手势识别的空调控制方法，其特征在于，所述方法包括：

建立空调控制指令与手势动作的对应关系表；

采集不同手势动作原始图像并进行图像预处理；

对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；

将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

2.根据权利要求1所述基于手势识别的空调控制方法，其特征在于，所述对预处理后的图像提取手势轮廓图像，具体包括：

将RGB图像转换到肤色YC_bC_r颜色空间中；

依据YC_bC_r颜色空间的肤色检测理论，在以C_b，C_r为横纵坐标的二维空间中，通过判断任一像素点是否属于肤色分布的椭圆区域，确定人体肤色区域；

分割出手势动作所在的区域，寻找手势动作区域的边界并去除无关信息。进行二值化处理后得到手势轮廓图像。

3.根据权利要求2所述基于手势识别的空调控制方法，其特征在于，所述计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量具体包括：

对手势轮廓图像建立坐标系，将组成手势轮廓边缘的每个点转换成复数形式。在手势轮廓图像上任取一点并使其沿着手势轮廓边缘运动，用一维复数方程表示其运动过程中的轨迹

式中，x(t)、y(t)分别为该点运动过程中的横纵坐标，对

进行傅里叶级数展开：

式中α_k是展开式的系数，取展开式的前n个系数作为手势动作轮廓的特征量。

4.根据权利要求1所述基于手势识别的空调控制方法，其特征在于，所述训练熵权法改进的KNN模型具体包括：

设训练样本特征向量为x_p＝(x_p1,x_p2,...,x_pn)^T，测试样本特征向量为x_q＝(x_q1,x_q2,...,x_qn)^T；

采用熵权法提取手势特征向量本身的特征，为手势特征不同维度的数据赋予合适的权重；

选定KNN模型的K值，根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离，构成一个距离集合Q：

Q＝{d|d₁,d₂,...,d_m}

其中m>K，从距离集合中选择最小的K个值，统计它们各自对应的K个训练样本的分类标签，将出现频率最高的分类标签赋给测试样本，完成测试样本的分类，实现手势动作的识别。

5.根据权利要求4所述基于手势识别的空调控制方法，其特征在于，所述采用熵权法提取手势特征向量本身的特征，为手势特征不同维度的数据赋予合适的权重具体包括：

将一个多维手势特征向量视作一组数据，E_i表示特征向量不同维度的信息熵：

其中n为数据的维度数，p_i为某个维度上数据的变异程度，得到特征向量各个维度的权重为：

根据所述权重计算某一个测试样本与m个训练样本之间的欧式距离的计算公式如下：

式中，d为两个样本之间的欧式距离，x_pi与x_qi分别是特征向量x_p与x_q的第i个维度的数值。

6.根据权利要求4所述基于手势识别的空调控制方法，其特征在于，所述方法还包括：

通过对应关系表查找与待识别手势动作对应的空调控制指令，实现对空调运行状态的控制。

7.一种基于手势识别的空调控制系统，其特征在于，所述系统包括：

对应关系模块：用于建立空调控制指令与手势动作的对应关系表；

预处理模块：用于采集不同手势动作原始图像并进行图像预处理；

特征提取模块：用于对预处理后的图像提取手势轮廓图像，计算手势轮廓图像的傅里叶描述子特征作为手势动作轮廓的特征量；

手势识别模块：用于将不同手势动作的手势动作轮廓的特征量作为训练样本，训练熵权法改进的KNN模型，通过熵权法改进的KNN模型识别待识别手势动作。

8.一种移动终端，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1～6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现权利要求1～6任一项所述的方法。

Images