CN109451634B - 基于手势控制电灯的方法及其智能电灯系统 - Google Patents

Abstract

本发明公开了一种基于手势控制电灯的方法及其智能电灯系统，该方法是通过摄像头获得手部图像；通过YCr’Cb’椭圆模型以及K‑means均值聚类法将由该手部图像进行手势分割，获得手势分割图，并提取手势轮廓，根据手势轮廓图获得手势图像特征；最后，通过对手势特征与数据库中的初始特征进行对比，分析识别出对应的手势；而后，根据识别出的手势信息，将特定手势设定的电灯控制信号输出到外设的智能电灯上，并对智能电灯进行控制。本发明相对于现有其它手势识别的识别率更高、且更准确。本发明还公开了一种基于手势控制电灯的智能电灯系统及其控制方法。

Description

基于手势控制电灯的方法及其智能电灯系统

技术领域

本发明涉及智能电灯控制的技术领域，尤指一种基于手势控制电灯的方法及其智能电灯系统。

背景技术

随着越来越发达的科技与智能化设备在现代运用中的普及，对于人机的交互方法也是越来越多样化了。对于传统的人机交互，比如手机、按键等等，其主要方式都是人适应机器，在预设的情况下，人们做出相应的动作去控制机器，而随着科技的不断进步，我们可以做到让机器认识了解到我们的交流手段，让机器适应人，而非人适应机器。手势交流就是人们日常交流的一种手段，通过手势来控制智能电灯便是现代科技发展的一样产物，它使得电灯的亮灭更便捷更简单。

经过检索，典型的手势控制电灯的方式通常有如下几类：

CN205845315U公开了“一种通过3D手势控制的交通信号灯”，该专利案采用的3D手势感应采集为电容式，一般只能识别简单的手势，并不能适应较为复杂的电灯控制。

CN106851937A公开了“一种手势控制台灯的方法及装置”，该专利申请是通过对手势图像进行灰度处理，之后对灰度图进行至少一次卷积处理，获取手势特征数据，再计算该手势特征数据与预先建立的手势数据库中的每个手势特征数据之间的欧氏距离，根据该欧氏距离确定匹配结果确定对应的控制信号对台灯进行控制。该案件采用简单的图像处理方案，虽然存储量及处理量较小，但识别率较低。

CN201310482654.8公开了“一种融合人脸和手势的智能终端人机交互方法”，该方法的创新点在于融合了人脸和手势两种视觉识别技术。而针对于手势检测与识别是通过进行手部肤色和背景建模，利用肤色分割和背景减除方法进行手势检测，并对检测到的手势图像利用梯度方向直方图方法描述其特征，同时结合主元分析方法构建其特征子空间，然后采用在线机器学习方法检测到的手势图像进行分类。该案件的优点是包括人脸的识别，但也正因为加入人脸识别，因此考虑的因素更多，识别率没有那么准确。其对手势的识别是通过利用梯度方向直方图描述手势特征，同样具有识别率不高的问题。

发明内容

本发明所要解决的技术问题在于提供一种可提高识别率的基于手势控制电灯的方法及其智能电灯系统。

为解决上述技术问题，本发明的技术解决方案是：

一种基于手势控制电灯的方法，通过摄像头获得手部图像；通过YCr’Cb’椭圆模型以及K-means均值聚类法将由该手部图像进行手势分割，获得手势分割图，并提取手势轮廓，根据手势轮廓图获得手势图像特征；最后，通过对手势特征与数据库中的初始特征进行对比，分析识别出对应的手势；而后，根据识别出的手势信息，将特定手势设定的电灯控制信号输出到外设的智能电灯上，并对智能电灯进行控制。

优选地，所述手势轮廓图的具体提取方法为：首先将经过滤波处理的RGB手部图像由RGB色度空间转换为YCrCb色度空间；而后通过非线性方程Y、Cr、Cb与Cr’、Cb’的关系将YCrCb模型转换为YCr’Cb’椭圆模型；然后根据YCr’Cb’椭圆模型进行手部的肤色检测，得到肤色检测图；再对检测结果进行二值化处理；之后通过K-means类聚法对肤色的面积与深度进行类聚；最后根据面积与深度去除非手势部分，得到手势轮廓图。

优选地，所述的手势特征通过以下手势特征值g进行表达：

g＝G(x₁,x₂,t₁,…t_n,p₁,…,p_n-1,h₁,…,h_n)

该式中，x₁表示一个手掌指尖的数量，x₂则表示合并手指的数量，t为各指尖到手掌中心点与手掌本身长度的比，p则代表两相邻手指的指尖到手掌中心点连线的夹角，n为正整数，h是Hu不变矩；且该式中各参数需满足下式：

优选地，所述的手势特征通过如下手势特征参数进行表达：手掌指尖的数量x₁、合并手指的数量x₂、各指尖到手掌中心点与手掌本身长度的比t_i、两相邻手指的指尖到手掌中心点连线的夹角p_j；且各参数需满足下式，下式中的n为正整数：

一种基于手势控制电灯的智能电灯系统，包括视频输入设备、人机交互平台、控制器及智能灯；该视频输入设备用于采集手势图像；该人机交互平台通过手势分割确定手势特征值，将手势信息转化成对机器的控制指令；该控制器将远程客户端发出的一系列指令对智能灯进行控制；该智能灯则执行相应的控制指令。

所述基于手势控制电灯的智能电灯系统的控制方法，包括如下步骤：

S010、初始化：系统在启动之前，要先做初始化；

S020、获取图像：通过摄像头来获取手部图像，之后对获取的手部图像进行滤波处理；若未获取到图像，则系统报错不显示图像，并重新开始；

S030、手势分割：首先将经过滤波处理的RGB手部图像由RGB色度空间转换为YCrCb色度空间；而后通过非线性方程Y、Cr、Cb与Cr’、Cb’的关系将YCrCb模型转换为YCr’Cb’椭圆模型；然后根据YCr’Cb’椭圆模型进行手部的肤色检测，所得的肤色检测图即为分割图；再对检测结果进行二值化处理；之后通过K-means类聚法对肤色的面积与深度进行类聚；最后根据面积与深度去除非手势部分，从而得到手势轮廓图；

S040、手势特征提取：根据步骤S030获得的手势轮廓提取手势的特征；

S050、手势识别：将步骤S040提取的手势特征值与数据库中所有手势的初始特征进行对比，如果满足阈值，则判定为该手势；

S060、根据识别结果对电灯进行控制：根据步骤S050识别手势，匹配数据库中对应的电灯控制信号，对电灯进行控制。

优选地，所述步骤S040及步骤S050的手势特征为如下手势特征值g等式：

g＝G(x₁,x₂,t₁,…t_n,p₁,…,p_n-1,h₁,…,h_n)

该式中，x₁表示一个手掌指尖的数量，x₂则表示合并手指的数量，t为各指尖到手掌中心点与手掌本身长度的比，p则代表两相邻手指的指尖到手掌中心点连线的夹角，n为正整数，h是Hu不变矩；且该式中各参数需满足下式：

优选地，所述步骤S040及步骤S050的手势特征为如下手势特征参数：手掌指尖的数量x₁、合并手指的数量x₂、各指尖到手掌中心点与手掌本身长度的比t_i、两相邻手指的指尖到手掌中心点连线的夹角p_j；且各参数需满足下式，下式中的n为正整数：

优选地，在进行所述的手势分割步骤前，先进行S025、模式选择步骤：操作界面出现手势识别和手势训练两种模式，由使用者进行选择，当选择手势识别时，进入步骤S030；当选择手势训练时则进入步骤S055；

S055、手势训练：采用上述步骤S020、S030及S040，得到自定义手势的特征，做为该手势的初始特征，之后将该手势与某一电灯控制信号进行匹配；

S056、数据存储：将步骤S055手势训练所得数据存储到数据库。

优选地，所述步骤S056、数据存储：将每次使用时获得手势特征数据进行存储。

采用上述方案后，本发明通过YCr’Cb’椭圆模型以及K-means均值聚类法相结合的算法获取手势轮廓，对肤色、光照的干扰比较小，能够较好的保留手势的细节，因此可以提高手势的识别率。此外，本发明包括的手势特征值提取，及手势的训练与数据的存储，使得本申请方法相对于现有其它手势识别的识别率更高、且更准确；而且相对来说背景的影响也会比较小一些。

附图说明

图1是本发明所述方法的整体流程图；

图2是本发明所述方法通过K-means聚类算法对RGB色度空间中的手势分割流程图；

图3是本发明所述方法中YCr’Cb’椭圆模型与HSV肤色阈值分割对比图；

图4是本发明手势训练及手势特征匹配流程图；

图5是本发明所述智能电灯系统的系统框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详述。

本发明所揭示的是一种基于手势控制电灯的方法，通过摄像头获得手部图像，通过YCr’Cb’椭圆模型以及K-means均值聚类法将由该手部图像进行手势分割，获得手势分割图，并提取手势轮廓，从手势轮廓图获得手势部分应有的图像特征。最后，通过对手势特征与数据库中的初始特征进行对比，分析识别出对应的手势。而后，根据识别出的手势信息，将特定手势设定的电灯控制信号输出到外设的智能电灯上，并对智能电灯进行控制。

本发明还提示了一种基于手势控制的智能电灯系统，如图5所示，所述智能电灯系统包括视频输入设备、人机交互平台、控制器及智能灯。该视频输入设备可以为RGB摄像头，主要用于负责采集手势图像；该人机交互平台通过手势分割确定手势特征值，将手势信息转化成对机器的控制指令；该控制器将远程客户端发出的一系列指令对智能灯进行控制；智能灯则执行相应的控制指令，例如亮灭等。通过该系统，可以将智能灯根据手势指令来进行相应的亮灭等控制，实现基于视觉的智能灯远程控制，完成基于手势识别的人机交互。

如图1所示，所述智能电灯系统的具体控制方法主要包括如下步骤：

S010、初始化。

系统在启动之前，要先做初始化，让系统从头开始，不至于停留在上次步骤。

S020、获取图像。

通过摄像头来获取手部图像，并可显示到操作屏上，之后对获取的手部图像进行滤波处理；若未获取到图像，则系统报错不显示图像，并重新开始。

S025、模式选择。

系统可以事先设定何种手势对应对电灯的何种控制功能，此时该步骤可以省略。系统也可以根据客户要求自行定义手势的控制功能，此时就需要先进行手势训练；具有该功能时，需要给系统设定此步骤，操作界面出现手势识别和手势训练两种模式，由使用者进行选择，当选择手势识别时，进入步骤S030；当选择手势训练时则进入步骤S055。

S030、手势分割。

对步骤S020滤波后的手部图像中的手势通过分割算法进行分割，之后可以在操作屏上显示手势分割图，再进行处理得到手势轮廓，并可将手势轮廓图显示在操作屏上。

本发明通过YCr’Cb’椭圆模型以及K-means均值聚类法将由摄像头摄取到的RGB图像进行手势分割，进而完成对手势轮廓的提取。

具体步骤如图2所示，首先将经过滤波处理的RGB手部图像由RGB色度空间转换为YCrCb色度空间；而后通过非线性方程Y、Cr、Cb与Cr’、Cb’的关系将YCrCb模型转换为YCr’Cb’椭圆模型；然后根据YCr’Cb’椭圆模型进行手部的肤色检测，所得的肤色检测图即为分割图；再对检测结果进行二值化处理；之后通过K-means类聚法对肤色的面积与深度进行类聚；最后根据面积与深度去除非手势部分，从而得到手势轮廓图。

图3为利用HSV分割图与本申请YCr’Cb’椭圆模型的手势进行分割的对比图。从该图不难得出使用HSV肤色阈值而得到的轮廓图像更容易包含干扰信息，而使用YCr’Cb’椭圆模型得到的轮廓图干扰部分几乎看不出来，对于手势的特征也有很大程度的保留，不会出现断续等现象。

通过对实验结果的比对，得出了如下结论：

表1不同分割方法的特性对比表

从上表中可以看出，本申请在现有算法的基础上，通过优化这些算法并且结合K-means聚类算法，可以看出这种算法对肤色、光照的干扰比较小，而且能够较好的保留手势的细节。

S040、手势特征提取。

根据步骤S030获得的手势轮廓提取手势的特征，根据不同的手势识别算法，手势特征的提取也将不同。

对于手势来讲，很明显的特征就是它的手指与手掌了。手指细长，手掌粗大，并且两者相连。因此，本发明在进行手势的训练与识别时，可以将手势分为手掌部分与手指部分，并可设定如下手势特征参数：手掌指尖的数量x₁、合并手指的数量x₂、各指尖到手掌中心点与手掌本身长度的比t_i、两相邻手指的指尖到手掌中心点连线的夹角p_j等。

基于这个特征，本发明提出了一种便于理解的手势模型等式：

g＝G(x₁,x₂,t₁,…t_n,p₁,…,p_n-1,h₁,…,h_n) 式1

该等式就是本发明所述的手势特征值，该式中，x₁表示一个手掌指尖的数量，x₂则表示合并手指的数量，t为各指尖到手掌中心点与手掌本身长度的比，p则代表两相邻手指的指尖到手掌中心点连线的夹角，n为正整数。h是Hu不变矩，该不变矩，是在1962年由Hu.M.K构造的的七个矩的不变量，这里不再过多解释。

上述特征参数都应满足式2：

该式中各参数与式1相同。

该手势模型具有很强的鲁棒性，对手势的旋转缩放等图像的处理不会出现太大偏差；而且该模型描述的手势较为全面，不会出现大面积的手部信息丢失的情况，手势特征数据(即手势特征值等式中的各参数)包括手指之间的夹角、手指的个数以及指尖到手掌中心与手掌长度的比例等数据信息，这些信息足以用于之后对手势的描述。

S050、手势识别。

根据步骤S040提取的手势特征值对手势进行识别，即将步骤S040提取的手势特征值与数据库中所有手势的初始特征值进行对比，如果满足阈值，则判定为该手势，具体流程如图4。也可以不设置手势特征值等式，直接通过对比手势特征参数，如果所有特征参数都满足阈值，则判定为该手势。

本发明以三种手势为例，表2为手势检测识别率。

从表中，我们不难看出不同手势具有不同的识别率，有的识别度高，有的识别度低，这是由于实验分别在不同的时间点完成的，因此光照与背景对其有一定的影响。而且，处于握拳与五指张开之间的剪刀姿势在距离与其他因素的影响下会识别失误。虽然在实验时有这些外界因素的影响，但总体来说，识别率都比较高，可以将识别出的数据投入到下一步对智能灯组的控制中。

S055、手势训练。

对于客户自定义何种手势匹配何种电灯控制信号时，可以先进行手势训练，即采用上述步骤S020、S030及S040，得到自定义手势的特征(包括手势特征值或者手势特征参数)，做为该手势的初始特征，之后将该手势与某一电灯控制信号进行匹配。

S056、数据存储。

将步骤S055手势训练所得数据存储到数据库，以便使用时进行调用。也可以将每次使用时获得手势特征，包括手势特征值g和手势特征值的各参数如指尖个数、指间夹角以及指尖到掌心与掌宽比这些数据进行存储，以便修正数据。

例如，通过上述手势分割步骤，可以得到了手势分割后的轮廓图片，之后通过聚类，将存储在数据库中大量的手势特征值数据进行了划分，可以得出每种手势的阈值，用于手势识别。

S060、根据识别结果对电灯进行控制。

根据步骤S050识别手势，匹配数据库中对应的电灯控制信号，对电灯进行控制。例如将手势分为三种，分别是石头、剪刀、布，其各自代表智能灯组全灭、亮部分电灯与全亮。本发明对具体手势形式、数量以及对电灯的控制方式不做限制。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。

Claims (8)

1.一种基于手势控制电灯的方法，其特征在于：通过摄像头获得手部图像；通过YCr’Cb’椭圆模型以及K-means均值聚类法将该手部图像进行手势分割，获得手势分割图，并提取手势轮廓，根据手势轮廓图获得手势图像特征；最后，通过对手势特征与数据库中的初始特征进行对比，分析识别出对应的手势；而后，根据识别出的手势信息，将特定手势设定的电灯控制信号输出到外设的智能电灯上，并对智能电灯进行控制；所述手势轮廓图的具体提取方法为：首先将经过滤波处理的RGB手部图像由RGB色度空间转换为YCrCb色度空间；而后通过非线性方程Y、Cr、Cb与Cr’、Cb’的关系将YCrCb模型转换为YCr’Cb’椭圆模型；然后根据YCr’Cb’椭圆模型进行手部的肤色检测，得到肤色检测图；再对检测结果进行二值化处理；之后通过K-means类聚法对肤色的面积与深度进行类聚；最后根据面积与深度去除非手势部分，得到手势轮廓图。

2.根据权利要求1所述的基于手势控制电灯的方法，其特征在于所述的手势特征通过以下手势特征值g进行表达：

g＝G(x₁,x₂,t₁,…t_n,p₁,…,p_n-1,h₁,…,h_n)

该式中，x₁表示一个手掌指尖的数量，x₂则表示合并手指的数量，t_i 为各指尖到手掌中心点与手掌本身长度的比，p_j 则代表两相邻手指的指尖到手掌中心点连线的夹角，n为正整数，h是Hu不变矩；且该式中各参数需满足下式：

3.根据权利要求1所述的基于手势控制电灯的方法，其特征在于所述的手势特征通过如下手势特征参数进行表达：手掌指尖的数量x₁、合并手指的数量x₂、各指尖到手掌中心点与手掌本身长度的比t_i、两相邻手指的指尖到手掌中心点连线的夹角p_j；且各参数需满足下式，下式中的n为正整数：

4.一种基于手势控制电灯的智能电灯系统，其特征在于：包括视频输入设备、人机交互平台、控制器及智能灯；该视频输入设备用于采集手势图像；该人机交互平台通过手势分割确定手势特征值，将手势信息转化成对机器的控制指令；该控制器通过远程客户端发出的一系列指令对智能灯进行控制；该智能灯则执行相应的控制指令；该智能电灯系统的控制方法，包括如下步骤：

S010、初始化：系统在启动之前，要先做初始化；

S020、获取图像：通过摄像头来获取手部图像，之后对获取的手部图像进行滤波处理；若未获取到图像，则系统报错不显示图像，并重新开始；

S030、手势分割：首先将经过滤波处理的RGB手部图像由RGB色度空间转换为YCrCb色度空间；而后通过非线性方程Y、Cr、Cb与Cr’、Cb’的关系将YCrCb模型转换为YCr’Cb’椭圆模型；然后根据YCr’Cb’椭圆模型进行手部的肤色检测，所得的肤色检测图即为分割图；再对检测结果进行二值化处理；之后通过K-means类聚法对肤色的面积与深度进行类聚；最后根据面积与深度去除非手势部分，从而得到手势轮廓图；

S040、手势特征提取：根据步骤S030获得的手势轮廓提取手势的特征；

S050、手势识别：将步骤S040提取的手势特征与数据库中所有手势的初始特征进行对比，如果满足阈值，则判定为该手势；

S060、根据识别结果对电灯进行控制：根据步骤S050识别手势，匹配数据库中对应的电灯控制信号，对电灯进行控制。

5.根据权利要求4所述基于手势控制电灯的智能电灯系统，其特征在于：所述步骤S040及步骤S050的手势特征为如下手势特征值g等式：

g＝G(x₁,x₂,t₁,…t_n,p₁,…,p_n-1,h₁,…,h_n)

该式中，x₁表示一个手掌指尖的数量，x₂则表示合并手指的数量，t_i为各指尖到手掌中心点与手掌本身长度的比，p_j则代表两相邻手指的指尖到手掌中心点连线的夹角，n为正整数，h是Hu不变矩；且该式中各参数需满足下式：

6.根据权利要求4所述基于手势控制电灯的智能电灯系统，其特征在于所述步骤S040及步骤S050的手势特征为如下手势特征参数：手掌指尖的数量x₁、合并手指的数量x₂、各指尖到手掌中心点与手掌本身长度的比t_i、两相邻手指的指尖到手掌中心点连线的夹角p_j；且各参数需满足下式，下式中的n为正整数：

7.根据权利要求4-6任一所述基于手势控制电灯的智能电灯系统，其特征在于在进行所述的手势分割步骤前，先进行S025、模式选择步骤：操作界面出现手势识别和手势训练两种模式，由使用者进行选择，当选择手势识别时，进入步骤S030；当选择手势训练时则进入步骤S055；

S055、手势训练：采用上述步骤S020、S030及S040，得到自定义手势的特征，做为该手势的初始特征，之后将该手势与某一电灯控制信号进行匹配；

S056、数据存储：将步骤S055手势训练所得数据存储到数据库。

8.根据权利要求7所述基于手势控制电灯的智能电灯系统，其特征在于所述步骤S056、数据存储：将每次使用时获得手势特征数据进行存储。

Images