CN112114675A - 基于手势控制的非接触电梯键盘的使用方法 - Google Patents

Abstract

基于手势控制的非接触电梯键盘的使用方法，直接采用电梯内的摄像头，无需增加或修改设备。通过摄像头采集电梯间内的图像，图像传至PC机，PC机对摄像头传输的图像进行处理，并将结果反馈到电梯总控主机。有两种工作模式：第一，当人手指电梯按键时，可以根据人手指尖位置，识别到相应的楼层按键，并控制该层电梯按键的点亮；第二，当键盘旁有人时不方便操作时，可以用手绘制楼层数字，再根据人的手部运动轨迹，识别到相应的楼层，控制该层电梯按键点亮。本发明利用电梯中的摄像头采集人们手势信息进行无接触式选择楼层，有效的在疫情期间减少接触机会，避免交叉感染。

Description

基于手势控制的非接触电梯键盘的使用方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及基于手势控制的非接触电梯键盘的使用方法。

背景技术

随着房地产产业的快速发展，国家倡导的节能省地型住宅建设政策广泛落实，高层住宅建设逐渐成为房地产开发和消费的主体。目前，所有的高层住宅基本都安装有电梯设备，而电梯作为公共场所，可以被任何人使用，由于每个人的健康状态都是未知的，所以直接接触电梯键盘会给传染病毒提供了机会。

目前市场上推出的有语音控制电梯键盘、基于红外传感器的电梯键盘，这些键盘也可以实现非接触控制，但都需要对电梯进行改造，增加成本，因此性价比与推广性达不到市场要求。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供基于手势控制的非接触电梯键盘的使用方法，利用电梯中的摄像头采集人们手势信息进行无接触式选择楼层，有效的在疫情期间减少接触机会，避免交叉感染。

为了实现上述目的，本发明采用的技术方案是：

基于手势控制的非接触电梯键盘的使用方法，包括以下步骤；

步骤一，使用摄像头采集电梯内手部图像；

步骤二，使用椭圆肤色检测模型，在YCrCb空间将手指与背景区分开来，获得手部图像；

步骤三：使用高斯滤波对手部图像进行去噪处理，然后使用OTSU进行阈值分割，获得手部二值化图像；

步骤四：将二值化的图像进行处理，得到最大轮廓并记录坐标，然后根据最大轮廓点集画出凸包轮廓，获得手部轮廓质心；

步骤五：根据获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层；

步骤六：当采用指尖指向按键模式时，利用步骤四的结果求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，距离最远的轮廓点即为指尖坐标点。再将指尖位置坐标与电梯按键所在位置进行对比，如果在指尖出现在按键所在的区域内，则输出其对应的楼层号；

步骤七：当采用手部绘制楼层数模式时，利用步骤一获取的图像截取帧图像，然后通过SSD神经网络模型获取手部位置，并且利用上诉步骤四确定手部质心点；

步骤八：使用卡尔曼滤波器对步骤七中获取的手部质心进行轨迹的预测与跟踪，同时将其运动轨迹保存在图像中；

步骤九：使用空间注意力机制STN改进后的ResNet对提取的手部轨迹图像进行分类，得到所要到达的楼层数。

所述步骤一中，利用电梯里自带的摄像头采集图像，并且将图像传给PC进行分析。

所述步骤二中，通过PC对接收步骤一得到的的图像进行处理分析，根据手部质心位置判断使用的方法；

首先PC读取视频的每一帧图像，然后使用椭圆肤色检测模型检测分割图像，所述皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布，如果得到了一个CrCb的椭圆，下次来一个坐标(Cr,Cb)判断是否在椭圆内(包括边界)，如果是，则可以判断其为皮肤，否则就是非皮肤像素点。

所述步骤三中，对步骤二中分割后的图像进行滤波降噪处理，然后进行阈值分割处理，随后确定手部轮廓，得到手部质心点位置；

首先利用高斯滤波图像进行处理，高斯滤波是通过对输入数组的每个点与输入的高斯滤波模板执行卷积计算然后将这些结果一块组成了滤波后的输出数组，二维的高斯分布为：

其中x、y表示像素坐标，σ表示常数字；

高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；

高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；

使用3×3模板，计算公式如下:

g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+[f(x-1,y)

+f(x,y-1)+f(x+1,y)+f(x,y+1)]*2+f(x,y)*4}/16

其中x，y表示像素坐标，f(x,y)为图像中点(x,y)的灰度值，g(x,y)为该点经过高斯滤波后的值；

其次是使用OTSU算法对图像进行阈值分割，确定二值化图像，OTSU算法的假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG，同时像素被分为C1和C2类的概率分别为p1、p2，因此就有：

p1*m1+p2*m2＝mG

p1+p2＝1

根据方差的概念，类间方差表达式为：

σ²＝p1*(m1-mG)²+p2*(m2-mG)²

把上式化简，可得：

σ²＝p1*p2*(m1-m2)

使得上式最大化的灰度级k就是OTSU阈值；

所述步骤四根据二值化的图像取得手部轮廓，并获得手部质心位置，通过二值化图像检测到各个物体的轮廓，并对轮廓面积进行排序，得到最大轮廓，保留最大轮廓坐标，然后通过最大轮廓的点集得到轮廓的凸包，再根据轮廓点的坐标，求得相应的x轴的一阶距，y轴的一阶距，一阶距除以面积即可获得最大轮廓的质心。

所述步骤五根据步骤四获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层。

所述步骤六具体为：

采用指尖指向按键的方式确定所选楼层数；

首先要确定指尖位置坐标，指尖的寻找是根据距离人手质心最远的点来判定的，分别求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，避免手臂或者其他物体的干扰，剩余的轮廓点到质心的距离进行排序，求出最远点，该点即是手指指尖，计算过程如下：

(1)计算手指轮廓所有像素点到质心的距离L；

(x_i,y_i)为轮廓上像素点坐标，(x₀,y₀)为质心像素坐标；

(2)根据最远点(x_j,y_j)和质心点(x₀,y₀)的位置关系，如果最远点在质心点的下方，y_j<y₀时，则舍去该点；

(3)对剩余轮廓像素点到质心的距离L进行比较，得到最大距离L_max时的坐标点(x_j,y_j)；

然后根据指尖位置坐标与电梯按键所在位置进行判别，如果在指尖出现在按键区域内，则识别出其对应的楼层号并将识别到的楼层号输出。

所述步骤七具体为：

采用手部绘制楼层数字的方式确定所选楼层数；

利用SSD神经网络模型获取手部位置，对手部进行实时检测跟踪，并确定手部质心，整个算法的流程是：

(1)首先对Egohands手部数据集进行标注，其中有4800张图像包含手部；

(2)其次将标注后的数据集重命名，以确保每个文件名都是唯一的。将数据集分成训练和测试两个文件夹。4800张包含手部的图像中，3360张手部图像作为训练集，占总数的70％；1440张手部图像作为测试集，占总数的30％；

(3)然后读入每个文件夹中的“polygons.mat”，生成体积稍大且特性简单的几何体(称为包围盒)，并将包围盒可视化。通过egohands_dataset_clean.py脚本训练和测试图像文件夹生成tfrecords的csv标注文件，并将csv标注文件转换为tfrecord格式；

(4)接下来利用标注好的手部数据集训练模型。最后导出训练好的推理图(frozen_inference_graph.pb)，利用另一部分测试数据集对这个模型进行检测；

通过训练好的模型对电梯内手部进行实时检测，并确定手部质心点。

所述步骤八具体为：

使用卡尔曼滤波器预测并跟踪步骤七中手部质心，且保留运动轨迹，下面的公式中，脚标k表示时间点，k-1是上一个时间点，大写字母A，B，C表示常数，事先设定的；大写字母H，是一个需要计算的卡尔曼增益；

预测值：

观测值：

预测值的偏差：

观测值的偏差：

卡尔曼增益H：

真实的值：

卡尔曼增益是一个加权平均的权重，是决定观测值更重要还是预测值更重要；两者的重要性就由两者的偏差大小决定，偏差小的更重要；

本发明利用卡尔曼滤波对手部运动进行跟踪过程分为两部分：预测和更新。预测部分主要是对手部质心点下一时刻的运动状态进行估计，用到当前手部质心点位置信息和预测误差协方差；更新部分主要是作出反馈，用当前实际观测值与上一时刻对当前时刻的估计值预测出下一时刻的估计值。不断地循环以上步骤，就实现对手部质心点运动的跟踪，同时记录该点运动轨迹，为后面根据轨迹识别对应楼层做准备。

所述步骤九具体为：

(1)采用空间注意力机制STN对手部轨迹图片中的空间域信息做对应的空间变换，以便提取出准确的数字轨迹信息；

手部运动轨迹数字分类模型的结构输入为：U∈R^H×W×C，H是上一层tensor的高度，W是上一层tensor的宽度，而C代表tensor的通道。

手部运动轨迹数字分类网络会学习到一组变换参数θ＝f_loc(U)，这组参数就能够直接作为网格生成器的参数，生成一个采样信号，采样信号是一个变换矩阵，与原始图片相乘之后，可以得到变换之后的矩阵V，其中V∈R^{H′×W′×C}，V是变换后的图片特征；

手部轨迹特征图像U每个像素的坐标为

V的每个像素坐标为

空间变换函数T_θ为二维仿射变换函数，

和

的对应关系如下：

利用采样网格和输入的特征图同时作为输入，得到特征图经过变换之后的结果公式：

(2)利用ResNet对空间注意力机制STN处理后的手部运动轨迹图像进行分类，识别出步骤七中质心轨迹表示的数字，残差单元可以表示为：

y₁＝h(x₁)+F(x_l,W₁)

x_l+1＝f(y₁)

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出，注意每个残差单元一般包含多层结构，F是残差函数，表示学习到的残差，而h(x_l)＝x_l表示恒等映射，f是ReLU激活函数，基于上式，求得从浅层l到深层L的学习特征；

通过Python+tensorflow中的ResNet对采集的大量特征向量进行训练，得到本系统的在线分类模型，整合Mnist-image的手写数字数据集，采集60000张手写数据图片进行训练，每张图片规格是28×28像素，经过卷积后得到7×7像素图片，然后对图片进行特征提取，特征提取即首先将图像数据灰度化处理，然后将其存入在数组中，其次进行灰度变换，化为二值矩阵，最后存储在相应路径之下，同时系统用10000张手写数据图片作为测试集，采用相同方法提取特征，并利用通过训练集以及训练好的分类模型进行分类，得到测试图片结果，即可得到测试图片的手写数据值；

将步骤九识别出的楼层数传输给电梯控制，使得相应楼层按键点亮，并且电梯运行，到达相应楼层后熄灭按键灯。

本发明的有益效果：

本发明通过电梯自带的摄像头，实时采集人进入电梯后的图像，并将图像传送到PC上，在PC上完成图像的分析，并将分析所得楼层信息传送给键盘控制，键盘控制处控制相应楼层键盘点亮。因此可根据手势控制选择要到达楼层，达到不接触电梯键盘就可选择楼层的目的。本发明能降低疫情期间电梯间交叉感染几率，高效识别手指便于行动不便者操作按键，不对原有电梯进行改造，推广性强。

附图说明

图1是本发明流程示意图。

图2是本发明实例提供的手部轮廓处理流程图。

图3是本发明实例提供的手部骨骼关键点检测与质心轨迹跟踪流程图。

图4为本发明结构示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1-图4所示：通过电梯自带的摄像头，实时采集人进入电梯后的图像，并将手指指向要到达楼层键盘的图像传送到PC上，在PC上完成指尖区域图像的分析，并将分析所得楼层信息传送给键盘控制，键盘控制处控制相应楼层键盘点亮。如果人在进入电梯后离键盘较远，可伸出手绘制要到达楼层的数字，摄像头实时采集手部运动轨迹图像，并将手部绘制数字的图像传送到PC上，PC完成手部运动轨迹特征的提取后进行分析，并将分析后的楼层信息传送至键盘控制处，键盘控制处控制电梯键盘点亮相应楼层按键。因此可根据手指指按键、手部绘制楼层数字两种方式选择所要到达楼层，达到不接触电梯键盘就可选择楼层的目的。

下面结合附图对本发明的应用原理作进一步的说明：

如图1所示为本发明方法的总体算法流程图，本发明所述的基于手势控制的非接触电梯键盘的使用方法，按以下步骤进行：

步骤一：利用电梯里自带的摄像头采集图像，并且将图像传给PC进行分析。

步骤二：PC对接收的图像进行处理分析，根据手部质心位置判断使用的方法。首先PC读取视频的每一帧图像，然后使用椭圆肤色检测模型检测分割图像，因为皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布。因此如果得到了一个CrCb的椭圆，下次来一个坐标(Cr,Cb)只需判断它是否在椭圆内(包括边界)，如果是，则可以判断其为皮肤，否则就是非皮肤像素点；

使用椭圆肤色检测模型，在RGB空间里人手的肤色受亮度影响相当大，所以肤色点很难从非肤色点中分离出来，即处理后，肤色点是离散的点，中间嵌有很多非肤色。当把RGB转为YCrCb空间的话，可以忽略Y(亮度)的影响，因为该空间受亮度影响很小，肤色会产生很好的类聚。这样就把三维的空间降为二维的CrCb，肤色点会形成一定得形状。

步骤三：对步骤二中分割后的图像进行滤波降噪处理，然后进行阈值分割处理，随后确定手部轮廓，得到手部质心点位置，如图2所示。首先利用高斯滤波图像进行处理，高斯滤波是一种线性平滑滤波，对于除去高斯噪声有很好的效果。高斯滤波是通过对输入数组的每个点与输入的高斯滤波模板执行卷积计算然后将这些结果一块组成了滤波后的输出数组，二维的高斯分布为：

其中x、y表示像素坐标，σ表示常数字；

高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；

高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；

使用3×3模板，计算公式如下:

g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+[f(x-1,y)

+f(x,y-1)+f(x+1,y)+f(x,y+1)]*2+f(x,y)*4}/16

其中x，y表示像素坐标，f(x,y)为图像中点(x,y)的灰度值，g(x,y)为该点经过高斯滤波后的值；

其次是使用OTSU算法对图像进行阈值分割，确定二值化图像。OTSU算法的假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。因此就有：

p1*m1+p2*m2＝mG

p1+p2＝1

根据方差的概念，类间方差表达式为：

σ²＝p1*(m1-mG)²+p2*(m2-mG)²

把上式化简，可得：

σ²＝p1*p2*(m1-m2)

使得上式最大化的灰度级k就是OTSU阈值。

步骤四：根据二值化的图像取得手部轮廓，并获得手部质心位置，通过二值化图像检测到各个物体的轮廓，并对轮廓面积进行排序，得到最大轮廓，保留最大轮廓坐标，然后通过最大轮廓的点集得到轮廓的凸包，再根据轮廓点的坐标，求得相应的x轴的一阶距，y轴的一阶距，一阶距除以面积即可获得最大轮廓的质心。

步骤五：根据获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层。

步骤六：采用指尖指向按键的方式确定所选楼层数。首先要确定指尖位置坐标，指尖的寻找是根据距离人手质心最远的点来判定的，分别求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，避免手臂或者其他物体的干扰，剩余的轮廓点到质心的距离进行排序，求出最远点，该点即是手指指尖。计算过程如下：

(1)计算手指轮廓所有像素点到质心的距离L；

(x_i,y_i)为轮廓上像素点坐标，(x₀,y₀)为质心像素坐标；

(2)根据最远点(x_j,y_j)和质心点(x₀,y₀)的位置关系，如果最远点在质心点的下方，y_j<y₀时，则舍去该点；

(3)对剩余轮廓像素点到质心的距离L进行比较，得到最大距离L_max时的坐标点(x_j,y_j)；

然后根据指尖位置坐标与电梯按键所在位置进行判别，如果在指尖出现在按键所在的区域内，则识别出其对应的楼层号，然后输出楼层号。

步骤七：利用SSD神经网络模型获取手部位置，对手部进行实时检测跟踪，并确定手部质心，整个算法的流程是：

(1)首先对Egohands手部数据集进行标注，其中有4800张图像包含手部；

(2)其次将标注后的数据集重命名，以确保每个文件名都是唯一的。将数据集分成训练和测试两个文件夹。4800张包含手部的图像中，3360张手部图像作为训练集，占总数的70％；1440张手部图像作为测试集，占总数的30％；

(3)然后读入每个文件夹中的“polygons.mat”，生成体积稍大且特性简单的几何体(称为包围盒)，并将包围盒可视化。通过egohands_dataset_clean.py脚本训练和测试图像文件夹生成tfrecords的csv标注文件，并将csv标注文件转换为tfrecord格式；

(4)接下来利用标注好的手部数据集训练模型。最后导出训练好的推理图(frozen_inference_graph.pb)，利用另一部分测试数据集对这个模型进行检测；

通过训练好的模型对电梯内手部进行实时检测，并确定手部质心点。

步骤八：使用卡尔曼滤波器预测并跟踪步骤七中手部质心，且保留运动轨迹。下面的公式中，脚标k表示时间点，k-1是上一个时间点。大写字母A，B，C表示常数，事先设定的；大写字母H，是一个需要计算的；

预测值：

观测值：

预测值的偏差：

观测值的偏差：

卡尔曼增益H：

真实的值：

卡尔曼增益就是一个加权平均的权重，是决定观测值更重要还是预测值更重要；两者的重要性就由两者的偏差大小决定，偏差小的更重要；

本发明利用卡尔曼滤波进行跟踪过程分为两部分：预测和更新。预测部分主要是对手掌质心点下一时刻的运动状态进行估计，用到当前手掌的状态信息和预测误差协方差；更新部分主要是作出反馈，用当前实际观测值与上一时刻对当前时刻的估计值预测出下一时刻的估计值。不断地循环以上步骤，就实现对手部质心点运动的跟踪，同时记录该点运动轨迹。

步骤九：(1)采用空间注意力机制STN对手部轨迹图片中的空间域信息做对应的空间变换，以便提取出准确的数字轨迹信息；

手部运动轨迹数字分类模型的结构输入为：U∈R^H×W×C，H是上一层tensor的高度，W是上一层tensor的宽度，而C代表tensor的通道。

手部运动轨迹数字分类网络会学习到一组变换参数θ＝f_loc(U)，这组参数就能够直接作为网格生成器的参数，生成一个采样信号，采样信号是一个变换矩阵，与原始图片相乘之后，可以得到变换之后的矩阵V，其中V∈R^{H′×W′×C}，V是变换后的图片特征；

手部轨迹特征图像U每个像素的坐标为

V的每个像素坐标为

空间变换函数T_θ为二维仿射变换函数，

和

的对应关系如下：

利用采样网格和输入的特征图同时作为输入，得到特征图经过变换之后的结果公式：

(2)利用ResNet对空间注意力机制STN处理后的手部运动轨迹图像进行分类，识别出步骤七中质心轨迹表示的数字，残差单元可以表示为：

y₁＝h(x₁)+F(x_l,W₁)

x_l+1＝f(y₁)

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出，注意每个残差单元一般包含多层结构，F是残差函数，表示学习到的残差，而h(x_l)＝x_l表示恒等映射，f是ReLU激活函数，基于上式，求得从浅层l到深层L的学习特征：

通过Python+tensorflow中的ResNet对采集的大量特征向量进行训练，得到本系统的在线分类模型，整合Mnist-image的手写数字数据集，采集60000张手写数据图片进行训练，每张图片规格是28×28像素，经过卷积后得到7×7像素图片，然后对图片进行特征提取，特征提取即首先将图像数据灰度化处理，然后将其存入在数组中，其次进行灰度变换，化为二值矩阵，最后存储在相应路径之下，同时系统用10000张手写数据图片作为测试集，采用相同方法提取特征，并利用通过训练集以及训练好的分类模型进行分类，得到测试图片结果，即可得到测试图片的手写数据值；

将步骤九识别出的楼层数传输给电梯控制，使得相应楼层按键点亮，并且电梯运行，到达相应楼层后熄灭按键灯。

Claims (10)

1.基于手势控制的非接触电梯键盘的使用方法，其特征在于，包括以下步骤；

步骤一，使用摄像头采集电梯内手部图像；

步骤二，使用椭圆肤色检测模型，在YCrCb空间将手指与背景区分开来，获得手部图像；

步骤三：使用高斯滤波对手部图像进行去噪处理，然后使用OTSU进行阈值分割，获得手部二值化图像；

步骤四：将二值化的图像进行处理，得到最大轮廓并记录坐标，然后根据最大轮廓点集画出凸包轮廓，获得手部轮廓质心；

步骤五：根据获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层；

步骤六：当采用指尖指向按键模式时，利用步骤四的结果求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，距离最远的轮廓点即为指尖坐标点。再将指尖位置坐标与电梯按键所在位置进行对比，如果在指尖出现在按键所在的区域内，则输出其对应的楼层号；

步骤七：当采用手部绘制楼层数模式时，利用步骤一获取的图像截取帧图像，然后通过SSD神经网络模型获取手部位置，并且利用上诉步骤四确定手部质心点；

步骤八：使用卡尔曼滤波器对步骤七中获取的手部质心进行轨迹的预测与跟踪，同时将其运动轨迹保存在图像中；

步骤九：使用空间注意力机制STN改进后的ResNet残差神经网络对提取的手部轨迹图像进行分类，得到所要到达的楼层数。

2.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤一中，利用电梯里自带的摄像头采集图像，并且将图像传给PC进行分析。

3.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤二中，通过PC对接收步骤一得到的的图像进行处理分析，根据手部质心位置判断使用的方法；

首先PC读取视频的每一帧图像，然后使用椭圆肤色检测模型检测分割图像，所述皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布，如果得到了一个CrCb的椭圆，下次来一个坐标(Cr,Cb)判断是否在椭圆内，如果是，则可以判断其为皮肤，否则就是非皮肤像素点。

4.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤三中，对步骤二中分割后的图像进行滤波降噪处理，然后进行阈值分割处理，随后确定手部轮廓，得到手部质心点位置；

首先利用高斯滤波图像进行处理，高斯滤波是通过对输入数组的每个点与输入的高斯滤波模板执行卷积计算然后将这些结果一块组成了滤波后的输出数组，二维的高斯分布为：

其中x、y表示像素坐标，σ表示常数字；

高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；

高斯滤波的具体操作是：用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；

使用3×3模板，计算公式如下:

g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+[f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)]*2+f(x,y)*4}/16

其中x，y表示像素坐标，f(x,y)为图像中点(x,y)的灰度值，g(x,y)为该点经过高斯滤波后的值；

其次是使用OTSU算法对图像进行阈值分割，确定二值化图像，OTSU算法的假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG，同时像素被分为C1和C2类的概率分别为p1、p2。因此就有：

p1*m1+p2*m2＝mG

p1+p2＝1

根据方差的概念，类间方差表达式为：

σ²＝p1*(m1-mG)²+p2*(m2-mG)²

把上式化简，可得：

σ²＝p1*p2*(m1-m2)

使得上式最大化的灰度级k就是OTSU阈值。

5.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤四根据二值化的图像取得手部轮廓，并获得手部质心位置，通过二值化图像检测到各个物体的轮廓，并对轮廓面积进行排序，得到最大轮廓，保留最大轮廓坐标，然后通过最大轮廓的点集得到轮廓的凸包，再根据轮廓点的坐标，求得相应的x轴的一阶距，y轴的一阶距，一阶距除以面积即可获得最大轮廓的质心。

6.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤五根据步骤四获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数字来选择要到达的楼层。

7.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤六具体为：

采用指尖指向按键的方式确定所选楼层数；

首先要确定指尖位置坐标，指尖的寻找是根据距离人手质心最远的点来判定的，分别求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，避免手臂或者其他物体的干扰，剩余的轮廓点到质心的距离进行排序，求出最远点，该点即是手指指尖，计算过程如下：

(1)计算手指轮廓所有像素点到质心的距离L；

(x_i,y_i)为轮廓上像素点坐标，(x₀,y₀)为质心像素坐标；

(2)根据最远点(x_j,y_j)和质心点(x₀,y₀)的位置关系，如果最远点在质心点的下方，y_j<y₀时，则舍去该点；

(3)对剩余轮廓像素点到质心的距离L进行比较，得到最大距离L_max时的坐标点(x_j,y_j)；

然后根据指尖位置坐标与电梯按键所在位置进行判别，如果在指尖出现在按键对应区域内，则识别出其对应的楼层号并将识别到的楼层号输出。

8.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤七具体为：

采用手部画楼层数字的方式确定所选楼层数；

利用SSD神经网络模型获取手部位置，对手部进行实时检测跟踪，并确定手部质心，整个算法的流程是：

(1)首先对Egohands手部数据集进行标注，其中有4800张图像包含手部；

(2)其次将标注后的数据集重命名，以确保每个文件名都是唯一的。将数据集分成训练和测试两个文件夹。4800张包含手部的图像中，3360张手部图像作为训练集，占总数的70％；1440张手部图像作为测试集，占总数的30％；

(3)然后读入每个文件夹中的“polygons.mat”，生成体积稍大且特性简单的几何体，并将包围盒可视化，通过egohands_dataset_clean.py脚本训练和测试图像文件夹生成tfrecords的csv标注文件，并将csv标注文件转换为tfrecord格式；

(4)接下来利用标注好的手部数据集训练模型，最后导出训练好的推理图，利用另一部分测试数据集对这个模型进行检测；

通过训练好的模型对电梯内手部进行实时检测，并确定手部质心点。

9.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤八具体为：

使用卡尔曼滤波器预测并跟踪步骤七中手部质心，且保留运动轨迹，下面的公式中，脚标k表示时间点，k-1是上一个时间点，大写字母A，B，C表示常数，事先设定的；大写字母H，是一个需要计算的；

预测值：

观测值：

预测值的偏差：

观测值的偏差：

卡尔曼增益H：

真实的值：

卡尔曼增益是一个加权平均的权重，是决定观测值更重要还是预测值更重要；两者的重要性就由两者的偏差大小决定，偏差小的更重要；

利用卡尔曼滤波进行跟踪过程分为两部分：预测和更新；预测部分主要是对手掌质心点下一时刻的运动状态进行估计，用到当前手掌的状态信息和预测误差协方差；更新部分主要是作出反馈，用当前实际观测值与上一时刻对当前时刻的估计值预测出下一时刻的估计值，不断地循环以上步骤，就实现对手部质心点运动的跟踪，同时记录该点运动轨迹。

10.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤九具体为：

(1)采用空间注意力机制STN对手部轨迹图片中的空间域信息做对应的空间变换，以便提取出准确的数字轨迹信息；

手部运动轨迹数字分类模型的结构输入为：U∈R^H×W×C，H是上一层tensor的高度，W是上一层tensor的宽度，而C代表tensor的通道；

手部运动轨迹数字分类网络会学习到一组变换参数θ＝f_loc(U)，这组参数就能够直接作为网格生成器的参数，生成一个采样信号，采样信号是一个变换矩阵，与原始图片相乘之后，可以得到变换之后的矩阵V，其中V∈R^{H′×W′×C}，V是变换后的图片特征；

手部轨迹特征图像U每个像素的坐标为

V的每个像素坐标为

空间变换函数T_θ为二维仿射变换函数，

和

的对应关系如下：

利用采样网格和输入的特征图同时作为输入，得到特征图经过变换之后的结果公式：

(2)利用ResNet对空间注意力机制STN处理后的手部运动轨迹图像进行分类，识别出步骤七中质心轨迹表示的数字，残差单元可以表示为：

y₁＝h(x₁)+F(x_l,W₁)

x_l+1＝f(y₁)

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出，注意每个残差单元一般包含多层结构，F是残差函数，表示学习到的残差，而h(x_l)＝x_l表示恒等映射，f是ReLU激活函数，基于上式，求得从浅层l到深层L的学习特征：

通过Python+tensorflow中的ResNet对采集的大量特征向量进行训练，得到本系统的在线分类模型，整合Mnist-image的手写数字数据集，采集60000张手写数据图片进行训练，每张图片规格是28×28像素，经过卷积后得到7×7像素图片，然后对图片进行特征提取，特征提取即首先将图像数据灰度化处理，然后将其存入在数组中，其次进行灰度变换，化为二值矩阵，最后存储在相应路径之下，同时系统用10000张手写数据图片作为测试集，采用相同方法提取特征，并利用通过训练集以及训练好的分类模型进行分类，得到测试图片结果，即可得到测试图片的手写数据值；

将步骤九识别出的楼层数传输给电梯控制，使得相应楼层按键点亮，并且电梯运行，到达相应楼层后熄灭按键灯。

Images