CN109977777A - 基于新型RF-Net模型的手势识别方法 - Google Patents

Abstract

本发明揭示了一种基于新型RF‑Net模型的手势识别方法，包括如下步骤：S1、在AlexNet模型的基础上进行模型优化，得到AlexNet_I模型；S2、在手势图像训练集中训练AlexNet_I模型并固定网络参数，得到手势特征提取模型；S3、建立并训练RF模型；S4、将手势特征提取模型与RF模型结合，构建成RF‑Net模型、并使用所述RF‑Net模型进行手势图像识别。本发明的方法能够快速而准确地对图像中的手势进行识别，有效地提高了用户体验基于手势的人机交互系统的舒适度。

Description

基于新型RF-Net模型的手势识别方法

技术领域

本发明涉及一种智能识别方法，具体涉及一种基于新型RF-Net模型的手势识别方法，属于智能家居领域。

背景技术

手势识别是指智能终端设备对摄像机所捕捉到的手势进行识别，并理解手势含义，从而实现相应功能的技术。手势识别技术为人与终端设备进行对话提供了一种自然直观的交流方式。在人机交互领域内，手势识别对用户的限制最小，当用户的手被用作计算机的直接输入设备时，人与计算机之间的通信将不再需要中间媒体，用户可以通过自定义的手势来控制终端设备。

而在家居场景下实时手势识别会变得愈发困难，由于环境的不可预测性和背景的复杂性，因此很难从目标图像中提取手势。此外，由于人的手部有二十多个自由度，因此不同的人做同样的手势都会出现不同的结果；而当一个人在做同一手势时，每次的情况也会略有不同，这样一来，无疑严重干扰了手势识别技术的实现。同时，背景因素也是手势识别技术的挑战之一，不同的背景会引入不同的噪声，从而对手势分割与识别造成影响。

与技术发展相对应的是，当今市场上，具有手势识别功能的智能家居设备还较为少见，大多手势识别产品的技术实现方式仅仅停留于对一种肢体动作的识别，并不能识别手势，无法处理多手势识别问题，识别效果并不理想。并且这些设备大多依靠云端服务器、过于依赖网络，在没有网络的情况下将无法进行工作。

综上所述，如何在现有技术的基础上提出一种全新的手势识别方法，以实现手势识别技术在智能家居设备上的大规模推广应用，也就成为了目前业内人士所亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于新型RF-Net模型的手势识别方法，包括如下步骤：

S1、在AlexNet模型的基础上进行模型优化，得到AlexNet_I模型；

S2、在手势图像训练集中训练AlexNet_I模型并固定网络参数，得到手势特征提取模型；

S3、建立并训练RF模型；

S4、将手势特征提取模型与RF模型结合，构建成RF-Net模型、并使用所述RF-Net模型进行手势图像识别。

优选地，S1中所述在AlexNet模型的基础上进行模型优化，具体包括如下步骤：

S11、删除AlexNet网络中的局部响应归一化层LRN，添加批归一化层BN；

S12、在AlexNet网络中添加1*1卷积层；

S13、改变AlexNet网络中的静态学习率为动态学习率。

优选地，S2具体包括如下步骤：

S21、在手势图像训练集中训练AlexNet_I模型；

S22、在得到经过训练的AlexNet_I模型后，固定AlexNet_I模型除全连接层以外的所有卷积神经网络参数，将结果作为手势特征提取模型。

优选地，S3具体包括如下步骤：

S31、将手势图像训练集依次经过手势特征提取模型，获取得到手势图像特征训练集；

S32、在手势图像特征训练集中训练RF模型。

优选地，S31具体包括如下步骤：

S311、将手势图像数据集通过自助法，划分为手势图像训练集、手势图像验证集以及手势图像测试集；

S312、将所述手势图像训练集、手势图像验证集以及手势图像测试集依次经过基于卷积神经网络的手势特征提取模型，获取得到手势图像特征训练集、手势图像特征验证集以及手势图像特征测试集。

优选地，S32具体包括如下步骤：搭建RF模型，并在手势图像特征训练集中对所述RF模型进行训练。

优选地，S32中所述搭建RF模型，具体包括如下步骤：

S321、使用Bootstrap随机有放回抽样对手势图像特征训练集进行划分，得到若干个sub_sets子训练集，并引入样本随机性；

S322、在所述sub_sets子训练集中分别训练决策树；

S323、在建立决策树时，假设训练样本特征的个数为n，在其中随机选取m个特征，根据基尼系数选择这m个特征中的最优特征进行分裂，并引入属性随机性；

S324、重复步骤S323，直到该节点上的训练样例均属于同一类；

S325、将生成的决策树进行组合成随机森林，采用投票表决的方式选定最终的分类结果。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的一种基于新型RF-Net模型的手势识别方法，可以在本地智能化地对手势进行识别，克服了现有技术过于依赖网络的弊端，使得应用本方法的人机交互系统在没有网络连接的情况下仍然可以正常工作。

本发明的方法建立出了一个RF-Net模型，该模型结合了CNN与RF模型的优点，识别精度与识别速度大幅度提升。此外，本发明还通过卷积神经网络对手势特征进行提取，并将提取到的特征作为RF的输入对手势进行识别。

这样的技术实现方式使得应用本方法的人机交互系统能够快速而准确地对图像中的手势进行识别，有效地提高了用户体验基于手势的人机交互系统的舒适度。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他关于手势识别的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明所提供的基于卷积神经网络的手势特征提取模型结构框图；

图2为本发明所提供的RF-Net模型的结构框图。

具体实施方式

为了克服现有技术的不足，本发明提出了一种基于新型RF-Net模型的手势识别方法，可以在本地智能地对手势进行识别。该方法通过搭建卷积神经网络，在经典AlexNet模型的基础上，加入优化方法得到AlexNet_I模型，使其能挖掘更深层的手势特征；通过固定AlexNet_I模型除全连接层外的网络参数，得到基于卷积神经网络的手势特征提取模型，卷积神经网络能够通过卷积核自动提取目标物体的特征，且特征全面而丰富；通过结合卷积神经网络能够通过卷积核自动提取目标物体的特征的优点与随机森林具有抗过拟合能力强和具有高识别率的优点，得到了RF-Net模型，将使用卷积神经网络对手势图像进行特征提取，并将提取到的特征作为RF的输入对手势进行识别。

具体而言，本发明的方法基于卷积神经网络的手势特征提取算法，基于随机森林的手势识别算法，包括如下步骤：

S1、在AlexNet模型的基础上进行模型优化，得到AlexNet_I模型；

S2、在手势图像训练集中训练AlexNet_I模型并固定网络参数，得到手势特征提取模型；

S3、建立并训练RF模型；

S4、将手势特征提取模型与RF模型结合，构建成RF-Net模型、并使用所述RF-Net模型进行手势图像识别。

图1显示了本发明所提供的基于卷积神经网络的手势特征提取模型的结构，结合附图，对上述步骤中的对应部分进行具体说明。

S1中所述在AlexNet模型的基础上进行模型优化，具体包括如下步骤：

S11、删除AlexNet网络中的局部响应归一化层LRN，添加批归一化层BN；

批归一化(Batch Normalization，BN)是指通过对数据进行处理，使数据的分布保持一致。这一技术有利于提高模型学习速度、提高预测精度、避免过拟合等现象的发生。BN的优点为允许神经网络使用比较大的学习速率进行训练，加快神经网络的训练速度。BN的处理过程为：

1)计算μ_β，即批处理数据的均值。

其中，x表示输入数据、m表示batch的大小，B＝{x₁,…,x_m}。

2)计算即批处理数据的方差。

3)计算即规范化后的输入数据；

其中，ε为平滑项，避免分母为0。

4)计算y_i，即对数据进行重构(缩放和移位)；

γ、β分别表示尺度变换因子与位移因子。

5)学习参数γ与β。

S12、在AlexNet网络中添加1*1卷积层；

1*1卷积主要用于对数据降维，降低了计算复杂度。在不改变原数据尺寸的前提下，通过改变卷积核的Channel实现，可以用于控制模型的参数；同时可以实现跨通道(Channel)的交互与信息整合；可以在保持Feature Maps尺寸不变的前提下大幅增加非线性特性，提高了网络的表达能力。在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征。

S13、改变AlexNet网络中的静态学习率为动态学习率。

在训练神经网络时，较大的学习率能提高模型训练速度。但是随着训练程度的加深，较大的学习率会导致模型难以拟合即参数在极优值点两侧来回移动。而较小的学习率则会导致收敛速度很慢。

因此在训练初期学习率可以设置较大值，随着迭代次数的增加逐渐减小学习率，即实现动态控制学习率。学习率可以通过式得到：

其中，decayed_learning_rate是经过动态优化后的学习率；learning_rate是初始学习率；decay_rate是衰减速度；global_step是迭代次数；decay_steps是衰减速度。

S2具体包括如下步骤：

S21、在手势图像训练集中训练AlexNet_I模型；

S22、在得到经过训练的AlexNet_I模型后，固定所述AlexNet_I模型除全连接层以外的所有卷积神经网络参数，(固定Flatten层之上的网络参数与结构，即卷积层)将结果作为手势特征提取模型，用于实现对手势特征的提取。

图2显示了本发明所提供的RF-Net模型的结构，结合附图，对上述步骤中的对应部分进行具体说明。

S3具体包括如下步骤：

S31、将手势图像训练集依次经过手势特征提取模型，获取得到手势图像特征训练集。

S31具体包括如下步骤：

S311、将手势图像数据集通过自助法，划分为手势图像训练集、手势图像验证集以及手势图像测试集；

S312、将所述手势图像训练集、手势图像验证集以及手势图像测试集依次经过基于卷积神经网络的手势特征提取模型，获取得到手势图像特征训练集、手势图像特征验证集以及手势图像特征测试集。

S32、在手势图像特征训练集中训练RF(Random Forests，随机森林)模型。具体而言，包括搭建RF模型，并在手势图像特征训练集中对所述RF模型进行训练。

所述搭建RF模型，具体包括如下步骤：

S321、使用Bootstrap随机有放回抽样对手势图像特征训练集进行划分，得到若干个sub_sets子训练集，并引入样本随机性；

S322、在所述sub_sets子训练集中分别训练决策树；

S323、在建立决策树时，假设训练样本特征的个数为n，在其中随机选取m个特征，根据基尼系数选择这m个特征中的最优特征进行分裂，并引入属性随机性；

S324、重复步骤S323，直到该节点上的训练样例均属于同一类；

S325、将生成的决策树进行组合成随机森林，采用投票表决的方式选定最终的分类结果。

最后，再将手势特征提取模型与RF模型结合，构建成RF-Net模型，用于对手势图像进行识别。

综上所述，本发明所提出的一种基于新型RF-Net模型的手势识别方法，可以在本地智能化地对手势进行识别，克服了现有技术过于依赖网络的弊端，使得应用本方法的人机交互系统在没有网络连接的情况下仍然可以正常工作。

本发明的方法建立出了一个RF-Net模型，该模型结合了CNN与RF模型的优点，识别精度与识别速度大幅度提升。此外，本发明还通过卷积神经网络对手势特征进行提取，并将提取到的特征作为RF的输入对手势进行识别。

这样的技术实现方式使得应用本方法的人机交互系统能够快速而准确地对图像中的手势进行识别，有效地提高了用户体验基于手势的人机交互系统的舒适度。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他关于手势识别的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于新型RF-Net模型的手势识别方法，其特征在于，包括如下步骤：

S1、在AlexNet模型的基础上进行模型优化，得到AlexNet_I模型；

S2、在手势图像训练集中训练AlexNet_I模型并固定网络参数，得到手势特征提取模型；

S3、建立并训练RF模型；

S4、将手势特征提取模型与RF模型结合，构建成RF-Net模型、并使用所述RF-Net模型进行手势图像识别。

2.根据权利要求1所述的基于新型RF-Net模型的手势识别方法，其特征在于，S1中所述在AlexNet模型的基础上进行模型优化，具体包括如下步骤：

S11、删除AlexNet网络中的局部响应归一化层LRN，添加批归一化层BN；

S12、在AlexNet网络中添加1*1卷积层；

S13、改变AlexNet网络中的静态学习率为动态学习率。

3.根据权利要求1所述的基于新型RF-Net模型的手势识别方法，其特征在于，S2具体包括如下步骤：

S21、在手势图像训练集中训练AlexNet_I模型；

S22、在得到经过训练的AlexNet_I模型后，固定AlexNet_I模型除全连接层以外的所有卷积神经网络参数，将结果作为手势特征提取模型。

4.根据权利要求1所述的基于新型RF-Net模型的手势识别方法，其特征在于，S3具体包括如下步骤：

S31、将手势图像训练集依次经过手势特征提取模型，获取得到手势图像特征训练集；

S32、在手势图像特征训练集中训练RF模型。

5.根据权利要求4所述的基于新型RF-Net模型的手势识别方法，其特征在于，S31具体包括如下步骤：

S311、将手势图像数据集通过自助法，划分为手势图像训练集、手势图像验证集以及手势图像测试集；

S312、将所述手势图像训练集、手势图像验证集以及手势图像测试集依次经过基于卷积神经网络的手势特征提取模型，获取得到手势图像特征训练集、手势图像特征验证集以及手势图像特征测试集。

6.根据权利要求4所述的基于新型RF-Net模型的手势识别方法，其特征在于，S32具体包括如下步骤：搭建RF模型，并在手势图像特征训练集中对所述RF模型进行训练。

7.根据权利要求6所述的基于新型RF-Net模型的手势识别方法，其特征在于，S32中所述搭建RF模型，具体包括如下步骤：

S321、使用Bootstrap随机有放回抽样对手势图像特征训练集进行划分，得到若干个sub_sets子训练集，并引入样本随机性；

S322、在所述sub_sets子训练集中分别训练决策树；

S323、在建立决策树时，假设训练样本特征的个数为n，在其中随机选取m个特征，根据基尼系数选择这m个特征中的最优特征进行分裂，并引入属性随机性；

S324、重复步骤S323，直到该节点上的训练样例均属于同一类；

S325、将生成的决策树进行组合成随机森林， 采用投票表决的方式选定最终的分类结果。