CN105718878A

CN105718878A - 基于级联卷积神经网络的第一视角空中手写和空中交互方法

Info

Publication number: CN105718878A
Application number: CN201610033798.9A
Authority: CN
Inventors: 金连文; 黄毅超; 刘孝睿; 张鑫
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-01-19
Filing date: 2016-01-19
Publication date: 2016-06-29
Anticipated expiration: 2036-01-19
Also published as: CN105718878B

Abstract

本发明公开了一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：S1、获取训练数据；S2、设计一个深度卷积神经网络用于手部检测；S3、设计一个深度卷积神经网络用于手势分类和指尖检测；S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；S6、利用连续多帧的指尖采样坐标进行文字识别。本发明提供了一种完整的空中手写和空中交互算法，实现准确鲁棒的指尖检测和手势分类从而实现第一视角空中手写和空中交互。

Description

基于级联卷积神经网络的第一视角空中手写和空中交互方法

技术领域

本发明涉及计算机视觉以及机器学习领域，特别涉及一种基于级联卷积神经网络的第一视角空中手写和空中交互方法。

背景技术

近年来，随着虚拟现实技术(VirtualReality,VR)和增强现实技术(AugmentingReality,AR)的兴起，第一视角(EgocentricVision)手势交互技术受到学术界和工业界的广泛关注，尤其是GoogleGlass、MicrosoftHololens等智能可穿戴式设备以及Oculus等虚拟现实设备的出现使得传统的人机交互方式难以适用，急需一种算法来帮助设备理解人的交互需要,如手势操作等。手势交互技术主要涉及两个方面，手势识别和关键点定位，本发明为结合手势识别和关键点定位形成的一个综合应用，即指尖检测获得采样点以及手势识别获得书写信号。假象如下使用场景：用户在不方便使用触摸屏的情境下，可以直接在空中进行第一视角手写，完成发送信息操作；用户在需要对现实画面进行某些图像操作如拍照，在不便于使用拍照设备情况下可直接利用指尖空中画圈或其他手势实现即时拍摄。

过去一些年里，关于手势交互的算法大多数考虑利用肤色先验信息或者运动时序信息，但是都只能使用在受限的实验室环境，无法适应室内室外场景变化，光照变化等因素。另外，传统的人工特征提取无法充分刻画不同使用者的肤色变化和手部姿态多样性。最近兴起的深度学习技术正好可以解决这个特征提取问题。利用善于处理视觉信息的是深度卷积神经网络(CNN)能训练出一个能够提取图像浅层特征并逐层将浅层特征通过非线性变换抽象成高级特征的神经网络。CNN方法在各种视觉分类任务，如多类别物体识别等，获得极佳表现，同时在某些回归问题，如人脸关键点检测、行人检测等任务中亦表现出非常好的效果。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，解决动态视频流里面指尖检测问题和手势识别的问题，并利用手势识别作为信号，指尖检测跟踪作为采样点集，实现一套第一视角的空中手写和空中交互方案。

为了达到上述目的，本发明采用以下技术方案：

本发明基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：

S1、获取训练数据，人工标记包含手部区域的前景区域的左上角点和右下角点，人工标记指尖所在坐标，人工标记不同手势的类别；

S2、设计一个深度卷积神经网络用于手部检测，该神经网络输入为第一视角下的单帧图像，输出为手部前景矩形的左上角坐标和右下角坐标，投入训练数据并优化欧氏范数损失函数，迭代直至参数稳定；

S3、设计一个深度卷积神经网络用于手势识别和指尖检测，该神经网络输入为仅包含手部区域的前景矩形，输出为指尖坐标和手势类别，投入训练数据并优化一个分段损失函数，迭代直至参数稳定；

S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；

S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；

S6、利用连续多帧的指尖采样坐标进行文字识别。

作为优选的技术方案，步骤S1具体为：

S1.1、通过摄像头处于人眼位置模拟第一视角，采集大规模数据，覆盖不同的场景，包括多种不同的手势，其中一种必须是单指手势而且指尖可见；

S1.2、人工标记包含手部区域的外接矩形左上角坐标和右下角坐标，人工标记手势类别，若手势为单指手势，人工标记指尖的位置；

S1.3、按照键值对的方式，配对储存图像和对应的标签真实值。

作为优选的技术方案，在所述步骤S1.1中，所采集的数据为第一视角的数据，画面包含手势。

作为优选的技术方案，在所述步骤S1.2中，所采集的数据是通过人工标价手部前景左上角坐标和右下角坐标，人工标记指尖坐标和人工标记手势类别来进行监督学习。

作为优选的技术方案，步骤S2具体为：

S2.1、合理设计一个深度卷积神经网络，包括卷积层、池化层和全卷积层，使得网络输入为三通道RGB图像，输出为两个二维坐标(x_tl，y_tl)和(x_br，y_br)，分别代表手部前景的左上角右下角；

S2.2、其应用损失函数为：

E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2}

其中p_i代表预测的坐标值，t_i代表训练样本中已经标注的坐标真实值，N代表输出坐标的个数，此处N为4，代表左上角和右下角坐标，对应的反向传播的残差为

ε_i＝p_i-t_i(1≤i≤4)

S2.3、投入训练数据并应用梯度下降法优化目标函数。

作为优选的技术方案，步骤S3具体为：

S3.1、合理设计一个深度卷积神经网络，包括卷积层，池化层，全卷积层，使得网络输入为三通道RGB图像，输出为指尖的二维坐标(x_ft，y_ft)和手势分类(c_gesture)；

S3.2、确定其损失函数，该损失函数表示为：

\begin{matrix} E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2} & c_{g e s t u r e} = c_{g r o u n d t r u t h} \end{matrix}

E＝0c_gesture≠c_groundtruth

其中p_i代表预测的坐标值，t_i代表训练样本中已经标注的坐标真实值，N代表输出坐标的个数，此处N为2，c_groundtruth代表手势类别真实值，c_gesture代表网络输出的手势，对应的反向传播的残差为：

ε_i＝p_i-t_i

S3.3、投入训练数据并应用梯度下降法优化目标函数。

作为优选的技术方案，步骤S4中，利用两层卷积神经网络级联的方法，先进行手部检测，获取较小的前景区域，再进行指尖检测和手势识别。

作为优选的技术方案，步骤S5具体为：

S5.1、判断手势类别，若为单指，记录采样点坐标序列；

S5.2、进行一个滑动窗均值滤波；

P_i＝p_i-1+p_i+p_i+1。

作为优选的技术方案，步骤S5中，对每一帧图像先进行手势识别，若为单指手势，则输出指尖坐标。

作为优选的技术方案，步骤S6中，利用平滑的采样点进行文字识别。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用了大规模数据采集人工标定的技术方案，从而能够利用深度卷积神经网络进行监督学习。

2、本发明采用了人工标定手部外接矩形坐标和指尖坐标的技术方案，从而能够利用深度卷积神经网络进行回归问题的优化训练求解。

3、本发明采用了两层级联卷积神经网络的技术方案，从而能够分两层分别着重处理不同的检测。

4、本发明采用了第一级卷积神经网络实现手部检测的技术方案，为后续的指尖检测滤除了70％以上的无用背景信息。

5、本发明采用了第二级卷积神经网络同时进行指尖检测和手势识别的技术方案，能够稳定的预测指尖的坐标同时预测手势类型

6、本发明采用了第二级卷积神经网络同时进行指尖检测和手势识别的技术方案，能够减少整体时间性能消耗。

7、本发明采用了预测指尖坐标后进行采样点平滑滤波，从而优化空中手写的视觉效果以及优化文字识别的准确率

附图说明

图1(a)-图1(b)是本发明的体验者佩戴智能眼镜的第一视角示意图；

图2是本发明第一视角采集的样本示意；

图3是本发明第一视角空中手写和交互算法流程图；

图4是本发明求解手部检测外接矩形的卷积神经网络示意图；

图5是本发明求解指尖检测和手势分类所使用的卷积神经网络示意图；

图6(a)-图6(d)是本发明优化后的卷积神经网络可视化示意图；

图7是本发明算法程序原型的连续多帧输出示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明基于级联卷积深度卷积神经网络的第一视角空中手写和空中交互方法，如图3所示，包括如下步骤：

S1、获取训练数据，人工标记包含手部区域的外接矩形(前景区域)的左上角点和右下角点，人工标记指尖所在坐标，人工标记不同手势的类别；

S1.1通过摄像头处于人眼位置模拟第一视角(如图1(a)-图1(b)所示)，采集大规模数据，覆盖不同的场景，包括多种不同的手势(如图2所示)，其中一种必须是单指手势而且指尖可见；

S1.2人工标记包含手部区域的外接矩形左上角坐标和右下角坐标，人工标记手势类别，若手势为单指手势，人工标记指尖的位置；

S1.3按照键值对的方式，配对储存图像和对应的标签真实值；

所述步骤S1.1中，所采集的数据为第一视角的数据，画面包含手势。

在所述步骤S1.2中，所采集的数据是通过人工标价手部前景左上角坐标和右下角坐标，人工标记指尖坐标和人工标记手势类别来进行监督学习。

S2、设计一个深度卷积神经网络用于手部检测，该网络输入为第一视角下的单帧图像，输出为手部前景矩形的左上角坐标和右下角坐标，投入训练数据并优化欧氏范数损失函数，迭代直至参数稳定，如图4所示；

S2.1合理设计一个深度卷积神经网络，包括卷积层，池化层，全卷积层，使得网络输入为三通道RGB图像，输出为两个二维坐标(x_tl，y_tl)和(x_br，y_br)；

S2.2应用损失函数为

E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2}

ε_i＝p_i-t_i(1≤i≤4)

S2.3、投入训练数据并应用梯度下降法优化目标函数。

S3、设计一个深度卷积神经网络用于手势识别和指尖检测，该网络输入为仅包含手部区域的前景矩形，输出为指尖坐标和手势类别，投入训练数据并优化一个分段损失函数(结合欧氏范数与交叉熵)，迭代直至参数稳定，如图5所示；

S3.1合理设计一个深度卷积神经网络，包括卷积层，池化层，全卷积层，使得网络输入为三通道RGB图像(仅包含手部区域)，输出为指尖的二维坐标(x_ft，y_ft)和手势分类(c_gesture)；

S3.2损失函数为

\begin{matrix} E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2} & c_{g e s t u r e} = c_{g r o u n d t r u t h} \end{matrix}

E＝0c_gesture≠c_gr0undtruth

其中p_i代表预测的坐标值，t_i代表训练样本中已经标注的坐标真实值，N代表输出坐标的个数，此处N为2，代表指尖坐标。c_groundtruth代表手势类别真实值，c_gesture代表网络输出的手势，对应的反向传播的残差为

ε_i＝p_i-t_i

S3.3、投入训练数据并应用梯度下降法优化目标函数，优化后卷积神经网络可视化图如图6(a)-图6(d)所示。

S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域(RegionofInterest,ROI)从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；

步骤S4中，利用两层卷积神经网络级联的方法，先进行手部检测，获取较小的前景区域，再进行指尖检测和手势识别。

S5判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；

S5.1判断手势类别，若为单指，记录采样点坐标序列

S5.2进行一个滑动窗均值滤波(此处取步长为3的例子)

P_i＝p_i-1+p_i+p_i+1；

步骤S5中，对每一帧图像先进行手势识别，若为单指手势，则输出指尖坐标。

S6利用连续多帧的指尖采样坐标进行文字识别，算法程序原型的连续多帧输出如图7所示；

步骤S6中，利用平滑的采样点进行文字识别。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，包括下述步骤：

S6、利用连续多帧的指尖采样坐标进行文字识别。

2.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S1具体为：

3.根据权利要求2所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，在所述步骤S1.1中，所采集的数据为第一视角的数据，画面包含手势。

4.根据权利要求2所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，在所述步骤S1.2中，所采集的数据是通过人工标价手部前景左上角坐标和右下角坐标，人工标记指尖坐标和人工标记手势类别来进行监督学习。

5.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S2具体为：

S2.2、其应用损失函数为：

E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2}

ε_i＝p_i-t_i(1≤i≤4)

S2.3、投入训练数据并应用梯度下降法优化目标函数。

6.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S3具体为：

S3.2、确定其损失函数，该损失函数表示为：

E = \frac{1}{N} \underset{N}{Σ} {(p_{i} - t_{i})}^{2}

c_gesture＝c_groundtruth

E＝0c_gesture≠c_groundtruth

ε_i＝p_i-t_i

S3.3、投入训练数据并应用梯度下降法优化目标函数。

7.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S4中，利用两层卷积神经网络级联的方法，先进行手部检测，获取较小的前景区域，再进行指尖检测和手势识别。

8.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S5具体为：

S5.1、判断手势类别，若为单指，记录采样点坐标序列；

S5.2、进行一个滑动窗均值滤波；

p_i＝p_i-1+p_i+p_i+1。

9.根据权利要求8所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S5中，对每一帧图像先进行手势识别，若为单指手势，则输出指尖坐标。

10.根据权利要求1所述的基于级联卷积神经网络的第一视角空中手写和空中交互方法，其特征在于，步骤S6中，利用平滑的采样点进行文字识别。