CN106529470A - 一种基于多级深度卷积神经网络的手势识别方法 - Google Patents

Abstract

本发明提供了一种基于多级深度卷积神经网络的手势识别方法，属于计算机和信息技术领域。该方法包括：(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数；(4)用二分类DNN模型群对步骤(3)得到的每个O_i进行再识别，得到识别结果Y_1,Y_2,…,Y_N；(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；(7)输出结果g″。

Description

一种基于多级深度卷积神经网络的手势识别方法

技术领域

本发明属于计算机和信息技术领域，具体涉及一种基于多级深度卷积神经网络的手势识别方法。

背景技术

深度学习神经网络能够非常有效地从大量有标签数据中深度提取数据的特征信息，充分挖掘数据的内在属性和有价值的表征数据。而深度学习的学习能力却异常强大，即使是复杂低分辨率图像也能够很好的提取出目标深度特征。基于DNN((Deep NeuralNetworks,简称DNN))的手势识别所需的图像背景并不需要固定，方法甚至在一定范围内允许运动背景的存在，从而提高了识别的环境耐受力和精细度。

手部有非常多的关节，需要非常强的识别能力才可以准确的识别每个精细动作,而深度学习模型的多隐藏层结构使得模型能有效利用海量数据进行训练，所使用数据越多模型性能越高。

在同一个手势库中，如果手势类型比较多，无论是基于传统特征检测的手势识别方法还是基于DNN机器学习算法，识别率的提高都极具挑战性。主要原因是：(1)存在大量相似性手势；(2)手势本身具有柔性，使得即使是同一个手势往往也会有差别比较大的图像特征；(3)受光线的影响，手势图像本身噪声干扰往往比较大，使得手势图像的分割误差比较大。这些原因导致手势识别率的提高极具挑战性，尤其是在手势类型多的条件下。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于多级深度卷积神经网络的手势识别方法，提高手势识别的精确度。

本发明是通过以下技术方案实现的：

一种基于多级深度卷积神经网络的手势识别方法，包括：

(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；

(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；

(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数；

(4)用二分类DNN模型群对步骤(3)得到的每个O_i进行再识别，得到识别结果Y_1,Y_2,…,Y_N；

(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；

(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；

(7)输出结果g″。

所述步骤(3)中的输入手势g是这样实现的：

把人手从背景中分割出来，即将每个帧的图像分别与背景图像相减，得到输入手势g。

所述步骤(3)中的DNN混合模型群是这样实现的：

把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模型，得到DNN混合模型群。

所述步骤(3)中的并行识别是这样实现的：

将同一个手势同时输入到不同的DNN模型独立地进行识别，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数。

所述步骤(4)中的二分类DNN模型群这样实现的：

对每一个手势训练出一个DNN模型，但该模型只进行二分识别，即当且仅当二分DNN模型的判断结果表示其输入手势就是该手势时，其输出结果才为1。

所述步骤(5)是这样实现的：

对Y_1,Y_2,…,Y_N这N个输出结果，选择其值为1所对应的手势即为识别结果g′。

所述步骤(6)是这样实现的：

(61)将g设为输入手势i，g′设为输出手势j，计算输入手势i和输出手势j的特征误差δi，j；

(62)如果||δi，j||≤σ1且||pi，j||＜σ2，则判定输出手势j是正确的；其中，pi,j表示手势i被误识为手势j的概率，该值可以通过统计等常规概率分析方法得到。

(63)判定j是错误的，则i一定是正确的。

σ1、σ2是经验值，通过实验得到合适的值。

所述步骤(61)采用下式计算输入手势i与输出手势j的特征误差δi，j：

δ_i，j＝||Feature-Map(i)-Feature-Map(j)||

(1)

其中，Feature-Map(i)表示手势i的DNN模型中最后一个池化层的图像特征向量，该特征向量是这样组成的：把所述池化层图像从上到下、从左到右依次组装成一个一维向量。

与现有技术相比，本发明的有益效果是：

(a)通过把容易误识的手势分散到不同的手势类集合中，有效地避免了相似手势对识别结果的干扰，确保在初次识别中可以把正确的手势筛选出来。

(b)采用二分DNN模型验证每一个筛选出来的手势与方法的输入手势是否是同一个手势，可以有效排除柔性或形变手势的干扰，排除图像分割误差的干扰，准确感知或识别输入手势。

(c)与现有方法不同，提出检测错误手势和自动修正错误手势的方法，确保手势识别率。方法能够自动评价检测结果，自动检测识别结果的正确与错误，是本发明方法的重要特点之一。

(d)由于采用多层次、多数据库、多DNN模型以及大数据等技术，使得系统在识别率、时间开销等总体性能方面达到综合平衡。

附图说明

图1本发明方法的步骤框图；

图2 DNN结构图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明将庞大的手势库分布在不同的子库中，将区别特征大的手势放在同一个子库中，将区别特征小的手势放在不同的子库中。通过反复训练每个深度神经网络，使得每个DNN对于相应子库的识别率达到最高；再通过采用多库并行识别和融合技术，筛选出错误识别的手势；进一步根据无法识别的手势反复调整手势在各个子库之间的分布，直到手势的整体识别率达到预期目标为止(图1)。本发明通过多层次、自分布多数据库、多DNN模型以及大数据等技术确保大规模手势类型的识别率。

M个手势类(其中每个手势类由大量手势样本构成)组成一个大数据手势库Big_DataSet，把该手势数据库分布到不同的数据集上。首先，把整个手势训练库分为若干个混合子数据库(Mix_DataSet)。其次，在各个子库上对深度神经网络进行训练(每个子数据库上可以训练出一个DNN模型，于是多个子数据库产生多个DNN模型，这些DNN模型形成的集合就称为DNN混合模型群)，使得在各个子库中的类内和类间的识别率最高，达到类优化分布的目的。然后，对每种手势建立子数据库Bin_DataSet，并在每个子数据库上进行训练，得到基于二分类的DNN识别模型，进一步对基于类优化分布的DNN模型识别结果进行二分识别，如图1所示。在图1所示的多层次识别框架中，DNN(i)表示基于子数据库Mix_DataSet(i)的深度神经网络模型，O_i表示DNN(i)的输出手势编码，DNN-O_i(g)表示基于数据库Bin_DataSet(O_i)的深度神经网络模型对手势g进行识别。

本发明方法如图1所示，包括：

输入：(a)人体图像I；(b)手势g

输出：给出g的识别结果g”

(1)把当前人体图像I送入人体态势感知DNN(DNN是一个成熟的结构，如图2所示。)；输入的是人体bmp位图数据；

(2)判断人体是否处于操作态势(人体的操作态势可以通过对DNN模型进行学习训练而得到，首先，人在摄像头前做各种姿势，然后把所有姿势分为2类进行标记：手势操作态势和非操作态势，进一步用DNN模型对这两类姿态进行训练学习，得到稳定的DNN结构。这样，每个样本可以通过该DNN模型进行分类识别)，若是，转步骤(3)若不是，转步骤(1)；

(3)把输入手势g(用减背景技术把人手从背景中分割出来，即每个帧图像都与背景图像相减，得到手势g。)同时送往DNN混合模型群(把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模型，就得到DNN混合模型群)进行并行识别(并行识别就是把同一个手势同时输入到不同的DNN模型独立地进行识别)，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数)；

(4)用二分类DNN模型群(对每一个手势训练出一个DNN模型，但该模型只进行二分识别，即判断输入手势是不是某一种特定的手势。例如，假设DNN-O(palm)为识别包袱手势的一个二分类DNN模型，则在所有不同的手势输入中，它只能把包袱手势识别出来。得到一个二分类DNN模型的方法是：采用DNN结构，利用监督学习方法把所有输入手势分为两类，得到DNN结构的训练参数)对每个O_i进行再识别(因为在第(3)步已经用DNN模型识别过一次了，本步骤进行再次识别，从而发现第(3)步可能存在的错误。例如，假设第(3)步识别出的手势为包袱手势，本步骤进一步用二分DNN模型确认它是不是包袱手势。该步骤的处理依然是识别，与步骤(3)的差别在于DNN模型，前者可以识别多个不同手势，后者只能识别一种手势)，得到识别结果Y_1,Y_2,…,Y_N；

(5)对Y_1,Y_2,…,Y_N进行评价(具体方法是：对Y_1,Y_2,…,Y_N这N个输出结果，选择其值为“1”所对应的手势。当且仅当二分DNN模型的判断结果表示其输入手势就是该手势时，其输出结果才为“1”。例如，假设N＝4,输入手势为包袱手势，经过第一级DNN混合模型群产生4个输出结果：剪刀手势，拳头手势，包袱手势，胜利手势；这4种手势通过二分DNN模型群，对应的输出结果为0,0,1,0。可见，第3个二分DNN模型验证了该二分DNN模型的输入手势就是包袱手势)，得到识别结果g′；

(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；

(7)输出结果g″。

首先，当不同手势类图像毫无相似之处时，类间距离最大，此时，识别率最高，通过训练第一级DNN模型群，使得手势的识别率达到最高，进而达到Mix_DataSet中类间距离最大的目的。

其次，一级DNN混合模型群可以将手势以大概率误识出来。每个DNN模型可以输出一个与输入手势最接近的手势编号，正确的手势编号一定在这N个结果中。为了在N个结果中把“正确”的手势找出来，采用二级DNN识别模型群，它是通过对每个数据库Bin_DataSet上进行训练而得到的DNN群(每个手势编号对应一个DNN模型)。每个二分DNN模型的基本功能是“自己把自己识别出来”，即二级DNN识别模型的主要任务是输入手势与某个DNN模型所对应的手势是同一个手势。例如，假设一级DNN模型识别结果的手势编号是3#,8#,23#，输入手势为图像序列g。二级DNN识别模型就是通过逐一验证“3#是不是g”、“8#是不是g”以及“23#是不是g”命题筛选出唯一的“正确”手势。之所以这里的“正确”加引号，是因为通过前面二级DNN模型识别群，仍然有误识的可能。为此，接下来的工作是进一步排除识别结果的可能错误，并对错误进行自动纠正，得到最终识别结果。

基于二分类(只有一个类)的DNN模型识别，对手势进行二分类识别。对于M个手势类，在每类手势上进行训练，得到DNN-O模型(其中，O是手势模型编号)。通过DNN-O模型，判断两个手势是不是相同。

最后，把各通道{Y_1,Y_2,…,Y_N}结果选择出一个手势(即N选一)作为二级DNN模型的输出值。

错误检测与纠正具体如下：

误识手势DNN特征分析

尽管采用大数据进行训练学习DNN模型，使得识别率得到极大提升。但是，由于手势识别的复杂性和特殊性，仍然可能对手势产生误识别。下面主要从正确手势与误识手势之间的联系线索，对错误检测和错误纠正两个基本问题进行分析。

收集50个手势中所有正确手势与误识手势的特征进行大数据分析，有一个非常有趣的发现：正确手势与误识手势之间存在联系线索，且这些线索具有明显的统计分布特性。

误识的手势检测与修正方法如下：

基于上述发现，首先建立误识手势特征池(Feature Pool for MisrecognizedGesture,FPMG)，该特征池用两个矩阵描述。第一个矩阵叫误识概率矩阵P。该矩阵的元素pi,j描述把手势i误识为手势j的概率分布模型。另一个矩阵叫误识手势的特征误差矩阵E。该矩阵的元素δi,j描述手势i误识为手势j的特征误差分布模型。这里的特征是指训练出的DNN模型中在最后池化层的特征向量。手势i误识为手势j的特征误差定义为：

δi，j＝||Feature-Map(i)-Feature-Map(j)||

(1)

其中，Feature-Map(i)表示手势i的DNN模型中最后一个池化层的图像特征向量，该特征向量是这样组成的：把所述池化层图像从上到下、从左到右依次组装成一个一维向量。

步骤(6)利用FPMG就可以进行错误检测和错误纠正，具体包括：

输入：(a)输入手势i；(b)输出手势j；

输出：(a)手势j是否正确；(b)如果j错误，给出j的修复值。

(1)按照式子(1)计算输入手势i与输出手势j的特征误差δi，j；

(2)如果||δi，j||σ1且||pi，j||＜σ2，返回(TRUE,j)，即j是正确的；

(3)返回(FALSE,i)。

σ1、σ2是经验值，通过实验得到合适的值。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (8)

1.一种基于多级深度卷积神经网络的手势识别方法，其特征在于：所述方法包括：

(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；

(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；

(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数；

(4)用二分类DNN模型群对步骤(3)得到的每个O_i进行再识别，得到识别结果Y_1,Y_2,…,Y_N；

(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；

(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；

(7)输出结果g″。

2.根据权利要求1所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的输入手势g是这样实现的：

把人手从背景中分割出来，即将每个帧的图像分别与背景图像相减，得到输入手势g。

3.根据权利要求2所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的DNN混合模型群是这样实现的：

把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模型，得到DNN混合模型群。

4.根据权利要求3所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的并行识别是这样实现的：

将同一个手势同时输入到不同的DNN模型独立地进行识别，得到识别结果O₁,O₂,…,O_N，其中，N是混合模型群中DNN的个数。

5.根据权利要求4所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(4)中的二分类DNN模型群这样实现的：

对每一个手势训练出一个DNN模型，但该模型只进行二分识别，即当且仅当二分DNN模型的判断结果表示其输入手势就是该手势时，其输出结果才为1。

6.根据权利要求5所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(5)是这样实现的：

对Y_1,Y_2,…,Y_N这N个输出结果，选择其值为1所对应的手势即为识别结果g′。

7.根据权利要求6所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(6)是这样实现的：

(61)将g设为输入手势i，g′设为输出手势j，计算输入手势i和输出手势j的特征误差δi，j；

(62)如果||δi，j||＜σ1且||pi，j||≤σ2，则判定输出手势j是正确的；其中，pi,j表示手势i被误识为手势j的概率，σ1、σ2是经验值；

(63)判定j是错误的，则i一定是正确的。

8.根据权利要求7所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(61)采用下式计算输入手势i与输出手势j的特征误差δi，j：

δi，j＝||Feature-Map(i)-Feature-Map(j)||

(1)

其中，Feature-Map(i)表示手势i的DNN模型中最后一个池化层的图像特征向量，该特征向量是这样组成的：把所述池化层图像从上到下、从左到右依次组装成一个一维向量。