CN108960171A - 一种基于特征迁移学习的转换手势识别到身份识别的方法 - Google Patents

Abstract

本发明公开了一种基于特征迁移学习的转换手势识别到身份识别的方法，属于模式识别和生物识别技术领域。本发明的主要步骤包括：步骤1、制作同时包含手势类型标签和用户身份标签的手势训练集；步骤2、构建手势识别网络和特征迁移网络模型；步骤3、基于制作的数据集，训练手势识别网络；步骤4、基于制作的数据集，训练特征迁移网络；步骤5、依据学习的特征迁移网络模型参数，输入一个动态手势，识别出对应的用户身份。本发明提出基于双向门限循环网络的手势识别网络，并采用特征迁移网络将手势识别转换到身份识别，在信息安全、医学防尘等领域有着广泛的应用前景。

Description

一种基于特征迁移学习的转换手势识别到身份识别的方法

技术领域

本发明属于模式识别与生物识别技术领域，更具体地说，涉及一种基于特征迁移学习的转换手势识别到身份识别的方法。

背景技术

随着科技和信息的高速发展，社会安全和信息安全显示出前所未有的重要性，人们急需一些快速有效的身份识别技术作为安全保障。已有的身份识别技术按照信息来源可以划分为基于口令或标记的密码技术和基于生物特征的生物识别技术。

基于口令的身份识别方法通过识别用户预设的一组用户名-密码组合，判断当前用户的登入权限，如邮箱、微信、博客等电子账号的登录；基于标记的身份识别方法依赖于某种个人持有物品进行身份的识别，例如个人身份证、电子门禁卡等；基于生物识别技术的身份识别方法是指利用用户本身所特有的一些生物特征确认其身份信息，生物特征主要分为静态生物特征(如人脸、指纹、虹膜等)和动态生物特征(如步态、手势、打字节奏等)。

以密码技术为核心的身份识别方法存在着密码难记忆、易丢失、易模仿等缺陷，不利于信息的保护。而目前主流的人脸识别、指纹识别等基于静态生物特征的身份识别技术，随着3D打印、指纹复制等相关技术的快速发展，存在着静态生物特征被非法模仿盗用的风险，极大的威胁着用户的信息安全。因此，近年来，出现一些基于动态生物特征的生物识别技术，例如步态识别、打字节奏识别、手势身份识别等，这些身份识别方法通过区分运动行为方式来识别用户的身份。相对于静态生理特征，个体的行为特征是动态的、变化的，更加难以模仿和伪造。

相对于其它的动态生物特征，手势作为已有的交互式语言，基于手势的用户身份识别的一大优点在于手势本身也能够表达丰富的行为信息。这意味着一个单独的动态手势样本不仅包含手势本身表达的信息，同时还包含着用户的身份信息。因此，基于动态生物特征的生物识别技术逐渐成为身份识别研究的热门方向。然而，已有的大量手势识别研究成果偏向于手势类型的识别，忽略了手势包含的用户身份信息；少数对于手势身份识别的研究，也仅仅是基于手工特征提取和模板匹配等传统方法的探索，方法的实用性大大降低。

经检索，现有技术中关于手势识别的技术方案已有很多，如中国专利申请号201610544532.0，专利名称：一种云环境下的智能手机用户透明认证方法，该申请案包括以下步骤：(1)触屏手势数据采集；(2)原始手势数据处理；(3)用户手势特征提取；(4)添加随机样本隐藏用户个人数据；(5)模型训练及参数输出；(6)输入触屏手势数据输出判定结果。该申请案通过采用增量学习的方法来识别用户触屏手势习惯以透明地认证智能手机的拥有者，保证了认证过程的安全性，但该申请案同样没有考虑手势包含的用户身份信息，虽然已能满足手机用户认证，但就方案整体来说仍有较大局限性。

基于以上分析，现有技术需要一种能够将已有手势识别技术转换到身份识别任务中的方法。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服上述手势识别技术存在的问题，提供了一种基于特征迁移学习的转换手势识别到身份识别的方法；本发明通过利用双向门限循环网络，加强网络对手势特征的学习能力，并利用特征迁移的方法，将手势识别模型学习到的动态手势特征转换到身份识别任务中，能够有效地利用用户的动态手势识别出对应的用户身份信息。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于特征迁移学习的转换手势识别到身份识别的方法，其步骤为：

步骤1、采集用户动态手势数据，制作同时包含手势类型标签和用户身份标签的手势训练集；

步骤2、构建神经网络模型：包含一个手势识别网络和一个将手势特征迁移到身份识别任务中的特征迁移网络。其中，特征迁移网络与手势识别网络具有相同的特征提取层结构，并共享网络参数；

步骤3、依据步骤1中获得的手势训练集和步骤2中构建的手势识别网络，进行手势识别网络的训练，调整模型参数；

步骤4、依据步骤1中获得的手势训练集和步骤2中构建的特征迁移网络，进行特征迁移网络的训练，调整特征迁移层的模型参数；

步骤5、将用户的一组手势数据输入特征迁移网络，利用步骤4学习到的网络参数识别出该用户的身份标签。

更进一步的，步骤1制作包含手势类型标签和用户身份标签的手势训练集的过程为：

使用Microsoft Kinect v2传感器采集用户动态手势数据，捕获用户全身25个关节的三维位置序列，得到该动态手势对应的关节数据样本；然后通过人工标记的方法记录每个手势数据样本对应的手势类型标签和用户身份标签；接着，将所有手势关节数据样本缩放到相同的帧数，其中，样本缩放后的帧索引i与样本缩放前的帧索引index_i之间的对应关系如公示(1)所示：

式中L表示该手势样本缩放前的总帧数，N表示该手势样本缩放后的总帧数。最后，将缩放后的手势关节数据和记录的用户身份标签和手势类型标签对应起来，得到同时包含手势类型标签和用户身份标签的动态手势数据集合。

更进一步的，步骤2中构建一个基于双向门限循环网络的4层手势识别网络，网络的前3层为特征提取层，第4层为手势识别输出层。其中，第1层为全连接层，包含512个网络节点；第2层和第3层分别为双向门限循环网络结构的前向层和后向层，均包含的512个网络节点；第4层为输出层，该层的网络节点个数与手势类型数目相同。网络的输入为手势关节数据，输出为该手势对应的手势类型标签。该网络学习动态手势的关节数据与手势类型标签之间的映射关系，如公示(2)所示：

y_g＝f(x,θ_g1,θ_g2,θ_g3,θ_g4) (2)

式中，x和y_g分别为输入的手势关节数据和输出的手势类型标签，θ_g1,θ_g2,θ_g3,θ_g4分别为各层学习到的模型参数，用于之后的特征迁移模型部分层的参数初始化。

更进一步的，步骤2中构建的特征迁移网络和手势识别网络具有相同的特征提取层。具体的说，特征迁移网络的前3层与手势识别网络的前3层的网络结构相同，并且共享参数。

更进一步的，步骤2中构建一个5层的特征迁移网络，网络的前3层为特征提取层，该层与手势识别网络的前3层具有相同的网络结构；特征迁移网络的第4层为特征迁移层，为全连接结构，包含1024个网络节点；特征迁移网络的第5层为身份识别输出层，该层的网络节点个数与用户数目相同。网络的输入为手势关节数据，输出为该手势对应的用户身份标签。该网络学习动态手势特征与用户身份标签之间的映射关系，如公示(3)所示：

y_user＝f(x,θ_g1,θ_g2,θ_g3,θ_t4,θ_t5) (3)

式中，x和y_user分别为输入的手势关节数据和输出的用户类型标签，θ_g1,θ_g2,θ_g3为训练好的手势识别网络的前3层网络参数，θ_t4,θ_t5为特征迁移网络的第4层和第5层网络参数。在特征迁移网络训练时，特征迁移网络的前3层网络与手势识别网络共享参数θ_g1,θ_g2,θ_g3，不参与参数更新，仅学习第4层和第5层的网络参数θ_t4,θ_t5，用于将手势识别转换到身份识别中。

更进一步的，步骤2中构建的手势识别网络和特征迁移网络的网络输出层激活函数均采用soft-max函数，如公示(4)表示：

其中x为soft-max函数的输入向量，K为输出层的节点个数，j∈(1,K)为当前输出节点的索引，为输出层第j个节点的soft-max函数输出，表示预测的手势类别或身份类别的概率分布。

更进一步的，步骤2中构建的手势识别网络和特征迁移网络的网络训练损失函数均采用交叉熵表示，如公示(5)表示：

其中，N为网络输入数据的批量大小，y_n和分别表示第n个样本的真实概率分布和预测的概率分布。

更进一步的，步骤3或4利用Tensorflow深度学习库进行网络的训练,并采用梯度下降算法来更新网络参数，如公示(6)表示：

其中，表示网络的第l层参数在第i次权重更新后的值，η为设定的学习率，为参数下当前网络层的输出代价。

在训练过程中，通过指定迭代次数来进行网络参数更新。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的基于特征迁移学习的转换手势识别到身份识别的方法，提出了一种有效的手势识别网络模型，考虑到用户的手势关节数据为一种典型的序列数据，采用了基于循环神经网络理念的双向门限循环网络模型，同时学习动态手势序列的前向和后向信息，能够显著提高手势识别网络的性能，有效的提取手势特征。

(2)本发明的基于特征迁移学习的转换手势识别到身份识别的方法，将训练好的手势识别网络作为手势特征提取模型，采用特征迁移的方法，利用一个全连接层和身份识别输出层将手势特征映射到身份识别任务中，有效地实现了将手势识别转换到身份识别。

(3)本发明的基于特征迁移学习的转换手势识别到身份识别的方法，使用非接触式的视觉传感器采集用户信息，并且特征迁移模型为端到端的映射方式，用户身份识别时间大大缩短，在信息安全、医学防尘等领域有着广泛的应用前景。

附图说明

图1是本发明的基于特征迁移的将手势识别转换到身份识别的方法流程图；

图2是本发明的数据集制作流程图；

图3是本发明中手势识别网络和特征迁移网络的模型结构图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图1，本实施例的一种基于特征迁移学习的转换手势识别到身份识别的方法，具体包括以下步骤：

步骤1、制作同时包含手势类型标签和用户身份标签的手势训练集，具体步骤如图2所示，即：

使用Microsoft Kinect v2传感器采集用户动态手势数据，捕获用户全身25个关节的三维位置(x,y,z)序列，得到该动态手势对应的关节数据样本。其中全身25个关节依次为：脊柱尾端、脊柱中心、颈、头、左肩、左肘、左手腕、左手、右肩、右肘、右手腕、右手、左髋、左膝、左脚踝、左脚、右髋、右膝、右脚踝、右脚、脊柱顶端、左手尖、左拇指、右手尖和右拇指；然后通过人工标记的方法记录每个手势数据样本对应的手势类型标签和用户身份标签。例如，传感器采集到了用户“张三”进行“右手画O”的手势数据，则该手势对应的手势类型标签为“右手画O”，对应的用户身份标签为“张三”；接着，鉴于手势识别网络和特征迁移网络是一种固定的模型结构，需要保证每个输入手势样本的尺度相同，因此需要将所有手势关节数据样本缩放到相同的帧数。而手势样本的缩放会不同程度的丢失手势信息，在本实施例中，通过实验证明，缩放尺度设定为65帧时，能够减少手势信息的丢失，提高网络性能。其中，样本缩放后的帧索引i与样本缩放前的帧索引index_i之间的对应关系如公示(1)所示：

式中，L表示该手势样本缩放前的总帧数，N表示该手势样本缩放后的总帧数，在本实施例中，N＝65。最后，将缩放后的手势关节数据和记录的用户身份标签和手势类型标签对应起来，得到同时包含手势类型标签和用户身份标签的动态手势数据集合。

步骤2、构建神经网络模型：包含一个手势识别网络模型和一个将手势特征迁移到身份识别任务中的特征迁移网络模型。其中，特征迁移网络模型与手势识别网络模型具有相同的特征提取层结构，并共享网络参数，具体网络结构参见图3。

2-1、构建一个基于双向门限循环网络的4层手势识别网络模型，网络模型的前3层为特征提取层，第4层为手势识别输出层。其中，第1层为全连接层，包含512个网络节点；第2层和第3层分别为双向门限循环网络结构的前向层和后向层，均包含512个网络节点；第4层为输出层，该层的网络节点个数与手势类型数目相同。网络模型的输入为手势关节数据，输出为该手势对应的手势类型标签。该网络模型学习动态手势的关节数据与手势类型标签之间的映射关系，如公示(2)所示：

y_g＝f(x,θ_g1,θ_g2,θ_g3,θ_g4) (2)

式中，x和y_g分别为输入的手势关节数据和输出的手势类型标签，θ_g1,θ_g2,θ_g3,θ_g4分别为各层学习到的网络参数，用于之后的特征迁移网络模型部分层的参数初始化。

2-2、构建一个5层的特征迁移网络模型，网络的前3层为特征提取层，该层与手势识别网络模型的前3层具有相同的网络结构；特征迁移网络模型的第4层为特征迁移层，为全连接结构，包含1024个网络节点；特征迁移网络模型的第5层为身份识别输出层，该层的网络节点个数与用户数目相同。网络模型的输入为手势关节数据，输出为该手势对应的用户身份标签。该网络模型学习动态手势特征与用户身份标签之间的映射关系，如公式(3)所示：

y_user＝f(x,θ_g1,θ_g2,θ_g3,θ_t4,θ_t5) (3)

式中，x和y_user分别为输入的手势关节数据和输出的用户类型标签，θ_g1,θ_g2,θ_g3为训练好的手势识别网络模型的前3层网络参数，θ_t4,θ_t5为特征迁移网络模型的第4层和第5层网络参数。在特征迁移网络模型训练时，特征迁移网络模型的前3层网络与手势识别网络共享参数θ_g1,θ_g2,θ_g3，不参与参数更新，仅学习第4层和第5层的网络参数θ_t4,θ_t5，用于将手势识别转换到身份识别中。

2-3、手势识别网络和特征迁移网络的网络输出层激活函数均采用soft-max函数，如公示(4)表示：

其中x为soft-max函数的输入向量，K为输出层的节点个数，j∈(1,K)为当前输出节点的索引，为输出层第j个节点的soft-max函数输出，表示预测的手势类别或身份类别的概率分布。

手势识别网络和特征迁移网络的网络训练损失函数均采用交叉熵表示，如公示(5)表示：

其中，N为网络输入数据的批量大小，y_n和分别表示第n个样本的真实概率分布和预测的概率分布。

步骤3、依据步骤1中获得的手势训练集和步骤2中构建的手势识别网络模型，进行手势识别网络模型的训练，调整模型参数。

利用Tensorflow深度学习库构建手势识别网络模型。在网络训练过程中，批量输入手势样本数据和对应的手势类型标签，得到网络的预测手势类型和实际手势类型之间的交叉熵损失，如公式(5)所示。并采用梯度下降算法降低交叉熵损失，从而更新网络参数，如公示(6)表示：

其中，表示网络的第l层参数在第i次权重更新后的值，η为设定的学习率，为参数下当前网络层的输出代价。

在网络的训练过程中，通过指定迭代次数来进行网络参数更新。在本实施例中，手势识别网络的学习率设定为0.0005，选取手势类型标签监督网络的训练，最终训练好的手势识别网络参数，包含θ_g1,θ_g2,θ_g3,θ_g4四层网络的参数。

步骤4、依据步骤1中获得的手势训练集和步骤2中构建的特征迁移网络，进行特征迁移网络模型的训练，调整特征迁移层的模型参数。

利用Tensorflow深度学习库构建手势识别网络模型。在网络训练过程中，批量输入手势样本数据和对应的用户身份标签。并采用梯度下降算法降低交叉熵损失，从而更新网络参数，如公示(6)所示。

在网络的训练过程中，通过指定迭代次数来进行网络参数更新。在本实施例中，选取用户身份标签监督特征迁移网络的训练，并且为了使得梯度下降算法较好的更新网络参数，网络的学习率设定为0.0005。网络训练时，θ_g1,θ_g2,θ_g3共享训练好的手势识别网络参数，即此3层参数不参与更新，仅更新特征迁移网络的后两层参数θ_t4,θ_t5。最终训练好的特征迁移网络参数，包含θ_g1,θ_g2,θ_g3,θ_t4,θ_t5五层网络的参数。

步骤5、将用户的一组手势数据输入特征迁移网络，利用步骤4学习到的网络参数识别出该用户的身份标签。

按照步骤1的方法制作手势数据集，数据集包含60个人的3种手势，分别为：右手画’O’、左手画’V’和双手击掌，每种手势采集20次。即最终的手势数据集包含3600个动态手势样本，对应3种手势类型标签和60种用户身份标签。在本实施例中，随机选取每个用户的每种手势样本14个加入手势训练集，剩余的手势样本加入手势测试集。因此手势训练集包含2520个手势样本，测试集包含1080个手势样本。利用测试集按照步骤3和4完成手势识别网络和特征迁移网络的训练后，训练好的特征迁移网络对1080个手势样本的身份识别准确率为88.74％，取得了良好的身份识别效果。

因此，实施例1所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，采用双向门限循环网络进行手势识别与手势特征提取，利用一个全连接层和身份识别输出层将手势特征映射到身份识别任务中。有效地实现了将手势识别转换到身份识别。且该方法使用非接触式的视觉传感器采集用户信息，并且特征迁移模型为端到端的映射方式，用户身份识别时间大大缩短，有利于手势识别模型的参数复用，在信息安全、医学防尘等领域有着广泛的应用前景。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (10)

1.一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于，其步骤为：

步骤1、采集用户动态手势数据，制作同时包含手势类型标签和用户身份标签的手势训练集；

步骤2、构建神经网络模型，该神经网络模型包含一个手势识别网络模型和一个将手势特征迁移到身份识别任务中的特征迁移网络模型；其中，特征迁移网络模型与手势识别网络模型具有相同的特征提取层结构，并共享网络参数；

步骤3、依据步骤1中获得的手势训练集和步骤2中构建的手势识别网络模型，进行手势识别网络模型的训练，调整模型参数；

步骤4、依据步骤1中获得的手势训练集和步骤2中构建的特征迁移网络模型，进行特征迁移网络模型的训练，调整特征迁移层的模型参数；

步骤5、将用户的一组手势数据输入特征迁移网络模型，利用步骤4学习到的网络参数识别出该用户的身份标签。

2.根据权利要求1所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤1制作包含手势类型标签和用户身份标签的手势训练集的过程为：

采集用户动态手势数据，捕获用户全身25个关节的三维位置序列，得到该动态手势对应的关节数据样本；然后记录每个手势数据样本对应的手势类型标签和用户身份标签；接着，将所有手势关节数据样本缩放到相同的帧数，其中，样本缩放后的帧索引i与样本缩放前的帧索引index_i之间的对应关系如公示(1)所示：

式中，L表示该手势样本缩放前的总帧数，N表示该手势样本缩放后的总帧数；

最后，将缩放后的手势关节数据和记录的用户身份标签和手势类型标签对应起来，得到同时包含手势类型标签和用户身份标签的动态手势数据集合。

3.根据权利要求1或2所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤2中构建一个基于双向门限循环网络的4层手势识别网络模型，手势识别网络模型的前3层为特征提取层，第4层为手势识别输出层；其中，第1层为全连接层，包含512个网络节点；第2层和第3层分别为双向门限循环网络结构的前向层和后向层，均包含512个网络节点；第4层的网络节点个数与手势类型数目相同。

4.根据权利要求3所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：手势识别网络模型的输入为手势关节数据，输出为该手势对应的手势类型标签；该网络学习动态手势的关节数据与手势类型标签之间的映射关系，如公示(2)所示：

y_g＝f(x,θ_g1,θ_g2,θ_g3,θ_g4) (2)

式中，x和y_g分别为输入的手势关节数据和输出的手势类型标签，θ_g1,θ_g2,θ_g3,θ_g4分别为各层学习到的网络参数。

5.根据权利要求3所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤2中构建的特征迁移网络模型的前3层与手势识别网络的前3层的网络结构相同，并且共享参数。

6.根据权利要求4所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤2中构建一个5层的特征迁移网络模型，特征迁移网络模型的前3层与手势识别网络的前3层的网络结构相同，并且共享参数；特征迁移网络模型的第4层为特征迁移层，为全连接结构，包含1024个网络节点；第5层为身份识别输出层，该层的网络节点个数与用户数目相同。

7.根据权利要求6所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：特征迁移网络模型的输入为手势关节数据，输出为该手势对应的用户身份标签；该网络学习动态手势特征与用户身份标签之间的映射关系，如公示(3)所示：

y_user＝f(x,θ_g1,θ_g2,θ_g3,θ_t4,θ_t5) (3)

式中，x和y_user分别为输入的手势关节数据和输出的用户类型标签，θ_g1,θ_g2,θ_g3为训练好的手势识别网络模型的前3层网络参数，θ_t4,θ_t5为特征迁移网络模型的第4层和第5层网络参数。

8.根据权利要求7所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤2中构建的手势识别网络和特征迁移网络的网络输出层激活函数均采用soft-max函数，如公示(4)表示：

其中，x为soft-max函数的输入向量；K为输出层的节点个数，j∈(1,K)为当前输出节点的索引，为输出层第j个节点的soft-max函数输出，表示预测的手势类别或身份类别的概率分布。

9.根据权利要求8所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤2中构建的手势识别网络和特征迁移网络的网络训练损失函数均采用交叉熵表示，如公示(5)表示：

其中，N为网络输入数据的批量大小，y_n和分别表示第n个样本的真实概率分布和预测的概率分布。

10.根据权利要求9所述的一种基于特征迁移学习的转换手势识别到身份识别的方法，其特征在于：步骤3或4利用Tensorflow深度学习库进行网络的训练，并采用梯度下降算法来更新网络参数，如公示(6)表示：

其中，表示网络的第l层参数在第i次权重更新后的值，η为设定的学习率，为参数下当前网络层的输出代价。