CN112200124A - 融合多任务软生物特征的深度网络掌纹识别方法及系统 - Google Patents

Abstract

本发明公开一种融合多任务软生物特征的深度网络掌纹识别方法及系统，涉及掌纹识别技术领域，该方法包括：获取待识别手部图像；将待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像；将待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到待识别手掌感兴趣区域图像的身份信息；在掌纹身份识别网络的训练过程包括：以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络。本发明提供的方法及系统可以明显提高掌纹识别的准确率。

Description

融合多任务软生物特征的深度网络掌纹识别方法及系统

技术领域

本发明涉及掌纹识别技术领域，特别是涉及一种融合多任务软生物特征的深度网络掌纹识别方法及系统。

背景技术

目前深度学习在掌纹身份识别领域已经取得较高精度，但仍可以进一步提升。结合软生物特征识别提升生物特征身份识别精度的研究已有成功案例，但在掌纹模态识别领域，掌纹软生物特征识别与掌纹身份识别相结合的研究极少，值得深入研究。

近年来，人们逐渐认识和重视软生物特征识别的重要作用和意义，并在不同领域展开了相关研究。软生物特征与身份识别结合在其他领域已经得到重视。通过验证，充分结合软生物特征和生物特征身份信息，可以发挥信息互补性，提高身份识别准确率。

对于不同模态的生物特征(例如人脸、指纹等)，融合软生物特征的方法和难点不同，面临的问题也不同。不同的生物模态具有不同的软生物特征属性，例如掌纹软生物特征具有左右手属性，而人脸则不具备这一属性。为此，针对掌纹生物特征模态，需要专门深入研究并精心设计结合软生物特征识别提升生物特征身份识别精度的先进方案。

发明内容

本发明的目的是提供一种融合多任务软生物特征的深度网络掌纹识别方法及系统，以提高掌纹身份识别的准确率。

为实现上述目的，本发明提供了如下方案：

一种融合多任务软生物特征的深度网络掌纹识别方法，包括：

获取待识别手部图像；

将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像；

将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息；

所述掌纹身份识别网络的具体训练过程包括：

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息；

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。

可选的，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络，具体包括：

判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果；

若所述第一判断结果为是，则将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络；

若所述第一判断结果为否，则更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

可选的，在以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练之前，还包括：

将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重；

将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重；

将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重；

将掌纹身份识别网络中的第五全连接层的权重随机初始化。

可选的，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络，具体包括：

判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果；

若所述第二判断结果表示为是，则将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络；

若所述第二判断结果表示为否，则更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

一种融合多任务软生物特征的深度网络掌纹识别系统，其特征在于，包括：

图像获取模块，用于获取待识别手部图像；

预处理模块，用于将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像；

网络识别模块，用于将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息；

所述网络识别模块包括掌纹身份识别网络训练子模块，所述掌纹身份识别网络训练子模块具体包括：

多任务软生物特征识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息；

掌纹身份识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。

可选的，所述多任务软生物特征识别网络训练单元，具体包括：

第一判断子单元，用于判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果；

第一网络确定子单元，用于当所述第一判断结果为是时，将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络；

第一更新子单元，用于当所述第一判断结果为否时，更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

可选的，所述掌纹身份识别网络训练子模块，还包括：

卷积结构初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重；

第三全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重；

第四全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重；

第五全连接层权重确定单元，用于将掌纹身份识别网络中的第五全连接层的权重随机初始化。

可选的，所述掌纹身份识别网络训练单元，具体包括：

第二判断子单元，用于判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果；

第二网络确定子单元，用于当所述第二判断结果表示为是时，将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络；

第二更新子单元，用于当所述第二判断结果表示为否时，更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种融合多任务软生物特征的深度网络掌纹识别方法及系统，通过提取待识别手掌感兴趣区域图像作为掌纹身份识别网络的输入，并且在掌纹身份识别网络的训练过程中，先训练多任务软生物特征识别网络，然后直接将训练好的多任务软生物特征识别网络的权重作为初始权重对掌纹身份识别网络进行训练，从而实现掌纹识别的准确率的提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图做简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明融合多任务软生物特征的深度网络掌纹识别方法流程图；

图2为本发明网络框架公共部分示意图；图2(a)为本发明单分支多任务软生物特征识别网络框架的卷积结构图；图2(b)为本发明双分支多任务软生物特征识别网络框架的卷积结构图；

图3为单分支多任务软生物特征识别网络框架图；

图4为直接加载单分支多任务软生物特征识别网络卷积层结构的掌纹身份识别网络框架图；

图5(a)为add并行加载双分支多任务预训练网络卷积层结构后接3×3×512卷积的掌纹身份识别网络框架图；图5(b)为add并行加载双分支多任务预训练网络卷积层结构后接3×3×256卷积的掌纹身份识别网络框架图；图5(c)为add并行加载双分支多任务预训练网络卷积层结构后直接接全连接层的掌纹身份识别网络框架图；

图6(a)为concat并行加载双分支多任务预训练网络卷积层结构后接3×3×512卷积的掌纹身份识别网络框架图；图6(b)为concat并行加载双分支多任务预训练网络卷积层结构后接3×3×256卷积的掌纹身份识别网络框架图；图6(c)为concat并行加载双分支多任务预训练网络卷积层结构后直接接全连接层的掌纹身份识别网络框架图；

图7为本发明融合多任务软生物特征的深度网络掌纹识别系统框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种融合多任务软生物特征的深度网络掌纹识别方法及系统，以提高掌纹识别的准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的一种融合多任务软生物特征的深度网络掌纹识别方法，包括：

步骤101：获取待识别手部图像。

步骤102：将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像。其中的预处理是通过定位和裁剪得到手掌感兴趣区域图像。

步骤103：将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息。

所述掌纹身份识别网络的具体训练过程包括：

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息。将所述手掌感兴趣区域图像输入多任务软生物特征识别网络，通过训练网络，使网络具有识别软生物特征的能力。

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。将所述手掌感兴趣区域图像输入已经完成掌纹软生物特征识别训练的网络，再次对此网络进行训练，使网络具有识别身份的能力。

其中，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络，具体包括：

判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果。

若所述第一判断结果为是，则将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络。

若所述第一判断结果为否，则更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

其中，在以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练之前，还包括：

将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重。

将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重。

将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重。

将掌纹身份识别网络中的第五全连接层的权重随机初始化。

其中，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络，具体包括：

判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果。

若所述第二判断结果表示为是，则将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络。

若所述第二判断结果表示为否，则更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

本发明提供的方法是分两个阶段训练，第一阶段，训练多任务软生物特征识别网络。第二阶段，用预训练的多任务软生物特征识别网络的卷积层结构和前两个全连接层(第一全连接层、第二全连接层)作为掌纹身份识别网络初始状态的卷积层结构和前两个全连接层(第三全连接层、第四全连接层)，然后再做身份识别网络的训练。

为了证明掌纹身份识别网络对掌纹识别的准确性，本发明还提供了如下证明方法：

一种证明左右手识别重要性的方法，包括：

获取掌纹身份识别网络模型，该模型可以是由五层卷积层、三层全连接层组成的简单网络结构，或者，也可以直接使用ResNet。所述掌纹身份识别网络模型为以数据集的所有左手手掌感兴趣区域图像进行训练，所有右手手掌感兴趣区域图像为输入进行测试，以身份识别结果为输出的神经网络模型。

获取多种光谱的手掌感兴趣区域图像。

利用所述掌纹身份识别网络模型，分别在每个光谱下使用左手手掌感兴趣区域图像进行识别训练，使用右手手掌感兴趣区域图像进行识别测试，如果左右手的掌纹图像对于身份识别而言并没有联系的话，那么右手测试的正确率应该等于1/左手图像类别数。

各个光谱的所有右手掌纹图像分别输入识别网络，得到各光谱下的识别准确率；对比每个光谱下的识别准确率，若测试正确率均大于1/左手图像类别数，则表明左右手掌纹图像对于身份识别具有相关性；左右手信息相关则会造成识别时其他类的响应值更大，影响识别准确率，通过证明左右手信息的相关性，说明掌纹身份识别结合左右手信息的必要性。

一种多任务进行软生物特征识别的方法，包括：

获取如图3所示的多任务软生物特征识别网络模型，该网络除最后一层全连接层不同外，其余都和掌纹身份识别网络结构相同；所述多任务软生物特征识别网络模型为以手掌感兴趣区域图像为输入，以性别和左右手两个软生物特征为输出的神经网络模型。

获取手掌感兴趣区域图像。

利用所述多任务软生物特征识别网络模型，根据所述手掌感兴趣区域图像，同时得到多种软生物特征识别结果(性别、左右手)。使用多任务软生物特征识别网络进行多种软生物特征识别具有更低的时、空间复杂度。

一种有效融合软生物特征的身份识别并证明的方案，包括：

训练软生物特征识别网络，用于掌纹身份识别网络的预训练；如图2、图3和图4所示，所述软生物特征识别网络和掌纹身份识别网络除最后一层全连接层不同外，结构皆相同，两个网络模型皆为以手掌感兴趣区域训练图像为输入，由五个卷积层三个全连接层组成，当使用单个软生物特征时，软生物特征识别网络最后一层为单个输出个数为类别数的全连接层，当使用多个软生物特征时，软生物特征识别网络最后一层为对应软生物特征数量的多个输出个数为类别数的全连接层；分别对软生物特征网络进行性别、左右手识别训练，将如图3所示的网络框架的最后一层全连接层改为只使用一个全连接层，对掌握身份识别网络进行身份识别训练，得到单任务的性别分类权重w0、左右手分类权重w1和无预训练的身份识别权重。

其中，使用如图4所示网络框架权重随机初始化，进行无预训练的身份识别训练并测试，得到身份识别测试准确率为i0。

如图4所示，掌纹身份识别网络分别加载左右手、性别单任务软生物特征识别网络的权重w0和w1后，进行身份识别任务的训练并测试，分别得到对应的准确率i00、准确率i01。

掌纹身份识别网络分别通过add和concat的方式加载训练好的两个单任务软生物特征识别网络的权重后，进行身份识别任务的训练并测试，分别得到对应的准确率i10和准确率i11；具体为图5(a)、(b)、(c)所示掌纹身份识别网络分别通过三种concat的方式加载训练好的两个单任务软生物特征识别网络的权重w0和w1后，进行身份识别任务的训练并测试，得到最高的准确率i10。图6(a)、(b)、(c)所示掌纹身份识别网络分别通过三种add的方式加载训练好的两个单任务软生物特征识别网络的权重w0和w1后，进行身份识别任务的训练并测试，得到最高的准确率i11。

使用图3所示的网络进行左右手、性别识别训练，得到多任务软生物特征识别网络权重w2。

图4所示掌纹身份识别网络加载多任务软生物特征识别网络的权重w2，之后进行身份识别任务的训练并测试，得到准确率i12。

图4所示掌纹身份识别网络在其他掌纹库上进行手掌身份识别训练，作为本库掌纹身份识别网络的预训练，得到权重w3。加载权重w3后在本库上再次对身份识别任务训练并测试，得到准确率i20。

图4所示掌纹身份识别网络对自然库上分类任务进行训练，作为掌纹身份识别网络的预训练，得到权重w4。加载权重w4后在本库上再次对身份识别任务训练并测试，得到准确率i21。

对比准确率，若准确率i01和i02大于i0，则说明软生物特征预训练有效提高识别精度；若准确率i12大于i10和i11，则说明对于多种软生物特征融合，多任务网络的方式相比并联网络更合适；若准确率i12大于i20和i21，则说明软生物特征预训练相比其他预训练对识别精度的提升更有效。本发明最终采用先使用多任务网络对软生物特征识别进行训练，此训练过程作为掌纹身份识别的预训练，然后修改最后一层全连接层，再对身份识别进行训练的方法。

如图7所示，本发明提供的一种融合多任务软生物特征的深度网络掌纹识别系统，包括：

图像获取模块701，用于获取待识别手部图像。

预处理模块702，用于将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像。

网络识别模块703，用于将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息。

所述网络识别模块包括掌纹身份识别网络训练子模块，所述掌纹身份识别网络训练子模块具体包括：

多任务软生物特征识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息；所述多任务软生物特征识别网络训练单元，具体包括：

第一判断子单元，用于判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果。

第一网络确定子单元，用于当所述第一判断结果为是时，将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络。

第一更新子单元，用于当所述第一判断结果为否时，更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

掌纹身份识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。所述掌纹身份识别网络训练单元，具体包括：

第二判断子单元，用于判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果。

第二网络确定子单元，用于当所述第二判断结果表示为是时，将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络。

第二更新子单元，用于当所述第二判断结果表示为否时，更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

其中，所述掌纹身份识别网络训练子模块，还包括：

卷积结构初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重。

第三全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重。

第四全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重。

第五全连接层权重确定单元，用于将掌纹身份识别网络中的第五全连接层的权重随机初始化。

本发明吸取其他领域经验，考虑掌纹的特性，设计出适合掌纹的软生物特征与身份识别融合的方案。使用多任务软生物特征识别对掌纹识别网络进行预训练，发挥软生物特征信息和身份特征信息的互补性，提升识别精度。首先通过左右手分类的重要性证明，引出掌纹识别结合左右手信息的优点。之后分别使用左右手、性别分类单任务进行预训练，得到识别精度的提升。尝试非并联结构网络加载多任务软生物特征识别网络的训练权重和并联网络加载左右手和性别两种软生物特征识别网络的训练权重，得到使用多任务软生物特征识别网络进行预训练是更合适的方法的结论。最后通过多任务软生物特征预训练和其他预训练方式对比，得出结论前者带来的识别精度提升更高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种融合多任务软生物特征的深度网络掌纹识别方法，其特征在于，包括：

获取待识别手部图像；

将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像；

将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息；

所述掌纹身份识别网络的具体训练过程包括：

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息；

以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。

2.根据权利要求1所述的融合多任务软生物特征的深度网络掌纹识别方法，其特征在于，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络，具体包括：

判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果；

若所述第一判断结果为是，则将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络；

若所述第一判断结果为否，则更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

3.根据权利要求1所述的融合多任务软生物特征的深度网络掌纹识别方法，其特征在于，在以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练之前，还包括：

将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重；

将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重；

将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重；

将掌纹身份识别网络中的第五全连接层的权重随机初始化。

4.根据权利要求1所述的融合多任务软生物特征的深度网络掌纹识别方法，其特征在于，所述以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络，具体包括：

判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果；

若所述第二判断结果表示为是，则将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络；

若所述第二判断结果表示为否，则更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

5.一种融合多任务软生物特征的深度网络掌纹识别系统，其特征在于，包括：

图像获取模块，用于获取待识别手部图像；

预处理模块，用于将所述待识别手部图像进行预处理，得到待识别手掌感兴趣区域图像；

网络识别模块，用于将所述待识别手掌感兴趣区域图像输入训练好的掌纹身份识别网络，得到所述待识别手掌感兴趣区域图像的身份信息；

所述网络识别模块包括掌纹身份识别网络训练子模块，所述掌纹身份识别网络训练子模块具体包括：

多任务软生物特征识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行训练，得到训练好的多任务软生物特征识别网络；所述多任务软生物特征识别网络由五个卷积结构、第一全连接层、第二全连接层和两个并联的全连接层组成的全连接结构依次连接而成；所述软生物特征包括性别信息和左右手信息；

掌纹身份识别网络训练单元，用于以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，以所述训练好的多任务软生物特征识别网络的权重作为初始权重，对掌纹身份识别网络进行训练，得到训练好的掌纹身份识别网络；所述掌纹身份识别网络由五个卷积结构、第三全连接层、第四全连接层和第五全连接层依次连接而成。

6.根据权利要求5所述的融合多任务软生物特征的深度网络掌纹识别系统，其特征在于，所述多任务软生物特征识别网络训练单元，具体包括：

第一判断子单元，用于判断多任务软生物特征识别网络训练过程中当前迭代次数是否达到第一设定迭代次数，得到第一判断结果；

第一网络确定子单元，用于当所述第一判断结果为是时，将所述当前迭代次数下的多任务软生物特征识别网络确定为训练好的多任务软生物特征识别网络；

第一更新子单元，用于当所述第一判断结果为否时，更新多任务软生物特征识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的软生物特征为输出，对多任务软生物特征识别网络进行下一次迭代。

7.根据权利要求5所述的融合多任务软生物特征的深度网络掌纹识别系统，其特征在于，所述掌纹身份识别网络训练子模块，还包括：

卷积结构初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的卷积结构的权重作为掌纹身份识别网络中的卷积结构的初始权重；

第三全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第一全连接层的权重作为掌纹身份识别网络中的第三全连接层的初始权重；

第四全连接层初始权重确定单元，用于将所述训练好的多任务软生物特征识别网络中的第二全连接层的权重作为掌纹身份识别网络中的第四全连接层的初始权重；

第五全连接层权重确定单元，用于将掌纹身份识别网络中的第五全连接层的权重随机初始化。

8.根据权利要求5所述的融合多任务软生物特征的深度网络掌纹识别系统，其特征在于，所述掌纹身份识别网络训练单元，具体包括：

第二判断子单元，用于判断掌纹身份识别网络训练过程中当前迭代次数是否达到第二设定迭代次数，得到第二判断结果；

第二网络确定子单元，用于当所述第二判断结果表示为是时，将所述当前迭代次数下的掌纹身份识别网络确定为训练好的掌纹身份识别网络；

第二更新子单元，用于当所述第二判断结果表示为否时，更新掌纹身份识别网络的权重和当前迭代次数，以手掌感兴趣区域训练图像为输入，以手掌感兴趣区域训练图像的身份信息为输出，对掌纹身份识别网络进行下一次迭代。

Images