CN115795394A - 层级多模态和高级增量学习的生物特征融合身份识别方法 - Google Patents

Abstract

本发明提供一种基于层级多模态和高级增量学习的生物特征融合身份识别方法，首先对待处理数据进行预处理，其次对预处理后的数据分别输入特征提取网络进行特征提取，获取视觉特征和声学特征，然后将获得的视觉和声学特征用注意力网络进行自注意力特征映射形成各自的单模态特征，对映射后的单模态特征输入单模态融合网络进行组合连接，最后使用softmax函数作为输出单元并输出结果，当后续有新数据加入时，为了防止网络遗忘原有数据，使用增量学习方法对采样的数据进行学习。相较于传统的单模态身份识别系统，本发明提供的层级多模态和高级增量学习的生物特征融合身份识别方法在不同维度对生物信息进行融合提取，提高了网络的整体性能表现。

Description

层级多模态和高级增量学习的生物特征融合身份识别方法

技术领域

本发明涉及人体生物特征识别领域，具体涉及一种基于层级多模态和高级增量学习的生物特征融合身份识别方法。

背景技术

多模态生物特征融合是一种收集特征并组合不同信息构建身份识别系统的技术，它比任何基于单个特征进行身份识别的技术效果都要更好。近年来有许多文献用各种不同的方法和生物特征来设计身份识别系统以期达到更好的识别效果。

就生物特征选择上来说，因为人类有非常多的生物特征隐含了身份信息，所以身份识别系统有很多可选的特征组合，不同的特征组合会让系统的准确率和数据预处理的难易程度天差地别。

多模态身份识别最常用的生物特征包括：人脸信息，虹膜，谈话，指纹，或其他手部特征如掌纹、指关节等。在处理生物特征信息时，根据识别系统对信息处理的时期不同，融合策略分为决策层融合和特征层融合。其中决策层融合策略是指不同的生物信息先单独评估，系统最终的输出再由各个评估的组合结合而成。

在早期多模态生物信息身份识别系统中决策层融合是一种普遍使用的策略，近年来特征层融合策略作为一种提高身份识别系统效果的方法得到了发展，特征层融合策略试图融合不同的特征映射并且尝试对融合后的一般特征映射做分类。

发明内容

基于此，本发明提供了一种基于层级多模态和高级增量学习的生物特征融合身份识别方法，具体步骤如下：

对待处理数据进行预处理；

对预处理后的数据分别输入特征提取网络进行特征提取，获取视觉特征和声学特征；

对所述视觉和声学特征用注意力网络进行自注意力特征映射形成各自的单模态特征；

对映射后的单模态特征输入单模态融合网络进行组合连接；

使用softmax函数作为输出单元并产生输出；

当后续有新数据加入时，为了防止网络遗忘原有数据，使用增量学习方法对采样的数据进行学习。

进一步的，所述数据预处理包括：

对人脸数据的预处理，掌纹数据的预处理，签名信息的预处理和人物语音信息的预处理；

其中人脸数据预处理包括使用多任务级联神经网络来增强算法的表现，多任务级联神经网络可以预测人脸数据图片中脸部的位置；它由三个部分组成第一部分是提议网络，用来获取脸部区域并给出一些脸部边界框的提议；第二部分是精炼网络，它用来移除不精确的边界框，只保留准确的边界框；最后一部分是输出网络，它把精炼网络的结果作为输入并把边界框分为三种不同的层；第一层是脸部检测的概率，第二层是给定边界框的坐标，最后一层给出脸的五个标记坐标，具体见图8。

其中掌纹数据预处理是指，先找到手掌图片中感兴趣的区域，即包含掌纹的区域，见附图9；这一模块中，手掌图片先被二值处理成灰度图像，计算像素的灰度直方图，然后用一定阈值将像素分为组一(白)和组二(黑)两组，让亮色物体显示在黑色背景上，或反。上述阈值分类方式如下：

Group1＝allpixels with f(x,y)＜T

Group2＝allpixels with f(x,y)＞T

然后计算二值图像的形心：

其中：

式中p，q取值为{0，1}；

它给出掌纹的中心点；

掌纹边界被定义为：

其中A表示原图，B(A)表示经形态学腐蚀后的图像。

其中S为：

通过寻找二值图像掌纹的边界我们可以提取掌纹的边界。

之后算法提取掌纹的起始点和结束点，以确定掌纹的朝向，然后做旋转处理。

其中签名数据预处理被设置成如下形式，手写的签名数据以图片格式输入。做标准化处理来移除部分偏差。

将图片处理成统一的标准尺寸：

其中对语音数据的预处理被组织成如下形式，先创建一个二维的空列表存放原始语音数据和采样率，并对语音数据做三秒钟的再采样，再使用得到每个语音的梅尔倒谱系数特征(MFCC)，MFCC可以由声谱数据的傅里叶变换得到；最后使用类收敛对标签进行编码,见图10。

进一步的，所述视觉和声学特征提取网络包括：

人脸和掌纹特征提取网络，签名特征提取和人物语音特征提取，每种生物特征都单独使用网络处理，图1清晰地展示了特征提取的细节；

其中人脸和掌纹特征都使用FaceNet提取，FaceNet直接使用欧几里得空间距离来比较脸部的相似性。在训练时它使用一个三元组来训练，三元组中既有正例也有反例，FaceNet通过匹配人脸来训练。

三元组中有样本图片，正例和反例，FaceNet在训练中最小化样本图片和正例的距离，最大化样本图片和反例的距离。最终FaceNet从图片提取出128维的特征向量。

其中签名特征提取由MobileNet卷积神经网络提取，网络属于流线型架构并使用了深度方向卷积，深度方向卷积将卷积核分为两类，一类做深度卷积，一类做1x1卷积，普通卷积以如下形式进行：

其中F是D_F×D_F×M维的特征映射，D_F是方形特征映射的宽和高，M

是输入通道的大小，D_K等于D_K×D_K×M×N，其中K是核的大小，N是输出通道的大小，G_k,l,n卷积层的输出l_,n是输出尺寸。

在深度方向卷积中公式变为：

的大小变为D_K×D_K×M。

这一操作减少了计算的复杂度。

其中语音特征提取使用双向长短期记忆神经网络(LSTM)，它是一种循环神经网络，语音信号先通过两层LSTM，然后再输入卷积神经网络层。在卷积层处理之后提取到的特征维度被减少到了更小的尺寸。在卷积层之后数据继续通过线性层来减少特征维度。

所述自注意力特征映射(见图2和图3)以如下形式布置。注意力机制可以描述为一系列的Q在K的索引下乘V，其中Q，K，V是由随机参数矩阵与输入张量相乘得到，注意力机制的公式如下：

其中K^T表示对K进行转置，其中

本文使用八头注意力机制：

MultiHead(F)＝concat(head₁,…,head_h)W^O

head₁＝attention(FW_i ^Q,FW_i ^K,FW_i ^V)

其中W^O,W^Q,W^K,W^V都是随机参数矩阵，其中上述：

Q＝FW^Q,K＝FW^Q,V＝FW^V

自注意力机制接受特征映射

产生自注意力特征映射

它的公式如下：

其中

它们都是由1x1卷积产生。图2和图3详细展示了这一过程。

具体来说，对于签名注意力特征映射，从MobileNet产生的特征中我们生成Q，K和V。然后重新布置他们的大小，按照公式计算F_A。即得到最终自注意力特征映射的结果。图3展示了这一过程。

对于语音数据的序列向量，使用多头自注意力机制对不同序列段的隐藏状态进行自注意力特征映射。

进一步的所述单模态融合网络为，四种特征两两组合得到三模态的输入，输入人工神经网络的dense层做非线性操作，接受三模态输入的三堆dense层得到的三个输出再两两组合连接得到双模态输入，类似依次往上得到所有模态整合在一起的最终层，图4展示了网络的整体架构。

进一步的在多模态生物信息系统中使用了增量学习的方法；

增量学习的目的是在已经训练的网络上添加少量新的训练，在不损失对先前分类准确度的前提下，获得对新数据的知识。

首先增量学习的数据集从原有数据集中采样得到支持集S和查询集Q，之后按照上述特征提取和注意力映射操作对他们进行特征提取和自注意力特征映射。对得到的特征值进行连接操作(即把得到的特征向量简单连接在一起)。通过网络对支持集S和查询集Q进行学习，计算相同类别的交叉熵损失来优化网络。

进一步的，为了防止先前的数据被遗忘，本发明加入了多模态生物信息记忆装置；

随着数据的增加系统会收集新加入的数据，记忆装置会记录新数据的自注意力特征映射和对应的类别，并在之后从中随机采样数据集来更新网络参数。这种机制让模型定期记住先前学习的内容，而不会遗忘已经学习的类别。

一种生物信息收集软件；

用户可以收集他们自己的生物信息，用户先要登入应用，并采集面部图像和掌纹图像五次。并在屏幕输入电子签名，记录五次说话者的语音。然后数据会被存储在数据库中，用户可以下载收集的生物信息。更重要的是深度学习模型会学习这些特征，在需要的时候提供身份识别服务。

本发明的技术效果：

相较于传统的单模态身份识别系统，本发明提供的层级多模态和高级增量学习的生物特征融合身份识别方法在不同维度对生物信息进行融合提取，提高了网络的整体性能表现。

附图说明

附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出了本发明的特征提取的示意图；

图2示出了本发明的FaceNet自注意力特征映射示意图；

图3示出了本发明的MobileNet自注意力特征映射示意图；

图4示出了本发明的单模态融合网络的整体架构；

图5示出了本发明的多模态生物信息增量学习模型；

图6示出了本发明的增量学习过程；

图7示出了本发明的软件的使用流程；

图8示出了本发明的人脸数据预处理的示意图；

图9示出了本发明的掌纹数据预处理的示意图；

图10示出了本发明的语音数据预处理的示意图；

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

一种基于层级多模态和高级增量学习的生物特征融合身份识别方法对待处理数据进行预处理；

所述数据预处理包括：

对人脸数据的预处理，掌纹数据的预处理，签名信息的预处理和人物语音信息的预处理；

其中人脸数据预处理包括使用多任务级联神经网络来增强算法的表现，多任务级联神经网络可以预测人脸数据图片中脸部的位置；它由三个部分组成第一部分是提议网络，用来获取脸部区域并给出一些脸部边界框的提议；第二部分是精炼网络，它用来移除不精确的边界框，只保留准确的边界框；最后一部分是输出网络，它把精炼网络的结果作为输入并把边界框分为三种不同的层；第一层是脸部检测的概率，第二层是给定边界框的坐标，最后一层给出脸的五个标记坐标，具体见图8。

其中掌纹数据预处理是指，先找到手掌图片中感兴趣的区域，即包含掌纹的区域，见附图9；这一模块中，手掌图片先被二值处理成灰度图像，计算像素的灰度直方图，然后用一定阈值将像素分为组一(白)和组二(黑)两组，让亮色物体显示在黑色背景上，或反。上述阈值分类方式如下：

Group1＝allpixels with f(x,y)＜T

Group2＝allpixels with f(x,y)＞T

然后计算二值图像的形心：

其中：

式中p，q取值为{0，1}；

它给出掌纹的中心点；

掌纹边界被定义为：

其中A表示原图，B(A)表示经形态学腐蚀后的图像。

其中S为：

通过寻找二值图像掌纹的边界我们可以提取掌纹的边界。

之后算法提取掌纹的起始点和结束点，以确定掌纹的朝向，然后做旋转处理。

其中签名数据预处理被设置成如下形式，手写的签名数据以图片格式输入。做标准化处理来移除部分偏差。

将图片处理成统一的标准尺寸：

其中对语音数据的预处理被组织成如下形式，先创建一个二维的空列表存放原始语音数据和采样率，并对语音数据做三秒钟的再采样，再使用得到每个语音的梅尔倒谱系数特征(MFCC)，MFCC可以由声谱数据的傅里叶变换得到；最后使用类收敛对标签进行编码,见图10。

对预处理后的数据分别输入特征提取网络进行特征提取，获取视觉特征和声学特征；

进一步的，所述视觉和声学特征提取网络包括：

人脸和掌纹特征提取网络，签名特征提取和人物语音特征提取，每种生物特征都单独使用网络处理，图1清晰地展示了特征提取的细节；

其中人脸和掌纹特征都使用FaceNet提取，FaceNet是2015年Schroff提出的脸部识别算法，它利用深度卷积神经网络优化嵌入，，并且使用一次学习的方法，可以在小样本中获得训练。FaceNet直接使用欧几里得空间距离来比较脸部的相似性。在训练时它使用一个三元组来训练，，三元组中既有正例也有反例，FaceNet通过匹配人脸来训练。

三元组中有样本图片，正例和反例，FaceNet在训练中最小化样本图片和正例的距离，最大化样本图片和反例的距离。最终FaceNet从图片提取出128维的特征向量。

其中签名特征提取由MobileNet卷积神经网络提取，它由Andrew G.Howard等人在2017年开发，网络属于流线型架构并使用了深度方向卷积，深度方向卷积将卷积核分为两类，一类做深度卷积，一类做1x1卷积，普通卷积以如下形式进行：

其中F是D_F×D_F×M维的特征映射，D_F是方形特征映射的宽和高，M是输入通道的大小，D_K等于D_K×D_K×M×N，其中K是核的大小，N是输出通道的大小，G_k,l,n卷积层的输出l,n是输出尺寸。

在深度方向卷积中公式变为：

的大小变为D_K×D_K×M。

这一操作减少了计算的复杂度。

其中语音特征提取使用双向长短期记忆神经网络(LSTM)，它是一种循环神经网络，语音信号先通过两层LSTM，然后再输入卷积神经网络层。在卷积层处理之后提取到的特征维度被减少到了更小的尺寸。在卷积层之后数据继续通过线性层来减少特征维度。

对所述视觉和声学特征用注意力网络进行自注意力特征映射形成各自的单模态特征；

所述自注意力特征映射(见图2和图3)以如下形式布置。注意力机制可以描述为一系列的Q在K的索引下乘V，其中Q，K，V是由随机参数矩阵与输入张量相乘得到，注意力机制的公式如下：

其中K^T表示对K进行转置，其中

本文使用八头注意力机制：

MultiHead(F)＝concat(head₁,…,head_h)W^O

head₁＝attention(FWi_i ^Q,FW_i ^K,FW_i ^V)

其中W^O,W^Q,W^K,W^V都是随机参数矩阵，其中上述：

Q＝FW^Q,K＝FW^Q,V＝FW^V

自注意力机制接受特征映射

产生自注意力特征映射

它的公式如下：

其中

它们都是由1x1卷积产生。图2和图3详细展示了这一过程。

具体来说，对于签名注意力特征映射，从MobileNet产生的特征中我们生成Q，K和V。然后重新布置他们的大小，按照公式计算F_A。即得到最终自注意力特征映射的结果。图3展示了这一过程。

对于语音数据的序列向量，使用多头自注意力机制对不同序列段的隐藏状态进行自注意力特征映射。

对映射后的单模态特征输入单模态融合网络进行组合连接；

进一步的所述单模态融合网络为，四种特征两两组合得到三模态的输入，输入人工神经网络的dense层做非线性操作，接受三模态输入的三堆dense层得到的三个输出再两两组合连接得到双模态输入，类似依次往上得到所有模态整合在一起的最终层，图4展示了网络的整体架构。

使用softmax函数作为输出单元并产生输出；

当后续有新数据加入时，为了防止网络遗忘原有数据，使用增量学习方法对采样的数据进行学习。

增量学习的目的是在已经训练的网络上添加少量新的训练，在不损失对先前分类准确度的前提下，获得对新数据的知识。

首先增量学习的数据集从原有数据集中采样得到支持集S和查询集Q，之后按照上述特征提取和注意力映射操作对他们进行特征提取和自注意力特征映射。对得到的特征值进行连接操作(即把得到的特征向量简单连接在一起)。通过网络对支持集S和查询集Q进行学习，计算相同类别的交叉熵损失来优化网络。

在我们自己的数据集上进行测试，将数据集以8：2划分为训练集和测试集。分别使用我们提出的层级注意力多模态生物特征识别网络和目前的主流网络进行对比测试，得到的平均模拟结果，我们计算了不同网络的训练精度(正确分类占训练数据的比例)、训练损失(网络损失函数的损失值)、测试精度(测试集上的精度)和测试损失，以及增量学习的1-way 1shot，5-way 1shot，5-way 5shot(A-way B shot，即新加入的数据有A类，每类B个，经学习后在测试集上的精度)指标。

如下表在不同的网络中本发明提出的基于层级注意力多模态生物特征识别网络(HAN网络)表现的综合性能最好

在应用的增量学习方法中我们的网络(IMB)也几乎接近最佳性能

模型	1-way1shot	5-way 1shot	5-way 5shot
				MAML	56.90	86.80	97.30
Reptile	95.60	99.90	100
				Prototypical	75	85.3	91.2
Siamese	94.00	98.50	99.40
				Our IMB	78.90	97.80	99.90

以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于层级多模态和高级增量学习的生物特征融合身份识别方法，其特征在于，包括如下步骤：

对待处理数据进行预处理；

将预处理后的数据分别输入特征提取网络进行特征提取，获取视觉特征和声学特征；

对所述视觉和声学特征用注意力网络进行自注意力特征映射形成各自的单模态特征；

对映射后的单模态特征输入单模态融合网络进行组合连接；

使用softmax函数作为输出单元并产生输出；

当后续有新数据加入时，为了防止网络遗忘原有数据，使用增量学习方法对采样的数据进行学习。

2.根据权利要求1所述的方法，其特征在于，所述预处理包括：

人脸数据的预处理，掌纹数据的预处理，签名信息的预处理和人物语音信息的预处理；

所述人脸数据预处理使用多任务级联神经网络来增强算法；

所述掌纹数据预处理使用二值化方法和形态学腐蚀的方法获取感兴趣区域；

所述签名数据预处理使用标准化处理得到统一尺寸；

所述语音数据预处理使用所述梅尔倒谱系数特征进行处理。

3.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括人脸和掌纹特征提取网络、签名特征提取网络、人物语音特征提取网络。

4.根据权利要求3所述的方法，其特征在于，

所述人脸数据和掌纹数据特征提取网络为FaceNet网络；

所述签名信息特征提取网络为MobileNet卷积神经网络；

所述语音信息特征提取网络为LSTM和CNN网络。

5.根据权利要求1所述的方法，其特征在于，所述自注意力特征映射的布置形式具体为对输入数据计算询问张量Q，索引张量K和值张量V，其中Q，K，V是由随机参数矩阵与输入张量相乘得到，注意力机制的公式如下：

其中K^T表示对K进行转置，其中

自注意力机制接受特征映射

产生自注意力特征映射

公式如下：

其中

都是由1x1卷积产生。

6.根据权利要求1所述的方法，其特征在于，所述单模态融合网络具体为四种特征两两组合得到三模态的输入，输入人工神经网络的dense层做非线性操作，接受三模态输入的三堆dense层得到的三个输出再两两组合连接得到双模态输入，类似依次往上得到所有模态整合在一起的最终层。

7.根据权利要求1所述的方法，其特征在于，加入了增量学习，

所述增量学习具体为将最初的训练数据和添加的新数据按前述特征提取方案进行特征提取和自注意力特征映射得到融合后的特征集合τ，之后对τ随机抽取一半进行采样得到支持集S和另一半为查询集Q；

通过网络对支持集S和查询集Q进行学习，计算相同类别的交叉熵损失来优化网络。

8.一种生物信息收集软件，其特征在于，用户在软件中收集自己的生物信息；用户先要登入应用，采集面部图像和掌纹图像五次，在屏幕上输入电子签名，记录五次说话者的语音；然后将数据存储在数据库中，用户可以下载收集的生物信息，在需要的时候提供身份识别服务。

Images