CN115937956B - 一种人脸识别方法及后厨用看板系统 - Google Patents

Abstract

本发明公开了一种人脸识别方法及后厨用看板系统，属于人脸识别和后厨管理系统技术领域。人脸识别方法包括搭建卷积神经网络，利用训练集对卷积神经网络进行训练，获取采集到的待识别人脸图像，将待识别人脸图像输入卷积神经网络，随着待识别人脸图像的信息依次经过各个交替式特征提取机构，各个交替式特征提取机构依次进行特征提取操作，利用调维机构对核心特征图的尺寸进行调整，然后生成得到特征向量，计算特征向量与已有的样本向量之间的相似度等步骤。本发明创造性地将跨步卷积与亚像素卷积结合，实验结果表明，使用该结构设计能够很好地从脸部图像的众多特征信息中分离掉因年龄改变带来的变化，显著提升跨年龄人脸识别准确性。

Description

一种人脸识别方法及后厨用看板系统

技术领域

本发明属于人脸识别和后厨管理系统技术领域，具体地说，涉及一种人脸识别方法及后厨用看板系统。

背景技术

厨房生产管理系统大体可分为前端的信息采集设备和后端的后厨用看板系统，前端采集消费者身份、消费额和消费菜品等信息，后厨用看板系统对这些信息进行自动化处理、统计和显示，实现目视化管理。该系统能够大幅提高厨房生产的现场管控效率和精确度，提升服务质量，降低物料损耗。考虑到传统的刷卡识别方式存在很多弊端，在学校、大型企业和政府部门等单位的食堂，越来越多的厨房生产管理系统开始使用人脸识别对消费者进行身份识别。在这些场景中，当用户的脸部形象因年龄增长而有所改变时，要求人脸识别算法仍然具有较高的识别精度，而现有的算法还难以满足实际需要。

发明内容

针对现有技术中上述的不足，本发明提供一种人脸识别方法及后厨用看板系统，以更好地满足厨房生产管理系统中精确识别人脸图像的需要。

为了达到上述目的，本发明采用的解决方案是：一种人脸识别方法，包括以下步骤：

S100、搭建用于识别人脸图像的卷积神经网络，所述卷积神经网络中设有调维机构和多个顺次连接的交替式特征提取机构；所述交替式特征提取机构内部操作过程表示为如下数学模型：

其中，WI代表输入所述交替式特征提取机构的特征图，tov11、tov12、tov21和tov22均表示卷积运算，θ11、θ12、θ21和θ22均表示非线性激活函数，JZ1和JZ2分别为θ11和θ12激活后生成的特征图，ch1和ch2分别表示第一融合模块和第二融合模块，JZ3为所述第一融合模块输出的特征图，ds11、ds12、ds21、ds22分别表示第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块，us1和us2分别表示第一上采样模块和第二上采样模块，JZ4为JZ3特征图加上第一上采样模块输出特征图后得到的特征图，JZ5为JZ3特征图加上第二上采样模块输出特征图后得到的特征图，JZ6和JZ7分别表示第三下采样模块和第四下采样模块输出的特征图，WO代表交替式特征提取机构输出的特征图；

S200、利用训练集对所述卷积神经网络进行训练，以调整所述卷积神经网络中的参数；所述训练集中包含带有身份标签的人脸图像；

S300、获取采集到的待识别人脸图像，将所述待识别人脸图像输入步骤S200中训练完成的卷积神经网络，随着所述待识别人脸图像的信息依次经过各个所述交替式特征提取机构，各个所述交替式特征提取机构依次进行特征提取操作，直到最后一个所述交替式特征提取机构输出核心特征图；

S400、利用所述调维机构对所述核心特征图的尺寸进行调整，然后生成得到特征向量；

S500、计算所述特征向量与已有的样本向量之间的相似度，与所述特征向量最相似的样本向量所对应的身份，即为所述待识别人脸图像的身份。

进一步地，tov11的卷积核大小与tov12的卷积核大小不同，tov21的卷积核大小与tov22的卷积核大小不同。

进一步地，θ11、θ12、θ21和θ22均为ReLU函数。

进一步地，所述第一融合模块包括顺次连接的第一拼接操作层、第一卷积层和第一激活层；所述第二融合模块包括顺次连接的第二拼接操作层、第二卷积层和第二激活层。

进一步地，所述第三下采样模块输出的特征图先与所述第一下采样模块输出的特征图相加，然后再输入所述第二融合模块；所述第四下采样模块输出的特征图先与所述第二下采样模块输出的特征图相加，然后再输入所述第二融合模块。

进一步地，所述第一下采样模块包括顺次连接的第一跨步卷积层和第三激活层，所述第二下采样模块包括顺次连接的第二跨步卷积层和第四激活层。

进一步地，所述第三下采样模块和第四下采样模块均为池化操作层。

进一步地，所述第一上采样模块包括顺次连接的第三卷积层、第一亚像素卷积层和第五激活层，所述第二上采样模块包括顺次连接的第四卷积层、第二亚像素卷积层和第六激活层。

本发明还提供了一种后厨用看板系统，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的人脸识别方法。

进一步地，后厨用看板系统还包括显示设备，所述显示设备与所述处理器电连接。

系统前端采集人脸图像的同时，还会收集用户的消费金额、菜品种类、消费时间等信息，然后将这些信息一起传输给后厨看板系统，存储在存储器中。处理器完成人脸识别后，将相关的身份信息和消费金额信息发送给结算系统，结算系统根据接收到的信息在对应的账户中执行扣费操作。另一方面，处理器还可以根据设置的程序加工处理消费金额、菜品种类、消费时间等信息，并将这些统计信息实时传输给显示设备进行显示，后厨管理人员能够根据显示设备上的信息及时掌握多个食堂或餐厅的消费情况，并据此指导调整各个食堂厨房的出餐时间、出餐量和菜品类型，更好地满足食客的需要，也很好地降低了剩菜的产生量，提高食堂或餐厅的经济效益。

本发明的有益效果是：

（1）在本发明的交替式特征提取机构中，tov11的卷积核大小与tov12的卷积核大小不同（例如分别为3*3和5*5），与普通的串联结构相比，一方面能够获取更多与身份相关的人脸图像特征，另一方面，通过第一融合模块融合特征图的过程中，特征提取模块能够自适应地学习不同特征之间的差异性和共性，训练完成后进行人脸识别时，有助于网络获得稳定的个体面部特征；

（2）本发明创造性地将跨步卷积与亚像素卷积结合，通过跨步卷积进行下采样，利用亚像素卷积将下采样后特征图相邻几个图层的信息整合，实验结果表明，使用该结构设计能够很好地从脸部图像的众多特征信息中分离掉因年龄改变带来的变化，显著提升跨年龄人脸识别准确性；

（3）JZ3特征图分别与第一上采样模块和第二上采样模块输出的特征图相加，然后再分别输入tov21卷积和tov22卷积，由于JZ3特征图和两个上采样模块输出的特征图是从不同的角度经过提炼过滤后得到的，相加后得到的JZ4特征图和JZ5特征图中有效信息更加明显，这样简化了tov21卷积和tov22卷积提取特征的难度，进而增强特征提取效果；

（4）最后第三下采样模块、第四下采样模块和第二融合模块操作多过程中，同时整合不同尺度、不同层级和不同种类的特征信息，进一步增强特征图中特征信息与身份的相关性，降低其他因素的干扰，提高模型的鲁棒性。

附图说明

图1为实施例1的卷积神经网络结构示意图；

图2为实施例1的交替式特征提取机构结构示意图；

图3为实施例1的调维机构内部结构示意图；

图4为对比例1中交替式特征提取机构结构示意图；

图5为对比例2中交替式特征提取机构结构示意图；

附图中：

1-待识别人脸图像，2-过渡卷积层，3-交替式特征提取机构，31-第一下采样模块，32-第二下采样模块，33-第一上采样模块，34-第二上采样模块，35-第三下采样模块，36-第四下采样模块，37-第一融合模块，38-第二融合模块，4-调维机构，5-特征向量，6-第一跳连接，7-第二跳连接。

具体实施方式

以下结合附图对本发明作进一步描述：

实施例1：

本实施例通过在计算机上用Python语言结合TensorFlow框架搭建卷积神经网络，图1展示了本实施例中卷积神经网络的全貌。具体地，其首端设置了过渡卷积层2，过渡卷积层2的卷积核大小为3*3，步长为1，过渡卷积层2用于提取待识别人脸图像1的基础特征信息，设过渡卷积层2输出的特征图尺寸为A*B*48（长*高*通道，下同）。交替式特征提取机构3的数量设置为5个，待识别人脸图像1的信息依次经过各个交替式特征提取机构3，实现提取图像中的深层特征信息。各个交替式特征提取机构3输出的特征图尺寸依次为A/2*B/2*96、A/4*B/4*192、A/8*B/8*384、A/16*B/16*768、A/32*B/32*1536（核心特征图）。

图2展示了本实施例中交替式特征提取机构3的结构示意图，具体地，tov11和tov21的卷积核尺寸均为3*3、步长均为1，tov12和tov22的卷积核尺寸均为5*5、步长均为1，θ11、θ12、θ21和θ22均为ReLU函数。设输入该交替式特征提取机构3的特征图尺寸为X*Y*Z，则特征图JZ1和特征图JZ2的尺寸均为X*Y*Z。

第一融合模块37包括顺次连接的第一拼接操作层、第一卷积层和第一激活层；第二融合模块38包括顺次连接的第二拼接操作层、第二卷积层和第二激活层。第一卷积层和第二卷积层的卷积核尺寸均为1*1、步长均为1，第一激活层和第二激活层均为ReLU函数，特征图JZ3的尺寸为X*Y*Z。

第一下采样模块31包括顺次连接的第一跨步卷积层和第三激活层，第二下采样模块32包括顺次连接的第二跨步卷积层和第四激活层。第一跨步卷积层的卷积核尺寸为3*3、步长为2，第二跨步卷积层的卷积核尺寸为5*5、步长为2，第三激活层和第四激活层均为ReLU函数。则第一下采样模块31和第二下采样模块32输出的特征图尺寸均为X/2*Y/2*Z。

第一上采样模块33包括顺次连接的第三卷积层、第一亚像素卷积层和第五激活层，第二上采样模块34包括顺次连接的第四卷积层、第二亚像素卷积层和第六激活层。第三卷积层和第四卷积层的卷积核尺寸均为3*3、步长均为1，第三卷积层和第四卷积层输出特征图的尺寸均为X/2*Y/2*4Z。第一亚像素卷积层和第二亚像素卷积层输出特征图尺寸均为X*Y*Z，第五激活层和第六激活层均为ReLU函数。

θ21和θ22激活后输出的特征图尺寸均为X*Y*Z，第三下采样模块35和第四下采样模块36均为池化操作层，它们的池化窗口尺寸均为2*2，步长均为2，第三下采样模块35输出的特征图JZ6和第四下采样模块36输出的特征图JZ7尺寸均为X/2*Y/2*Z。最后第二融合模块38输出的特征图（也就是交替式特征提取机构3输出的特征图）尺寸为X/2*Y/2*2Z。

优选地，本实施例的交替式特征提取机构3中还设有第一跳连接6和第二跳连接7，第一下采样模块31输出的特征图通过第一跳连接6传输到第三下采样模块35的输出端，第二下采样模块32输出的特征图通过第二跳连接7传输到第四下采样模块36的输出端。第三下采样模块35输出的特征图先与第一下采样模块31输出的特征图相加，然后再输入第二融合模块38；第四下采样模块36输出的特征图先与第二下采样模块32输出的特征图相加，然后再输入第二融合模块38。由于第一下采样模块31和第二下采样模块32采用的是跨步卷积，第三下采样模块35和第四下采样模块36使用的是池化操作，第三下采样模块35输出的特征图与第一下采样模块31输出的特征图相加（或第四下采样模块36输出的特征图与第二下采样模块32输出的特征图相加），可以充分利用不同下采样操作之间的差异性，实现互补的效果，同时还实现了前级特征与后级特征互相补充，提高第二融合模块38操作过程中对有效信息的挖掘效果。

调维机构4用于对核心特征图的尺寸进行调整，然后生成得到一维的特征向量。具体在本实施例中，如图3所示，调维机构4包括顺次连接的全局池化操作层、全连接层和调维激活层。全局池化操作层用于对核心特征图的各个图层进行全局平均池化，生成得到长度为1536的向量。全连接层的输入节点数为1536，输出节点数可以根据实际需要调整，本实施例中将输出节点数设置为1000。调维激活层采用sigmoid函数实现，调维激活层输出得到与待识别人脸图像1对应的特征向量5。

本实施例以VGGFace2数据集作为训练集对卷积神经网络进行训练，过程中采用三元损失函数对网络中的参数进行优化。测试数据集采用CPLFW，待识别人脸图像1输入卷积神经网络得到特征向量5后，通过计算特征向量5与样本向量之间的欧氏距离来衡量两者的相似度。与特征向量5距离最近的样本向量所对应的身份，即为所述待识别人脸图像1的身份。

测试结果与现有的一些模型对比如下表所示：

表1 实施例1与现有算法在CPLFW数据集上识别结果比较

模型	VGGFace2	ArcFace	实施例1
				识别正确率（%）	83.65	86.84	95.58

对比表1中的数据可以看出，实施例1提供的卷积神经网络取得了最佳的识别效果，充分说明了本发明的人脸识别方法取得了明显的进步。

对比例1：

为了说明在交替式特征提取机构3中设置跨步卷积和亚像素卷积的作用，如图4所示，本对比例中在实施例1的基础上，将交替式特征提取机构3中的跨步卷积替换为普通的卷积层（卷积核尺寸为3*3，步长为1），并去掉亚像素卷积层，保持卷积神经网络的其他部分不变。模型的训练和测试过程也与实施例1保持一致。结果，修改后的网络在CPLFW数据集上取得了77.32%正确率，远低于实施例1。

对比例2：

为了说明在交替式特征提取机构3中设置第一跳连接6和第二跳连接7的作用，如图5所示，本对比例中在实施例1的基础上去掉第一跳连接6和第二跳连接7，第三下采样模块35输出的特征图不再与第一下采样模块31输出的特征图相加，第四下采样模块36输出的特征图不再与第二下采样模块32输出的特征图相加。保持卷积神经网络的其他部分不变。模型的训练和测试过程也与实施例1保持一致。结果，修改后的网络在CPLFW数据集上取得了88.16%正确率，同样低于实施例1。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种人脸识别方法，其特征是：包括以下步骤：

S100、搭建用于识别人脸图像的卷积神经网络，所述卷积神经网络中设有调维机构和多个顺次连接的交替式特征提取机构；所述交替式特征提取机构内部操作过程表示为如下数学模型：

JZ1＝θ11(tov11(WI))

JZ2＝θ12(tov12(WI))

JZ3＝ch1(WI,JZ1,JZ2)

JZ4＝JZ3+us1(ds11(JZ1))

JZ5＝JZ3+us2(ds12(JZ2))

JZ6＝ds21(θ21(tov21(JZ4)))

JZ7＝ds22(θ22(tov22(JZ5)))

WO＝ch2(JZ6,JZ7)

其中，WI代表输入所述交替式特征提取机构的特征图，tov11、tov12、tov21和tov22均表示卷积运算，θ11、θ12、θ21和θ22均表示非线性激活函数，JZ1和JZ2分别为θ11和θ12激活后生成的特征图，ch1和ch2分别表示第一融合模块和第二融合模块，JZ3为所述第一融合模块输出的特征图，ds11、ds12、ds21、ds22分别表示第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块，us1和us2分别表示第一上采样模块和第二上采样模块，JZ4为JZ3特征图加上第一上采样模块输出特征图后得到的特征图，JZ5为JZ3特征图加上第二上采样模块输出特征图后得到的特征图，JZ6和JZ7分别表示第三下采样模块和第四下采样模块输出的特征图，WO代表交替式特征提取机构输出的特征图；

S200、利用训练集对所述卷积神经网络进行训练，以调整所述卷积神经网络中的参数；所述训练集中包含带有身份标签的人脸图像；

S300、获取采集到的待识别人脸图像，将所述待识别人脸图像输入步骤S200中训练完成的卷积神经网络，随着所述待识别人脸图像的信息依次经过各个所述交替式特征提取机构，各个所述交替式特征提取机构依次进行特征提取操作，直到最后一个所述交替式特征提取机构输出核心特征图；

S400、利用所述调维机构对所述核心特征图的尺寸进行调整，然后生成得到特征向量；

S500、计算所述特征向量与已有的样本向量之间的相似度，与所述特征向量最相似的样本向量所对应的身份，即为所述待识别人脸图像的身份；

所述第一融合模块包括顺次连接的第一拼接操作层、第一卷积层和第一激活层；所述第二融合模块包括顺次连接的第二拼接操作层、第二卷积层和第二激活层；

所述第三下采样模块输出的特征图先与所述第一下采样模块输出的特征图相加，然后再输入所述第二融合模块；所述第四下采样模块输出的特征图先与所述第二下采样模块输出的特征图相加，然后再输入所述第二融合模块；

所述第一下采样模块包括顺次连接的第一跨步卷积层和第三激活层，所述第二下采样模块包括顺次连接的第二跨步卷积层和第四激活层；

所述第一上采样模块包括顺次连接的第三卷积层、第一亚像素卷积层和第五激活层，所述第二上采样模块包括顺次连接的第四卷积层、第二亚像素卷积层和第六激活层。

2.根据权利要求1所述的人脸识别方法，其特征是：tov11的卷积核大小与tov12的卷积核大小不同，tov21的卷积核大小与tov22的卷积核大小不同。

3.根据权利要求1所述的人脸识别方法，其特征是：θ11、θ12、θ21和θ22均为ReLU函数。

4.根据权利要求1所述的人脸识别方法，其特征是：所述第三下采样模块和第四下采样模块均为池化操作层。

5.一种后厨用看板系统，包括处理器和存储器，所述存储器储存有计算机程序，其特征是：所述处理器通过加载所述计算机程序，用于执行如权利要求1至4任一项所述的人脸识别方法。

6.根据权利要求5所述的后厨用看板系统，其特征是：还包括显示设备，所述显示设备与所述处理器电连接。

Images