CN113361494B - 基于人脸识别的自助服务方法及自助服务系统 - Google Patents

Abstract

基于人脸识别的自助服务方法及自助服务系统，本发明涉及自助服务方法及自助服务系统。本发明的目的是为了解决现有人工避免小学生食物过敏的方法效率低，准确率差的问题。过程为：步骤一、采集人脸图像数据集和相对应的标签文件数据集，组成样本数据集；步骤二、建立神经网络模型；步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，采用Adam算法进行迭代优化，得到最优网络模型；步骤四、向最优网络模型中输入待测人脸图像数据进行结果预测，获得每位小学生对应的过敏信息。本发明用于人脸识别的自助服务技术领域。

Description

基于人脸识别的自助服务方法及自助服务系统

技术领域

本发明涉及自助服务方法及自助服务系统。

背景技术

随着计算机计算速度存储容量的进化、人工智能与机器学习的发展，使得计算机进行特定范围的人脸识别已经成为现实。

自助服务已经成为人们便利生活的一部分，也越来越普及。自助服务终端主要用于缓解人流量大的问题，提高业务办理的速度，主要应用于银行、电信、电力、医疗、航空、零售、学校等行业。

人脸图像识别是图像识别的一个分支。在进行人脸识别之前，需要首先建立对应的人脸数据库，以存储数量较多的人脸图像文件。当需要进行识别时，将待识别的人脸图像对应的图像数据与人脸数据库中的人脸图像数据进行一一对比，以确定是否存在相匹配的人脸图像。但是，现有的人脸图像识别方法，存在效率低下的问题。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。当前主流人脸识别算法所处理的人脸图像分辨率也较小，一般在128*128以下，未能充分挖掘人脸的细节信息。

传统的小学生食堂打饭会有2种方式，一种是小学生自行挑选，一种是固定餐品；然而有的小学生会有对某种食物过敏的情况，而且这种情况在学校普遍存在，由于食堂菜品的特殊性，1种菜品往往会由几种食物共同烹饪而成，有的小学生不记得自己对何种食物过敏，即使记得自己对何种食物过敏的小学生由于年纪小也不能准确判断这些成品的菜肴中是否有对自己过敏的食物；

由于小学生数量众多，吃饭时间集中，如果紧靠食堂阿姨或老师的提醒效率低，准确率差，做不到对每个学生都照顾到，所以急需一种全自动人脸识别系统及方法，完成对每个小学生在打饭时的精准判断。

发明内容

本发明的目的是为了解决现有人工避免小学生食物过敏的方法效率低，准确率差的问题，而提出基于人脸识别的自助服务方法及自助服务系统。

基于人脸识别的自助服务方法具体过程为：

步骤一、采集人脸图像数据集和相对应的标签文件数据集，组成样本数据集；

步骤二、建立神经网络模型；

步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，采用Adam算法进行迭代优化，得到最优网络模型；

步骤四、向最优网络模型中输入待测人脸图像数据进行结果预测，获得每位小学生对应的过敏信息。

优选地，所述步骤一中采集小学生人脸图像数据集和相对应的标签文件数据集，组成样本数据集；具体过程包括：

采集小学生人脸图像数据集，对采集的小学生人脸图像数据集进行去噪处理；

获取标签文件数据集，其中，标签文件数据集为与去噪后小学生人脸图像数据集中图像一一对应的用于记录每个人脸对应的过敏物、人脸图像大小、人脸图像中各部位坐标的左上角和右下角的文件的集合；

利用去噪后人脸图像数据集和标签文件数据集组成样本数据集。

优选地，所述对采集的人脸图像数据集进行去噪处理；具体过程为：

式中，f(x,y)表示采集的人脸图像数据，g(x,y)表示去噪处理后人脸图像数据，n(x,y)表示噪声。

优选地，所述利用去噪后人脸图像数据集和标签文件数据集组成样本数据集；具体过程为：

将去噪后人脸图像数据进行灰度处理，对灰度处理后的人脸图像数据进行预处理，获得3通道灰度图像，其中，3通道中一通道放大12％后裁剪至原图大小；一通道不做变化；一通道缩小12％后在图像四周填充0像素至原图大小；

利用3通道灰度图像集合和标签文件数据集组成样本数据集。

优选地，本实施方式与具体实施方式一至三之一不同的是，所述步骤二中神经网络模型包括：

输入层、第一批归一化层、第一PReLU激活层、第一三维卷积层、第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层、第五批归一化层、第五PReLU激活层、第五二维卷积层、第六批归一化层、第六ReLU激活层、第六二维可变形卷积层、第七批归一化层、第七ReLU激活层、第七二维卷积层、第八批归一化层、第八ReLU激活层、全局平均池化、全连接层(实现分类)。

优选地，所述步骤二中神经网络模型连接关系为：

输入层连接第一批归一化层，第一批归一化层连接第一PReLU激活层，第一PReLU激活层连接第一三维卷积层；

第一三维卷积层的输出连接第二批归一化层，第二批归一化层连接第二PReLU激活层，第二PReLU激活层连接第二三维卷积层；

第一三维卷积层的输出和第二三维卷积层的输出连接第三批归一化层的输入，第三批归一化层连接第三PReLU激活层，第三PReLU激活层连接第三三维卷积层；

第一三维卷积层的输出、第二三维卷积层的输出和第三三维卷积层的输出连接第四批归一化层的输入，第四批归一化层连接第四PReLU激活层，第四PReLU激活层连接第四三维卷积层；

第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，第五批归一化层连接第五PReLU激活层；

第五PReLU激活层连接第五二维卷积层，第五二维卷积层连接第六批归一化层，第六批归一化层连接第六ReLU激活层；

第六ReLU激活层连接第六二维可变形卷积层，第六二维可变形卷积层连接第七批归一化层，第七批归一化层连接第七ReLU激活层；

第七ReLU激活层连接第七二维卷积层，第七二维卷积层连接第八批归一化层，第八批归一化层的输出和第五PReLU激活层的输出连接第八ReLU激活层，第八ReLU激活层连接全局平均池化，全局平均池化连接全连接层(实现分类)。

优选地，所述第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，具体过程为：

计算第一三维卷积层输出的图像特征向量和第三三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₁₂；

计算第一三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₁₄；

计算第三三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₃₄；

将

作为第一三维卷积层输出的图像特征向量的权重；

将

作为第三三维卷积层输出的图像特征向量的权重；

将

作为第四三维卷积层输出的图像特征向量的权重；

按权重融合第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出，将融合后图像特征输入第五批归一化层。

优选地，所述欧氏距离表达式为：

式中，a_i、b_i为图像特征向量元素；i为元素个数。

优选地，所述第一三维卷积层的卷积核大小为3×3×1，卷积核个数为24；

所述第二三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第三三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第四三维卷积层的卷积核大小为3×3×1，卷积核个数为12。

基于人脸识别的自助服务系统用于执行基于人脸识别的自助服务方法。

本发明的有益效果为：

基于本发明人脸识别的自助服务方法及自助服务系统，小学生在入学时通过体检或者家长告知的方式将每位小学生的过敏史记载在系统中，系统对每位小学生进行人脸采样，这样小学生在食堂打饭时自助服务系统自动显示该位小学生对什么过敏，给食堂打饭阿姨的打饭工作带来了精准的帮助，避免了小学生的食物过敏问题。

本发明人脸识别的自助服务方法及自助服务系统通过“采集人脸图像数据集和相对应的标签文件数据集，组成样本数据集；建立神经网络模型；将样本数据集输入到建立的神经网络模型中，采用Adam算法进行迭代优化，得到最优网络模型；向最优网络模型中输入待测人脸图像数据进行结果预测。”完成人脸识别。

本发明的神经网络模型可以在空间域中提取尽可能多的信息，本发明将传统卷积和可变形卷积相结合，并嵌入到残差结构中，以适应未知的空间变化，增强泛化能力。这些设计被集成到一个统一的端到端框架中，以提高对图像的分类性能。

近年来，卷积神经网络的改进通常是从加深或加宽网络两个方面进行。在卷积层数加深方面，梯度消失是主要的问题。本发明不仅缓解了梯度消失的现象，而且减少了参数的数量。本发明通过在前一层和后一层之间建立密集的连接来实现特征复用。

本发明的第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层是直接跨通道实现的，因此要求在连接的不同层之前，它们的特征图的大小应该是相同的。

本发明的第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层连接使得空间特征和梯度的传输更加有效，网络更容易训练。每一层都可以直接利用损失函数的梯度和初始输入特征映射，这是一种隐式的深度监督，从而可以缓解梯度消失的现象。本发明的第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层比传统卷积块具有更少的参数，而且它不需要重新学习冗余的特征映射。传统的前馈结构可以看作是一种层间状态传输的算法。每一层接收上一层的状态，并将新状态传递给下一层。

本发明的第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层连接可以在空间域中提取尽可能多的信息，对空间与通道信息进行特征加权分析，最后融合全部特征；这样不仅准确的提取到了有效特征，也减少了信息的损失；

本发明针对近年来网络模型的参数量越来越大的问题，构建了一个参数量较低的轻量级模型，使用深度可分离卷积和不对称卷积减小了模型的参数量，该网络模型能够在较低的复杂度下，使模型更加充分的挖掘图像关键信息，得到图像的准确分类，提高了图像分类准确率。

本发明神经网络输入数据中输入3通道图像：其中，一通道放大12％后裁剪至原图大小；一通道不做变化；一通道缩小12％后在图像四周填充0像素至原图大小，与标签一起加入检测算法训练，可以有效减少由于放大缩小这种扩增手段引起的训练时间的加长；可以在真正的检测中有效提高检测的泛化能力，可以有效进行识别和定位，进一步提高算法的覆盖率与准确性。

本发明按权重融合第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出，减少运算量，准确提取有效特征，从而准确判断提高了图像分类准确率；本发明对图像数据进行去噪处理，获得去噪后图像，提高了图像分类准确率。

附图说明

图1为本发明流程图。

具体实施方式

具体实施方式一：本实施方式基于人脸识别的自助服务方法具体过程为：

步骤一、采集小学生人脸图像数据集和相对应的标签文件数据集，组成样本数据集；

步骤二、建立神经网络模型；

步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，采用Adam算法进行迭代优化，得到最优网络模型；

步骤四、向最优网络模型中输入待测小学生人脸图像数据进行结果预测，获得每位小学生对应的过敏信息。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中采集小学生人脸图像数据集和相对应的标签文件数据集，组成样本数据集；具体过程包括：

采集小学生人脸图像数据集，对采集的小学生人脸图像数据集进行去噪处理；

获取标签文件数据集，其中，标签文件数据集为与去噪后小学生人脸图像数据集中图像一一对应的用于记录每个人脸对应的过敏物、人脸图像大小、人脸图像中各部位坐标的左上角和右下角的文件的集合；

利用去噪后人脸图像数据集和标签文件数据集组成样本数据集。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述对采集的人脸图像数据集进行去噪处理；具体过程为：

式中，f(x,y)表示采集的人脸图像数据，g(x,y)表示去噪处理后人脸图像数据，n(x,y)表示噪声。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述利用去噪后人脸图像数据集和标签文件数据集组成样本数据集；具体过程为：

将去噪后人脸图像数据进行灰度处理，对灰度处理后的人脸图像数据进行预处理，获得3通道灰度图像，其中，3通道中一通道放大12％后裁剪至原图大小；一通道不做变化；一通道缩小12％后在图像四周填充0像素至原图大小；

利用3通道灰度图像集合和标签文件数据集组成样本数据集。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至三之一不同的是，所述步骤二中神经网络模型包括：

输入层、第一批归一化层、第一PReLU激活层、第一三维卷积层、第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层、第五批归一化层、第五PReLU激活层、第五二维卷积层、第六批归一化层、第六ReLU激活层、第六二维可变形卷积层、第七批归一化层、第七ReLU激活层、第七二维卷积层、第八批归一化层、第八ReLU激活层、全局平均池化、全连接层(实现分类)。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤二中神经网络模型连接关系为：

输入层连接第一批归一化层，第一批归一化层连接第一PReLU激活层，第一PReLU激活层连接第一三维卷积层；

第一三维卷积层的输出连接第二批归一化层，第二批归一化层连接第二PReLU激活层，第二PReLU激活层连接第二三维卷积层；

第一三维卷积层的输出和第二三维卷积层的输出连接第三批归一化层的输入，第三批归一化层连接第三PReLU激活层，第三PReLU激活层连接第三三维卷积层；

第一三维卷积层的输出、第二三维卷积层的输出和第三三维卷积层的输出连接第四批归一化层的输入，第四批归一化层连接第四PReLU激活层，第四PReLU激活层连接第四三维卷积层；

第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，第五批归一化层连接第五PReLU激活层；

第五PReLU激活层连接第五二维卷积层，第五二维卷积层连接第六批归一化层，第六批归一化层连接第六ReLU激活层；

第六ReLU激活层连接第六二维可变形卷积层，第六二维可变形卷积层连接第七批归一化层，第七批归一化层连接第七ReLU激活层；

第七ReLU激活层连接第七二维卷积层，第七二维卷积层连接第八批归一化层，第八批归一化层的输出和第五PReLU激活层的输出连接第八ReLU激活层，第八ReLU激活层连接全局平均池化，全局平均池化连接全连接层(实现分类)。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，具体过程为：

计算第一三维卷积层输出的图像特征向量和第三三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₁₂；

计算第一三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₁₄；

计算第三三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Distance(a,b)₃₄；

将

作为第一三维卷积层输出的图像特征向量的权重；

将

作为第三三维卷积层输出的图像特征向量的权重；

将

作为第四三维卷积层输出的图像特征向量的权重；

按权重融合第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出，将融合后图像特征输入第五批归一化层。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述欧氏距离表达式为：

式中，a_i、b_i为图像特征向量元素；i为元素个数。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述第一三维卷积层的卷积核大小为3×3×1，卷积核个数为24；

所述第二三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第三三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第四三维卷积层的卷积核大小为3×3×1，卷积核个数为12。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式基于人脸识别的自助服务系统用于执行具体实施方式一至具体实施方式九的基于人脸识别的自助服务方法。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.基于人脸识别的自助服务方法，其特征在于：所述方法具体过程为：

步骤一、采集人脸图像数据集和相对应的标签文件数据集，组成样本数据集；

步骤二、建立神经网络模型；

步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，采用Adam算法进行迭代优化，得到最优网络模型；

步骤四、向最优网络模型中输入待测人脸图像数据进行结果预测，获得每位小学生对应的过敏信息；

所述步骤一中采集小学生人脸图像数据集和相对应的标签文件数据集，组成样本数据集；具体过程包括：

采集小学生人脸图像数据集，对采集的小学生人脸图像数据集进行去噪处理；

获取标签文件数据集，其中，标签文件数据集为与去噪后小学生人脸图像数据集中图像一一对应的用于记录每个人脸对应的过敏物、人脸图像大小、人脸图像中各部位坐标的左上角和右下角的文件的集合；

利用去噪后人脸图像数据集和标签文件数据集组成样本数据集；

所述对采集的人脸图像数据集进行去噪处理；具体过程为：

式中，f(x,y)表示采集的人脸图像数据，g(x,y)表示去噪处理后人脸图像数据，n(x,y)表示噪声；

所述利用去噪后人脸图像数据集和标签文件数据集组成样本数据集；具体过程为：

将去噪后人脸图像数据进行灰度处理，对灰度处理后的人脸图像数据进行预处理，获得3通道灰度图像，其中，3通道中一通道放大12％后裁剪至原图大小；一通道不做变化；一通道缩小12％后在图像四周填充0像素至原图大小；

利用3通道灰度图像集合和标签文件数据集组成样本数据集；

所述步骤二中神经网络模型包括：

输入层、第一批归一化层、第一PReLU激活层、第一三维卷积层、第二批归一化层、第二PReLU激活层、第二三维卷积层、第三批归一化层、第三PReLU激活层、第三三维卷积层、第四批归一化层、第四PReLU激活层、第四三维卷积层、第五批归一化层、第五PReLU激活层、第五二维卷积层、第六批归一化层、第六ReLU激活层、第六二维可变形卷积层、第七批归一化层、第七ReLU激活层、第七二维卷积层、第八批归一化层、第八ReLU激活层、全局平均池化、全连接层；

所述步骤二中神经网络模型连接关系为：

输入层连接第一批归一化层，第一批归一化层连接第一PReLU激活层，第一PReLU激活层连接第一三维卷积层；

第一三维卷积层的输出连接第二批归一化层，第二批归一化层连接第二PReLU激活层，第二PReLU激活层连接第二三维卷积层；

第一三维卷积层的输出和第二三维卷积层的输出连接第三批归一化层的输入，第三批归一化层连接第三PReLU激活层，第三PReLU激活层连接第三三维卷积层；

第一三维卷积层的输出、第二三维卷积层的输出和第三三维卷积层的输出连接第四批归一化层的输入，第四批归一化层连接第四PReLU激活层，第四PReLU激活层连接第四三维卷积层；

第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，第五批归一化层连接第五PReLU激活层；

第五PReLU激活层连接第五二维卷积层，第五二维卷积层连接第六批归一化层，第六批归一化层连接第六ReLU激活层；

第六ReLU激活层连接第六二维可变形卷积层，第六二维可变形卷积层连接第七批归一化层，第七批归一化层连接第七ReLU激活层；

第七ReLU激活层连接第七二维卷积层，第七二维卷积层连接第八批归一化层，第八批归一化层的输出和第五PReLU激活层的输出连接第八ReLU激活层，第八ReLU激活层连接全局平均池化，全局平均池化连接全连接层。

2.根据权利要求1所述基于人脸识别的自助服务方法，其特征在于：所述第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出连接第五批归一化层的输入，具体过程为：

计算第一三维卷积层输出的图像特征向量和第三三维卷积层输出的图像特征向量的欧氏距离Dis tan ce(a,b)₁₂；

计算第一三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Dis tan ce(a,b)₁₄；

计算第三三维卷积层输出的图像特征向量和第四三维卷积层输出的图像特征向量的欧氏距离Dis tan ce(a,b)₃₄；

将

作为第一三维卷积层输出的图像特征向量的权重；

将

作为第三三维卷积层输出的图像特征向量的权重；

将

作为第四三维卷积层输出的图像特征向量的权重；

按权重融合第一三维卷积层的输出、第三三维卷积层的输出、第四三维卷积层的输出，将融合后图像特征输入第五批归一化层。

3.根据权利要求2所述基于人脸识别的自助服务方法，其特征在于：所述欧氏距离表达式为：

式中，a_i、b_i为图像特征向量元素；i为元素个数。

4.根据权利要求3所述基于人脸识别的自助服务方法，其特征在于：所述第一三维卷积层的卷积核大小为3×3×1，卷积核个数为24；

所述第二三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第三三维卷积层的卷积核大小为3×3×1，卷积核个数为12；

所述第四三维卷积层的卷积核大小为3×3×1，卷积核个数为12。

5.基于人脸识别的自助服务系统，其特征在于：该系统用于执行如权利要求1至权利要求4中任意一项所述基于人脸识别的自助服务方法。

Images