CN115601807A - 一种适用在线考试系统的人脸识别方法及其工作方法 - Google Patents

一种适用在线考试系统的人脸识别方法及其工作方法 Download PDF

Info

Publication number
CN115601807A
CN115601807A CN202211235298.5A CN202211235298A CN115601807A CN 115601807 A CN115601807 A CN 115601807A CN 202211235298 A CN202211235298 A CN 202211235298A CN 115601807 A CN115601807 A CN 115601807A
Authority
CN
China
Prior art keywords
face
examination
image
lbp
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211235298.5A
Other languages
English (en)
Inventor
陈迪
顾世杰
于佳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Zihai Technology Group Co ltd
Original Assignee
Heilongjiang Zihai Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Zihai Technology Group Co ltd filed Critical Heilongjiang Zihai Technology Group Co ltd
Priority to CN202211235298.5A priority Critical patent/CN115601807A/zh
Publication of CN115601807A publication Critical patent/CN115601807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种适用在线考试系统的人脸识别方法及其工作方法，属于人脸识别计算领域。为提高在线考试系统的人脸识别精度。本发明输入人脸图像至数据库服务器，采用百度视觉基于人脸关键点的3D图像融合技术API，构建训练数据集；采用基于MTCNN的人脸检测方法进行人脸检测；利用局部特征提取LBP方法，对佩戴口罩的人脸进行特征提取；进行人脸识别，输出识别结果。本发明采用“一对一”地对比验证人脸方式，用终端设备采集含有人脸的图像或视频流，通过与预先上传的人员照片进行人脸特征比对，核实是否是同一个人，通过人脸识别技术对身份核实的方式进行在线考试，解决了在线考试中的替考作弊现象的发生。

Description

一种适用在线考试系统的人脸识别方法及其工作方法
技术领域
本发明属于人脸识别计算领域，具体涉及一种适用在线考试系统的人脸识别方法及其工作方法。
背景技术
在线考试是检验学习效果的重要检验方式，利用人脸识别技术实现在线考试系统，将有效地杜绝考试替考等作弊行为的发生，并促进便捷、公平、高效的在线考试模式。近年来，人脸识别功能已广泛应用，目前人脸识别技术应用较多的是门禁系统、考勤系统、电子护照身份证系统等，但是，在线考试过程中由于仍存在多种影响人脸识别精度的因素，佩戴眼镜就是其中之一，在考试过程中由于是人员密集的公共场所，需戴上口罩，传统人脸识别不能正常核验身份，摘下口罩又会增加风险，这要求在线考试系统身份核对和随机抓拍过程，将会存在因人脸被遮挡导致识别率不高的问题，需要更高精度的人脸识别技术。
发明内容
本发明要解决的问题是提高在线考试系统的人脸识别精度，提出一种适用在线考试系统的人脸识别方法及其工作方法。
为实现上述目的，本发明通过以下技术方案实现：
一种适用在线考试系统的人脸识别方法，包括如下步骤：
S1、输入人脸图像至数据库服务器，采用百度视觉基于人脸关键点的3D图像融合技术API，构建训练数据集；
S2、采用基于MTCNN的人脸检测方法进行人脸检测；
S3、利用局部特征提取LBP方法，对佩戴口罩的人脸进行特征提取；
步骤S3的具体实现方法包括如下步骤：
S3.1、采用百度视觉基于人脸关键点的3D图像融合技术API，预先构建训练数据集，即调用API接口，将考试人员上传的人脸图像进行模拟口罩遮挡处理，使得同一人脸图像包括无口罩遮挡人脸图像、有口罩遮挡人脸图像，储存到训练数据集中；
S3.2、通过LBP算子基于梯度信息的方法，对有口罩遮挡人脸图像进行注意力机制训练，提升有口罩遮挡人脸图像的眼部幅值特征，计算有口罩遮挡人脸图像中梯度信息的公式为：
Figure BDA0003882531370000011
Figure BDA0003882531370000021
其中，I(x,y)是人脸图像上(x,y)点的像素值，T(x,y)是(x,y)点的梯度方向，A(x,y)是(x,y) 点的梯度幅度值；
S3.3、将有口罩遮挡人脸图像的梯度方向进行量化处理，即将梯度角量化为N个区间，其量化公式为：
Figure BDA0003882531370000022
Figure BDA0003882531370000023
其中，
Figure BDA0003882531370000024
表示某个像素点的梯度角度值，i表示量化算子，对于梯度幅度中的任一像素点I(x,y)，以I(x,y)为中心选定一个若干像素点的方块区域，然后在量化后的梯度方向图中选择与梯度幅度图中单元格位置相对应的一个相同大小的单元格幅度值进行累加得到眼部特征加权；
S4、进行人脸识别，输出识别结果。
进一步的，步骤S2中的具体实现方法包括如下步骤：
S2.1、将人脸图像缩放为12*12*3、24*24*3、48*48*3的三种尺寸的图像，构成图像金字塔，待用；
S2.2、将输入尺寸为12*12*3的人脸图像通过第一个网络模型P-Net提出候选人脸区域，判断人脸图像是否包括人脸时采用的交叉熵损失函数
Figure BDA0003882531370000025
为：
Figure BDA0003882531370000026
其中，pi为神经网络输出的概率，表示一个样本是人脸的概率,
Figure BDA0003882531370000027
为第i个样本的人脸区域的真实坐标；
S2.3、将输入尺寸为24*24*3的人脸图像通过第二个网络模型R-Net进行人脸边界框回归过滤边界框，人脸边界框回归采用欧氏距离损失函数
Figure BDA0003882531370000028
为：
Figure BDA0003882531370000029
其中，
Figure BDA00038825313700000210
为网络模型输出的人脸边界框的坐标，
Figure BDA00038825313700000211
为第i个样本的人脸边界框的真实坐标；
S2.4、将输入尺寸为48*48*3的人脸图像通过第三个网络模型O-Net输出人脸标记定位和人脸特征点位置，包括双眼、鼻尖、左右嘴角；
人脸标记定位采用最小化欧式损失函数
Figure BDA00038825313700000212
为：
Figure BDA0003882531370000031
其中，
Figure BDA0003882531370000032
为网络模型输出的人脸标记的坐标，
Figure BDA0003882531370000033
为第i个样本的人脸标记的真实坐标；
人脸的特征点位置采用的欧式距离损失函数为：
Figure BDA0003882531370000034
其中N表示训练样本数目，αj表示任务的重要性，
Figure BDA0003882531370000035
表示样本类型，
Figure BDA0003882531370000036
为当前采样率， det、box、landmar分别表示不同网络结构的权重函数，min为最小化函数。
进一步的，步骤S3还包括对佩戴眼镜干扰的人脸进行特征提取，具体实现方法包括如下步骤：
S3.4、基于图像的纹理、颜色以及颜色梯度特征排除眼镜，选用了三种不同模式的LBP特征，第一种是8邻域半径为1的LBP特征，第二种是16邻域半径为2的LBP特征，第三种是8邻域半径为2的LBP特征；
S3.5、LBP特征的计算公式为：
Figure BDA0003882531370000037
其中，(xc，yc)表示中心像素pc的坐标，N表示中心像素邻域元素的个数，S表示二值操作；
S的定义为：
Figure BDA0003882531370000038
以纹理单位的中心像素点的灰度值为阈值，若其余相邻的像素点的灰度值大于中心像素点灰度值的阈值，则该像素点的编码值为1，小于中心像素点灰度值的阈值的时候取像素点的编码值为0，即得到8位的二进制数并转换为十进制数，统计LBP模式中每个十进制数出现的频率，并归一化处理，归一化处理的公式为：
灰度级出现的频率＝灰度级出现的次数/总像素数；
采用划分直方图的方式表示三种模式的LBP特征，将三种不同模式的LBP特征直方图叠加成图像特征向量，用于表述图像的纹理信息，表达式如下：
Figure BDA0003882531370000039
其中，H为叠加成的图像特征向量，
Figure BDA00038825313700000310
分别表示三种不同模式的LBP直方图。
进一步的，步骤S3还包括进行人脸识别，具体实现方法包括如下步骤：
S3.6、设置训练数据集为xi＝(x1,x2,...,xN)；i＝(1,2,…N),则训练数据集的均值为：
Figure BDA0003882531370000041
设置di为人脸图像与训练数据集的均值作差值运算：
di＝xi-x0；
S3.7、根据di建立协方差矩阵C：
Figure BDA0003882531370000042
其中，A＝(d1,d,...,dN)
根据欧式距离公式计算εi：
Figure BDA0003882531370000043
其中，εi为每张人脸的距离，W＝(μ1,μ2,...,μN)表示全部特征脸建立的矩阵子空间，Ω为人脸检测的特征向量，μ为LBP排除眼镜、口罩干扰后的降维特征向量，依据给定的阈值θ判定人脸图像是否归属于数据库中的人员照片。
一种适用在线考试系统的人脸识别方法的工作方法，步骤b依托于所述的一种适用在线考试系统的人脸识别方法实现，其特征在于：包括如下步骤：
步骤a、考试人员使用个人电脑或手机输入身份信息，同时上传考试人员的人脸照片存储在数据库；
步骤b、在进行考试之前，使用摄像头扫描识别考试人员的人脸来获取考试人员的图像数据，身份核对模块将考试人员的图像数据对比分析数据库内的考试人员人脸照片，用以确认考试人员身份；
步骤c、在步骤b确认符合考试人员身份，随机抽取试题模块，考试题数据进行电子试题组卷，通过网络发送到终端设备，进行考试；
步骤d、考试期间开启摄像头模式，随机抓拍考试过程中的考试人员图像，并且在提交试卷时上传抓拍考试人员图像；
步骤e、考试管理模块计算考试成绩，并将抓拍考试人员图像对比数据库内考试人员人脸照片，分析是否符合本人，判断有无替考现象。
本发明的有益效果：
本发明所述的一种适用在线考试系统的人脸识别方法，通过人脸识别技术对身份核实的方式进行在线考试，解决了在线考试中的替考等作弊现象的发生，同时，解决了组织一次传统考试的繁琐的步骤，极大地提高考试的灵活性和工作效率。本发明采用“一对一”地对比验证人脸方式，用终端设备采集含有人脸的图像或视频流，通过与预先上传的人员照片进行人脸特征比对，核实是否是同一个人。
附图说明
图1为本发明所述的一种适用在线考试系统的人脸识别方法的流程图；
图2为本发明所述的一种适用在线考试系统的人脸识别方法中MTCNN的人脸检测方法的示意图；
图3为本发明所述的一种适用在线考试系统的人脸识别方法中第一种LBP特征模式示意图；
图4为本发明所述的一种适用在线考试系统的人脸识别方法中第二种LBP特征模式示意图；
图5为本发明所述的一种适用在线考试系统的人脸识别方法中第三种LBP特征模式示意图；
图6为本发明所述的一种适用在线考试系统的人脸识别方法的工作方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明，即所描述的具体实施方式仅仅是本发明一部分实施方式，而不是全部的具体实施方式。通常在此处附图中描述和展示的本发明具体实施方式的组件可以以各种不同的配置来布置和设计，本发明还可以具有其他实施方式。
因此，以下对在附图中提供的本发明的具体实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定具体实施方式。基于本发明的具体实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
为能进一步了解本发明的发明内容、特点及功效，兹例举以下具体实施方式，并配合附图1-6详细说明如下：
具体实施方式一：
一种适用在线考试系统的人脸识别方法，包括如下步骤：
S1、输入人脸图像至数据库服务器，采用百度视觉基于人脸关键点的3D图像融合技术API，构建训练数据集；
S2、采用基于MTCNN的人脸检测方法进行人脸检测；
进一步的，步骤S2中的具体实现方法包括如下步骤：
S2.1、将人脸图像缩放为12*12*3、24*24*3、48*48*3的三种尺寸的图像，构成图像金字塔，待用；
S2.2、将输入尺寸为12*12*3的人脸图像通过第一个网络模型P-Net提出候选人脸区域，判断人脸图像是否包括人脸时采用的交叉熵损失函数
Figure BDA0003882531370000061
为：
Figure BDA0003882531370000062
其中，pi为神经网络输出的概率，表示一个样本是人脸的概率,
Figure BDA0003882531370000063
为第i个样本的人脸区域的真实坐标；
S2.3、将输入尺寸为24*24*3的人脸图像通过第二个网络模型R-Net进行人脸边界框回归过滤边界框，人脸边界框回归采用欧氏距离损失函数
Figure BDA0003882531370000064
为：
Figure BDA0003882531370000065
其中，
Figure BDA0003882531370000066
为网络模型输出的人脸边界框的坐标，
Figure BDA0003882531370000067
为第i个样本的人脸边界框的真实坐标；
S2.4、将输入尺寸为48*48*3的人脸图像通过第三个网络模型O-Net输出人脸标记定位和人脸特征点位置，包括双眼、鼻尖、左右嘴角；
人脸标记定位采用最小化欧式损失函数
Figure BDA0003882531370000068
为：
Figure BDA0003882531370000069
其中，
Figure BDA00038825313700000610
为网络模型输出的人脸标记的坐标，
Figure BDA00038825313700000611
为第i个样本的人脸标记的真实坐标；
人脸的特征点位置采用的欧式距离损失函数为：
Figure BDA00038825313700000612
其中N表示训练样本数目，αj表示任务的重要性，
Figure BDA00038825313700000613
表示样本类型，
Figure BDA00038825313700000614
为当前采样率， det、box、landmar分别表示不同网络结构的权重函数，min为最小化函数；
S3、利用局部特征提取LBP方法，对佩戴眼镜干扰的人脸、佩戴口罩的人脸进行特征提取；
进一步的，步骤S3中的具体实现方法包括如下步骤：
S3.1、对佩戴眼镜干扰的人脸进行特征提取；
进一步的，步骤S3.1的具体实现方法包括如下步骤：
S3.1.1、基于图像的纹理、颜色以及颜色梯度特征排除眼镜，选用了三种不同模式的 LBP特征进行叠加使用，第一种是8邻域半径为1的LBP特征，第二种是16邻域半径为 2的LBP特征，第三种是8邻域半径为2的LBP特征；
S3.1.2、LBP特征的计算公式为：
Figure BDA0003882531370000071
其中，(xc，yc)表示中心像素pc的坐标，N表示中心像素邻域元素的个数，S表示二值操作；
S的定义为：
Figure BDA0003882531370000072
以纹理单位的中心像素点的灰度值为阈值，若其余相邻的像素点的灰度值大于中心像素点灰度值的阈值，则该像素点的编码值为1，小于中心像素点灰度值的阈值的时候取像素点的编码值为0，即得到8位的二进制数并转换为十进制数，统计LBP模式中每个十进制数出现的频率，并归一化处理，归一化处理的公式为：
灰度级出现的频率＝灰度级出现的次数/总像素数；
采用划分直方图的方式表示三种模式的LBP特征，将三种不同模式的LBP特征直方图叠加成图像特征向量，用于表述图像的纹理信息，表达式如下：
Figure BDA0003882531370000073
其中，H为叠加成的图像特征向量，
Figure BDA0003882531370000074
分别表示三种不同模式的LBP直方图；
由于结合了三种不同模式的LBP特征，因此，所提取到的纹理特征信息更加丰富；
S3.2、对佩戴口罩的人脸进行特征提取；
进一步的，步骤S3.2的具体实现方法包括如下步骤：
S3.2.1、采用百度视觉基于人脸关键点的3D图像融合技术API，预先构建训练数据集，即调用API接口，将考试人员上传的人脸图像进行模拟口罩遮挡处理，使得同一人脸图像包括无口罩遮挡人脸图像、有口罩遮挡人脸图像，储存到训练数据集中；
S3.2.2、通过LBP算子基于梯度信息的方法，对有口罩遮挡人脸图像进行注意力机制训练，提升有口罩遮挡人脸图像的眼部幅值特征，计算有口罩遮挡人脸图像中梯度信息的公式为：
Figure BDA0003882531370000081
Figure BDA0003882531370000082
其中，I(x,y)是人脸图像上(x,y)点的像素值，T(x,y)是(x,y)点的梯度方向，A(x,y)是(x,y) 点的梯度幅度值；
S3.2.3、将有口罩遮挡人脸图像的梯度方向进行量化处理，即将梯度角量化为N个区间，其量化公式为：
Figure BDA0003882531370000083
Figure BDA0003882531370000084
其中，
Figure BDA0003882531370000085
表示某个像素点的梯度角度值，i表示量化算子，对于梯度幅度中的任一像素点I(x,y)，以I(x,y)为中心选定一个若干像素点的方块区域，然后在量化后的梯度方向图中选择与梯度幅度图中单元格位置相对应的一个相同大小的单元格幅度值进行累加得到眼部特征加权；
S3.3、进行人脸识别；
进一步的，步骤S3.3的具体实现方法包括如下步骤：
S3.3.1、设置训练数据集为xi＝(x1,x2,...,xN)；i＝(1,2,…N),则训练数据集的均值为：
Figure BDA0003882531370000086
设置di为人脸图像与训练数据集的均值作差值运算：
di＝xi-x0；
S3.3.2、根据di建立协方差矩阵C：
Figure BDA0003882531370000087
其中，A＝(d1,d,...,dN)
根据欧式距离公式计算εi：
Figure BDA0003882531370000088
其中，εi为每张人脸的距离，W＝(μ1,μ2,...,μN)表示全部特征脸建立的矩阵子空间，Ω为人脸检测的特征向量，μ为LBP排除眼镜、口罩干扰后的降维特征向量，依据给定的阈值θ判定人脸图像是否归属于数据库中的人员照片；
S4、进行人脸识别，输出识别结果。
具体实施方式二：
一种适用在线考试系统的人脸识别方法的工作方法，依托于具体实施方式一所述的一种适用在线考试系统的人脸识别方法实现，包括如下步骤：
步骤a、考试人员使用个人电脑或手机输入身份信息，同时上传考试人员的人脸照片存储在数据库；
步骤b、在进行考试之前，使用摄像头扫描识别考试人员的人脸来获取考试人员的图像数据，身份核对模块将考试人员的图像数据对比分析数据库内的考试人员人脸照片，用以确认考试人员身份；
步骤c、在步骤b确认符合考试人员身份，随机抽取试题模块，考试题数据进行电子试题组卷，通过网络发送到终端设备，进行考试；
步骤d、考试期间开启摄像头模式，随机抓拍考试过程中的考试人员图像，并且在提交试卷时上传抓拍考试人员图像；
步骤e、考试管理模块计算考试成绩，并将抓拍考试人员图像对比数据库内考试人员人脸照片，分析是否符合本人，判断有无替考现象。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然在上文中已经参考具体实施方式对本申请进行了描述，然而在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本申请所披露的具体实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本申请并不局限于文中公开的特定具体实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (5)

1.一种适用在线考试系统的人脸识别方法，其特征在于：包括如下步骤：
S1、输入人脸图像至数据库服务器，采用百度视觉基于人脸关键点的3D图像融合技术API，构建训练数据集；
S2、采用基于MTCNN的人脸检测方法进行人脸检测；
S3、利用局部特征提取LBP方法，对佩戴口罩的人脸进行特征提取；
步骤S3的具体实现方法包括如下步骤：
S3.1、采用百度视觉基于人脸关键点的3D图像融合技术API，预先构建训练数据集，即调用API接口，将考试人员上传的人脸图像进行模拟口罩遮挡处理，使得同一人脸图像包括无口罩遮挡人脸图像、有口罩遮挡人脸图像，储存到训练数据集中；
S3.2、通过LBP算子基于梯度信息的方法，对有口罩遮挡人脸图像进行注意力机制训练，提升有口罩遮挡人脸图像的眼部幅值特征，计算有口罩遮挡人脸图像中梯度信息的公式为：
Figure FDA0003882531360000011
Figure FDA0003882531360000012
其中，I(x,y)是人脸图像上(x,y)点的像素值，T(x,y)是(x,y)点的梯度方向，A(x,y)是(x,y)点的梯度幅度值；
S3.3、将有口罩遮挡人脸图像的梯度方向进行量化处理，即将梯度角量化为N个区间，其量化公式为：
Figure FDA0003882531360000013
Figure FDA0003882531360000014
其中，
Figure FDA0003882531360000015
表示某个像素点的梯度角度值，i表示量化算子，对于梯度幅度中的任一像素点I(x,y)，以I(x,y)为中心选定一个若干像素点的方块区域，然后在量化后的梯度方向图中选择与梯度幅度图中单元格位置相对应的一个相同大小的单元格幅度值进行累加得到眼部特征加权；
S4、进行人脸识别，输出识别结果。
2.根据权利要求1所述的一种适用在线考试系统的人脸识别方法，其特征在于：步骤S2中的具体实现方法包括如下步骤：
S2.1、将人脸图像缩放为12*12*3、24*24*3、48*48*3的三种尺寸的图像，构成图像金字塔，待用；
S2.2、将输入尺寸为12*12*3的人脸图像通过第一个网络模型P-Net提出候选人脸区域，判断人脸图像是否包括人脸时采用的交叉熵损失函数
Figure FDA0003882531360000021
为：
Figure FDA0003882531360000022
其中，pi为神经网络输出的概率，表示一个样本是人脸的概率,
Figure FDA0003882531360000023
为第i个样本的人脸区域的真实坐标；
S2.3、将输入尺寸为24*24*3的人脸图像通过第二个网络模型R-Net进行人脸边界框回归过滤边界框，人脸边界框回归采用欧氏距离损失函数
Figure FDA0003882531360000024
为：
Figure FDA0003882531360000025
其中，
Figure FDA0003882531360000026
为网络模型输出的人脸边界框的坐标，
Figure FDA0003882531360000027
为第i个样本的人脸边界框的真实坐标；
S2.4、将输入尺寸为48*48*3的人脸图像通过第三个网络模型O-Net输出人脸标记定位和人脸特征点位置，包括双眼、鼻尖、左右嘴角；
人脸标记定位采用最小化欧式损失函数
Figure FDA0003882531360000028
为：
Figure FDA0003882531360000029
其中，
Figure FDA00038825313600000210
为网络模型输出的人脸标记的坐标，
Figure FDA00038825313600000211
为第i个样本的人脸标记的真实坐标；
人脸的特征点位置采用的欧式距离损失函数为：
Figure FDA00038825313600000212
其中N表示训练样本数目，αj表示任务的重要性，
Figure FDA00038825313600000213
表示样本类型，
Figure FDA00038825313600000214
为当前采样率，det、box、landmar分别表示不同网络结构的权重函数，min为最小化函数。
3.根据权利要求1或2所述的一种适用在线考试系统的人脸识别方法，其特征在于：步骤S3还包括对佩戴眼镜干扰的人脸进行特征提取，具体实现方法包括如下步骤：
S3.4、基于图像的纹理、颜色以及颜色梯度特征排除眼镜，选用了三种不同模式的LBP特征，第一种是8邻域半径为1的LBP特征，第二种是16邻域半径为2的LBP特征，第三种是8邻域半径为2的LBP特征；
S3.5、LBP特征的计算公式为：
Figure FDA0003882531360000031
其中，(xc，yc)表示中心像素pc的坐标，N表示中心像素邻域元素的个数，S表示二值操作；
S的定义为：
Figure FDA0003882531360000032
以纹理单位的中心像素点的灰度值为阈值，若其余相邻的像素点的灰度值大于中心像素点灰度值的阈值，则该像素点的编码值为1，小于中心像素点灰度值的阈值的时候取像素点的编码值为0，即得到8位的二进制数并转换为十进制数，统计LBP模式中每个十进制数出现的频率，并归一化处理，归一化处理的公式为：
灰度级出现的频率＝灰度级出现的次数/总像素数；
采用划分直方图的方式表示三种模式的LBP特征，将三种不同模式的LBP特征直方图叠加成图像特征向量，用于表述图像的纹理信息，表达式如下：
Figure FDA0003882531360000033
其中，H为叠加成的图像特征向量，
Figure FDA0003882531360000034
分别表示三种不同模式的LBP直方图。
4.根据权利要求3所述的一种适用在线考试系统的人脸识别方法，其特征在于：步骤S3还包括进行人脸识别，具体实现方法包括如下步骤：
S3.6、设置训练数据集为xi＝(x1,x2,...,xN)；i＝(1,2,…N),则训练数据集的均值为：
Figure FDA0003882531360000035
设置di为人脸图像与训练数据集的均值作差值运算：
di＝xi-x0；
S3.7、根据di建立协方差矩阵C：
Figure FDA0003882531360000041
其中，A＝(d1,d,...,dN)
根据欧式距离公式计算εi：
Figure FDA0003882531360000042
其中，εi为每张人脸的距离，W＝(μ1,μ2,...,μN)表示全部特征脸建立的矩阵子空间，Ω为人脸检测的特征向量，μ为LBP排除眼镜、口罩干扰后的降维特征向量，依据给定的阈值θ判定人脸图像是否归属于数据库中的人员照片。
5.一种适用在线考试系统的人脸识别方法的工作方法，步骤b依托于权利要求1-4之一所述的一种适用在线考试系统的人脸识别方法实现，其特征在于：包括如下步骤：
步骤a、考试人员使用个人电脑或手机输入身份信息，同时上传考试人员的人脸照片存储在数据库；
步骤b、在进行考试之前，使用摄像头扫描识别考试人员的人脸来获取考试人员的图像数据，身份核对模块将考试人员的图像数据对比分析数据库内的考试人员人脸照片，用以确认考试人员身份；
步骤c、在步骤b确认符合考试人员身份，随机抽取试题模块，考试题数据进行电子试题组卷，通过网络发送到终端设备，进行考试；
步骤d、考试期间开启摄像头模式，随机抓拍考试过程中的考试人员图像，并且在提交试卷时上传抓拍考试人员图像；
步骤e、考试管理模块计算考试成绩，并将抓拍考试人员图像对比数据库内考试人员人脸照片，分析是否符合本人，判断有无替考现象。
CN202211235298.5A 2022-10-10 2022-10-10 一种适用在线考试系统的人脸识别方法及其工作方法 Pending CN115601807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211235298.5A CN115601807A (zh) 2022-10-10 2022-10-10 一种适用在线考试系统的人脸识别方法及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211235298.5A CN115601807A (zh) 2022-10-10 2022-10-10 一种适用在线考试系统的人脸识别方法及其工作方法

Publications (1)

Publication Number Publication Date
CN115601807A true CN115601807A (zh) 2023-01-13

Family

ID=84846302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211235298.5A Pending CN115601807A (zh) 2022-10-10 2022-10-10 一种适用在线考试系统的人脸识别方法及其工作方法

Country Status (1)

Country Link
CN (1) CN115601807A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894978A (zh) * 2023-07-18 2023-10-17 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统
CN117746477A (zh) * 2023-12-19 2024-03-22 景色智慧(北京)信息科技有限公司 一种户外人脸识别方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894978A (zh) * 2023-07-18 2023-10-17 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统
CN116894978B (zh) * 2023-07-18 2024-03-29 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统
CN117746477A (zh) * 2023-12-19 2024-03-22 景色智慧(北京)信息科技有限公司 一种户外人脸识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Ramachandra et al. Towards making morphing attack detection robust using hybrid scale-space colour texture features
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN115601807A (zh) 一种适用在线考试系统的人脸识别方法及其工作方法
CN107798279B (zh) 一种人脸活体检测方法及装置
CN101510257A (zh) 一种人脸相似度匹配方法及装置
Hebbale et al. Real time COVID-19 facemask detection using deep learning
KR102145132B1 (ko) 딥러닝을 이용한 대리 면접 예방 방법
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN111178130A (zh) 一种基于深度学习的人脸识别方法、系统和可读存储介质
US9378406B2 (en) System for estimating gender from fingerprints
Wrobel et al. Lip print recognition method using bifurcations analysis
CN114360071A (zh) 基于人工智能实现离线手写签名验证的方法
CN113205002A (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN108090473B (zh) 多相机下人脸识别的方法及装置
CN107480628B (zh) 一种人脸识别方法及装置
Sai et al. Student Attendance Monitoring System Using Face Recognition
CN115909400A (zh) 一种用于低分辨率监控场景中使用手机行为的识别方法
Shaban et al. A Novel Fusion System Based on Iris and Ear Biometrics for E-exams.
CN112182537A (zh) 监控方法、装置、服务器、系统以及存储介质
CN105447446A (zh) 一种基于粗糙集主分量人脸识别方法及系统
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及系统
Orpilla et al. Raspberry Pi-Based Dual Iris Recognition System Using Coiflet Wavelet
CN116363736B (zh) 基于数字化的大数据用户信息采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination