CN115690934A - 基于批量人脸识别的师生考勤打卡方法及装置 - Google Patents
基于批量人脸识别的师生考勤打卡方法及装置 Download PDFInfo
- Publication number
- CN115690934A CN115690934A CN202310010568.0A CN202310010568A CN115690934A CN 115690934 A CN115690934 A CN 115690934A CN 202310010568 A CN202310010568 A CN 202310010568A CN 115690934 A CN115690934 A CN 115690934A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- vector
- sensitive
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004080 punching Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 163
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims description 33
- 239000000126 substance Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 8
- 230000002411 adverse Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于批量人脸识别的师生考勤打卡方法及装置,所述方法包括:采集师生考勤图像,检测师生考勤图像中的像素清晰度,在不符合预设清晰度时,对师生考勤图像中的低清晰度图像进行向量重建,确定向量重建图像对应的重建考勤图像;提取重建考勤图像中的候选人脸框与边界校准向量,利用边界校准向量与非极大值抑制算法对候选人脸框进行人脸框校准;从校准人脸框中选取敏感区域框,构建加权圆子,计算敏感特征码,计算敏感区域系数;计算校准人脸框对应的人脸相似度,确定师生考勤图像对应的师生识别结果,并确定师生识别结果对应的批量考勤打卡结果。本发明可以提高师生考勤打卡准确率。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种基于批量人脸识别的师生考勤打卡方法、装置、电子设备以及存储介质。
背景技术
基于批量人脸识别的师生考勤打卡是指利用人脸识别进行考勤打卡的过程。
目前,学生课堂出勤率低是高校教学管理的难题,严格的考勤制度可以有效提高出勤率,需要在上课前快速准确完成并能实时记录学生参与课堂的情况,有效防止迟到、早退、课堂玩手机等不良现象,目前的考勤方法多为人工操作,也有少数研究人员开发人脸识别系统并应用于课堂和会议考勤;但还存在人脸检测召回率较低和低像素人脸识别失败的问题,单纯基于深度学习方法的人脸检测识别精度较高,但是需要海量的数据资源,更新数据库繁琐,对硬件设备要求苛刻等,因此,基于批量人脸识别的师生考勤打卡准确率不足。
发明内容
为了解决上述问题,本发明提供了一种基于批量人脸识别的师生考勤打卡方法、装置、电子设备以及存储介质,可以提高基于批量人脸识别的师生考勤打卡准确率。
第一方面,本发明提供了一种基于批量人脸识别的师生考勤打卡方法,包括:
采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
在第一方面的一种可能实现方式中,所述对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,包括:
利用下述公式对所述低清晰度图像进行高维向量映射,得到映射高维向量:
其中,表示所述映射高维向量,Y表示所述低清晰度图像,max表示最大值,表示利用第一层的卷积核尺寸为的滤波器对所述低清晰度图像进行滤波时的参数偏差,c表示输入图像的通道数,表示滤波器深度,代表滤波器的空间尺寸,表示滤波器的权重;
利用下述公式对所述映射高维向量进行特征向量映射,得到映射特征向量:
利用下述公式所述映射特征向量进行向量重建,得到所述向量重建图像:
在第一方面的一种可能实现方式中,所述利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框,包括:
根据所述边界校准向量,利用下述公式对所述候选人脸框进行初始校准,得到初始人脸框:
其中,R表示所述初始人脸框,表示所述初始人脸框的特征向量,分别表示所述初始人脸框的左上角坐标与宽度和高度的向量,表示所述候选人脸框的特征向量,表示所述候选人脸框的特征向量中候选人脸框的左上角坐标的向量,表示所述候选人脸框的特征向量中候选人脸框的宽度与高度的向量,表示所述边界校准向量对应的左上角坐标、宽度与高度的向量;
利用所述非极大值抑制算法识别所述初始人脸框中最大分类概率对应的目标人脸框与所述初始人脸框中的剩余人脸框;
利用下述公式计算所述目标人脸框与所述剩余人脸框之间的重合度:
根据所述重合度,从所述初始人脸框中提取校准人脸框。
在第一方面的一种可能实现方式中,所述构建所述敏感区域框的加权圆子,包括:
识别所述敏感区域框中敏感特征点的最近特征点;
利用所述敏感特征点提取所述最近特征点的邻域特征点;
根据所述邻域特征点,确定所述敏感区域框的加权圆子。
在第一方面的一种可能实现方式中,所述利用所述加权圆子计算所述敏感区域框中的敏感特征码,包括:
获取所述加权圆子对应的敏感特征点,根据所述敏感特征点,利用下述公式计算所述加权圆子对应的加权权重:
根据所述加权权重,利用下述公式计算所述敏感区域框中的敏感特征码:
在第一方面的一种可能实现方式中,所述利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数,包括:
其中,flag表示所述敏感区域框对应的敏感区域系数,dist表示所述敏感区域框与考勤设备的数据库中存储的师生人脸的敏感区域的相似度,表示所述敏感特征码,表示考勤设备的数据库中存储的师生人脸的敏感区域对应的敏感特征码,的初值为0,t表示预先设置的相似度阈值。
在第一方面的一种可能实现方式中,所述利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度通过下述公式实现:
其中,Dist表示所述校准人脸框对应的人脸相似度,flag表示所述敏感区域框对应的敏感区域系数,Dist’表示所述校准人脸框与考勤设备中存储的师生人脸的特征向量相似度。
第二方面,本发明提供了一种基于批量人脸识别的师生考勤打卡装置,所述装置包括:
重建图像确定模块,用于采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
人脸框校准模块,用于提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
区域系数计算模块,用于从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
打卡结果确定模块,用于利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
与现有技术相比,本方案的技术原理及有益效果在于:
本发明实施例通过采集师生考勤图像,以用于对师生进行人脸识别的考勤,进一步地,本发明实施例通过检测所述师生考勤图像中的像素清晰度,以用于在图像不失真的情况下提高图像分辨率,在现实应用中由于硬件条件、学生听课位置等因素导致采集的图像存在分辨率不足、人脸像素较低的情况,在课堂学生出勤率考察过程中我们总希望采集的视频图像帧为高清图像,分辨率高的图像对人脸检测召回率以及人脸识别正确率有非常重要的影响,进一步地,本发明实施例通过对所述师生考勤图像中的低清晰度图像进行向量重建,以用于减少由于抖动模糊、设备磨损老化、镜头聚焦失败以及目标距离镜头较远等原因而产生像素较低图像对后续人脸识别验证造成的不利影响,同时提升人脸识别的准确率,进一步地,本发明实施例通过确定所述向量重建图像对应的重建考勤图像,以用于将清晰度不足的图像重建之后与原图像中清晰度充足的部分进行合并,组成完整的考勤图像,进一步地,本发明实施例通过提取所述重建考勤图像中的候选人脸框与边界校准向量,以用于从所述重建考勤图像中选取批量的师生人脸以及利用所述边界校准向量对所述候选人脸框进行校准,进一步地,本发明实施例通过利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,以用于去除候选人脸框中的偏移人脸框与重合人脸框,进一步地,本发明实施例通过从所述校准人脸框中选取敏感区域框,以用于对人脸框中的敏感区域进行识别,进一步地,本发明实施例通过构建所述敏感区域框的加权圆子,以用于对所述敏感区域框中的像素点的邻域像素点赋予权重,利用数值化的权重表达所述敏感区域框中的敏感特征,提升了后续特征比对的准确率,进一步地,本发明实施例通过利用所述加权圆子计算所述敏感区域框中的敏感特征码,以用于计算所述敏感区域框中的特征点的特征值,进一步地,本发明实施例通过利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数,以用于利用所述敏感区域框与考勤设备的数据库中预先存储的师生人脸的五官特征进行匹配,并将匹配结果作为后续进行人脸识别的基础,提升了人脸识别的准确率,进一步地,本发明实施例通过利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,以用于确定人脸识别结果,进一步地,本发明实施例通过根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,以用于将人脸识别转换为师生考勤识别结果,进一步地,本发明实施例通过确定所述师生识别结果对应的批量考勤打卡结果,以用于根据人脸识别结果对师生进行批量考勤打卡,减少单独人员打卡的低效问题。因此,本发明实施例提出的一种基于批量人脸识别的师生考勤打卡方法、装置、电子设备以及存储介质,可以提高基于批量人脸识别的师生考勤打卡准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于批量人脸识别的师生考勤打卡方法的流程示意图;
图2为本发明一实施例中图1提供的一种基于批量人脸识别的师生考勤打卡方法的其中一个步骤的流程示意图;
图3为本发明一实施例中图1提供的一种基于批量人脸识别的师生考勤打卡方法的另外一个步骤的流程示意图;
图4为本发明一实施例提供的一种基于批量人脸识别的师生考勤打卡装置的模块示意图;
图5为本发明一实施例提供的实现基于批量人脸识别的师生考勤打卡方法的电子设备的内部结构示意图。
具体实施方式
应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于批量人脸识别的师生考勤打卡方法,所述基于批量人脸识别的师生考勤打卡方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述基于批量人脸识别的师生考勤打卡方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示,是本发明一实施例提供的基于批量人脸识别的师生考勤打卡方法的流程示意图。其中,图1中描述的基于批量人脸识别的师生考勤打卡方法包括:
S1、采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像。
本发明实施例通过采集师生考勤图像,以用于对师生进行人脸识别的考勤。其中,所述采集师生考勤图像是指通过摄像机或者录像设备所采集的图像,在不同场景下的图像不同,例如在教室场景中为所采集的师生在班级的图像,在师生站在考勤机面前进行考勤的场景中为师生面对考勤机的图像。
进一步地,本发明实施例通过检测所述师生考勤图像中的像素清晰度,以用于在图像不失真的情况下提高图像分辨率,在现实应用中由于硬件条件、学生听课位置等因素导致采集的图像存在分辨率不足、人脸像素较低的情况,在课堂学生出勤率考察过程中我们总希望采集的视频图像帧为高清图像,分辨率高的图像对人脸检测召回率以及人脸识别正确率有非常重要的影响。
其中,所述像素清晰度通过图像的分辨率来表示,图像的空间分辨率是指图像中每单位长度所包含的像素或点的数目,常以像素/英寸(pixels per inch,ppi)为单位来表示,如76ppi,1英寸(in)=2.54厘米(cm),分为水平分辨率和垂直分辨率,图像的像素数是指在横向上和纵向上有多少个像素,组成一个矩阵,比如800600,空间分辨率越高,图像质量越好,空间分辨率越低,图像质量越差,会出现棋盘模式。
本发明的一实施例中,所述检测所述师生考勤图像中的像素清晰度通过查询所述师生考勤图像中的空间分辨率实现。
在所述像素清晰度不符合预设清晰度时,表示图像像素清晰度不足,会对后续的人脸识别造成不利影响,需要将图像像素清晰度不足的地方单独拿出来进行清晰度提升。其中,所述预设清晰度是指预设空间分辨率,在图像为标清图像时,由于960*540是标清分辨率,则可以设置所述预设清晰度为960*540规格。
进一步地,本发明实施例通过对所述师生考勤图像中的低清晰度图像进行向量重建,以用于减少由于抖动模糊、设备磨损老化、镜头聚焦失败以及目标距离镜头较远等原因而产生像素较低图像对后续人脸识别验证造成的不利影响,同时提升人脸识别的准确率。其中,所述向量重建图像是指由重建的向量构成的图像。
本发明的一实施例中,所述对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,包括:利用下述公式对所述低清晰度图像进行高维向量映射,得到映射高维向量:
其中,表示所述映射高维向量,Y表示所述低清晰度图像,max表示最大值,表示利用第一层的卷积核尺寸为的滤波器对所述低清晰度图像进行滤波时的参数偏差,c表示输入图像的通道数,表示滤波器深度,代表滤波器的空间尺寸,表示滤波器的权重;
利用下述公式对所述映射高维向量进行特征向量映射,得到映射特征向量:
利用下述公式所述映射特征向量进行向量重建,得到所述向量重建图像:
进一步地,本发明实施例通过确定所述向量重建图像对应的重建考勤图像,以用于将清晰度不足的图像重建之后与原图像中清晰度充足的部分进行合并,组成完整的考勤图像。其中,所述重建考勤图像包含所述师生考勤图像中的清晰度符合所述预设清晰度的图像部分与清晰度不足部分对应的所述向量重建图像。
S2、提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框。
本发明实施例通过提取所述重建考勤图像中的候选人脸框与边界校准向量,以用于从所述重建考勤图像中选取批量的师生人脸以及利用所述边界校准向量对所述候选人脸框进行校准。其中,所述候选人脸框是指每个框包含一个人脸的框。所述边界校准向量是指边界框回归(Bounding-Box Regression),用于校准候选框接近于真实人脸框。
本发明的一实施例中,参阅图2所示,所述提取所述重建考勤图像中的候选人脸框与边界校准向量,包括:
S201、利用神经网络结构的卷积层与池化层对所述重建考勤图像进行向量映射,得到图像映射向量;
S202、利用所述神经网络结构的目标输出结构确定所述图像映射向量对应的候选人脸框与边界校准向量。
示例性地,利用神经网络结构P-Net(Proposal Network)提取所述重建考勤图像中的候选人脸框与边界校准向量,该网络是Fully Convolutional Network,可以接受任意尺寸的输入图像,包括3次卷积与1次池化的网络结构,将不同尺寸的金字塔图像输入到p-net中,经过P-Net的全卷积层可以输出1*1*2的三维矩阵,每个点对应原始输入的每个12x12区域,最终得到包含box位置信息及其置信度和box的回归系数信息;P-Net中的目标输出结构包括face classification、bounding box regression与facial landmark,P-Net中的face classification要判断该图像是否是人脸,并输出向量的形状为1x1x2,也就是两个值,分别为该图像是人脸的概率,以及该图像不是人脸的概率,这两个值加起来严格等于1,P-Net中的bounding box regression给出框的准确位置,一般称之为框回归,P-Net输入的12x12的图像块可能并不是完美的人脸框的位置,如有的时候人脸并不正好为方形,有的时候12x12的图像块可能偏左或偏右,因此需要输出当前框位置相对于完美的人脸框位置的偏移,这个偏移由四个变量组成,一般地, 对于下图图像中的框,可以用四个数来表示它的位置:框左上角的横坐标、框左上角的纵坐标、框的宽度、框的高度,因此,框回归输出的值是:框左上角的横坐标的相对偏移、框左上角的纵坐标的相对偏移、框的宽度的误差、框的高度的误差,即构成了边界校准向量,P-Net中的facial landmark给出人脸的5 个关键点的位置,5 个关键点分别为:左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置,每个关键点又需要横坐标和纵坐标两维来表示,因此输出一共是10维(即1x1x10)。
进一步地,本发明实施例通过利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,以用于去除候选人脸框中的偏移人脸框与重合人脸框。其中,所述非极大值抑制算法是指抑制不是极大值的元素,搜索局部的极大值的算法,这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小,例如在行人检测中,滑动窗口提取特征,经分类器分类识别后,每个窗口都会得到一个score。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况,这时就需要用到NMS来选取那些邻域里score最高(行人的概率最大),抑制那些score较低的窗口。
本发明的一实施例中,所述利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框,包括:根据所述边界校准向量,利用下述公式对所述候选人脸框进行初始校准,得到初始人脸框:
其中,R表示所述初始人脸框,表示所述初始人脸框的特征向量,分别表示所述初始人脸框的左上角坐标与宽度和高度的向量,表示所述候选人脸框的特征向量,表示所述候选人脸框的特征向量中候选人脸框的左上角坐标的向量,表示所述候选人脸框的特征向量中候选人脸框的宽度与高度的向量,表示所述边界校准向量对应的左上角坐标、宽度与高度的向量;
利用所述非极大值抑制算法识别所述初始人脸框中最大分类概率对应的目标人脸框与所述初始人脸框中的剩余人脸框;利用下述公式计算所述目标人脸框与所述剩余人脸框之间的重合度:
根据所述重合度,从所述初始人脸框中提取校准人脸框。
可选地,所述最大分类概率通过利用MTCNN网络实现,原理与上述提取所述重建考勤图像中的候选人脸框与边界校准向量的原理类似,所述根据所述重合度,从所述初始人脸框中提取校准人脸框可以为:在重合度较高时,表示目标人脸框与剩余人脸框的重合度较高,则去掉剩余人脸框,留下目标人脸框,并继续计算其他的剩余人脸框与所留下的目标人脸框的重合度,依次类推;在重合度较低时,表示目标人脸框与剩余人脸框的重合度较低,则将二者都留下,并在除了二者以外的剩余人脸框中选择最大分类概率的人脸框,继续进行上述的利用所述非极大值抑制算法识别所述初始人脸框中最大分类概率对应的目标人脸框与所述初始人脸框中的剩余人脸框的步骤。
S3、从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数。
本发明实施例通过从所述校准人脸框中选取敏感区域框,以用于对人脸框中的敏感区域进行识别。其中,所述敏感区域框是指包含人脸关键信息的区域,包括眼睛、鼻子、眉毛与嘴角等信息,本发明中所述敏感区域框包括左右眼眶区域、左右嘴角与鼻子的等5个区域。
本发明的一实施例中,所述从所述校准人脸框中选取敏感区域框通过利用多任务卷积神经网络实现。
其中,所述多任务卷积神经网络是指MTCNN,它将人脸区域检测与人脸关键点检测放在一起,总体可分为P-Net、R-Net和O-Net三层网络结构,其中R-Net与O-Net的结构与上述神经网络结构P-Net的结构类似,最终输出人脸分类与5个关键点位置,分别为左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置。
进一步地,本发明实施例通过构建所述敏感区域框的加权圆子,以用于对所述敏感区域框中的像素点的邻域像素点赋予权重,利用数值化的权重表达所述敏感区域框中的敏感特征,提升了后续特征比对的准确率。其中,所述加权圆子是指所述敏感区域中任一像素点的邻域像素点,例如对于所述敏感区域中的任一像素点(目标点),选取此像素点所在的2*2的区域,即此像素点的最近距离的四个相邻的像素点,例如四个相邻的像素点的坐标分别为直角坐标系的第一、二、三、四象限的相邻的四个像素点,而目标点的位置在相邻的四个像素点中间位置(也可以不在中间位置,只要四个相邻的像素点距离目标点最近即可),则对应的加权圆子为四个相邻像素点的坐标及其对应的像素值。
本发明的一实施例中,参阅图3所示,所述构建所述敏感区域框的加权圆子,包括:
S301、识别所述敏感区域框中敏感特征点的最近特征点;
S302、利用所述敏感特征点提取所述最近特征点的邻域特征点;
S303、根据所述邻域特征点,确定所述敏感区域框的加权圆子。
其中,所述敏感特征点是指所述敏感区域框中的任一像素点,所述最近特征点是指距离所述敏感特征点的最近点,同时也是2*2区域中的角点,所述邻域特征点是指包含所述敏感特征点的2*2的区域中最近特征点的邻域角点。
进一步地,本发明实施例通过利用所述加权圆子计算所述敏感区域框中的敏感特征码,以用于计算所述敏感区域框中的特征点的特征值。其中,所述敏感特征码是指所述敏感区域框中的特征点的特征值。
本发明的一实施例中,所述利用所述加权圆子计算所述敏感区域框中的敏感特征码,包括:获取所述加权圆子对应的敏感特征点,根据所述敏感特征点,利用下述公式计算所述加权圆子对应的加权权重:
根据所述加权权重,利用下述公式计算所述敏感区域框中的敏感特征码:
进一步地,本发明实施例通过利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数,以用于利用所述敏感区域框与考勤设备的数据库中预先存储的师生人脸的五官特征进行匹配,并将匹配结果作为后续进行人脸识别的基础,提升了人脸识别的准确率。其中,所述敏感区域系数是指人脸中的5个敏感区域框与数据库中实际存储的人脸敏感区域匹配成功的系数,包括,例如其中的-5表示5个敏感区域框与数据库中实际存储的5个人脸敏感区域都匹配成功,-3表示5个敏感区域框与数据库中实际存储的5个人脸敏感区域中的4给区域匹配成功。
本发明的一实施例中,所述利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数,包括:
其中,flag表示所述敏感区域框对应的敏感区域系数,dist表示所述敏感区域框与考勤设备的数据库中存储的师生人脸的敏感区域的相似度,表示所述敏感特征码,表示考勤设备的数据库中存储的师生人脸的敏感区域对应的敏感特征码,的初值为0,t表示预先设置的相似度阈值。
S4、利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
本发明实施例通过利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,以用于确定人脸识别结果。其中,所述人脸相似度是指所采集的师生图像中的师生人脸与考勤设备中预先存储的师生数据之间的相似度。
本发明的一实施例中,所述利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度通过下述公式实现:
其中,Dist表示所述校准人脸框对应的人脸相似度,flag表示所述敏感区域框对应的敏感区域系数,Dist’表示所述校准人脸框与考勤设备中存储的师生人脸的特征向量相似度。
进一步地,本发明实施例通过根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,以用于将人脸识别转换为师生考勤识别结果。其中,所述师生识别结果是指人脸识别结果。
本发明的一实施例中,所述根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,包括:判断所述人脸相似度是否不小于预设相似度;在所述人脸相似度不小于所述预设相似度时,则将识别成功作为所述师生考勤图像对应的师生识别结果;在所述人脸相似度小于所述预设相似度时,则将识别失败作为所述师生考勤图像对应的师生识别结果。
进一步地,本发明实施例通过确定所述师生识别结果对应的批量考勤打卡结果,以用于根据人脸识别结果对师生进行批量考勤打卡,减少单独人员打卡的低效问题。其中,所述批量考勤打卡结果是指师生打卡结果,包括打卡成功的师生、打卡成功的数量、剩余未打卡人员等。
本发明的一实施例中,所述确定所述师生识别结果对应的批量考勤打卡结果通过将所述师生识别结果传输至对应的考勤用户端实现。
可以看出,本发明实施例通过采集师生考勤图像,以用于对师生进行人脸识别的考勤,进一步地,本发明实施例通过检测所述师生考勤图像中的像素清晰度,以用于在图像不失真的情况下提高图像分辨率,在现实应用中由于硬件条件、学生听课位置等因素导致采集的图像存在分辨率不足、人脸像素较低的情况,在课堂学生出勤率考察过程中我们总希望采集的视频图像帧为高清图像,分辨率高的图像对人脸检测召回率以及人脸识别正确率有非常重要的影响,进一步地,本发明实施例通过对所述师生考勤图像中的低清晰度图像进行向量重建,以用于减少由于抖动模糊、设备磨损老化、镜头聚焦失败以及目标距离镜头较远等原因而产生像素较低图像对后续人脸识别验证造成的不利影响,同时提升人脸识别的准确率,进一步地,本发明实施例通过确定所述向量重建图像对应的重建考勤图像,以用于将清晰度不足的图像重建之后与原图像中清晰度充足的部分进行合并,组成完整的考勤图像,进一步地,本发明实施例通过提取所述重建考勤图像中的候选人脸框与边界校准向量,以用于从所述重建考勤图像中选取批量的师生人脸以及利用所述边界校准向量对所述候选人脸框进行校准,进一步地,本发明实施例通过利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,以用于去除候选人脸框中的偏移人脸框与重合人脸框,进一步地,本发明实施例通过从所述校准人脸框中选取敏感区域框,以用于对人脸框中的敏感区域进行识别,进一步地,本发明实施例通过构建所述敏感区域框的加权圆子,以用于对所述敏感区域框中的像素点的邻域像素点赋予权重,利用数值化的权重表达所述敏感区域框中的敏感特征,提升了后续特征比对的准确率,进一步地,本发明实施例通过利用所述加权圆子计算所述敏感区域框中的敏感特征码,以用于计算所述敏感区域框中的特征点的特征值,进一步地,本发明实施例通过利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数,以用于利用所述敏感区域框与考勤设备的数据库中预先存储的师生人脸的五官特征进行匹配,并将匹配结果作为后续进行人脸识别的基础,提升了人脸识别的准确率,进一步地,本发明实施例通过利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,以用于确定人脸识别结果,进一步地,本发明实施例通过根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,以用于将人脸识别转换为师生考勤识别结果,进一步地,本发明实施例通过确定所述师生识别结果对应的批量考勤打卡结果,以用于根据人脸识别结果对师生进行批量考勤打卡,减少单独人员打卡的低效问题。因此,本发明实施例提出的一种基于批量人脸识别的师生考勤打卡方法可以提高基于批量人脸识别的师生考勤打卡准确率。
如图4所示,是本发明基于批量人脸识别的师生考勤打卡装置功能模块图。
本发明所述基于批量人脸识别的师生考勤打卡装置400可以安装于电子设备中。根据实现的功能,所述基于批量人脸识别的师生考勤打卡装置可以包括重建图像确定模块401、人脸框校准模块402、区域系数计算模块403以及打卡结果确定模块404。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本发明实施例中,关于各模块/单元的功能如下:
所述重建图像确定模块401,用于采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
所述人脸框校准模块402,用于提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
所述区域系数计算模块403,用于从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
所述打卡结果确定模块404,用于利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
详细地,本发明实施例中所述基于批量人脸识别的师生考勤打卡装置400中的所述各模块在使用时采用与上述的图1至图3中所述的基于批量人脸识别的师生考勤打卡方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,是本发明实现基于批量人脸识别的师生考勤打卡方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53,还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序,如基于批量人脸识别的师生考勤打卡程序。
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
所述电子设备中的所述存储器51存储的数据库配置化连接程序是多个计算机程序的组合,在所述处理器50中运行时,可以实现:
采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
具体地,所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
本发明还提供一种存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于批量人脸识别的师生考勤打卡方法,其特征在于,所述方法包括:
采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,包括:
利用下述公式对所述低清晰度图像进行高维向量映射,得到映射高维向量:
其中,表示所述映射高维向量,Y表示所述低清晰度图像,max表示最大值,表示利用第一层的卷积核尺寸为的滤波器对所述低清晰度图像进行滤波时的参数偏差,c表示输入图像的通道数,表示滤波器深度,代表滤波器的空间尺寸,表示滤波器的权重;
利用下述公式对所述映射高维向量进行特征向量映射,得到映射特征向量:
利用下述公式所述映射特征向量进行向量重建,得到所述向量重建图像:
3.根据权利要求1所述的方法,其特征在于,所述利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框,包括:
根据所述边界校准向量,利用下述公式对所述候选人脸框进行初始校准,得到初始人脸框:
其中,R表示所述初始人脸框,表示所述初始人脸框的特征向量,分别表示所述初始人脸框的左上角坐标与宽度和高度的向量,表示所述候选人脸框的特征向量,表示所述候选人脸框的特征向量中候选人脸框的左上角坐标的向量,表示所述候选人脸框的特征向量中候选人脸框的宽度与高度的向量,表示所述边界校准向量对应的左上角坐标、宽度与高度的向量;
利用所述非极大值抑制算法识别所述初始人脸框中最大分类概率对应的目标人脸框与所述初始人脸框中的剩余人脸框;
利用下述公式计算所述目标人脸框与所述剩余人脸框之间的重合度:
根据所述重合度,从所述初始人脸框中提取校准人脸框。
4.根据权利要求1所述的方法,其特征在于,所述构建所述敏感区域框的加权圆子,包括:
识别所述敏感区域框中敏感特征点的最近特征点;
利用所述敏感特征点提取所述最近特征点的邻域特征点;
根据所述邻域特征点,确定所述敏感区域框的加权圆子。
8.一种基于批量人脸识别的师生考勤打卡装置,其特征在于,所述装置包括:
重建图像确定模块,用于采集师生考勤图像,检测所述师生考勤图像中的像素清晰度,在所述像素清晰度不符合预设清晰度时,对所述师生考勤图像中的低清晰度图像进行向量重建,得到向量重建图像,并确定所述向量重建图像对应的重建考勤图像;
人脸框校准模块,用于提取所述重建考勤图像中的候选人脸框与边界校准向量,利用所述边界校准向量与非极大值抑制算法对所述候选人脸框进行人脸框校准,得到校准人脸框;
区域系数计算模块,用于从所述校准人脸框中选取敏感区域框,构建所述敏感区域框的加权圆子,利用所述加权圆子计算所述敏感区域框中的敏感特征码,利用所述敏感特征码计算所述敏感区域框对应的敏感区域系数;
打卡结果确定模块,用于利用所述敏感区域系数计算所述校准人脸框对应的人脸相似度,根据所述人脸相似度,确定所述师生考勤图像对应的师生识别结果,并确定所述师生识别结果对应的批量考勤打卡结果。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于批量人脸识别的师生考勤打卡方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于批量人脸识别的师生考勤打卡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310010568.0A CN115690934A (zh) | 2023-01-05 | 2023-01-05 | 基于批量人脸识别的师生考勤打卡方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310010568.0A CN115690934A (zh) | 2023-01-05 | 2023-01-05 | 基于批量人脸识别的师生考勤打卡方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115690934A true CN115690934A (zh) | 2023-02-03 |
Family
ID=85057074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310010568.0A Pending CN115690934A (zh) | 2023-01-05 | 2023-01-05 | 基于批量人脸识别的师生考勤打卡方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690934A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117633867A (zh) * | 2023-10-26 | 2024-03-01 | 唐山启奥科技股份有限公司 | 医疗图像脱敏方法、装置、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096965A (zh) * | 2019-04-09 | 2019-08-06 | 华东师范大学 | 一种基于头部姿态的人脸识别方法 |
CN112381075A (zh) * | 2021-01-18 | 2021-02-19 | 北京蒙帕信创科技有限公司 | 一种机房特定场景下进行人脸识别的方法及系统 |
CN115273202A (zh) * | 2022-08-09 | 2022-11-01 | 中国—东盟信息港股份有限公司 | 一种人脸比对方法、系统、设备及存储介质 |
-
2023
- 2023-01-05 CN CN202310010568.0A patent/CN115690934A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096965A (zh) * | 2019-04-09 | 2019-08-06 | 华东师范大学 | 一种基于头部姿态的人脸识别方法 |
CN112381075A (zh) * | 2021-01-18 | 2021-02-19 | 北京蒙帕信创科技有限公司 | 一种机房特定场景下进行人脸识别的方法及系统 |
CN115273202A (zh) * | 2022-08-09 | 2022-11-01 | 中国—东盟信息港股份有限公司 | 一种人脸比对方法、系统、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
周燕等: "超分辨率重建的微小人脸识别算法" * |
张玉云: "基于 MTCNN 和 S-LBPH 算法的多人脸识别在课堂考勤中的应用" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117633867A (zh) * | 2023-10-26 | 2024-03-01 | 唐山启奥科技股份有限公司 | 医疗图像脱敏方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN111709409A (zh) | 人脸活体检测方法、装置、设备及介质 | |
US20230085605A1 (en) | Face image processing method, apparatus, device, and storage medium | |
CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
CN110163211B (zh) | 一种图像识别方法、装置和存储介质 | |
CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN111597933A (zh) | 人脸识别方法和装置 | |
CN113724379A (zh) | 三维重建方法、装置、设备及存储介质 | |
CN115690934A (zh) | 基于批量人脸识别的师生考勤打卡方法及装置 | |
CN111626241A (zh) | 一种人脸检测方法及装置 | |
CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN110135274B (zh) | 一种基于人脸识别的人流量统计方法 | |
CN115205155A (zh) | 一种畸变图像的矫正方法、装置及终端设备 | |
CN111582202A (zh) | 一种智能网课系统 | |
CN112149598A (zh) | 一种侧脸评估方法、装置、电子设备及存储介质 | |
CN111126283A (zh) | 一种自动过滤模糊人脸的快速活体检测方法及系统 | |
CN112115831B (zh) | 活体检测图像预处理方法 | |
CN117496019B (zh) | 一种驱动静态图像的图像动画处理方法及系统 | |
CN115830517B (zh) | 基于视频的考场异常帧提取方法及系统 | |
CN116580446B (zh) | 一种泛血管疾病虹膜特点识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230203 |
|
RJ01 | Rejection of invention patent application after publication |