CN110503000A - 一种基于人脸识别技术的教学抬头率测量方法 - Google Patents
一种基于人脸识别技术的教学抬头率测量方法 Download PDFInfo
- Publication number
- CN110503000A CN110503000A CN201910677848.0A CN201910677848A CN110503000A CN 110503000 A CN110503000 A CN 110503000A CN 201910677848 A CN201910677848 A CN 201910677848A CN 110503000 A CN110503000 A CN 110503000A
- Authority
- CN
- China
- Prior art keywords
- face
- frame
- new line
- line rate
- teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000009977 dual effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 10
- 238000011160 research Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Economics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人脸识别技术的教学抬头率测量方法,本发明由人脸采集、人脸检测、特征提取、特征匹配、人脸跟踪、视频组间的匹配以及抬头率的计算。利用教室摄像头所采集的视频流数据进行人脸识别分析,并根据教学过程中学生头部姿态变化判断抬头与否并生成相应的抬头率图表。使用人脸识别技术来测量教学抬头率本发明为教学评估中的抬头率这一指标提供一种客观评价手段;引入统计的思想计算教学抬头率,对检测到人脸进行身份验证进一步精确了教学抬头率的计算。师生可根据教学过程中抬头率变化调整相应的教学模式;为教学研究数据库的建立提供有效数据;能够在不干扰正常教学情况下获取教学抬头率得变化。
Description
技术领域
本发明属于现代教育或教学评估领域,主要是一种基于人脸识别技术的教学抬头率测量方法。
背景技术
人脸识别是一种生物识别技术,描述了人脸的整体特征和轮廓,是一种通过模式识别来对人的身份进行识别的技术。然而对静态图像的人脸识别往往难以满足需求,因此研究重心慢慢转向视频这种动态图像的识别跟踪。
基于视频流人脸识别的流程主要分为分为4个步骤即人脸采集、人脸检测、特征提取以及人脸匹配。首先通过摄像源采集到视频流资源,在采集的过程中要确保采集到的视频资源像素要高这样才能更好的提高识别的精度。然后,将视频流资源分为帧图像并作为样本输入,通过对帧图像的轮廓进行特定算法从而判断有无人脸。最后,提取帧图像的人脸深层次特征并通过计算机代码表示出来,将提取出来的特征与数据库中的人脸进行比对来确定是否为同一人。
这种基于视频流的人脸识别方法易受图像清晰度、人脸转动以及背景等因素的影响,仅仅通过单一的特征提取网络难以保证识别的精度。采用本发明的人脸识别技术方案能够达到教学评估过程中所需要的识别精度,也为教学领域的教学评估提供了一种客观的评价手段。使得教学评估不在依赖人们的主观评价。
发明内容
本发明针对教学评估中的抬头率这一指标缺少客观评价手段以及现有技术的不足,给出了一种基于人脸识别技术的教学抬头率测量方法。
本发明包括如下步骤:首先将视频流帧序列划分为人脸识别帧与人脸跟踪帧,将最优样本数据划分为i组,每组N帧。分组后的视频帧包括第一帧的人脸识别帧以及2~N帧的人脸跟踪帧。人脸识别帧进行人脸的识别与匹配,然后人脸跟踪帧中对匹配成功的人脸进行跟踪。在整个跟踪过程中以在视频流数据中得到的准确头部姿态信息作为抬头依据。
具体需要执行以下步骤:
步骤A1、人脸采集:通过教师录播系统,利用教室前后安置的摄像头采集教学视频,并将采集到的视频资源作为样本输入。
步骤A2、人脸检测:通过人脸识别帧图像的处理从而输出人脸建议框。由于人脸检测易受图像清晰度、人脸转动的影响,为了提高人脸识别的精度,引入了双层网络级联的人脸检测算法。
步骤A3、特征提取:在步骤A2输出人脸建议框的基础上进行深层次处理。人脸的特性需要深层次的特征提取才能将其有效地区分出来。构造一个包含多个卷积层、采样层以及全连接层的模型,对每个网络层的输入、输出尺寸和滤波器的个数进行重新设计。
步骤A4、特征匹配:依据全连接层的输出的特征向量匹配。从用以匹配的人脸中分别提取128维特征向量,通过计算特征向量的余弦距离来判断是否为同一人脸。余弦距离所反映的是两人的相似程度,当余弦距离超过限定阈值就认为匹配成功。如果是一对多的匹配且有多数超过阈值,则取阈值最高即相识度最高的作为匹配结果。
步骤A5、人脸跟踪:人脸跟踪帧使用的是核相关滤波的高速跟踪方法。该方法把跟踪问题简化为个二分类问题,从而找到目标与背景的边界。人脸跟踪帧在第i帧中检测到人脸位置并记录其坐标M,将其作为正样本,在此标记样本附近采集负样本,训练一个目标采集器将图像样本输入获取响应值。接着在i+1帧中的坐标M处采集样本,将样本输入目标检测模型取得响应值,响应值最大的地方即i+1帧中目标人脸所在的位置。
步骤A6、视频组间的匹配:相邻的视频组间使用双重匹配。取出两组中前一组的最后一帧与后一组的第一帧进行匹对,过程中保存图像中所有人脸框的位置,计算两帧中每个人脸间的欧式距离,根据距离与阈值的大小判定是否为同一人脸。在完成人脸识别后比较两帧中相对应的人脸身份信息,取相识度大的为最终结果。双重匹配机制不仅连接了相邻的视频组序列,也了识别的精度。
步骤A7:抬头率的计算:通过步骤A1~A6实时得到人脸信息,准确识别并匹配到人脸信息作为抬头的依据并且以时间段为节点判断该时间段内是否抬头。以5分钟为一时间节点,该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。
进一步的,步骤A2所述的双层联级网络呈现出金字塔结构,金字塔结构的第一级网络结合anchor机制实现了对视频帧图像进行不同尺度的采样。卷积分解策略和网络加速方法的使用能够增强网络的特征提取。卷积层的使用加快了对局部区域的特征提取,但是对于全局特征并不敏感。因此,第一级网络的输出中仍然存在一部分的非人脸建议框。二级深层次网络进一步提炼人脸建议框,减少网络中输出的非人脸建议框数量,降低了第一级网络输出建议框中的困难样本数,提高了识别精度。二级深层次网络的使用降低了第一级网络输出建议框中的困难样本数,也进一步提炼了人脸建议框,提高了识别精度。
精度的提升是以训练花费时间为代价,前向传播中全连接层的参数太多导致卷积层的计算时间增加。在双层级联网络中都引入BN层,能够加快网络训练速度同时降低权重初始化的成本。训练时,固定BN层的权重训练整个网络,训练结束后将BN层权重与它相邻的卷积层权重合并。
卷积层和BN层的表达式见式(1)和(2):
y1=ωx+b (1);
其中:ω和b是卷积层的权重和偏置值,μ、σ、α和β分别代表BN层的均值、方差、刻度以及滑动系数。
BN层本质上是对卷积层的结果进行二次处理,使得两层合并后模型中的权重和偏执值优化为ω'和b',也进一步降低了训练所花费的事件。
进一步的,步骤A3所述的全连接层的模型所采用的是MFM激活函数。通过比较两个特征图各位置的大小,取相应位置的最大值输出。假设有输入卷积层C∈Rh×ω×2n,MFM激活函数的数学表达式为式(3):
其中,输入卷积层的通道数为2n,h×ω表示卷积核的大小,1≤i≤h,1≤j≤ω,l∈Rh×ω×n,由(3)式可得,激活函数的梯度表示为式(4):
其中,k'为常数,1≤k'≤2n,并且有式(5):
分析(4)式可知,激活层的梯度有1/2为0,因此MFM就能通过聚合策略得到最紧凑的特征表示。相较于Rule激活函数的高维稀疏梯度,MFM能够得到更加紧凑的特征表示,并且还能实现特征的选取,达到降维的效果。此模型的使用在不失精度的情况下加快了识别的速度,进一步释放了空间存储压力,对于在视频流中进行人脸识别有较好的优化效果。
由于人脸的极为复杂的特性,仅使用Softmax Loss函数作为特征提取网络的损失函数只能增大不同类人脸间的距离,而无法减少同一类人脸间的距离,这将使人脸识别的精度无法得到保证。考虑到Softmax Loss函数的特性,将其与Center Loss函数联合使用,这样就能在增大类间距离的同时减小类内距离。将两损失函数进行加权处理,得到最终的联合损失函数如式(6):
式(6)中:M为训练数据类别总数;θ为最后一个全连接层的权重集合;为对应的偏置值;λ为Center Loss的权重值,用来平衡这两个损失;M为训练类别总数;N为训练批次大小;xi是批次中第i的样本的特征向量,属于k类;ck是k类的中心特征向量。
本发明考虑到教学评估中抬头率这一指标缺乏客观的评价手段,拥有较高的精度,能够通过对视频图像的分析得到课堂教学过程中学生的抬头率。该方法能够通过人脸识别技术判断在教学过程中学生的抬头率变化并生成相应的图表,此外该方法还能有效的分析智慧学习环境下师生的教学特征,为教学研究数据库的建立以及教学质量的评估提供了一种客观的评价手段。此方法的运用解决了教学评估中的抬头率缺乏客观评价标准这一难题,同时能够有效地分析智慧学习环境下师生的教学特征,为教学研究数据库的建立提供了技术支持。
附图说明
图1为本发明的方法框架图;
图2为人脸特征提取模型示意图;
图3为联合损失函数具体应用图;
图4为人脸跟踪流程图;
图5为抬头率分析图。
具体实施方式
下面结合具体实例说明本发明的具体实施方式。
如图1所示,一种基于人脸识别技术的教学抬头率测量方法,首先将视频流帧序列划分为人脸识别帧与人脸跟踪帧,将测试的最优结果样本数据划分为i组(每组N帧)。分组后的视频帧包括第一帧(R)的人脸识别帧以及2~N帧(T)人脸跟踪帧。人脸识别帧进行人脸的识别与匹配,然后人脸跟踪帧中对匹配成功的人脸进行跟踪。在整个跟踪过程中以在视频流数据中得到的准确头部姿态信息作为抬头依据。
具体需要执行以下步骤:
步骤A1、人脸采集:通过教师录播系统,利用教室前后安置的摄像头采集教学视频,并将采集到的视频资源作为样本输入。
步骤A2、人脸检测:通过人脸识别帧图像的处理从而输出人脸建议框。由于人脸检测易受图像清晰度、人脸转动等因素的影响,为了提高人脸识别的精度,引入了双层网络级联的人脸检测算法。双层联级网络呈现出金字塔结构,金字塔结构的第一级网络结合anchor机制实现了对视频帧图像进行不同尺度的采样。卷积分解策略和网络加速方法的使用能够增强网络的特征提取。卷积层的使用加快了对局部区域的特征提取,但是对于全局特征并不敏感。因此,第一级网络的输出中仍然存在一部分的非人脸建议框。二级深层次网络进一步提炼人脸建议框,减少网络中输出的非人脸建议框数量,降低了第一级网络输出建议框中的困难样本数,提高了识别精度。
精度的提升是以训练花费时间为代价,前向传播中全连接层的参数太多导致卷积层的计算时间增加。在双层级联网络中都引入BN层,能够加快网络训练速度同时降低权重初始化的成本。训练时,固定BN层的权重训练整个网络,训练结束后将BN层权重与它相邻的卷积层权重合并。
卷积层和BN层的表达式见式(1)和(2):
y1=ωx+b (1);
其中:ω和b是卷积层的权重和偏置值,μ、σ、α和β分别代表BN层的均值、方差、刻度以及滑动系数。
BN层本质上是对卷积层的结果进行二次处理,使得两层合并后模型中的权重和偏执值优化为ω'和b',也进一步降低了训练所花费的事件。
步骤A3、特征提取:在输出人脸建议框的基础上进行深层次处理。人脸的特性需要深层次的特征提取才能将其有效地区分出来。构造一个包含多个卷积层、采样层以及全连接层的模型,对每个网络层的输入、输出尺寸和滤波器的个数进行重新设计。全连接层的输出的特征向量是我们匹配的依据。
为了得到更加紧实的特征,模型所采用的是MFM激活函数。它通过比较两个特征图各位置的大小,取相应位置的最大值输出。
假设有输入卷积层C∈Rh×ω×2n,MFM激活函数的数学表达式为式(3):
其中,输入卷积层的通道数为2n,h×ω表示卷积核的大小,1≤i≤h,1≤j≤ω,l∈Rh×ω×n。由(3)式可得,激活函数的梯度表示为式(4):
其中,k'为常数,1≤k'≤2n,并且有式(5):
分析(4)式可知,激活层的梯度有1/2为0,因此MFM就能通过聚合策略得到最紧凑的特征表示。相较于Rule激活函数的高维稀疏梯度,MFM能够得到更加紧凑的特征表示,并且还能实现特征的选取,达到降维的效果。此模型的使用在不失精度的情况下加快了识别的速度,进一步释放了空间存储压力,对于在视频流中进行人脸识别有较好的优化效果。
损失函数在网络中的具体使用如图3所示。由于人脸的极为复杂的特性,仅使用Softmax Loss函数作为特征提取网络的损失函数只能增大不同类人脸间的距离,而无法减少同一类人脸间的距离,这将使人脸识别的精度无法得到保证。考虑到Softmax Loss函数的特性,将其与Center Loss函数联合使用,这样就能在增大类间距离的同时减小类内距离。将两损失函数进行加权处理,得到最终的联合损失函数如式(6):
式(6)中:M为训练数据类别总数;θ为最后一个全连接层的权重集合;为对应的偏置值;λ为Center Loss的权重值,用来平衡这两个损失;M为训练类别总数;N为训练批次大小;xi是批次中第i的样本的特征向量,属于k类;ck是k类的中心特征向量。
步骤A4、特征匹配:从用以匹配的人脸中分别提取128维特征向量,通过计算特征向量的余弦距离来判断是否为同一人脸。余弦距离所反映的是两人的相似程度,当余弦距离超过一个限定阈值就认为匹配成功。如果是一对多的匹配且有多数超过阈值,则取阈值最高即相识度最高的作为匹配结果。
步骤A5、人脸跟踪:如图4所示,人脸跟踪帧使用的是核相关滤波的高速跟踪方法(KCF)。该方法把跟踪问题简化为个二分类问题,从而找到目标与背景的边界。人脸跟踪帧在第i帧中检测到人脸位置并记录其坐标(M),将其作为正样本,在此标记样本附近采集负样本,训练一个目标采集器将图像样本输入获取响应值。接着在i+1帧中的坐标M处采集样本,将样本输入目标检测模型取得响应值,响应值最大的地方即i+1帧中目标人脸所在的位置。
KCF算法利用循环偏移快速制造大量的分类器训练样本,这样训练出来的目标检测器将具有更好的性能。KCF使用脊回归算法对目标检测器进行训练,算法利用循环矩阵的特性把复杂问题的求解变换到了傅里叶域,避免了矩阵求逆,从而极大地降低了计算难度。如果在保证准确度的情况下使用方向梯度直方图(HOG)特征来跟踪,将获得更快的跟踪速度。
步骤A6、视频组间的匹配:相邻的视频组间使用双重匹配。取出两组中前一组的最后一帧与后一组的第一帧进行匹对,算法过程中保存图像中所有人脸框的位置,计算两帧中每个人脸间的欧式距离,根据距离与阈值的大小判定是否为同一人脸。在完成人脸识别后比较两帧中相对应的人脸身份信息,取相识度大的为最终结果。双重匹配机制不仅连接了相邻的视频组序列,也了识别的精度。
步骤A7、抬头率的计算:抬头率是教学质量评价的重要指标。首先通过摄像机获取视频源数据,通过双层网络检测人脸并构造一个包含多个卷积层、采样层以及全连接层的特征提取模型,该模型全连接层输出的特征向量是我们匹配的依据。匹配完成之后就需要使用核相关滤波的高速跟踪方法(KCF)以及使用双重匹配进行视频组间的匹配,这样就能实时获取人脸信息。通过以上步骤就能实时得到人脸信息,我们以能准确识别到人脸并且该人脸与数据库中的人脸身份信息匹配成功作为抬头的依据,并且考虑到学生上课做笔记等情况并非处于抬头状态以时间段为统计节点判断该时间段内是否抬头。时间段内抬头率的统计方法:以5分钟为一时间节点,该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。
在YTF发布的基准测试方法下模拟人脸识别实验结果如表1所示。从YTF下载的500个视频对随机分为10组,每组正负样本对各25个,测试在每组包含6帧的样本平均相识度和处理速度。
表1
如图5所示,在教学评估中所采用的是小班级的教室视频,该视频时长45分钟包含老师1人,学生20人。抬头率很大程度上反映了学生们对这门课的喜爱程度,也是教学质量体现的重要指标。此项评估过程中以能准确得到头部姿态信息,既能输出人脸识别框图作为抬头的依据。抬头率分析图如图5所示,该图以5分钟的平均抬头率为一节点,该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。
以上内容是结合具体的实例给出的实施方式对本发明的进一步说明,不能认定本发明的具体实施只限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离发明构思的前提下还可以做出一定程度的简单推演或者替换,都应当视为属于本发明的保护范围。
Claims (3)
1.一种基于人脸识别技术的教学抬头率测量方法,其特征在于:包括如下步骤:首先将视频流帧序列划分为人脸识别帧与人脸跟踪帧,将最优样本数据划分为i组,每组N帧;分组后的视频帧包括第一帧的人脸识别帧以及2~N帧的人脸跟踪帧;人脸识别帧进行人脸的识别与匹配,然后人脸跟踪帧中对匹配成功的人脸进行跟踪;在整个跟踪过程中以在视频流数据中得到的人脸信息与数据库中的人脸身份信息验证成功作为抬头的依据,并且引入统计的思想,以时间为节点计算抬头率;
具体需要执行以下步骤:
步骤A1、人脸采集:通过教师录播系统,利用教室前后安置的摄像头采集教学视频,并将采集到的视频资源作为样本输入;
步骤A2、人脸检测:通过人脸识别帧图像的处理从而输出人脸建议框;由于人脸检测易受图像清晰度、人脸转动的影响,为了提高人脸识别的精度,引入了双层网络级联的人脸检测算法;
步骤A3、特征提取:在步骤A2输出人脸建议框的基础上进行深层次处理;人脸的特性需要深层次的特征提取才能将其有效地区分出来;构造一个包含多个卷积层、采样层以及全连接层的模型,对每个网络层的输入、输出尺寸和滤波器的个数进行重新设计;
步骤A4、特征匹配:依据全连接层的输出的特征向量匹配;从用以匹配的人脸中分别提取128维特征向量,通过计算特征向量的余弦距离来判断是否为同一人脸;余弦距离所反映的是两人的相似程度,当余弦距离超过限定阈值就认为匹配成功;如果是一对多的匹配且有多数超过阈值,则取阈值最高即相识度最高的作为匹配结果;
步骤A5、人脸跟踪:人脸跟踪帧使用的是核相关滤波的高速跟踪方法;该方法把跟踪问题简化为个二分类问题,从而找到目标与背景的边界;人脸跟踪帧在第i帧中检测到人脸位置并记录其坐标M,将其作为正样本,在此标记样本附近采集负样本,训练一个目标采集器将图像样本输入获取响应值;接着在i+1帧中的坐标M处采集样本,将样本输入目标检测模型取得响应值,响应值最大的地方即i+1帧中目标人脸所在的位置;
步骤A6、视频组间的匹配:相邻的视频组间使用双重匹配;取出两组中前一组的最后一帧与后一组的第一帧进行匹对,过程中保存图像中所有人脸框的位置,计算两帧中每个人脸间的欧式距离,根据距离与阈值的大小判定是否为同一人脸;在完成人脸识别后比较两帧中相对应的人脸身份信息,取相识度大的为最终结果;双重匹配机制不仅连接了相邻的视频组序列,也了识别的精度;
步骤A7、抬头率的计算:通过步骤A1~A6实时得到人脸信息,并且该人脸与数据库中的人脸身份信息匹配成功作为抬头的依据,并且考虑到学生上课做笔记等情况并非处于抬头状态以时间段为统计节点判断该时间段内是否抬头。时间段内抬头率的统计方法:以5分钟为一时间节点,该时间段内学生抬头的时间大于4分钟则认为该学生在此时间段内抬头。
2.如权利要求1所述的一种基于人脸识别技术的教学抬头率测量方法,其特征在于:步骤A2所述的双层联级网络呈现出金字塔结构,金字塔结构的第一级网络结合anchor机制实现了对视频帧图像进行不同尺度的采样;卷积分解策略和网络加速方法的使用能够增强网络的特征提取;卷积层的使用加快了对局部区域的特征提取,但是对于全局特征并不敏感;因此,第一级网络的输出中仍然存在一部分的非人脸建议框;二级深层次网络进一步提炼人脸建议框,减少网络中输出的非人脸建议框数量,降低了第一级网络输出建议框中的困难样本数,提高了识别精度;
精度的提升是以训练花费时间为代价,前向传播中全连接层的参数太多导致卷积层的计算时间增加;在双层级联网络中都引入BN层,能够加快网络训练速度同时降低权重初始化的成本;训练时,固定BN层的权重训练整个网络,训练结束后将BN层权重与它相邻的卷积层权重合并;
卷积层和BN层的表达式见式(1)和(2):
y1=ωx+b (1);
其中:ω和b是卷积层的权重和偏置值,μ、σ、α和β分别代表BN层的均值、方差、刻度以及滑动系数;
BN层本质上是对卷积层的结果进行二次处理,使得两层合并后模型中的权重和偏执值优化为ω'和b',也进一步降低了训练所花费的事件。
3.如权利要求1所述的一种基于人脸识别技术的教学抬头率测量方法,其特征在于:步骤A3所述的全连接层的模型所采用的是MFM激活函数;通过比较两个特征图各位置的大小,取相应位置的最大值输出;
假设有输入卷积层C∈Rh×ω×2n,MFM激活函数的数学表达式为式(3):
其中,输入卷积层的通道数为2n,h×ω表示卷积核的大小,1≤i≤h,1≤j≤ω,l∈Rh ×ω×n,由(3)式可得,激活函数的梯度表示为式(4):
其中,k'为常数,1≤k'≤2n,并且有式(5):
分析(4)式可知,激活层的梯度有1/2为0,因此MFM就能通过聚合策略得到最紧凑的特征表示;相较于Rule激活函数的高维稀疏梯度,MFM能够得到更加紧凑的特征表示,并且还能实现特征的选取,达到降维的效果;此模型的使用在不失精度的情况下加快了识别的速度,进一步释放了空间存储压力,对于在视频流中进行人脸识别有较好的优化效果;
由于人脸的极为复杂的特性,仅使用Softmax Loss函数作为特征提取网络的损失函数只能增大不同类人脸间的距离,而无法减少同一类人脸间的距离,这将使人脸识别的精度无法得到保证;考虑到Softmax Loss函数的特性,将其与Center Loss函数联合使用,这样就能在增大类间距离的同时减小类内距离;将两损失函数进行加权处理,得到最终的联合损失函数如式(6):
式(6)中:M为训练数据类别总数;θ为最后一个全连接层的权重集合;为对应的偏置值;λ为Center Loss的权重值,用来平衡这两个损失;M为训练类别总数;N为训练批次大小;xi是批次中第i的样本的特征向量,属于k类;ck是k类的中心特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910677848.0A CN110503000B (zh) | 2019-07-25 | 2019-07-25 | 一种基于人脸识别技术的教学抬头率测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910677848.0A CN110503000B (zh) | 2019-07-25 | 2019-07-25 | 一种基于人脸识别技术的教学抬头率测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503000A true CN110503000A (zh) | 2019-11-26 |
CN110503000B CN110503000B (zh) | 2022-06-07 |
Family
ID=68587297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910677848.0A Active CN110503000B (zh) | 2019-07-25 | 2019-07-25 | 一种基于人脸识别技术的教学抬头率测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503000B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
CN112990105A (zh) * | 2021-04-19 | 2021-06-18 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
CN113723188A (zh) * | 2021-07-28 | 2021-11-30 | 国网浙江省电力有限公司电力科学研究院 | 一种结合人脸与步态特征的着装一致人员身份核验方法 |
CN114237237A (zh) * | 2021-12-06 | 2022-03-25 | 首都经济贸易大学 | 一种无人驾驶汽车自主转向控制的路径优化方法 |
CN115861907A (zh) * | 2023-03-02 | 2023-03-28 | 山东华夏高科信息股份有限公司 | 一种头盔检测方法和系统 |
CN117036117A (zh) * | 2023-06-14 | 2023-11-10 | 广东开放大学(广东理工职业学院) | 基于人工智能的课堂状态评估方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629275A (zh) * | 2012-03-21 | 2012-08-08 | 复旦大学 | 面向跨媒体新闻检索的人脸-人名对齐方法及系统 |
CN103324911A (zh) * | 2013-05-30 | 2013-09-25 | 苏州福丰科技有限公司 | 一种基于人脸识别的防作弊系统 |
CA2773372A1 (en) * | 2012-04-03 | 2013-10-03 | Joseph S.B. Im | System and method for teaching a language |
CN105894414A (zh) * | 2016-05-12 | 2016-08-24 | 重庆大学 | 一种基于wifi 和人脸识别技术的课堂点名方法 |
CN108846853A (zh) * | 2018-04-26 | 2018-11-20 | 武汉幻视智能科技有限公司 | 一种基于目标跟踪和姿态检测的教学行为分析方法及装置 |
CN109472247A (zh) * | 2018-11-16 | 2019-03-15 | 西安电子科技大学 | 基于深度学习非配合式的人脸识别方法 |
-
2019
- 2019-07-25 CN CN201910677848.0A patent/CN110503000B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629275A (zh) * | 2012-03-21 | 2012-08-08 | 复旦大学 | 面向跨媒体新闻检索的人脸-人名对齐方法及系统 |
CA2773372A1 (en) * | 2012-04-03 | 2013-10-03 | Joseph S.B. Im | System and method for teaching a language |
CN103324911A (zh) * | 2013-05-30 | 2013-09-25 | 苏州福丰科技有限公司 | 一种基于人脸识别的防作弊系统 |
CN105894414A (zh) * | 2016-05-12 | 2016-08-24 | 重庆大学 | 一种基于wifi 和人脸识别技术的课堂点名方法 |
CN108846853A (zh) * | 2018-04-26 | 2018-11-20 | 武汉幻视智能科技有限公司 | 一种基于目标跟踪和姿态检测的教学行为分析方法及装置 |
CN109472247A (zh) * | 2018-11-16 | 2019-03-15 | 西安电子科技大学 | 基于深度学习非配合式的人脸识别方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
CN112990105A (zh) * | 2021-04-19 | 2021-06-18 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
CN112990105B (zh) * | 2021-04-19 | 2021-09-21 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
CN113723188A (zh) * | 2021-07-28 | 2021-11-30 | 国网浙江省电力有限公司电力科学研究院 | 一种结合人脸与步态特征的着装一致人员身份核验方法 |
CN114237237A (zh) * | 2021-12-06 | 2022-03-25 | 首都经济贸易大学 | 一种无人驾驶汽车自主转向控制的路径优化方法 |
CN115861907A (zh) * | 2023-03-02 | 2023-03-28 | 山东华夏高科信息股份有限公司 | 一种头盔检测方法和系统 |
CN117036117A (zh) * | 2023-06-14 | 2023-11-10 | 广东开放大学(广东理工职业学院) | 基于人工智能的课堂状态评估方法 |
CN117036117B (zh) * | 2023-06-14 | 2024-05-24 | 广东开放大学(广东理工职业学院) | 基于人工智能的课堂状态评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110503000B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110503000A (zh) | 一种基于人脸识别技术的教学抬头率测量方法 | |
Yang et al. | MTD-Net: Learning to detect deepfakes images by multi-scale texture difference | |
CN112861720B (zh) | 基于原型卷积神经网络的遥感图像小样本目标检测方法 | |
US8520906B1 (en) | Method and system for age estimation based on relative ages of pairwise facial images of people | |
CN104036287B (zh) | 一种基于人类运动显著轨迹的视频分类方法 | |
CN108898131A (zh) | 一种复杂自然场景下的数字仪表识别方法 | |
CN108492298A (zh) | 基于生成对抗网络的多光谱图像变化检测方法 | |
CN103235957A (zh) | 一种基于手掌侧表面信息的在线笔迹认证方法及系统 | |
CN105160290A (zh) | 一种基于改进型稠密轨迹的移动边界采样的行为识别方法 | |
CN104978569A (zh) | 一种基于稀疏表示的增量人脸识别方法 | |
CN111967381A (zh) | 一种人脸图像质量评分标注方法及装置 | |
Xie et al. | Writer-independent online signature verification based on 2D representation of time series data using triplet supervised network | |
CN107818567A (zh) | 一种基于皮层顶点云的大脑局部形态特征描述方法 | |
Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
CN113220915B (zh) | 一种基于残差注意力的遥感图像检索方法及装置 | |
Rudinskaya et al. | Face detection accuracy study based on race and gender factor using haar cascades | |
Li et al. | Hypersphere guided embedding for masked face recognition | |
CN105528791B (zh) | 一种面向触摸屏手绘图像的质量评价装置及其评价方法 | |
CN109191452B (zh) | 一种基于主动学习的腹腔ct图像腹膜转移自动标记方法 | |
CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
Cetindag et al. | Transfer Learning Methods for Using Textural Features in Histopathological Image Classification | |
CN107066943B (zh) | 一种人脸检测方法及装置 | |
CN116958724A (zh) | 一种产品分类模型的训练方法和相关装置 | |
CN116052225A (zh) | 掌纹识别方法、电子设备、存储介质及计算机程序产品 | |
Duan et al. | Automatic Detection for Acromegaly Using Hand Photographs: A Deep-Learning Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |