CN113139439A - 一种基于人脸识别的在线学习专注度评价方法及装置 - Google Patents

一种基于人脸识别的在线学习专注度评价方法及装置 Download PDF

Info

Publication number
CN113139439A
CN113139439A CN202110368642.7A CN202110368642A CN113139439A CN 113139439 A CN113139439 A CN 113139439A CN 202110368642 A CN202110368642 A CN 202110368642A CN 113139439 A CN113139439 A CN 113139439A
Authority
CN
China
Prior art keywords
concentration
image
face
learner
online learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110368642.7A
Other languages
English (en)
Other versions
CN113139439B (zh
Inventor
朱静
王茹皓
杜晓楠
牛子晗
李楚宪
尹邦政
赵宣博
林致远
马泽瀚
陈前予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110368642.7A priority Critical patent/CN113139439B/zh
Publication of CN113139439A publication Critical patent/CN113139439A/zh
Application granted granted Critical
Publication of CN113139439B publication Critical patent/CN113139439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸识别的在线学习专注度评价方法及装置，方法首先通过在线学习学习者的电脑摄像头获取视频图像；在视频图像含有人脸信息情况下截取其中的人脸部分，生成人脸图像；然后提取人脸图像中的人脸头像并归一化，对归一化后的图像进行直方图均衡化处理，得到特征图像；接着创建专注度评价模型，将学习者在线学习过程中的特征图像导入专注度评价模型，得到专注度分值的平均值；根据专注度分值的平均值与专注度自评结果迭代专注度评价模型；当学习者正在在线学习时，将实时获取的特征图像导入到完成迭代的专注度评价模型，专注度评价模型实时输出学习者的专注度分值。本发明能够自动准确监测学习者在线学习过程中的专注度水平。

Description

一种基于人脸识别的在线学习专注度评价方法及装置
技术领域
本发明涉及人脸识别和在线学习技术领域，特别是一种基于人脸识别的在线学习专注度评价方法及装置。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。目前人脸识别技术应用越来越普遍，比如可以应用到在线学习中，利用人脸识别技术来实时检测学习者的学习专注度情况。专注度是判别人工作和学习效率的有效方式，专注度评估在数字教学等领域中有着重要意义，可为提高学习效率，科学评价学习者的行为提供参考。但是目前的专注度评价过于依赖学习者佩戴的检测设备或者检测方法单一，因此存在着评价体系过于武断，评价学习机械化，不够人性化等弊端。因此，有必要研究新的在线学习专注度评价方法。
James A.Russel在1980年提出了Arousal-Valence情感模型，该模型是目前心理学界进行情感度量的重要模型之一。该模型主要采用唤醒度(arousal)和效价(valence)作为度量指标来衡量人类情感状态。价态代表积极到消极的体验程的感受，唤醒度代表兴奋到平静的程度，涉及的唤醒性情绪包括：悲伤、愤怒和愉悦等。
发明内容
本发明的第一目的在于解决现有技术的不足，提出一种基于人脸识别的在线学习专注度评价方法，可以能够自动且准确地监测学习者在线学习过程中的专注度水平。
本发明的第二目的在于提出一种基于人脸识别的在线学习专注度评价装置。
本发明的第三目的在于提出一种计算设备。
本发明的第一目的通过下述技术方案实现：一种基于人脸识别的在线学习专注度评价方法，包括如下步骤：
S1、通过在线学习学习者的电脑摄像头获取视频图像；
S2、利用级联分类器检测视频图像中是否包括人脸信息，若视频图像中不存在人脸信息，则返回步骤S2；若视频图像中存在人脸信息，则将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
S3、提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
S4、创建专注度评价模型，通过步骤S1～S3获取学习者在线学习过程中的特征图像，并将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
S5、当学习者正在在线学习时，通过步骤S1～S3实时获取学习者的特征图像，将特征图像导入到完成迭代的专注度评价模型，专注度评价模型实时输出学习者的专注度分值。
优选的，将某一时刻下的特征图像导入专注度评价模型，由专注度评价模型检测专注度的过程如下：
(1)提取唤醒度识别特征值：从特征图像提取出人脸头像的长度参数、嘴巴开合程度、眼睛睁开程度以及频率，以及计算长度参数和人脸图像的原始长度参数的百分比；
(2)对唤醒度识别特征值进行数据归一化处理；
(3)将归一化后的唤醒度识别特征值输入到专注度评价模型，由该模型计算出学习者在对应时刻下的专注度分值；
最终整个在线学习过程中的专注度分值绘制成以时间为轴线的专注度变化趋势图进行呈现。
优选的，专注度评价模型为多任务卷积神经网络。
优选的，在步骤S4中，获取专注度自评结果，具体为：根据学习者填写的自我评价表中的情感效价、情感唤醒度数据，建立Arousal-Valence情感模型；
其中，模型的横坐标为Valence，即情感效价的打分值，打分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；模型的纵坐标为Arousal，即情感强度大小的打分值，打分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈。
优选的，在步骤S1中，提取的视频图像为灰度模式下8位颜色深度的视频图像。
优选的，将摄像头所拍摄的视频流中的帧如数提取，构成向量，然后判断图像是否有出现失真现象，若所有图像均没有出现失真现象，则：
(1)当所有图像相似度达到第一阈值以上时，以第1帧开始，以固定的帧数间隔提取出若干帧图像作为视频图像；
(2)当其中部分图像相似度达到第二阈值以上时，则针对这一部分，仅提取其中一帧图像作为视频图像；针对相似度低于第二阈值的剩余部分，提取全部图像作为视频图像；其中，第二阈值小于第一阈值；
若某一秒的图像出现失真现象，则对每帧图像进行轮廓提取并将轮廓边上和轮廓内的像素点进行自适应动态加权平均，以平均权值后的图像作为视频图像。
优选的，在步骤S3中，先利用二维离散快速傅里叶变换将人脸图像从空间域变换到频率域，再提取出人脸头像；直方图均衡化处理具体是采用各向异性平滑处理。
优选的，在检测专注度之前，还包括先检测特征图像中人脸头像所对应的身份：
将特征图像输入到人脸识别模型中，人脸识别模型将特征图像与人脸身份库中带有身份标签的人脸身份模板进行比对：
若特征图像与其中一个人脸身份模板的相似度高于预设的阈值，则确认特征图像中人脸头像所对应的身份即为该人脸头像模板对应的身份标签，步骤S5最终得到已知身份的学习者的专注度检测结果；
若两者的相似度低于预设的阈值，则将特征图像及特征图像中人脸头像所对应的身份录入到人脸身份库中。
本发明的第二目的通过下述技术方案实现：一种基于人脸识别的在线学习专注度评价装置，包括：
视频图像获取模块，用于获取在线学习学习者的电脑摄像头所采集的视频图像；
级联分类器模块，用于检测视频图像中是否包括人脸信息，在存在人脸信息的情况下将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
特征图像生成模块，用于提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
专注度评价模型生成模块，用于创建专注度评价模型，将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
专注度评价模块，用于将学习者正在在线学习情况下的实时的特征图像导入到完成迭代的专注度评价模型，并对应得出学习者实时的专注度分值。
本发明的第三目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的基于人脸识别的在线学习专注度评价方法。
本发明相对于现有技术具有如下的优点及效果：
本发明只需要获取学习者在线学习过程的视频图像，就能对学习者在线学习过程的专注度进行自动监测，学习者不需要佩戴额外设备，因此可以提高用户舒适度，降低检测成本。另外，本发明在进行专注度评价时，引入了Arousal-Valence情感模型，其分值作为专注度评价模型输出结果的对照，因此能够从学习者个人出发来调整专注度评价模型，使专注度评价模型更人性化，从而提高专注度检测的准确度。
附图说明
图1为本发明基于人脸识别的在线学习专注度评价方法的流程图。
图2为本发明Arousal-Valence情感模型的示意图。
图3为图2Arousal-Valence情感模型二维空间的示意图。
图4是本发明基于人脸识别的在线学习专注度评价装置的结构框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例提供了一种基于人脸识别的在线学习专注度评价方法，可应用于在线学习系统中，以评估学习者在线学习过程中的专注度水平。如图1所示，方法包括如下步骤：
S1、通过在线学习学习者的电脑摄像头拍摄得到视频流，并从视频流中获取视频图像。在本实施例中，可以设定定时获取视频图像，间隔时间比如可以是9s、15s或30s等，所获取的视频图像为在灰度模式下8位颜色深度的图像。
由于摄像头每一秒可以获取到多帧的视频资源来组成视频流，而每帧又不一定是专注度检测可用的图像，因此在获取视频图像时，需要先将视频流中的帧如数提取，构成向量；然后判断图像是否有出现失真现象，若所有图像均没有出现失真现象，则：
(1)当所有图像相似度达到第一阈值以上时，以第1帧开始，以固定的帧数间隔提取出若干帧图像作为视频图像，比如每一秒获取到60帧图像，仅提取第1帧，第30帧及第60帧作为视频图像进入后续步骤；
(2)当其中部分图像相似度达到第二阈值以上时，则针对这一部分，仅提取其中一帧图像作为视频图像；针对相似度低于第二阈值的剩余部分，提取全部图像作为视频图像；其中，第二阈值小于第一阈值；
若某一秒的图像出现失真现象，则对每帧图像进行轮廓提取并将轮廓边上和轮廓内的像素点进行自适应动态加权平均，以平均权值后的图像作为视频图像。
S2、利用级联分类器检测视频图像中是否包括人脸信息，若视频图像中不存在人脸信息，则返回步骤S2；若视频图像中存在人脸信息，则将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像。
这里，具体是统计视频图像中各个像素点分布的情况，在视频图像有一半以上的像素点数值大于127的情况下判定为视频图像中存在人脸头像，之后为方便后续提取人脸头像，还可以将像素点分布的区域边界进行描线，以获得人脸头像的边界。
S3、提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像。
这里，可以先利用二维离散快速傅里叶变换(DCT)将人脸图像从空间域变换到频率域，由于二维离散傅立叶变换的坐标轴意义是频率，变换后的图像像素值变化速度比较慢的部分一般是物体的主体、背景等，像素值变化速度快的部分通常是物体的边界，因此，之后就可以在简单的振幅谱中提取出人脸头像，计算更加方便，提取效率也更高。
直方图均衡化处理可以使灰度图中各灰度级分布均匀，减小室外光照对特征图像的影响，进而避免影响专注度的检测准确度。这里直方图均衡化处理可以是采用较稳定的各向异性平滑处理。
S4、创建专注度评价模型，本实施例的专注度评价模型采用多任务卷积神经网络(Multi-task Convolutional Neural Network，MTCNN)。
通过步骤S1～S3获取学习者在线学习过程中的特征图像，然后将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值，过程如下：
(1)提取唤醒度识别特征值：从某一时刻下的特征图像提取出人脸头像的长度参数、嘴巴开合程度、眼睛睁开程度以及频率，以及计算长度参数和人脸图像的原始长度参数的百分比；
(2)对唤醒度识别特征值(人脸头像的长度参数、嘴巴开合程度、眼睛睁开程度、频率、长度参数和人脸图像的原始长度参数的百分比)进行数据归一化处理，以便能够避免模型过拟合迭代，提高模型迭代的准确性。
(3)将归一化后的唤醒度识别特征值输入到专注度评价模型，由该模型计算出学习者在对应时刻下的专注度分值，然后计算整个过程的专注度分值的平均值。
获得学习者在完成在线学习之后自评分的专注度自评结果，具体是：分发给学习者自我评价表，根据学习者填写的自我评价表中的情感效价、情感唤醒度(也即情感强度)数据，建立Arousal-Valence情感模型，该模型可参见图2和图3。
在图3中，模型的横坐标为Valence，即情感效价的打分值，打分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；模型的纵坐标为Arousal，即情感强度大小的打分值，打分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈。
然后将专注度分值的平均值与专注度自评结果进行比较，这里，专注度自评结果是作为专注度标准，在专注度分值的平均值与专注度自评结果的差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围，此时专注度评价模型即迭代完成，可用于实际在线学习的专注度评价。
S5、当学习者正在在线学习时，通过步骤S1～S3实时获取学习者的特征图像，按照步骤S4，将特征图像导入到完成迭代的专注度评价模型，专注度评价模型实时输出学习者的专注度分值。最终，整个在线学习过程中的专注度分值被绘制成以时间为轴线的专注度变化趋势图进行呈现。
另外，本实施例方法还可以在检测专注度之前，先检测特征图像中人脸头像所对应的身份：
将特征图像输入到人脸识别模型中，人脸识别模型将特征图像与人脸身份库中带有身份标签的人脸身份模板进行比对：
若特征图像与其中一个人脸身份模板的相似度高于预设的阈值，则确认特征图像中人脸头像所对应的身份即为该人脸头像模板对应的身份标签，步骤S5最终得到已知身份的学习者的专注度检测结果；
若两者的相似度低于预设的阈值，则将特征图像及特征图像中人脸头像所对应的身份录入到人脸身份库中。人脸身份库是在线学习系统中的数据库，存储有学习者的人脸图像、身份信息等。
实施例2
本实施例提供了一种基于人脸识别的在线学习专注度评价装置，可实现实施例1中的在线学习专注度评价方法。如图4所示，装置具体包括：
视频图像获取模块，用于获取在线学习学习者的电脑摄像头所采集的视频图像；
级联分类器模块，用于检测视频图像中是否包括人脸信息，在存在人脸信息的情况下将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
特征图像生成模块，用于提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
专注度评价模型生成模块，用于创建专注度评价模型，将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
专注度评价模块，用于将学习者正在在线学习情况下的实时的特征图像导入到完成迭代的专注度评价模型，并对应得出学习者实时的专注度分值。
在此需要说明的是，本实施例的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3
本实施例提供了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1中的基于人脸识别的在线学习专注度评价方法，具体为：
S1、通过在线学习学习者的电脑摄像头获取视频图像；
S2、利用级联分类器检测视频图像中是否包括人脸信息，若视频图像中不存在人脸信息，则返回步骤S2；若视频图像中存在人脸信息，则将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
S3、提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
S4、创建专注度评价模型，通过步骤S1～S3获取学习者在线学习过程中的特征图像，将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
S5、当学习者正在在线学习时，通过步骤S1～S3实时获取学习者的特征图像，将特征图像导入到完成迭代的专注度评价模型，专注度评价模型实时输出学习者的专注度分值。
本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、平板电脑或其他具有处理器功能的终端设备。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (10)

1.一种基于人脸识别的在线学习专注度评价方法，其特征在于，包括如下步骤：
S1、通过在线学习学习者的电脑摄像头获取视频图像；
S2、利用级联分类器检测视频图像中是否包括人脸信息，若视频图像中不存在人脸信息，则返回步骤S2；若视频图像中存在人脸信息，则将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
S3、提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
S4、创建专注度评价模型，通过步骤S1～S3获取学习者在线学习过程中的特征图像，并将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
S5、当学习者正在在线学习时，通过步骤S1～S3实时获取学习者的特征图像，将特征图像导入到完成迭代的专注度评价模型，专注度评价模型实时输出学习者的专注度分值。
2.根据权利要求1所述的在线学习专注度评价方法，其特征在于，将某一时刻下的特征图像导入专注度评价模型，由专注度评价模型检测专注度的过程如下：
(1)提取唤醒度识别特征值：从特征图像提取出人脸头像的长度参数、嘴巴开合程度、眼睛睁开程度以及频率，以及计算长度参数和人脸图像的原始长度参数的百分比；
(2)对唤醒度识别特征值进行数据归一化处理；
(3)将归一化后的唤醒度识别特征值输入到专注度评价模型，由该模型计算出学习者在对应时刻下的专注度分值；
最终整个在线学习过程中的专注度分值绘制成以时间为轴线的专注度变化趋势图进行呈现。
3.根据权利要求1所述的在线学习专注度评价方法，其特征在于，专注度评价模型为多任务卷积神经网络。
4.根据权利要求1所述的在线学习专注度评价方法，其特征在于，在步骤S4中，获取专注度自评结果，具体为：根据学习者填写的自我评价表中的情感效价、情感唤醒度数据，建立Arousal-Valence情感模型；
其中，模型的横坐标为Valence，即情感效价的打分值，打分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；模型的纵坐标为Arousal，即情感强度大小的打分值，打分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈。
5.根据权利要求1所述的在线学习专注度评价方法，其特征在于，在步骤S1中，提取的视频图像为灰度模式下8位颜色深度的视频图像。
6.根据权利要求1所述的在线学习专注度评价方法，其特征在于，将摄像头所拍摄的视频流中的帧如数提取，构成向量，然后判断图像是否有出现失真现象，若所有图像均没有出现失真现象，则：
(1)当所有图像相似度达到第一阈值以上时，以第1帧开始，以固定的帧数间隔提取出若干帧图像作为视频图像；
(2)当其中部分图像相似度达到第二阈值以上时，则针对这一部分，仅提取其中一帧图像作为视频图像；针对相似度低于第二阈值的剩余部分，提取全部图像作为视频图像；其中，第二阈值小于第一阈值；
若某一秒的图像出现失真现象，则对每帧图像进行轮廓提取并将轮廓边上和轮廓内的像素点进行自适应动态加权平均，以平均权值后的图像作为视频图像。
7.根据权利要求1所述的在线学习专注度评价方法，其特征在于，在步骤S3中，先利用二维离散快速傅里叶变换将人脸图像从空间域变换到频率域，再提取出人脸头像；直方图均衡化处理具体是采用各向异性平滑处理。
8.根据权利要求1所述的在线学习专注度评价方法，其特征在于，在检测专注度之前，还包括先检测特征图像中人脸头像所对应的身份：
将特征图像输入到人脸识别模型中，人脸识别模型将特征图像与人脸身份库中带有身份标签的人脸身份模板进行比对：
若特征图像与其中一个人脸身份模板的相似度高于预设的阈值，则确认特征图像中人脸头像所对应的身份即为该人脸头像模板对应的身份标签，步骤S5最终得到已知身份的学习者的专注度检测结果；
若两者的相似度低于预设的阈值，则将特征图像及特征图像中人脸头像所对应的身份录入到人脸身份库中。
9.一种基于人脸识别的在线学习专注度评价装置，其特征在于，包括：
视频图像获取模块，用于获取在线学习学习者的电脑摄像头所采集的视频图像；
级联分类器模块，用于检测视频图像中是否包括人脸信息，在存在人脸信息的情况下将视频图像中的人脸部分截取出来，生成在线学习的学习者的人脸图像；
特征图像生成模块，用于提取人脸图像中的人脸头像，将人脸头像的尺寸归一化为1*1的图像，并对归一化后的图像进行直方图均衡化处理，得到特征图像；
专注度评价模型生成模块，用于创建专注度评价模型，将特征图像导入专注度评价模型，由专注度评价模型对学习者整个在线学习过程的专注度进行检测，得到专注度分值的平均值；获得学习者在完成在线学习之后自评分的专注度自评结果，将专注度分值的平均值与专注度自评结果进行比较，在两者差值超过预设精度范围的情况下迭代专注度评价模型，直至差值达到预设精度范围；
专注度评价模块，用于将学习者正在在线学习情况下的实时的特征图像导入到完成迭代的专注度评价模型，并对应得出学习者实时的专注度分值。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1至8中任一项所述的基于人脸识别的在线学习专注度评价方法。
CN202110368642.7A 2021-04-06 2021-04-06 一种基于人脸识别的在线学习专注度评价方法及装置 Active CN113139439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110368642.7A CN113139439B (zh) 2021-04-06 2021-04-06 一种基于人脸识别的在线学习专注度评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110368642.7A CN113139439B (zh) 2021-04-06 2021-04-06 一种基于人脸识别的在线学习专注度评价方法及装置

Publications (2)

Publication Number Publication Date
CN113139439A true CN113139439A (zh) 2021-07-20
CN113139439B CN113139439B (zh) 2022-06-10

Family

ID=76810379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110368642.7A Active CN113139439B (zh) 2021-04-06 2021-04-06 一种基于人脸识别的在线学习专注度评价方法及装置

Country Status (1)

Country Link
CN (1) CN113139439B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673811A (zh) * 2021-07-05 2021-11-19 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN114419711A (zh) * 2022-01-19 2022-04-29 成都节节高教育科技有限公司 基于ai教育系统的身份识别方法
CN115908070A (zh) * 2023-03-10 2023-04-04 深圳市企鹅网络科技有限公司 一种基于云平台的线上学习管理方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201144A1 (en) * 2007-02-16 2008-08-21 Industrial Technology Research Institute Method of emotion recognition
US20140188574A1 (en) * 2011-05-14 2014-07-03 Anastasia Maria Luca System and method for objective assessment of learning outcomes
KR20160086618A (ko) * 2015-01-12 2016-07-20 주식회사 아이티스테이션 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템
CN106815560A (zh) * 2016-12-22 2017-06-09 广州大学 一种应用于自适应驾座的人脸识别方法
CN107463888A (zh) * 2017-07-21 2017-12-12 竹间智能科技（上海）有限公司 基于多任务学习与深度学习的人脸情绪分析方法及系统
CN108670276A (zh) * 2018-05-29 2018-10-19 南京邮电大学 基于脑电信号的学习注意力评价系统
CN109117731A (zh) * 2018-07-13 2019-01-01 华中师范大学 一种课堂教学认知负荷测量系统
CN109255366A (zh) * 2018-08-01 2019-01-22 北京科技大学 一种针对在线学习的情感状态调节系统
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
US20190102637A1 (en) * 2017-10-02 2019-04-04 Fotonation Limited Human monitoring system incorporating calibration methodology
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
US10521424B1 (en) * 2016-09-21 2019-12-31 Workday, Inc. Educational learning searching using personalized relevance scoring
WO2020034902A1 (zh) * 2018-08-11 2020-02-20 昆山美卓智能科技有限公司 具有状态监控功能的智能桌、监控系统服务器及监控方法
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112163760A (zh) * 2020-09-24 2021-01-01 上海松鼠课堂人工智能科技有限公司 学生学习专注度检测方法和系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201144A1 (en) * 2007-02-16 2008-08-21 Industrial Technology Research Institute Method of emotion recognition
US20140188574A1 (en) * 2011-05-14 2014-07-03 Anastasia Maria Luca System and method for objective assessment of learning outcomes
KR20160086618A (ko) * 2015-01-12 2016-07-20 주식회사 아이티스테이션 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템
US10521424B1 (en) * 2016-09-21 2019-12-31 Workday, Inc. Educational learning searching using personalized relevance scoring
CN106815560A (zh) * 2016-12-22 2017-06-09 广州大学 一种应用于自适应驾座的人脸识别方法
CN107463888A (zh) * 2017-07-21 2017-12-12 竹间智能科技（上海）有限公司 基于多任务学习与深度学习的人脸情绪分析方法及系统
US20190102637A1 (en) * 2017-10-02 2019-04-04 Fotonation Limited Human monitoring system incorporating calibration methodology
CN108670276A (zh) * 2018-05-29 2018-10-19 南京邮电大学 基于脑电信号的学习注意力评价系统
CN109117731A (zh) * 2018-07-13 2019-01-01 华中师范大学 一种课堂教学认知负荷测量系统
CN109255366A (zh) * 2018-08-01 2019-01-22 北京科技大学 一种针对在线学习的情感状态调节系统
WO2020034902A1 (zh) * 2018-08-11 2020-02-20 昆山美卓智能科技有限公司 具有状态监控功能的智能桌、监控系统服务器及监控方法
CN109522815A (zh) * 2018-10-26 2019-03-26 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112163760A (zh) * 2020-09-24 2021-01-01 上海松鼠课堂人工智能科技有限公司 学生学习专注度检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
段巨力: "基于机器视觉的学生上课专注度的分析评测系统", 《社会科学Ⅱ辑》 *
石奕: "基于人脸识别技术的学生课堂专注度评价模型研究", 《社会科学Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673811A (zh) * 2021-07-05 2021-11-19 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN113673811B (zh) * 2021-07-05 2023-06-27 北京师范大学 一种基于session的在线学习绩效评估方法及装置
CN114419711A (zh) * 2022-01-19 2022-04-29 成都节节高教育科技有限公司 基于ai教育系统的身份识别方法
CN115908070A (zh) * 2023-03-10 2023-04-04 深圳市企鹅网络科技有限公司 一种基于云平台的线上学习管理方法及系统
CN115908070B (zh) * 2023-03-10 2023-05-09 深圳市企鹅网络科技有限公司 一种基于云平台的线上学习管理方法及系统

Also Published As

Publication number Publication date
CN113139439B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN113139439B (zh) 一种基于人脸识别的在线学习专注度评价方法及装置
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
CN109359548B (zh) 多人脸识别监控方法及装置、电子设备及存储介质
TWI714225B (zh) 注視點判斷方法和裝置、電子設備和電腦儲存介質
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
WO2019014813A1 (zh) 一种定量检测人脸肤质参量的方法、装置和智能终端
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
CN110428399A (zh) 用于检测图像的方法、装置、设备和存储介质
US20220230471A1 (en) Artificial Intelligence-Assisted Evaluation Method for Aesthetic Medicine and Evaluation System Using Same
CN110796089A (zh) 用于训练换脸模型的方法和设备
CN112528939A (zh) 一种人脸图像的质量评价方法及装置
CN111582654B (zh) 基于深度循环神经网络的服务质量评价方法及其装置
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN105718050B (zh) 一种实时的人脸交互方法及其系统
Jannah et al. Facial expression system on video using widrow hoff
CN117237741B (zh) 一种校园危险行为检测方法、系统、装置和存储介质
CN112597914B (zh) 一种图像处理方法及装置
Yang et al. Combining attention mechanism and dual-stream 3d convolutional neural network for micro-expression recognition
CN117745902B (zh) 一种用于康复演示的数字人生成方法及装置
KR102674496B1 (ko) 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant