CN113112185A - 一种教师表现力的评估方法、装置和电子设备 - Google Patents

一种教师表现力的评估方法、装置和电子设备 Download PDF

Info

Publication number
CN113112185A
CN113112185A CN202110522303.XA CN202110522303A CN113112185A CN 113112185 A CN113112185 A CN 113112185A CN 202110522303 A CN202110522303 A CN 202110522303A CN 113112185 A CN113112185 A CN 113112185A
Authority
CN
China
Prior art keywords
teacher
expression
current period
expressions
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110522303.XA
Other languages
English (en)
Other versions
CN113112185B (zh
Inventor
马玮
饶丰
赵晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiyi Education Technology Co ltd
Original Assignee
Beijing Yiyi Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yiyi Education Technology Co ltd filed Critical Beijing Yiyi Education Technology Co ltd
Priority to CN202110522303.XA priority Critical patent/CN113112185B/zh
Publication of CN113112185A publication Critical patent/CN113112185A/zh
Application granted granted Critical
Publication of CN113112185B publication Critical patent/CN113112185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种教师表现力的评估方法、装置和电子设备，其中，该方法包括：获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；根据确定出的所述教师表情，对教师表现力进行评估。通过本发明实施例提供的教师表现力的评估方法、装置和电子设备，评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。

Description

一种教师表现力的评估方法、装置和电子设备
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种教师表现力的评估方法、装置和电子设备。
背景技术
目前，随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学呈现出爆发性的增长。在传统课堂上，对教师评估往往采用“听课”的方式进行，在互联网时代，人工方式虽然可靠，但是对于海量教师视频，不可能做到全部评估。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种教师表现力的评估方法、装置和电子设备。
第一方面，本发明实施例提供了一种教师表现力的评估方法，包括：
获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
根据确定出的所述教师表情，对教师表现力进行评估。
第二方面，本发明实施例还提供了一种教师表现力的评估装置，包括：
获取模块，用于获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
处理模块，用于对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
评估模块，用于根据确定出的所述教师表情，对教师表现力进行评估。
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面任一项所述的方法的步骤。
本发明实施例上述第一方面至第四方面的提供的方案中，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例1所提供的一种教师表现力的评估方法的流程图；
图2示出了本发明实施例2所提供的一种教师表现力的评估装置的结构示意图；
图3示出了本发明实施例3所提供的一种电子设备的结构示意图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
目前，随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学呈现出爆发性的增长。在传统课堂上，对教师的授课效果进行评估往往采用“听课”的方式进行，在互联网时代，人工方式虽然可靠，但是对于海量教师视频，不可能做到全部评估。
随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，在线教育场景中，人和人之间不再是面对面的交流，交流的场景和情况更加复杂。而计算机技术可以用来辅助进行人脸特征提取，通过自动分析对老师的表现力、学生的接受程度等评价，可以对教学活动提供有效的参考，从而提升教学活动的效率。
在教学活动中，人脸关键点和表情(如：自然、高兴、惊讶、难过、愤怒、鄙视、害怕)是非常重要的特征，表情可以直观的反映老师的表现力、学生的听课状态，人脸关键点也可以用来检测用户的姿态、移动等多种信息，对于教学活动有重要的参考价值。
目前用到的人脸特征提取流程，一般包括人脸检测、关键点检测、表情识别等等，随着深度学习技术的发展，采用深度学习的方法目前已成为主流，在人脸特征提取方面，根据需求的不同，往往采用多个模型顺序执行的方法，来完成所需要的功能，比如先通过人脸检测模型得到人脸区域，再使用关键点定位模型获取关键点位置，使用表情识别模型得到具体表情；关键点模型和表情模型之间相互独立，顺序执行，使得人脸图像关键点信息的提取和确定出教师的教师表情的时间较长。
基于此，本实施例提出一种教师表现力的评估方法、装置和电子设备，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。
在此，先对本方案使用的模型进行描述：
人脸关键点和表情存在一定的关联性，比如高兴的表情通常伴随嘴角上扬，将关键点估计模型和表情识别模型相结合，是具备可行的。模型以PFLD的模型为基础，添加了额外的表情识别分支，模型命名为人脸特征点和表情的联合模型(PFLD_EMO)。其中主干网络(MobileNetV2、关键点回归网络分支、关键点输出层)采用PFLD模型的网络结构。表情识别网络分支由四个卷基层和两个全连接层构成，最后一层输出对教师表情的预测值。
其中，教师表情和面部表情，包括但不限于以下各类面部表情：自然表情、高兴表情、惊讶表情、难过表情、愤怒表情、鄙视表情、以及害怕表情。
而且，自然表情、高兴表情、惊讶表情、难过表情、愤怒表情、鄙视表情、以及害怕表情中的任一表情，可以分别被称作一类面部表情。
PFLD_EMO的损失函数也由两部分构成，一部分是关键点回归误差损失Lossreg，关键点回归误差通过计算位置偏差得到，计算方法是现有技术，另一部分是表情识别分类误差Lossemo，是多分类交叉熵损失函数，具体如下：
Figure BDA0003064449510000051
其中，Lossemo是多分类的交叉熵,yi是第i类的真实分类,yi＝1则真实类别为真，yi＝0则真实类别为假,ai是预测第i类的概率。
在模型训练时，选取关键点回归损失、表情分类损失的一种或者二者累加作为网络的损失函数，对模型参数进行优化。
然后，利用采集的教师图像对PFLD_EMO模型进行训练，得到能够在得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情的PFLD_EMO模型。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例1
本实施例提出的教师表现力的评估方法的执行主体是服务器。
参见图1所示的一种教师表现力的评估方法的流程图，本实施例提出的一种教师表现力的评估方法，包括以下具体步骤：
步骤100、获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域。
在上述步骤100中，可以通过人脸检测算法或人脸检测模型，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域，具体过程是现有技术，这里不再赘述。
在获取教师图像的同时，对获取教师图像的图像采集时间进行记录。
步骤102、对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情。
具体地，上述步骤102具体包括以下步骤(1)至步骤(4)：
(1)基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；
(2)将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；
(3)利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；
(4)当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。
在上述步骤(1)中，预设尺寸是长、宽均为112像素。
在上述步骤(2)中，利用PFLD_EMO对缩放后的人脸图像区域进行处理的具体过程是现有技术，这里不再赘述。
人脸图像区域的水平方向和垂直方向上的归一化坐标，就是人脸图像区域中98个人脸特征点的坐标；PFLD_EMO模型输出形式为按顺序组合的坐标集合(x1,y1,x2,y2,…x98,y98)，将该坐标集合按坐标的输出顺序两两组合就得到98个人脸特征点的坐标中的各个坐标(x1,y1),(x2,y2),…(x98,y98)。
在上述步骤(3)中，利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标的具体过程是现有技术，这里不再赘述。
在上述步骤(4)中，所述预设数值范围，是[0，112]。即当人脸图像区域的关键点坐标的坐标值均在[0，112]内的任意数值时，确定采集到的教师图像中的人脸图像区域为有效人脸区域。
在确定教师表情时，记录确定教师表情的时间，并对所确定的教师表情对应的表情的表情数量进行增量操作。
步骤104、根据确定出的所述教师表情，对教师表现力进行评估。
具体地，上述步骤104具体包括以下步骤(1)至步骤(8)：
(1)对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；
(2)当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；
(3)当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；
(4)当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；
(5)获取当前周期内采集的教师图像数量；
(6)当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；
(7)当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；
(8)利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。
在上述的步骤(1)中，在确定采集到的教师图像中的人脸图像区域为有效人脸区域时，对有效人脸区域数量进行增量操作，得到增量操作后的有效人脸区域数量。
在上述的步骤(2)中，预设的教师面部表情，包括但不限于：高兴表情、惊讶表情、愤怒表情、鄙视表情、和害怕表情。
在上述步骤(1)至步骤(3)执行的过程中有个前提，就是在当距离上一次对教师表现力进行评估的时间长度未达到预设时间长度时，对有效人脸区域数量进行增量操作、对有效表情数量进行增量操作、以及对表情变化数量进行增量操作。
在上述步骤(5)中，获取当前周期的起止时间点之间的图像采集时间，统计获取到的当前周期的起止时间点之间的图像采集时间的数量，得到统计结果，将得到的统计结果作为当前周期内采集的教师图像数量，从而获取到当前周期内采集的教师图像数量。
在上述步骤(8)中，可以执行以下步骤(81)至步骤(84)：
(81)统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；
(82)通过以下公式，计算当前周期内的有效表情百分比：
当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；
(83)通过以下公式，计算当前周期内的表情变化率：
当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；
(84)通过以下公式，计算当前周期内的教师表现力评估值：
当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。
综上所述，本实施例提出的一种教师表现力的评估方法，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。
实施例2
本实施例提出一种教师表现力的评估装置，用于执行上述实施例1提出的教师表现力的评估方法。
参见图2所示的一种教师表现力的评估装置的结构示意图，本实施例提出的一种教师表现力的评估装置，包括：
获取模块200，用于获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
处理模块202，用于对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
评估模块204，用于根据确定出的所述教师表情，对教师表现力进行评估。
所述处理模块，具体用于：
基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；
将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；
利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；
当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。
所述评估模块，具体用于：
对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；
当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；
当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；
当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；
获取当前周期内采集的教师图像数量；
当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；
当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；
利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。
所述评估模块，用于利用当前周期内的有效人脸区域数量以及当前周期内的表情变化数量，对当前周期内的教师表现力评估值进行计算，包括：
统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；
通过以下公式，计算当前周期内的有效表情百分比：
当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；
通过以下公式，计算当前周期内的表情变化率：
当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；
通过以下公式，计算当前周期内的教师表现力评估值：
当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。
综上所述，本实施例提出的一种教师表现力的评估装置，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。
实施例3
本实施例提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例1描述的教师表现力的评估方法的步骤。具体实现可参见方法实施例1，在此不再赘述。
此外，参见图3所示的一种电子设备的结构示意图，本实施例还提出一种电子设备，上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。
本实施例中，上述电子设备还包括：存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序，经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(3)：
(1)获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
(2)对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
(3)根据确定出的所述教师表情，对教师表现力进行评估。
收发机53，用于在处理器52的控制下接收和发送数据。
其中，总线架构(用总线51来代表)，总线51可以包括任意数量的互联的总线和桥，总线51将包括由处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质，还可以提供用户接口56，例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器52负责管理总线51和通常的处理，如前述上述运行通用操作系统。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。
可选的，处理器52可以是但不限于：中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解，本发明实施例中的存储器55可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器55存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：操作系统551和应用程序552。
其中，操作系统551，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序552，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。
综上所述，本实施例提出的一种计算机可读存储介质和电子设备，通过对人脸图像区域进行处理，得到人脸图像区域的关键点信息的同时，可以确定出教师的教师表情，提高了处理效率；而且，根据确定出的所述教师表情，对教师表现力进行评估，从而评估教师的教学视频，分析课堂中的“高光片段”或者“平淡片段”，对教师自身业务水平的提升，以及课程分析、教师培训等方面都有着非常重要的意义。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种教师表现力的评估方法，其特征在于，包括：
获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
根据确定出的所述教师表情，对教师表现力进行评估。
2.根据权利要求1所述的方法，其特征在于，对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定所述教师图像显示的教师表情，包括：
基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；
将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；
利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；
当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。
3.根据权利要求2所述的方法，其特征在于，根据确定出的所述教师表情，对教师表现力进行评估，包括：
对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；
当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；
当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；
当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；
获取当前周期内采集的教师图像数量；
当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；
当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；
利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。
4.根据权利要求3所述的方法，其特征在于，利用当前周期内的有效人脸区域数量以及当前周期内的表情变化数量，对当前周期内的教师表现力评估值进行计算，包括：
统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；
通过以下公式，计算当前周期内的有效表情百分比：
当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；
通过以下公式，计算当前周期内的表情变化率：
当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；
通过以下公式，计算当前周期内的教师表现力评估值：
当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。
5.一种教师表现力的评估装置，其特征在于，包括：
获取模块，用于获取教师图像，对所述教师图像进行人脸检测，得到所述教师图像中的人脸图像区域；
处理模块，用于对人脸图像区域进行处理，得到人脸图像区域的关键点信息，并确定出教师的教师表情；
评估模块，用于根据确定出的所述教师表情，对教师表现力进行评估。
6.根据权利要求5所述的装置，其特征在于，所述处理模块，具体用于：
基于预设尺寸对所述人脸图像区域进行缩放，得到缩放后的人脸图像区域；
将缩放后的人脸图像区域输入到人脸特征点和表情的联合模型PFLD_EMO中，利用PFLD_EMO对缩放后的人脸图像区域进行处理，得到人脸图像区域的水平方向和垂直方向上的归一化坐标，以及各表情的表情分值；
利用得到的人脸图像区域在水平方向和垂直方向上的归一化坐标与所述预设尺寸中的图像宽度信息，得到作为人脸图像区域的关键点信息的所述人脸图像区域的关键点坐标；
当所述人脸图像区域的关键点坐标的坐标值均在预设数值范围内时，确定采集到的教师图像中的人脸图像区域为有效人脸区域，并将各表情分值中最大的表情分值对应的面部表情确定为教师的教师表情。
7.根据权利要求6所述的装置，其特征在于，所述评估模块，具体用于：
对有效人脸区域数量进行增量操作，得到增量操作操作后的有效人脸区域数量；
当确定出的所述教师表情属于预设的教师面部表情时，对有效表情数量进行增量操作，得到增量操作后的有效表情数量；
当确定出的所述教师表情与上一次确定出的教师表情不一致时，对表情变化数量进行增量操作，得到增量操作后的表情变化数量；
当距离上一次对教师表现力进行评估的时间长度达到预设时间长度时，将增量操作操作后的有效人脸区域数量确定为当前周期内的有效人脸区域数量，将增量操作操作后的有效表情数量确定为当前周期内的有效表情数量，将增量操作后的表情变化数量确定为当前周期内的表情变化数量；
获取当前周期内采集的教师图像数量；
当当前周期内的有效人脸区域数量与前周期内采集的教师图像数量的比值大于第一预设比例阈值时，统计各类面部表情的数量，并计算各类面部表情的数量与当前周期内的有效表情数量的比值；
当各类面部表情中的愤怒表情、鄙视表情、或者害怕表情与当前周期内的有效表情数量的比值大于第二预设比例阈值时，将愤怒表情的数量、鄙视表情的数量、或者害怕表情的数量从当前周期内的有效表情数量中去掉，对当前周期内的有效表情数量进行修订；
利用当前周期内的表情变化数量以及修订后的当前周期内的有效人脸区域数量，对当前周期内的教师表现力评估值进行计算，从而利用计算得到的当前周期内的教师表现力评估值对当前周期内的教师表现力进行评估。
8.根据权利要求7所述的装置，其特征在于，所述评估模块，用于利用当前周期内的有效人脸区域数量以及当前周期内的表情变化数量，对当前周期内的教师表现力评估值进行计算，包括：
统计当前周期内的各类面部表情中高兴表情、惊讶表情、愤怒表情、鄙视表情、以及害怕表情的表情总数量；
通过以下公式，计算当前周期内的有效表情百分比：
当前周期内的有效表情百分比＝表情总数量/当前周期内的有效人脸区域数量；
通过以下公式，计算当前周期内的表情变化率：
当前周期内的表情变化率＝1.8*当前周期内的表情变化数量/当前周期内的有效人脸区域数量+0.2；
通过以下公式，计算当前周期内的教师表现力评估值：
当前周期内的教师表现力评估值＝100*当前周期内的有效表情百分比*当前周期内的表情变化率。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-4任一项所述的方法的步骤。
10.一种电子设备，其特征在于，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行权利要求1-4任一项所述的方法的步骤。
CN202110522303.XA 2021-05-13 2021-05-13 一种教师表现力的评估方法、装置和电子设备 Active CN113112185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522303.XA CN113112185B (zh) 2021-05-13 2021-05-13 一种教师表现力的评估方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522303.XA CN113112185B (zh) 2021-05-13 2021-05-13 一种教师表现力的评估方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113112185A true CN113112185A (zh) 2021-07-13
CN113112185B CN113112185B (zh) 2024-08-09

Family

ID=76722479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522303.XA Active CN113112185B (zh) 2021-05-13 2021-05-13 一种教师表现力的评估方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113112185B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426505A (zh) * 2022-11-03 2022-12-02 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备
CN116757524A (zh) * 2023-05-08 2023-09-15 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761068B1 (ko) * 2016-08-22 2017-08-04 최상덕 학습을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN109034099A (zh) * 2018-08-14 2018-12-18 华中师范大学 一种表情识别方法及装置
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
WO2020007097A1 (zh) * 2018-07-03 2020-01-09 北京大米科技有限公司 数据处理方法、存储介质和电子设备
CN111027865A (zh) * 2019-12-12 2020-04-17 山东大学 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111667128A (zh) * 2019-03-05 2020-09-15 杭州海康威视系统技术有限公司 教学质量评估方法、装置及系统
CN111723762A (zh) * 2020-06-28 2020-09-29 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN112733663A (zh) * 2020-12-29 2021-04-30 山西大学 一种基于图像识别的学生专注力的检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761068B1 (ko) * 2016-08-22 2017-08-04 최상덕 학습을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020007097A1 (zh) * 2018-07-03 2020-01-09 北京大米科技有限公司 数据处理方法、存储介质和电子设备
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
CN109034099A (zh) * 2018-08-14 2018-12-18 华中师范大学 一种表情识别方法及装置
CN111667128A (zh) * 2019-03-05 2020-09-15 杭州海康威视系统技术有限公司 教学质量评估方法、装置及系统
CN111027865A (zh) * 2019-12-12 2020-04-17 山东大学 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111723762A (zh) * 2020-06-28 2020-09-29 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN112733663A (zh) * 2020-12-29 2021-04-30 山西大学 一种基于图像识别的学生专注力的检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426505A (zh) * 2022-11-03 2022-12-02 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备
CN115426505B (zh) * 2022-11-03 2023-03-24 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备
CN116757524A (zh) * 2023-05-08 2023-09-15 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置
CN116757524B (zh) * 2023-05-08 2024-02-06 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置

Also Published As

Publication number Publication date
CN113112185B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
CN111538908B (zh) 搜索排序方法、装置、计算机设备和存储介质
US10872299B2 (en) Memory augmented generative temporal models
EP3884426B1 (en) Action classification in video clips using attention-based neural networks
CN106982196A (zh) 一种异常访问检测方法及设备
CN109376222A (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN110781413B (zh) 兴趣点确定方法及装置、存储介质、电子设备
CN111563158B (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质
CN113112185B (zh) 一种教师表现力的评估方法、装置和电子设备
US20210406687A1 (en) Method for predicting attribute of target object based on machine learning and related device
CN110210540B (zh) 基于注意力机制的跨社交媒体用户身份识别方法及系统
CN112632393A (zh) 课程推荐方法、装置及电子设备
CN113707299A (zh) 基于问诊会话的辅助诊断方法、装置及计算机设备
CN110889340A (zh) 一种基于迭代注意力机制的视觉问答模型
CN114492451B (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
CN116310976A (zh) 学习习惯养成方法、装置、电子设备及存储介质
CN113569118A (zh) 自媒体推送方法、装置、计算机设备及存储介质
CN112446360A (zh) 目标行为检测方法、装置及电子设备
CN117009570A (zh) 一种基于位置信息与置信度感知的图文检索方法及装置
CN117112742A (zh) 一种对话模型优化方法、装置、计算机设备和存储介质
CN112749557A (zh) 文本处理模型的构建方法和文本处理方法
CN113435206B (zh) 一种图文检索方法、装置和电子设备
CN112035567B (zh) 一种数据处理方法、装置及计算机可读存储介质
US11538355B2 (en) Methods and systems for predicting a condition of living-being in an environment
CN111177493B (zh) 数据处理方法、装置、服务器和存储介质
CN114842712A (zh) 一种基于手势识别的手语教学系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant