CN112381448B - 基于人脸时空特征的教学质量评估方法、装置及电子设备 - Google Patents

基于人脸时空特征的教学质量评估方法、装置及电子设备 Download PDF

Info

Publication number
CN112381448B
CN112381448B CN202011375221.9A CN202011375221A CN112381448B CN 112381448 B CN112381448 B CN 112381448B CN 202011375221 A CN202011375221 A CN 202011375221A CN 112381448 B CN112381448 B CN 112381448B
Authority
CN
China
Prior art keywords
face
time
space
matrix
face space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011375221.9A
Other languages
English (en)
Other versions
CN112381448A (zh
Inventor
肖婷
黄映婷
刘佳斌
张阳
邓浩然
郑文先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011375221.9A priority Critical patent/CN112381448B/zh
Publication of CN112381448A publication Critical patent/CN112381448A/zh
Application granted granted Critical
Publication of CN112381448B publication Critical patent/CN112381448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于人脸时空特征的教学质量评估方法、装置及电子设备，所述方法包括：获取教室内所有学生的人脸时空矩阵；通过预设的空间特征提取网络，提取人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个人脸空间特征之间的人脸时间信息，得到人脸时空特征；通过预设的线性回归网络，对人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵。通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。

Description

基于人脸时空特征的教学质量评估方法、装置及电子设备
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人脸时空特征的教学质量评估方法、装置及电子设备。
背景技术
随着社会不断发展，人们对学校和教师教学质量越来越看重，在传统的教学实践中，通常是通过问答或考试等方式查看教学效果，从而根据教学效果评估教师教学质量，然而，通过口头询问的方式未必能得到学生反馈的准确信息，而通过考试检验的方式则对教师而言工作量较大，涉及批改以及信息统计分析等处理步骤，具有滞后性，难以实时得到课堂上的教学质量。而且，学生的学习状态是受时间和空间影响的，比如课堂前几分钟、课堂中段的几分钟以及课堂结束前几分钟的学习状态通常是不同的，一个学生座位旁边的其他学生的学习状态也会影响该学生的学习状态，使得最终的教学效果并不能直观的判断教师教学质量；比如教师教学质量不高，导致学生在课堂上的学习状态不好，但学生请了家教，最终学生取得的好成绩被反映为好的教学效果，又通过这样一个好的教学效果评估教师教学质量为高，从而产生错误评估。因此，现有的教学质量评估无法客观反映课堂上的教学质量，存在准确度差的问题。
发明内容
本发明实施例提供一种基于人脸时空特征的教学质量评估方法，通过对教室内所有学生人脸在时空维度提取特征并进行评估，能够实时反映课堂上的教学质量，提高教学质量评估准确度。
第一方面，本发明实施例提供一种基于人脸时空特征的教学质量评估方法，所述方法包括：
获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；
通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；
通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。
可选的，所述获取教室内所有学生的人脸时空矩阵，包括：
获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；
通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；
根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；
将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。
可选的，所述预设的人脸检测网络包括卷积层以及线性层，所述通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征，包括：
通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；
通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。
可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。
可选的，所述通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，包括：
将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；
通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；
将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；
根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。
可选的，所述方法还包括：
根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；
根据所述临时变量，计算得到所述动态耦合系数；
其中，所述临时变量具有初始值。
可选的，所述方法还包括：
获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；
通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。
可选的，所述通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练，包括：
通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；
通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。
第二方面，本发明实施例还提供一种基于人脸时空特征的教学质量评估装置，所述装置包括：
第一获取模块，用于获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；
第一提取模块，用于通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
第二提取模块，用于通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应位置学生的学习状态；
输出模块，用于通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的基于人脸时空特征的教学质量评估方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的基于人脸时空特征的教学质量评估方法中的步骤。
本发明实施例中，获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。通过对教室内所有学生人脸的空间信息和时间信息进行特征提取，得到教室内所有学生人脸的时空特征，并通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于人脸时空特征的教学质量评估方法的流程图；
图1a是本发明实施例提供的一种教室网格的示意图；
图1b是本发明实施例提供的一种网络模型的结构示意图；
图2是本发明实施例提供的一种基于人脸时空特征的教学质量评估模型的训练方法的流程图；
图3是本发明实施例提供的一种基于人脸时空特征的教学质量评估装置的结构示意图；
图4是本发明实施例提供的一种第一获取模块的结构示意图，；
图5是本发明实施例提供的一种第一提取模块的结构示意图；
图6是本发明实施例提供的一种第二提取模块的结构示意图；
图7是本发明实施例提供的另一种第二提取模块的结构示意图；
图8是本发明实施例提供的另一种基于人脸时空特征的教学质量评估装置的结构示意图；
图9是本发明实施例提供的一种训练模块的结构示意图；
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种基于人脸时空特征的教学质量评估方法的流程图，如图1所示，包括以下步骤：
101、获取教室内所有学生的人脸时空矩阵。
在本发明实施例中，上述人脸时空矩阵包括人脸矩阵单元，一个人脸矩阵单元对应一个学生的座位位置以及人脸序列，人脸序列的时间维度为人脸时空矩阵的时间维度。
上述人脸序列可以是一堂课时中学生的人脸图像序列或是人脸图像对应的人脸特征图序列。
上述的人脸时空矩阵的空间维度可以根据教室内学生的座位位置分布情况进行确定。上述人脸时空矩阵可以被表达为M×N×T，具体的，上述M×N×T为一个三维张量，该三维张量中，任意人脸矩阵单元Xt∈RM×N×T，其中，M×N表示空间维度，T表示时间维度。具体来说，教室的座位位置的包括M排和N列，则该教室能容纳M×N个学生。T则可以理解为人脸序列中包括T帧人脸图像或T帧人脸图像对应的人脸特征图。
具体的，如图1a所示，可以将教室内的座位位置关系用一个M×N的网格表示，在M×N的网格中，每个单元格表示一个座位(学生)的位置，M×N的网格最多可以表示M×N个座位(学生)的位置。
进一步的，上述人脸时空矩阵中，每个人脸矩阵单元均为该位置对应学生的人脸序列，某个位置t时刻的人脸序列被表示为x(m，n)t。具体的，在t时刻，M×N的网格中所有座位(学生)对应的人脸序列可以用一个空间矩阵表示，即人脸时空矩阵，在t时刻的风速空间矩阵具体可以如下述式子(1)所示：
在本发明实施例中，教学质量评估的原理是：基于学生的人脸来估计学生的学习状态，再根据所有学生的学习状态来进行教学质量评估，学生的学习状态可以基于下述式子(2)进行：
其中，f表示预测模型从输入到输出之间的映射，h为时间点的个数，比如一堂课的每分钟做为一个时间点，θ为需要被训练的模型参数。由上述式子(2)分析可知，教室中所有学生的学习状态可以通过对人脸时空矩阵的估计来实现。进一步的，上述式子(2)具体表示，在t时刻处的学生的学习状态可以利用过去一段时间内的人脸时间矩阵进行估计。
可选的，上述人脸时空矩阵可以是对摄像头拍摄到的课堂视频进行处理后得到。需要说明的是，上述摄像头为设置在教室正前方，上述摄像头可以对教室内所有座位上的学生脸部进行拍摄。上述课堂视频也是一种图像序列形式。具体的，可以将上述课堂视频作为待处理图像序列进行处理。
具体的，可以获取待处理图像序列，上述待处理图像序列包括教室内所有学生的人脸；通过预设的人脸检测网络，对上述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；根据学生的座位位置排列，构建二维空间张量矩阵，其中，上述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，上述学生矩阵单元对应一个学生的座位位置；将人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到人脸时空矩阵，上述人脸时空矩阵的时间维度与上述人脸图像序列或人脸特征序列对应的图像帧数相同。
其中，上述人脸检测网络可以是多目标人脸检测网络，可以输出人脸检测框信息(x，y，h，w)，上述x，y为人脸检测框的中心点坐标，上述h，w为人脸检测框的高和宽，通过人脸检测框的中心点坐标，可以得到各个人脸在教室中的对应位置，根据人脸检测框的中心点坐标以及高宽，可以在图像帧中提取出对应人脸的小图作为人脸图像，地待处理图像序列中的帧图像依次进行人脸检测，则可以得到各个学生的人脸图像序列。上述人脸特征序列可以是根据人脸图像序列进行特征提取后对应得到的，相当于是人脸图像序列的初始特征。
二维空间张量矩阵是根据教室座位位置的分布来进行构建的，比如，教室中，座位位置分布为M排N列，则二维空间张量矩阵为M×N，其中，可能存在部分座位为空置，此时，则在M×N的二维空间张量矩阵中对空置座位位置进行填充，形成填充矩阵单元，上述填充可以是填充0或空值。将人脸图像序列或人脸特征序列添加到二维空间张量矩阵对应的矩阵单元中，形成学生矩阵单元。
102、通过预设的空间特征提取网络，提取人脸时空矩阵中在时间维度上的人脸空间特征。
在本发明实施例中，上述预设的空间特征提取网络可以理解为预先训练好的空间特征提取网络，用于提取人脸时空矩阵中不同时间维度的人脸空间特征，也可以理解为用于提取人脸时空矩阵中不同时间截面的人脸空间特征，比如，提取人脸时空矩阵中t时刻的人脸空间特征。
可选的，上述空间特征提取网络可以是卷积神经网络，上述卷积神经网络可以包括卷积层与线性层。上述卷积层可以通过卷积核对人脸时空特征进行卷积操作，上述线性层可以对卷积层的输出进行线性变换，得到对应的人脸空间特征。
具体的，可以通过上述卷积层，提取上述人脸时空矩阵中不同时间维度的局部人脸空间特征；通过上述线性层，将上述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，上述一维张量形式的人脸空间特征与上述人脸时空矩阵具有相同的时间维度。
可选的，上述空间特征提取网络还包括激活函数，上述空间特征提取网络可以式子(3)所示：
其中，xt表示与t时刻人脸时空矩阵相对应的输入图像，xtp代表t时刻人脸时空矩阵相对应的第p张局部特征图，代表卷积计算，βtp和bp分别代表卷积层中的共享权重参数和偏置参数，g(·)表示激活函数。
进一步的，在卷积层中，上层的神经元仅需与下层的部分神经元相连以感知局部风速空间特征(局部感知野)，适用于局部人脸空间特征的学习。在得到局部人脸空间特征后，可以通过线性层，将局部人脸空间特征展平为一维向量，并通过激活函数进行非线性变换，得到一维张量形式的人脸空间特征，具体可以如下述式子(4)所示：
rt＝g(wxtq+b) (4)
其中，rt＝{rt|1,rt|2,…}表示t时刻提取到的人脸空间特征，w和b分别代表线性层的线性权重参数和偏置参数，g(·)表示激活函数。
举例来说，如图1b所示，假设人脸时空矩阵为M×N×T，通过卷积层后，得到m×n×k×s的局部人脸特征图，上述m×n表示局部人脸特征图尺寸，上述k表示局部人脸特征图的通道数，上述H表示局部人脸特征图的数量，上述H与卷积层中卷积核的数量相关，其中，m小于等于M，n小于等于N。m×n×k×H的局部人脸特征图通过线性层后，得到一维张量形式的人脸空间特征，该一维张量形式为H×1×T，其中，H＝M×N。
103、通过预设的时间特征提取网络，提取预设时间段内各个人脸空间特征之间的人脸时间信息，得到人脸时空特征，
在本发明实施例中，每个人脸时空特征用于表征对应座位位置上学生的学习状态。进一步来理解，上述每个人脸时空特征都隐含了对应座位位置上学生的学习状态，对人脸时空特征进行分类，则可以得到对应的学习状态。
可选的，上述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，上述第一矢量神经元层与上述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与上述人脸空间特征的时间维度相关，上述第二矢量神经元层包括第二预设数量的第二矢量神经元，上述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。其中，上述第一矢量神经元与上述第二矢量神经元可以通过动态耦合系数进行全连接。
具体的，以人脸空间特征为M×N×T做为例子来说，得到的人脸空间特征为H×1×T，上述第一预设数量可以是T/D，即是说，上述第一矢量神经元层包括T/D个第一矢量神经元。上述第二预设数量可以是H，即是说，上述第二矢量神经元层包括H个第二矢量神经元。
进一步的，可以将上述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；通过矢量变换矩阵，将上述第一多维矢量特征变换为第二多维矢量特征；将上述第二多维矢量特征通过动态耦合系数路由到上述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；根据上述第三多维矢量特征的聚类情况，确定上述人脸时空特征。
举例来说，假设上述人脸空间特征的一维张量形式为H×1×T，按时间维度编码可以是根据将人脸空间中时间维度进行拆分为T/D个子特征，通过T/D个第一矢量神经元对T/D个子特征对应进行线性变换，得到T/D个第一多维矢量特征，上述D为第一多维矢量特征的矢量维度，总共得到H×T/D个第一多维矢量特征。上述第二矢量神经元中可以包括L个分类矢量，T/D个第一多维矢量特征与上述L个分类矢量进行全连接，在全连接的过程中，通过矢量变换矩阵，将第一多维矢量特征变换为第二多维矢量特征，上述第二多维矢量特征可以理解为第一分类预测，用于初步预测当前人脸空间特征对应的分类。上述第二多维矢量特征的数量为T/D个，矢量维度为D。将T/D个第二多维矢量特征通过动态耦合系数路由到第二矢量神经元层中，T/D个与对应的第二矢量神经元中的L个分类矢量进行全连接，得到第三多维矢量特征，其中，第三多维矢量特征的数量为T/D个，矢量维度为D，对T/D个第三多维矢量特征进行聚类，得到聚类情况，上述聚类可以是T/D个第三多维矢量特征中各个第三多维矢量特征之间的欧氏距离，第三多维矢量特征之间的欧氏距离小，则会聚集在一起，表示初步预测结果相似，指向相同的分类结果，将该分类结果对应的第三多维矢量特征求和与激活函数激活后，得到人脸时空特征，上述人脸时空特征可以理解为最终预测结果，上述人脸时空特征的数量为1，矢量维度为D。上述人脸时空特征的模长用于表示学生的学习状态分。上述过程可以通过下述式子(5)、(6)、(7)、(8)进行表示：
ui＝F1(ti) (5)
其中，上述的ui为第i个第一多维矢量特征，上述的ti为人脸空间中时间维度进行拆分的第i个子特征，上述的F1为线性变换函数，上述为对应第j个第二矢量神经元的第i个第二多维矢量特征，上述wij为对应第j个第二矢量神经元的第i个矢量变换矩阵，上述的sj为对应第j个第二矢量神经元的第三多维矢量特征，上述的cij为对应第j个第二矢量神经元的第i个动态耦合系数，上述vj为对应第j个第二矢量神经元的人脸时空特征。可以看出，人脸时空特征vj的模长为大于等于0，且小于1的值。其中，式子(7)的计算步骤可以迭代预测次数，以调整动态耦合系数。
可选的，上述动态耦合系数可以根据临时变量进行动态调整，上述临时变量可以根据初步预测结果与最终预测结果进行计算，可以将上述临时变量理解为初步预测结果与最终预测结果的误差，误差越大，说明初步预测结果与最终预测结果越远，则动态耦合系数越小，误差越小，说明初步预测结果与最终预测结果越接近，则动态耦合系数越大。
进一步的，可以根据人脸时空特征(最终预测结果)与第二多维矢量特征(初步预测结果)的相似度，计算临时变量；根据上述临时变量，计算得到动态耦合系数；其中，上述临时变量可以具有初始值。
具体的，上述动态耦合系数cij具体可以由Softmax函数计算，可如下述式子(9)所示：
其中，上述cij是动态耦合系数，上述bij是临时变量，该临时变量bij可初始化为0。临时变量bij越大，则动态耦合系数cij越大。
上述临时变量bij的计算可如下述式子(10)所示：
其中，上述vj为人脸时空特征，上述的为第二多维矢量特征，上述/>表示人脸时空特征与第二多维矢量特征的相似度。人脸时空特征与第二多维矢量特征的相似度越大，则临时变量bij越大，对应的动态耦合系数cij越大。
通过上述迭代上述动态耦合系数cij，可以将第二多维矢量特征进行放大或缩小，具体体现在第二多维矢量特征的模长，使得在聚类中心附近的第三多维矢量特征的模长增加，远离聚类中心附近的第三多维矢量特征的模长减小。
104、通过预设的线性回归网络，对人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵。
在本发明实施例中，上述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。
在式子(8)中，人脸时空特征vj的模长为大于等于0，且小于1的值。因此，上述模长可以作为学生的学习状态分，上述学生的学习状态可以根据学习状态分根据判断，学习状态分越低，代表该学生的学习状态越差，学习状态分越高，代表学习状态分越高。
上述线性回归网络将人脸时空特征vj进行线性变化，将矢量维度为D转换为模长，该模长为一个标量，即是学习状态分，并将学习状态分回归到M×N×T的矩阵中，得到M×N×T的教学质量评估矩阵，该教学质量评估矩阵包括每个学生的在每个时间点的学习状态分，该教学质量评估矩阵可以根据学习状态分用于对教学质量进行评估。
本发明实施例中，获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。通过对教室内所有学生人脸的空间信息和时间信息进行特征提取，得到教室内所有学生人脸的时空特征，并通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。
需要说明的是，本发明实施例提供的基于人脸时空特征的教学质量评估方法可以应用于可以进行图像处理的手机、监控器、计算机、服务器等设备。
可选的，请参见图2，图2是本发明实施例提供的一种基于人脸时空特征的教学质量评估模型的训练方法的流程图，基于人脸时空特征的教学质量评估模型包括：空间特征提取网络、时间特征提取网络以及线性回归网络，如图2所示，包括以下步骤：
201、获取训练集。
在本发明实施例中，上述训练集中包括样本人脸时空矩阵，上述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构。上述样本人脸时空矩阵中每个矩阵单元包括学生的人脸以及对应的标签，标签为学习状态分。
202、通过训练集对空间特征提取网络、时间特征提取网络以及线性回归网络进行训练。
在本发明实施例中，可以通过上述训练集对时间特征提取网络进行内部迭代，以训练更新动态耦合系数；通过上述训练集对空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新空间特征提取网络、时间特征提取网络以及线性回归网络的权重参数。
其中，上述新空间特征提取网络的权重参数包括卷积层的共享权重及偏置，线性层的线性权重及偏置，上述时间特征提取网络包括矢量变换矩阵(也称为权重矩阵)，上述线性回归网络的权重参数包括线性层的线性权重及偏置、以及回归层的权重及偏置。
可选的，上述外部迭代包括自适应矩估计优化(Adam，adaptive momentestimation)和试错法的误差反向传播(BP，Back Propagation)，误差反向传播训练的目标是最小化模型的损失函数，可以如下述式子(11)所示：
其中，T代表与训练样本相对应的历史时间点的集合，‖·‖F代表Frobenius范数，xt+λ和分别代表多个学习状态分的实际值和预测值。误差微分以自上而下的方式传播，使模型参数θ向其最佳状态方向进行调整。当训练次数达到预先设定值时，周期性的训练过程结束。
进一步的，为了加快参数收敛和降低模型误差，可以在反向训练过程中嵌入一种试错方法，具体地，每隔几个训练周期，从更新的备选学习率中选择出使预测误差最小的学习率，然后将其应用到下一次训练。
请参见图3，图3是本发明实施例提供的一种基于人脸时空特征的教学质量评估装置的结构示意图，如图3所示，所述装置包括：
第一获取模块301，用于获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；
第一提取模块302，用于通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
第二提取模块303，用于通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应位置学生的学习状态；
输出模块304，用于通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。
可选的，如图4所示，所述第一获取模块301，包括：
获取子模块3011，用于获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；
处理子模块3012，用于通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；
构建子模块3013，用于根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；
添加子模块3014，用于将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。
可选的，如图5所示，所述预设的人脸检测网络包括卷积层以及线性层，所述第一提取模块302，包括：
提取子模块3021，用于通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；
展开子模块3022，用于通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。
可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。
可选的，如图6所示，所述第二提取模块303，包括：
编码子模块3031，用于将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；
变换子模块3032，用于通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；
路由子模块3033，用于将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；
确定子模块3034，用于根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。
可选的，如图7所示，所述第二提取模块303还包括：
第一计算子模块3035，用于根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；
第二计算子模块3036，用于根据所述临时变量，计算得到所述动态耦合系数；
其中，所述临时变量具有初始值。
可选的，如图8所示，所述装置还包括：
第二获取模块305，用于获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；
训练模块306，用于通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。
可选的，如图9所示，所述训练模块306，包括：
内部迭代子模块3061，用于通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；
外部迭代子模块3062，用于通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。
需要说明的是，本发明实施例提供的基于人脸时空特征的教学质量评估装置可以应用于可以进行基于人脸时空特征的教学质量评估方法的手机、监控器、计算机、服务器等设备。
本发明实施例提供的基于人脸时空特征的教学质量评估装置能够实现上述方法实施例中基于人脸时空特征的教学质量评估方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图10，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，包括：存储器1002、处理器1001及存储在所述存储器1002上并可在所述处理器1001上运行的计算机程序，其中：
处理器1001用于调用存储器1002存储的计算机程序，执行如下步骤：
获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；
通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；
通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。
可选的，处理器1001执行的所述获取教室内所有学生的人脸时空矩阵，包括：
获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；
通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；
根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；
将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。
可选的，所述预设的人脸检测网络包括卷积层以及线性层，所述通过预设的空间特征提取网络，处理器1001执行的提取所述人脸时空矩阵中在时间维度上的人脸空间特征，包括：
通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；
通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。
可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。
可选的，处理器1001执行的所述通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，包括：
将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；
通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；
将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；
根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。
可选的，处理器1001还执行包括：
根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；
根据所述临时变量，计算得到所述动态耦合系数；
其中，所述临时变量具有初始值。
可选的，处理器1001还执行包括：
获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；
通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。
可选的，处理器1001执行的所述通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练，包括：
通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；
通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。
需要说明的是，上述电子设备可以是可以应用于可以进行基于人脸时空特征的教学质量评估方法的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中基于人脸时空特征的教学质量评估方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的基于人脸时空特征的教学质量评估方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于人脸时空特征的教学质量评估方法，其特征在于，包括以下步骤：
获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；人脸序列为人脸图像序列或人脸特征图序列；
通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；
通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分；
所述获取教室内所有学生的人脸时空矩阵，包括：
获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；
通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；
根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；
将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。
2.如权利要求1所述的方法，其特征在于，所述预设的人脸检测网络包括卷积层以及线性层，所述通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征，包括：
通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；
通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。
3.如权利要求2所述的方法，其特征在于，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。
4.如权利要求3所述的方法，其特征在于，所述通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，包括：
将所述人脸空间特征按时间维度编码到第一矢量神经元层，通过对应的第一矢量神经元得到第一多维矢量特征；
通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；
将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；
根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；
根据所述临时变量，计算得到所述动态耦合系数；
其中，所述临时变量具有初始值。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；
通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。
7.如权利要求6所述的方法，其特征在于，所述通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练，包括：
通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；
通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。
8.一种基于人脸时空特征的教学质量评估装置，其特征在于，所述装置包括：
第一获取模块，用于获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；人脸序列为人脸图像序列或人脸特征图序列；
第一提取模块，用于通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；
第二提取模块，用于通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应位置学生的学习状态；
输出模块，用于通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分；
所述第一获取模块，包括：
获取子模块，用于获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；
处理子模块，用于通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；
构建子模块，用于根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；
添加子模块，用于将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于人脸时空特征的教学质量评估方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于人脸时空特征的教学质量评估方法中的步骤。
CN202011375221.9A 2020-11-30 2020-11-30 基于人脸时空特征的教学质量评估方法、装置及电子设备 Active CN112381448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375221.9A CN112381448B (zh) 2020-11-30 2020-11-30 基于人脸时空特征的教学质量评估方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375221.9A CN112381448B (zh) 2020-11-30 2020-11-30 基于人脸时空特征的教学质量评估方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112381448A CN112381448A (zh) 2021-02-19
CN112381448B true CN112381448B (zh) 2023-10-13

Family

ID=74589187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375221.9A Active CN112381448B (zh) 2020-11-30 2020-11-30 基于人脸时空特征的教学质量评估方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112381448B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
CN110363081A (zh) * 2019-06-05 2019-10-22 深圳云天励飞技术有限公司 人脸识别方法、装置、设备及计算机可读存储介质
CN110516586A (zh) * 2019-08-23 2019-11-29 深圳力维智联技术有限公司 一种人脸图像聚类方法、系统、产品及介质
CN111709391A (zh) * 2020-06-28 2020-09-25 重庆紫光华山智安科技有限公司 一种人脸人体匹配方法、装置及设备
CN111754368A (zh) * 2020-01-17 2020-10-09 天津师范大学 一种高校教学评估方法及基于边缘智能的高校教学评估系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
US9317530B2 (en) * 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US20170357847A1 (en) * 2016-06-10 2017-12-14 Marwan Jabri Biologically inspired apparatus and methods for pattern recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估系统及方法
CN110363081A (zh) * 2019-06-05 2019-10-22 深圳云天励飞技术有限公司 人脸识别方法、装置、设备及计算机可读存储介质
CN110516586A (zh) * 2019-08-23 2019-11-29 深圳力维智联技术有限公司 一种人脸图像聚类方法、系统、产品及介质
CN111754368A (zh) * 2020-01-17 2020-10-09 天津师范大学 一种高校教学评估方法及基于边缘智能的高校教学评估系统
CN111709391A (zh) * 2020-06-28 2020-09-25 重庆紫光华山智安科技有限公司 一种人脸人体匹配方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Phase Signature In The Spatio-temporal Dynamics Of Human Faces Identification;Elie J. de;nvestigative Ophthalmology & Visual Science;第53卷(第14期);全文 *
基于学生人体检测的无感知课堂考勤方法;方书雅;刘守印;;计算机应用(09);全文 *
基于深度学习的网络流时空特征自动提取方法;黄璇丽;李成明;姜青山;;集成技术(02);全文 *

Also Published As

Publication number Publication date
CN112381448A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN109522857B (zh) 一种基于生成式对抗网络模型的人数估计方法
KR20120115407A (ko) 영상의 멀티레벨 분해를 이용하여 영상에 대한 품질 측정을 결정하는 방법 및 시스템
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN114019467B (zh) 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法
CN113408343B (zh) 基于双尺度时空分块互注意力的课堂动作识别方法
CN112308322A (zh) 一种多风场时空风速预测方法、装置及电子设备
CN114399533B (zh) 一种基于多层次注意力机制的单目标追踪方法
CN109117894A (zh) 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
CN113077891A (zh) 基于算法、区块链和医学影像的大数据疾病诊断系统
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN115861256A (zh) 基于知识蒸馏结合图像重构的异常检测方法
CN115598611A (zh) 一种基于全局-局部聚合模型的雷达智能回波外推方法
CN113591988A (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN117671787A (zh) 一种基于Transformer的康复动作评估方法
CN112381448B (zh) 基于人脸时空特征的教学质量评估方法、装置及电子设备
KR20220091714A (ko) 인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법 및 시스템
CN117131991A (zh) 基于混合神经网络的城市降雨量预测方法及平台
CN116071794A (zh) 一种行为数据学习风格画像生成方法、系统、设备和介质
CN113222206A (zh) 一种基于ResLS-C深度学习组合的交通状态预测方法
WO2021038840A1 (ja) 物体数推定装置、制御方法、及びプログラム
CN116805337B (zh) 一种基于跨尺度视觉变换网络的人群定位方法
CN112926619B (zh) 一种高精度水下激光目标识别系统
CN117671278A (zh) 电力图像数据处理方法、装置、设备、介质和程序产品
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN115526294A (zh) 一种热带气旋卫星云图深度学习预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant