CN112116181A - 课堂质量模型的训练方法、课堂质量评价方法及装置 - Google Patents

课堂质量模型的训练方法、课堂质量评价方法及装置 Download PDF

Info

Publication number
CN112116181A
CN112116181A CN201910540262.XA CN201910540262A CN112116181A CN 112116181 A CN112116181 A CN 112116181A CN 201910540262 A CN201910540262 A CN 201910540262A CN 112116181 A CN112116181 A CN 112116181A
Authority
CN
China
Prior art keywords
classroom
class
sample
feature
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910540262.XA
Other languages
English (en)
Other versions
CN112116181B (zh
Inventor
陈佳豪
李航
丁文彪
刘子韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xintang Sichuang Educational Technology Co Ltd
Original Assignee
Beijing Xintang Sichuang Educational Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xintang Sichuang Educational Technology Co Ltd filed Critical Beijing Xintang Sichuang Educational Technology Co Ltd
Priority to CN201910540262.XA priority Critical patent/CN112116181B/zh
Publication of CN112116181A publication Critical patent/CN112116181A/zh
Application granted granted Critical
Publication of CN112116181B publication Critical patent/CN112116181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明实施例提出一种课堂质量模型的训练方法、课堂质量评价方法及装置，课堂质量模型的训练方法包括获取课堂样本以及与课堂样本对应的标签；从课堂样本提取多个课堂特征，并将多个课堂特征共同组合以生成课堂样本的特征向量；根据课堂样本的特征向量生成复制特征向量，其中，复制特征向量通过随机重置多个课堂特征中的至少一个课堂特征的值来生成；将课堂样本的特征向量以及复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。由于复制特征向量重置了部分特征，可以在课堂样本数量有限的情况下进行训练，增强模型的鲁棒性，提高模型输出结果的准确性。

Description

课堂质量模型的训练方法、课堂质量评价方法及装置
技术领域
本发明涉及在线教育领域，尤其涉及一种课堂质量模型的训练方法、课堂质量评价方法及装置。
背景技术
随着互联网的发展，在线教育应运而生。但是在线教育的上课质量可能参差不齐。例如存在和学生互动较少、大规模闲聊等等。因此需要对课堂质量进行检测。
对课堂质量进行检测的常用方法是雇佣第三方(例如，质检老师)对完成上课的视频进行抽查来进行课堂质量检测。但这种方法十分耗时，并且检测结果受第三方主观影响较大，检测结果不客观。另外，还存在一些方法通过对课堂中学生表情进行检测以判断学生是否开心来确定课程质量。但是这些方法存在学生可能不在摄像头的范围内的情况，此外，仅通过学生是否开心来确定课堂质量的好坏比较片面，因此检测结果准确性较低。另外，还存在一些方法对老师和学生之间的互动进行检测，但是互动效果好的课堂可能会被误识别为闲聊课堂，导致检测结果出现偏差。另外，还可以通过评分模型进行课堂质量检测，但是在训练评分模型时通常需要大量的训练样本，而大量的训练样本存在繁杂的特征提取(例如，特征提取次数较大)，导致课堂质量检测效率低且成本高。
发明内容
本发明实施例提供一种课堂质量模型的训练方法、课堂质量评价方法及装置，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种课堂质量模型的训练方法，包括：
获取课堂样本以及与课堂样本对应的标签；
从课堂样本提取多个课堂特征，并且将所述多个课堂特征共同组合以生成课堂样本的特征向量；
根据所述课堂样本的特征向量生成复制特征向量，其中，所述复制特征向量通过随机重置所述多个课堂特征中的至少一个课堂特征的值来生成；
将所述课堂样本的特征向量以及所述复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
在一种实施方式中，课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。
在一种实施方式中，获取课堂样本以及与课堂样本对应的标签的步骤包括：
根据老师分数筛选出老师的类型，并且根据所述老师的类型来确定课堂的类型；
从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签。
在一种实施方式中，所述老师分数基于老师的退费率、课程包数量和课堂数量来获得。
在一种实施方式中，所述老师的类型包括第一类老师和第二类老师，所述第一类老师对应的课堂的类型为第一类课堂，所述第二类老师对应的课堂的类型为第二类课堂；
从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签的步骤包括：
在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；
在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
在一种实施方式中，所述多个课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。
在一种实施方式中，通过以下步骤提取闲话特征：
在课堂样本中提取文本信息；
将文本信息输入到训练后的闲话特征模型，其中，所述训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话；
根据所述训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度；
计算所述时间长度与课堂样本的课堂时长之间的比，作为闲话特征。
在一种实施方式中，通过以下步骤来获得所述训练后的闲话特征模型：
获取闲话正样本和闲话负样本；
使用获取的闲话正样本和闲话负样本，来训练闲话特征模型，
其中，获取闲话正样本和闲话负样本的步骤包括：
获取与课堂内容无关的内容作为闲话正样本；
从多个课堂检测与课堂内容相关的学科词，基于学科词密度从所述多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。
在一种实施方式中，通过以下步骤提取老师出框特征：
从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
在一种实施方式中，通过以下步骤提取关键词特征：
构建不同类型的词表；
从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度；
通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征，
其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差，
其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
第二方面，本发明实施例提供了一种课堂质量评价方法，包括：
获取目标课堂；
在所述目标课堂中提取多个课堂特征，并且将所述多个课堂特征共同组合以生成所述目标课堂的特征向量；
将所述目标课堂的特征向量输入到课堂质量模型，以确定所述目标课堂的质量，所述课堂质量模型是采用上述课堂质量模型的训练方法获得的模型。
第三方面，本发明实施例提供了一种课堂质量模型的训练装置，包括：
样本获取模块，用于获取课堂样本以及与课堂样本对应的标签；
特征提取模块，用于从课堂样本提取多个课堂特征，并且将所述多个课堂特征共同组合以生成课堂样本的特征向量；
扩展模块，用于根据所述课堂样本的特征向量生成复制特征向量，其中，所述复制特征向量通过随机重置所述多个课堂特征中的至少一个课堂特征的值来生成；
课堂质量模型训练模块，用于将所述课堂样本的特征向量以及所述复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
在一种实施方式中，课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。
在一种实施方式中，所述样本获取模块包括：
第一筛选模块，用于根据老师分数筛选出老师的类型，并且根据所述老师的类型来确定课堂的类型；
第二筛选模块，用于从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签。
在一种实施方式中，所述老师分数基于老师的退费率、课程包数量和课堂数量来获得。
在一种实施方式中，所述老师的类型包括第一类老师和第二类老师，所述第一类老师对应的课堂的类型为第一类课堂，所述第二类老师对应的课堂的类型为第二类课堂，
其中，第二筛选模块被配置为：
在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；
在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
在一种实施方式中，所述多个课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。
在一种实施方式中，所述特征提取模块包括闲话特征提取模块，所述闲话特征提取模块包括：
文本信息提取模块，用于在课堂样本中提取文本信息；
闲话判断模块，用于将文本信息输入到训练后的闲话特征模型，其中，所述训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话；
闲话时长确定模块，用于根据所述训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度；
闲话占比确定模块，计算所述时间长度与课堂样本的课堂时长之间的比，作为闲话特征。
在一种实施方式中，还包括闲话特征模型训练模块，所述闲话特征模型训练模块包括：
闲话样本获取模块，用于获取闲话正样本和闲话负样本；
训练模块，用于使用获取的闲话正样本和闲话负样本，来训练闲话特征模型.
其中，所述闲话样本获取模块通过以下操作来获取闲话正样本和闲话负样本：
获取与课堂内容无关的内容，作为闲话正样本；
从多个课堂检测与课堂内容相关的学科词，基于学科词密度从所述多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。
在一种实施方式中，所述特征提取模块包括老师出框特征提取模块，用于从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
在一种实施方式中，所述特征提取模块包括关键词特征提取模块，所述关键词特征提取模块包括：
词表构建模块，构建不同类型的词表；
检测模块，用于从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度；
特征组合模块，用于通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征，
其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差，
其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
第四方面，本发明实施例提供了一种课堂质量评价装置，包括：
目标课堂获取模块，用于获取目标课堂；
课堂特征提取模块，用于在所述目标课堂中提取多个课堂特征，并且将所述多个课堂特征共同组合以生成所述目标课堂的特征向量；
质量评价模块，用于将所述目标课堂的特征向量输入到所述课堂质量模型，以确定所述目标课堂的质量，所述课堂质量模型是采用上所述训练装置训练获得的模型。
第五方面，本发明实施例提供了一种计算装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述课堂质量模型的训练装置、课堂质量评价装置的结构中包括处理器和存储装置，所述存储装置用于存储支持所述装置执行上述课堂质量模型的训练方法、课堂质量评价方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述课堂质量模型的训练装置、课堂质量评价装置还可以包括通信接口，用于与其他设备或通信网络通信。
第七方面，本发明实施例提供了一种计算机可读存储介质，用于存储课堂质量模型的训练装置、课堂质量评价装置所用的计算机软件指令，其包括用于执行上述课堂质量模型的训练方法、课堂质量评价方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果：通过随机重置多个课堂特征中的至少一个课堂特征的值的方式生成复制特征向量，可以在课堂样本数量有限的情况下进行课堂质量模型的训练。由于复制特征向量随机重置了部分课堂特征，可以增强模型的鲁棒性。使得课堂质量模型对于某一课堂特征丢失表现不会很敏感，可以避免因为课堂特征缺失导致结果不准确，提高模型输出结果的准确性。
上述技术方案中的另一个技术方案具有如下优点或有益效果：采用多个课堂特征共同组合以生成课堂样本的特征向量。多个课堂特征包括关键词特征、闲聊特征、老师出框特征、微笑特征和声音特征等多种课堂特征。结合课堂质量模型客观的评价课堂质量情况。因此，训练所用的特征维度多，模型的鲁棒性很强，可以适应复杂的上课情况。
上述概述仅仅是为了说明的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例课堂质量模型的训练方法的流程图。
图2示出根据本发明实施例复制课堂样本的示意图。
图3示出根据本发明实施例闲话特征提取方法的流程图。
图4示出根据本发明实施例获取闲话特征模型的方法的流程图。
图5示出根据本发明实施例提取文本特征的方法的流程图。
图6示出根据本发明实施例记录文本信息及时间信息的示意图。
图7示出根据本发明实施例利用文本信息和时间信息提取基础课堂特征的示意图。
图8示出根据本发明实施例提取关键词特征的方法的流程图。
图9示出根据本发明实施例提取声学特征的方法的流程图。
图10示出根据本发明实施例提取声学特征的示意图。
图11示出根据本发明实施例课堂质量评价方法的示意图。
图12示出根据本发明实施例课堂质量模型的训练装置的结构框图。
图13示出根据本发明实施例训练装置的样本获取模块的结构框图。
图14示出根据本发明实施例训练装置的特征提取模块结构框图。
图15示出根据本发明实施例闲话特征提取模块的结构框图。
图16示出根据本发明实施例闲话特征训练模型模块的结构框图。
图17示出根据本发明实施例关键词特征提取模块结构框图。
图18示出根据本发明实施例课堂质量评价装置的结构框图。
图19示出根据本发明计算装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的课堂质量模型的训练方法的流程图。该课堂质量模型的训练方法包括以下步骤：
S101：获取课堂样本以及与课堂样本对应的标签。
根据本发明构思的示例实施例，可从多个课堂之中筛选出至少一个课堂作为课堂样本。课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。例如，在下面的实施例中，课堂样本具有“好课堂”和“差课堂”两种类型，然而这仅是示例性的，其他类型也是可行的。
在一种实施方式中，步骤S101可以包括：根据老师分数筛选出老师的类型，并且根据老师的类型来确定课堂的类型；从与课堂的类型对应的课堂中筛选出课堂样本，并根据课堂的类型确定课堂样本对应的标签。
在一种实施方式中，老师的类型包括第一类老师和第二类老师，第一类老师对应的课堂的类型为第一类课堂，第二类老师对应的课堂的类型为第二类课堂。
在一种实施方式中，老师分数基于老师的退费率、课程包数量和课堂数量来获得。
例如，采用以下公式(1)计算老师分数teacherscore：
Figure BDA0002101443640000091
在公式(1)中，teacherrefund_radio表示当前评价的老师的退费率(退费学生人数与老师授课人数之间的比值)；teachercfn-sum表示当前评价的老师的课程包数量；max(teachercfn-sum)表示课程包最多老师的课程包数量；teachercourse_sum表示当前评价的老师的课堂数量；max(teachercourse_sum)表示课堂数量最多老师的课堂数量。课程包可以包含多个课堂的集合。一个课堂可以包含一个或多个课时。
采用以下公式(2)对每个老师分数进行归一化处理得到X：
Figure BDA0002101443640000092
在公式(2)中，x表示采用公式(1)计算出的当前评价的老师的得分，max表示采用公式(1)计算出的最高得分，min表示采用公式(1)计算出的最低得分。
采用以下方法筛选出第一类老师和第二类老师。假设，第一类老师可以是“好老师”，第二类老师可以是“差老师”。对于某一位老师，当采用公式(2)计算出的数值X大于或等于第一阈值时，该老师可以认为是“好老师”；如果数值X小于或等于第二阈值时，该老师可以认为是“差老师”。根据示例实施例，第一阈值可以设定为0.8，第二阈值可以设定为0.2，然而这仅是示例，本发明构思不限于此。
通过上述方法筛选出“好老师”和“差老师”。相应地，根据老师的类型来确定课堂的类型。将第一类老师“好老师”的课堂确定为第一类课堂，将第二类老师“差老师”的课堂确定为第二类课堂。
在一种实施方式中，从与课堂的类型对应的课堂中筛选出课堂样本，并根据课堂的类型确定课堂样本对应的标签的步骤包括：在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
例如：在“好老师”的课堂中，将存在续费行为的课堂筛选为课堂样本，并且将课堂样本标签设置为“好课堂”；在“差老师”的课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本标签设置为“差课堂”。例如，假设在“差老师”的课堂中学生在第16课堂退费，并且假设退费前的预定数量为6，则将第11-16课堂筛选为“差课堂”的课堂样本，然而这仅是示例性的，其他示例也是可行的。
根据示例实施例，当课堂样本为“好课堂”时，该课堂样本的标签可表示为“1”，当课堂样本为“差课堂”时，该课堂样本的标签可表示为“0”，然而这仅是示例性的，其他的标签表示方法也是可行的。
通过步骤S101，可从多个课堂中筛选出课堂样本，并且每个课堂样本都存在对应的标签。
S102：从课堂样本提取多个课堂特征，并且将多个课堂特征共同组合以生成课堂样本的特征向量。根据示例实施例，在步骤S101中获取多个课堂样本的情况下，针对每个课堂样本进行课堂特征提取，例如，可从每个课堂样本的音频数据和视频数据提取多个课堂特征。
多个课堂特征可以包括反映课堂质量的因素，例如，多个课堂特征可包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。稍后将参照图3至图9来具体描述上述特征。
根据实施例，针对每一课堂样本所提取的多个课堂特征，可通过拼接的方式来组合多个课堂特征，以获得其特征向量。例如，当从某一课堂样本提取的课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征时，该课堂样本对应的特征向量可被表示为[微笑特征，闲话特征，老师出框特征，关键词特征，文本特征，声学特征]。然而这仅是示例性的，获得特征向量的其他方式也是可行的。
S103：根据课堂样本的特征向量生成复制特征向量，其中，复制特征向量通过随机重置多个课堂特征中的至少一个课堂特征的值来生成。
下面将结合图2来描述步骤S103。例如，针对某一课堂样本，在步骤S102中获得的特征向量为原始特征向量。假设在生成复制特征向量中随机将一个或多个课堂特征重置为0，则在生成第一复制特征向量时，随机将老师出框特征设置为0；在生成第二复制特征向量时，随机将微笑特征和文本特征设置为0；在生成第三复制特征向量时，随机将关键词特征和声学特征设置为0等。假设针对该课堂样本的特征向量生成了n个复制特征向量，那么步骤S103的操作相当于将一个课堂样本扩展为了n+1个课堂样本，从而增加了样本的复杂度。换言之，n个复制特征向量表示扩展的另外n个课堂样本。根据示例实施例，扩展的n个课堂样本的标签与原始的课堂样本的标签相同，然而本发明构思不限于此，也可根据随机重置的课堂特征的重要性来改变复制的n个课堂样本的标签。
通过随机重置多个课堂特征中的至少一个课堂特征的值的方式生成复制特征向量，可以在课堂样本数量有限的情况下进行有效地训练。此外，由于复制特征向量重置了部分课堂特征，可以增强课堂质量模型的鲁棒性；降低课堂质量模型对于某一课堂特征丢失的敏感性，可以避免因为课堂特征的缺失导致课堂质量模型的结果不准确的问题，提高课堂质量模型输出结果的准确性。
S104：将课堂样本的特征向量以及复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
根据示例，可以将某一课堂样本的原始特征向量作为课堂质量模型的输入，将其对应的标签作为输出，来进行一次课堂质量模型训练训练；或者可以将一复制特征向量作为课堂质量模型的输入，将其对应的标签作为输出，来进行训练。
在一个示例中，训练的课堂质量模型的输出可包括与输入的特征向量对应的课堂是“好课堂”还是“差课堂”。在一个示例中，训练的课堂质量模型的输出还包括与输入的特征向量对应的课堂为“好课堂”或“差课堂”的概率值，在此情况下，可根据该概率值来确定与输入的特征向量对应的课堂是“好课堂”还是“差课堂”。
在一个可能的实施方式中，课堂质量模型可以采用GBDT(Gradient BoostingDecision Tree，梯度提升决策树)模型，SVM(Support Vector Machine，支持向量机)模型，LR(Logistic Regression，逻辑回归)模型，Random Forest(随机森林)模型，朴素贝叶斯模型，NN(Neural Networks，神经网络)模型，DNN(Deep Neural Networks深度神经网络)模型中的任意一种。
如图3所示，在一种实施方式中，在每个课堂样本中提取的课堂特征可包括闲话特征，提取闲话特征的步骤可包括：
S201：在课堂样本中提取文本信息。
可以采用语音识别技术(ASR，Automatic Speech Recognition)获取课堂样本中的文本信息。文本信息中可以包括多个语句，以及各个语句的开始时间、结束时间和语句长度等。语句长度可以为结束时间与开始时间的差值。
S202：将文本信息输入到训练后的闲话特征模型，其中，训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话。
在训练后的闲话特征模型的输入层输入从课堂样本中提取的语句，该模型输出层输出的结果可以为该语句是否为闲话。
S203：根据训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度。根据示例，如果在文本信息中存在多个语句被判断为属于闲话，则时间长度可表示多个语句的时间长度之和。
S204：计算时间长度与课堂样本的课堂时长之间的比，作为闲话特征。根据示例，课堂样本的课堂时长可课堂样本的总的课堂时间长度。
在一种实施方式中，如图4所示，通过以下步骤来获得训练后的闲话特征模型：
S301：获取闲话正样本和闲话负样本。
根据示例，可获取与课堂内容无关的内容作为闲话正样本。例如，可以通过搜索互联网或者云端，从网络小说、论坛等文字中提取闲话正样本；或者采用语音识别技术从电影、电视剧或综艺节目等提取闲话正样本。
可以从课堂中提取闲话负样本。具体地说，从多个课堂检测与课堂内容相关的学科词，基于学科词密度从多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。例如获取课堂样本中的文本信息，从文本信息中识别出学科词，并根据学科词密度对课堂进行排序。选取学科词密度最大的一定数量的课堂，从选取的课堂中提取出老师说话的句子。根据示例，可将老师说话的句子中筛选出长度大于预定阈值的句子，并且提取其内容作为闲话负样本。其中，学科词可以是包括学科专业词汇的词句，例如，“当两个线段成比例的话”、“这个反应是氧化还原反应”等。学科词密度可以是老师说的学科词的总字数与老师说的所有字数的比值。
S302：使用获取的闲话正样本和闲话负样本，来训练闲话特征模型。
将闲话正样本、闲话负样本中的句子混合。例如，剔除两样本中重复出现的句子。随机抽取60％的句子作为训练集合，20％的句子为验证集合，剩余20％的句子为测试集合。
在对闲话特征模型训练时，对闲话正样本、闲话负样本中的句子进行词袋特征提取。词袋特征提取可以包括：采用词袋模型对每个句子进行单词提取。单词提取后，每个句子可以看成一个由N个单词组成的向量。将词袋特征提取处理后的句子作为闲话特征模型的输入特征，该句子对应的标签(例如，闲话或非闲话)作为闲话特征模型的输出特征，完成对闲话特征模型的训练。
在一个可能的实施方式中，闲话特征模型可以采用GBDT(Gradient BoostingDecision Tree，梯度提升决策树)模型，SVM(Support Vector Machine，支持向量机)模型，LR(Logistic Regression，逻辑回归)模型，Random Forest(随机森林)模型，朴素贝叶斯模型，NN(Neural Networks，神经网络)模型，DNN(Deep Neural Networks深度神经网络)模型中的任意一种。
如图5所示，在一种实施方式中，课堂特征还可包括文本特征，提取文本特征的步骤可包括：
S401：将课堂样本中的音频转换为文本信息和时间信息。
结合图6所示，对于一堂课样本，分别获取老师和学生的两路音频文件。采用自动语音识别(ASR，Automatic Speech Recognition)技术转录，以获取课堂样本中老师和学生对话的文本信息。对应的，记录文本信息中老师和学生对话发生的时间信息。音频文件可以直接通过录音设备获取，也可采用语音识别技术从视频文件中提取。
S402：利用文本信息和时间信息提取基础课堂特征。
结合图7所示，虚线框内的特征可以为基础课堂特征的示例，例如，基础课堂特征可以包括学生/老师说话总字数、学生/老师课内语速、本次上课时长、老师学科词命中次数、老师寒暄词时间分布、鼓励词最大间隔等。其中，学科词与上述步骤301中的含义相同，可以包括学科专业词汇的词句，例如“当两个线段成比例的话”、“这个反应是氧化还原反应”等。
寒暄词可以包括打招呼的词句，例如“同学们好”、“开始上课”等。
鼓励词可以包括鼓励学生的词句，例如“有进步”、“这次考得不错”等。鼓励词最大距离可以表示为：鼓励词在一堂课出现次数大于2次的情况下，最后一次出现的时间点与第一次出现的时间点之差。
S403：对基础课堂特征进行非线性变换，得到非线性变换特征。
将基础课堂特征进行非线性变换，可以丰富基础课堂特征，使变换后的文本其更接近于复杂的实际情况。
在一个实施方式中，对基础课堂特征进行非线性变换可以包括采用sin、cos、log、sigmod等函数。例如，基础课堂特征中学生说话总字数为600字，则对其进行非线性变换，非线性变换结果包括sin(600)、cos(600)、log(600)、sigmod(600)等。
S404：利用基础课堂特征之间的逻辑关系，得到交叉特征。
根据实施例，基础课堂特征之间的逻辑关系包括文本信息和时间信息之间的逻辑关系，文本信息和文本信息之间的逻辑关系。例如，逻辑关系可以包括加减乘除等。
例如，文本信息和时间信息之间的逻辑关系可以包括：老师的语速(老师说话总字数/老师说话时长)、老师鼓励词密度(鼓励关键词个数/老师说话时长)等。
例如，文本信息和文本信息之间的逻辑关系可以包括：师生说话占比(老师说话句数/学生说话句数)等。
文本特征可以包括上述基础课堂特征、非线性变换特征或交叉特征三者中的任一种，也可以是任意两种的组合，还可以是三种均包括。
在一种实施方式中，如图8所示，课堂特征还可包括关键词特征，通过以下步骤提取关键词特征：
S501：构建不同类型的词表。
在文本信息中提取不同类型的词表。词表的类型可以包括前已述及的鼓励词、寒暄词、学科词，还可以包括笔记词、红线词等。
笔记词可以包括提醒学生记录的词汇，例如“这部分是重点，着重记”、“记笔记”等。
红线词可以包括敏感词句或禁用词句等。
S502：从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度。
S503：通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征。其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差。其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
例如，拼接可以是将检测到的每一类词检测的各指标拼接成一个向量作为关键词特征，可以表示成：[词表1_密度，词表1_最大距离，......，词表N-密度，词表N_最大距离]。向量中的词表1～词表N分别表示鼓励词、寒暄词、学科词、笔记词、红线词等不同类别。
如图9所示，在一个实施方式中，课堂特征还可包括声学特征，提取声学特征的步骤可包括：
S601：在课堂样本中获取音频数据，将音频数据划分为多个片段。
按照固定窗口长度和步长，在课堂样本中进行划窗，从而进行切分。
S602：分别在各片段中抽取声学特征向量。
声学特征可以包括F0(Fundamentalfrequency，声音的基频)、MFCC(梅尔倒谱系数)、ZCR(ZeroCrossing Rate，过零率)、VoiceProb(发声概率)。上述声学特征在各片段中构成声学特征向量。例如，各片段中构成声学特征向量为16维(例如，F0、ZCR和VoiceProb为1维特征，MFCC为13维特征)。
S603：对各声学特征向量进行统计，得到声学特征。
对各声学特征向量中每一维度的特征进行统计，统计方式可以包括统计声学特征的平均值、标准差、最大值、最小值、极值、上四分位数、峰度、偏度等。
如图10所示，在一个实施方式中，例如一堂课样本时长为1小时，则该堂课样本音频数据的长度为3600秒(s)。可以按照窗口长度为50毫秒(ms)，步长为10ms对音频数据进行划窗，从而对课堂音频进行切分，得到359996个片段。计算式表示为(3600000-50+10)/10＝359996。片段可以采用audio_seg_set表示。
对每一个片段进行声学特征抽取，包括F0、MFCC、ZCR和VoiceProb。各片段中构成声学特征向量为16维。可以采用feature_audio_raw表示。对于所有片段的集合，16维特征中的每一维特征的长度为359996，可以用v_feature(16*359996)表示。
对v_feature中每一维特征进行统计计算，结果作为声学特征。
在一个实施方式中，课堂特征还可包括学生的微笑特征，提取学生的微笑特征的步骤包括：对学生视频图像进行微笑识别，对识别结果进行统计，得到微笑特征。
例如，获取学生视频，以预定时间单位(例如，秒)进行检测，利用表情识别算法对学生的微笑程度进行识别。识别结果可以为一个数值，该数值表示微笑程度。例如，该取值的取值范围可以为[0，1]，数值越大，表示微笑程度越高。
对微笑识别结果进行统计，得到平均值、标准差、最大值、最小值、极值、上四分位数、峰度、偏度等统计结果作为微笑特征。
在一个实施方式中，课堂特征还可包括老师出框特征，提取老师出框特征的步骤包括：从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
根据示例实施例，可采用各种人脸识别算法来检测视频内容中的老师面部特征以确定老师是否存在在视频图像中。例如，可以以预定时间单位(例如，秒)进行检测，将检测不到老师面部特征的次数与检测总次数之比作为老师出框特征。
根据示例实施例，本发明还提出一种课堂质量评价方法。图11示出根据本发明实施例的课堂质量评价方法的流程图。该课堂质量评价方法包括以下步骤：
S701：获取目标课堂。
S702：在目标课堂中提取多个课堂特征，并且将多个课堂特征共同组合以生成目标课堂的特征向量。
本发明实施例中的课堂特征可包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。在目标课堂中提取特征的方式，与课堂质量模型训练过程中在课堂样本中提取特征的方式相同。并且，可以将提取的多个课堂特征组合以生成目标课堂的特征向量。例如，采取与步骤S102相似的方法来进行步骤702特征提取过程，为了简明，省略重复的描述。
S703：将目标课堂的特征向量输入到课堂质量模型，以确定目标课堂的质量，课堂质量模型是采用上述课堂质量模型的训练方法获得的模型。
本实施例中的课堂质量模型可以是采用本发明上述实施例中任一课堂质量模型的训练模型训练获得的模型。
例如，目标课堂的质量可以是得到目标课堂的标签，即“好课堂”或者“差课堂”。此外，课堂质量模型也可以输出好课堂和/或差课堂的概率，将该概率乘100得到目标课堂的分数，在此情况下，可根据该分数来确定目标课堂的质量。
上述实施例采用多个课堂特征共同组合以生成课堂样本的特征向量。多个课堂特征包括包含关键词特征、闲聊特征、老师出框特征、微笑特征和声音特征等多种课堂特征。结合课堂质量模型客观的评价课堂质量情况。因此，训练所用的特征维度多，模型的鲁棒性很强，可以适应复杂的上课情况。
图12示出根据本发明实施例的课堂质量模型的训练装置，包括：
样本获取模块1201，用于获取课堂样本以及与课堂样本对应的标签。
特征提取模块1202，用于从课堂样本提取多个课堂特征，并且将多个课堂特征共同组合以生成课堂样本的特征向量。
扩展模块1203，用于根据课堂样本的特征向量生成复制特征向量，其中，复制特征向量通过随机重置多个课堂特征中的至少一个课堂特征的值来生成。
课堂质量模型训练模块1204，用于将课堂样本的特征向量以及复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
在一个实施方式中，课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。
在一个实施方式中，如图13所示，样本获取模块1201包括：
第一筛选模块1301，用于根据老师分数筛选出老师的类型，并且根据老师的类型来确定课堂的类型。
第二筛选模块1302，用于从与课堂的类型对应的课堂中筛选出课堂样本，并根据课堂的类型确定课堂样本对应的标签。
在一个实施方式中，老师分数基于老师的退费率、课程包数量和课堂数量来获得。
在一个实施方式中，老师的类型包括第一类老师和第二类老师，第一类老师对应的课堂的类型为第一类课堂，第二类老师对应的课堂的类型为第二类课堂；
其中，第二筛选模块1302被配置为：
在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；
在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
在一个实施方式中，多个课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。
在一个实施方式中，如图14所示，特征提取模块1202包括闲话特征提取模块1401、闲话特征训练模型模块1402、老师出框特征提取模块1403、关键词特征提取模块1404、微笑特征提取模块1405、文本特征提取模块1406、声学特征提取模块1407中的部分或全部。在该实施例中，闲话特征训练模型模块1402位于特征提取模块1202的内部，然而，本发明构思不限于此，例如，闲话特征训练模型模块1402也可位于特征提取模块1202的外部和/或训练装置的外部。
如图15所示，闲话特征提取模块1401可以包括：
文本信息提取模块1501，用于在课堂样本中提取文本信息。
闲话判断模块1502，用于将文本信息输入到训练后的闲话特征模型，其中，训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话。
闲话时长确定模块1503，用于根据训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度。
闲话占比确定模块1504，计算时间长度与课堂样本的课堂时长之间的比，作为闲话特征。
在一个实施方式中，如图16所示，闲话特征训练模型模块1402用于训练闲话特征模型，该模块包括：
闲话样本获取模块1601，用于获取闲话正样本和闲话负样本；
训练模块1602，用于使用获取的闲话正样本和闲话负样本，来训练闲话特征模型。
其中，闲话样本获取模块通过以下操作来获取闲话正样本和闲话负样本：
获取与课堂内容无关的内容，作为闲话正样本；
从多个课堂检测与课堂内容相关的学科词，基于学科词密度从多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。
在一个实施方式中，老师出框特征提取模块1403，用于从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
在一个实施方式中，如图17所示，关键词特征提取模块1404包括：
词表构建模块1701，构建不同类型的词表。
检测模块1702，用于从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度。
特征组合模块1703，用于通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征，
其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差，
其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
图18示出根据本发明实施例的课堂质量评价装置，如图18所示，该装置可以包括：
目标课堂获取模块1801，用于获取目标课堂。
课堂特征提取模块1802，用于在目标课堂中提取多个课堂特征，并且将多个课堂特征共同组合以生成目标课堂的特征向量。
质量评价模块1803，用于将目标课堂的特征向量输入到课堂质量模型，以确定目标课堂的质量，课堂质量模型是采用上述训练装置训练获得的模型。
在一个示例中，目标课堂的质量可包括与输入的特征向量对应的课堂是“好课堂”还是“差课堂”。在一个示例中，目标课堂的质量还包括与输入的特征向量对应的课堂为“好课堂”或“差课堂”的概率值，在此情况下，可根据该概率值来确定与输入的特征向量对应的课堂是“好课堂”还是“差课堂”。
本实施例中的课堂质量模型可以是采用本发明上述实施例中任一课堂质量模型的训练装置获得的模型。
图19示出根据本发明实施例的计算装置的结构框图。该计算装置包括：存储装置1910和处理器1920，存储装置1910内存储有可在处理器1920上运行的计算机程序。处理器1920执行计算机程序时实现上述实施例中的课堂质量模型的训练方法和课堂质量评价方法。存储装置1910和处理器1920的数量可以为一个或多个。
此外，以上结构仅是示例性的，本发明构思不限于此，例如该计算装置还包括：
通信接口1930，用于与外界设备进行通信，进行数据交互传输。
存储装置1910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储装置1910、处理器1920和通信接口1930独立实现，则存储装置1910、处理器1920和通信接口1930可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponentInterconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandardArchitecture)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图19中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储装置1910、处理器1920及通信接口1930集成在一块芯片上，则存储装置1910、处理器1920及通信接口1930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一的训练方法或评价方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种课堂质量模型的训练方法，其特征在于，包括：
获取课堂样本以及与课堂样本对应的标签；
从课堂样本提取多个课堂特征，并且将所述多个课堂特征共同组合以生成课堂样本的特征向量；
根据所述课堂样本的特征向量生成复制特征向量，其中，所述复制特征向量通过随机重置所述多个课堂特征中的至少一个课堂特征的值来生成；
将所述课堂样本的特征向量以及所述复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
2.根据权利要求1所述的方法，其特征在于，课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。
3.根据权利要求1所述的方法，其特征在于，获取课堂样本以及与课堂样本对应的标签的步骤包括：
根据老师分数筛选出老师的类型，并且根据所述老师的类型来确定课堂的类型；
从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签。
4.根据权利要求3所述的方法，其特征在于，所述老师分数基于老师的退费率、课程包数量和课堂数量来获得。
5.根据权利要求3所述的方法，其特征在于，所述老师的类型包括第一类老师和第二类老师，所述第一类老师对应的课堂的类型为第一类课堂，所述第二类老师对应的课堂的类型为第二类课堂，
其中，从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签的步骤包括：
在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；
在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
6.根据权利要求1所述的方法，其特征在于，所述多个课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。
7.根据权利要求6所述的方法，其特征在于，通过以下步骤提取闲话特征：
在课堂样本中提取文本信息；
将文本信息输入到训练后的闲话特征模型，其中，所述训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话；
根据所述训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度；
计算所述时间长度与课堂样本的课堂时长之间的比，作为闲话特征。
8.根据权利要求7所述的方法，其特征在于，通过以下步骤来获得所述训练后的闲话特征模型：
获取闲话正样本和闲话负样本；
使用获取的闲话正样本和闲话负样本，来训练闲话特征模型，
其中，获取闲话正样本和闲话负样本的步骤包括：
获取与课堂内容无关的内容作为闲话正样本；
从多个课堂检测与课堂内容相关的学科词，基于学科词密度从所述多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。
9.根据权利要求6所述的方法，其特征在于，通过以下步骤提取老师出框特征：
从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
10.根据权利要求6所述的方法，其特征在于，通过以下步骤提取关键词特征：
构建不同类型的词表；
从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度；
通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征，
其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差，
其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
11.一种课堂质量评价方法，其特征在于，包括：
获取目标课堂；
在所述目标课堂中提取多个课堂特征，并且将所述多个课堂特征共同组合以生成所述目标课堂的特征向量；
将所述目标课堂的特征向量输入到课堂质量模型，以确定所述目标课堂的质量，所述课堂质量模型是采用权利要求1-10任一所述课堂质量模型的训练方法获得的模型。
12.一种课堂质量模型的训练装置，其特征在于，包括：
样本获取模块，用于获取课堂样本以及与课堂样本对应的标签；
特征提取模块，用于从课堂样本提取多个课堂特征，并且将所述多个课堂特征共同组合以生成课堂样本的特征向量；
扩展模块，用于根据所述课堂样本的特征向量生成复制特征向量，其中，所述复制特征向量通过随机重置所述多个课堂特征中的至少一个课堂特征的值来生成；
课堂质量模型训练模块，用于将所述课堂样本的特征向量以及所述复制特征向量作为课堂质量模型的输入，并且将课堂样本对应的标签作为课堂质量模型的输出结果，来训练课堂质量模型。
13.根据权利要求12所述的装置，其特征在于，课堂样本具有的类型至少包括两种类型，其中，每种类型的课堂样本对应一种标签。
14.根据权利要求12所述的装置，其特征在于，所述样本获取模块包括：
第一筛选模块，用于根据老师分数筛选出老师的类型，并且根据所述老师的类型来确定课堂的类型；
第二筛选模块，用于从与所述课堂的类型对应的课堂中筛选出课堂样本，并根据所述课堂的类型确定课堂样本对应的标签。
15.根据权利要求14所述的方法，其特征在于，所述老师分数基于老师的退费率、课程包数量和课堂数量来获得。
16.根据权利要求14所述的装置，其特征在于，所述老师的类型包括第一类老师和第二类老师，所述第一类老师对应的课堂的类型为第一类课堂，所述第二类老师对应的课堂的类型为第二类课堂，
其中，第二筛选模块被配置为：
在第一类课堂中，将存在续费行为信息的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第一类课堂标签；
在第二类课堂中，将退费前的预定数量的课堂筛选为课堂样本，并且将课堂样本对应的标签设置为第二类课堂标签。
17.根据权利要求12所述的装置，其特征在于，所述多个课堂特征包括学生的微笑特征、闲话特征、老师出框特征、关键词特征、文本特征、声学特征中的部分或全部。
18.根据权利要求17所述的装置，其特征在于，所述特征提取模块包括闲话特征提取模块，所述闲话特征提取模块包括：
文本信息提取模块，用于在课堂样本中提取文本信息；
闲话判断模块，用于将文本信息输入到训练后的闲话特征模型，其中，所述训练后的闲话特征模型被配置为判断文本信息中的各个语句是否属于与课堂内容无关的闲话；
闲话时长确定模块，用于根据所述训练后的闲话特征模型的判断结果，获取文本信息中的属于闲话的语句的时间长度；
闲话占比确定模块，计算所述时间长度与课堂样本的课堂时长之间的比，作为闲话特征。
19.根据权利要求18所述的装置，其特征在于，还包括闲话特征模型训练模块，所述闲话特征模型训练模块包括：
闲话样本获取模块，用于获取闲话正样本和闲话负样本；
训练模块，用于使用获取的闲话正样本和闲话负样本，来训练闲话特征模型，
其中，所述闲话样本获取模块通过以下操作来获取闲话正样本和闲话负样本：
获取与课堂内容无关的内容，作为闲话正样本；
从多个课堂检测与课堂内容相关的学科词，基于学科词密度从所述多个课堂选择预设数量的课堂，从选择的课堂提取老师语句的内容，作为闲话负样本。
20.根据权利要求17所述的装置，其特征在于，所述特征提取模块包括老师出框特征提取模块，用于从课堂样本的视频内容检测老师面部特征，并且计算检测到老师面部特征的次数与总检测次数之比，作为老师出框特征。
21.根据权利要求17所述的装置，其特征在于，所述特征提取模块包括关键词特征提取模块，所述关键词特征提取模块包括：
词表构建模块，构建不同类型的词表；
检测模块，用于从课堂样本的文本信息中，检测不同类型的词表出现的次数、最大距离以及密度；
特征组合模块，用于通过将不同类型的词表的最大距离和密度进行组合，生成课堂样本的关键词特征，
其中，不同类型的词表中的每个词表的最大距离表示：当在课堂样本的文本信息中检测到词表出现的次数大于2时，最后一次检测到词表的时间点与第一次检测到词表的时间点之间的差，
其中，每个词表的密度表示：检测到词表的次数与课堂样本的文本信息的语句总数之间的比。
22.一种课堂质量评价装置，其特征在于，包括：
目标课堂获取模块，用于获取目标课堂；
课堂特征提取模块，用于在所述目标课堂中提取多个课堂特征，并且将所述多个课堂特征共同组合以生成所述目标课堂的特征向量；
质量评价模块，用于将所述目标课堂的特征向量输入到所述课堂质量模型，以确定所述目标课堂的质量，所述课堂质量模型是采用权利要求12-21任一所述训练装置训练获得的模型。
23.一种计算装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至11中任一项所述的方法。
CN201910540262.XA 2019-06-20 2019-06-20 课堂质量模型的训练方法、课堂质量评价方法及装置 Active CN112116181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910540262.XA CN112116181B (zh) 2019-06-20 2019-06-20 课堂质量模型的训练方法、课堂质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910540262.XA CN112116181B (zh) 2019-06-20 2019-06-20 课堂质量模型的训练方法、课堂质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN112116181A true CN112116181A (zh) 2020-12-22
CN112116181B CN112116181B (zh) 2022-12-02

Family

ID=73796027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910540262.XA Active CN112116181B (zh) 2019-06-20 2019-06-20 课堂质量模型的训练方法、课堂质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN112116181B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065757A (zh) * 2021-03-26 2021-07-02 北京读我网络技术有限公司 线上课程授课质量的评价方法及装置
CN114219346A (zh) * 2021-12-24 2022-03-22 江苏童能文化科技有限公司 一种提高网络学习环境服务质量的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150039541A1 (en) * 2013-07-31 2015-02-05 Kadenze, Inc. Feature Extraction and Machine Learning for Evaluation of Audio-Type, Media-Rich Coursework
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107437417A (zh) * 2017-08-02 2017-12-05 中国科学院自动化研究所 基于循环神经网络语音识别中语音数据增强方法及装置
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助系统
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN109710931A (zh) * 2018-12-21 2019-05-03 中南民族大学 一种基于智能分析技术的课堂教学内容评价系统及其方法
CN109800309A (zh) * 2019-01-24 2019-05-24 华中师范大学 课堂话语类型分类方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150039541A1 (en) * 2013-07-31 2015-02-05 Kadenze, Inc. Feature Extraction and Machine Learning for Evaluation of Audio-Type, Media-Rich Coursework
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107437417A (zh) * 2017-08-02 2017-12-05 中国科学院自动化研究所 基于循环神经网络语音识别中语音数据增强方法及装置
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助系统
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN109710931A (zh) * 2018-12-21 2019-05-03 中南民族大学 一种基于智能分析技术的课堂教学内容评价系统及其方法
CN109800309A (zh) * 2019-01-24 2019-05-24 华中师范大学 课堂话语类型分类方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
廖鹏等: "基于深度学习的学生课堂异常行为检测与分析系统", 《电子世界》 *
李平: "基于MOOC群体行为挖掘的翻转课堂教学探索", 《杭州电子科技大学学报(社会科学版)》 *
李森林: "基于深度神经网络CNN的学生听课状态应用研究", 《电脑与电信》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065757A (zh) * 2021-03-26 2021-07-02 北京读我网络技术有限公司 线上课程授课质量的评价方法及装置
CN114219346A (zh) * 2021-12-24 2022-03-22 江苏童能文化科技有限公司 一种提高网络学习环境服务质量的方法及系统

Also Published As

Publication number Publication date
CN112116181B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN109686383B (zh) 一种语音分析方法、装置及存储介质
CN111833853B (zh) 语音处理方法及装置、电子设备、计算机可读存储介质
CN111145733B (zh) 语音识别方法、装置、计算机设备和计算机可读存储介质
CN106570180A (zh) 基于人工智能的语音搜索方法及装置
CN112818089B (zh) 文本注音方法、电子设备及存储介质
US10380490B1 (en) Systems and methods for scoring story narrations
CN112116181B (zh) 课堂质量模型的训练方法、课堂质量评价方法及装置
CN117711444B (zh) 一种基于口才表达的互动方法、装置、设备及存储介质
CN112634901A (zh) 语音处理方法、装置、设备和存储介质
CN117010907A (zh) 一种基于语音和图像识别的多模态客户服务方法及系统
CN115512692B (zh) 语音识别方法、装置、设备及存储介质
CN113822052A (zh) 一种文本错误检测方法、装置、电子设备及存储介质
CN112687296B (zh) 音频不流利的识别方法、装置、设备及可读存储介质
CN116597809A (zh) 多音字消歧方法、装置、电子设备及可读存储介质
CN114842385A (zh) 学科教培视频审核方法、装置、设备及介质
CN115116474A (zh) 口语评分模型训练方法、评分方法、装置及电子设备
CN114528851A (zh) 回复语句确定方法、装置、电子设备和存储介质
CN113409768A (zh) 发音检测方法、装置及计算机可读介质
CN112951274A (zh) 语音相似度确定方法及设备、程序产品
CN112151018A (zh) 语音评测及语音识别方法、装置、设备及存储介质
CN112559798A (zh) 音频内容质量的检测方法及装置
CN112530456B (zh) 一种语言类别的识别方法、装置、电子设备及存储介质
CN117275319B (zh) 训练语言重点能力的装置
WO2021139737A1 (zh) 一种人机交互的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant