CN110348328A - 教学质量的评估方法、装置、存储介质及电子设备 - Google Patents

教学质量的评估方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110348328A
CN110348328A CN201910547388.XA CN201910547388A CN110348328A CN 110348328 A CN110348328 A CN 110348328A CN 201910547388 A CN201910547388 A CN 201910547388A CN 110348328 A CN110348328 A CN 110348328A
Authority
CN
China
Prior art keywords
human
human eye
face region
state
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910547388.XA
Other languages
English (en)
Inventor
赵明明
谢文珍
刘立真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN201910547388.XA priority Critical patent/CN110348328A/zh
Publication of CN110348328A publication Critical patent/CN110348328A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种教学质量的评估方法、装置、存储介质及电子设备，属于在线教育领域。本申请一方面可以实现实时的评估教学质量，根据实时反馈的教学质量能实时的为后续的教学提供参考，及时纠正教学过程中的问题，提高整个教学过程的质量和效率；另一方面同时通过人眼状态来评估教学质量，人眼状态作为一个显著的生物特征，能实现非接触方式和简单的识别算法来识别，可以提高识别过程的准确性。

Description

教学质量的评估方法、装置、存储介质及电子设备
技术领域
本申请涉及在线教育领域，尤其涉及一种教学质量的评估方法、装置、存储介质及电子设备。
背景技术
随着互联网的发展，在线教育收到越来越多人的欢迎，在线教育科研不限时间和地点灵活的的学习，充分提升自身的技能。相对于传统的使用固定教室更移动便捷化，在画面、音频更具视觉化和更具吸引力。
在现有的教学质量评估方法，对于教学行为的观察和分析手段大多停留在人工实时查看教学视频流或回访在先课堂视频查看学生和老师的状态，来进行记录学生和老师的状态，或者通过学生端反馈信息判断教师的状态及教师的反馈判断学生的状态，但判断学生和老师状态的时间比较滞后，获得的数据很少，评价结果比较主观。如何实时的评价教学质量目前亟待解决的问题。
发明内容
本申请实施例提供了的教学质量的评估方法、装置、存储介质及终端，可以解决无法实时的评估在线教学过程的教学质量的问题。所述技术方案如下：
第一方面，本申请实施例提供了一种教学质量的评估方法，所述方法包括：
获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流；
检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域；
识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态；
根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
第二方面，本申请实施例提供了一种教学质量的评估装置，所述教学质量的评估装置包括：
视频获取单元，用于获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流；
人脸检测单元，用于检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域；
人眼识别单元，用于识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态；
教学评估单元，用于根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
获取上课过程中的学生视频流和/或教师视频流，检测学生视频流和教师视频流中的人脸区域，识别人脸区域的人眼状态，根据人眼状态评估教学质量。本申请一方面可以实现实时的评估教学质量，根据实时反馈的教学质量能实时的为后续的教学提供参考，及时纠正教学过程中的问题，提高整个教学过程的质量和效率；另一方面同时通过人眼状态来评估教学质量，人眼状态作为一个显著的生物特征，能实现非接触方式和简单的识别算法来识别，可以提高识别过程的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构图；
图2是本申请实施例提供的教学质量的评估方法的流程示意图；
图3是本申请实施例提供的教学质量的评估方法的另一流程示意图；
图4是本申请实施例提供的采集视频流的时序图；
图5是本申请实施例提供的终端设备的用户界面图；
图6是本申请实施例提供的识别人眼状态的原理示意图；
图7是本申请实施例提供的一种装置的结构示意图；
图8是本申请提供的一种装置的另一结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
图1示出了可以应用于本申请的教学质量的评估方法或教学质量的评估装置的示例性系统架构100。
如图1所示，系统架构100可以包括第一终端设备100、第一网络101、服务器102、第二网络103和第二终端设备104。第一网络104用于在第一终端设备101和服务器102之间提供通信链路的介质，第二网络103用于在第二终端设备104和服务器102之间提供通信链路的介质。第一网络101和第二网络103可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(WIreless-FIdelity，Wi-Fi)通信链路或微波通信链路等。
第一终端设备100通过第一网络101、服务器102、第二网络103和第二终端设备104之间进行通信，第一终端设备100向服务器102发送消息，服务器102将消息转发给第二终端设备104，第二终端设备104将消息发送给服务器102，服务器102将消息转发给第二终端设备100，由此实现第一终端设备100和第二终端设备104之间的通信，第一终端设备100和第二终端设备104之间交互的消息类型包括控制数据和业务数据。
其中，在本申请中，第一终端设备100为学生上课的终端，第二终端设备104为教师上课的终端；或第一终端设备100为教师上课的终端，第二终端设备104为学生上课的终端。例如：业务数据为视频流，第一终端设备100通摄像头采集学生上课过程中的第一视频流，第二终端设备通过摄像头104采集教师上课过程中的第二视频流，第一终端设备100将第一视频流发送给服务器102，服务器102将第一视频流转发给第二终端设备104，第二终端设备104在界面上显示第一视频流和第二视频流；第二终端设备104将第二视频流发送给服务器102，服务器102将第二视频流转发给第一终端设备100，第一终端设备100显示第一视频流和第二视频流。
其中，本申请的上课方式可以是一对一或一对多，即一个教师对应一个学生或一个教师对应多个学生。相应的，在一对一的教学方式中，一个用于教师上课的终端和一个用于学生上课的终端之间进行通信；在一对多的教学方式中，一个用于教师上课的终端和多个用于学生上课的终端之间进行通信。
第一终端设备100和第二终端设备104上可以安装有各种通信客户端应用，例如：视频录制应用、视频播放应用、语音交互应用、搜索类应用、及时通信工具、邮箱客户端、社交平台软件等。
第一终端设备100和第二终端设备104可以是硬件，也可以是软件。当终端设备101～103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等等。当第一终端设备100和第二终端设备104为软件时，可以是安装上上述所列举的电子设备中。其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。
当第一终端设备100和第二终端设备104为硬件时，其上还可以安装有显示设备和摄像头，显示设备显示可以是各种能实现显示功能的设备，摄像头用于采集视频流；例如：显示设备可以是阴极射线管显示器(Cathode ray tubedisplay，简称CR)、发光二极管显示器(Light-emitting diode display，简称LED)、电子墨水屏、液晶显示屏(Liquid crystaldisplay，简称LCD)、等离子显示面板(Plasma displaypanel，简称PDP)等。用户可以利用第一终端设备100和第二终端设备104上的显示设备，来查看显示的文字、图片、视频等信息。
需要说明的是，本申请实施例提供的教学质量的评估方法一般由服务器102执行，相应的，教学质量的评估装置一般设置于服务器102中。例如：服务器102检测第一终端设备100采集的第一视频流中学生的人眼状态，以及检测第二终端设备104采集的第二视频流中教师的人眼状态，根据学生的人眼状态和教师的人眼状态评估教学质量信息。另外，当学生处于闭眼状态的时长超过预设时长的情况下，服务器102向第一终端设备100发送提示信息，以提示学生注意力不集中；当教师处于闭眼状态的时长超过预设时长的情况下，服务器102向第二终端设备104发送提示信息，以提示教师教学质量不佳。
服务器102可以是提供各种服务的服务器，服务器102可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器102为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
应理解，图1中的终端设备、网络和服务器的数目仅是示意性的。根据实现需要，可以是任意数量的终端设备、网络和服务器。
下面将结合附图2-附图7，对本申请实施例提供的教学质量的评估方法进行详细介绍。其中，本申请实施例中的教学质量的评估装置可以是图2-图7所示的服务器。
请参见图2，为本申请实施例提供了一种教学质量的评估方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201、获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流。
其中，视频流在互联网或内网中使用流式传输技术的连续时基媒体，流式媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放，只是在开始时有一些延迟。第一终端设备使用内置或外置的摄像头采集视频流，将采集到的视频流发送给服务器；第二终端使用内置或外置的摄像头将
例如：第一终端设备为学生上课的终端，第二终端设备为教师上课的终端为例，第一终端设备将采集到的学生上课过程中的视频流发送给服务器，第二终端设备将采集到的教师上课过程中的第二视频流发送给服务器，服务器可以接收来自第一终端设备的第一视频流和第二终端设备的第二视频流，服务器可以将第一视频流和第二视频流进行拼接得到一个视频流，第一终端设备和第二终端设备在一个播放窗口中播放拼接后的视频流；也可以仅转发第一视频流和第二视频流，第一终端设备和第二终端设备分别在两个播放窗口中播放第一视频流和第二视频流。第一视频流和第二视频流具有不同的用户类型标识，以便服务器区分哪个是包括教师的视频流，哪个是包括学生的视频流。例如：第一视频流的包头中携带用户类型标识为“student”，服务器根据该用户类型表示确定第一第二视频流的包头中携带用户类型标识为“teacher”。
其中，服务器可以周期性的采集第一视频流和第二视频流，第一视频流和第二视频流对应相同的起始时间和终止时间，且第一视频流和第二视频流的长度为预设长度，预设长度和采集的周期根据实际需求而定，本申请不作限制。例如：服务器以每隔6分钟采集长度为5分钟的第一视频流和第二视频流。
S202、检测第一视频流中的第一人脸区域和检测第二视频流中的第二人脸区域。
其中，第一视频流和第二视频帧包括多个视频帧，服务器可以对第一视频流和第二视频流中所有的视频帧检测第一人脸区域，或从第一视频流和第二视频流中提取多个视频帧，对提取的多个视频帧检测第一人脸区域。服务器在视频流中检测出人脸后，可以在视频帧中对人脸进行标记，例如：使用矩形框或椭圆形框对检测出的人脸进行标记。
其中，服务器根据第一视频流的用户类型标识和第二视频流的用户类型标识区分出第一视频流是采集学生上课过程生成的，第二视频流为采集教师上课过程生成的。
在一个实施例中，服务器可以使用人脸检测算法(face recognition algorithm)检测出第一视频流中的第一人脸区域和第二视频流中的第二人脸区域，例如：人脸检测算法包括基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法和利用支持向量机进行识别的算法。
S203、识别第一人脸区域的第一人眼状态和识别第二人脸区域的第二人眼状态。
其中，人脸区域包括人眼区域、嘴巴区域、眉毛区域等，人眼状态分为两个或两个以上的状态，状态的数量可以根据算法识别的精确度和实际需求而定，本申请不作限制。例如：人眼状态分为睁开状态和闭合状态。从人脸区域中识别人眼状态是一个逐步减小搜索范围的过程，服务器可以直接从人脸区域中识别人眼状态，也可以先检测出人脸区域中的人眼区域，然后在识别人眼区域的人眼状态。
在一些实施例中，服务器可以基于霍夫曼变换检测圆形虹膜来实现对人眼状态的检测；或服务器可以基于径向对称变换的方法来计算人眼区域的径向对称强度来判断人眼状态。或服务器基于投影函数将人眼区域通过水平和垂直两个方向进行投影，将二维信息转变为一维进行处理，不同人眼状态的投影函数具有不同的分布特性，因此能根据投影函数来分析人眼状态。或服务器可以基于模板匹配的方法来识别人眼状态。或服务器可以基于人眼区域的长宽比来识别人眼状态。
在一些实施例中，识别第一人脸区域的第一人眼状态包括：
检测第一人脸区域中的第一人眼区域；计算第一人眼区域和预设的闭眼模板图像之间的相似度；在第一人眼区域和预设的闭眼模板图像之间的相似度值大于相似度阈值的情况下，确定第一人眼状态为睁眼状态；识别第二人脸区域的第二人眼状态，包括：检测第二人脸区域中的第二人眼区域；计算第二人眼区域和预设的闭眼模板图像之间的相似度；在第二人眼区域和预设的闭眼模板图像之间的相似度大于相似度阈值的情况下，确定第二人眼状态为闭眼状态。
其中，服务器中可以预先存储多个闭眼模板图像，在待比较的人眼区域和多个闭眼模板图像中任意一个闭眼模板图像之间的相似度大于相似度阈值的情况下，则确定该人眼区域为闭眼状态，反之为睁眼状态。
S204、根据第一人脸区域的第一人眼状态和/或第二人脸区域的第二人眼状态评估教学质量。
一般的，教学质量信息用于评估教学过程中的教学质量，教学质量信息可以使用多个质量级别来评级，指令级别的数量可以根据实际需求而定，本申请不作限制。例如：教学质量信息分为正常和不佳2个质量级别来表示；又例如：教学质量信息分为优秀、一般和不佳3个质量级别来表示。服务器可以使用预先训练好的教学质量评估模型来评价第一视频流和/或第二视频流对应的教学质量信息，教学质量评估模型是使用训练样本集训练得到的，训练样本集中包括多个人眼状态的训练样本和质量级别标签，质量级别标签表示训练样本的质量级别，例如：使用0表示不佳、1表示一般、2表示优秀。
在一个实施例中，教学质量信息分为两个质量级别，第一人脸区域的第一人眼状态又称第一人眼状态，第二人脸区域的第二人眼状态又称第二人眼状态，服务器监测第一人眼状态的持续时间和/或第二人眼状态持续为闭眼状态的时长大于时长与阈值的情况下，确定教学质量为不佳；反之，教学质量为正常。
本申请实施例的方案在执行时，服务器获取上课过程中的学生视频流和/或教师视频流，检测学生视频流和教师视频流中的人脸区域，识别人脸区域的人眼状态，根据人眼状态评估教学质量。本申请一方面可以实现实时的评估教学质量，根据实时反馈的教学质量能实时的为后续的教学提供参考，及时纠正教学过程中的问题，提高整个教学过程的质量和效率；另一方面同时通过人眼状态来评估教学质量，人眼状态作为一个显著的生物特征，能实现非接触方式和简单的识别算法来识别，可以提高识别过程的准确性。
请参见图3，为本申请实施例提供了一种教学质量的评估方法的流程示意图。本实施例以教学质量的评估方法应用于服务器中来举例说明。该教学质量的评估方法可以包括以下步骤：
S301、根据人眼训练样本进行模型训练得到人眼状态识别模型。
其中，人眼训练样本包括多个人眼训练样本，各个人眼训练样本携带状态标签，状态标签表示睁眼状态或闭眼状态，睁眼状态的人眼训练样本的数量和闭眼状态的人眼训练样本的数量相等或大致相等，以便能够提高人眼状态识别模型的收敛速度，提高训练模型训练的效率。例如：人眼训练样本中包括5000个睁眼状态的人眼训练样本和5000个闭眼状态的人眼训练样本。
一般的，人眼状态识别模型的类型可以是高斯混合模型、神经网络模型和隐马尔科夫模型。
S302、周期性的获取第一终端设备采集的第一视频流。
其中，第一终端设备可以通过摄像头采集第一视频流，将采集到的第一视频流发送给服务器，服务器从上课起始时间开始，周期性获取来自第一终端设备的第一视频流。服务器周期性的采集预设长度的第一视频流，获取的周期和预设长度可以根据实际需求而定，本申请不作限制。
S303、提取第一视频流中的关键帧得到第一视频帧集合。
其中，提取第一视频流中的关键帧得到第一视频帧集合，关键帧视频帧中具有完整画面信息，关键帧不需要依赖其他视频帧来进行解压缩和解码，第一视频帧集合中的视频帧是根据关键帧进行解压缩和解码得到的图形。
S304、识别第一视频帧集合中各个视频帧的第一人脸区域。
其中，人脸检测是对待识别图形区域进行搜索，如果发现人脸，则返回人脸的位置信息，人脸检测是后续的人脸分析的重要基础。例如：首先需要进行人脸检测，然后才能进行人脸识别。
在一些实施例中，根据对人脸已有的先验知识来构建一系列法则来描绘人脸特征之间的关系。由于人脸中有诸如对称的眼睛、眉毛、鼻子和嘴巴等特征，而这些特征之间的相对位置或相对距离在一定程度上是固定不变的。基于知识的方法通过构建的准则来逐一筛选人脸的候选项，并最终实现人脸检测。
在一些实施例中，基于特征的方法是仅可能寻找能够在不同视角、不同姿态和不同光照等多变条件下能够保持稳定的不变量，并此来寻找人脸。例如：可以从边缘特征、纹理特征和颜色特征中的一种或多种来检测人脸。
在一些实施例中，根据预先存储的人脸标准模板或人脸特征模板进行存储，在检测人脸时，将待检测图像和人脸标准模板进行比较来检测人脸区域，人脸表模板或人脸特征模板需要预先进行设置。
S305、识别第一人脸区域中的第一人眼区域。
其中，人眼检测用于在人脸中查询人眼区域所在的位置信息，人眼区域的形状一般为椭圆形。检测人眼区域的方法和检测人脸区域的方法类似，具体可参照人脸检测方法，此处不再赘述。
S306、提取第一人眼区域的特征信息。
其中，第一人眼区域的特征信息包括颜色特征信息、纹理特征信息和形状特征信息，特征信息可以用多维向量来表示。
S307、将第一人眼区域的特征信息输入到人眼识别模型得到人眼状态识别结果。
其中，人眼状态识别模型用于识别人眼区域是睁眼状态还是闭眼状态，人眼状态识别结果为一个分值，分值在预设范围内。例如：预设范围为0到1之间。
S308、周期性的获取第二终端设备采集的第二视频流。
其中，第二视频流是第二终端设备通过摄像头采集到的，第二终端设备将采集到的第二视频流发送服务器，服务器接收来自第二终端设备的第二视频流。服务器周期性获取来自第二终端设备的第二视频流。其中，服务器获取第一视频流的周期和获取第二视频流的周期相同。
举例来说：参见图4所示，服务器检测到达预设的上课起始时刻时，创建虚拟教室，将第一终端设备和第二终端设备加入到虚拟教室中，第一终端设备开始启动摄像头采集第一视频流，将第一视频流发送给服务器；第二终端设备开始启动摄像头采集第二视频流，将第二视频流发送给服务器，第一视频流和第二视频流是实时连续的媒体流。服务器采用相同的周期T2采集预设时长T1的视频流，T1和T2的时长可以根据实际需求而定，t0为上课起始时刻。
S309、提取第二视频流中关键帧得到第二视频帧集合。
其中，为了减少计算量，服务器可以采集到的第一视频流中的每个视频帧进行处理，服务器提取第二视频流中的关键帧得到第二视频帧集合，关键帧具有完整的画面，不依赖其他帧即可完成解码，关键帧一般是I帧。一般的，第二视频帧集合中的各个视频帧是个关键帧进行解压缩和解码得到的图像。
S310、识别第二视频帧集合中各个视频帧的第二人脸区域。
其中，人脸检测是检测图像中的人脸区域，若存在人脸区域，返回人脸区域的位置信息。
S311、识别第二人脸区域中的第二人眼区域。
S312、提取第二人眼区域的特征信息。
S313、将第二人眼区域的特征信息输入到人眼状态识别模型得到人眼状态识别结果。
其中，S309～S313的具体过程可参照S303～S307的描述，此处不再赘述。
在一个实施例中，服务器识别人眼状态的方法还可以是：
检测所述第一人脸区域中的第一人眼区域；其中，所述第一人眼区域包括左眼区域和右眼区域；
计算所述第一人眼区域中左眼区域和右眼区域的长宽比；
在所述第一人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第一人脸区域的第一人眼状态为闭眼状态；
其中，所述识别第二人脸区域的第二人眼状态，包括：
检测所述第二人脸区域中的第二人眼区域；其中，所述第二人眼区域包括左眼区域和右眼区域；
计算所述第二人眼区域中左眼区域和右眼区域的长宽比；
在所述第二人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第二人眼状态为闭眼状态。
参见图5所示，为第一终端设备或第二终端设备的界面示意图，以第一终端设备为例进行说明，第一终端设备设置有摄像头50，在上课起始时刻到来时，摄像头将第一终端设备和第二终端设备加入到虚拟教室中，指示第一终端设备的摄像头50将采集到的第一视频流显示在第一窗口51中，以及将第二终端设备的摄像头采集的第二视频流发送给第一终端设备，第一终端设备的第二窗口52中显示第二终端设备采集的第二视频流。第一终端设备的界面还包括聊天窗口53、文字输入框54和发送按钮55，聊天窗口用于显示第一终端设备的用户和第二终端设备的用户的聊天记录，文字输入框用户输入文字、图片、视频和表情包等信息，发送按钮55用于发送文字输入框54中的信息。
参见图6所示，为识别人眼状态的原理示意图，服务器从第一窗口51中提取视频帧后，根据人脸检测算法在视频帧中确定人脸区域的位置和范围，并使用虚线框510标记检测出的人脸区域，然后根据上述的检测人眼区域的方法从人脸区域中确定人眼区域的位置和范围，并使用虚线框512标记出左眼区域和虚线框511标记出右眼区域。将检测到的人眼区域进行二值化处理和形状拟合后得到右下角的黑白的人眼区域，比较人眼区域的长度L和宽度W的比值，该比值越大说明眼睛的睁开程度越小，用户可能处于疲劳状态；反之，用户可能处于清醒状态。
S314、第一人眼区域持续为闭眼状态和/或第二人眼区域持续为闭眼状态的时长是否大于时长阈值。
其中，统计第一视频帧集合中闭眼状态的视频帧的数量，每个视频帧的持续时间为固定时长，根据视频帧的数量和视频帧的持续时间可以确定出闭眼状态的持续时长。
在一个实施例中，第一人眼区域持续为闭眼状态的时长大于时长阈值的情况下，服务器确定当前的教学质量为不佳。
在一个实施例中，第二人眼区域持续为闭眼状态的时长大于时长阈值的情况下，服务器确定当前的教学质量为不佳。
在一个实施例中，第一人眼区域持续为闭眼状态的时长和第二人眼区域持续为闭眼状态的时长的总时长大于时长阈值的情况下，服务器确定当前的教学质量为不佳。
S312、确定教学质量正常。
其中，教学质量正常表示学生和教师都处于清醒状态。服务器可以将教学质量正常的指示信息发送给第一终端设备和第二终端设备，以便对教师或学生实时反馈当前的教学质量。
S313、确定教学质量不佳。
其中，教学质量不佳表示学生和/或教师处于疲劳。在学生处于疲劳状态时，服务器可以将教学质量不佳的信息发送给学生的终端设备；在教师处于疲劳状态时，服务器可以将教学质量不佳的信息发送给教师的终端设备以便对教师或学生实时反馈当前的教学质量。
在一个实施例中，服务器在确定闭眼状态的持续时长大于时长阈值的情况下，服务器向第一终端设备发送第一提示消息，所述第一提示消息用于提示使用第一终端设备的用户当前的注意力不集中；在根据第二视频流确定闭眼状态的持续时长大于时长阈值的情况下，服务器向第二终端设备发送第二提示信息，第二提示信息用于提示使用第二终端设备的用户注意力不集中。
实施本申请的实施例，服务器获取上课过程中的学生视频流和/或教师视频流，检测学生视频流和教师视频流中的人脸区域，识别人脸区域的人眼状态，根据人眼状态评估教学质量。本申请一方面可以实现实时的评估教学质量，根据实时反馈的教学质量能实时的为后续的教学提供参考，及时纠正教学过程中的问题，提高整个教学过程的质量和效率；另一方面同时通过人眼状态来评估教学质量，人眼状态作为一个显著的生物特征，能实现非接触方式和简单的识别算法来识别，可以提高识别过程的准确性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图7，其示出了本申请一个示例性实施例提供的教学质量的评估装置的结构示意图。以下简称装置7，装置7可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。装置7包括视频获取单元701、人脸检测单元702、人眼识别单元703和教学评估单元704。
视频获取单元701，用于获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流。
人脸检测单元702，用于检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域。
人眼识别单元703，用于识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态。
教学评估单元704，用于根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
在一个实施例中，人眼识别单元703用于：
检测所述第一人脸区域中的第一人眼区域；其中，所述第一人眼区域包括左眼区域和右眼区域；
计算所述第一人眼区域中左眼区域和右眼区域的长宽比；
在所述第一人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第一人脸区域的第一人眼状态为闭眼状态；
其中，所述识别第二人脸区域的第二人眼状态，包括：
检测所述第二人脸区域中的第二人眼区域；其中，所述第二人眼区域包括左眼区域和右眼区域；
计算所述第二人眼区域中左眼区域和右眼区域的长宽比；
在所述第二人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第二人眼状态为闭眼状态。
在一个实施例中，人眼识别单元703用于：
检测所述第一人脸区域中的第一人眼区域；
计算第一人眼区域和预设的闭眼模板图像之间的相似度；
在所述第一人眼区域和所述预设的闭眼模板图像之间的相似度值大于相似度阈值的情况下，确定所述第一人眼状态为睁眼状态；
所述识别第二人脸区域的第二人眼状态，包括：
检测第二人脸区域中的第二人眼区域；
计算所述第二人眼区域和预设的闭眼模板图像之间的相似度；
在所述第二人眼区域和所述预设的闭眼模板图像之间的相似度大于相似度阈值的情况下，确定所述第二人眼状态为闭眼状态。
在一个实施例中，人眼识别单元703用于：
对所述第一人脸区域进行特征提取得到第一图像特征；
将第一图像特征输入到预设的人眼状态识别模型得到人眼状态识别结果。
其中，所述识别所述第二人脸区域的第二人眼状态，包括：
对第二人脸区域进行特征提取得到第二图像特征；
将所述第二图像特征输入到预设的人眼状态识别模型得到人眼状态识别结果。
在一个实施例中，视频获取单元701用于：
周期性获取来自第一终端设备的第一视频流和第二终端设备的第二视频流；其中，所述第一视频流和所述第二视频流的长度为预设时长。
在一个实施例中，教学评估单元704用于：
计算第一人眼状态为闭眼状态的持续时间和第二人眼状态为闭眼状态的第二持续时间；
在所述第一持续时间和/或第二持续时间大于时间阈值的情况下，生成教学质量不佳的提示信息。
在一个实施例中，人脸检测单元702用于：
提取所述第一视频流中的关键帧得到第一视频帧集合；
检测所述第一视频帧集合中各个视频帧的第一人脸区域；
提取所述第二视频流中的关键帧得到第二视频帧集合；
检测所述第二视频帧集合中各个视频帧的第二人脸区域。
需要说明的是，上述实施例提供的装置7在执行教学质量的评估方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的教学质量的评估方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请的装置7获取上课过程中的学生视频流和/或教师视频流，检测学生视频流和教师视频流中的人脸区域，识别人脸区域的人眼状态，根据人眼状态评估教学质量。本申请一方面可以实现实时的评估教学质量，根据实时反馈的教学质量能实时的为后续的教学提供参考，及时纠正教学过程中的问题，提高整个教学过程的质量和效率；另一方面同时通过人眼状态来评估教学质量，人眼状态作为一个显著的生物特征，能实现非接触方式和简单的识别算法来识别，可以提高识别过程的准确性。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2-图6所示实施例的方法步骤，具体执行过程可以参见图2-图6所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的教学质量的评估方法。
图8为本申请实施例提供的一种教学质量的评估装置结构示意图，以下简称装置8，装置8可以集成于前述的服务器，如图8所示，该装置包括：存储器802、处理器801、输入装置803、输出装置804和通信接口。
存储器802可以是独立的物理单元，与处理器801、输入装置803和输出装置804可以通过总线连接。存储器802、处理器801、收发器803也可以集成在一起，通过硬件实现等。
存储器802用于存储实现以上方法实施例，或者装置实施例各个模块的程序，处理器801调用该程序，执行以上方法实施例的操作。
输入装置802包括但不限于键盘、鼠标、触摸面板、摄像头和麦克风；输出装置包括但限于显示屏。
通信接口用于收发各种类型的消息，通信接口包括但不限于无线接口或有线接口。
可选地，当上述实施例的分布式任务调度方法中的部分或全部通过软件实现时，装置也可以只包括处理器。用于存储程序的存储器位于装置之外，处理器通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器可以是中央处理器(central processing unit，CPU)，网络处理器(networkprocessor，NP)或者CPU和NP的组合。
处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器可以包括易失性存储器(volatile memory)，例如存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
其中，处理器801调用存储器802中的程序代码用于执行以下步骤：
获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流；
检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域；
识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态；
根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
在一个实施例中，处理器801执行所述识别第一人脸区域的第一人眼状态，包括：
检测所述第一人脸区域中的第一人眼区域；其中，所述第一人眼区域包括左眼区域和右眼区域；
计算所述第一人眼区域中左眼区域和右眼区域的长宽比；其中，所述第一人眼区域包括左眼区域和右眼区域；
在所述第一人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第一人脸区域的第一人眼状态为闭眼状态；
其中，所述识别第二人脸区域的第二人眼状态，包括：
检测所述第二人脸区域中的第二人眼区域；其中，所述第一人眼区域包括左眼区域和右眼区域；
计算所述第一人眼区域中左眼区域和右眼区域的长宽比；其中，所述第一人眼区域包括左眼区域和右眼区域；
在所述第一人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第一人脸区域的第一人眼状态为闭眼状态。
在一个实施例中，处理器801执行所述识别第一人脸区域的第一人眼状态包括：
检测所述第一人脸区域中的第一人眼区域；
计算第一人眼区域和预设的闭眼模板图像之间的相似度；
在所述第一人眼区域和所述预设的闭眼模板图像之间的相似度值大于相似度阈值的情况下，确定所述第一人眼状态为睁眼状态；
所述识别第二人脸区域的第二人眼状态，包括：
检测第二人脸区域中的第二人眼区域；
计算所述第二人眼区域和预设的闭眼模板图像之间的相似度；
在所述第二人眼区域和所述预设的闭眼模板图像之间的相似度大于相似度阈值的情况下，确定所述第二人眼状态为闭眼状态。
在一个实施例中，处理器801执行所述识别第一人脸区域的第一人眼状态，包括：
对所述第一人脸区域进行特征提取得到第一图像特征；
将第一图像特征输入到预设的人眼状态识别模型得到人眼状态识别结果。
其中，所述识别所述第二人脸区域的第二人眼状态，包括：
对第二人脸区域进行特征提取得到第二图像特征；
将所述第二图像特征输入到预设的人眼状态识别模型得到人眼状态识别结果。
在一个实施例中，处理器801执行所述获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流，包括：
周期性获取来自第一终端设备的第一视频流和第二终端设备的第二视频流；其中，所述第一视频流和所述第二视频流的长度为预设时长。
在一个实施例中，处理器801执行所述根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量，包括：
计算第一人眼状态为闭眼状态的持续时间和第二人眼状态为闭眼状态的第二持续时间；
在所述第一持续时间和/或第二持续时间大于时间阈值的情况下，生成教学质量不佳的提示信息。
在一个实施例中，处理器801执行所述检测第一视频流中的第一人脸区域和检测第二视频流中的第二人脸区域，包括：
提取所述第一视频流中的关键帧得到第一视频帧集合；
检测所述第一视频帧集合中各个视频帧的第一人脸区域；
提取所述第二视频流中的关键帧得到第二视频帧集合；
检测所述第二视频帧集合中各个视频帧的第二人脸区域。
本申请实施例还提供了一种计算机存储介质，存储有计算机程序，该计算机程序用于执行上述实施例提供的教学质量的评估方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的教学质量的评估方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种教学质量的评估方法，其特征在于，所述方法包括：
获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流；
检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域；
识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态；
根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
2.根据权利要求1所述的方法，所述识别第一人脸区域的第一人眼状态，包括：
检测所述第一人脸区域中的第一人眼区域；其中，所述第一人眼区域包括左眼区域和右眼区域；
计算所述第一人眼区域中左眼区域和右眼区域的长宽比；
在所述第一人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第一人眼状态为闭眼状态；
和/或，所述识别第二人脸区域的第二人眼状态，包括：
检测所述第二人脸区域中的第二人眼区域；其中，所述第二人眼区域包括左眼区域和右眼区域；
计算所述第二人眼区域中左眼区域和右眼区域的长宽比；
在所述第二人眼区域中左眼区域和右眼区域的长宽比均大于预设比值的情况下，确定所述第二人眼状态为闭眼状态。
3.根据权利要求1所述的方法，其特征在于，所述识别第一人脸区域的第一人眼状态包括：
检测所述第一人脸区域中的第一人眼区域；
计算第一人眼区域和预设的闭眼模板图像之间的相似度；
在所述第一人眼区域和所述预设的闭眼模板图像之间的相似度值大于相似度阈值的情况下，确定所述第一人眼状态为睁眼状态；
和/或，所述识别第二人脸区域的第二人眼状态，包括：
检测第二人脸区域中的第二人眼区域；
计算所述第二人眼区域和预设的闭眼模板图像之间的相似度；
在所述第二人眼区域和所述预设的闭眼模板图像之间的相似度大于相似度阈值的情况下，确定所述第二人眼状态为闭眼状态。
4.根据权利要求1所述的方法，其特征在于，所述识别第一人脸区域的第一人眼状态，包括：
对所述第一人脸区域进行特征提取得到第一图像特征；
将第一图像特征输入到预设的人眼状态识别模型得到所述第一人眼状态的识别结果；
和/或，所述识别所述第二人脸区域的第二人眼状态，包括：
对第二人脸区域进行特征提取得到第二图像特征；
将所述第二图像特征输入到预设的人眼状态识别模型得到第二人眼状态的识别结果。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流，包括：
周期性地获取来自第一终端设备的第一视频流和第二终端设备的第二视频流；其中，所述第一视频流和所述第二视频流的长度为预设时长。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量，包括：
计算所述第一人脸状态为闭眼状态的第一持续时间和所述第二人眼状态为闭眼状态的第二持续时间；
在所述第一持续时间和/或第二持续时间大于时间阈值的情况下，生成教学质量不佳的提示信息；或
在所述第一持续时间和第二持续时间都小于所述时间阈值的情况下，生成教学质量正常的提示信息。
7.根据权利要求6所述的方法，其特征在于，所述检测第一视频流中的第一人脸区域和检测第二视频流中的第二人脸区域，包括：
提取所述第一视频流中的关键帧得到第一视频帧集合；
检测所述第一视频帧集合中各个视频帧的所述第一人脸区域；
提取所述第二视频流中的关键帧得到第二视频帧集合；
检测所述第二视频帧集合中各个视频帧的所述第二人脸区域。
8.一种教学质量的评估装置，其特征在于，所述装置包括：
视频获取单元，用于获取第一终端设备采集的第一视频流和第二终端设备采集的第二视频流；
人脸检测单元，用于检测所述第一视频流中的第一人脸区域和检测所述第二视频流中的第二人脸区域；
人眼识别单元，用于识别所述第一人脸区域的第一人眼状态和识别所述第二人脸区域的第二人眼状态；
教学评估单元，用于根据所述第一人脸区域的第一人眼状态和/或所述第二人脸区域的第二人眼状态评估教学质量。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。
CN201910547388.XA 2019-06-24 2019-06-24 教学质量的评估方法、装置、存储介质及电子设备 Pending CN110348328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910547388.XA CN110348328A (zh) 2019-06-24 2019-06-24 教学质量的评估方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910547388.XA CN110348328A (zh) 2019-06-24 2019-06-24 教学质量的评估方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110348328A true CN110348328A (zh) 2019-10-18

Family

ID=68182819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547388.XA Pending CN110348328A (zh) 2019-06-24 2019-06-24 教学质量的评估方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110348328A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN111611854A (zh) * 2020-04-16 2020-09-01 杭州电子科技大学 一种基于模式识别的课堂情况评价方法
DE202022100887U1 (de) 2022-02-16 2022-02-24 Marggise Anusha Angel System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122357A (zh) * 2011-03-17 2011-07-13 电子科技大学 一种基于人眼睁闭状态的疲劳检测方法
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法
CN109359613A (zh) * 2018-10-29 2019-02-19 四川文轩教育科技有限公司 一种基于人工智能的教学过程分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122357A (zh) * 2011-03-17 2011-07-13 电子科技大学 一种基于人眼睁闭状态的疲劳检测方法
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法
CN109359613A (zh) * 2018-10-29 2019-02-19 四川文轩教育科技有限公司 一种基于人工智能的教学过程分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张建保等: "《中国生物医学工程进展 （上册）》", 30 April 2007 *
张鸿: "《基于人工智能的多媒体数据挖掘和应用实例》", 31 January 2018 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN110889672B (zh) * 2019-11-19 2022-04-12 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN111611854A (zh) * 2020-04-16 2020-09-01 杭州电子科技大学 一种基于模式识别的课堂情况评价方法
CN111611854B (zh) * 2020-04-16 2023-09-01 杭州电子科技大学 一种基于模式识别的课堂情况评价方法
DE202022100887U1 (de) 2022-02-16 2022-02-24 Marggise Anusha Angel System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie

Similar Documents

Publication Publication Date Title
CN107197384B (zh) 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN110033659A (zh) 一种远程教学互动方法、服务器、终端以及系统
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
US9666088B2 (en) Video-based teacher assistance
CN109614934B (zh) 在线教学质量评估参数生成方法及装置
CN108399809A (zh) 虚拟教学系统、云平台管理系统和处理终端管理系统
CN110348328A (zh) 教学质量的评估方法、装置、存储介质及电子设备
CN107239801A (zh) 视频属性表示学习方法及视频文字描述自动生成方法
CN107705652A (zh) 一种课程教学系统
TWI707296B (zh) 智慧教學顧問生成方法、系統、設備及儲存介質
CN110069707A (zh) 一种人工智能自适应互动教学系统
CN109063587A (zh) 数据处理方法、存储介质和电子设备
CN109461104A (zh) 课堂监控方法、装置及电子设备
CN109740018A (zh) 用于生成视频标签模型的方法和装置
CN111510659B (zh) 在线交互方法、装置、存储介质及电子设备
KR20220036717A (ko) 발성 학습 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
CN110334620A (zh) 教学质量的评估方法、装置、存储介质及电子设备
CN109523852A (zh) 基于视觉监控的学习交互系统及其交互方法
CN110491369A (zh) 口语等级的评估方法、装置、存储介质及电子设备
CN110489747A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN111724199A (zh) 基于行人主动感知的智慧社区广告精准投放方法及装置
CN110111011A (zh) 一种教学质量监管方法、装置及电子设备
CN109816023A (zh) 用于生成图片标签模型的方法和装置
CN109165572A (zh) 用于生成信息的方法和装置
CN109409759B (zh) 一种基于煤矿安全培训游戏的数据挖掘系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018