CN108898115B - 数据处理方法、存储介质和电子设备 - Google Patents

数据处理方法、存储介质和电子设备 Download PDF

Info

Publication number
CN108898115B
CN108898115B CN201810718955.9A CN201810718955A CN108898115B CN 108898115 B CN108898115 B CN 108898115B CN 201810718955 A CN201810718955 A CN 201810718955A CN 108898115 B CN108898115 B CN 108898115B
Authority
CN
China
Prior art keywords
information
learner
evaluation
evaluation parameter
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810718955.9A
Other languages
English (en)
Other versions
CN108898115A (zh
Inventor
张保福
沈亮
王正博
张连杰
赵明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN201810718955.9A priority Critical patent/CN108898115B/zh
Publication of CN108898115A publication Critical patent/CN108898115A/zh
Priority to PCT/CN2019/083368 priority patent/WO2020007097A1/zh
Application granted granted Critical
Publication of CN108898115B publication Critical patent/CN108898115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

公开了一种数据处理方法、存储介质和电子设备。本发明实施例的技术方案从记录的视频数据和对应的音频数据中提取第一结构化信息和第二结构化信息,从而可以从图像和语音两个维度获取学习者的表现信息,并基于提取获得的上述表现信息与同一学习者的历史表现信息进行纵向比较获得第一评估值。由此,可以快速地处理对海量的在线教学的数据涉及的学习质量进行较为客观、准确的评估处理。

Description

数据处理方法、存储介质和电子设备
技术领域
本发明涉及数据处理和机器学习技术,具体涉及一种数据处理方法、存储介质和电子设备,更具体地,涉及基于视频数据和音频数据对学习者在线学习效果进行评估的方法和相关装置。
背景技术
随着互联网技术的发展,基于网络的在线教学得到越来越广泛的应用。知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。为了对于在线教学的学习效果进行了解和评估,通常需要依赖于教学者人工评价以及学习者人工反馈的方式,或者依赖于知识点测试这样的应试手段。但是,知识点测试的方式评价维度单一,而人工评价和反馈的方式则客观性不足。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法、存储介质和电子设备,以自动化地对于在线录制的视频数据和音频数据进行处理,对学习者在在线教学过程中的学习效果进行较为准确的自动化评估。
根据本发明实施例的第一方面,提供一种数据处理方法,其中,所述方法包括:
从视频数据中提取第一结构化信息,所述视频数据为在线教学过程中录制的学习者视频,所述第一结构化信息包括视频数据中的人脸信息;
从所述视频数据对应的音频数据中提取第二结构化信息,所述第二结构化信息包括音频数据中的语音识别信息;
根据所述第一结构化信息和所述第二结构化信息获取学习者的当前表现信息;以及
根据所述当前表现信息获取第一评价参数,其中,所述第一评价参数用于表征所述当前表现信息相对于同一学习者的历史表现信息的分类信息。
根据本发明实施例的第二方面,提供一种计算机可读存储介质,其上存储计算机程序指令,其中,所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
根据本发明实施例的第三方面,提供一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
本发明实施例的技术方案从记录的视频数据和对应的音频数据中提取第一结构化信息和第二结构化信息,从而可以从图像和语音两个维度获取学习者的表现信息,并基于提取获得的上述表现信息与同一学习者的历史表现信息进行纵向比较获得第一评估值。由此,可以快速地处理对海量的在线教学的数据涉及的学习质量进行较为客观、准确的评估处理。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图;
图2是本发明实施例的在线教学系统的客户端应用的界面示意图;
图3是本发明实施例的数据处理方法的流程图;
图4是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明的数据处理方法适用于在线音视频教学的场景。图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图。如图1所示,所述在线教学系统包括第一客户端1、第二客户端2和服务器3。其中,第一客户端1、第二客户端2和服务器3通过网络通信连接。第一客户端1和第二客户端2可以直接或通过服务器3间接地建立通信连接后实时通信进行在线教学的活动。第一客户端1可以由教学者操作。第二客户端2可以由学习者操作。同时,服务器3同时与第一客户端1和第二客户端2形成通信连接,对两者之间交互的数据进行存储。第一客户端1和第二客户端2可以访问服务器3获取课件数据进行展示,从而进行在线教学。在本实施例使用的在线教学系统中,在线教学可以基于课件进行,第一客户端1和第二客户端2展示的课件内容同步变化,使得教学者和学习者可以同步地、基于课件的相同部分进行交流。应理解,第一客户端1和第二客户端2可以为任何运行有预定计算机应用程序的通用数据处理设备,例如台式计算机、便携式计算机、平板计算机、智能手机等。服务器3为用于运行预定计算机应用程序的高性能数据处理设备,其可以是一台服务器,也可以是分布式部署的服务器集群,还可以是以虚拟机或容器方式部署的虚拟服务器集群。应理解,在本发明实施例的在线教学系统中,大量的第一客户端1以一对一、一对多、或多对多的方式与第二客户端2建立通信连接进行通信。
图2是本发明实施例的在线教学系统的客户端应用的界面示意图。如图2所示,本实施例的客户端应用可以在应用界面的主窗口21显示课件,并在应用界面的子窗口22显示对方的图像采集装置采集的实时图像。通常,在应用界面的子窗口22中显示的对方的上半身的视频。由此,通信的双方可以同时看到课件和对方的状态。同时,在主窗口中显示的课件内容受控于教学者一端的操作进行切换或者显示轨迹。服务器3可以记录采集到的教学者的视频数据以及学习者的视频数据。服务器3还可以记录教学者在整个教学过程中的音频数据以及学习者在教学过程中的音频数据。所述音频数据包括对应的语音信息。
本实施例的方法通过对服务器3记录的学习者的视频数据和音频数据进行处理,以自动化地评估学习者进行在线学习的学习效果。
如上所述,在在线教学的过程中,学习者主要从三个维度来获取信息,一方面是课件上的内容,另一方面是教学者进行讲解的语音信息,第三个方面是教学者的视频。对应地,学习者的课堂表现可以通过学习者的面部表情(视觉表现)和与教学者语音交流的过程(音频表现)两个方面来体现。通过视频可以使得学习者具有面对面交流的体验。一方面,在各种教学场景下,学习者的面部(人脸)表情可以传达其对于所讲解的内容的反馈。例如,如果学习者的面部表情为微笑或专注等积极的表情,则表明在课堂上学习者具有较好的学习积极性。另一方面,在线教学过程中,如果学习者课堂表现较好,则会体现为其与教学者的沟通次数较多,以及音频数据中学习者的语音时间长度较长。由此,可以基于视频数据和音频数据来提取学习者的表现信息。
图3是本发明实施例的数据处理方法的流程图。如图3所示,本实施例的数据处理方法包括如下步骤:
在步骤S100,从视频数据中提取第一结构化信息。其中,所述第一结构化信息包括视频数据中的人脸信息。
其中,所述视频数据为服务器3记录的学习者在在线学习过程中的视频数据。具体地,所述视频数据可以根据评价的周期来选取。选取的方式具有较大的灵活性。例如,可以为一次在线教学过程的视频数据,也可以为一个教学单元对应的多次在线教学的视频数据的集合,也可以是一次在线教学过程的一个部分所对应的视频数据的片段。
在步骤S200,从所述视频数据对应的音频数据中提取第二结构化信息。其中,所述第二结构化信息包括音频数据中的语音识别信息。
在步骤S300,根据所述第一结构化信息和所述第二结构化信息获取学习者的当前表现信息。其中,当前表现信息为根据第一结构化信息和第二结构化信息获取的统计信息向量。
在步骤S400,根据所述当前表现信息获取第一评价参数,其中,所述第一评价参数用于表征所述当前表现信息相对于同一学习者的历史表现信息的分类信息。
本发明实施例的技术方案根据从记录的视频数据和对应的音频数据中提取第一结构化信息和第二结构化信息,从而可以从图像和语音两个维度获取学习者的表现信息,并基于提取获得的上述表现信息与同一学习者的历史表现信息进行纵向比较获得第一评估值。由此,可以快速地处理对海量的在线教学的数据涉及的学习质量进行较为客观、准确的评估处理。
优选地,本实施例的方法还可以包括步骤S500,根据所述当前表现信息获取第二评价参数。其中,所述第二评价参数用于表征所述当前表现信息相对于不同学习者的表现信息的分类信息。
由此,可以进一步通过横向比较的获得学习者的当前表现信息在所有课堂表现中的分类情况,从而为客观评价学习者的学习效果获得更多的数据支持。
对于步骤S100,视频数据可以看作图像的时间序列。通过对每一帧图像或某些关键帧图像进行识别处理可以识别得到图像中的人脸图像信息。进一步,根据沿时间轴排列的不同图像的人脸图像信息,就可以获取到视频数据中的人脸信息。同时,可以采用各种现有的技术来识别视频中的动作信息。本实施例通过从视频数据中提取第一结构化信息对学习者在教学过程中的视觉表现进行评估。在本实施例中,第一结构化信息包括人脸信息。其中,人脸信息包括人脸位置信息、表征检测到人脸的信息和人脸表情分类信息中的至少一项。通过人脸检测算法可以有效地检测获取人脸是否出现在图像中以及人脸的具体位置。人脸检测算法包括例如参考模板法、人脸规则法、特征子脸法以及样本识别法等。所获取的人脸位置信息可以通过人脸区域的数据结构R(X,Y,W,H)来表示。其中,R(X,Y,W,H)限定了图像中包括人脸主要部分的一个矩形区域,其中,X和Y限定了该矩形区域的一个端点的坐标,W和H分别限定该矩形区域的宽度和高度。由于人脸五官的分布具有较高的相似性,因此,在检测获得人脸区域信息后,就可以对人脸区域内的图像进行进一步检测来获取五官的位置。例如,可以利用Dlib来进行上述的人脸检测和唇部关键点信息获取。Dlib是一个包含机器学习算法的C++开源工具包。在Dlib中,将人脸的五官和轮廓通过68个关键点来进行标识。由于人的表情不同时,人脸的五官位于不同的相对位置和状态,因此,通过自行训练的分类器或者相关开发函数库提供的分类器就可以对表情进行识别和分类。又例如,可以基于OpenCV库来实现对于表情的识别。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它由一系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。在现有技术(“基于opencv的人脸表情识别系统的设计与实现”,秦续洋,硕士学位论文,郑州大学;2013年)中描述了通过OpenCV进行表情识别的方法。又例如,也可以调用现有的商业表情识别软件接口来进行表情识别。现有的各图像识别服务提供商,例如百度AI,商汤科技均可以提供表情识别的服务接口。
在获取到各图像中的人脸位置信息和人脸表情分类信息后,就可以获得视频数据对应的上述两个信息的时间序列。根据上述时间序列就可以通过统计或其它手段获取对应的表现信息,进而进行进一步的处理和评估。
通过包括人脸信息的第一结构化信息,就可以对于学习者的可视表现进行评估。
应理解,步骤S100和步骤S200可以同时执行也可以先后执行,在先后执行时,两者的执行顺序不受限制。
对于步骤S200,基于语音的交流是在线教学的重要手段。在线教学过程中,教学者和学习者的对话的所有的语音信息被录制为具有不同音轨的音频文件。其中,教学者一侧终端采集的音频数据和学习者一侧终端采集的音频数据采用不同的音轨存储。因此,可以针对学习者的音频数据进行分析和评估。在本实施例中,通过从音频数据中提取第二结构化信息对学习者在语音方面呈现出来的表现进行评估。其中第二结构化信息包括对音频数据进行语音识别获得的语音识别信息。语音识别技术是对于包含语音信息的音频数据进行处理,以获取与语音内容相关的信息的技术。在本实施例中,通过语音识别获得的语音识别信息可以是语音时长信息,可以是语音信息对应的文本信息,还可以是对话次数信息,也可以是对话方切换时学习者语音的停顿时间信息。文本信息可以体现教学过程中教学者讲解的具体内容,其可以作为后续评估的基础。同时,语音时长信息是指音频数据中检测到语音的时间长度信息。由于在教学过程中教学者可能并不是持续地在进行讲解,因此,语音时长信息以及对话次数信息一定程度上可以反映学习者交流的积极性。对话方切换时学习者语音的停顿时间信息则可以反映在教学者提出问题或要求学习者进行复述的时候学习者的响应速度,这也可以反映学习者的课堂表现。
对于步骤S300,综合表征视觉特征的第一结构化信息和表征语音特征的第二结构化信息进一步获得学习者的当前表现信息。所述当前表现信息是适于进行分类的特征信息,该特征信息表征学习者在当前被分析和评估的视频数据和音频数据中的表现。
具体地,可以通过统计的方式来从第一结构化信息和第二结构化信息中提取相关的特征信息,并进行合并以获取表现信息。例如,表现信息可以包括根据第一结构化信息获得的预定类别的人脸表情的数量信息和预定人脸姿态的数量信息中的至少一项。表现信息还可以包括根据第二结构化信息获得的对话次数信息、学习者的语音时长信息、学习者语音时长与教学者语音时长的比例信息中的至少一项。表现信息还可以包括第二结构化信息中的文本信息的特征向量。表现信息还可以包括每次对话方切换时学习者语音的停顿时间信息的向量或者所述停顿时间的总时长。
可以将上述各类信息合并为一个向量作为表现信息,向量的每个元素是对应的一类信息。
对于步骤400,根据当前表现信息对同一学习者的历史表现新进行纵向比较来获取第一评价参数。第一评价参数可以体现该学习者的当前表现与历史表现的对比,也即,当前表现信息相对于同一学习者的历史表现信息的分类信息。其中,历史表现信息可以通过对学习者的历史视频数据以及对应的历史音频数据分析获得。历史表现信息是与当前表现信息相同格式的一组向量。
在一个可选实现方式中,可以将当前表现信息和历史表现信息组成的集合进行无监督的聚类分析,获得当前表现信息与历史表现信息的差异度信息作为分类信息。无监督聚类可以采用例如K均值聚类、核K均值聚类、谱聚类等方法。
在另一个可选实现方式中,可以将历史表现信息和对应的第一评价参数作为样本,来训练获得分类模型。该分类模型的输入为作为表现信息的向量,输出为第一评价参数。其中,样本中的第一评价参数可以是人工标注的,也可以一部分是由原有的分类模型计算获得的,一部分是人工标注的。通过不断增加新的样本数据修正分类模型,就可以不断提高分类模型进行评估的客观性和准确性。由此,可以将当前表现信息输入到分类模型中,获得对应的第一评价参数。对于本实施例,可以采用例如SVM(支持向量机,Support VectorMachines)、线性回归、逻辑回归、朴素贝叶斯、线性判别分析、决策树、K-NN(K-临近,K-nearest neighbor analysis)等各种现有的建模方式建立所述分类模型。
在本实施例中,第一评价参数可以是一个评价分数值,也可以是多个不同维度的评价分数组成的向量。例如,包括学习态度、主动性、扩展性等多个方面评价分数的向量。
上述实现方式提供了一种无监督的分类评价模型来进行分类。实际上,也可以采用其他的无监督的分类方式来获取评价参数。例如,可以将所有的视频数据和音频数据提取的第一结构化信息和第二结构化信息分别进行无监督聚类,基于无监督聚类结果来计算评价参数。无监督聚类可以采用例如K均值聚类、核K均值聚类、谱聚类等方法。
对于步骤S500,根据当前表现信息对不同学习者的表现信息进行横向比较,以获取被评估的学习者的第二评价参数。第二评价参数可以呈现被评估的学习者与其他参加相同在线学习课程的学习者课堂表现的对比。其中,不同学习者的表现信息可以从一个或多个不同学习者的适配数据和音频数据中提取获得。
在一个可选实现方式中,可以将当前表现信息和不同学习者的表现信息组成的集合进行无监督的聚类分析,获得当前表现信息与其他学习者的表现信息的差异度信息作为分类信息。无监督聚类可以采用例如K均值聚类、核K均值聚类、谱聚类等方法。
在另一个可选实现方式中,可以将不同学习者的表现信息和对应的第二评价参数作为样本,来训练获得分类模型,该分类模型的输入为作为表现信息的向量,输出为第二评价参数。由此,可以将当前表现信息输入到分类模型中,获得对应的第二评价参数。对于本实施例,可以采用例如SVM(支持向量机,Support Vector Machines)、线性回归、逻辑回归、朴素贝叶斯、线性判别分析、决策树、K-NN(K-临近,K-nearest neighbor analysis)等各种现有的建模方式建立所述分类模型。
利用所述第一评价参数和第二评价参数可以进一步获取一个统一的学习效果评价信息。
在一个可选实现方式中,可以仅根据第一评价参数和第二评价参数来获取学习效果评价信息。具体地,可以对第一评价参数和第二评价参数直接加权求和,或对其元素进行加权求和获取学习效果评价信息。
在另一些可选实现方式中,可以将第一评价参数和第二评价参数与其它与学习效果相关的参数结合来获取学习效果评价信息。
例如,可以根据所述第一评价参数、所述第二评价参数和对应课标的考核结果信息获取所述学习效果评价信息。其中,对应课标的考核结果信息可以是基于计算机测试获得的知识点测试信息。与上面所述的可选实现方式类似,在第一评价参数和第二评价参数为数值时,可以通过将上述参量加权求和获取学习效果评价信息。在第一评价参数和第二评价参数为向量时,可以对其元素进行加权求和获取学习效果评价信息。
又例如,可以根据所述第一评价参数、所述第二评价参数和人工评价信息获取所述学习效果评价信息。其中,人工评价信息是教学者在课后以人工方式从不同维度对学习者课堂表现的打分。在本实施例在线教学系统中,可以通过教学者操作的第一客户端1来进行打分操作。由此,可以综合人工评价与机器评价,从而获得更为综合性的评价。
又例如,可以根据所述第一评价参数、所述第二评价参数和学习者属性信息获取所述学习效果评价信息。其中,学习者的属性信息可以包括学习者的性格分类以及原有学习水平等信息。这些信息可以用来影响或调节第一评价参数和第二评价参数或他们的某元素的权重。例如,在学习者的性格分类为内向型时,斯虽然表现信息中的语音时长信息可能会相对少,但是课堂表现仍然具有较好的水平。在这个例子中,可以通过引入学习者属性信息来对第二评价参数进行调整,以使得结合学习者的固有性格来更准确地评估其学习效果。
又例如,可以根据所述第一评价参数、所述第二评价参数、学习者属性信息、对应课标的考核结果信息以及人工评价信息获取所述学习效果评价信息。由此,最大限度地提高学习效果评价信息的准确性和客观性。
可选地,还可以通过输出设备向数据分析人员呈现所述第一评价参数、所述第二评价参数、学习者属性信息、对应课标的考核结果信息以及人工评价信息以及对应的学习效果评价信息,以帮助教学组织者对学习者的做出恰当的学习建议。
图4是本发明实施例的电子设备的示意图。图4所示的电子设备为通用数据处理装置,其包括通用的计算机硬件结构,其至少包括处理器41和存储器42。处理器41和存储器42通过总线43连接。存储器42适于存储处理器41可执行的指令或程序。处理器41可以是独立的微处理器,也可以是多个微处理器的集合。由此,处理器41通过执行存储器42所存储的命令,从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线43将上述多个组件连接在一起,同时将上述组件连接到显示控制器44和显示装置以及输入/输出(I/O)装置44。输入/输出(I/O)装置44可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出(I/O)装置45通过输入/输出(I/O)控制器46与系统相连。
其中,存储器42可以存储软件组件,例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解,流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器,以产生机器,使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时,如本领域技术人员将意识到的,本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此,本发明实施例的各个方面可以采取如下形式:完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外,本发明的方面可以采取如下形式:在一个或多个计算机可读介质中实现的计算机程序产品,计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置,或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项:具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中,计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号,所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式,包括但不限于:电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质:不是计算机可读存储介质,并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写,所述编程语言包括:面向对象的编程语言如Java、Smalltalk、C++、PHP、Python等;以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行。部分地在用户计算机上且部分地在远程计算机上执行;或者完全地在远程计算机或服务器上执行。在后一种情况下,可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机,或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种数据处理方法,其特征在于,所述方法包括:
从视频数据中提取第一结构化信息,所述视频数据为在线教学过程中录制的学习者视频,所述第一结构化信息包括视频数据中的人脸信息;
从所述视频数据对应的音频数据中提取第二结构化信息,所述第二结构化信息包括音频数据中的语音识别信息;
根据所述第一结构化信息和所述第二结构化信息获取学习者的当前表现信息;以及
根据所述当前表现信息获取第一评价参数;
其中,所述当前表现信息为根据第一结构化信息和第二结构化信息获取的统计信息向量;所述第一评价参数用于表征所述当前表现信息相对于同一学习者的历史表现信息的分类信息;
所述方法还包括:
根据所述当前表现信息获取第二评价参数,其中,所述第二评价参数用于表征所述当前表现信息相对于不同学习者的表现信息的分类信息;
根据所述第一评价参数和所述第二评价参数获取学习效果评价信息。
2.根据权利要求1所述的数据处理方法,其特征在于,所述人脸信息包括人脸位置信息、表征检测到人脸的信息和人脸表情分类信息中的至少一项。
3.根据权利要求2所述的数据处理方法,其特征在于,所述当前表现信息和所述历史表现信息包括根据第一结构化信息获得的预定类别的人脸表情的数量信息和预定人脸姿态的数量信息中的至少一项。
4.根据权利要求1所述的数据处理方法,其特征在于,所述语音识别信息包括语音时长信息、语音信息对应的文本信息、对话次数信息和对话方切换过程中学习者语音的停顿时间信息中的至少一项。
5.根据权利要求4所述的数据处理方法,特征在于,所述当前表现信息和所述历史表现信息包括根据第二结构化信息获得的对话次数信息、学习者的语音时长信息、学习者语音时长与教学者语音时长的比例信息、文本信息的特征向量和对话方切换时学习者语音的停顿时间信息中的至少一项。
6.根据权利要求1所述的数据处理方法,其特征在于,根据所述第一评价参数和所述第二评价参数获取学习效果评价信息包括:
根据所述第一评价参数、所述第二评价参数和对应课标的考核结果信息获取所述学习效果评价信息;或者,
根据所述第一评价参数、所述第二评价参数和人工评价信息获取所述学习效果评价信息;或者,
根据所述第一评价参数、所述第二评价参数和学习者属性信息获取所述学习效果评价信息;或者,
根据所述第一评价参数、所述第二评价参数、学习者属性信息、对应课标的考核结果信息以及人工评价信息获取所述学习效果评价信息。
7.根据权利要求1所述的数据处理方法,其特征在于,所述视频数据为一次在线教学过程的视频数据;或者,
所述视频数据为一次在线教学过程的一个部分所对应的视频数据的片段;或者,
所述视频数据为一个教学单元对应的多次在线教学过程的视频数据的集合。
8.一种计算机可读存储介质,其上存储计算机程序指令,其特征在于,所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
CN201810718955.9A 2018-07-03 2018-07-03 数据处理方法、存储介质和电子设备 Active CN108898115B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810718955.9A CN108898115B (zh) 2018-07-03 2018-07-03 数据处理方法、存储介质和电子设备
PCT/CN2019/083368 WO2020007097A1 (zh) 2018-07-03 2019-04-19 数据处理方法、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810718955.9A CN108898115B (zh) 2018-07-03 2018-07-03 数据处理方法、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108898115A CN108898115A (zh) 2018-11-27
CN108898115B true CN108898115B (zh) 2021-06-04

Family

ID=64347628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810718955.9A Active CN108898115B (zh) 2018-07-03 2018-07-03 数据处理方法、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108898115B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007097A1 (zh) * 2018-07-03 2020-01-09 北京大米科技有限公司 数据处理方法、存储介质和电子设备
CN109614934B (zh) * 2018-12-12 2023-06-06 易视腾科技股份有限公司 在线教学质量评估参数生成方法及装置
CN109785977A (zh) * 2018-12-18 2019-05-21 平安科技(深圳)有限公司 自动化信息录入方法、系统、装置及存储介质
CN111354376A (zh) * 2018-12-21 2020-06-30 Tcl集团股份有限公司 一种表演能力的自动评测方法、装置及智能终端
CN110298537A (zh) * 2019-05-21 2019-10-01 威比网络科技(上海)有限公司 基于交流的网络教室建立方法、系统、设备及存储介质
CN110600033B (zh) * 2019-08-26 2022-04-05 北京大米科技有限公司 学习情况的评估方法、装置、存储介质及电子设备
CN110533992A (zh) * 2019-09-02 2019-12-03 西南大学 一种学习成效预测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师系统
WO2012135979A1 (en) * 2011-04-08 2012-10-11 Nokia Corporation Method, apparatus and computer program product for providing multi-view face alignment
CN103310373A (zh) * 2013-03-13 2013-09-18 四川天翼网络服务有限公司 一种基于音频、视频识别的银行柜面服务评价系统及方法
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估系统和方法
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107527159A (zh) * 2017-09-20 2017-12-29 江苏经贸职业技术学院 一种教学量化评估方法
CN107577991A (zh) * 2017-08-10 2018-01-12 深圳市心上信息技术有限公司 随访数据处理方法、装置、存储介质和计算机设备
CN107818785A (zh) * 2017-09-26 2018-03-20 平安普惠企业管理有限公司 一种从多媒体文件中提取信息的方法及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师系统
WO2012135979A1 (en) * 2011-04-08 2012-10-11 Nokia Corporation Method, apparatus and computer program product for providing multi-view face alignment
CN103310373A (zh) * 2013-03-13 2013-09-18 四川天翼网络服务有限公司 一种基于音频、视频识别的银行柜面服务评价系统及方法
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估系统和方法
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107577991A (zh) * 2017-08-10 2018-01-12 深圳市心上信息技术有限公司 随访数据处理方法、装置、存储介质和计算机设备
CN107527159A (zh) * 2017-09-20 2017-12-29 江苏经贸职业技术学院 一种教学量化评估方法
CN107818785A (zh) * 2017-09-26 2018-03-20 平安普惠企业管理有限公司 一种从多媒体文件中提取信息的方法及终端设备

Also Published As

Publication number Publication date
CN108898115A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108898115B (zh) 数据处理方法、存储介质和电子设备
CN109063587B (zh) 数据处理方法、存储介质和电子设备
WO2021077382A1 (zh) 一种学习状态的判断方法、装置及智能机器人
WO2020007097A1 (zh) 数据处理方法、存储介质和电子设备
CN110069707A (zh) 一种人工智能自适应互动教学系统
Yang et al. In-classroom learning analytics based on student behavior, topic and teaching characteristic mining
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN110275987A (zh) 智能教学顾问生成方法、系统、设备及存储介质
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
US20230178217A1 (en) Adjusting mental state to improve task performance and coaching improvement
CN112101074A (zh) 一种在线教育辅助评分方法和系统
CN113920534A (zh) 一种视频精彩片段提取方法、系统和存储介质
CN107578015B (zh) 一种基于深度学习的第一印象识别与回馈系统及方法
CN114219224A (zh) 一种用于智慧教室的教学质量检测方法和系统
CN112598552A (zh) 一种教育课堂数据分析系统
CN115131867A (zh) 基于学生学习效率检测方法、系统、设备及介质
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
Parambil et al. Smart classroom: A deep learning approach towards attention assessment through class behavior detection
CN115936944A (zh) 一种基于人工智能的虚拟教学管理方法及装置
US10915819B2 (en) Automatic real-time identification and presentation of analogies to clarify a concept
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Seneviratne et al. Student and lecturer performance enhancement system using artificial intelligence
CN111563697A (zh) 一种线上课堂学生情绪分析方法和系统
CN115689340A (zh) 一种基于彩色动态人脸特征的课堂质量监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant