CN109063587A - 数据处理方法、存储介质和电子设备 - Google Patents
数据处理方法、存储介质和电子设备 Download PDFInfo
- Publication number
- CN109063587A CN109063587A CN201810759328.XA CN201810759328A CN109063587A CN 109063587 A CN109063587 A CN 109063587A CN 201810759328 A CN201810759328 A CN 201810759328A CN 109063587 A CN109063587 A CN 109063587A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- courseware
- video data
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 42
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 39
- 230000009471 action Effects 0.000 claims description 21
- 238000013145 classification model Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 15
- 239000013598 vector Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
公开了一种数据处理方法、存储介质和电子设备。本发明实施例的技术方案根据从记录的视频数据和对应的音频数据中分别提取第一结构化信息和第二结构化数据,从而可以从图像和语音两个维度获取教学者的状态，并基于提取获得的上述状态通过分类评估模型来对在线教学的情况进行评估获取评估参数。由此，可以快速地处理对海量的在线教学的视频和音频数据进行较为客观、准确的评估处理。
Description
技术领域
本发明涉及数据处理和机器学习技术，具体涉及一种数据处理方法、存储介质和电子设备，更具体地，涉及基于视频数据和音频数据对在线教学状态进行评估的方法和相关装置。
背景技术
随着互联网技术的发展，基于网络的在线教学得到越来越广泛的应用。知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。为了对于在线教学的讲解情况进行了解和评估，通常需要依赖于基于人工进行录像回看或进行在线监督。但是，如果在线课堂的数量比较大，则会涉及大量的音视频数据，采用人工方式会消耗大量的人力资源，甚至根本无法完成。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、存储介质和电子设备，以自动化地对于在线录制的音频数据进行处理，对在线教学的情况进行较为准确的自动化评估。
根据本发明实施例的第一方面，提供一种数据处理方法，其中，所述方法包括：
从视频数据中提取第一结构化信息，所述视频数据为在线教学过程中录制的教学者视频，所述第一结构化信息包括视频数据中的人脸信息和/或动作信息；
从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息；
根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。
根据本发明实施例的第二方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
根据本发明实施例的第三方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
本发明实施例的技术方案根据从记录的视频数据和对应的音频数据中分别提取第一结构化信息和第二结构化数据以从图像和语音两个维度获取教学者的状态，并基于提取获得的上述状态通过分类评估模型来对在线教学的情况进行评估获取评估参数。由此，可以快速地对海量的在线教学视频数据和音频数据进行较为客观、准确的评估处理。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图；
图2是本发明实施例的在线教学系统的客户端应用的界面示意图；
图3是本发明实施例的数据处理方法的流程图；
图4是本发明实施例的方法获取评价参数的流程图；
图5是本发明另一个实施例的数据处理方法的数据流向图；
图6是本发明实施例结合课件操作数据提取第一结构化信息的流程图；
图7是本发明实施例结合课件操作数据提取第二结构化信息的流程图；
图8是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明的数据处理方法适用于基于预定的课件进行在线音视频教学的场景。图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图。如图1所示，所述在线教学系统包括第一客户端1、第二客户端2和服务器3。其中，第一客户端1、第二客户端2和服务器3通过网络通信连接。第一客户端1和第二客户端2可以直接或通过服务器3间接地建立通信连接后实时通信进行在线教学的活动。第一客户端1可以由教学者操作。第二客户端2可以由学习者操作。同时，服务器3同时与第一客户端1和第二客户端2形成通信连接，对两者之间交互的数据进行存储。第一客户端1和第二客户端2可以访问服务器3获取课件数据进行展示，从而实现基于课件的在线教学。在本实施例使用的在线教学系统中，第一客户端1和第二客户端2展示的课件内容同步变化，使得教学者和学习者可以同步地，基于课件的相同部分进行交流。应理解，第一客户端1和第二客户端2可以为任何运行有预定计算机应用程序的通用数据处理设备，例如台式计算机、便携式计算机、平板计算机、智能手机等。服务器3为用于运行预定计算机应用程序的高性能数据处理设备，其可以是一台服务器，也可以是分布式部署的服务器集群，还可以是以虚拟机或容器方式部署的虚拟服务器集群。应理解，在本发明实施例的在线教学系统中，大量的第一客户端1以一对一、一对多、或多对多的方式与第二客户端2建立通信连接进行通信。
图2是本发明实施例的在线教学系统的客户端应用的界面示意图。如图2所示，本实施例的客户端应用可以在应用界面的主窗口21显示课件，并在应用界面的子窗口22显示对方的图像采集装置采集的实时图像。通常，在应用界面的子窗口22中显示的对方的上半身的视频。由此，通信的双方可以同时看到课件和对方的状态。同时，在主窗口中显示的课件内容受控于教学者一端的操作进行切换或者显示轨迹。具体地，教学者在第一客户端1上可以在课件上进行页面切换(也即，翻页)或对课件的内容进行轨迹操作。所述轨迹操作是指在课件上通过轨迹标识内容或绘制图像。例如，教学者可以通过线或者圆圈来突出标识课件的某些内容，也可以通过手写或鼠标操作通过轨迹绘制图形或文字。服务器3可以记录教学过程中教学者在第一客户端1上所施加的所有的课件操作(包括页面切换操作和轨迹操作)。服务器3还可以记录教学者在整个教学过程中的音频数据以及学习者在教学过程中的音频数据。所述音频数据包括对应的语音信息。
本实施例的方法通过对服务器3记录的视频数据和音频数据进行处理，以自动化地评估教学过程的情况。
如上所述，在在线教学的过程中，学习者主要从三个维度来获取信息，一方面是课件上的内容，另一方面是教学者进行讲解的语音信息，第三个方面是教学者的视频。通过视频可以使得学习者具有面对面交流的体验。一方面，对于语言学习或音乐学习的场景，学习者可以通过视频中教学者的口型学习发音的技巧。另一个方面，在各种教学场景下，教学者的面部(人脸)表情以及动作可以向学习者传达语音无法传达的信息，而且可以带动教学的气氛，提升教学质量。从提高教学质量和学习者满意度的角度，期望教学者在教学过程中能恰当地运用表情和动作来调节教学氛围以及增强沟通效果。同时，期望教学者的面部始终位于视频中，处于学习者可视的状态。
图3是本发明实施例的数据处理方法的流程图。如图3所示，本实施例的数据处理方法包括如下步骤：
在步骤S100，从视频数据中提取第一结构化信息。其中，所述视频数据为在线教学过程中录制的教学者视频。所述第一结构化信息包括视频数据中的人脸信息和/或动作信息。
视频数据可以看作图像的时间序列。通过对每一帧图像或某些关键帧图像进行识别处理可以识别得到图像中的人脸图像信息。进一步，根据延时间轴排列的不同图像的人脸图像信息，就可以获取到视频数据中的人脸信息。同时，可以采用各种现有的技术来识别视频中的动作信息。本实施例通过从视频数据中提取第一结构化信息对教学者在教学过程中的视觉表现进行评估。
在一个可选的实现方式中，第一结构化信息包括人脸信息和动作信息。
其中，人脸信息包括人脸位置信息、表征检测到人脸的信息和人脸表情分类信息中的至少一项。通过人脸检测算法可以有效地检测获取人脸是否出现在图像中以及人脸的具体位置。人脸检测算法包括例如参考模板法、人脸规则法、特征子脸法以及样本识别法等。所获取的人脸位置信息可以通过人脸区域的数据结构R(X，Y，W，H)来表示。其中，R(X，Y，W，H)限定了图像中包括人脸主要部分的一个矩形区域，其中，X和Y限定了该矩形区域的一个端点的坐标，W和H分别限定该矩形区域的宽度和高度。由于人脸五官的分布具有较高的相似性，因此，在检测获得人脸区域信息后，就可以对人脸区域内的图像进行进一步检测来获取五官的位置。例如，可以利用Dlib来进行上述的人脸检测和唇部关键点信息获取。Dlib是一个包含机器学习算法的C++开源工具包。在Dlib中，将人脸的五官和轮廓通过68个关键点来进行标识。由于人的表情不同时，人脸的五官位于不同的相对位置和状态，因此，通过自行训练的分类器或者相关开发函数库提供的分类器就可以对表情进行识别和分类。又例如，可以基于OpenCV库来实现对于表情的识别。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。在现有技术(“基于opencv的人脸表情识别系统的设计与实现”，秦续洋，硕士学位论文，郑州大学；2013年)中描述了通过OpenCV进行表情识别的方法。又例如，也可以调用现有的商业表情识别软件接口来进行表情识别。现有的各图像识别服务提供商，例如百度AI,商汤科技均可以提供表情识别的服务接口。
在获取到各图像中的人脸位置信息和人脸表情分类信息后，就可以获得视频数据对应的上述两个信息的时间序列。根据上述时间序列就可以通过统计或其它手段获取人脸信息，进而进行进一步的处理和评估。
同时，现有技术也可以根据视频数据对人体的动作来进行识别，获得视频中人体的动作信息。所述动作信息可以包括人体的肢体动作。在一个可选实现方式中，可以通过手部识别来识别获得视频数据中人手的位置，跟踪人手的动作，将其移动轨迹的相关信息作为动作信息。
通过包括人脸信息和动作信息的第一结构化信息，就可以对于教学者在教学过程中的可视表现进行评估。
应理解，也可以仅采集人脸信息或动作信息作为第一结构化信息。
在步骤S200，从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息。
应理解，步骤S100和步骤S200可以同时执行也可以先后执行，在先后执行时，两者的执行顺序不受限制。
基于语音的交流是在线教学的重要手段。在线教学过程中，教学者和学习者的对话的所有的语音信息录制为具有不同音轨的音频文件。其中，教学者一侧终端采集的音频数据和学习者一侧终端采集的音频数据采用不同的音轨存储。因此，可以针对教学者的音频数据进行分析和评估。在本实施例中，通过从音频数据中提取第二结构化信息对教学者在教学过程中的语音方面呈现出来的表现进行评估。其中第二结构化信息包括通过对音频数据进行语音识别获得的语音识别信息。语音识别技术是对于包含语音信息的音频数据进行处理，以获取与语音内容相关的信息的技术。在本实施例中，通过语音识别获得的语音识别信息可以是语音时长信息，也可以是语音信息对应的文本信息，还可以是对话次数信息。文本信息可以体现教学过程中教学者讲解的具体内容，其可以作为后续评估的基础。同时，语音时长信息是指音频数据中检测到语音的时间轴信息。由于在教学过程中教学者可能并不是持续地在进行讲解，因此，语音时长信息以及对话次数信息一定程度上可以反映教学者与学习者交流的强度。本步骤获取的语音识别信息同时也带有时间轴信息。对于文本信息，所述时间轴信息表征文本中的文字内容对应在时间轴上的时间。对于语音时长信息，时间轴信息表征语音时长的起点时间和终点时间。对于对话次数信息，时间轴信息表征对话中讲话对象切换的时间点。
在步骤S300，根据第一结构化信息、第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。
如上所述，第一结构化信息包括视频数据中的人脸信息和/或动作信息。第二结构化数据包括视频数据对应的音频数据的语音识别信息。语音识别信息可以包括文本信息、语音时长信息和对话次数信息。对于在线教学的过程，教学组织者或监管者的期望通常是教学者的表现不要大幅偏离平均的表现。这意味着不同的在线课堂的视频数据中，期望人脸信息和/或动作信息的统计数据是趋近的，不同在线课堂的音频数据中，期望语音识别数据的统计信息也是趋近的。因此，在一个可选实现方式中，通过将提取获得的信息与对应的平均状态信息比较，来获取对视频数据和音频数据的评价参数。具体地，如图4所示，步骤S300可以包括如下步骤：
在步骤S310，将第一结构化信息与分类评价模型的第一平均状态信息比较获取第一比较参数。其中，所述第一平均状态信息根据历史视频数据对应的第一结构化信息获得。具体地，可以通过统计平均或加权平均来获得。
例如，第一结构化信息包括人脸信息和动作信息，其中，人脸信息包括积极表情占比(人脸表情分类信息)以及人脸位置的平均坐标和坐标方差。动作信息包括视频数据中手部轨迹的持续时间。第一平均状态信息则可以包括根据历史视频数据统计获得的上述各项参数的平均值，也即，积极表情占比的平均值、人脸位置平均坐标的平均值以及坐标方差的平均值和手部轨迹持续时间的平均值。上述平均值可以通过对历史视频数据分别提取第一结构化信息，进而对所有的第一结构化信息计算平均值获得。第一结构化信息可以构成一个一维向量，向量的每个元素是上述参数中的一项。同时，平均状态信息也构成一个一维向量。通过计算两个向量之间或向量在特定平面投影之间的夹角，或者两个向量之间的距离，就可以获得表征第一结构化信息和第一平均状态信息差异度的第一比较参数。
应理解，第一平均状态信息的获取方式并不限于求平均，还可以对不同的历史视频数据赋予不同的权重，通过加权平均来获取。
还应理解，对于第一结构化信息和第一平均状态数据进行比较也可以采用其他方式，只要能够获得表征两者差异度的第一比较参数即可。例如，可以对第一结构化信息中的各元素求取加权和，对第一平均状态数据的各元素求取加权和，通过两个加权和的差值来作为第一比较参数。
步骤S320，将所述第二结构化数据和与所述分类评价模型的第二平均状态信息比较获取第二比较参数。其中，所述第二平均状态信息根据历史音频数据对应的第二结构化数据获得。具体地，可以通过统计平均或加权平均来获得。
应理解，步骤S310和步骤S320可以同时执行也可以先后执行，在先后执行时，两者的执行顺序不受限制。
例如，第二结构化数据包括音频数据中的语音所对应的文本信息。可以通过如下方式来获取文本信息的平均状态信息。在文本处理中，通常采用向量空间模型(VSM)来标识文本。向量空间模型以一个向量来表征一段文本信息，向量中的每一项为特征项的权重。特征项可以是文本中信息的字、词或词组。通过分词以及统计词频等操作，就可以获取到文本的特征项以及特征项的权重。如果必要的话，可以对向量进行特征提取，降低向量的维数以降低数据处理的计算量。经过提取后的特征向量为文本信息在一个预定的特征空间中的映射，其可以唯一地表征文本信息。由此，在对于大量的同类文本进行向量化操作以及特征提取后，就可以获得每个文本对应的特征向量。这些特征向量的平均值就可以作为这一类文本信息的平均状态信息。上述过程中的分词、词频统计、文本的向量化表达以及特征提取均可以采用现有的各种文本处理技术来实现。对文本信息与平均状态信息进行比较的操作可以通过计算文本信息对应的特征向量和平均状态信息在特征空间中的距离或者在某一投影平面上的夹角来实现。所述距离和夹角的数值就可以表征文本信息与平均状态信息之间的差异程度，从而作为所述的第二比较参数。
又例如，第二结构化数据包括音频数据的语音长度信息和对话次数信息。第二平均状态信息则可以为根据历史音频数据提取获得的语音长度信息的平均值和对话次数信息的平均值。通过比较两个向量或上述信息的加权和的差异就可以得到第二比较参数。在这种情况下获取第二比较参数的方式与获取第一比较参数的方式类似。
又例如，第二结构化数据既包括文本信息又包括语音长度信息和对话次数信息，则可以先基于文本信息获取对应的文本比较参数，然后基于语音长度信息和对话次数信息获取非文本比较参数，将文本比较参数和非文本比较参数加权求和或加权平均就可以得到第二比较参数。
步骤S330，根据所述第一比较参数和所述第二比较参数加权求和获取所述评价参数。
第一比较参数可以表征视频数据中与教学者表现相关的数据和历史视频数据的平均状态的差异。第二比较参数可以表征音频数据中与教学者表现相关的数据与历史音频数据的平均状态的差异。通过对两者进行加权求和就可以得到对视频数据和音频数据的评价参数。基于该参数，可以对于视频数据和音频数据记录的教学者的教学过程进行快速、客观的评价。第一比较参数和第二比较参数的权重可以根据应用场景中视频和音频之间的相对重要性来设置。
上述实现方式提供了一种无监督的分类评价模型来进行分类。实际上，也可以采用其他的无监督的分类方式来获取评价参数。例如，可以将所有的视频数据和音频数据提取的第一结构化信息和第二结构化数据分别进行无监督聚类，基于无监督聚类结果来计算评价参数。无监督聚类可以采用例如K均值聚类、核K均值聚类、谱聚类等方法。
在另一个可选实现方式中，通过有监督的分类评价模型来获取所述评价参数。其中，有监督的分类评价模型根据带有标注的第一结构化信息样本和带有标注的第二结构化数据样本训练获得。所述分类评价模型以第一结构化信息和第二结构化数据为输入参数，以所述评价参数为输出参数。其中，所述第一结构化信息样本包括历史视频数据对应的第一结构化信息和人工标注的评价参数。所述第二结构化数据样本包括历史音频数据对应的第二结构化数据和人工标注的评价参数。对于本实施例，可以采用例如SVM(支持向量机，Support Vector Machines)、线性回归、逻辑回归、朴素贝叶斯、线性判别分析、决策树、K-NN(K-临近，K-nearest neighbor analysis)等各种现有的建模方式建立所述分类模型。
本发明实施例的技术方案根据从记录的视频数据和对应的音频数据中分别提取第一结构化信息和第二结构化数据，从而可以从图像和语音两个维度获取教学者的状态，并基于提取获得的上述状态通过分类评估模型来对在线教学的情况进行评估获取评估参数。由此，可以快速地处理对海量的在线教学的视频和音频数据进行较为客观、准确的评估处理。
进一步地，在线教学活动通常基于课件的展示来开展。不同的教学者基于相同的课件来开展教学活动时，教学活动会由于课件的存在呈现出更加结构化和标准化的趋势。在此前提下，可以基于课件的结构来对视频数据和对应的音频数据进行划分，划分获得的视频数据片段和音频数据片段实际对应于课件的一页或者一部分。在本发明的另一个实施例中，可以按照与上述实施例相同的方式来对视频数据片段和音频数据片段分别进行结构化数据的提取，然后合并不同视频数据片段的结构化数据获得第一结构化信息，合并不同音频数据片段的结构化数据获得第二结构化数据。对于视频数据和音频数据的划分可以根据课件操作数据来进行。所述课件操作数据包括课件的操作记录，其中记录了教学者对课件进行页面切换操作的时间点。
图5为本实施例的数据处理方法的数据流程图。如图5所示，在步骤S100’，结合课件操作数据从视频数据中提取所述第一结构化信息。其中，第一结构化信息包括不同课件操作区间对应的人脸信息和/或动作信息。在一个可选实现方式中，如图6所示，步骤S100’包括如下步骤：
在步骤S110，根据课件操作数据将时间轴划分为多个课件操作区块。
具体地，可以根据课件操作数据中的页面切换数据将每一页课件对应的时间轴作为一个课件操作区块。
在步骤S120，根据划分获得的课件操作区块从所述视频数据的对应部分中提取对应的第一相关信息。其中，所述第一相关信息包括所述视频数据的对应部分中的人脸信息和/或动作信息。
根据划分后的时间轴(也即不同的课件操作区块)就可以对视频数据进行分段，对每一段视频数据进行结构化数据的提取获得第一相关信息。这一提取的过程和对整个视频数据提取人脸信息或动作信息的方式相同。
在步骤S130，根据各课件操作区块的所述第一相关信息获取所述第一结构化信息。
通过将各课件操作区块的第一相关信息按顺序合并为一个数组或一维向量，就可以获得本实施例的第一结构化信息。也就是说，在本实施例中，第一结构化信息为第一相关信息组成的向量。
在步骤S200’，结合课件操作数据从所述音频数据中提取所述第二结构化信息。其中，第二结构化信息包括不同课件操作区间的语音识别信息。在一个可选实现方式中，如图7所示，步骤S200’包括如下步骤：
在步骤S210，根据课件操作数据将时间轴划分为多个课件操作区块。
在步骤S220，根据划分获得的课件操作区块从所述音频数据的对应部分中提取对应的第二相关信息。其中，所述第二相关信息包括所述音频数据的对应部分中的语音识别信息。第二相关信息的提取方式，与上一实施例中提取语音识别信息的方式相同。
在步骤S230，根据各课件操作区块的所述第二相关信息获取所述第二结构化信息。
具体地，通过将各课件操作区块的第二相关信息按顺序合并为一个数组或一维向量，就可以获得本实施例的第二结构化信息。也就是说，在本实施例中，第二结构化信息为第二相关信息组成的向量。
在步骤S300’,根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。
对应地，在本步骤中，可以按照上一实施例相同的方式根据第一结构化信息和第二结构化信息对每个课件操作区间对应的视频数据片段的第一相关信息和音频数据片段的第二相关信息获取子评价参数，并根据不同课件操作区间的预定权重对子评价参数进行加权求和获取评价参数。
也可以将第一结构化信息和第二结构化信息整体输入到分类评价模型中，根据分类评价模型的输出直接获取评价参数。所述分类评价模型可以是无监督模型也可以是有监督模型。
由此，本实施例通过基于课件操作数据来对视频数据和音频数据进行划分，由此，可以有效地对教学内容相同的部分进行对标分析，提高评估的准确性。
图8是本发明实施例的电子设备的示意图。图8所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器81和存储器82。处理器81和存储器82通过总线83连接。存储器82适于存储处理器81可执行的指令或程序。处理器81可以是独立的微处理器，也可以是多个微处理器的集合。由此，处理器81通过执行存储器82所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线83将上述多个组件连接在一起，同时将上述组件连接到显示控制器84和显示装置以及输入/输出(I/O)装置88。输入/输出(I/O)装置88可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置85通过输入/输出(I/O)控制器86与系统相连。
其中，存储器82可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解，流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时，如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明的方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Smalltalk、C++、PHP、Python等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行。部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，所述方法包括：
从视频数据中提取第一结构化信息，所述视频数据为在线教学过程中录制的教学者视频，所述第一结构化信息包括视频数据中的人脸信息和/或动作信息；
从所述视频数据对应的音频数据中提取第二结构化信息，所述第二结构化数据包括音频数据中的语音识别信息；
根据所述第一结构化信息、所述第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数。
2.根据权利要求1所述的数据处理方法，其特征在于，所述人脸信息包括人脸位置信息、表征检测到人脸的信息和人脸表情分类信息中的至少一项。
3.根据权利要求1所述的数据处理方法，其特征在于，所述动作信息包括手的轨迹信息。
4.根据权利要求1所述的数据处理方法，其特征在于，所述语音识别信息包括语音时长信息、语音信息对应的文本信息和对话次数信息中的至少一项。
5.根据权利要求1所述的数据处理方法，其特征在于，所述从视频数据中提取第一结构化信息包括：
结合课件操作数据从视频数据中提取所述第一结构化信息；
其中，课件操作数据包括课件的操作记录。
6.根据权利要求5所述的数据处理方法，其特征在于，所述结合课件操作数据从视频数据中提取所述第一结构化信息包括：
根据课件操作数据将时间轴划分为多个课件操作区块；
根据划分获得的课件操作区块从所述视频数据的对应部分中提取对应的第一相关信息；其中，所述第一相关信息包括所述视频数据的对应部分中的人脸信息和/或动作信息；
根据各课件操作区块的所述第一相关信息获取所述第一结构化信息。
7.根据权利要求1所述的数据处理方法，其特征在于，所述从所述视频数据对应的音频数据中提取第二结构化信息包括：
结合课件操作数据从所述音频数据中提取所述第二结构化信息；
其中，课件操作数据包括课件的操作记录。
8.根据权利要求7所述的数据处理方法，其特征在于，所述结合课件操作数据从所述音频数据中提取所述第二结构化信息包括：
根据课件操作数据将时间轴划分为多个课件操作区块；
根据划分获得的课件操作区块从所述音频数据的对应部分中提取对应的第二相关信息；其中，所述第二相关信息包括所述音频数据的对应部分中的语音识别信息；
根据各课件操作区块的所述第一相关信息获取所述第一结构化信息。
9.根据权利要求1所述的数据处理方法，其特征在于，根据第一结构化信息、第二结构化数据和分类评价模型获取对于所述视频数据和所述音频数据的评价参数包括：
将第一结构化信息与所述分类评价模型的第一平均状态信息比较获取第一比较参数，其中，所述第一平均状态信息根据历史视频数据对应的第一结构化信息获得；
将所述第二结构化数据和与所述分类评价模型的第二状态信息比较获取第二比较参数，其中，所述第二平均状态信息根据历史音频数据对应的第二结构化数据获得；
根据所述第一比较参数和所述第二比较参数加权求和获取所述评价参数。
10.根据权利要求1所述的数据处理方法，其特征在于，所述分类评价模型根据带有标注的第一结构化信息样本和带有标注的第二结构化数据样本训练获得，所述分类评价模型以第一结构化信息和第二结构化数据为输入参数，以所述评价参数为输出参数；其中，所述第一结构化信息样本包括历史视频数据对应的第一结构化信息，所述第二结构化数据样本包括历史音频数据对应的第二结构化数据。
11.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-10中任一项所述的方法。
12.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-10中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759328.XA CN109063587B (zh) | 2018-07-11 | 2018-07-11 | 数据处理方法、存储介质和电子设备 |
| PCT/CN2019/083368 WO2020007097A1 (zh) | 2018-07-03 | 2019-04-19 | 数据处理方法、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759328.XA CN109063587B (zh) | 2018-07-11 | 2018-07-11 | 数据处理方法、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063587A true CN109063587A (zh) | 2018-12-21 |
| CN109063587B CN109063587B (zh) | 2021-02-26 |
Family
ID=64816088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810759328.XA Active CN109063587B (zh) | 2018-07-03 | 2018-07-11 | 数据处理方法、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063587B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110062289A (zh) * | 2019-04-15 | 2019-07-26 | 广州森季软件科技有限公司 | 一种文件播放方法和装置、终端、可读存储介质 |
| CN110287417A (zh) * | 2019-06-26 | 2019-09-27 | 北京谦仁科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN110650369A (zh) * | 2019-09-29 | 2020-01-03 | 北京谦仁科技有限公司 | 一种视频处理方法、装置、存储介质及电子设备 |
| WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN111144735A (zh) * | 2019-12-23 | 2020-05-12 | 北京欧珀通信有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN111401100A (zh) * | 2018-12-28 | 2020-07-10 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、设备及存储介质 |
| CN111507873A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种基于声音图像联合采样的课堂参与度评估方法 |
| CN111833861A (zh) * | 2019-04-19 | 2020-10-27 | 微软技术许可有限责任公司 | 基于人工智能的事件评估报告生成 |
| CN112906650A (zh) * | 2021-03-24 | 2021-06-04 | 百度在线网络技术（北京）有限公司 | 教学视频的智能处理方法、装置、设备和存储介质 |
| CN112991742A (zh) * | 2021-04-21 | 2021-06-18 | 四川见山科技有限责任公司 | 一种实时交通数据的可视化仿真方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110159471A1 (en) * | 2009-12-31 | 2011-06-30 | Chunghwa Telecom Co., Ltd. | Audio/video teaching system |
| CN106156901A (zh) * | 2015-03-11 | 2016-11-23 | 无锡凯数科技有限公司 | 一种教学实践管理评价系统和方法 |
| CN107240047A (zh) * | 2017-05-05 | 2017-10-10 | 广州盈可视电子科技有限公司 | 一种教学视频的学分评估方法和装置 |
| CN107256522A (zh) * | 2017-04-13 | 2017-10-17 | 杭州博世数据网络有限公司 | 基于云教学平台的教学评价系统 |
| CN107316257A (zh) * | 2017-06-06 | 2017-11-03 | 南京信息工程大学 | 一种基于课堂学生行为分析的教学质量评估方法及系统 |
| CN107895244A (zh) * | 2017-12-26 | 2018-04-10 | 重庆大争科技有限公司 | 课堂教学质量评估方法 |
-
2018
- 2018-07-11 CN CN201810759328.XA patent/CN109063587B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110159471A1 (en) * | 2009-12-31 | 2011-06-30 | Chunghwa Telecom Co., Ltd. | Audio/video teaching system |
| CN106156901A (zh) * | 2015-03-11 | 2016-11-23 | 无锡凯数科技有限公司 | 一种教学实践管理评价系统和方法 |
| CN107256522A (zh) * | 2017-04-13 | 2017-10-17 | 杭州博世数据网络有限公司 | 基于云教学平台的教学评价系统 |
| CN107240047A (zh) * | 2017-05-05 | 2017-10-10 | 广州盈可视电子科技有限公司 | 一种教学视频的学分评估方法和装置 |
| CN107316257A (zh) * | 2017-06-06 | 2017-11-03 | 南京信息工程大学 | 一种基于课堂学生行为分析的教学质量评估方法及系统 |
| CN107895244A (zh) * | 2017-12-26 | 2018-04-10 | 重庆大争科技有限公司 | 课堂教学质量评估方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN111401100A (zh) * | 2018-12-28 | 2020-07-10 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、设备及存储介质 |
| US11762905B2 (en) | 2018-12-28 | 2023-09-19 | Bigo Technology Pte. Ltd. | Video quality evaluation method and apparatus, device, and storage medium |
| CN110062289A (zh) * | 2019-04-15 | 2019-07-26 | 广州森季软件科技有限公司 | 一种文件播放方法和装置、终端、可读存储介质 |
| CN111833861A (zh) * | 2019-04-19 | 2020-10-27 | 微软技术许可有限责任公司 | 基于人工智能的事件评估报告生成 |
| CN111833861B (zh) * | 2019-04-19 | 2024-08-16 | 微软技术许可有限责任公司 | 基于人工智能的事件评估报告生成 |
| CN110287417A (zh) * | 2019-06-26 | 2019-09-27 | 北京谦仁科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN110650369A (zh) * | 2019-09-29 | 2020-01-03 | 北京谦仁科技有限公司 | 一种视频处理方法、装置、存储介质及电子设备 |
| CN110650369B (zh) * | 2019-09-29 | 2021-09-17 | 北京谦仁科技有限公司 | 一种视频处理方法、装置、存储介质及电子设备 |
| CN111144735B (zh) * | 2019-12-23 | 2023-08-04 | 北京欧珀通信有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN111144735A (zh) * | 2019-12-23 | 2020-05-12 | 北京欧珀通信有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN111507873A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种基于声音图像联合采样的课堂参与度评估方法 |
| CN112906650B (zh) * | 2021-03-24 | 2023-08-15 | 百度在线网络技术（北京）有限公司 | 教学视频的智能处理方法、装置、设备和存储介质 |
| CN112906650A (zh) * | 2021-03-24 | 2021-06-04 | 百度在线网络技术（北京）有限公司 | 教学视频的智能处理方法、装置、设备和存储介质 |
| CN112991742A (zh) * | 2021-04-21 | 2021-06-18 | 四川见山科技有限责任公司 | 一种实时交通数据的可视化仿真方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063587B (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063587A (zh) | 数据处理方法、存储介质和电子设备 | |
| US10776970B2 (en) | Method and apparatus for processing video image and computer readable medium | |
| CN108009521B (zh) | 人脸图像匹配方法、装置、终端及存储介质 | |
| US9875445B2 (en) | Dynamic hybrid models for multimodal analysis | |
| CN107492379B (zh) | 一种声纹创建与注册方法及装置 | |
| CN107680019B (zh) | 一种考试方案的实现方法、装置、设备及存储介质 | |
| CN108717663B (zh) | 基于微表情的面签欺诈判断方法、装置、设备及介质 | |
| CN109508687A (zh) | 人机交互控制方法、装置、存储介质和智能设备 | |
| CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| CN108898115B (zh) | 数据处理方法、存储介质和电子设备 | |
| Kang et al. | Development of head detection and tracking systems for visual surveillance | |
| WO2021139316A1 (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
| CN108491808B (zh) | 用于获取信息的方法及装置 | |
| WO2020007097A1 (zh) | 数据处理方法、存储介质和电子设备 | |
| CN110275987A (zh) | 智能教学顾问生成方法、系统、设备及存储介质 | |
| Fagiani et al. | Signer independent isolated Italian sign recognition based on hidden Markov models | |
| US11860925B2 (en) | Human centered computing based digital persona generation | |
| CN113343831A (zh) | 视频中说话人分类方法、装置、电子设备和存储介质 | |
| CN112149615A (zh) | 人脸活体检测方法、装置、介质及电子设备 | |
| CN111931628B (zh) | 人脸识别模型的训练方法、装置及相关设备 | |
| CN113642481A (zh) | 识别方法、训练方法、装置、电子设备以及存储介质 | |
| CN112087590A (zh) | 图像处理方法、装置、系统及计算机存储介质 | |
| CN116824677B (zh) | 表情识别方法、装置、电子设备及存储介质 | |
| Zeng et al. | Video‐driven state‐aware facial animation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |