CN116452072B - 一种教学评价方法、系统、设备和可读存储介质 - Google Patents
一种教学评价方法、系统、设备和可读存储介质 Download PDFInfo
- Publication number
- CN116452072B CN116452072B CN202310722746.2A CN202310722746A CN116452072B CN 116452072 B CN116452072 B CN 116452072B CN 202310722746 A CN202310722746 A CN 202310722746A CN 116452072 B CN116452072 B CN 116452072B
- Authority
- CN
- China
- Prior art keywords
- analysis
- teaching
- knowledge graph
- processing result
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 236
- 230000000694 effects Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013519 translation Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims description 73
- 230000001815 facial effect Effects 0.000 claims description 44
- 230000008451 emotion Effects 0.000 claims description 34
- 230000006399 behavior Effects 0.000 claims description 32
- 230000002194 synthesizing effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000010354 integration Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开了一种教学评价方法、系统、设备和可读存储介质，方法包括：采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。本申请利用AI算法对课堂教学行为进行分析统计，生成全面的、标准化的、多元化的反映课堂教学活动的教学评价报告。
Description
技术领域
本申请涉及数字教育领域，更具体地说，涉及的一种教学评价方法、系统、设备和可读存储介质。
背景技术
传统的教师课堂教学评价，主要是教育机构通过组织专家队伍对教师教学行为进行随堂评测，评价过程基本为全人为操作，其不可避免的存在以下几个问题：
第一、由于测评一般为随机性由不同专家进行评价，难以以统一标准进行评价，存在评价主观性强、经验主义严重、重理论输出而轻知识输入等问题，导致难以用定量数据真实反映教师在课堂教学活动中的真实教学情况；
第二、无法连贯式记录教师教学生涯中的成长档案；
第三、受制于人力因素，无法大批量的进行教学评价。
基于此，本申请提出了一种教学评价方案以规避上述弊端。
发明内容
有鉴于此，本申请提供了一种教学评价方法、系统、设备和可读存储介质，利用AI算法对课堂教学过程中的课堂教学行为进行分析统计，生成全面的、标准化的、多元化的反映课堂教学活动的教学评价报告。
一种教学评价方法，包括：
采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；
对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；
对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
可选的，所述用户的分析需求包括至少一项分析需求；
所述基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，包括：
当所述分析需求为一项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱；
当所述分析需求为多项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱。
可选的，所述对多个知识图谱进行合成后得到第二知识图谱，包括：
根据所述多个知识图谱中各项数据的数据关联性进行分类，对每一类进行分布占比统计，按照所述分布占比统计的结果生成第二知识图谱。
可选的，当所述分析需求为词云分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为姿态分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为资源分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述提交数据进行资源AI分析，智能识别并统计出所述课堂教学中教师和学生分别对课堂教学资源的使用情况，生成资源整合知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为人脸分析和情绪分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行情绪AI分析，智能识别并统计出所述课堂教学中教师和学生分别的情绪表现情况，生成情绪表现知识图谱；
统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为人脸分析、姿态分析和注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱和所述教师注意力分布知识图谱，按照教师在学生区域的注意力空间分布占比、教师在各个教学区域的停留时间分布占比、教师在各个教学区域的注意力时间分布占比，分别生成区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱；
根据所述区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱，生成注意力分布知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为词云分析和语言分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱；
对所述语音处理结果进行语言AI分析，智能识别出所述课堂教学中课堂语言的内容转译文本的关键问答词句，生成问答内容知识图谱；
基于所述教师词云统计知识图谱和所述问答内容知识图谱，按照教师课堂问答有效性进行分类，统计生成课堂提问知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为人脸分析、姿态分析、注意力分析和声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱、所述教师注意力分布知识图谱和所述教师语速统计知识图谱，按照课堂活动类型统计对应的活动时间分配占比，生成课堂时间分配知识图谱并作为所述第二知识图谱。
一种教学评价系统，包括：
数据采集模块，用于采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；
语音处理模块，用于对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；
视频处理模块，用于对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
评价分析模块，用于基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
一种教学评价设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上述的教学评价方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的教学评价方法的各个步骤。
从上述的技术方案可以看出，本申请实施例提供的一种教学评价方法、系统、设备和可读存储介质，采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求，通过对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果，之后在通过对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果。最后，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
本申请对音视频数据进行预处理，过滤掉冗余数据，降低硬件成本，便携性强，利用AI算法对课堂教学过程中的课堂教学行为进行分析统计，可实现以一个统一的标准进行教学评价，避免人为因素导致的评价偏差，并可形成连贯式记录，生成全面的、标准化的、多元化的反映课堂教学活动的教学评价报告。本申请通过分别采集教师、学生两者在课堂活动中的情况并记录，智能化的AI算法得到用于评价的多模态评价数据，并生成对应的教学评价报告，无需如传统评价方式需要大量人力，可实现大批量的进行教学评价。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种教学评价方法的流程图；
图2为本申请公开的一种教学评价系统的结构框图；
图3为本申请公开的一种教学评价设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
接下来介绍本申请方案，本申请提出如下技术方案，具体参见下文。
图1为本申请实施例公开的一种教学评价方法的流程图，如图1所示，该方法可以包括：
步骤S1、采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求。
具体的，本申请的教学评价方法可以应用于如教师端、学生端两路摄像机等具有音视频数据采集功能的装置、视频编码器等具有音视频数据处理功能的装置、AI算法引擎等具有AI评价分析功能的装置构成的系统中，其中教师端、学生端两路摄像机可分别用于采集教师、学生两者在课堂活动中的情况并记录，视频编码器可以利用数据处理主机对音视频装置采集到的课堂教学过程中的音视频数据进行编码、处理、分析等操作，为AI算法提供数据源支持，利用AI算法平衡当前传统课堂教学评价中纯人工评价带来的各种弊端，分析统计得到课堂教学的多模态评价数据，从而生成对应的教学评价报告。
步骤S2、对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果。
具体的，本申请对所述音视频数据中的音频数据进行编码转换，将连续的模拟信号通过采样、量化、编码的方式转换成离散的数字信号，通过教室端的阵列麦克风采集教室内的声音，输入到语音服务器进行语音识别算法分析，识别出各个声纹，实现对各个声纹所说内容的内容转译识别，同时通过统计每个声纹对应的说话时长，最终实现课堂上的语音分析，得到对所述课堂活动的语音处理结果。此外，如果存在高并发访问，或者出现性能瓶颈的时候，服务器支持集群部署扩容。
步骤S3、对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果。
具体的，对所述音视频数据中的进行抽帧处理，即对连续的结构化的视频数据在不压缩分辨率的情况下进行抽帧处理，过滤掉冗余数据，按照数据区域实现模区域模块化标注，以示出教师移动区域的点位。
步骤S4、基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
具体的，在得到所述语音处理结果、所述视频处理结果和所述提交数据，后，对于不同的用户分析需求，本申请可利用不同的AI模块，如人脸AI分析、姿态AI分析、注意力AI分析、情绪AI分析、声音AI分析、语言AI分析、词云AI分析、资源AI分析等进行单一或混合分析，分析得到与用户的分析需求匹配的对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
可选的，所述用户的分析需求包括至少一项分析需求。在此基础上，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据的过程，可以包括一项为多项两种情况：
情况一、当所述分析需求为一项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱。
情况二、当所述分析需求为多项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱。
进一步的，所述对多个知识图谱进行合成后得到第二知识图谱，可以包括：
根据所述多个知识图谱中各项数据的数据关联性进行分类，对每一类进行分布占比统计，按照所述分布占比统计的结果生成第二知识图谱。
从上述的技术方案可以看出，本申请实施例提供的一种教学评价方法、系统、设备和可读存储介质，采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求，通过对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果，之后在通过对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果。最后，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
本申请对音视频数据进行预处理，过滤掉冗余数据，降低硬件成本，便携性强，利用AI算法对课堂教学过程中的课堂教学行为进行分析统计，可实现以一个统一的标准进行教学评价，避免人为因素导致的评价偏差，并可形成连贯式记录，生成全面的、标准化的、多元化的反映课堂教学活动的教学评价报告。本申请通过分别采集教师、学生两者在课堂活动中的情况并记录，智能化的AI算法得到用于评价的多模态评价数据，并生成对应的教学评价报告，无需如传统评价方式需要大量人力，可实现大批量的进行教学评价。
在本申请的一些实施例中，分析需求可以包括词云分析、人脸分析、姿态分析、注意力分析、情绪分析、声音分析、语言分析和资源分析中的一项或多项。
下面以九种实例对本申请进行具体说明：
第一种、当所述分析需求为词云分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱并作为所述第一知识图谱。
具体的，词云AI分析可智能识别提取多主题关键词句，本申请中词云AI分析可对所述语音处理结果进行智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，得到教师词云统计知识图谱。
第二种、当所述分析需求为声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱并作为所述第一知识图谱。
具体的，声音AI分析可智能采集提取师生课堂声音结构信息，本申请中声音AI分析可对所述语音处理结果进行智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱。
第三种、当所述分析需求为姿态分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱并作为所述第一知识图谱。
具体的，姿态AI分析可智能采集师生课堂姿态动作表现，比如教师的站立、坐下、板书、是否在使用手机，以及学生的如举手、起立、书写等。本申请中姿态AI分析可对所述视频处理结果进智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱。
第四种、当所述分析需求为注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱并作为所述第一知识图谱。
具体的，注意力AI分析可智能采集师生课堂注意力分布情况，本申请中注意力AI分析可对所述视频处理结果进行智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱。
第五种、当所述分析需求为资源分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述提交数据进行资源AI分析，智能识别并统计出所述课堂教学中教师和学生分别对课堂教学资源的使用情况，生成资源整合知识图谱并作为所述第一知识图谱。
具体的，资源AI分析可智能识别资源配置和使用情况，本申请中资源AI分析可对所述提交数据进行智能识别并统计出所述课堂教学中教师和学生分别对课堂教学资源的使用情况，生成资源整合知识图谱。
第六种、当所述分析需求为人脸分析和情绪分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行情绪AI分析，智能识别并统计出所述课堂教学中教师和学生分别的情绪表现情况，生成情绪表现知识图谱；
统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
具体的，人脸AI分析可智能采集教师及学生面部特征，情绪AI分析可智能采集师生课堂情绪表现数据。对视频处理结果进行人脸AI分析、情绪AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，比如悲伤、高兴等典型面部特征，生成面部特征知识图谱，以及智能统计课堂教学中教师和学生分别的情绪表现情况，比如悲伤、高兴等情绪，生成情绪表现知识图谱，最后统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
第七种、当所述分析需求为人脸分析、姿态分析和注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱和所述教师注意力分布知识图谱，按照教师在学生区域的注意力空间分布占比、教师在各个教学区域的停留时间分布占比、教师在各个教学区域的注意力时间分布占比，分别生成区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱；
根据所述区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱，生成注意力分布知识图谱并作为所述第二知识图谱。
第八种、当所述分析需求为词云分析和语言分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱；
对所述语音处理结果进行语言AI分析，智能识别出所述课堂教学中课堂语言的内容转译文本的关键问答词句，生成问答内容知识图谱；
基于所述教师词云统计知识图谱和所述问答内容知识图谱，按照教师课堂问答有效性进行分类，统计生成课堂提问知识图谱并作为所述第二知识图谱。
第九种、当所述分析需求为人脸分析、姿态分析、注意力分析和声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱、所述教师注意力分布知识图谱和所述教师语速统计知识图谱，按照课堂活动类型统计对应的活动时间分配占比，生成课堂时间分配知识图谱并作为所述第二知识图谱。
本申请中AI分析需求和对应的分析处理过程包括但不限于以上实例，在本申请中可根据实际教学需求和用户要求设计相应的AI分析模块进行相应的分析，得到与用户需求匹配的知识图谱。
此外，本申请还可以综合上述任一或多个知识图谱，进一步生成生成教师氛围营造能力知识图谱、学习引导能力知识图谱、教学组织能力知识图谱等综合知识图谱。
本申请中对应生成的教学评价报告为可视化展示教师教学活动中的教学评价的报告，展现教师课堂教学中多维度能力，其作用包括但不限于：
①针对教师个体：生成教师个体某节课课堂教学、某学期课堂教学、某学年课堂教学分析报告，形成职业生涯成长档案，形成教师个人画像，为教师个人提供反思提升的辅助支撑依据；
②针对教学单位：生成单位各年级、各学科、各年龄段教学能力分析报告，形成单位群体画像，辅助支撑单位教育教学高质量发展；
③针对区域整体，展示区域内教师教学能力大数据，包括教师群体能力数据、具体能力数据、能力发展趋势、榜单排名、系统注册及应用情况等内容，形成区域群体画像，为教师专业能力成长提供辅助决策依据。
下面对本申请实施例提供的教学评价系统进行描述，下文描述的教学评价系统与上文描述的教学评价方法可相互对应参照。
参见图2，图2为本申请实施例公开的一种教学评价系统的示意图。
如图2所示，所述教学评价系统可以包括：
数据采集模块110，用于采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；
语音处理模块120，用于对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；
视频处理模块130，用于对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
评价分析模块140，用于基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
从上述的技术方案可以看出，本申请实施例提供的一种教学评价方法、系统、设备和可读存储介质，采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求，通过对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果，之后在通过对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果。最后，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
本申请对音视频数据进行预处理，过滤掉冗余数据，降低硬件成本，便携性强，利用AI算法对课堂教学过程中的课堂教学行为进行分析统计，可实现以一个统一的标准进行教学评价，避免人为因素导致的评价偏差，并可形成连贯式记录，生成全面的、标准化的、多元化的反映课堂教学活动的教学评价报告。本申请通过分别采集教师、学生两者在课堂活动中的情况并记录，智能化的AI算法得到用于评价的多模态评价数据，并生成对应的教学评价报告，无需如传统评价方式需要大量人力，可实现大批量的进行教学评价。
可选的，所述用户的分析需求包括至少一项分析需求；
所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据的过程，包括：
当所述分析需求为一项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱；
当所述分析需求为多项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱。
可选的，所述评价分析模块对多个知识图谱进行合成后得到第二知识图谱的过程，包括：
根据所述多个知识图谱中各项数据的数据关联性进行分类，对每一类进行分布占比统计，按照所述分布占比统计的结果生成第二知识图谱。
可选的，当所述分析需求为词云分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱的过程，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为声音分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱的过程，包括：
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为姿态分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱的过程，包括：
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为注意力分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱的过程，包括：
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为资源分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱的过程，包括：
对所述提交数据进行资源AI分析，智能识别并统计出所述课堂教学中教师和学生分别对课堂教学资源的使用情况，生成资源整合知识图谱并作为所述第一知识图谱。
可选的，当所述分析需求为人脸分析和情绪分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱的过程，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行情绪AI分析，智能识别并统计出所述课堂教学中教师和学生分别的情绪表现情况，生成情绪表现知识图谱；
统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为人脸分析、姿态分析和注意力分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱的过程，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱和所述教师注意力分布知识图谱，按照教师在学生区域的注意力空间分布占比、教师在各个教学区域的停留时间分布占比、教师在各个教学区域的注意力时间分布占比，分别生成区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱；
根据所述区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱，生成注意力分布知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为词云分析和语言分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱的过程，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱；
对所述语音处理结果进行语言AI分析，智能识别出所述课堂教学中课堂语言的内容转译文本的关键问答词句，生成问答内容知识图谱；
基于所述教师词云统计知识图谱和所述问答内容知识图谱，按照教师课堂问答有效性进行分类，统计生成课堂提问知识图谱并作为所述第二知识图谱。
可选的，当所述分析需求为人脸分析、姿态分析、注意力分析和声音分析时，所述评价分析模块基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱的过程，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱、所述教师注意力分布知识图谱和所述教师语速统计知识图谱，按照课堂活动类型统计对应的活动时间分配占比，生成课堂时间分配知识图谱并作为所述第二知识图谱。
本申请实施例提供的教学评价系统可应用于教学评价设备。图3示出了教学评价设备的硬件结构框图，参照图3，教学评价设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；
对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；
对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
可选地，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求；
对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对所述课堂活动的语音处理结果；
对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的分析需求进行AI分析得到对所述课堂教学的多模态评价数据，并生成对应的教学评价报告。
可选地，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种教学评价方法，其特征在于，包括：
采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求，其中所述用户的分析需求包括至少一项分析需求；
对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对课堂活动的语音处理结果；
对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
当所述分析需求为一项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，并生成对应的教学评价报告；
当所述分析需求为多项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，并生成对应的教学评价报告；
当所述分析需求为人脸分析和情绪分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行情绪AI分析，智能识别并统计出所述课堂教学中教师和学生分别的情绪表现情况，生成情绪表现知识图谱；
统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
2.根据权利要求1所述的方法，其特征在于，所述多个知识图谱进行合成后得到第二知识图谱，包括：
根据所述多个知识图谱中各项数据的数据关联性进行分类，对每一类进行分布占比统计，按照所述分布占比统计的结果生成第二知识图谱。
3.根据权利要求1所述的方法，其特征在于，当所述分析需求为词云分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱并作为所述第一知识图谱。
4.根据权利要求1所述的方法，其特征在于，当所述分析需求为声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱并作为所述第一知识图谱。
5.根据权利要求1所述的方法，其特征在于，当所述分析需求为姿态分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱并作为所述第一知识图谱。
6.根据权利要求1所述的方法，其特征在于，当所述分析需求为注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱并作为所述第一知识图谱。
7.根据权利要求1所述的方法，其特征在于，当所述分析需求为资源分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，包括：
对所述提交数据进行资源AI分析，智能识别并统计出所述课堂教学中教师和学生分别对课堂教学资源的使用情况，生成资源整合知识图谱并作为所述第一知识图谱。
8.根据权利要求1所述的方法，其特征在于，当所述分析需求为人脸分析、姿态分析和注意力分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱和所述教师注意力分布知识图谱，按照教师在学生区域的注意力空间分布占比、教师在各个教学区域的停留时间分布占比、教师在各个教学区域的注意力时间分布占比，分别生成区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱；
根据所述区域空间分布知识图谱、区域时序知识图谱和注意力时间分布知识图谱，生成注意力分布知识图谱并作为所述第二知识图谱。
9.根据权利要求1所述的方法，其特征在于，当所述分析需求为词云分析和语言分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述语音处理结果进行词云AI分析，智能识别并统计出所述课堂教学中教师积极用语词云图、消极用语词云图、惯性用语词云图以及用户指定词语的使用频率，生成教师词云统计知识图谱；
对所述语音处理结果进行语言AI分析，智能识别出所述课堂教学中课堂语言的内容转译文本的关键问答词句，生成问答内容知识图谱；
基于所述教师词云统计知识图谱和所述问答内容知识图谱，按照教师课堂问答有效性进行分类，统计生成课堂提问知识图谱并作为所述第二知识图谱。
10.根据权利要求1所述的方法，其特征在于，当所述分析需求为人脸分析、姿态分析、注意力分析和声音分析时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行姿态AI分析，智能识别并统计出所述课堂教学中教师和学生的各项行为的行为分布占比，生成姿态分布知识图谱；
对所述视频处理结果进行注意力AI分析，智能识别并统计出所述课堂教学中教师在各个教学区域的注意力分布区域，生成教师注意力分布知识图谱；
对所述语音处理结果进行声音AI分析，智能识别并统计出所述课堂教学中教师的语速快慢，生成教师语速统计知识图谱；
基于所述面部特征知识图谱、所述姿态分布知识图谱、所述教师注意力分布知识图谱和所述教师语速统计知识图谱，按照课堂活动类型统计对应的活动时间分配占比，生成课堂时间分配知识图谱并作为所述第二知识图谱。
11.一种教学评价系统，其特征在于，包括：
数据采集模块，用于采集课堂教学中的音视频数据、教师和学生在所述课堂教学中的提交数据，以及用户的分析需求，其中所述用户的分析需求包括至少一项分析需求；
语音处理模块，用于对所述音视频数据中的音频数据进行编码转换和内容转译识别，得到对课堂活动的语音处理结果；
视频处理模块，用于对所述音视频数据中的视频数据进行抽帧处理，并实现区域模块化标注，得到对所述课堂活动的视频处理结果；
评价分析模块，用于当所述分析需求为一项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的该项分析需求进行相应的AI分析得到对所述课堂教学的第一知识图谱，并生成对应的教学评价报告，当所述分析需求为多项时，基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱，并生成对应的教学评价报告；
当所述分析需求为人脸分析和情绪分析时，所述评价分析模块执行基于所述语音处理结果、所述视频处理结果和所述提交数据，按照所述用户的多项分析需求分别进行相应的AI分析得到对所述课堂教学的多个知识图谱，并对所述多个知识图谱进行合成后得到第二知识图谱的过程，包括：
对所述视频处理结果进行人脸AI分析，智能识别并统计出所述课堂教学中教师和学生的面部特征分布情况，生成面部特征知识图谱；
对所述视频处理结果进行情绪AI分析，智能识别并统计出所述课堂教学中教师和学生分别的情绪表现情况，生成情绪表现知识图谱；
统计所述面部特征知识图谱和所述情绪表现知识图谱中表征同一类表情的数据分布占比，生成表情分布知识图谱并作为所述第二知识图谱。
12.一种教学评价设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-10中任一项所述的教学评价方法的各个步骤。
13.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-10中任一项所述的教学评价方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722746.2A CN116452072B (zh) | 2023-06-19 | 2023-06-19 | 一种教学评价方法、系统、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722746.2A CN116452072B (zh) | 2023-06-19 | 2023-06-19 | 一种教学评价方法、系统、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452072A CN116452072A (zh) | 2023-07-18 |
| CN116452072B true CN116452072B (zh) | 2023-08-29 |
Family
ID=87130651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310722746.2A Active CN116452072B (zh) | 2023-06-19 | 2023-06-19 | 一种教学评价方法、系统、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452072B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609478A (zh) * | 2017-08-09 | 2018-01-19 | 广州思涵信息科技有限公司 | 一种匹配课堂知识内容的实时学情分析系统及方法 |
| CN110472061A (zh) * | 2019-07-08 | 2019-11-19 | 郑州大学 | 一种基于短文本相似度计算的知识图谱融合方法 |
| WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| WO2020214316A1 (en) * | 2019-04-19 | 2020-10-22 | Microsoft Technology Licensing, Llc | Artificial intelligence-based generation of event evaluation report |
| CN111915148A (zh) * | 2020-07-10 | 2020-11-10 | 北京科技大学 | 一种基于信息技术的课堂教学评价方法和系统 |
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| CN112287037A (zh) * | 2020-10-23 | 2021-01-29 | 大连东软教育科技集团有限公司 | 一种多实体混合知识图谱构建方法、装置及存储介质 |
| WO2021031480A1 (zh) * | 2019-08-21 | 2021-02-25 | 广州视源电子科技股份有限公司 | 文本生成方法和装置 |
| CN112667776A (zh) * | 2020-12-29 | 2021-04-16 | 重庆科技学院 | 一种智能教学评估与分析方法 |
| CN113419633A (zh) * | 2021-07-07 | 2021-09-21 | 西北工业大学 | 用于在线学习学生行为分析的多源信息采集系统 |
| CN113688252A (zh) * | 2021-08-09 | 2021-11-23 | 广西师范大学 | 基于多特征协同知识图谱和区块链的安全跨域推荐方法 |
| CN113723250A (zh) * | 2021-08-23 | 2021-11-30 | 华中师范大学 | 一种用于帮助教师反思性成长的课堂智能分析方法及系统 |
| DE202022100887U1 (de) * | 2022-02-16 | 2022-02-24 | Marggise Anusha Angel | System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie |
| CN114741529A (zh) * | 2022-04-08 | 2022-07-12 | 浙江师范大学 | 基于知识图谱的教师教学质量报告生成方法、系统和介质 |
| KR20220111634A (ko) * | 2021-02-02 | 2022-08-09 | 화웨이 그룹(광둥)컴퍼니 리미티드 | 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템 |
| CN115687630A (zh) * | 2021-07-30 | 2023-02-03 | 北京有竹居网络技术有限公司 | 一种课程学习报告的生成方法和装置 |
| WO2023019652A1 (zh) * | 2021-08-16 | 2023-02-23 | 华中师范大学 | 一种课堂教学行为事件描述模型的构建方法及系统 |
| CN115936944A (zh) * | 2023-01-31 | 2023-04-07 | 西昌学院 | 一种基于人工智能的虚拟教学管理方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345719B (zh) * | 2013-07-03 | 2016-12-07 | 青岛大学 | 一种实验教学成绩评定系统 |
| CN109117731B (zh) * | 2018-07-13 | 2022-02-18 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
-
2023
- 2023-06-19 CN CN202310722746.2A patent/CN116452072B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609478A (zh) * | 2017-08-09 | 2018-01-19 | 广州思涵信息科技有限公司 | 一种匹配课堂知识内容的实时学情分析系统及方法 |
| WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| WO2020214316A1 (en) * | 2019-04-19 | 2020-10-22 | Microsoft Technology Licensing, Llc | Artificial intelligence-based generation of event evaluation report |
| CN111833861A (zh) * | 2019-04-19 | 2020-10-27 | 微软技术许可有限责任公司 | 基于人工智能的事件评估报告生成 |
| CN110472061A (zh) * | 2019-07-08 | 2019-11-19 | 郑州大学 | 一种基于短文本相似度计算的知识图谱融合方法 |
| WO2021031480A1 (zh) * | 2019-08-21 | 2021-02-25 | 广州视源电子科技股份有限公司 | 文本生成方法和装置 |
| CN111915148A (zh) * | 2020-07-10 | 2020-11-10 | 北京科技大学 | 一种基于信息技术的课堂教学评价方法和系统 |
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| CN112287037A (zh) * | 2020-10-23 | 2021-01-29 | 大连东软教育科技集团有限公司 | 一种多实体混合知识图谱构建方法、装置及存储介质 |
| CN112667776A (zh) * | 2020-12-29 | 2021-04-16 | 重庆科技学院 | 一种智能教学评估与分析方法 |
| KR20220111634A (ko) * | 2021-02-02 | 2022-08-09 | 화웨이 그룹(광둥)컴퍼니 리미티드 | 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템 |
| CN113419633A (zh) * | 2021-07-07 | 2021-09-21 | 西北工业大学 | 用于在线学习学生行为分析的多源信息采集系统 |
| CN115687630A (zh) * | 2021-07-30 | 2023-02-03 | 北京有竹居网络技术有限公司 | 一种课程学习报告的生成方法和装置 |
| CN113688252A (zh) * | 2021-08-09 | 2021-11-23 | 广西师范大学 | 基于多特征协同知识图谱和区块链的安全跨域推荐方法 |
| WO2023019652A1 (zh) * | 2021-08-16 | 2023-02-23 | 华中师范大学 | 一种课堂教学行为事件描述模型的构建方法及系统 |
| CN113723250A (zh) * | 2021-08-23 | 2021-11-30 | 华中师范大学 | 一种用于帮助教师反思性成长的课堂智能分析方法及系统 |
| DE202022100887U1 (de) * | 2022-02-16 | 2022-02-24 | Marggise Anusha Angel | System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie |
| CN114741529A (zh) * | 2022-04-08 | 2022-07-12 | 浙江师范大学 | 基于知识图谱的教师教学质量报告生成方法、系统和介质 |
| CN115936944A (zh) * | 2023-01-31 | 2023-04-07 | 西昌学院 | 一种基于人工智能的虚拟教学管理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 人工智能视角下的职业教育大数据应用――现实挑战、应用模式和智慧服务;贡国忠;吴访升;杨淑芳;景征骏;;江苏教育研究(27);21-25 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452072A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Campbell et al. | GIS In Organizations: How Effective Are GIS In Practice? | |
| CN111915148B (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| US20140045162A1 (en) | Device of Structuring Learning Contents, Learning-Content Selection Support System and Support Method Using the Device | |
| CN111027865A (zh) | 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法 | |
| CN111339277A (zh) | 基于机器学习的问答交互方法及装置 | |
| Manovich | How to follow global digital cultures, or cultural analytics for beginners | |
| CN111276018A (zh) | 一种网课记录方法、装置和终端 | |
| CN103745423A (zh) | 一种口型示教系统与示教方法 | |
| Upadhyay | Interpretivist Tradition in Qualitative Anthropological Research Writings. | |
| CN116452072B (zh) | 一种教学评价方法、系统、设备和可读存储介质 | |
| Li et al. | Aligning open educational resources to new taxonomies: How AI technologies can help and in which scenarios | |
| CN117252259A (zh) | 基于深度学习的自然语言理解方法及ai助教系统 | |
| CN111507874A (zh) | 智慧校园aiot大数据可视化分析方法 | |
| TWI528339B (zh) | 概念形成教學歷程輔助方法及系統 | |
| Joseph et al. | Visualizing information in the records and archives management (RAM) disciplines: Using Engelhardt’s graphical framework | |
| Barkovska et al. | Study of noise reduction methods in the sound sequence when solving the speech-to-text problem | |
| CN114675767A (zh) | 一种信息采集方法、装置、电子设备以及存储介质 | |
| CN112836099A (zh) | 图书馆服务管理系统 | |
| Celine et al. | Multimodal acquisition and analysis of children handwriting for the study of the efficiency of their handwriting movements: the@ MaGma challenge | |
| CN112000798A (zh) | 一种语文题型的答案获取方法及装置 | |
| CN107632976B (zh) | 一种实验电路问题脉络图的生成方法及装置 | |
| Nakanishi et al. | Media-driven Real-time Content Management Framework and its Application to In-Class Thinking Support System | |
| Afandi et al. | Prototype of voice commanded university executive business intelligence assistant (BELA) | |
| Zhao et al. | Design and Implementation of a Teaching Verbal Behavior Analysis Aid in Instructional Videos | |
| Starostenko et al. | Computational approaches to support image-based language learning within mobile environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |