CN111950487A - 一种智慧教学分析管理系统 - Google Patents

一种智慧教学分析管理系统 Download PDF

Info

Publication number
CN111950487A
CN111950487A CN202010833436.4A CN202010833436A CN111950487A CN 111950487 A CN111950487 A CN 111950487A CN 202010833436 A CN202010833436 A CN 202010833436A CN 111950487 A CN111950487 A CN 111950487A
Authority
CN
China
Prior art keywords
teaching
image
video
classroom
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010833436.4A
Other languages
English (en)
Inventor
周宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuangke Zhijia Technology Co ltd
Original Assignee
Sichuan Chuangke Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuangke Zhijia Technology Co ltd filed Critical Sichuan Chuangke Zhijia Technology Co ltd
Priority to CN202010833436.4A priority Critical patent/CN111950487A/zh
Publication of CN111950487A publication Critical patent/CN111950487A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06T3/02—
    • G06T5/73—
    • G06T5/80—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Abstract

本发明涉及智慧教育领域，公开了一种智慧教学分析管理系统，其包括教学管理云平台和教师终端，教学管理云平台包括视频处理模块、图像分析模块、状态联合模块、专注度识别模块和视频生成模块。视频处理模块对目标教学视频进行处理得到教学分析图像中每个学生的课堂情绪状态；状态联合模块对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到总体学习专注度；专注度识别模块在确定所述总体学习专注度小于专注阈值时对目标教学视频进行视频段截取以得到目标优化视频段；视频生成模块根据若干目标优化视频段得到课堂优化视频，然后生成课堂优化数据，并将其发送至对应的教师终端。

Description

一种智慧教学分析管理系统
技术领域
本发明涉及智慧教育和云计算领域，尤其涉及一种智慧教学分析管理系统。
背景技术
智慧教育是通过新一代信息技术如物联网、云计算、移动互联网等技术，对教育信息进行感知、识别、捕获、汇聚、分析，进而辅助智能化的教育管理与决策，采用面向服务的SOA软件架构体系，实现了各类应用、数据及业务流程的有效整合。主要目的为对学习环境进行感知和智能调节，对校园环境进行智能化管理，对教与学的过程进行跟踪与记录，对家校互通提供立体化的网络支持。为师生提供最佳的学习环境，实现智能安防和校园智能化管理，打造一体化的网络环境和应用环境。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。
目前，现有的教学方法可将师生的教学实况自动录制并实时存储于一体化的资源平台，教师可借此进行教学反思和教学观摩。这种方式虽然方便了教师对自己教学内容的观摩和回顾，但教师在通过回放自己教学视频的方式进行教学分析时，需要整段播放或者手动拖动视频进度条以查找对提升自己教学方式有用的内容，较难直接寻找到对教学分析有帮助的教学视频段，且浪费大量的时间和精力。例如，教师很难直接查找和跳转到教学视频中所有学生学习专注度普遍较低或课堂活跃度较低的地方。
发明内容
针对现有技术之不足，本发明提供了一种智慧教学分析管理系统，其包括教学管理云平台和若干个教师终端，其中，教学管理云平台包括视频处理模块、图像分析模块、状态联合模块、专注度识别模块和视频生成模块；视频处理模块包括视频获取单元和视频分割单元，图像分析模块包括图像预处理单元、图像分割单元、特征提取单元和状态分析单元；
教师终端发送教学视频处理请求至教学管理云平台，所述教学视频处理请求包括教学视频信息、授课教师名称和授课教师职工编号，所述教学视频信息包括教学视频大小、教学视频格式和教学视频标识符；
视频获取单元根据教学视频信息、授课教师名称和授课教师职工编号从数据库中获取对应的目标教学视频；
视频分割单元对所述目标教学视频进行图像帧分割处理以得到若干课堂图像帧，并根据每个课堂图像帧对应的视频播放时间点将所有课堂图像帧按序排列以得到教学分析图像集；
图像预处理单元对教学分析图像集中的每个课堂图像帧进行锐化滤波处理以对每个课堂图像帧中变化剧烈的高频部分进行增强以得到教学增强图像集，并对教学增强图像集中的每个教学增强图像进行几何形变矫正以得到教学复原图像集；
图像分割单元对教学复原图像集中的每个教学复原图像进行特征提取以得到每个教学复原图像的图像颜色特征，并根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域；
特征提取单源提取教学复原图像中的每个人脸识别区域的深度特征和几何特征，并根据所述深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，并对所述五官轮廓线进行特征点提取以得到若干面部关键点；
状态分析单元根据每个人脸识别区域的若干面部关键点构建每个学生的表情特征，并根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态；
状态联合模块对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度；
专注度识别模块在确定所述总体学习专注度小于专注阈值时，根据所述连续时间段所指示的时间信息对目标教学视频进行视频段截取以得到目标优化视频段；
视频生成模块对获取的若干目标优化视频段进行视频拼接处理以得到课堂优化视频，然后根据所述课堂优化视频、授课教师名称和授课教师职工编号生成课堂优化数据并将其发送至对应的教师终端。
根据一个优选实施方式，所述教师终端为授课教师所使用的具有计算功能、存储功能和通信功能的设备，其包括：智能手机、台式电脑和笔记本电脑。
根据一个优选实施方式，图像预处理单元对每个教学增强图像中发生几何形变的若干像素点进行仿射变换以将所述若干像素点的坐标位置矫正为正确坐标位置。
根据一个优选实施方式，所述几何形变为图像在采集过程中由于镜头失真、感光元件故障和传输数据丢失导致的图像中若干像素点的当前坐标位置与实际坐标位置不一致。
根据一个优选实施方式，图像分割单元根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域包括：
图像分割单元将每个教学图像的图像颜色特征中存在于人体肤色区间的颜色特征对应的分布区域作为包含人脸的关键分析区域。
根据一个优选实施方式，特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，包括：
特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到人脸识别区域的五轮廓特征和轮廓结构关系；
特征提取单元根据每个人脸识别区域的五官轮廓特征与标准人脸轮廓特征之间的距离确定对应人脸识别区域存在学生人脸；
特征提取单元根据轮廓结构关系和五官轮廓特征进行轮廓分析以得到对应学生人脸的五官轮廓线。
根据一个优选实施方式，状态分析单元根据若干面部关键点构建每个学生的表情特征包括：
状态分析单元根据每个面部关键点的位置信息计算每个面部关键点与其它面部关键点之间的相对距离和相对角度以得到每个面部关键点的距离特征和角度特征；
状态分析单元根据所有面部关键点的距离特征和角度特征构建对应学生的表情特征。
根据一个优选实施方式，状态分析单元根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态包括：
状态分析单元根据每个学生的表情特征进行五官形变度分析以得到对应学生的眼睛闭合度、嘴部闭合度和眼角弯曲度；
状态分析单元根据所述眼睛闭合度、眼角弯曲度和嘴部闭合度进行面部状态分析以得到对应学生的课堂情绪状态。
根据一个优选实施方式，状态联合模块根据每个学生在连续时间段内所有的课堂情绪状态为每个学生构建连续变化的动态情绪模型以得到每个学生的课堂学习状态；
状态联合模块对连续时间段内每个学生的课堂学习状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度。
本发明通过对所有学生的课堂学习专注度进行分析，以识别每个连续时间段所有学生课堂学习专注度的高低，并根据课堂学习专注度较低的连续时间段对教学视频进行视频段截取以得到若干目标优化视频段，并将多个目标优化视频段进行视频拼接处理以得到精简后的课堂优化视频，以供教师更好的分析自己的教学得失，提高教师的视频观看效率和教学分析速度，节约教师的时间和精力。
附图说明
图1为一示例性实施例提供的智慧教学分析管理系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1，在一个实施例中，本发明的智慧教学分析管理系统可以包括教师终端和教学管理云平台。教学管理云平台与教师终端具有通信连接。教师终端为授课教师所使用的具有计算功能、存储功能和通信功能的设备，其包括：智能手机、台式电脑和笔记本电脑。
教学管理云平台包括视频处理模块、图像分析模块、状态联合模块、专注度识别模块和视频生成模块。
视频处理模块包括视频获取单元和视频分割单元。
视频获取单元用于根据教学视频信息、授课教师名称和授课教师职工编号从数据库中获取对应的目标教学视频。
视频分割单元用于对所述目标教学视频进行图像帧分割处理以得到若干课堂图像帧，并根据每个课堂图像帧对应的视频播放时间点将所有课堂图像帧按序排列以得到教学分析图像集。
图像分析模块包括图像预处理单元、图像分割单元、特征提取单元和状态分析单元。
图像预处理单元用于对教学分析图像集中的每个课堂图像帧进行锐化滤波处理以对每个课堂图像帧中变化剧烈的高频部分进行增强以得到教学增强图像集，并对教学增强图像集中的每个教学增强图像进行几何形变矫正以得到教学复原图像集。
图像分割单元用于对教学复原图像集中的每个教学复原图像进行特征提取以得到每个教学复原图像的图像颜色特征，并根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域。
特征提取单元用于提取教学复原图像中的每个人脸识别区域的深度特征和几何特征，并根据所述深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，并对所述五官轮廓线进行特征点提取以得到若干面部关键点。
状态分析单元用于根据每个人脸识别区域的若干面部关键点构建每个学生的表情特征，并根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态。
状态联合模块用于对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度。
专注度识别模块用于在确定所述总体学习专注度小于专注阈值时，根据所述连续时间段所指示的时间信息对目标教学视频进行视频段截取以得到目标优化视频段。
视频生成模块用于对获取的若干目标优化视频段进行视频拼接处理以得到课堂优化视频，并根据所述课堂优化视频、授课教师名称和授课教师职工编号生成课堂优化数据，并将其发送至对应的教师终端。
本发明通过对所有学生的课堂学习专注度进行分析，以识别每个连续时间段所有学生课堂学习专注度的高低，并根据课堂学习专注度较低的连续时间段对教学视频进行视频段截取以得到若干目标优化视频段，并将多个目标优化视频段进行视频拼接处理以得到精简后的课堂优化视频，以供教师更好的分析自己的教学得失，提高教师的视频观看效率和教学分析速度，节约教师的时间和精力。
在一个实施例中，本发明执行的教学视频处理方法具体可以包括以下步骤：
S1、教师终端发送教学视频处理请求至教学管理云平台，所述教学视频处理请求包括教学视频信息、授课教师名称和授课教师职工编号，所述教学视频信息包括教学视频大小、教学视频格式和教学视频标识符。
可选地，所述授课教师职工编号用于对授课教师进行唯一标识；所述教学视频标识符用于对教学视频进行唯一标识；所述教学视频格式为教师视频存储时的数据编码格式。
S2、视频处理模块的视频获取单元根据教学视频信息、授课教师名称和授课教师职工编号从数据库中获取对应的目标教学视频。
S3、视频处理模块的视频分割单元对所述目标教学视频进行图像帧分割处理以得到若干课堂图像帧，并根据每个课堂图像帧对应的视频播放时间点将所有课堂图像帧按序排列以得到教学分析图像集。
可选地，上述按序排列是指按照每个课堂图像帧对应的视频播放时间点的时间先后顺序将所有课堂图像帧进行排序。
S4、图像分析模块的图像预处理单元对教学分析图像集中的每个课堂图像帧进行锐化滤波处理以对每个课堂图像帧中变化剧烈的高频部分进行增强以得到教学增强图像集，并对教学增强图像集中的每个教学增强图像进行几何形变矫正以得到教学复原图像集。
具体地，图像分析模块的图像预处理单元对教学增强图像集中的每个教学增强图像进行几何形变矫正以得到教学复原图像集包括：
图像预处理单元对每个教学增强图像中发生几何形变的若干像素点进行仿射变换以将所述若干像素点的坐标位置矫正为正确坐标位置。
可选地，所述几何形变为图像在采集过程中由于镜头失真、感光元件故障和传输数据丢失导致的图像中若干像素点的当前坐标位置与实际坐标位置不一致。
S5、图像分析模块的图像分割单元对教学复原图像集中的每个教学复原图像进行特征提取以得到每个教学复原图像的图像颜色特征，并根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域。
可选地，所述人体肤色区间是指人体肤色在HSV色彩空间的颜色范围。
S6、图像分析模块的特征提取单元提取教学复原图像中的每个人脸识别区域的深度特征和几何特征，并根据所述深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，并对所述五官轮廓线进行特征点提取以得到若干面部关键点。
可选地，所述五官轮廓线包括眼部轮廓线、鼻部轮廓线、嘴部轮廓线和眉部轮廓线；所述面部关键点包括眼部轮廓线上的关键点、鼻部轮廓线上的关键点、嘴部轮廓线上的关键点和眉部轮廓线上的关键点。
具体地，图像分析模块的图像分割单元根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域包括：
图像分割单元将每个教学图像的图像颜色特征中存在于人体肤色区间的颜色特征对应的分布区域作为包含人脸的关键分析区域。
具体地，图像分析模块的特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线包括：
特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到人脸识别区域的五轮廓特征和轮廓结构关系；
特征提取单元根据每个人脸识别区域的五官轮廓特征与标准人脸轮廓特征之间的距离确定对应人脸识别区域存在学生人脸；
特征提取单元根据轮廓结构关系和五官轮廓特征进行轮廓分析以得到对应学生人脸的五官轮廓线。
可选地，所述标准人脸轮廓特征为系统将预先录入的多个人脸经相应的图像处理技术进行处理所提取的不同人脸共有的轮廓特征，所述标准人脸轮廓特征用于检测对应区域是否存在人脸。
S7、图像分析模块的状态分析单元根据每个人脸识别区域的若干面部关键点构建每个学生的表情特征，并根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态。
具体地，图像分析模块的状态分析单元根据若干面部关键点构建每个学生的表情特征包括：
状态分析单元根据每个面部关键点的位置信息计算每个面部关键点与其它面部关键点之间的相对距离和相对角度以得到每个面部关键点的距离特征和角度特征；
状态分析单元根据所有面部关键点的距离特征和角度特征构建对应学生的表情特征。
可选地，所述其它面部关键点为若干面部关键点中除当前目标要分析的面部关键点之外的剩余面部关键点。
可选地，图像分析模块的状态分析单元根据若干面部关键点构建每个学生的表情特征还包括：
Figure BDA0002638813740000091
fDi＝{θi1,θi2,…,θin}
其中，cosθin为第i个面部关键点与第j个面部关键点之间的空间向量夹角的余弦值，i,j为面部关键点的索引，n为面部关键点的数量，fDi为第i个面部关键点的角度特征，θin为第i个面部关键点与第j个面部关键点之间的空间向量夹角。
可选地，图像分析模块的状态分析单元根据若干面部关键点构建每个学生的表情特征还包括：
Figure BDA0002638813740000092
其中，fTi为第i个面部关键点的距离特征，i,j为面部关键点的索引，
Figure BDA0002638813740000093
为第i个面部关键点与第j个面部关键点之间x坐标差值的指数，
Figure BDA0002638813740000094
为第i个面部关键点与第j个面部关键点之间y坐标差值的指数，
Figure BDA0002638813740000101
为第i个面部关键点与第j个面部关键点之间z坐标差值的指数，n为面部关键点的数量。
具体地，图像分析模块的状态分析单元根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态包括：
状态分析单元根据每个学生的表情特征进行五官形变度分析以得到对应学生的眼睛闭合度、嘴部闭合度和眼角弯曲度；
状态分析单元根据所述眼睛闭合度、眼角弯曲度和嘴部闭合度进行面部状态分析以得到对应学生的课堂情绪状态。
S8、状态联合模块对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度。
具体地，状态联合模块对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度包括：
状态联合模块根据每个学生在连续时间段内所有的课堂情绪状态为每个学生构建连续变化的动态情绪模型以得到每个学生的课堂学习状态；
状态联合模块对连续时间段内每个学生的课堂学习状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度。
可选地，所述连续时间段为系统根据实际情况预先设置的图像获取周期，其中，状态联合模块将获取图像帧播放时间点在所述连续时间段内的若干教学复原图像。
S9、专注度识别模块在确定所述总体学习专注度小于专注阈值时，根据所述连续时间段所指示的时间信息对目标教学视频进行视频段截取以得到目标优化视频段。
可选地，所述专注阈值为系统预先设置的课堂学习状态临界值，用于衡量课堂全体学生的平均学习状态的好坏。在所述总体学习专注度小于专注阈值时，表明该连续时间段内所有学生的学习专注度普遍较低，学生的学习兴趣不浓厚；在所述总体学习专注度大于专注阈值时，表明该连续时间段内所有学生的学习专注度普遍较高，学生的学习兴趣较浓厚。
S10、视频生成模块对获取的若干目标优化视频段进行视频拼接处理以得到课堂优化视频，并根据所述课堂优化视频、授课教师名称和授课教师职工编号生成课堂优化数据，并将其发送至对应的教师终端。
云计算的部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种智慧教学分析管理系统，其特征在于，其包括教学管理云平台和若干个教师终端，其中，教学管理云平台包括视频处理模块、图像分析模块、状态联合模块、专注度识别模块和视频生成模块；视频处理模块包括视频获取单元和视频分割单元，图像分析模块包括图像预处理单元、图像分割单元、特征提取单元和状态分析单元；
教师终端发送教学视频处理请求至教学管理云平台，所述教学视频处理请求包括教学视频信息、授课教师名称和授课教师职工编号，所述教学视频信息包括教学视频大小、教学视频格式和教学视频标识符；
视频获取单元根据教学视频信息、授课教师名称和授课教师职工编号从数据库中获取对应的目标教学视频；
视频分割单元对所述目标教学视频进行图像帧分割处理以得到若干课堂图像帧，并根据每个课堂图像帧对应的视频播放时间点将所有课堂图像帧按序排列以得到教学分析图像集；
图像预处理单元对教学分析图像集中的每个课堂图像帧进行锐化滤波处理以对每个课堂图像帧中变化剧烈的高频部分进行增强以得到教学增强图像集，并对教学增强图像集中的每个教学增强图像进行几何形变矫正以得到教学复原图像集；
图像分割单元对教学复原图像集中的每个教学复原图像进行特征提取以得到每个教学复原图像的图像颜色特征，并根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域；
特征提取单源提取教学复原图像中的每个人脸识别区域的深度特征和几何特征，并根据所述深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，并对所述五官轮廓线进行特征点提取以得到若干面部关键点；
状态分析单元根据每个人脸识别区域的若干面部关键点构建每个学生的表情特征，并根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态；
状态联合模块对每个连续时间段内若干教学复原图像中的所有学生的课堂情绪状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度；
专注度识别模块在确定所述总体学习专注度小于专注阈值时，根据所述连续时间段所指示的时间信息对目标教学视频进行视频段截取以得到目标优化视频段；
视频生成模块对获取的若干目标优化视频段进行视频拼接处理以得到课堂优化视频，然后根据所述课堂优化视频、授课教师名称和授课教师职工编号生成课堂优化数据并将其发送至对应的教师终端。
2.根据权利要求1所述的系统，其特征在于，所述教师终端为授课教师所使用的具有计算功能、存储功能和通信功能的设备，其包括：智能手机、台式电脑和笔记本电脑。
3.根据权利要求2所述的系统，其特征在于，图像预处理单元对每个教学增强图像中发生几何形变的若干像素点进行仿射变换以将所述若干像素点的坐标位置矫正为正确坐标位置。
4.根据权利要求3所述的系统，其特征在于，所述几何形变为图像在采集过程中由于镜头失真、感光元件故障和传输数据丢失导致的图像中若干像素点的当前坐标位置与实际坐标位置不一致。
5.根据权利要求1至4之一所述的系统，其特征在于，图像分割单元根据每个教学复原图像的图像颜色特征和人体肤色区间将对应教学复原图像进行区域划分以将包含人脸的关键分析区域提取出来得到若干人脸识别区域包括：
图像分割单元将每个教学图像的图像颜色特征中存在于人体肤色区间的颜色特征对应的分布区域作为包含人脸的关键分析区域。
6.根据权利要求5所述的系统，其特征在于，特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到对应学生人脸的五官轮廓线，包括：
特征提取单元根据深度特征和几何特征对相应人脸识别区域进行凹凸识别以得到人脸识别区域的五轮廓特征和轮廓结构关系；
特征提取单元根据每个人脸识别区域的五官轮廓特征与标准人脸轮廓特征之间的距离确定对应人脸识别区域存在学生人脸；
特征提取单元根据轮廓结构关系和五官轮廓特征进行轮廓分析以得到对应学生人脸的五官轮廓线。
7.根据权利要求6所述的系统，其特征在于，状态分析单元根据若干面部关键点构建每个学生的表情特征包括：
状态分析单元根据每个面部关键点的位置信息计算每个面部关键点与其它面部关键点之间的相对距离和相对角度以得到每个面部关键点的距离特征和角度特征；
状态分析单元根据所有面部关键点的距离特征和角度特征构建对应学生的表情特征。
8.根据权利要求7所述的系统，其特征在于，状态分析单元根据每个学生的表情特征进行面部状态分析以得到对应学生的课堂情绪状态包括：
状态分析单元根据每个学生的表情特征进行五官形变度分析以得到对应学生的眼睛闭合度、嘴部闭合度和眼角弯曲度；
状态分析单元根据所述眼睛闭合度、眼角弯曲度和嘴部闭合度进行面部状态分析以得到对应学生的课堂情绪状态。
9.根据权利要求8所述的系统，其特征在于，状态联合模块根据每个学生在连续时间段内所有的课堂情绪状态为每个学生构建连续变化的动态情绪模型以得到每个学生的课堂学习状态；
状态联合模块对连续时间段内每个学生的课堂学习状态进行状态联合分析以得到对应连续时间段内课堂的总体学习专注度。
CN202010833436.4A 2020-08-18 2020-08-18 一种智慧教学分析管理系统 Withdrawn CN111950487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833436.4A CN111950487A (zh) 2020-08-18 2020-08-18 一种智慧教学分析管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010833436.4A CN111950487A (zh) 2020-08-18 2020-08-18 一种智慧教学分析管理系统

Publications (1)

Publication Number Publication Date
CN111950487A true CN111950487A (zh) 2020-11-17

Family

ID=73343068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010833436.4A Withdrawn CN111950487A (zh) 2020-08-18 2020-08-18 一种智慧教学分析管理系统

Country Status (1)

Country Link
CN (1) CN111950487A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668467A (zh) * 2020-12-25 2021-04-16 华中师范大学 行为分析方法、装置、电子设备及存储介质
CN113610676A (zh) * 2021-07-08 2021-11-05 湖南电子科技职业学院 一种基于云平台的计算机教学授课系统
CN113704550A (zh) * 2021-07-15 2021-11-26 北京墨闻教育科技有限公司 教学短片生成方法及系统
CN117152688A (zh) * 2023-10-31 2023-12-01 江西拓世智能科技股份有限公司 一种基于人工智能的智慧课堂行为分析方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668467A (zh) * 2020-12-25 2021-04-16 华中师范大学 行为分析方法、装置、电子设备及存储介质
CN112668467B (zh) * 2020-12-25 2023-11-07 华中师范大学 行为分析方法、装置、电子设备及存储介质
CN113610676A (zh) * 2021-07-08 2021-11-05 湖南电子科技职业学院 一种基于云平台的计算机教学授课系统
CN113704550A (zh) * 2021-07-15 2021-11-26 北京墨闻教育科技有限公司 教学短片生成方法及系统
CN117152688A (zh) * 2023-10-31 2023-12-01 江西拓世智能科技股份有限公司 一种基于人工智能的智慧课堂行为分析方法及系统

Similar Documents

Publication Publication Date Title
CN111950487A (zh) 一种智慧教学分析管理系统
US10963679B1 (en) Emotion recognition in video
US20180114101A1 (en) Edge-based adaptive machine learning for object recognition
US11410570B1 (en) Comprehensive three-dimensional teaching field system and method for operating same
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN111950486A (zh) 基于云计算的教学视频处理方法
CN110446063A (zh) 视频封面的生成方法、装置及电子设备
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN110298569B (zh) 基于眼动识别的学习评价方法及装置
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN110706136A (zh) Ai+数字化校园建设方案研究
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
CN110493640A (zh) 一种基于视频处理的视频转换为ppt的系统及方法
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
Zhang et al. Cross-cultural O2O English teaching based on AI emotion recognition and neural network algorithm
CN114461853A (zh) 视频场景分类模型的训练样本生成方法、装置及设备
CN115410240A (zh) 智能人脸的痘痘和色斑分析方法、装置及存储介质
Zheng et al. Uavs in multimedia: Capturing the world from a new perspective
Gopane et al. Enhancing monitoring in online exams using artificial intelligence
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
Zhao et al. Implementation of online teaching behavior analysis system
CN114495044A (zh) 标牌识别方法、装置、计算机设备以及存储介质
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201117