CN112907406B - 一种基于云端融合多模态分析的在线学习系统 - Google Patents

一种基于云端融合多模态分析的在线学习系统 Download PDF

Info

Publication number
CN112907406B
CN112907406B CN202110176980.0A CN202110176980A CN112907406B CN 112907406 B CN112907406 B CN 112907406B CN 202110176980 A CN202110176980 A CN 202110176980A CN 112907406 B CN112907406 B CN 112907406B
Authority
CN
China
Prior art keywords
data
user
decision
learning
online learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110176980.0A
Other languages
English (en)
Other versions
CN112907406A (zh
Inventor
解仑
陈梦南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110176980.0A priority Critical patent/CN112907406B/zh
Priority to US17/320,251 priority patent/US20220254264A1/en
Publication of CN112907406A publication Critical patent/CN112907406A/zh
Application granted granted Critical
Publication of CN112907406B publication Critical patent/CN112907406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

本发明公开了一种基于云端融合多模态分析的在线学习系统，所述系统包括：在线学习模块，用于向用户提供在线学习界面，并采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据；多模态数据融合决策模块，用于对采集的图像数据、生理数据、位姿数据进行预处理，提取相应特征，并结合交互日志数据进行综合决策，得到用户当前的学习状态；云端融合系统架构模块，用于根据云端服务器和本地用户端的计算资源使用情况协调运用二者的计算资源，并对计算任务进度进行可视化展示；系统交互调整模块，用于根据用户当前的学习状态对在线学习模式进行调整。本发明能够提升在线学习的体验和学习效率。

Description

一种基于云端融合多模态分析的在线学习系统
技术领域
本发明涉及智能服务技术领域，特别涉及一种基于云端融合多模态分析的在线学习系统。
背景技术
在线学习以它的低成本，灵活性迅速被人们接受并快速发展。但在线学习缺乏交互、在线观看的数据处理实时性不高、功能单一，致使在线学习一直无法达到传统课堂的效果。多功能传感器的发展和5G通信技术的落地，给以互联网、大数据为基础的在线学习更好的体验和更新的思路。
把大数据、人工智能用于在线学习不仅可以增强交互，而且可以实现学习过程老师清楚的知道这节课学生的情绪状态和听课效率，学生知道自己在哪个时间段学习效率不高。而同时它也存在问题，即反馈不够即时，传统的以服务器为中心的系统架构因网络时延，服务器高负荷，导致无法实时处理，客户端对服务器算力情况一无所知，致使任务拥堵，执行效率低下。并且单模态精确度不够高，而多模态所需的网络带宽较大，因此需要在这之间寻求最优的平衡。
发明内容
针对目前在线学习缺乏交互、交互实时性不高的问题，本发明提供一种基于云端融合多模态分析的在线学习系统，通过分析在线学习的三种模态数据以达到精准交互，通过有效协调云端服务器和本地用户端的算力资源，达到算力资源的高效利用，通过多模态数据分析结果给客户相应的反馈和交互，进而提升在线学习的体验和学习效率，给教师和学生更舒适的交互氛围。
为解决上述技术问题，本发明的实施例提供如下方案：
一种基于云端融合多模态分析的在线学习系统，包括：
在线学习模块，用于向用户提供在线学习界面，并采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据；
多模态数据融合决策模块，用于对采集的图像数据、生理数据、位姿数据进行预处理，提取相应特征，并结合交互日志数据进行综合决策，得到用户当前的学习状态；
云端融合系统架构模块，用于根据云端服务器和本地用户端的计算资源使用情况协调运用二者的计算资源，并对计算任务进度进行可视化展示；
系统交互调整模块，用于根据用户当前的学习状态对在线学习模式进行调整。
优选地，所述在线学习模块包括：
界面单元，用于向用户提供在线学习界面，包括用户登录、分析结果查看、课程资料、教师学生交流页面、表现排名展示；
采集单元，用于通过传感器组采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据。
优选地，所述图像数据包括面部图像序列数据，通过摄像头采集；所述生理数据包括血容量脉冲、皮肤电、心率变异性、皮肤温度和动作状态，通过穿戴设备采集；所述位姿数据通过安装有压力传感器的坐垫进行采集。
优选地，所述多模态数据融合决策模块包括：
模型训练单元，用于根据公开的数据集进行训练，得到分别用于图像数据、生理数据、位姿数据的特征提取网络；
预处理单元，用于对采集的图像数据、生理数据、位姿数据进行预处理，所述预处理包括降噪、分隔、归一化处理；
特征提取单元，将预处理后的图像数据、生理数据、位姿数据分别输入相应的特征提取网络，提取出图像数据的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征；
决策单元，用于将提取的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征分别送入相应的训练好的决策模型中，结合得到的决策结果以及交互日志数据，判断用户当前的学习状态。
优选地，对于图像数据，采用公开表情数据集训练得到最优的卷积神经网络，提取后的面部表情特征通过主成份分析降低数据维，得到有效特征；
对于生理数据，提取生理数据的中值、均值、最小值、最大值、范围、标准差、方差作为时域特征，提取频谱相关函数的平均值和标准差作为低维频域特征，经过公开数据集训练的深度信念网络得到高维特征，再经过降低数据维度算法得到有效特征；
对于位姿数据，提取位姿数据的均值、均方根、标准差、移动角度、信号幅度矢量作为时域特征，提取FFT的直流分量作为频域特征，再经过降低数据维度算法得到有效特征。
优选地，所述决策单元中，图像数据采用全连接网络作为二分类决策模型，生理数据采用支持向量机作为二分类决策模型，位姿数据采用隐马尔可夫模型作为二分类决策模型。
优选地，设置图像数据决策的权重为0.3，生理数据决策的权重0.5，位姿数据决策的权重为0.2，则综合决策结果＝0.3*图像数据决策结果+0.5*生理数据决策结果+0.2*位姿数据决策结果。
优选地，所述云端融合系统架构模块包括资源协调单元，所述资源协调单元用于：
获取云端服务器和本地用户端的计算资源使用率，并进行比较；
当云端服务器的计算资源使用率大于80％且本地用户端的计算资源使用率小于20％，则在本地用户端进行数据的预处理，然后同步到云端服务器进行决策；
当本地用户端的计算资源使用率大于20％，则直接同步原始数据至云端服务器，由云端服务器完成数据的预处理和决策；
其中，所述计算资源使用率包括CPU占用率和内存占用率，计算方法为：(CPU占用率+内存占用率)/2*100％。
优选地，所述云端融合系统架构模块还包括可视化单元，所述可视化单元用于：
在云端服务器搭建Web服务器，以供用户登陆查看自己的学习状态和评分情况，以及云端服务器实时计算资源使用情况；教师登陆后查看学生学习情况并给出评分和建议，以及根据学生的表现对课程做出相应的调整。
优选地，所述系统交互调整模块包括：
虚拟机器人单元，用于依照课程流程，从教材中选取相应的知识点，以弹窗对话的形式展示给用户，以及从数据库获取课堂的整体表现评分，分为高、中、低三个等级，根据分值来鼓励用户；
奖励单元，用于根据课堂综合表现进行排名，对排名高的学生给予奖赏，对排名低的学生给予鼓励，对于长时间处于比较消极或非常消极的用户，在其原本学习流程中插入休息放松时间段或更改其学习资源难度；
课程调整单元，用于根据用户的学习状态和交互反馈进行课程调整；所述学习状态包括情感状态和压力状态；当用户在线学习过程情感表现为积极，压力水平稳定，与系统交互稳定时，保持课程进度和资料不变；当用户在线学习过程情感表现为消极，压力水平过高，与系统交互不稳定时，放慢课程播放速度，并将课程资料更换为更详细的版本。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，以在线学习过程中采集的图像数据、生理数据、位姿数据和交互日志数据为基础，对用户交互学习认知过程中的多模态特征进行实时提取和处理，以预测用户当前学习状态，包括情感状态、压力状态和交互情况，并及时进行反馈和调整。本发明在整个系统架构中加入云端融合的思想，以达到实时交互、节省网络带宽资源、云端任务透明化的效果，最终实现在线学习的交互反馈一体化，为在线学习和人工智能技术相结合提供新途径和新模式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于云端融合多模态分析的在线学习系统的结构示意图；
图2是本发明实施例提供的在线学习系统的工作流程示意图；
图3是本发明实施例提供的一种系统架构示意图；
图4是本发明实施例提供的云端服务器的结构示意图；
图5是本发明实施例提供的本地用户端的结构示意图；
图6是本发明实施例提供的云端融合算法流程示意图；
图7是本发明实施例提供的数据处理模型示意图；
图8是本发明实施例提供的后台管理框架示意图；
图9是本发明实施例提供的系统交互及响应流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的实施例提供了一种基于云端融合多模态分析的在线学习系统，如图1所示，所述在线学习系统包括：
在线学习模块1，用于向用户提供在线学习界面，并采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据；
多模态数据融合决策模块2，用于对采集的图像数据、生理数据、位姿数据进行预处理，提取相应特征，并结合交互日志数据进行综合决策，得到用户当前的学习状态；
云端融合系统架构模块3，用于根据云端服务器和本地用户端的计算资源使用情况协调运用二者的计算资源，并对计算任务进度进行可视化展示；
系统交互调整模块4，用于根据用户当前的学习状态对在线学习模式进行调整。
本发明实施例中，以在线学习过程中采集的图像数据、生理数据、位姿数据和交互日志数据为基础，对用户交互学习认知过程中的多模态特征进行实时提取和处理，以预测用户当前学习状态，包括情感状态、压力状态和交互情况，并及时进行反馈和调整。本发明在整个系统架构中加入云端融合的思想，以达到实时交互、节省网络带宽资源、云端任务透明化的效果，最终实现在线学习的交互反馈一体化，为在线学习和人工智能技术相结合提供新途径和新模式。
进一步地，在线学习模块1包括：
界面单元101，用于向用户提供在线学习界面，包括用户登录、分析结果查看、课程资料、教师学生交流页面、表现排名展示；
采集单元102，用于通过传感器组采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据。
其中，所述图像数据包括面部图像序列数据，通过摄像头采集；所述生理数据包括血容量脉冲、皮肤电、心率变异性、皮肤温度和动作状态，通过穿戴设备采集；所述位姿数据通过安装有压力传感器的坐垫进行采集。
作为本发明的一种具体实现方式，面部图像序列数据可以通过Logitech C930c1080P高清摄像头进行采集；生理数据可以通过empatica E4 wristband进行采集，主要采集用户在学习状态下的血容量脉冲、皮肤电、心率变异性、皮肤温度和动作状态等数据；用户坐垫安装Interlink Electronics生产的压力传感器，用于收集姿态数据。上述采集的数据通过无线蓝牙收集并存储在本地用户端。数据收集过程中会动态显示图像数据和生理数据曲线图。
进一步地，多模态数据融合决策模块2包括：
模型训练单元201，用于根据公开的数据集进行训练，得到分别用于图像数据、生理数据、位姿数据的特征提取网络；
预处理单元202，用于对采集的图像数据、生理数据、位姿数据进行预处理，所述预处理包括降噪、分隔、归一化处理；
特征提取单元203，将预处理后的图像数据、生理数据、位姿数据分别输入相应的特征提取网络，提取出图像数据的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征；
决策单元204，用于将提取的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征分别送入相应的训练好的决策模型中，综合得到的决策结果以及交互日志数据，判断用户当前的学习状态。
其中，对于图像数据，采用公开表情数据集训练得到最优的卷积神经网络，提取后的面部表情特征通过主成份分析降低数据维，得到有效特征；
对于生理数据，提取生理数据的中值、均值、最小值、最大值、范围、标准差、方差作为时域特征，提取频谱相关函数的平均值和标准差作为低维频域特征，经过公开数据集训练的深度信念网络得到高维特征，再经过降低数据维度算法得到有效特征；
对于位姿数据，提取位姿数据的均值、均方根、标准差、移动角度、信号幅度矢量作为时域特征，提取FFT的直流分量作为频域特征，再经过降低数据维度算法得到有效特征。
进一步地，决策单元204中，图像数据采用全连接网络作为二分类决策模型，生理数据采用支持向量机作为二分类决策模型，位姿数据采用隐马尔可夫模型作为二分类决策模型。
作为本发明的一种优选实施方式，根据大量的文献和历史数据，给三个算法模型输出的结果赋予不同的权重值。这里设置图像数据决策的权重为0.3，生理数据决策的权重0.5，位姿数据决策的权重为0.2，则综合决策结果＝0.3*图像数据决策结果+0.5*生理数据决策结果+0.2*位姿数据决策结果。
其中，根据面部表情特征可得出情感类型包括：非常积极、比较积极、平静、比较消极、非常消极，根据生理特征可得出压力水平是否正常，根据位姿特征可分为五种不同的坐姿：正确坐姿(PS)，向左倾斜140(LL)，向右倾斜(LR)，向前倾斜(LF)和向后倾斜(LB)。交互日志数据用于总结出用户每节课的交互频率和参与程度，作为最终决策要考虑的一部分。综合以上各项指标给出整节课的表现评分、压力曲线、情绪类型并存入数据库。
进一步地，云端融合系统架构模块3包括资源协调单元301，资源协调单元301用于：
获取云端服务器和本地用户端的计算资源使用率，并进行比较；
当云端服务器的计算资源使用率大于80％且本地用户端的计算资源使用率小于20％，则在本地用户端进行数据的预处理，然后同步到云端服务器进行决策；
当本地用户端的计算资源使用率大于20％，则直接同步原始数据至云端服务器，由云端服务器完成数据的预处理和决策；
其中，所述计算资源使用率包括CPU占用率和内存占用率，计算方法为：(CPU占用率+内存占用率)/2*100％。
作为本发明的一种具体实现方式，当原始数据采集完毕，系统会自动比对云端和本地端计算资源使用情况，用算法智能决策，这将会产生两种情况，第一种直接将原始数据同步至云端，数据预处理和算法模型决策过程都在云端进行，第二种本地端先对原始数据进行复杂的预处理得出最优特征，在同步至云端，云端只运行算法模型决策过程。
例如，在云端服务器运行crontab定时任务，完成记录服务器6秒内平均CPU空闲率和内存空闲率，自动记录到数据库中。当上完一节课时，本地用户端执行数据自动同步任务，从数据库中获取当前服务器计算资源，并用psutil模块获取本机当前CPU空闲率和内存空闲率，进行比较，当服务器CPU空闲率小于20％，则在本地运行数据预处理程序，然后再同步到云端服务器；若本地CPU空闲率小于20％，直接同步原始数据，让云端服务器完成预处理及后续决策过程。
进一步地，云端融合系统架构模块3还包括可视化单元302，可视化单元302用于：
在云端服务器搭建Web服务器，以供用户登陆查看自己的学习状态和评分情况，以及云端服务器实时计算资源使用情况；教师登陆后查看学生学习情况并给出评分和建议，以及根据学生的表现对课程做出相应的调整。
除此之外，用户可根据计算资源数据自己决定是预处理上传还是直接上传，用户传输自己想要处理的数据，数据可以是原始数据也可以是已经预处理好的数据，云端服务器监听程序会自行判断，再输入相应的算法模型中。网页还可查看数据处理进度，部署的算法架构等，实现云对端的透明化。
进一步地，系统交互调整模块4包括：
虚拟机器人单元401，用于依照课程流程，从教材中选取相应的知识点，以弹窗对话的形式展示给用户，以及从数据库获取课堂的整体表现评分，分为高、中、低三个等级，根据分值来鼓励用户；
奖励单元402，用于根据课堂综合表现进行排名，对排名高的学生给予奖赏，对排名低的学生给予鼓励，对于长时间处于比较消极或非常消极的用户，在其原本学习流程中插入休息放松时间段或更改其学习资源难度；
课程调整单元403，用于根据用户的学习状态和交互反馈进行课程调整；所述学习状态包括情感状态和压力状态；当用户在线学习过程情感表现为积极，压力水平稳定，与系统交互稳定时，保持课程进度和资料不变；当用户在线学习过程情感表现为消极，压力水平过高，与系统交互不稳定时，放慢课程播放速度，并将课程资料更换为更详细的版本。
具体地，交互分三种情况：当学生表现整体积极或者正常，压力水平正常时，虚拟机器人会以正常的频率弹出相关重要知识点，和一些给用户鼓励句子，且用户的评估排行会出现在网页排名系统，依据排名给予表现优秀的学生一些奖励，以使用户保持积极状态，更高效地学习；当综合评估学生上课属于消极，压力水平正常时，虚拟机器人切换模式，以更高的频率进行交互来提示用户，除此之外，系统更新更全面的学习资料，作业量降低，以减少学生的压力；当学生处于消极情绪且压力水平异常时，除以上交互改变之外，增加老师的交互即老师根据系统后台显示的学生综合表现来更改教学风格和教学速度，并对综合表现评分较差的学生进行咨询和慰问，进而获得学生反馈，提升用户的学习效率。
下面结合附图对本发明的具体实施方式进行详细描述。
图2为本发明实施例的工作流程示意图。首先，用户登录在线学习系统，各个传感器采集用户听课过程中的面部图像数据，生理信号数据，和位姿信号数据，用户在听课、做题过程中也采集日志数据，文件管理系统统一将这些文件收集，放入特定文件夹。当完成课程，用户终端设备根据自身计算资源情况和远程数据库中记录的服务器计算资源情况进行上传和预处理决策，当服务器计算资源使用率大于80％且本地计算资源使用率小于20％，则运行本地的数据预处理程序，将输出的面部表情特征，生理信号特征，位姿信号特征通过定时云端同步程序同步到云端，云端监听到数据类型是已预处理类型，则直接将数据送入计算网络，得出预测情绪及压力结果。当本地计算资源使用率大于20％，则直接运行定时云端同步程序，将原始信号同步到云端，云端监听到是原始数据类型，则将数据先进行预处理再送入计算网络，得出情绪及压力预测结果。第三种情况是学生并不想自己的设备预处理数据，则可选择在Web页面手动上传采集好的数据文件，上传后服务器进行预处理和计算决策。将三种数据的计算预测结果进行决策层融合，根据不同的权重，当前综合决策结果＝0.5*生理信号预测结果+0.3面部表情预测结果+0.2*位姿信号预测结果，压力由生理信号测出，用于辅助决策，交互日志数据可检测学生是否在用设备听课还是做其他事情。其中面部表情特征可得到以下预测结果：积极、正常、消极等，生理信号可得以下结果：积极，消极，正常，压力水平是否正常等，位姿信号可得以下预测结果：积极，消极，正常等。将用户上课期间预测的学习状态结果(包括情绪、压力、坐姿等)存入数据库。当预测到用户上课期间总体处于积极和正常情绪，则保持课程进度，课程资料的版本不变，虚拟机器人会在学习过程中自动弹出相关知识点，且用户可参加当天的课堂表现评优，评优结果由Web页面展示出来。反之，当用户情绪处于消极时，在线学习系统会智能降低当天课程任务量，更改课程学习资料版本使课后作业较少，课程相关资料更详细。同时，虚拟机器人会在学习过程中自动弹出相关知识点与一些鼓励，询问信息。学生课堂表现会出现在老师的后台管理系统，老师根据学生表现做出相应的教学调整，并对表现不好的同学进行咨询慰问。
图3为本发明实施例的系统框架示意图。作为本发明的一种具体架构方式，基于云端融合的在线学习系统包括系统层、数据层、云端计算资源协调层、特征策、决策层、情感层、交互层。
所述的系统层为在线学习平台用户通过输入账号密码进行注册和登录系统，用户登录并填写基本资料，可在线选课，进入个人空间可查看自己上课期间的表现评估，查看表现排名，还可以与老师互动，请教问题。
所述的数据层为系统采集用户在线学习过程中的面部图像数据、生理数据、位姿数据和用户与系统交互产生的交互日志数据。面部图像数据采集模块主要采集用户在线学习时面部宏表情特征，以一分钟时间采集的图像进行分别保存。生理数据为戴在用户手腕上，实时采集的多种生理数据，如皮肤电，心率，体表温度，惯性数据等，也以一分钟时间分别保存。位姿数据采集用户在线学习时的坐姿，为安置在凳子上的坐垫，数据以一分钟时间分别保存。日志数据采用Flume框架采集用户在学习过程中、做题过程中的一系列与系统交互的行为数据，主要用于分析用户对课程的积极程度。
所述的云端计算资源协调层为把服务器和本地客户端的计算资源协调分配，使系统完成去中心化，减少云服务器负载。采集完数据时，本地客户端根据自身空闲的计算资源，服务器空闲计算资源来决策处理数据。客户可根据Web可视化的信息获取服务器当前工作量，来决定是否全部上传至云端处理还是先由自己对数据进行预处理再上传。当然系统也会自己做出决策，系统集成了云端计算资源均衡负载算法，可实现当本地计算资源充足时，自动对原始数据预处理，再进行数据同步；当云服务器空闲时原始数据会直接同步到云端，由云端来完成数据处理整个流程。
所述的特征层包含面部表情特征，生理数据的频域、时域特征以及位姿数据的时域、频域特征。其中面部图像数据的表情特征提取，采用大量的公开表情数据集训练得到最优的卷积神经网络，提取后的特征经过主成份分析来降低数据维。同样生理数据的特征提取：先对原始生理信号低通滤波器对信号进行平滑处理再对信号进行归一化，提取数据的中值、均值、最小值、最大值、范围、标准差、方差等统时域征。频谱相关函数的平均值和标准差等低维频域特征，经过公开数据集预训练的深度信念网络来得到高维特征，再经过降低数据维算法得到有效特征。位姿数据的特征提取，分别对压力传感器的数据和三轴加速传感器数据分析，所求特征包括均值，均方根，标准差，原始数据的主成分分析(PCA)和快速傅里叶变换(FFT)的DC成分。
所述的决策层为将提取的特征送入已经过公开数据集训练好的算法模型中，本发明中图像数据采用全连接网络作为决策层的二分类模型，生理数据采用支持向量机作为二分类决策模型，位姿数据采用隐马尔可夫模型作为决策层的二分类模型。将三个模型结果做决策层融合。根据大量的实验，可以设置图像数据决策占综合决策的0.3，生理数据决策占综合决策的0.5，位姿数据决策占综合决策的0.2。得出最终的识别结果存入数据库中。交互日志数据采用大数据框架spark进行分析，记录学生在系统上的操作，如做题速度，回放视频次数，是否有作弊行为，将这些数据存入数据库，纳入老师综合考察条件中。
所述的交互层为系统与用户的交互和老师与学生的交互。用户上课后，系统根据数据库中的情绪预测，日志分析结果，压力水平预测综合评估学生的课堂表现。当学生表现整体积极或者正常时，系统虚拟机器人会弹出相关重要知识点，给用户打气的一些话，且用户的评估排行会出现在网页排名系统，并给予一些奖励，以使用户保持状态，更高效学习。当综合评估学生上课属于消极时，虚拟机器人切换模式，以更高的频率进行交互，除此之外，系统更新更全面的学习资料，作业量降低，以减少学生的压力。老师的交互即老师根据系统后台显示的学生综合表现来更改教学风格和教学速度，并对综合表现评分较差的学生进行咨询，慰问。进而获得学生反馈，提升用户的学习效率。
图4为本发明实施例的云端服务器的部署示意图，所述系统模块及功能为：云端服务器用内置定时任务模块crontab定时采集服务器6秒内计算资源使用情况并保存至数据库中，以供Web展示和用户获取；FTP数据同步模块，可定时同步云和端之间的数据，可避免上传重复数据；数据管理模块将原始数据和已预处理数据分区存储；数据类型监听模块来判断当前同步的数据是原始数据还是已经预处理的数据，若为原始数据，则先将数据输入预处理程序，再输入算法模型，若为已预处理数据则直接输入算法网络，因此对数据处理应部署预处理程序和算法模型；spark日志分析模块用于分析日志信息，从而获取用户在线学习中与系统交互的信息；数据库模块用于存储算法模型处理数据的结果如情绪，压力，交互信息等，用两个数据库是根据数据库特性达到更快的交互，所有数据存储在MySQL数据库中，Redis用于存储近期数据；Web服务器向用户展示数据库中的数据信息，用户可以从这里获取分析结果以及服务器计算资源、数据处理任务进度信息。
图5为本发明实施例的本地用户端的部署示意图，所述系统包括：云端计算资源协调算法实现云和端的资源协调利用，在不妨碍客户运行使用系统的前提下充分利用本地资源，减少云服务器负载，根据云端计算资源和本地计算资源使用情况，来决策是否在本地预处理原始生理数据；数据可视化模块即在接受数据时，用户能够实时可视化采集数据折线图，该功能可选择性开启；通信模块包括蓝牙和网络，蓝牙通信模块负责传输原始生理数据，网络负责与服务器交换数据相互通信；数据预处理模块和服务器上部署的一样，负责当本地计算资源充足时直接预处理数据；云端同步模块实现定时同步云服务器和本地客户端文件数据。
图6为本发明实施例的云端融合算法流程示意图，本发明的云端融合即云和端计算资源的灵活分配运用，两端数据处理算法紧密配合，缺一不可，云端服务器对本地用户端透明化，即可看到云端服务器计算资源负载情况，云端服务器处理数据进度。首先在云端服务器侧crontab收集服务器6秒计算资源使用率将其记录进数据库，记算当前服务器吞吐量、数据处理的进度，并将它们实时更新在Web服务器上；本地用户端侧则先获取自身计算资源使用率，再从数据库获取服务器侧6秒内计算资源使用率，根据这两则数据，来进行决策，当本地计算资源占用率小于20％且服务器处于繁忙状态，计算资源占用率大于80％则在本地用户端对数据预处理后上传至云端服务器，若本地计算资源占用率大于20％则将原始数据直接上传至云端，由云端预处理数据。
图7为本发明实施例的数据处理模型示意图，该模型只配置在云端服务器，当从本地用户端侧同步到云端服务器，数据管理模块将数据划分到固定文件夹中，当监听模块发现有新数据到来，先判定为何种数据，再利用相应的算法去处。图像数据经过特征处理程序得到左眼、右眼、鼻子、嘴部等区域特征；生理数据经过特征提取得到时域、频域特征；位姿数据同样提取得到时域、频域特征；所有特征都经过主成分分析(PCA)降维得到有效特征，分别输入三个对应的决策网络：深度神经网络(DNN)、深度信念网络(DBN)，隐马尔可夫模型(HMM)，输出结果经过决策层融合得到最终结果，再存进数据库中。
图8为本发明实施例的后台管理系统流程图，其中数据交互由配置在crontab软件中的云端自动同步程序定时同步数据；数据管理包括对接收的数据类型进行分类并对是否是已经预处理的数据识别，原始数据需经过数据预处理才能送入算法模型，已经预处理的数据则直接输入算法模型；结果都存储在数据库中，用两类数据库是根据安全性和快捷性考虑，加入redis数据库可加快访问速度和保持系统实时性；Web提供可视化界面，并且可以实现用户与系统的交互，如无需经过系统决策，用户可自行上传采集的数据，实现老师与学生的交流沟通，web页面可采集用户与系统日志交互数据，通过HTTP上传，spark日志分析后的结果有助于对用户状态进行判断，增加准确度。
图9为本发明实施例的交互流程图，系统根据多模态数据的分析结果来作出相应的调整，评估指标有两个，即情感状态评估和压力评估，当情感状态积极，则说明用户学习处于愉快状态，则应保持用户这种状态，让后台系统保持正常的学习任务，虚拟机器人帮助回顾知识点和夸赞用户，让用户参与课堂表现评优，以鼓励学生保持学习状态；当用户情绪消极，但压力水平正常，这说明用户在努力学习，但并未跟上课程进度、学习少有吃力，那么系统根据分析结果，适当调慢学习进度，课程任务减少，老师根据后台的提示，主动联系学生，了解他的困难之处从而对课程做出相应的调整，若仍未改善则将系统转换为第三个状态，即用户情绪消极且压力异常，这说明用户正经历某些持续的困难，系统根据这个结果做出相应的改变，第一学习进度调慢且学习资料更新到另一个更详细的版本，虚拟机器人加大交互频率，老师电话慰问咨询，以调节好学生的上课状态。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于云端融合多模态分析的在线学习系统，其特征在于，所述在线学习系统包括：
在线学习模块，用于向用户提供在线学习界面，并采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据；
所述在线学习模块包括：
界面单元，用于向用户提供在线学习界面，包括用户登录、分析结果查看、课程资料、教师学生交流页面、表现排名展示；
采集单元，用于通过传感器组采集用户在线学习过程中的图像数据、生理数据、位姿数据和交互日志数据；
所述图像数据包括面部图像序列数据，通过摄像头采集；所述生理数据包括血容量脉冲、皮肤电、心率变异性、皮肤温度和动作状态，通过穿戴设备采集；所述位姿数据通过安装有压力传感器的坐垫进行采集；
多模态数据融合决策模块，用于对采集的图像数据、生理数据、位姿数据进行预处理，提取相应特征，并结合交互日志数据进行综合决策，得到用户当前的学习状态；
所述多模态数据融合决策模块包括：
模型训练单元，用于根据公开的数据集进行训练，得到分别用于图像数据、生理数据、位姿数据的特征提取网络；
预处理单元，用于对采集的图像数据、生理数据、位姿数据进行预处理，所述预处理包括降噪、分隔、归一化处理；
特征提取单元，将预处理后的图像数据、生理数据、位姿数据分别输入相应的特征提取网络，提取出图像数据的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征；
决策单元，用于将提取的面部表情特征，生理数据的时域、频域特征，位姿数据的时域、频域特征分别送入相应的训练好的决策模型中，综合得到的决策结果以及交互日志数据，判断用户当前的学习状态；
对于图像数据，采用公开表情数据集训练得到最优的卷积神经网络，提取后的面部表情特征通过主成份分析降低数据维，得到有效特征；
对于生理数据，提取生理数据的中值、均值、最小值、最大值、范围、标准差、方差作为时域特征，提取频谱相关函数的平均值和标准差作为低维频域特征，经过公开数据集训练的深度信念网络得到高维特征，再经过降低数据维度算法得到有效特征；
对于位姿数据，提取位姿数据的均值、均方根、标准差、移动角度、信号幅度矢量作为时域特征，提取FFT的直流分量作为频域特征，再经过降低数据维度算法得到有效特征；
所述决策单元中，图像数据采用全连接网络作为二分类决策模型，生理数据采用支持向量机作为二分类决策模型，位姿数据采用隐马尔可夫模型作为二分类决策模型；
设置图像数据决策的权重为0.3，生理数据决策的权重0.5，位姿数据决策的权重为0.2，则综合决策结果＝0.3*图像数据决策结果+0.5*生理数据决策结果+0.2*位姿数据决策结果；
云端融合系统架构模块，用于根据云端服务器和本地用户端的计算资源使用情况协调运用二者的计算资源，并对计算任务进度进行可视化展示；
所述云端融合系统架构模块包括资源协调单元，所述资源协调单元用于：
获取云端服务器和本地用户端的计算资源使用率，并进行比较；
当云端服务器的计算资源使用率大于80％且本地用户端的计算资源使用率小于20％，则在本地用户端进行数据的预处理，然后同步到云端服务器进行决策；
当本地用户端的计算资源使用率大于20％，则直接同步原始数据至云端服务器，由云端服务器完成数据的预处理和决策；
其中，所述计算资源使用率包括CPU占用率和内存占用率，计算方法为：(CPU占用率+内存占用率)/2*100％；
所述云端融合系统架构模块还包括可视化单元，所述可视化单元用于：
在云端服务器搭建Web服务器，以供用户登陆查看自己的学习状态和评分情况，以及云端服务器实时计算资源使用情况；教师登陆后查看学生学习情况并给出评分和建议，以及根据学生的表现对课程做出相应的调整；
系统交互调整模块，用于根据用户当前的学习状态对在线学习模式进行调整；
所述系统交互调整模块包括：
虚拟机器人单元，用于依照课程流程，从教材中选取相应的知识点，以弹窗对话的形式展示给用户，以及从数据库获取课堂的整体表现评分，分为高、中、低三个等级，根据分值来鼓励用户；
奖励单元，用于根据课堂综合表现进行排名，对排名高的学生给予奖赏，对排名低的学生给予鼓励，对于长时间处于比较消极或非常消极的用户，在其原本学习流程中插入休息放松时间段或更改其学习资源难度；
课程调整单元，用于根据用户的学习状态和交互反馈进行课程调整；所述学习状态包括情感状态和压力状态；当用户在线学习过程情感表现为积极，压力水平稳定，与系统交互稳定时，保持课程进度和资料不变；当用户在线学习过程情感表现为消极，压力水平过高，与系统交互不稳定时，放慢课程播放速度，并将课程资料更换为更详细的版本。
CN202110176980.0A 2021-02-07 2021-02-07 一种基于云端融合多模态分析的在线学习系统 Active CN112907406B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110176980.0A CN112907406B (zh) 2021-02-07 2021-02-07 一种基于云端融合多模态分析的在线学习系统
US17/320,251 US20220254264A1 (en) 2021-02-07 2021-05-14 Online learning system based on cloud-client integration multimodal analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110176980.0A CN112907406B (zh) 2021-02-07 2021-02-07 一种基于云端融合多模态分析的在线学习系统

Publications (2)

Publication Number Publication Date
CN112907406A CN112907406A (zh) 2021-06-04
CN112907406B true CN112907406B (zh) 2022-04-08

Family

ID=76123056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110176980.0A Active CN112907406B (zh) 2021-02-07 2021-02-07 一种基于云端融合多模态分析的在线学习系统

Country Status (2)

Country Link
US (1) US20220254264A1 (zh)
CN (1) CN112907406B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781870A (zh) * 2021-08-24 2021-12-10 辽宁装备制造职业技术学院 一种基于ai和大数据的教学监测平台
CN114357875B (zh) * 2021-12-27 2022-09-02 广州龙数科技有限公司 基于机器学习的智能数据处理系统
CN116150110B (zh) * 2023-04-20 2023-06-30 广东省出版集团数字出版有限公司 基于ai深度学习的自动化数字教材建模系统
CN117238458B (zh) * 2023-09-14 2024-04-05 广东省第二人民医院（广东省卫生应急医院） 基于云计算的重症护理跨机构协同平台系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN109255366A (zh) * 2018-08-01 2019-01-22 北京科技大学 一种针对在线学习的情感状态调节系统
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法
CN111260979A (zh) * 2020-03-25 2020-06-09 上海思快奇教育科技有限公司 一种基于云平台的在线教育培训系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240454B1 (en) * 1996-09-09 2001-05-29 Avaya Technology Corp. Dynamic reconfiguration of network servers
US20020069086A1 (en) * 1999-12-06 2002-06-06 Fracek Stephen P. Web linked database for tracking clinical activities and competencies and evaluation of program resources and program outcomes
JP4760491B2 (ja) * 2005-12-08 2011-08-31 株式会社日立製作所 イベント処理システム、イベント処理方法、イベント処理装置、及び、イベント処理プログラム
US10347148B2 (en) * 2006-07-14 2019-07-09 Dreambox Learning, Inc. System and method for adapting lessons to student needs
US8825731B2 (en) * 2010-05-18 2014-09-02 International Business Machines Corporation Mobile device workload management for cloud computing using SIP and presence to control workload and method thereof
EP2782318A1 (en) * 2013-03-18 2014-09-24 Koninklijke KPN N.V. Allocating resources between network nodes for providing a network node function
KR102287905B1 (ko) * 2013-11-01 2021-08-09 삼성전자주식회사 멀티미디어 기기, 온라인 교육 시스템 및 이들의 컨텐츠 제공 방법
CN105704400B (zh) * 2016-04-26 2018-10-26 山东大学 一种基于多平台终端和云服务的学习系统及其运行方法
US20190130511A1 (en) * 2017-11-02 2019-05-02 Act, Inc. Systems and methods for interactive dynamic learning diagnostics and feedback
US20190189021A1 (en) * 2017-12-19 2019-06-20 The Florida International University Board Of Trustees STEM-CyLE: SCIENCE TECHNOLOGY ENGINEERING AND MATHEMATICS CYBERLEARNING ENVIRONMENT
CN108281052B (zh) * 2018-02-09 2019-11-01 郑州市第十一中学 一种在线教学系统及在线教学方法
CN110875833A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 集群混合云、作业处理方法、装置及电子设备
CN109447050B (zh) * 2018-12-29 2020-08-04 上海乂学教育科技有限公司 一种在线课堂用户情绪可视化系统
CN110334626B (zh) * 2019-06-26 2022-03-04 北京科技大学 一种基于情感状态的在线学习系统
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN109255366A (zh) * 2018-08-01 2019-01-22 北京科技大学 一种针对在线学习的情感状态调节系统
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法
CN111260979A (zh) * 2020-03-25 2020-06-09 上海思快奇教育科技有限公司 一种基于云平台的在线教育培训系统

Also Published As

Publication number Publication date
US20220254264A1 (en) 2022-08-11
CN112907406A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112907406B (zh) 一种基于云端融合多模态分析的在线学习系统
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
CN110991381A (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
JP2021027917A (ja) 情報処理装置、情報処理システム、および機械学習装置
CN108366732A (zh) 困倦起始检测
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
CN110119672A (zh) 一种嵌入式疲劳状态检测系统及方法
CN109255366B (zh) 一种针对在线学习的情感状态调节系统
CN105022929A (zh) 一种人格特质值测验的认知准确度分析方法
CN102231281B (zh) 基于集成特征和神经网络的语音可视化方法
CN111695442A (zh) 一种基于多模态融合的在线学习智能辅助系统
CN109961047A (zh) 教育机器人的学习监督方法、装置、机器人及存储介质
CN110134863B (zh) 应用程序推荐的方法及装置
CN110531849A (zh) 一种基于5g通信的增强现实的智能教学系统
KR102424629B1 (ko) 딥러닝 모듈을 이용한 발달장애 개선 시스템 및 방법
CN111553617A (zh) 基于虚拟场景中认知力的操控工效分析方法、设备及系统
KR101899405B1 (ko) 컴퓨터 및 스마트폰을 기반으로 한 시력강화 소프트웨어 구현 방법
KR20220135846A (ko) 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN113282840B (zh) 一种训练采集综合管理平台
CN113313168A (zh) 无人监考的智能防作弊自助考试系统
CN108492855A (zh) 一种用于训练老年人注意力的装置与方法
CN115101191A (zh) 一种帕金森疾病诊断系统
JP6622345B2 (ja) 情報提示システム
CN114035678A (zh) 一种基于深度学习和虚拟现实的辅助判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant