CN109255366B - 一种针对在线学习的情感状态调节系统 - Google Patents
一种针对在线学习的情感状态调节系统 Download PDFInfo
- Publication number
- CN109255366B CN109255366B CN201810866777.4A CN201810866777A CN109255366B CN 109255366 B CN109255366 B CN 109255366B CN 201810866777 A CN201810866777 A CN 201810866777A CN 109255366 B CN109255366 B CN 109255366B
- Authority
- CN
- China
- Prior art keywords
- learning
- user
- individuals
- emotion
- emotional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 81
- 230000008451 emotion Effects 0.000 claims abstract description 49
- 230000008921 facial expression Effects 0.000 claims abstract description 44
- 239000000463 material Substances 0.000 claims abstract description 39
- 230000008909 emotion recognition Effects 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 230000037007 arousal Effects 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 239000008280 blood Substances 0.000 claims description 10
- 210000004369 blood Anatomy 0.000 claims description 10
- 230000036772 blood pressure Effects 0.000 claims description 10
- 238000009827 uniform distribution Methods 0.000 claims description 9
- 238000000611 regression analysis Methods 0.000 claims description 8
- 230000000739 chaotic effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013210 evaluation model Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 206010062519 Poor quality sleep Diseases 0.000 claims description 2
- 238000004445 quantitative analysis Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000001953 Hypotension Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 208000012866 low blood pressure Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种针对在线学习的情感状态调节系统，实现在线学习者与在线学习系统的智能交互。所述系统包括：采集模块，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；情感识别模块，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；情感调节模块，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整。本发明涉及智能服务技术领域。
Description
技术领域
本发明涉及智能服务技术领域，特别是指一种针对在线学习的情感状态调节系统。
背景技术
在线学习在世界范围内迅速发展，越来越多的人开始使用这种新兴的教育方式学习，但在线学习欠缺情感和互动是一直存在的问题，而情感计算能够很好地解决在线学习欠缺的情感和互动问题。为了让人机之间实现更加和谐的交流，我们需要在交互过程中充分发挥情感的价值。
发明内容
本发明要解决的技术问题是提供一种针对在线学习的情感状态调节系统，以解决现有技术所存在的在线学习欠缺情感和互动的问题。
为解决上述技术问题，本发明实施例提供一种针对在线学习的情感状态调节系统，包括：
采集模块，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；
情感识别模块，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；
情感调节模块，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整。
进一步地，所述采集模块包括：
生理信号采集模块，用于利用可穿戴生理传感器采集用户在线学习时的生理信号，其中，所述生理信号包括：皮肤电信号、血容量脉冲信号、血压信号、皮肤温度中的一种或多种；
面部表情采集模块，用于利用摄像装置采集用户在线学习时的面部表情图像。
进一步地，所述情感状态包括：感知难度、感知压力、兴趣度中的一种或多种。
进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征和用户自我报告中的标签，输入到机器学习模型中，使用逻辑回归预测算法对用户的感知难度、感知压力和/或兴趣度进行预测；
其中，所述情感特征包括：时域特征、频域特征、时频域特征及非线性特征。
进一步地，用户自我报告通过自我评价模型对在线学习中用户的情感状态定量分析，产生机器学习时需要的标签数据：归一化后的唤醒度、效价和控制度分数；
其中，对于第x组学习素材，通过用平均评分μx除以标准差σx归一化唤醒度、效价和控制度的分数。
进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征并将用户自我报告中归一化后的唤醒度、效价和控制度分数作为机器学习的标签，输入到机器学习模型中，使用机器学习实现对情感特征的AVS回归分析，并将其映射在AVS情感空间中对其进行聚类或逻辑回归，结合用户自我报告，预测用户的感知难度、感知压力和/或兴趣度。
进一步地，所述机器学习模型为支持向量机模型，所述支持向量机模型的参数优化步骤包括：
步骤一，初始化参数：每个个体的维数m，种群个体总数N，子种群个数M，子群局部搜索次数n，控制参数的初值t及其衰减因子Δt和停止条件S；
步骤二，随机产生一个个体X，该个体的每维变量Xi∈(0,1)，i＝1,…,m，对X进行混沌映射，得到X′i+1，即：
将Xi′映射回原优化空间中：
newXi＝a+(b-a)*Xi′ (2)
其中，[a，b]是原优化空间中第i维变量的定义域，则得到混沌扰动量newX＝(newX1,newX2,…,newXi,…,newXm)；
利用式(1)产生N1个个体Xj,j＝1,…,N1，再利用式(2)将Xj的每一维映射到原优化空间中，得到N1个在优化范围的初始个体newXj，并计算其适应度函数，从中选取性能达到预设条件的N个个体形成混合蛙跳算法的初始个体；
步骤三，将N个个体的适应度值从优到劣排序，依次将个体划分到各子群；
步骤四，对每个子群体进行局部深度搜索，重复执行以下步骤n次：
a.根据适应度值更新当前迭代中子群体的最优个体位置Xb和全局最优个体位置Xg，并确定当前迭代中子群体的最差个体位置Xw；
b.对Xw执行以下更新操作：
蛙跳步长更新：
Di＝rand( )(Xb-Xw)(-Dmax≤Di≤Dmax) (3)
位置更新：
newXw＝Xw+Di (4)
其中，rand()表示均匀分布在[0,1]之间的随机数；Dmax表示青蛙所允许更新步长的最大值；如果newXw的适应度值有改进，则取代Xw；若无改进，则Di＝rand( )(Xg-Xw)(-Dmax≤Di≤Dmax)；如果newXw的适应度值仍没有改进，则随机产生一个新的Xw，然后计算当前子群体的平均适应度值f′；
c.对适应度值优于f′的所有个体进行高斯变异：mutation(x)＝x(1+N(0,1))，x表示当前个体，N(0,1)表示期望为0、标准差为1的正态分布随机数；依照梅特罗波利斯接受准则来接受变异后的个体：Δf为变异后个体与变异前个体的适应度差值，如果Δf<0，则用高斯变异后的个体代替高斯变异前的个体；如果Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用高斯变异后的个体代替高斯变异前的个体，否则，原个体保持不变；
d.对适应度值差于f′的所有个体，按照式(1)和式(2)进行混沌映射；映射后得到的新个体也依照梅特罗波利斯接受准则来选择：
如果Δf<0或者Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用映射后的新个体代替原个体，否则原个体保持不变；
步骤五，所有子群体都完成局部深度搜索后，若达到停止条件S，则搜索过程结束，输出全局最优值；否则，修改控制参数t＝Δt*t，将全部个体重新混合，转至步骤三。
进一步地，所述情感调节模块，用于若用户的情感状态不在预设的最优状态时，则根据情感识别模块预测得到的用户的情感状态，结合预设的心流理论以及学习难度变化对学习心理的影响，调整学习素材，使用户的情感状态处于最优学习状态。
进一步地，所述系统还包括：
询问模块，用于当用户的情感状态不在预设的最优学习状态时，询问用户是否同意调整；若同意，则执行根据预设的情感调节策略进行学习素材的调整步进一步地，所述系统还包括：
可视化模块，用于保存采集的用户的生理信号和面部表情图像进行备份，并显示用户的生理信号的波形图及用户的面部表情。
本发明的上述技术方案的有益效果如下：
上述方案中，通过采集模块采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；情感识别模块对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；若用户的情感状态不在预设的最优学习状态，情感调节模块则根据预设的情感调节策略进行学习素材的调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。
附图说明
图1为本发明实施例提供的针对在线学习的情感状态调节系统的结构示意图；
图2为本发明实施例提供的针对在线学习的情感状态调节系统的详细结构示意图；
图3为本发明实施例提供的基于难度感知的动态难度调整示意图；
图4为本发明实施例提供的基于改进SFLA算法优化SVM模型参数流程示意图；
图5为本发明实施例提供的情感识别流程示意图；
图6为本发明实施例提供的针对在线学习的情感状态调节系统的工作流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的在线学习欠缺情感和互动的问题，提供一种针对在线学习的情感状态调节系统。
如图1所示，本发明实施例提供的针对在线学习的情感状态调节系统，包括：
采集模块11，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块11；
情感识别模块12，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；
情感调节模块12，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整。
本发明实施例所述的针对在线学习的情感状态调节系统，通过采集模块采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；情感识别模块对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；若用户的情感状态不在预设的最优学习状态，情感调节模块则根据预设的情感调节策略进行学习素材的调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述采集模块包括：
生理信号采集模块，用于利用可穿戴生理传感器采集用户在线学习时的生理信号，其中，所述生理信号包括：皮肤电信号、血容量脉冲信号、血压信号、皮肤温度中的一种或多种；
面部表情采集模块，用于利用摄像装置采集用户在线学习时的面部表情图像。
本实施例中，采集模块包括：生理信号采集模块和面部表情采集模块，能够实时采集用户在线学习时的生理信号和面部表情。
本实施例中，生理信号采集模块通过用户将可穿戴生理传感器(例如，可穿戴式腕带)佩戴到自己手腕处来采集用户生理信号。该腕带可以由多种生理传感器集成，例如，EDA传感器/GSR传感器、PPG传感器、红外热电堆传感器、脉搏波血压传感器，其中，
EDA传感器/GSR传感器，用于采集用户皮肤电信号，用于测量交感神经系统觉醒，并获得与压力、兴趣度等相关的特征，其中，EDA传感器的分辨率可以为1digit～900pSiemens，采样频率可以为4Hz；
PPG传感器，用于采集用户血容量脉冲(BVP)信号，由此可以计算出用户心率，得到心率变异性和血容量脉冲等数据，其中，PPG传感器的分辨率可以为0.9nW/Digit，采样频率可以为64Hz；
红外热电堆传感器，用于采集用户的皮肤温度，其中，红外热电堆传感器的分辨率可以为0.02℃，采样频率可以为4Hz；
脉搏波血压传感器，用于采集用户的高低血压，其中，脉搏波血压传感器可以为YKB1712脉搏波血压传感器，其动态和静态测试有100％的准确度。
本实施例中，采集的是用户的皮肤电信号、血容量脉冲信号、血压信号、皮肤温度，具有非侵入性，并穿戴舒适方便，采集用户在线学习时的生理数据更能接近实际学习状态。
本实施例中，面部表情采集模块通过放置在用户正前方的摄像装置采集用户在线学习时的面部表情信息；其中，所述摄像装置可以是具有500万像素，最高支持720P@30fps流畅高清录像的CAM500A摄像头。
本实施例中，生理信号作为情感计算中情感识别的媒介更为可靠。其主要受自身分泌系统的控制，在测试情况下不容易受实验对象主观意志的控制，在分析用户情感状态时，以生理信号为主，辅以面部表情信息，使分析更加精准。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述系统还包括：
可视化模块，用于保存采集的用户的生理信号和面部表情图像进行备份，并显示用户的生理信号的波形图及用户的面部表情。
本实施例中，如图2所示，所述系统还包括：可视化模块，所述可视化模块，可以是远程云端计算机，所述远程云端计算机，用于获取生理信号采集模块采集的生理信号和面部表情采集模块采集的面部表情图像并保存到数据库中进行备份，同时还可以将生理信号的实时波形图及用户学习时的面部图像视频显示在远程云端计算机的显示屏上，从而能够更直观的反映在线学习者的情感变化状态；其中，所述实时波形图的横坐标为时间，纵坐标为生理信号值，其中皮肤电信号的纵坐标单位为微西门子(μS)。
本实施例中，如图2所示，采集的皮肤电信号、血容量脉冲信号、皮肤温度可以通过蓝牙无线发射模块发送至可视化模块和情感识别模块，采集的血压信号可以通过WIFI无线发射模块1发送至可视化模块和情感识别模块，采集的面部表情图像可以通过WIFI无线发射模块2发送至可视化模块和情感识别模块。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感状态包括：感知难度、感知压力、兴趣度中的一种或多种。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理(例如，去噪、小波变化、傅里叶变化)、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征和用户自我报告中的标签，输入到机器学习模型中，使用逻辑回归预测算法对用户的感知难度、感知压力和/或兴趣度进行预测；
其中，所述情感特征包括：时域特征、频域特征、时频域特征及非线性特征。
本实施例中，图3为难度感知的动态难度调整状态图，其中，A为用户对学习素材的感知难度。如果将学习素材划分为四个难度，学习第一难度等级素材时，如果A＝low，即用户觉得素材太简单，感知难度很低，则将学习素材调整到第二难度等级；如果在第二难度等级学习时，A＝high，即用户觉得素材太难，感知难度太高时，则将学习素材调整到第一难度等级；如果在第二难度等级学习时，A＝medium，即用户觉得素材难度适中，则素材不调整。以此类推，实现对学习素材的动态调整，保证用户在学习素材难度时对难度情况的感知在最优难度梯度，使用户的情感状态处于学习最优状态。调整学习素材前会征求用户意见，用户保留不调整学习素材的权利。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，用户自我报告通过自我评价模型对在线学习中用户的情感状态定量分析，产生机器学习时需要的标签数据：归一化后的唤醒度(arousal)、效价(valence)和控制度(dominance)分数。
本实施例中，用户自我报告是用户对于在线学习过程中arousal、valence和dominance等级的自我评估，具体的：可以使用自我评价模型(SAM)对arousal、valence和dominance进行9个程度的定级；其中，arousal的程度从不活跃(例如，不感兴趣，无聊)到活跃(例如，警觉，兴奋)；valence的程度从不愉快(例如，悲伤，紧张)到愉快(例如，快乐，兴高采烈)，dominance从一种无助和软弱的感觉到一种可以掌控一切的感觉。
本实施例中，对于第x组学习素材，通过用平均评分μx除以标准差σx归一化arousal、valence和dominance的分数，将得到的归一化后的arousal、valence和dominance的分数作为机器学习训练集的标签输入机器学习模型中，以便识别出用户的情感状态。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征并将用户自我报告中归一化后的arousal、valence和dominance分数作为机器学习的标签，输入到机器学习模型中，使用机器学习实现对情感特征的唤醒度-效价-开放度(arousal-valence-stance，AVS)回归分析，并将其映射在AVS情感空间中对其进行聚类或逻辑回归，结合用户自我报告，预测用户的感知难度、感知压力和/或兴趣度。
本实施例中，所述机器学习模型为支持向量机(SVM)模型，在训练过程中使用一种改进的混合蛙跳算法(SFLA)实现支持向量机模型的参数优化。
本实施例中，所述改进的混合蛙跳算法，是利用混沌运动的遍历性改善初始个体的质量，并引入高斯变异，同时利用模拟退火算法的梅特罗波利斯(Metropolis)接受准则以预设的概率接受恶化解，从而使算法具有逃脱局部极值和避免过早收敛的全局优化能力，最终将改进后的混合蛙跳算法与支持向量机结合，实现支持向量机的参数优化，把它应用到情感识别模块中。
图4是基于改进混合蛙跳算法优化支持向量机模型参数流程图，具体步骤可以包括：
步骤一，初始化参数：每个个体的维数m，种群个体总数N，子种群个数M，子群局部搜索次数n，控制参数的初值t及其衰减因子Δt和停止条件S；
步骤二，随机产生一个个体X，该个体的每维变量Xi∈(0,1)，i＝1,…,m，对X进行混沌映射，得到X′i+1，即：
将Xi′映射回原优化空间中：
newXi＝a+(b-a)*Xi′ (2)
其中，[a，b]是原优化空间中第i维变量的定义域，则得到混沌扰动量newX＝(newX1,newX2,…,newXi,…,newXm)；
利用式(1)产生N1个个体Xj,j＝1,…,N1，再利用式(2)将Xj的每一维映射到原优化空间中，得到N1个在优化范围的初始个体newXj，并计算其适应度函数，从中选取性能达到预设条件的N个个体形成混合蛙跳算法的初始个体；
步骤三，将N个个体的适应度值从优到劣排序，依次将个体划分到各子群；
步骤四，对每个子群体进行局部深度搜索，重复执行以下步骤n次：
a.根据适应度值更新当前迭代中子群体的最优个体位置Xb和全局最优个体位置Xg，并确定当前迭代中子群体的最差个体位置Xw；
b.对Xw执行以下更新操作：
蛙跳步长更新：
Di＝rand( )(Xb-Xw)(-Dmax≤Di≤Dmax) (3)
位置更新：
newXw＝Xw+Di (4)
其中，rand()表示均匀分布在[0,1]之间的随机数；Dmax表示青蛙所允许更新步长的最大值；如果newXw的适应度值有改进，则取代Xw；若无改进，则Di＝rand( )(Xg-Xw)(-Dmax≤Di≤Dmax)；如果newXw的适应度值仍没有改进，则随机产生一个新的Xw，然后计算当前子群体的平均适应度值f′；
c.对适应度值优于f′的所有个体进行高斯变异：mutation(x)＝x(1+N(0,1))，x表示当前个体，N(0,1)表示期望为0、标准差为1的正态分布随机数；依照metropolis接受准则来接受变异后的个体：Δf为变异后个体与变异前个体的适应度差值，如果Δf<0，则用高斯变异后的个体代替高斯变异前的个体；如果Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用高斯变异后的个体代替高斯变异前的个体，否则，原个体保持不变；
d.对适应度值差于f′的所有个体，按照式(1)和式(2)进行混沌映射；映射后得到的新个体也依照metropolis接受准则来选择：
如果Δf<0或者Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用映射后的新个体代替原个体，否则原个体保持不变；
步骤五，所有子群体都完成局部深度搜索后，若达到停止条件S，则搜索过程结束，输出全局最优值；否则，修改控制参数t＝Δt*t，将全部个体重新混合，转至步骤三。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感调节模块，用于若用户的情感状态不在预设的最优状态时，则根据情感识别模块预测得到的用户的情感状态，结合预设的心流理论以及学习难度变化对学习心理的影响，调整学习素材，使用户的情感状态处于最优学习状态。
本实施例中，所述情感调节模块将情感识别模块得到的情感状态结合心流理论以及学习难度变化对学习心理的影响，实现对学习素材难度的动态调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。
本实施例中，所述情感调节模块对于用户在线学习过程中的感知难度、感知压力和/或兴趣度进行持续性的机器学习监督，保证用户在学习时对学习素材的难度、压力情况、兴趣度的感知在最优状态之间动态调节。调节机制为远端云端计算机发送命令给本地计算机，使用学习素材库中的学习素材对学习内容进行调整，然后继续监测用户的情感状态，确认用户的情感状态处于学习最优状态。
本实施例中，情感识别模块通过分析处理用户的皮肤电、血容量脉冲等生理信号和用户的面部表情图像，对在线学习用户的情感状态进行预测，并对用户的情感状态进行持续性的机器学习监督，将识别及预测出的情感状态传至情感调节模块；最后，情感调节模块根据情感调节策略对学习素材进行适度调整，从而使学习者的情感状态处于最优学习状态，达到了保证学习者在线学习过程中能够保持持续学习动力的目的。通过这种方式构建的情感与学习内容的关系模型可以根据用户在学习过程当中出现困惑与沉浸，无聊与沮丧以及困惑与沮丧交替出现的情况时进行学习内容调节，进而提升学习者在线学习过程中的表现。
图5为情感识别流程示意图。首先，通过可穿戴生理传感器采集皮肤电信号、血容量脉冲信号等生理信号，对采集到的皮肤电信号、血容量脉冲等生理信号和面部表情图像进行预处理(去噪、小波变化、傅里叶变化)。对预处理后的信号进行特征提取，分别提取他们的时域特征、频域特征、时频域特征及非线性特征，形成情感数据集，根据机器学习模型对情感数据集进行划分，将情感数据集分为训练集和测试集，在训练过程中通过特征选择或特征抽取等方法选择有效的情感判别特征，并通过训练分类器建立情感分类模型；在识别过程中，通过抽取训练过程中选取的情感特征使用建立的情感分类模型对情感数据进行分类预测，最后输出情感预测结果，包括：感知难度，感知压力和兴趣度三个方面。
在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述系统还包括：
询问模块，用于当用户的情感状态不在预设的最优学习状态时，询问用户是否同意调整；若同意，则执行根据预设的情感调节策略进行学习素材的调整步骤；否则，则继续学习，如图6所示。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种针对在线学习的情感状态调节系统，其特征在于，包括：
采集模块，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；
情感识别模块，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；
情感调节模块，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整；
其中，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征和用户自我报告中的标签，输入到机器学习模型中，使用逻辑回归预测算法对用户的感知难度、感知压力和/或兴趣度进行预测；
其中，所述情感特征包括：时域特征、频域特征、时频域特征及非线性特征；
其中，用户自我报告通过自我评价模型对在线学习中用户的情感状态定量分析，产生机器学习时需要的标签数据：归一化后的唤醒度、效价和控制度分数；
其中，对于第x组学习素材，通过用平均评分μx除以标准差σx归一化唤醒度、效价和控制度的分数；
其中，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征并将用户自我报告中归一化后的唤醒度、效价和控制度分数作为机器学习的标签，输入到机器学习模型中，使用机器学习实现对情感特征的AVS回归分析，并将其映射在AVS情感空间中对其进行聚类或逻辑回归，结合用户自我报告，预测用户的感知难度、感知压力和/或兴趣度；
其中，所述机器学习模型为支持向量机模型，所述支持向量机模型的参数优化步骤包括：
步骤一，初始化参数：每个个体的维数m，种群个体总数N，子种群个数M，子群局部搜索次数n，控制参数的初值t及其衰减因子Δt和停止条件S；
步骤二，随机产生一个个体X，该个体的每维变量Xi∈(0，1)，i＝1，…，m，对X进行混沌映射，得到X′i+1，即：
将X′i映射回原优化空间中：
newXi＝a+(b-a)*X′i (2)
其中，[a，b]是原优化空间中第i维变量的定义域，则得到混沌扰动量newX＝(newX1,newX2,…,newXi,…,newXm)；
利用式(1)产生N1个个体Xj，j＝1，…，N1，再利用式(2)将Xj的每一维映射到原优化空间中，得到N1个在优化范围的初始个体newXj，并计算其适应度函数，从中选取性能达到预设条件的N个个体形成混合蛙跳算法的初始个体；
步骤三，将N个个体的适应度值从优到劣排序，依次将个体划分到各子群；
步骤四，对每个子群体进行局部深度搜索，重复执行以下步骤n次：
a.根据适应度值更新当前迭代中子群体的最优个体位置Xb和全局最优个体位置Xg，并确定当前迭代中子群体的最差个体位置Xw；
b.对Xw执行以下更新操作：
蛙跳步长更新：
Di＝rand()(Xb-Xw)(-Dmax≤Di≤Dmax) (3)
位置更新：
newXw＝Xw+Di (4)
其中，rand()表示均匀分布在[0,1]之间的随机数；Dmax表示青蛙所允许更新步长的最大值；如果newXw的适应度值有改进，则取代Xw；若无改进，则Di＝rand()(Xg-Xw)(-Dmax≤Di≤Dmax)；如果newXw的适应度值仍没有改进，则随机产生一个新的Xw，然后计算当前子群体的平均适应度值f′；
c.对适应度值优于f′的所有个体进行高斯变异：mutation(x)＝x(1+N(0，1))，x表示当前个体，N(0,1)表示期望为0、标准差为1的正态分布随机数；依照梅特罗波利斯接受准则来接受变异后的个体：Δf为变异后个体与变异前个体的适应度差值，如果Δf<0，则用高斯变异后的个体代替高斯变异前的个体；如果Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用高斯变异后的个体代替高斯变异前的个体，否则，原个体保持不变；
d.对适应度值差于f′的所有个体，按照式(1)和式(2)进行混沌映射；映射后得到的新个体也依照梅特罗波利斯接受准则来选择：
如果Δf<0或者Δf≥0且
其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用映射后的新个体代替原个体，否则原个体保持不变；
步骤五，所有子群体都完成局部深度搜索后，若达到停止条件S，则搜索过程结束，输出全局最优值；否则，修改控制参数t＝Δt*t，将全部个体重新混合，转至步骤三。
2.根据权利要求1所述的针对在线学习的情感状态调节系统，其特征在于，所述采集模块包括：
生理信号采集模块，用于利用可穿戴生理传感器采集用户在线学习时的生理信号，其中，所述生理信号包括：皮肤电信号、血容量脉冲信号、血压信号、皮肤温度中的一种或多种；
面部表情采集模块，用于利用摄像装置采集用户在线学习时的面部表情图像。
3.根据权利要求1所述的针对在线学习的情感状态调节系统，其特征在于，所述情感状态包括：感知难度、感知压力、兴趣度中的一种或多种。
4.根据权利要求1所述的针对在线学习的情感状态调节系统，其特征在于，所述情感调节模块，用于若用户的情感状态不在预设的最优状态时，则根据情感识别模块预测得到的用户的情感状态，结合预设的心流理论以及学习难度变化对学习心理的影响，调整学习素材，使用户的情感状态处于最优学习状态。
5.根据权利要求1所述的针对在线学习的情感状态调节系统，其特征在于，所述系统还包括：
询问模块，用于当用户的情感状态不在预设的最优学习状态时，询问用户是否同意调整；若同意，则执行根据预设的情感调节策略进行学习素材的调整步骤；否则，则继续学习。
6.根据权利要求1所述的针对在线学习的情感状态调节系统，其特征在于，所述系统还包括：
可视化模块，用于保存采集的用户的生理信号和面部表情图像进行备份，并显示用户的生理信号的波形图及用户的面部表情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866777.4A CN109255366B (zh) | 2018-08-01 | 2018-08-01 | 一种针对在线学习的情感状态调节系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866777.4A CN109255366B (zh) | 2018-08-01 | 2018-08-01 | 一种针对在线学习的情感状态调节系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109255366A CN109255366A (zh) | 2019-01-22 |
| CN109255366B true CN109255366B (zh) | 2020-07-17 |
Family
ID=65048709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810866777.4A Active CN109255366B (zh) | 2018-08-01 | 2018-08-01 | 一种针对在线学习的情感状态调节系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255366B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334626B (zh) * | 2019-06-26 | 2022-03-04 | 北京科技大学 | 一种基于情感状态的在线学习系统 |
| CN111402640A (zh) * | 2020-03-04 | 2020-07-10 | 香港生产力促进局 | 一种儿童教育机器人及其学习资料推送方法 |
| CN111695442A (zh) * | 2020-05-21 | 2020-09-22 | 北京科技大学 | 一种基于多模态融合的在线学习智能辅助系统 |
| CN111638789A (zh) * | 2020-05-29 | 2020-09-08 | 广东小天才科技有限公司 | 一种数据输出方法及终端设备 |
| CN112907406B (zh) * | 2021-02-07 | 2022-04-08 | 北京科技大学 | 一种基于云端融合多模态分析的在线学习系统 |
| CN113139439B (zh) * | 2021-04-06 | 2022-06-10 | 广州大学 | 一种基于人脸识别的在线学习专注度评价方法及装置 |
| CN113786179A (zh) * | 2021-09-27 | 2021-12-14 | 北方工业大学 | 红外与光学图像融合的人体血压实时测量方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10872535B2 (en) * | 2009-07-24 | 2020-12-22 | Tutor Group Limited | Facilitating facial recognition, augmented reality, and virtual reality in online teaching groups |
| CN105280044B (zh) * | 2015-11-17 | 2018-03-20 | 东南大学 | 一种面向孤独症谱系障碍儿童的智能教学系统 |
| CN106297448A (zh) * | 2016-08-29 | 2017-01-04 | 刘金光 | 一种计算机教学系统 |
| CN107958433A (zh) * | 2017-12-11 | 2018-04-24 | 吉林大学 | 一种基于人工智能的在线教育人机交互方法与系统 |
| CN108009954B (zh) * | 2017-12-12 | 2021-10-22 | 联想(北京)有限公司 | 一种教学计划制定方法、装置、系统及电子设备 |
| CN108304793B (zh) * | 2018-01-26 | 2021-01-08 | 北京世纪好未来教育科技有限公司 | 在线学习分析系统及方法 |
-
2018
- 2018-08-01 CN CN201810866777.4A patent/CN109255366B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255366A (zh) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255366B (zh) | 一种针对在线学习的情感状态调节系统 | |
| Whitehill et al. | The faces of engagement: Automatic recognition of student engagementfrom facial expressions | |
| US11847260B2 (en) | System and method for embedded cognitive state metric system | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN112800998B (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| Beringer et al. | Reliability and validity of machine vision for the assessment of facial expressions | |
| JP2020501260A (ja) | メディアコンテンツ成果の予測のためのデータ処理方法 | |
| Liu et al. | Reinforcement online learning for emotion prediction by using physiological signals | |
| CN114581823B (zh) | 基于时序特征的虚拟现实视频情感识别方法及系统 | |
| JP2021510217A (ja) | 機械実行顔面健康及び美容アシスタント | |
| CN110765854A (zh) | 一种视频动作识别方法 | |
| CN111436929B (zh) | 一种神经生理信号的生成和识别方法 | |
| CN107729882A (zh) | 基于图像识别的情绪识别判定方法 | |
| Wan et al. | EEG fading data classification based on improved manifold learning with adaptive neighborhood selection | |
| Vairachilai et al. | Body sensor 5 G networks utilising deep learning architectures for emotion detection based on EEG signal processing | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| CN108937407A (zh) | 一种智能镜子化妆指导方法及系统 | |
| CN111516700A (zh) | 一种驾驶员分心细粒度监测方法和系统 | |
| CN114004253A (zh) | 一种基于脑间互动性的信息流估计方法及系统 | |
| Harper et al. | End-to-end prediction of emotion from heartbeat data collected by a consumer fitness tracker | |
| CN115422458A (zh) | 一种数据推荐系统和方法 | |
| Rathi et al. | Analysis of user’s learning styles and academic emotions through web usage mining | |
| Yasser et al. | Detection of confusion behavior using a facial expression based on different classification algorithms | |
| CN113867533A (zh) | 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法 | |
| Papapanagiotou et al. | Self-supervised feature learning of 1d convolutional neural networks with contrastive loss for eating detection using an in-ear microphone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |