CN110648264B - 包含或挂接情绪调节成分的课件、调节情绪的方法和装置 - Google Patents

Abstract

本发明公开了一种包含或挂接情绪调节成分的课件、调节情绪的方法和装置，其中所述课件包括若干个课件片段，其包含或挂接若干情绪调节成分，情绪调节成分为可用于诱发情绪并调节情绪的媒体资源；情绪用一个多维向量表示，该多维向量的维数不小于3，其第0维、第1维、第2维分别对应于PAD三维情感状态模型的愉悦度、唤醒度、支配度；情绪调节强度用一个多维向量表示，其维数与表示情绪的多维向量相等；情绪调节强度范围使用二个表示情绪调节强度的向量表示。本发明能自动调节学习者的情绪，增进身心健康、提升学习绩效，正如菜肴的调味品对人食欲、营养的调节，尤适用于个性化在线教学。

Description

包含或挂接情绪调节成分的课件、调节情绪的方法和装置

技术领域

本发明涉及情绪心理学及多媒体教学领域，特别涉及一种包含或挂接情绪调节成分的课件、调节情绪的方法和装置。

背景技术

情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。

情绪按其表现可划分为正性情绪(积极情绪)和负性情绪(消极情绪)两类。常见的正性情绪如，喜悦、感激、宁静、有趣、希望、自豪、逗趣、激励、敬畏、爱等；常见的负性情绪如，忧愁、悲伤、愤怒、紧张、焦虑、痛苦、恐惧、憎恨等。

情绪有多种量化表示。研究(刘烨，陶霖密，傅小兰，基于情绪图片的PAD情感状态模型分析[J]，中国图象图形学报，2009，14(5)，753-758)表明，Mehrabian和Russell提出的PAD三维情感状态模型可以有效地量化表示情绪；其中，P表示愉悦度，即情绪状态的正负特性、情绪效价，使用9点量表评分时，可以使用-4表示极度不愉悦，0表示中性，4表示极度愉悦，小于0表示为负(-)，大于0表示为正(+)；A表示唤醒度(或称激活度)，即生理活动和心理警觉的水平，使用9点量表评分时，可以使用-4表示最低唤醒度，0表示中性，4表示最高唤醒度，小于0表示为负(-)，大于0表示为正(+)；D表示支配度(或称优势度)，即影响周围环境及他人或受周围环境及他人影响的程度，使用9点量表评分时，可以使用-4表示处于极度劣势地位，0表示处于中等地位，4表示处于极度优势地位，小于0表示为负(-)，大于0表示为正(+)；根据PAD各维取值的正性、中性或负性的组合可以对情绪识别和分类，(P正性,A正性,D正性)类如高兴的、(P正性,A正性,D负性)类如依赖的、(P正性,A负性,D正性)类如放松的、(P正性,A负性,D负性)类如温顺的、(P负性,A正性,D正性)类如敌意的、(P负性,A正性,D负性)类如焦虑的、(P负性,A负性,D正性)类如蔑视的、(P负性,A负性,D负性)类如无聊的、(P中性,A正性,D负性)类、(P非负,A非正,D不限)类等。

研究表明，某些图像、声音和视频(含动画)可以使人的情绪发生显著的变化；情绪的行为表达，其一个主要方面是面部表情(含微表情)，而面部表情也影响着情绪；心率变异性可用于反映情绪调节强度和情绪调节能力。

当情绪快速波动或出现较强的负性情绪时，除非出于特别的目的，否则宜加以调节，避免给自己的生活及身体带来负面影响。

研究表明，学习者的学习绩效受其情绪、情绪调节能力和性格(按气质可分为激动、谨慎和平静这3类)的影响。

当前的大多数在线教学服务，由于教学内容中包含的情绪调节成分不足经常出现“情感缺失”现象，或虽包含有情绪调节成分但不能自动适应学习者或学习者情绪的变化，从而导致学习者学习过程中出现负性情绪，影响在线学习的绩效。

发明内容

本发明的目的在于，提供一种包含或挂接情绪调节成分的课件、调节情绪的方法和装置，尤适用于个性化在线教学，能自动调节学习者的情绪以增进身心健康、提升学习绩效。

第一方面，本发明提供了一种包含或挂接情绪调节成分的课件，包括若干个课件片段，其中各课件片段包含或挂接若干情绪调节成分，情绪调节成分为可用于诱发情绪并调节情绪的媒体资源；其中，情绪用一个多维向量表示，所述多维向量的维数不小于3，其第0维、第1维、第2维分别对应于PAD三维情感状态模型的愉悦度、唤醒度、支配度；情绪调节强度用一个多维向量表示，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示愉悦度的变化、唤醒度的变化、支配度的变化；情绪调节强度范围使用二个表示情绪调节强度的向量表示，其中第一个向量的第0维、第1维、第2维的值分别不大于第二个向量的第0维、第1维、第2维的值。

作为一种优选方式，情绪调节成分的属性至少包括ID、媒体类别、URI、情绪调节强度、标签集、描述、是否为挂接的；媒体类别包括文本、音频、图像、视频(包含动画)。

作为一种优选方式，所述课件片段的属性至少包括ID、内容的URI、是否可被修改、是否启用自动调节情绪、包含的媒体类别信息，可选包括内容的难度、内容的类别、学习过程中学习者的预期情绪范围、情绪调节行动计划信息、情绪调节行动信息列表。

作为一种优选方式，包含的媒体类别信息，是一个列表，其元素的属性包括相对于该课件片段开始呈现时的时刻、该时刻呈现的媒体类别的列表；内容的类别取值是一个内容基本类别或一个内容复合类别，内容基本类别包括感觉、知觉、记忆、想象、语言、思维，一个内容复合类别是至少二个内容基本类别的组合。

作为一种优选方式，情绪调节行动计划信息包括允许使用的媒体类别列表、各媒体类别的媒体资源使用数量范围、期望使用的情绪调节成分包含的标签集、呈现情绪调节成分的起止时刻、期望使用的媒体资源的URI。

作为一种优选方式，在是否启用自动调节情绪为真时，若是否可被修改为假，则只能为课件片段挂接情绪调节成分。

第二方面，本发明还提供了一种通过所述课件的呈现来调节情绪的方法，其特点是：

所述调节情绪方法的输入参数包括：

学习者情绪的相关数据，包括学习者情绪的当前数据和指定时间内的历史数据，而某个时刻的情绪数据包括情绪和该时刻的时间戳；

原始课件片段信息，即课件片段的属性；

教学内容的类别对色彩的忌用列表，其列表元素的属性包括教学内容的类别、色彩；

教学内容的类别对色彩的宜用列表，其列表元素的属性包括教学内容的类别、色彩；

教学内容的类别对调性的忌用列表，其列表元素的属性包括教学内容的类别、调性；

教学内容的类别对调性的宜用列表，其列表元素的属性包括教学内容的类别、调性；

疾病对色彩的忌用列表，其列表元素的属性包括疾病ID、色彩；

疾病对色彩的宜用列表，其列表元素的属性包括疾病ID、色彩；

疾病对调性的忌用列表，其列表元素的属性包括疾病ID、调性；

疾病对调性的宜用列表，其列表元素的属性包括疾病ID、调性；

情绪的音频调节路径列表，其列表元素的属性包括情绪范围、音频调节路径，其中，音频调节路径包含若干个节点，每个节点包括顺序号、音频资源URI；

图像情绪调节成分资源信息列表，其列表元素的属性包括ID、图像资源URI、呈现时间、色彩成分、情绪调节强度列表、标签集，其中，色彩成分包括颜色分量红绿蓝的占比、颜色分量红绿蓝的平均值、红橙黄绿蓝靛青紫褐粉灰白黑这些颜色的占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

音频情绪调节成分资源信息列表，其列表元素的属性包括ID、音频资源URI、呈现时间、调性成分、情绪调节强度列表、标签集，其中，调性成分包括各调性的时间占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

调节情绪的专用片段专用的资源信息列表，其列表元素的属性包括ID、资源URI、呈现时间、色彩成分、调性成分、情绪调节强度列表、标签集，其中，资源URI对应的资源作为情绪调节成分时仅供调节情绪的专用片段使用，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

情绪调节行动信息的列表，其列表元素的属性包括ID、顺序号、资源URI、开始实施的时刻、预期实施的时长、实施状态，其中实施状态包括未实施、实施中、已完成实施、已中止实施；

情绪调节行动生成算法列表；

情绪调节策略信息；

是否启用自动调节情绪；

情绪调节目标，学习时通常期望学习者情绪的第0维(P维)非负且第1维(A维)非负；

所述调节情绪方法的输出参数包括：

预期的调节后情绪范围；

情绪调节行动信息的列表；

包含情绪调节成分的课件片段信息；

该课件片段是否为调节情绪的专用片段；

情绪调节成分是否为挂接到课件片段的；

所述调节情绪方法的处理逻辑包括：

S100，初始化设置相关参数，其中，输入参数之是否需要自动调节情绪、情绪调节目标、情绪调节策略信息要根据课件片段的属性设置；输入参数之情绪调节行动信息的列表，在首次调用之前其初值为空，在首次调用之后，若情绪调节成分是否为挂接到课件片段的为真，则设置为情绪调节成分呈现模块处理后的情绪调节行动信息的列表，否则，获取课件片段的属性，并设置情绪调节行动信息的列表为获取的课件片段的属性之情绪调节行动信息的列表；

S110，更新情绪调节能力列表、情绪调节行动的信息、情绪调节行动的实施结果；

S120，判断是否需要自动调节情绪，若否，则结束处理；若是，则转S200；

S200，根据输入的情绪调节目标、学习者情绪的相关数据，获得学习者情绪的当前数据和指定时间内的历史数据，计算情绪的变化趋势；

S210，根据输入的情绪调节目标、学习者情绪的当前数据、情绪的变化趋势、情绪调节能力列表和情绪调节能力运用系数阈值列表，计算自动发起情绪调节行动的必要性；

S220，判断自动发起情绪调节行动的必要性是否为假，若自动发起情绪调节行动的必要性为假则结束处理，否则转S230；

S230，根据学习者情绪的当前数据、情绪的变化趋势、情绪调节能力列表和情绪调节能力运用系数阈值列表，计算情绪调节强度范围；

S240，若拟实施的情绪调节行动预计有效，即情绪调节行动信息的列表中存在尚未实施的情绪调节行动，且其中首个尚未实施的情绪调节行动的实施将达成情绪调节目标或实施完成后的情绪范围相对于当前情绪更接近于情绪调节目标，则将情绪调节行动信息的列表设置为情绪调节行动信息的列表中尚未实施者形成的列表，并结束处理；

S300，开始生成情绪调节行动信息的列表；

S310，若适合使用调节情绪的专用片段，则将候选资源信息的列表设置为调节情绪的专用片段专用的资源信息列表，并转S330，否则转S320；

S320，根据情绪调节策略信息，设置候选资源信息的列表为图像情绪调节成分资源信息列表和/或音频情绪调节成分资源信息列表；

S330，根据情绪调节策略信息之情绪调节行动中允许的最大情绪调节强度，从候选资源信息的列表中过滤掉对应的元素；

S340，若情绪的变化趋势为情绪快速波动，则对候选资源信息的列表做相关过滤，即从候选资源信息的列表中过滤掉其标签集不包含标签“缓解压力”且不包含标签“镇定”且不包含标签“降低兴奋”的元素；

S350，根据学习者的基本信息中的当前所患疾病列表、疾病对色彩的忌用列表和/或疾病对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S360，根据课件片段的属性之内容的类别、内容的类别对色彩的忌用列表和/或内容的类别对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S370，根据查询到的课件片段的剩余可呈现时间及课件片段的属性之情绪调节行动计划信息中的呈现情绪调节成分的起止时刻，计算课件片段的剩余可调节时间；

S380，若候选资源信息的列表不为空，则根据情绪调节策略信息，调用情绪调节行动生成算法列表中对应的算法，设置输出参数之情绪调节行动信息列表；

S390，结束生成情绪调节行动信息的列表；

S400，若输出参数之情绪调节行动信息列表为空则结束处理；

S410，设置输出参数之预期的调节后情绪范围；

S420，设置输出参数之情绪调节成分是否挂接到课件片段，并更新课件片段的属性即：当输出参数之情绪调节成分是否挂接到课件片段为假时，设置课件片段的属性之情绪调节行动信息列表为输出参数之情绪调节行动信息列表。

需要指出的是，所述方法中用到的阈值、列表、映射、策略的相关数据，优先使用所述方法调用时所针对学习者的版本。

作为一种优选方式，学习者的基本信息，包括ID、出生日期、性别、性格、人脸信息、当前所患疾病列表(因为对某种疾病而言，某些色彩或某些调性的音频是忌用的，而某些色彩或某些调性的音频是宜用的)、学习能力、情绪调节能力列表的相关数据。

作为一种优选方式，情绪调节能力列表包含若干个多维向量，其中的每一个向量分别对应一个从源情绪类别到目标情绪类别的情绪调节能力，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示可以接受的愉悦度的变化幅度、唤醒度的变化幅度、支配度的变化幅度；情绪调节能力运用系数阈值列表包含若干个取值在0到1之间的数，其中的每一个分别对应一个从源情绪类别到目标情绪类别的情绪调节能力的最大运用程度；一个情绪范围使用二个表示情绪的向量表示，其中第一个向量的第0维、第1维、第2维的值分别不大于第二个向量的第0维、第1维、第2维的值；情绪调节目标用一个情绪范围表示，情绪类别用一个情绪范围表示。

作为一种优选方式，所述情绪调节行动生成算法列表，其列表元素的属性包括情绪调节行动生成算法、该算法的ID、该算法支持的最大情绪调节强度、该算法的空间资源需求、该算法的时间资源需求，其中的算法为基于线性规划的算法、基于回溯的算法、基于动态规划的算法或基于贪心策略的算法，这些算法根据学习者的当前所患疾病列表、当前情绪、情绪的变化趋势、情绪调节目标、原始课件片段信息、情绪调节强度范围、情绪的音频调节路径列表、候选资源信息的列表、疾病对色彩或调性的宜用列表、教学内容的类别对色彩或调性的宜用列表、课件片段的剩余可调节时间及情绪调节策略信息，分别生成各自算法意义上最优的情绪调节行动列表，且各算法的空间资源需求和/或时间资源需求有差异，运行在后台和/或终端。

作为一种优选方式，所述情绪调节策略信息，包括：是否忽略学习者的情绪调节能力，情绪调节能力运用系数阈值列表，选择情绪调节成分的媒体类别时是否允许使用调节情绪的专用片段、是否允许改变原始课件片段的背景音频、是否允许改变原始课件的背景图像、是否允许同时使用背景音频和背景图像、是否优先使用媒体类别与原始课件片段不同的媒体资源、是否优先使用音频媒体资源、是否优先使用宜用的媒体资源，使用调节情绪的专用片段的情绪调节强度阈值，情绪调节行动中允许的最大情绪调节强度，情绪调节行动生成算法的选择规则；其中，情绪调节行动生成算法的选择规则是情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源、情绪调节行动生成算法列表到情绪调节行动生成算法ID的一个映射，其根据情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源，确定使用情绪调节行动生成算法列表中的某一个情绪调节行动生成算法作为情绪调节行动生成算法。

第三方面，本发明还提供了一种通过课件的呈现来调节情绪的装置，其特点是包括：

终端主控制器模块：用于初始化并运行情绪识别模块、课件情绪调节处理模块、课件呈现模块、情绪调节成分呈现模块；用于监控情绪识别模块、课件情绪调节处理模块、课件呈现模块、情绪调节成分呈现模块的运行状态和课件及课件片段的呈现状态，并与后台主控制器模块通信；

情绪识别模块：用于实时识别学习者的情绪和情绪调节能力，供课件情绪调节处理模块使用并传输至数据存储模块保存；通过实时采集学习者的视频、语音、生理信号和键鼠操作这几类信息中的至少一类，直接识别或调用第三方服务识别学习者的情绪；其中，通过视频采集的信息包括面部表情和/或微表情、瞳孔直径变化、眨眼次数、姿态、动作；通过语音采集的信息包括学习者声学特征中的基频语调、声音力度、语速缓急和流利程度及语音对应的文本内容的情绪倾向；通过生理信号采集的信息包括学习者的心率、心率变异性、血压、脉搏率、指温、皮肤电；通过键鼠操作采集的信息包括学习者的键盘击键频率和速度、鼠标击键和滚动频率；

课件情绪调节处理模块：用于调用本发明所述调节情绪的方法，为课件片段添加、替换或挂接情绪调节成分，并通知课件呈现模块和/或情绪调节成分呈现模块处理；要指出的是，若课件片段不允许被修改，则不能为课件片段添加或替换情绪调节成分，只能为课件片段挂接情绪调节成分；

课件呈现模块：用于课件及课件片段的呈现及呈现控制，包括课件片段中包含的情绪调节成分的呈现及呈现控制；

情绪调节成分呈现模块：用于挂接在课件片段上的情绪调节成分的呈现及呈现控制，所述呈现控制包括开始呈现、暂停呈现、继续呈现、停止呈现；

后台主控制器模块：用于初始化并运行数据存储模块、数据分析模块，并与各终端主控制器模块通信；

数据存储模块：用于存储：各学习者的基本信息、各学习者的情绪数据、各课件的相关信息；疾病对色彩的忌用列表和宜用列表、疾病对调性的忌用列表和宜用列表、教学内容的类别对色彩的忌用列表和宜用列表、教学内容的类别对调性的忌用列表和宜用列表、情绪的音频调节路径列表；图像情绪调节成分资源、音频情绪调节成分资源、调节情绪的专用片段专用的资源及其版本信息；图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表以及这三个列表中针对各学习者的情绪调节强度相关的数据；推荐的公用情绪调节策略信息；针对各学习者的情绪调节策略信息使用列表，其列表元素的属性包括学习者的ID、情绪调节策略信息、该策略信息的使用次数、该策略信息的使用次数占比；情绪调节行动生成算法列表、情绪调节行动生成算法的选择规则；情绪调节能力运用系数阈值列表、使用调节情绪的专用片段的情绪调节强度阈值；调用所述情绪调节方法生成的各情绪调节行动信息列表、各情绪调节行动的实施结果；数据分析模块生成的数据分析结果；

数据分析模块：用于通过分析既有数据，更新所述情绪调节方法中用到的阈值、列表、映射、策略。

作为一种优选方式，所述课件呈现模块还用于可选地提供：状态查询接口，用于查询当前课件片段的状态(如就绪、开始、停止、播放、暂停)；状态信息监听接口，用于为监听者如终端主控制器模块注册课件片段状态(如就绪、开始、停止、播放、暂停)响应函数；剩余的可呈现时间查询接口，用于查询当前课件片段从当前呈现进度起到完成呈现所需的时间；课件片段属性获取接口，用于查询和获取课件片段的属性；课件片段属性设置接口，用于设置和更新课件片段的属性；课件呈现模块的接口可以在课件呈现前和呈现时被调用。

作为一种优选方式，所述数据分析模块用于更新推荐的公用情绪调节策略信息、更新各学习者基本信息中的情绪调节能力列表、更新使用调节情绪的专用片段的情绪调节强度阈值、更新情绪调节能力运用系数阈值列表；特别地，更新针对各学习者使用调节情绪的专用片段的情绪调节强度阈值、更新针对各学习者的情绪调节能力运用系数阈值列表、更新针对各学习者的情绪调节策略信息使用列表，更新图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表这三个列表中针对各学习者的情绪调节强度相关的数据，以支持情绪调节的个性化和自适应。

作为一种优选方式，图像情绪调节成分资源、音频情绪调节成分资源、调节情绪的专用片段专用的资源及其版本信息可以缓存在课件呈现模块所在的终端。

本发明能自动调节学习者的情绪，增进身心健康、提升学习绩效，正如菜肴的调味品对人食欲、营养的调节，尤适用于个性化在线教学。

附图说明

图1为本发明一实施例的流程图。

图2为图1中步骤生成情绪调节行动信息的列表的流程图。

图3为本发明一实施例的装置图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明所述的包含或挂接情绪调节成分的课件包括若干个课件片段，其中各课件片段包含或挂接若干情绪调节成分，情绪调节成分为可用于诱发情绪并调节情绪的媒体资源。

所述情绪用一个多维向量表示，所述多维向量的维数不小于3，如8维，其第0维、第1维、第2维分别对应于PAD三维情感状态模型的愉悦度、唤醒度、支配度，其他维用于后续扩展；使用9点量表表示情绪PAD各维的值时，各维可以使用-4表示最小值，4表示最小值，0表示中性，考虑到测量的误差，为各维分别指定一个正数作为该维的中性阈值，若某维的值在以0为中心以该维的中性阈值为半径的闭区间内则该维为中性的(例如，假设P维的中性阈值为0.3，那么情绪的P维中性当且仅当P维的值属于闭区间[-0.3,0.3])，若大于该阈值则称该维为正性的，若小于该阈值的相反数则称该维为负性的，当且仅当某维为中性或正性时称该维非负，当且仅当某维为中性或负性时称该维非正，本发明中根据PAD各维取值的正性、中性或负性的组合将情绪分为27个基本类别，即(P正性,A正性,D正性)、(P正性,A正性,D中性)、(P正性,A正性,D负性)、(P正性,A中性,D正性)、(P正性,A中性,D中性)、(P正性,A中性,D负性)、(P正性,A负性,D正性)、(P正性,A负性,D中性)、(P正性,A负性,D负性)、(P中性,A正性,D正性)、(P中性,A正性,D中性)、(P中性,A正性,D负性)、(P中性,A中性,D正性)、(P中性,A中性,D中性)、(P中性,A中性,D负性)、(P中性,A负性,D正性)、(P中性,A负性,D中性)、(P中性,A负性,D负性)、(P负性,A正性,D正性)、(P负性,A正性,D中性)、(P负性,A正性,D负性)、(P负性,A中性,D正性)、(P负性,A中性,D中性)、(P负性,A中性,D负性)、(P负性,A负性,D正性)、(P负性,A负性,D中性)、(P负性,A负性,D负性)，由此可以得到若干复合类别，例如复合类别(P正性,A非负,D不限)是基本类别(P正性,A正性,D正性)、(P正性,A正性,D中性)、(P正性,A正性,D负性)、(P正性,A中性,D正性)、(P正性,A中性,D中性)和(P正性,A中性,D负性)的复合；所述情绪调节强度用一个多维向量表示，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示愉悦度的变化、唤醒度的变化、支配度的变化，其他维用于后续扩展，使用9点量表表示情绪PAD各维的值时，第0维、第1维、第2维都取-8到8之间的实数值；一个情绪调节强度范围使用二个表示情绪调节强度的向量表示，其中第一个向量的第0维、第1维、第2维的值分别不大于第二个向量的第0维、第1维、第2维的值；情绪调节能力列表包含若干个多维向量，其中的每一个向量分别对应一个从源情绪类别到目标情绪类别的情绪调节能力，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示可以接受的愉悦度的变化幅度、唤醒度的变化幅度、支配度的变化幅度；情绪调节能力运用系数阈值列表包含若干个取值在0到1之间的数，其中的每一个分别对应一个从源情绪类别到目标情绪类别的情绪调节能力的最大运用程度；一个情绪范围使用二个表示情绪的向量表示，其中第一个向量的第0维、第1维、第2维的值分别不大于第二个向量的第0维、第1维、第2维的值；情绪调节目标用一个情绪范围表示，情绪类别可以用一个情绪范围表示。

所述情绪调节成分的属性至少包括ID、媒体类别、URI、情绪调节强度、标签集、描述、是否为挂接的；其中，媒体类别包括文本、音频、图像、视频(含动画)。

所述课件片段的属性至少包括ID、内容的URI、是否可被修改、是否启用自动调节情绪、包含的媒体类别信息，可选包括内容的难度、内容的类别、学习过程中学习者的预期情绪范围、情绪调节行动计划信息、情绪调节行动信息列表；其中，包含的媒体类别信息，是一个列表，其元素的属性包括相对于该课件片段开始呈现时的时刻、该时刻呈现的媒体类别的列表；内容的类别，其取值是一个内容基本类别或一个内容复合类别；内容基本类别有若干个，如感觉、知觉、记忆、想象、语言、思维，一个内容复合类别是至少二个内容基本类别的组合；情绪调节行动计划信息包括允许使用的媒体类别列表、各媒体类别的媒体资源使用数量范围、期望使用的情绪调节成分包含的标签集、呈现情绪调节成分的起止时刻、期望使用的媒体资源的URI；在是否启用自动调节情绪为真时，若是否可被修改为假，则只能为课件片段挂接情绪调节成分。

课件片段通常包含若干教学内容。特别地，如果其教学内容为空，那么这种包含了情绪调节成分的课件片段称为调节情绪的专用片段，其通常只在确有必要时使用；如果整个课件的片段都是调节情绪的专用片段，那么这样的课件称为调节情绪的专用课件；如果既有的课件不包含所述课件片段而期望使用所述调节情绪的方法，那么只需为该课件构造一个课件片段，并设置该课件片段的属性，其中，内容的URI设置为该课件的URI、是否可被修改设置为假、是否启用自动调节情绪设置为真。

如图1和图2所示，本发明提供一种通过课件的呈现调节情绪的方法，它在每一个课件片段呈现前和呈现时(特别是有情绪调节成分呈现完成时)调用，以便为课件片段添加、替换或挂接必要的情绪调节成分。

所述调节情绪方法的输入参数包括：

I01.学习者情绪的相关数据，包括学习者情绪的当前数据和指定时间内的历史数据，而某个时刻的情绪数据包括情绪和该时刻的时间戳；其获取渠道包括但不限于情绪识别模块；

I02.学习者的基本信息，包括ID、出生日期、性别、性格、人脸信息、当前所患疾病列表(因为对某种疾病而言，某些色彩或某些调性的音频是忌用的，而某些色彩或某些调性的音频是宜用的)、学习能力、情绪调节能力列表的相关数据；其获取渠道包括但不限于数据存储模块；

I03.原始课件片段信息，即课件片段的属性；其获取渠道包括但不限于数据存储模块；

I04.教学内容的类别对色彩的忌用列表，其列表元素的属性包括教学内容的类别、色彩；其获取渠道包括但不限于数据存储模块；

I05.教学内容的类别对色彩的宜用列表，其列表元素的属性包括教学内容的类别、色彩；其获取渠道包括但不限于数据存储模块；

I06.教学内容的类别对调性的忌用列表，其列表元素的属性包括教学内容的类别、调性，其中的调性有24个，即C大调、降D大调、D大调、降E大调、E大调、F大调、升F大调、G大调、降A大调、A大调、B大调、降B大调、C小调、升C小调、D小调、升D小调、E小调、F小调、升F小调、G小调、升G小调、A小调、降B小调、B小调；其获取渠道包括但不限于数据存储模块；

I07.教学内容的类别对调性的宜用列表，其列表元素的属性包括教学内容的类别、调性；其获取渠道包括但不限于数据存储模块；

I08.疾病对色彩的忌用列表(某种色彩对某些疾病是忌用的)，其列表元素的属性包括疾病ID、色彩；其获取渠道包括但不限于数据存储模块；

I09.疾病对色彩的宜用列表(某种色彩对某些疾病是宜用的)，其列表元素的属性包括疾病ID、色彩；其获取渠道包括但不限于数据存储模块；

I10.疾病对调性的忌用列表(某种调性对某些疾病是忌用的)，其列表元素的属性包括疾病ID、调性；其获取渠道包括但不限于数据存储模块；

I11.疾病对调性的宜用列表(某种调性对某些疾病是宜用的)，其列表元素的属性包括疾病ID、调性；其获取渠道包括但不限于数据存储模块；

I12.情绪的音频调节路径列表(情绪调节强度的P维的绝对值较大例如大于4，且当前情绪相对于情绪调节目标是由正性转为负性或由负性转为正性时，使用音频调节情绪通常需要通过一组音频的呈现才能达到预期的效果，例如，假设当前情绪是悲伤，其属于(P负性,A正性,D负性)类，而情绪调节目标是高兴，其属于(P正性,A正性,D正性)类，通常不适合直接呈现欢快的音乐，而适合使用一组依次包含略悲伤音乐的呈现、情绪表达比较平缓音乐的呈现、呈现比较快乐幸福音乐的呈现的调节路径)，其列表元素的属性包括情绪范围、音频调节路径，其中，音频调节路径包含若干个节点，每个节点包括顺序号、音频资源URI；其获取渠道包括但不限于数据存储模块；

I13.图像情绪调节成分资源信息列表，其列表元素的属性包括ID、图像资源URI、呈现时间、色彩成分、情绪调节强度列表、标签集，其中，色彩成分包括颜色分量红绿蓝的占比、颜色分量红绿蓝的平均值、红橙黄绿蓝靛青紫褐粉灰白黑这些颜色的占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；其获取渠道包括但不限于数据存储模块；

I14.音频情绪调节成分资源信息列表，其列表元素的属性包括ID、音频资源URI、呈现时间、调性成分、情绪调节强度列表、标签集，其中，调性成分包括各调性的时间占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；其获取渠道包括但不限于数据存储模块；

I15.调节情绪的专用片段专用的资源信息列表，其列表元素的属性包括ID、资源URI、呈现时间、色彩成分、调性成分、情绪调节强度列表、标签集，其中，资源URI对应的资源作为情绪调节成分时仅供调节情绪的专用片段使用，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；其获取渠道包括但不限于数据存储模块；

I16.情绪调节行动信息的列表，其列表元素的属性包括ID、顺序号、资源URI、开始实施的时刻、预期实施的时长、实施状态，其中实施状态包括未实施、实施中、已完成实施、已中止实施；在首次调用之前其初值为空，在首次调用之后，其获取基于本方法上一次调用的输出，若情绪调节成分是否为挂接到课件片段的为真，则设置为情绪调节成分呈现模块处理后的情绪调节行动信息的列表，否则，获取课件片段的属性，并设置情绪调节行动信息的列表为获取的课件片段的属性之情绪调节行动信息的列表；

I17.情绪调节行动生成算法列表，其列表元素的属性包括情绪调节行动生成算法、该算法的ID、该算法支持的最大情绪调节强度、该算法的空间资源需求、该算法的时间资源需求，其中的算法可以是基于线性规划的算法、基于回溯的算法、基于动态规划的算法、基于贪心策略的算法，这些算法根据学习者的当前所患疾病列表、当前情绪、情绪的变化趋势、情绪调节目标、原始课件片段信息、情绪调节强度范围、情绪的音频调节路径列表、候选资源信息的列表、疾病对色彩或调性的宜用列表、教学内容的类别对色彩或调性的宜用列表、课件片段的剩余可调节时间及情绪调节策略信息，分别生成各自算法意义上最优的情绪调节行动列表，且各算法的空间资源需求和/或时间资源需求有差异，可以运行在后台和/或终端；其获取渠道包括但不限于数据存储模块。

这里简述一个基于线性规划的算法作为例子。鉴于线性规划问题有标准的求解算法，这里仅描述如何根据学习者的当前所患疾病列表、当前情绪、情绪的变化趋势、情绪调节目标、原始课件片段信息、情绪调节强度范围、情绪的音频调节路径列表、候选资源信息的列表、疾病对色彩或调性的宜用列表、教学内容的类别对色彩或调性的宜用列表、课件片段的剩余可调节时间及情绪调节策略信息，构造出对应的线性规划问题，即确定其决策变量、目标函数、约束条件；根据求解结果生成情绪调节行动列表是简易的，故不做描述。

若允许使用音频媒体资源，且情绪调节强度范围的P维的绝对值恒大于某个预设的阈值(例如4)，且情绪的音频调节路径列表的某个元素的情绪范围包含了情绪调节强度范围，则找到包含了情绪调节强度范围的情绪音频调节路径列表元素的最小情绪范围对应的元素；根据情绪音频调节路径列表中该元素的音频调节路径，过滤候选资源信息的列表。根据原始课件片段信息的情绪调节行动计划信息中的呈现情绪调节成分的起止时刻，修正课件片段的剩余可调节时间。

假定候选资源信息的列表依次包含L1、L2、L3个图像、音频、专用的候选资源对应的信息，从这L1、L2、L3个候选资源中依次选择S1、S2、S3个资源，M1≤S1≤N1、M2≤S2≤N2、M3≤S3≤N3，S≥2时默认这S个被选择的资源中可以有相同的，其中M1和N1、M2和N2、M3和N3分别表示原始课件片段信息的情绪调节行动计划信息中图像、音频、专用媒体类别的媒体资源使用数量的最小值和最大值，令L＝L1+L2+L3，M＝M1+M2+M3，N＝N1+N2+N3；这样，决策变量可以表示为一个二维数组x[L][N]；数组元素x[i][j]取值1，若第i个候选资源作为第j个被选用的资源，否则取值0，其中i＝1,...,L，j＝1,...,N；数组s[L]、t[L]表示候选资源信息列表中各对应资源的情绪调节强度、呈现时间。

为决策变量指定权重系数数组w[L][N]，w[i][j]对应第i个候选资源作为第j个被选用的资源，默认值为某个正数(例如1)，其中i＝1,...,L，j＝1,...,N；若w[i][j]对应的候选资源是期望使用的媒体类别的资源，则将w[i][j]增加某个正数(例如5)；若w[i][j]对应的候选资源是学习者的当前所患疾病列表中的疾病对色彩或调性的宜用列表中某元素对应的资源，则将w[i][j]增加某个正数(例如10)；若w[i][j]对应的候选资源是原始课件片段信息中教学内容的类别对色彩或调性的宜用列表中某元素对应的资源，则将w[i][j]增加某个正数(例如8)；若w[i][j]对应的候选资源的标签集包括原始课件片段信息的情绪调节行动计划信息中期望使用的情绪调节成分包含的标签集中的若干标签，则将w[i][j]增加某个正数(例如2与匹配的标签的数量的乘积)；若w[i][j]对应的候选资源的媒体资源的URI匹配原始课件片段信息的情绪调节行动计划信息中期望使用的媒体资源的URI，则将w[i][j]增加某个正数(例如12)。

目标函数为max z＝sum(w[i][j]*x[i][j]；i＝1,...,L；j＝1,...,N)。

约束条件包括：

(1)选用的资源类别及数量约束

当L1>0时，

若M1>0，x[1][j]+...+x[L1][j]＝1,j＝1,...,M1；

若N1>M1，x[1][j]+...+x[L1][j]<＝1,j＝M1+1,...,N1；

若N1>M1+1，x[1][j]+...+x[L1][j]>＝x[1][j+1]+...+x[L1][j+1],j＝M1+1,...,N1-1；

当L2>0时，

若M2>0，x[L1+1][j]+...+x[L1+L2][j]＝1,j＝1,...,M2；

若N2>M2，x[L1+1][j]+...+x[L1+L2][j]<＝1,j＝M2+1,...,N2；

若N2>M2+1，x[L1+1][j]+...+x[L1+L2][j]>＝x[L1+1][j+1]+...+x[L1+L2][j+1],j＝M2+1,...,N2-1；

当L3>0时，

若M3>0，x[L1+L2+1][j]+...+x[L][j]＝1,j＝1,...,M3；

若N3>M3，x[L1+L2+1][j]+...+x[L][j]<＝1,j＝M3+1,...,N3；

若N3>M3+1，x[L1+L2+1][j]+...+x[L][j]>＝x[L1+L2+1][j+1]+...+x[L][j+1],j＝M3+1,...,N3-1；

若情绪调节策略信息中允许同时使用背景音频和背景图像,则，x[1][j]+...+x[L1+L2][j]<＝2,j＝1,...,N1+N2；

否则，

x[1][j]+...+x[L1+L2][j]<＝1,j＝1,...,N1+N2；

(2)情绪调节强度范围约束

s[1]*(x[1][1]+...+x[1][N])+...+s[L]*(x[L][1]+...+x[L][N])>＝情绪调节强度范围的左端点；

s[1]*(x[1][1]+...+x[1][N])+...+s[L]*(x[L][1]+...+x[L][N])<＝情绪调节强度范围的右端点；

(3)呈现时间约束

若M1>0且N2>0且情绪调节策略信息中允许同时使用背景音频和背景图像,则

t[1]*(x[1][1]+...+x[1][N1])+...+t[L]*(x[L][1]+...+x[L][N1])<＝课件片段的剩余可调节时间，这里忽略图像资源的呈现时间；

否则

t[1]*(x[1][1]+...+x[1][N])+...+t[L]*(x[L][1]+...+x[L][N])<＝课件片段的剩余可调节时间。

I18.情绪调节策略信息，包括：是否忽略学习者的情绪调节能力(建议默认为不忽略)，情绪调节能力运用系数阈值列表(建议其中每个阈值都不大于0.5)，选择情绪调节成分的媒体类别时是否允许使用调节情绪的专用片段、是否允许改变原始课件片段的背景音频、是否允许改变原始课件的背景图像、是否允许同时使用背景音频和背景图像、是否优先使用媒体类别与原始课件片段不同的媒体资源、是否优先使用音频媒体资源、是否优先使用宜用的媒体资源，使用调节情绪的专用片段的情绪调节强度阈值，情绪调节行动中允许的最大情绪调节强度，情绪调节行动生成算法的选择规则；其中，情绪调节行动生成算法的选择规则是情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源、情绪调节行动生成算法列表到情绪调节行动生成算法ID的一个映射，其根据情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源，确定使用情绪调节行动生成算法列表中的某一个情绪调节行动生成算法作为情绪调节行动生成算法；其获取渠道包括但不限于数据存储模块的推荐的公用情绪调节策略信息和针对当前学习者的情绪调节策略信息使用列表中使用次数最大的情绪调节策略信息；

I19.是否启用自动调节情绪，由调用者设置，建议默认设置为真；但出于特别目的的一些情形不宜自动调节情绪，如欣赏照片、体验音乐；若设置为假则不自动调节情绪，否则当课件片段的属性不为空时，设置其值为课件片段的属性中的是否启用自动调节情绪；

I20.情绪调节目标，学习时通常期望学习者情绪的第0维(P维)非负且第1维(A维)非负，当课件片段的属性不为空时，置其值为课件片段的属性中的学习过程中学习者的预期情绪范围。

所述调节情绪方法的输出参数包括：

O01.预期的调节后情绪范围；

O02.情绪调节行动信息的列表；

O03.包含情绪调节成分的课件片段信息；

O04.该课件片段是否为调节情绪的专用片段；

O05.情绪调节成分是否为挂接到课件片段的。

所述调节情绪方法的处理逻辑包括：

S100，初始化设置相关参数，其中，输入参数之是否需要自动调节情绪、情绪调节目标、情绪调节策略信息要根据课件片段的属性设置；输入参数之情绪调节行动信息的列表，在首次调用之前其初值为空，在首次调用之后，若情绪调节成分是否为挂接到课件片段的为真，则设置为情绪调节成分呈现模块处理后的情绪调节行动信息的列表，否则，获取课件片段的属性，并设置情绪调节行动信息的列表为获取的课件片段的属性之情绪调节行动信息的列表；

S110，更新情绪调节能力列表、情绪调节行动的信息、情绪调节行动的实施结果；即：若情绪识别模块获取到了情绪调节能力列表中的某个情绪调节能力，则情绪调节能力列表中的对应值被置为情绪识别模块获取到的情绪调节能力；获取当前实施中、已完成实施或已中止实施状态的情绪调节行动的信息；更新当前情绪调节行动的实施结果中的实际结果情绪为学习者的当前情绪，其中，情绪调节行动的实施结果包括情绪调节行动的ID、实施完成时的预期情绪、实际结果情绪和实际实施状态，实际实施状态为未实施、已完成实施或已中止实施；

S120，判断是否需要自动调节情绪，若否，则结束处理；若是，则转S200；

S200，根据输入的情绪调节目标、学习者情绪的相关数据，获得学习者情绪的当前数据和指定时间内的历史数据，计算情绪的变化趋势；情绪的变化趋势有9种情形，即情形0、情绪效价稳定在正性，情形1、情绪效价稳定在中性，情形2、情绪效价稳定在负性，情形3、情绪效价趋向于正性，情形4、情绪效价趋向于中性，情形5、情绪效价趋向于负性，情形6、情绪效价在指定的短时间内反复在正性与负性间转换，情形7、情绪效价在指定的短时间内反复在正性与中性间转换，情形8、情绪效价在指定的短时间内反复在中性与负性间转换，其中情形6、情形7、情形8统称为情绪快速波动；

S210，根据输入的情绪调节目标、学习者情绪的当前数据、情绪的变化趋势、情绪调节能力列表和情绪调节能力运用系数阈值列表，计算自动发起情绪调节行动的必要性；即：其中，情绪调节能力列表默认被置为学习者基本信息中的情绪调节能力列表；若情绪的变化趋势为情形6或情形7或情形8，或者，情绪的当前数据与输入的情绪调节目标的差不在由对应的情绪调节能力与情绪调节能力运用系数阈值的乘积得到的情绪范围内，则置自动发起情绪调节行动的必要性为真否则置为假；

S220，判断自动发起情绪调节行动的必要性是否为假，若自动发起情绪调节行动的必要性为假则结束处理，否则转S230；

S230，根据学习者情绪的当前数据、情绪的变化趋势、情绪调节能力列表和情绪调节能力运用系数阈值列表，计算情绪调节强度范围(即当前情绪与情绪调节目标的差对应的闭邻域)；

S240，若拟实施的情绪调节行动预计有效，即情绪调节行动信息的列表中存在尚未实施的情绪调节行动，且其中首个尚未实施的情绪调节行动的实施将达成情绪调节目标或实施完成后的情绪范围相对于当前情绪更接近于情绪调节目标，则将情绪调节行动信息的列表设置为情绪调节行动信息的列表中尚未实施者形成的列表，并结束处理；

S300，开始生成情绪调节行动信息的列表；

S310，若适合使用调节情绪的专用片段，即：情绪调节强度范围两端点的P维、A维或D维中至少有一维的值的绝对值都大于使用调节情绪的专用片段的情绪调节强度阈值中的对应维的值，且允许使用调节情绪的专用片段，则将候选资源信息的列表设置为调节情绪的专用片段专用的资源信息列表，并转S330，否则转S320；

S320，根据情绪调节策略信息，设置候选资源信息的列表为图像情绪调节成分资源信息列表和/或音频情绪调节成分资源信息列表；

S330，根据情绪调节策略信息之情绪调节行动中允许的最大情绪调节强度，从候选资源信息的列表中过滤掉对应的元素；

S340，若情绪的变化趋势为情形6或情形7或情形8，则对候选资源信息的列表做相关过滤，即从候选资源信息的列表中过滤掉其标签集不包含标签“缓解压力”且不包含标签“镇定”且不包含标签“降低兴奋”的元素；

S350，根据学习者的基本信息中的当前所患疾病列表、疾病对色彩的忌用列表和/或疾病对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S360，根据课件片段的属性之内容的类别、内容的类别对色彩的忌用列表和/或内容的类别对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S370，根据查询到的课件片段的剩余可呈现时间及课件片段的属性之情绪调节行动计划信息中的呈现情绪调节成分的起止时刻，计算课件片段的剩余可调节时间；

S380，若候选资源信息的列表不为空，则根据情绪调节策略信息，调用情绪调节行动生成算法列表中对应的算法，设置输出参数之情绪调节行动信息列表；

S390，结束生成情绪调节行动信息的列表；

S400，若输出参数之情绪调节行动信息列表为空则结束处理；

S410，设置输出参数之预期的调节后情绪范围；

S420，设置输出参数之情绪调节成分是否挂接到课件片段；

S430，当输出参数之情绪调节成分是否挂接到课件片段为假时，设置课件片段的属性之情绪调节行动信息列表为输出参数之情绪调节行动信息列表。

需要指出的是，所述方法中用到的阈值、列表、映射、策略的相关数据，优先使用所述方法调用时所针对学习者的版本。

本发明所述通过课件的呈现调节情绪的装置包括但不限于以下模块：

终端主控制器模块510；

情绪识别模块520；

课件情绪调节处理模块530；

课件呈现模块540；

情绪调节成分呈现模块550；

后台主控制器模块560；

数据存储模块570；

数据分析模块580；

根据实际情况，这些模块可能是纯软件的模块，也可能是独立的软硬一体的模块，但都提供相关功能调用接口。

终端主控制器模块510：用于初始化并运行情绪识别模块520、课件情绪调节处理模块530、课件呈现模块540、情绪调节成分呈现模块550，监控情绪识别模块520、课件情绪调节处理模块530、课件呈现模块540、情绪调节成分呈现模块550的运行状态和课件及课件片段的呈现状态，并与后台主控制器模块560通信；

情绪识别模块520：用于实时识别学习者的情绪和情绪调节能力，供课件情绪调节处理模块530使用并传输至数据存储模块570保存，通过实时采集学习者的视频、语音、生理信号和键鼠操作这几类信息中的至少一类，直接识别或调用第三方服务识别学习者的情绪；其中，通过视频采集的信息包括面部表情和/或微表情、瞳孔直径变化、眨眼次数、姿态、动作，通过语音采集的信息包括学习者声学特征中的基频语调、声音力度、语速缓急和流利程度及语音对应的文本内容的情绪倾向，通过生理信号采集的信息包括学习者的心率、心率变异性、血压、脉搏率、指温、皮肤电，通过键鼠操作采集的信息包括学习者的键盘击键频率和速度、鼠标击键和滚动频率；

课件情绪调节处理模块530：用于调用本发明所述调节情绪的方法，为课件片段添加、替换或挂接情绪调节成分，并通知课件呈现模块540和/或情绪调节成分呈现模块550处理；要指出的是，若课件片段不允许被修改，则不能为课件片段添加或替换情绪调节成分，只能为课件片段挂接情绪调节成分；

课件呈现模块540：用于课件及课件片段的呈现及呈现控制，包括课件片段中包含的情绪调节成分的呈现及呈现控制，并可选地提供：状态查询接口，用于查询当前课件片段的状态(如就绪、开始、停止、播放、暂停)；状态信息监听接口，为监听者如终端主控制器模块510注册课件片段状态(如就绪、开始、停止、播放、暂停)响应函数；剩余的可呈现时间查询接口，用于查询当前课件片段从当前呈现进度起到完成呈现所需的时间；课件片段属性获取接口，用于查询和获取课件片段的属性；课件片段属性设置接口，用于设置和更新课件片段的属性；这些接口可以在课件呈现前和呈现时被调用；

情绪调节成分呈现模块550：用于挂接在课件片段上的情绪调节成分的呈现及呈现控制，所述呈现控制包括开始呈现、暂停呈现、继续呈现、停止呈现；

后台主控制器模块560：用于初始化并运行数据存储模块570、数据分析模块580，并与各终端主控制器模块510通信；

数据存储模块570：用于存储：各学习者的基本信息、各学习者的情绪数据、各课件的相关信息；疾病对色彩的忌用列表和宜用列表、疾病对调性的忌用列表和宜用列表、教学内容的类别对色彩的忌用列表和宜用列表、教学内容的类别对调性的忌用列表和宜用列表、情绪的音频调节路径列表；图像情绪调节成分资源、音频情绪调节成分资源、调节情绪的专用片段专用的资源及其版本信息；图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表以及这三个列表中针对各学习者的情绪调节强度相关的数据；推荐的公用情绪调节策略信息；针对各学习者的情绪调节策略信息使用列表，其列表元素的属性包括学习者的ID、情绪调节策略信息、该策略信息的使用次数、该策略信息的使用次数占比；情绪调节行动生成算法列表、情绪调节行动生成算法的选择规则；情绪调节能力运用系数阈值列表、使用调节情绪的专用片段的情绪调节强度阈值；调用所述情绪调节方法生成的各情绪调节行动信息列表、各情绪调节行动的实施结果；数据分析模块580生成的数据分析结果，包含本发明所述情绪调节方法中用到的阈值、列表、映射、策略；其中，课件的相关信息包括原始的课件和经过课件情绪调节处理模块处理后的课件；图像情绪调节成分资源、音频情绪调节成分资源、调节情绪的专用片段专用的资源及其版本信息也可以缓存在课件呈现模块所在的终端；

数据分析模块580：用于通过分析既有数据(包括但不限于本发明方法和装置收集或生成的数据)，更新所述情绪调节方法中用到的阈值、列表、映射、策略，如更新推荐的公用情绪调节策略信息、更新各学习者基本信息中的情绪调节能力列表、更新使用调节情绪的专用片段的情绪调节强度阈值、更新情绪调节能力运用系数阈值列表；特别地，更新针对各学习者使用调节情绪的专用片段的情绪调节强度阈值、更新针对各学习者的情绪调节能力运用系数阈值列表、更新针对各学习者的情绪调节策略信息使用列表，更新图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表这三个列表中针对各学习者的情绪调节强度相关的数据，以支持情绪调节的个性化和自适应。

一个实施例中装置的分布如图3所示，包含终端和后台，终端包含终端主控制器模块510、情绪识别模块520、情绪调节成分呈现模块550、课件情绪调节处理模块530和课件呈现模块540；后台包含后台主控制器模块560、数据存储模块570和数据分析模块580；其中，情绪调节成分呈现模块550用到的设备与课件呈现模块540用到的设备，可以相同也可以不同。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，做出的性能或用途相同的若干等同替代或明显变型，都应当视为属于本发明的保护范围。

Claims (13)

1.一种通过包含或挂接情绪调节成分的课件的呈现来调节情绪的方法，其特征在于，

所述课件包括若干个课件片段，其中各课件片段包含或挂接若干情绪调节成分，情绪调节成分为可用于诱发情绪并调节情绪的媒体资源；其中，情绪用一个多维向量表示，所述多维向量的维数不小于3，其第0维、第1维、第2维分别对应于PAD三维情感状态模型的愉悦度、唤醒度、支配度；情绪调节强度用一个多维向量表示，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示愉悦度的变化、唤醒度的变化、支配度的变化；情绪调节强度范围使用二个表示情绪调节强度的向量表示；

所述调节情绪方法的输入参数包括：

学习者情绪的相关数据，包括学习者情绪的当前数据和指定时间内的历史数据，而某个时刻的情绪数据包括情绪和该时刻的时间戳；

学习者的基本信息；

原始课件片段信息，即课件片段的属性；

教学内容的类别对色彩的忌用列表，其列表元素的属性包括教学内容的类别、色彩；

教学内容的类别对色彩的宜用列表，其列表元素的属性包括教学内容的类别、色彩；

教学内容的类别对调性的忌用列表，其列表元素的属性包括教学内容的类别、调性；

教学内容的类别对调性的宜用列表，其列表元素的属性包括教学内容的类别、调性；

疾病对色彩的忌用列表，其列表元素的属性包括疾病ID、色彩；

疾病对色彩的宜用列表，其列表元素的属性包括疾病ID、色彩；

疾病对调性的忌用列表，其列表元素的属性包括疾病ID、调性；

疾病对调性的宜用列表，其列表元素的属性包括疾病ID、调性；

情绪的音频调节路径列表，其列表元素的属性包括情绪范围、音频调节路径，其中，音频调节路径包含若干个节点，每个节点包括顺序号、音频资源URI；

图像情绪调节成分资源信息列表，其列表元素的属性包括ID、图像资源URI、呈现时间、色彩成分、情绪调节强度列表、标签集，其中，色彩成分包括颜色分量红绿蓝的占比、颜色分量红绿蓝的平均值、红橙黄绿蓝靛青紫褐粉灰白黑这些颜色的占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

音频情绪调节成分资源信息列表，其列表元素的属性包括ID、音频资源URI、呈现时间、调性成分、情绪调节强度列表、标签集，其中，调性成分包括各调性的时间占比，情绪调节强度列表的元素属性包括年龄段、性别、情绪调节强度，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

调节情绪的专用片段专用的资源信息列表，其列表元素的属性包括ID、资源URI、呈现时间、色彩成分、调性成分、情绪调节强度列表、标签集，其中，资源URI对应的资源作为情绪调节成分时仅供调节情绪的专用片段使用，标签集包含的各标签都是用于说明该情绪调节成分特征的字符串；

情绪调节行动信息的列表，其列表元素的属性包括ID、顺序号、资源URI、开始实施的时刻、预期实施的时长、实施状态，其中实施状态包括未实施、实施中、已完成实施、已中止实施；

情绪调节行动生成算法列表；

情绪调节策略信息；

是否启用自动调节情绪；

情绪调节目标，学习时通常期望学习者情绪的第0维非负且第1维非负；

所述调节情绪方法的输出参数包括：

预期的调节后情绪范围；

情绪调节行动信息的列表；

包含情绪调节成分的课件片段信息；

该课件片段是否为调节情绪的专用片段；

情绪调节成分是否为挂接到课件片段的；

所述调节情绪方法的处理逻辑包括：

S100，初始化设置相关参数；

S110，更新情绪调节能力列表、情绪调节行动的信息、情绪调节行动的实施结果；

S120，判断是否需要自动调节情绪，若否，则结束处理；若是，则转S200；

S200，计算情绪的变化趋势；

S210，计算自动发起情绪调节行动的必要性；

S220，判断自动发起情绪调节行动的必要性是否为假，若自动发起情绪调节行动的必要性为假则结束处理，否则转S230；

S230，计算情绪调节强度范围；

S240，若拟实施的情绪调节行动预计有效，即情绪调节行动信息的列表中存在尚未实施的情绪调节行动，且其中首个尚未实施的情绪调节行动的实施将达成情绪调节目标或实施完成后的情绪范围相对于当前情绪更接近于情绪调节目标，则将情绪调节行动信息的列表设置为情绪调节行动信息的列表中尚未实施者形成的列表，并结束处理；

S300，开始生成情绪调节行动信息的列表；

S310，若适合使用调节情绪的专用片段，则将候选资源信息的列表设置为调节情绪的专用片段专用的资源信息列表，并转S330，否则转S320；

S320，根据情绪调节策略信息，设置候选资源信息的列表为图像情绪调节成分资源信息列表和/或音频情绪调节成分资源信息列表；

S330，根据情绪调节策略信息之情绪调节行动中允许的最大情绪调节强度，从候选资源信息的列表中过滤掉对应的元素；

S340，若情绪的变化趋势为情绪快速波动，则对候选资源信息的列表做相关过滤；

S350，根据学习者的基本信息中的当前所患疾病列表、疾病对色彩的忌用列表和/或疾病对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S360，根据课件片段的属性之内容的类别、内容的类别对色彩的忌用列表和/或内容的类别对调性的忌用列表，从候选资源信息的列表中过滤掉对应的元素；

S370，计算课件片段的剩余可调节时间；

S380，若候选资源信息的列表不为空，则根据情绪调节策略信息，调用情绪调节行动生成算法列表中对应的算法，设置输出参数之情绪调节行动信息列表；

S390，结束生成情绪调节行动信息的列表；

S400，若输出参数之情绪调节行动信息列表为空则结束处理；

S410，设置输出参数之预期的调节后情绪范围；

S420，设置输出参数之情绪调节成分是否挂接到课件片段，并更新课件片段的属性。

2.如权利要求1所述的调节情绪的方法，其特征在于，情绪调节成分的属性至少包括ID、媒体类别、URI、情绪调节强度、标签集、描述、是否为挂接的；其中，媒体类别包括文本、音频、图像、包含动画在内的视频。

3.如权利要求1所述的调节情绪的方法，其特征在于，所述课件片段的属性至少包括ID、内容的URI、是否可被修改、是否启用自动调节情绪、包含的媒体类别信息，可选包括内容的难度、内容的类别、学习过程中学习者的预期情绪范围、情绪调节行动计划信息、情绪调节行动信息列表。

4.如权利要求3所述的调节情绪的方法，其特征在于，包含的媒体类别信息，是一个列表，其元素的属性包括相对于该课件片段开始呈现时的时刻、该时刻呈现的媒体类别的列表；内容的类别取值是一个内容基本类别或一个内容复合类别，内容基本类别包括感觉、知觉、记忆、想象、语言、思维，一个内容复合类别是至少二个内容基本类别的组合。

5.如权利要求3所述的调节情绪的方法，其特征在于，情绪调节行动计划信息包括允许使用的媒体类别列表、各媒体类别的媒体资源使用数量范围、期望使用的情绪调节成分包含的标签集、呈现情绪调节成分的起止时刻、期望使用的媒体资源的URI。

6.如权利要求1所述的调节情绪的方法，其特征在于，在是否启用自动调节情绪为真时，若是否可被修改为假，则只能为课件片段挂接情绪调节成分。

7.如权利要求1所述的调节情绪的方法，其特征在于，学习者的基本信息，包括ID、出生日期、性别、性格、人脸信息、当前所患疾病列表、学习能力、情绪调节能力列表的相关数据。

8.如权利要求1所述的调节情绪的方法，其特征在于，情绪调节能力列表包含若干个多维向量，其中的每一个向量分别对应一个从源情绪类别到目标情绪类别的情绪调节能力，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示可以接受的愉悦度的变化幅度、唤醒度的变化幅度、支配度的变化幅度；情绪调节能力运用系数阈值列表包含若干个取值在0到1之间的数，其中的每一个分别对应一个从源情绪类别到目标情绪类别的情绪调节能力的最大运用程度；一个情绪范围使用二个表示情绪的向量表示，情绪调节目标用一个情绪范围表示，情绪类别用一个情绪范围表示。

9.如权利要求1所述的调节情绪的方法，其特征在于，所述情绪调节行动生成算法列表，其列表元素的属性包括情绪调节行动生成算法、该算法的ID、该算法支持的最大情绪调节强度、该算法的空间资源需求、该算法的时间资源需求，其中的算法为基于线性规划的算法、基于回溯的算法、基于动态规划的算法或基于贪心策略的算法，这些算法根据学习者的当前所患疾病列表、当前情绪、情绪的变化趋势、情绪调节目标、原始课件片段信息、情绪调节强度范围、情绪的音频调节路径列表、候选资源信息的列表、疾病对色彩或调性的宜用列表、教学内容的类别对色彩或调性的宜用列表、课件片段的剩余可调节时间及情绪调节策略信息，分别生成各自算法意义上最优的情绪调节行动列表，且各算法的空间资源需求和/或时间资源需求有差异，运行在后台和/或终端。

10.如权利要求1所述的调节情绪的方法，其特征在于，所述情绪调节策略信息，包括：是否忽略学习者的情绪调节能力，情绪调节能力运用系数阈值列表，选择情绪调节成分的媒体类别时是否允许使用调节情绪的专用片段、是否允许改变原始课件片段的背景音频、是否允许改变原始课件的背景图像、是否允许同时使用背景音频和背景图像、是否优先使用媒体类别与原始课件片段不同的媒体资源、是否优先使用音频媒体资源、是否优先使用宜用的媒体资源，使用调节情绪的专用片段的情绪调节强度阈值，情绪调节行动中允许的最大情绪调节强度，情绪调节行动生成算法的选择规则；其中，情绪调节行动生成算法的选择规则是情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源、情绪调节行动生成算法列表到情绪调节行动生成算法ID的一个映射，其根据情绪调节行动中允许的最大情绪调节强度、可以提供的空间资源和时间资源，确定使用情绪调节行动生成算法列表中的某一个情绪调节行动生成算法作为情绪调节行动生成算法。

11.一种通过包含或挂接情绪调节成分的课件的呈现来调节情绪的装置，其特征在于，

所述课件包括若干个课件片段，其中各课件片段包含或挂接若干情绪调节成分，情绪调节成分为可用于诱发情绪并调节情绪的媒体资源；其中，情绪用一个多维向量表示，所述多维向量的维数不小于3，其第0维、第1维、第2维分别对应于PAD三维情感状态模型的愉悦度、唤醒度、支配度；情绪调节强度用一个多维向量表示，其维数与表示情绪的多维向量相等，其第0维、第1维、第2维分别表示愉悦度的变化、唤醒度的变化、支配度的变化；情绪调节强度范围使用二个表示情绪调节强度的向量表示；

所述装置包括：

终端主控制器模块(510)：用于初始化并运行情绪识别模块(520)、课件情绪调节处理模块(530)、课件呈现模块(540)、情绪调节成分呈现模块(550)，监控情绪识别模块(520)、课件情绪调节处理模块(530)、课件呈现模块(540)、情绪调节成分呈现模块(550)的运行状态和课件及课件片段的呈现状态，并与后台主控制器模块(560)通信；

情绪识别模块(520)：用于实时识别学习者的情绪和情绪调节能力，供课件情绪调节处理模块(530)使用并传输至数据存储模块(570)保存；通过实时采集学习者的视频、语音、生理信号和键鼠操作这几类信息中的至少一类，直接识别学习者的情绪，或者调用第三方服务识别学习者的情绪；

课件情绪调节处理模块(530)：用于调用权利要求1~10任一项所述调节情绪的方法，为课件片段添加、替换或挂接情绪调节成分，并通知课件呈现模块(540)和/或情绪调节成分呈现模块(550)处理；若课件片段不允许被修改，则不能为课件片段添加或替换情绪调节成分，只能为课件片段挂接情绪调节成分；

课件呈现模块(540)：用于课件及课件片段的呈现及呈现控制，包括课件片段中包含的情绪调节成分的呈现及呈现控制；

情绪调节成分呈现模块(550)：用于挂接在课件片段上的情绪调节成分的呈现及呈现控制，所述呈现控制包括开始呈现、暂停呈现、继续呈现、停止呈现；

后台主控制器模块(560)：用于初始化并运行数据存储模块(570)、数据分析模块(580)，并与各终端主控制器模块(510)通信；

数据存储模块(570)：用于存储：各学习者的基本信息、各学习者的情绪数据、各课件的相关信息；疾病对色彩的忌用列表和宜用列表、疾病对调性的忌用列表和宜用列表、教学内容的类别对色彩的忌用列表和宜用列表、教学内容的类别对调性的忌用列表和宜用列表、情绪的音频调节路径列表；图像情绪调节成分资源、音频情绪调节成分资源、调节情绪的专用片段专用的资源及其版本信息；图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表以及这三个列表中针对各学习者的情绪调节强度相关的数据；推荐的公用情绪调节策略信息；针对各学习者的情绪调节策略信息使用列表，其列表元素的属性包括学习者的ID、情绪调节策略信息、该策略信息的使用次数、该策略信息的使用次数占比；情绪调节行动生成算法列表、情绪调节行动生成算法的选择规则；情绪调节能力运用系数阈值列表、使用调节情绪的专用片段的情绪调节强度阈值；调用所述情绪调节方法生成的各情绪调节行动信息列表、各情绪调节行动的实施结果；数据分析模块(580)生成的数据分析结果；

数据分析模块(580)：用于通过分析既有数据，更新所述情绪调节方法中用到的阈值、列表、映射、策略。

12.如权利要求11所述的调节情绪的装置，其特征在于，课件呈现模块(540)还用于提供：状态查询接口，用于查询当前课件片段的状态；状态信息监听接口，用于为监听者注册课件片段状态响应函数；剩余的可呈现时间查询接口，用于查询当前课件片段从当前呈现进度起到完成呈现所需的时间；课件片段属性获取接口，用于查询和获取课件片段的属性；课件片段属性设置接口，用于设置和更新课件片段的属性；课件呈现模块(540)的接口在课件呈现前和呈现时被调用。

13.如权利要求11所述的调节情绪的装置，其特征在于，所述数据分析模块(580)用于更新推荐的公用情绪调节策略信息、更新各学习者基本信息中的情绪调节能力列表、更新使用调节情绪的专用片段的情绪调节强度阈值、更新情绪调节能力运用系数阈值列表；更新针对各学习者使用调节情绪的专用片段的情绪调节强度阈值、更新针对各学习者的情绪调节能力运用系数阈值列表、更新针对各学习者的情绪调节策略信息使用列表，更新图像情绪调节成分资源信息列表、音频情绪调节成分资源信息列表、调节情绪的专用片段专用的资源信息列表这三个列表中针对各学习者的情绪调节强度相关的数据，以支持情绪调节的个性化和自适应。

Images