CN113687744A - 一种用于情绪调节的人机交互方法及设备 - Google Patents
一种用于情绪调节的人机交互方法及设备 Download PDFInfo
- Publication number
- CN113687744A CN113687744A CN202110953462.5A CN202110953462A CN113687744A CN 113687744 A CN113687744 A CN 113687744A CN 202110953462 A CN202110953462 A CN 202110953462A CN 113687744 A CN113687744 A CN 113687744A
- Authority
- CN
- China
- Prior art keywords
- interaction
- human
- user
- computer interaction
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
Abstract
本发明公开了一种用于情绪调节的人机交互方法及设备。该方法包括如下步骤:根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,计算出在人机交互方案的操作时间;获取交互前用户生理数据后,进行情绪调节,完成当日交互后,获取用户主观感受和交互前后变化的客观反馈数据;当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,若测评结果通过,则执行下一步骤或返回首个步骤;否则更新当前人机交互方案的操作时间和操作时间节点,继续进行人机交互,直至测评结果通过;根据用户的主客观反馈数据,更新余下各个人机交互方案的操作时间,直到本轮人机交互结束。
Description
技术领域
本发明涉及一种用于情绪调节的人机交互方法,同时也涉及相应的人机交互设备,属于人机交互技术领域。
背景技术
随着生活节奏的加快,越来越多的用户正承受着较大的生活压力和工作压力,情绪变化也反复无常,常常难以自控。人们为了调节情绪,通常会使用放松情绪类软件,利用该软件中设定的场景,如森林,篝火等,再以音乐或音频辅助用户放松。
但是,现有的放松情绪类软件并不以诊疗治愈情绪问题为目的,无法满足特殊人群的需求;并且,此类软件中涵盖的练习和理论通常较为浅显,初期或许能够感觉到效果,然而随着时间的推移,会对其中数量有限且形式单一的练习逐渐失去新鲜感和敏感性。此外,情绪问题疗愈需要长期、系统化的引导,而非碎片式的短暂改善。这一点也是放松情绪类软件所普遍缺失的。
在公开号为105279494A的中国专利申请中,公开了一种可调节用户情绪的人机交互系统。该人机交互系统包括:人脸采集模块,采集用户的脸部信息;人脸识别模块,与人脸采集模块相连,识别脸部信息,确定用户的脸部微表情所属的情绪类型;人机界面调节模块,与人脸识别模块相连,根据用户的脸部微表情所属的情绪类型,调节人机界面的显示状态。该方案主要通过人脸识别技术识别用户微表情,判断用户使用时的情绪,从而对人机界面的内容进行主题模板或色彩等方面的切换,从而达到人性化的色彩界面交互,使用户在短时间内得到情绪的调节,对用户起到一个正面积极的作用。
发明内容
本发明所要解决的首要技术问题在于提供一种用于情绪调节的人机交互方法。
本发明所要解决的另一技术问题在于提供一种用于情绪调节的人机交互设备。
为了实现上述目的,本发明采用下述的技术方案:
根据本发明实施例的第一方面,提供一种用于情绪调节的人机交互方法,包括如下步骤:
根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
其中较优地,根据获取的用户对各个情绪调节需求的评分,得到本轮情绪调节的各个人机交互方案的操作顺序,其中每个人机交互方案对应相应的情绪调节需求。
其中较优地,交互前心理量表的测评结果为交互前心理量表中各项因子上的得分,根据常模数据转化为百分比数值。
其中较优地,将交互前心理量表和交互后心理量表的所有因子中,用户得分与常模数据相差最大的八个因子,以雷达图形式呈现因子名称、因子在常模中的评分、用户在此因子上的评分。
其中较优地,在进行情绪调节前,根据所述本轮情绪调节的各个人机交互方案的操作顺序和各个人机交互方案的操作时间,设置各个人机交互方案的操作时间节点。
其中较优地,所述用户主观感受反馈数据为语音采集设备采集的用户关于交互后感受的语音数据或记录用户输入的关于交互后感受的文本信息,采用语音/文本情绪识别算法,将所述语音数据或所述文本信息转化为语音或文本的情绪成分分析,并标注日期。
其中较优地,所述用户交互前后变化的客观反馈数据为将交互前用户的生理数据和交互后用户的生理数据生成图表,并标注日期。
其中较优地,所述交互前用户的生理数据和所述交互后用户的生理数据包括图像采集设备采集的用户的面部图像、心率采集设备采集的心率和运动手环采集的运动数据,并利用面部情绪识别算法将所述用户面部图像转化为数值。
其中较优地,更新当前人机交互方案的操作时间ti'=E/G*ti,E表示常模数据,G表示交互后心理量表中各项因子上的评分,ti表示当前人机交互方案的时间ti,i∈[1:4],表明为四个人机交互方案之一。
根据本发明实施例的第二方面,提供一种用于情绪调节的人机交互设备,包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:
根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
本发明所提供的人机交互方法及设备根据用户状况实时调整人机交互方案的操作顺序以及对应的操作时间,能够循序渐进地改善用户情绪体验,消解身体疲惫,放松压力和焦虑、抑郁、恐惧等负面情绪,缓解负面情绪给人身体和精神上带来的压迫和损伤。本发明具有容易操作、易于接受、时长短、人机交互内容丰富多样等特点。
附图说明
图1为本发明实施例提供的用于情绪调节的人机交互方法的流程图;
图2为本发明实施例提供的用于情绪调节的人机交互设备的结构图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。
如图1所示,本发明实施例提供的用于情绪调节的人机交互方法,包括如下步骤:
步骤S1、根据获取的用户对各个情绪调节需求的评分,得到本轮情绪调节的各个人机交互方案的操作顺序,其中每个人机交互方案对应相应的情绪调节需求。
本发明所提供的人机交互方案涵盖了四类常见的用户情绪调节需求,分别包括改善躯体症状、缓解焦虑思绪、走出低落抑郁和建立存在联结。其中,改善躯体症状这一情绪调节需求包括生理不适、紧张、疼痛、失眠、无力等症状,其对应的人机交互方案为生理舒缓放松方案(B);缓解焦虑思绪这一情绪调节需求包括焦虑、心理压力等症状,其对应的人机交互方案为正念觉知培养方案(M);走出低落抑郁这一情绪调节需求包括抑郁、情绪低落等症状,其对应的人机交互方案为想象放松冥想方案(I);建立存在联结这一情绪调节需求包括人际关系较差、孤独感强、自信心较差、社会适应能力较弱等症状,其对应的人机交互方案为积极爱意灌注方案(P)。
在本发明的实施例中,用户输入预先注册好的用户名和密码登录本发明提供的人机交互设备后,进入预先设定的需求界面,按照自己对情绪调节需求的程度,分别对四类用户情绪调节需求进行评分,评分的数值范围为1~100分,该人机交互设备会记录这四类用户情绪调节需求的评分数值,分别表示为R-b1,R-m1,R-i1,R-p1。
将获取的四类用户情绪调节需求的评分,按照评分大小从高到低排列,并根据四类用户情绪调节需求的排列顺序,生成本轮情绪调节的四类用户情绪调节需求对应的人机交互方案的操作顺序,该操作顺序为四类用户情绪调节需求对应的人机交互方案的排序组合。用户情绪调节需求排序越靠前,对应的人机交互方案的操作顺序就越靠前。
例如,获取的用户对各个情绪调节需求的评分中,走出低落抑郁的情绪调节需求最高,其次是缓解焦虑思绪,改善躯体症状和建立存在联结。相对应地,本轮情绪调节的各个人机交互方案的顺序便是想象放松冥想方案(I)、正念觉知培养方案(M)、生理舒缓放松方案(B)和积极爱意灌注方案(P)。
步骤S2、根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间。
用户进入人机交互设备的预先设定的病症选择界面后,可以从呈现的常见情绪障碍病症中选择自己已被确诊病症(通过其他渠道确诊的病症),如果没有已被确诊病症,则为默认值。该人机交互设备将获取的已被确诊病症或默认值记为D1。通过获取用户选择的已被确诊病症,能够加强相应人机交互方案在计算操作时间时的权重,即已被确诊病症能够获得在相应人机交互方案中更长的操作时间。
四类用户情绪调节需求各自对应一套测评量表Tb,Tm,Ti,Tp。每套测评量表为心理学经典量表,均包括交互前心理量表和交互后心理量表,即交互前心理量表Tb1,Tm1,Ti1,Tp1,交互后心理量表Tb2,Tm2,Ti2,Tp2,一共8份心理量表。其中,交互前心理量表和交互后心理量表所测量的项目相近,每个心理量表都对应数个因子,每个因子表现了心理量表中用户在这个方面的得分。因子通常包括强迫症状程度,躯体化症状程度这样的细分维度。
交互前心理量表用于初次进入人机交互设备时收集用户状态数据,具体为用户进入人机交互前,心理量表中各项因子反映的用户心理状态,其通过获取用户对心理量表中各项因子对应的选项式测试题目的答复结果,根据用户的答复结果进行相应评分,以呈现各项因子反映的用户心理状态。交互后心理量表用于用户完成当前人机交互方案后进行的有效性测评。
具体地说,改善躯体症状这一情绪调节需求对应的交互前心理量表Tb1和交互后心理量表Tb2为SCL-90自评量表和心理身体紧张松弛测试量表(PSTRT);缓解焦虑思绪这一情绪调节需求对应的交互前心理量表Tm1和交互后心理量表Tm2为积极情绪消极情绪量表(PANAS)和汉密尔顿焦虑量表;走出低落抑郁这一情绪调节需求对应的交互前心理量表Ti1和交互后心理量表Ti2为乐观倾向测试量表和汉密尔顿抑郁量表;建立存在联结这一情绪调节需求对应的交互前心理量表Tp1和交互后心理量表Tp2为人际关系量表和社会适应能力测试量表。
以SCL-90自评量表为例,用户完成SCL-90自评量表中各项因子对应的选项式测试题目后,在躯体化,强迫症状,人际关系敏感,抑郁,焦虑等10个因子上都得到相应的得分。其中,强迫症状因子得分与常模数据(正常人在强迫症状因子上的得分)差距最大,表明SCL-90自评量表所涵盖的范围内,用户的强迫症状最为严重和突出。
将用户在交互前心理量表中各项因子上的得分,根据常模数据(正常人在相应因子上的得分)转化为百分比数值D2。交互前心理量表Tb1,Tm1,Ti1,Tp1转化后的百分比数值分别记为D2-Tb1,D2-Tm1,D2-Ti1,D2-Tp1。其中,交互前心理量表转化的百分比数值D2=用户在交互前心理量表中各项因子上的得分/常模数据*100%。
为了能够使用户直观地了解自己的情况,将所有测评量表的所有因子中,用户得分与常模数据相差最大的八个因子,以雷达图形式呈现因子名称、因子在常模中的评分、用户在此因子上的评分。
采用图像采集设备(如摄像头)采集用户面部图像,即用户对准图像采集设备呈现的拍摄框后,实时采集用户面部图像。所采集的用户面部图像由外接面部情绪识别算法将其转化为数值,作为用户的即时情绪数据D3。
根据评估结果D1、交互前心理量表转化的百分比数值D2和用户的即时情绪数据D3,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间。具体地说,由评估结果D1、交互前心理量表转化的百分比数值D2和用户的即时情绪数据D3构成用户特征,采用基于神经网络模型的点击率(CTR)预测,应用特征交互的通用注意力机制,使用卷积神经网络(CNN)和图卷积神经网络(GCN)来进行特征交互,将所有的用户特征(D1、D2、D3)拼接为二维矩阵,并使用卷积和池化操作提取其任意阶的特征交互,从而得出该用户对于各个情绪调节需求对应的人机交互方案的点击概率,生成各个情绪调节需求对应的人机交互方案的操作时间t1,t2,t3,t4。
步骤S3、获取情绪调节前用户的生理数据后,按照步骤S1的操作顺序和步骤S2的操作时间进行情绪调节的交互,当完成当日交互后,获取用户主观感受和交互前后变化的客观反馈数据。
在进行情绪调节前,根据步骤S1得到的本轮情绪调节的各个人机交互方案的操作顺序和步骤S2得到的各个人机交互方案的操作时间t1,t2,t3,t4,设置各个人机交互方案的操作时间节点,分别表示为N1,N2,N3,N4,其中N1=t1;N2=t1+t2;N3=t1+t2+t3;N4=t1+t2+t3+t4。
在进行情绪调节前,还需要获取用户的生理数据,用于后续进行人机交互效果的对比。用户的生理数据包括用户的面部图像、心率和运动数据。其中,可以采用图像采集设备(如摄像头)采集用户的面部图像;可以采用心率采集设备采集用户的心率;可以连接运动手环,采集用户的相关运动数据。同样,将所采集的用户面部图像由外接面部情绪识别算法将其转化为数值,作为用户的即时情绪数据。
设置已交互天数的统计规则后,按照本轮情绪调节的各个人机交互方案的操作顺序,依次呈现当前人机交互方案的交互,即从当前人机交互方案的子方案中随机调取。即当已交互天数在0~N1之间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第一个人机交互方案的子方案。当已交互天数在N1~N2之间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第二个人机交互方案的子方案。当已交互天数在N2~N3之间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第三个人机交互方案的子方案。当已交互天数在N3~N4之间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第四个人机交互方案的子方案。
在设置已交互天数的统计规则时,将已交互天数的初始值设置为0,交互每过一天,已交互天数增加1。
本发明实施例中,各个人机交互方案中,生理舒缓放松方案(B)的子方案为系统化深呼吸放松子方案B1、渐进式肌肉放松子方案B2;正念觉知培养方案(M)的子方案为外观声音子方案M1、外观环境子方案M2、内观呼吸子方案M3、内观身体子方案M4、内观步态子方案M5、内观情绪子方案M6、内观困难子方案M7、内观思维子方案M8和解离想法子方案M9;想象放松冥想方案(I)的子方案为场景想象式放松子方案I1、想象联结世界子方案I2、心灵花园播种子方案I3、身体疼痛舒缓子方案I4和情绪舒缓放松子方案I5;积极爱意灌注方案(P)的子方案为自身资源挖掘子方案P1、友善微笑子方案P2、关爱自我的冥想子方案P3、他人感恩子方案P4、关爱他人的冥想子方案P5,共21项子方案。
当呈现生理舒缓放松方案(B)中的任意子方案操作时,调用预设好的放松音频和音乐播放,呈现与音频节奏相同的变幻图形和变化重点区域的人体图形,引导用户跟随音频依次舒缓身体部位,调节身心。
当呈现正念觉知培养方案(M)中的任意子方案操作时,调用预设好的音频播放,不播放音乐,而是引导用户静静感受。同时,在人机交互设备的屏幕呈现倒计时,以提示用户维持当前步骤或切换下一步骤。
当呈现想象放松冥想方案中的任意子方案操作时,询问用户所使用的图片来源。当选择为“系统图片”时,调用预设的风景图片。当选择为“自定义”时,请求打开设备相册,建议用户选择环境类图片,上传所选图片并呈现。图片呈现的同时,调用预设好的放松音频和音乐播放,引导用户想象置身于自然美景,感到人与自然的融合与放松。
当呈现积极爱意灌注方案中的任意子方案操作时,交互页面询问用户所使用的图片来源。当选择为“系统图片”时,调用存储介质中预设人物图片。当选择为“自定义”时,请求打开设备相册,上传所选图片并建议用户选择人物图片呈现。图片呈现的同时,调用预设好的放松音频和音乐播放,音频和图片协同作用,引导用户想象周围亲近的人,激发用户心中的爱意和温柔,并将这种积极的爱意迁移到生活之中,改善用户的社交体验和人际关系。
每当所播放的声音数据(音频和音乐)播放结束,即视为完成当日交互。完成当日的人机交互操作后,获取用户主观感受和人机交互前后变化的客观反馈数据。
其中,获取用户主观感受反馈数据为采用语音采集设备(如拾音器)采集用户关于交互后感受的语音数据或记录用户输入的关于交互后感受的文本信息,采用外接语音/文本情绪识别算法,将采集的语音数据或文本信息转化为语音或文本的情绪成分分析,并标注日期。用户语音数据或文本信息均为用户主观感受的表现,因此将语音数据或文本信息转化的情绪成分分析作为用户主观上对当日交互效果的反馈。
获取用户交互前后变化的客观反馈数据为将交互前用户的生理数据和交互后用户的生理数据生成图表,并标注日期。交互前用户的生理数据和交互后用户的生理数据均由系统客观分析评测,因此所生成的图表能够作为系统对当日用户交互前后变化的客观反馈。其中,交互后用户的生理数据与交互前内容相同,仅采集数据不同。在此不再赘述。
本发明实施例中,采用日志方式呈现获取的每日用户主观感受和交互前后变化的客观反馈数据。用户可以通过日志追踪、对比和查看自己每天交互前后的变化,长期记录也能够观察到自己交互以来的变化和交互的效果。
步骤S4、当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行步骤S5或返回步骤S1;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续交互,当达到更新后的操作时间节点后,再次进行有效性测评直至通过。
每当已交互天数达到当前人机交互方案的操作时间节点,即已交互天数等于N1/N2/N3/N4时,调出交互后心理量表,并获取用户对交互后心理量表中各项因子对应的选项式测试题目的答复结果,根据用户的答复结果进行相应评分,作为交互后的测评结果。将交互后心理量表中各项因子上的评分G,对照常模数据E。G≥E时,有效性测评达到通过标准;G<E时,已交互天数重置到当前人机交互方案的最小天数,当前人机交互方案的时间ti(i∈[1:4],表明为四个人机交互方案之一)值更新,随E和G的比例重新计算当前交互模块的新时间ti'=E/G*ti,以及当前人机交互方案新的操作时间节点Ni'。当已交互天数达到当前人机交互方案新的操作时间节点Ni'后,再次调出交互后心理量表进行有效性测评直至通过。
因此,本发明可以根据用户在各个人机交互方案的有效性测评表现情况,更新用户在每个人机交互方案的操作时间。测评中,某一个人机交互方案的有效性测评表现较差,就会增加该人机交互方案的操作时长,加强用户在这个方面的人机交互。这样的设置具有针对性和自适应性,用户也能够根据自己的情况调整交互方式和交互强度。
需要强调的是,当用户完成一个人机交互方案之后,就自动获得重新设置人机交互方案的资格,即重新执行步骤S1。或者,执行步骤S5,继续按本轮情绪调节的操作顺序执行余下人机交互方案。并且,当用户完成某一人机交互方案的操作之后,该人机交互方案的权限就会对用户完全打开,用户可以随意回顾和使用已经历过的人机交互方案。
步骤S5、采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行交互的各个人机交互方案的操作时间,并根据已交互天数,实时更新呈现剩余交互天数,直到本轮人机交互结束。
当用户通过当前人机交互方案的有效性测评后,系统针对当前已人机交互方案的离散特征数据(包括用户主观感受和交互前后变化的客观反馈数据),采用基于矩阵分解的点击率预测模型,输入已人机交互方案中获取的离散特征数据,采用因子分解机(FM)计算特征间的交叉,对以上所有特征变量(包括用户主观感受和交互前后变化的客观反馈数据)交互进行建模,形成新的点击率预测,从而得到还未进行交互的各个人机交互方案的操作时间,并根据已交互天数,更新呈现剩余交互天数,当剩余交互天数为0时,结束本轮情绪调节。用户可以根据自己的需求,返回至步骤S1,开始新一轮的情绪调节,重新选择目标,使得每一轮交互的交互内容能始终满足用户最紧迫的情绪调节需求。
本发明实施例提供的用于情绪调节的人机交互方法为低强度情绪调节的人机交互方法,适用于各种低动力人群,如受抑郁情绪困扰人群;或不便、不愿进行面对面情绪疏解的人群,如行动不便者,疲惫不堪者。因此,本发明不仅有利于老人、孕产妇等特定人群的情绪调节和舒缓,也能够在日常生活中发挥重要作用。用户在人机交互过程中,能够躺或坐着,不仅能够帮助疲惫、困顿、焦躁等状态下的人们快速进入舒适的放松状态,还能够给饱受负面情绪之苦的人们带来舒缓,唤起人们对生活的善意和喜悦,引导用户接纳自己,欣赏世界,以更加积极乐观的态度面对生活。并且,本发明方法可以单独使用,也可以与药物、医疗器械、其他疗法、其他认知交互协同使用,以引导用户改善情绪状况。
此外,如图2所示,本发明实施例还提供一种用于情绪调节的人机交互设备。该人机交互设备可因配置或性能不同而产生比较大的差异,可以包括处理器21、存储器22。其中,存储器22可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器等;处理器21可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。存储在存储器22的程序可以包括软件模块(图示没标出),每个软件模块可以包括对人机交互设备中的一系列指令操作。进一步地,处理器21可以设置为与存储器22通信,在人机交互设备上执行存储器22中的一系列指令操作。另外,上述人机交互设备还可以包括电源、有线或无线网络接口、输入输出接口、键盘和/或操作系统,例如Windows Server,Mac OS X,Unix, Linux,Free BSD等。输入输出接口可以分别连接语音采集设备(如拾音器)、图像采集设备(如摄像头)、心率采集设备和/或运动手环等。这些组件均可以采用现有智能终端中的通用部件实现,在此就不具体说明了。
另外,本发明实施例提供的人机交互设备,包括处理器21和存储器22,处理器21读取所述存储器22中的计算机程序或指令,用于执行以下操作:
根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
采用基于矩阵分解的点击率预测模型,根据用户主观感受和人机交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,并根据已交互天数,实时更新呈现剩余交互天数,直到本轮人机交互结束。
另外,本发明实施例还提供一种计算机可读存储介质,所述可读存储介质上存储有指令,当其在计算机上运行时,使得所述计算机执行如上述图1所述的人机交互方法,此处不再赘述其具体实现方式。
另外,本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行如上述图1所述的人机交互方法,此处不再赘述其具体实现方式。
与现有技术相比较,本发明所提供的用于情绪调节的人机交互方法及设备,根据用户状况实时调整人机交互方案的操作顺序以及对应的操作时间,能够循序渐进地改善用户情绪体验,消解身体疲惫,放松压力和焦虑、抑郁、恐惧等负面情绪,缓解负面情绪给人身体和精神上带来的压迫和损伤。本发明具有容易操作、易于接受、时长短、人机交互内容丰富多样等特点。
以上对本发明所提供的用于情绪调节的人机交互方法及设备进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将属于本发明专利权的保护范围。
Claims (10)
1.一种用于情绪调节的人机交互方法,其特征在于包括如下步骤:
根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
2.如权利要求1所述的人机交互方法,其特征在于:
根据获取的用户对各个情绪调节需求的评分,得到本轮情绪调节的各个人机交互方案的操作顺序,其中每个人机交互方案对应相应的情绪调节需求。
3.如权利要求1所述的人机交互方法,其特征在于:
所述交互前心理量表的测评结果为交互前心理量表中各项因子上的得分,根据常模数据转化为百分比数值。
4.如权利要求1所述的人机交互方法,其特征在于:
将交互前心理量表和交互后心理量表的所有因子中,用户得分与常模数据相差最大的八个因子,以雷达图形式呈现因子名称、因子在常模中的评分、用户在此因子上的评分。
5.如权利要求2所述的人机交互方法,其特征在于:
在进行情绪调节前,根据所述本轮情绪调节的各个人机交互方案的操作顺序和各个人机交互方案的操作时间,设置各个人机交互方案的操作时间节点。
6.如权利要求1所述的人机交互方法,其特征在于:
所述用户主观感受反馈数据为语音采集设备采集的用户关于交互后感受的语音数据或记录用户输入的关于交互后感受的文本信息,采用语音/文本情绪识别算法,将所述语音数据或所述文本信息转化为语音或文本的情绪成分分析,并标注日期。
7.如权利要求1所述的人机交互方法,其特征在于:
所述用户交互前后变化的客观反馈数据为将交互前用户的生理数据和交互后用户的生理数据生成图表,并标注日期。
8.如权利要求7所述的人机交互方法,其特征在于:
所述交互前用户的生理数据和所述交互后用户的生理数据包括图像采集设备采集的用户的面部图像、心率采集设备采集的心率和运动手环采集的运动数据,并利用面部情绪识别算法将所述用户面部图像转化为数值。
9.如权利要求1所述的人机交互方法,其特征在于:
更新当前人机交互方案的操作时间ti'=E/G*ti,E表示常模数据,G表示交互后心理量表中各项因子上的评分,ti表示当前人机交互方案的时间,i∈[1:4],表明为四个人机交互方案之一。
10.一种用于情绪调节的人机交互设备,其特征在于包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:
根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据用户主观感受和交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110953462.5A CN113687744B (zh) | 2021-08-19 | 2021-08-19 | 一种用于情绪调节的人机交互设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110953462.5A CN113687744B (zh) | 2021-08-19 | 2021-08-19 | 一种用于情绪调节的人机交互设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113687744A true CN113687744A (zh) | 2021-11-23 |
CN113687744B CN113687744B (zh) | 2022-01-18 |
Family
ID=78580612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110953462.5A Active CN113687744B (zh) | 2021-08-19 | 2021-08-19 | 一种用于情绪调节的人机交互设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113687744B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116785553A (zh) * | 2023-08-25 | 2023-09-22 | 北京智精灵科技有限公司 | 一种基于界面式情感交互的认知康复系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070066403A1 (en) * | 2005-09-20 | 2007-03-22 | Conkwright George C | Method for dynamically adjusting an interactive application such as a videogame based on continuing assessments of user capability |
CN105279494A (zh) * | 2015-10-23 | 2016-01-27 | 上海斐讯数据通信技术有限公司 | 可调节用户情绪的人机交互系统、方法及设备 |
CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术(北京)有限公司 | 语音交互满意度的确定方法及设备 |
CN109545330A (zh) * | 2018-11-30 | 2019-03-29 | 北京京师脑力科技有限公司 | 一种提高执行功能的认知训练方法及系统 |
US20200129728A1 (en) * | 2018-10-26 | 2020-04-30 | Music 4 Life Technology, Inc. | Method and System for Influencing Emotional Regulation through Assessment, Education, and Music Playlist Applications |
CN111261262A (zh) * | 2020-03-02 | 2020-06-09 | 浙江连信科技有限公司 | 基于人机交互的心理干预方法、装置及电子设备 |
CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
CN111430033A (zh) * | 2020-03-24 | 2020-07-17 | 浙江连信科技有限公司 | 基于人机交互的心理评估方法及电子设备 |
-
2021
- 2021-08-19 CN CN202110953462.5A patent/CN113687744B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070066403A1 (en) * | 2005-09-20 | 2007-03-22 | Conkwright George C | Method for dynamically adjusting an interactive application such as a videogame based on continuing assessments of user capability |
CN105279494A (zh) * | 2015-10-23 | 2016-01-27 | 上海斐讯数据通信技术有限公司 | 可调节用户情绪的人机交互系统、方法及设备 |
CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术(北京)有限公司 | 语音交互满意度的确定方法及设备 |
US20200129728A1 (en) * | 2018-10-26 | 2020-04-30 | Music 4 Life Technology, Inc. | Method and System for Influencing Emotional Regulation through Assessment, Education, and Music Playlist Applications |
CN109545330A (zh) * | 2018-11-30 | 2019-03-29 | 北京京师脑力科技有限公司 | 一种提高执行功能的认知训练方法及系统 |
CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
CN111261262A (zh) * | 2020-03-02 | 2020-06-09 | 浙江连信科技有限公司 | 基于人机交互的心理干预方法、装置及电子设备 |
CN111430033A (zh) * | 2020-03-24 | 2020-07-17 | 浙江连信科技有限公司 | 基于人机交互的心理评估方法及电子设备 |
Non-Patent Citations (2)
Title |
---|
YILIANG SHI ET AL.: "Exploration of Computer Emotion Decision Based on Artificial Intelligence", 《2018 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND INTELLIGENT SYSTEMS (ICVRIS)》 * |
张凯乐 等: "面向情绪调节的多模态人机交互技术", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116785553A (zh) * | 2023-08-25 | 2023-09-22 | 北京智精灵科技有限公司 | 一种基于界面式情感交互的认知康复系统及方法 |
CN116785553B (zh) * | 2023-08-25 | 2023-12-26 | 北京智精灵科技有限公司 | 一种基于界面式情感交互的认知康复系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113687744B (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11672478B2 (en) | Hypnotherapy system integrating multiple feedback technologies | |
US20220331663A1 (en) | System and Method for Using an Artificial Intelligence Engine to Anonymize Competitive Performance Rankings in a Rehabilitation Setting | |
Davis | Perceptual and affective reverberation components | |
CN107169272B (zh) | 认知行为训练方法及系统 | |
Villani et al. | Does interactive media enhance the management of stress? Suggestions from a controlled study | |
CN115004308A (zh) | 用于提供活动推荐的接口的方法和系统 | |
CN110033867A (zh) | 融合多元干预路径的认知障碍干预系统及方法 | |
JP2024055900A (ja) | 近視治療のためのデジタルシステム、デジタルシステムの動作方法及びコンピュータ読み取り可能媒体 | |
Metzner | A polyphony of dimensions: music, pain, and aesthetic perception | |
CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
CN114582466A (zh) | 一种基于hrv生物反馈训练的心理舒缓减压方法及系统 | |
Morales et al. | An adaptive model to support biofeedback in AmI environments: a case study in breathing training for autism | |
Fortin et al. | Laughter and tickles: Toward novel approaches for emotion and behavior elicitation | |
CN115253009B (zh) | 一种睡眠多维度干预方法及系统 | |
KR102437583B1 (ko) | 생체신호를 활용한 선호 색상에 대한 사용자 맞춤형 색상콘텐츠를 제공하는 시스템 및 방법 | |
CN116419778A (zh) | 具有交互辅助特征的训练系统、训练装置和训练 | |
Maranan | Haplós: Towards Technologies for and Applications of Somaesthetics | |
WO2022118955A1 (ja) | ソリューション提供システム | |
Pradeep | A study on enhancing virtual reality visualization with hologram technology and bio-signal interactive architectures | |
Drijfhout | Improving eSports performance: conducting stress measurements during Fifa gameplay | |
WO2022165832A1 (zh) | 在大脑中产生反馈的方法、系统及大脑键盘 | |
Rosello | HeartBit: mindful control of heart rate using haptic biofeedback | |
De Jonge | Personalised relaxation therapy in Virtual Reality | |
Zhao | How different virtual reality environments influence job interview anxiety | |
Brooks | An HCI Approach in Contemporary Healthcare and (Re) habilitation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |