CN116661607A - 一种基于多模态情感交互的情绪调节方法及系统 - Google Patents
一种基于多模态情感交互的情绪调节方法及系统 Download PDFInfo
- Publication number
- CN116661607A CN116661607A CN202310911371.4A CN202310911371A CN116661607A CN 116661607 A CN116661607 A CN 116661607A CN 202310911371 A CN202310911371 A CN 202310911371A CN 116661607 A CN116661607 A CN 116661607A
- Authority
- CN
- China
- Prior art keywords
- user
- emotion
- value
- pressure
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 111
- 230000003993 interaction Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004630 mental health Effects 0.000 claims abstract description 48
- 230000009323 psychological health Effects 0.000 claims abstract description 43
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 208000019901 Anxiety disease Diseases 0.000 claims description 28
- 230000036506 anxiety Effects 0.000 claims description 28
- 230000006837 decompression Effects 0.000 claims description 27
- 230000036541 health Effects 0.000 claims description 20
- 230000002040 relaxant effect Effects 0.000 claims description 15
- 230000036651 mood Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000003997 social interaction Effects 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 abstract description 9
- 238000011282 treatment Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000010482 emotional regulation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Child & Adolescent Psychology (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于多模态情感交互的情绪调节方法及系统。该情绪调节方法包括如下步骤：获取用户的心理健康评估报告；根据心理健康评估报告，利用虚拟形象判断用户当前的心理健康状态；心理健康状态至少包括正常、应激或危机中的一种；若判断为危机，则启动预警并进行人工危机干预，直至用户脱离危机状态；若判断为正常，则利用虚拟形象引导用户进行放松减压；若判断为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节。该情绪调节方法通过引入虚拟形象节约了人力成本，并可以根据不同的心理健康状态进行情绪调节。
Description
技术领域
本发明涉及一种基于多模态情感交互的情绪调节方法，同时也涉及相应的情绪调节系统，属于医疗保健信息学技术领域。
背景技术
现代医学表明，人体健康既包括身体健康又包括心理健康，单纯地追求身体健康而忽视心理健康，不仅会导致精神疾病的发生，而且会诱发多种躯体疾病。现代社会由于运转节奏的加快和竞争局面的不断加剧，人们的心理亚健康状况也越来越重。
心理咨询和心理治疗作为解决心理问题的手段，越发受到社会重视。人们在怀疑自己心理状态可能存在异常时，可以选择通过心理咨询和心理治疗确定并试图解决问题。现有技术中的心理咨询和心理治疗方案是心理学专家运用心理学的方法，对心理适应方面出现问题并企求解决问题的求询者提供心理援助。它本质上属于一种治疗方案，通常是在人们已经自我意识到存在问题时或者已经处于病态时所采取的措施，并未从心理亚健康状态下进行干预疏导，在此情况下的人往往存在比较严重的心理异常，通过心理咨询和心理治疗能够取得的效果十分有限。
在申请号为202211651994.4的中国专利申请中，公开了一种交互方法，包括如下步骤：确定目标用户；基于目标用户的行为数据、虚拟形象的初始情绪状态以及虚拟形象与目标用户的交互时长，确定虚拟形象的当前情绪状态；基于虚拟形象的当前情绪状态进行交互，交互包括虚拟形象主动发起交互。在与用户进行交互的过程中，虚拟形象是具有情感和情绪的，而且虚拟形象的情绪是动态持续变化的。虚拟形象不仅可以基于当前情绪状态响应用户的交互，还可以主动向用户发起交互，使得虚拟形象表现得更加人性化，实现与用户进行更加有效的互动，进而提高用户体验感。
发明内容
本发明所要解决的首要技术问题在于提供一种基于多模态情感交互的情绪调节方法。
本发明所要解决的另一技术问题在于提供一种基于多模态情感交互的情绪调节系统。
为实现上述技术目的，本发明采用以下的技术方案：
根据本发明实施例的第一方面，提供一种基于多模态情感交互的情绪调节方法，包括如下步骤：
基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告；
根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态；
其中，所述心理健康状态至少包括正常、应激或危机中的一种；若所述用户的心理健康状态为危机，则启动预警并进行人工危机干预，所述人工危机干预结束后重新对用户进行心理健康评估，直至所述用户脱离危机状态；若所述用户的心理健康状态为正常，则利用虚拟形象引导用户进行放松减压；若所述用户的心理健康状态为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节。
其中较优地，基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告，具体包括：
引导用户进行信息录入，以获取用户的个人信息；
引导用户选择表情等级图，以获取用户当前的情绪等级；
引导用户完成多种量表的测评，以获取所述用户的量表测评结果，所述量表测评结果至少包括抑郁指标得分Id、焦虑指标得分Ia以及压力指标得分Is；
其中，所述用户的个人信息、当前的情绪等级以及量表测评结果共同构成所述用户的心理健康评估报告。
其中较优地，根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态，具体包括：
将所述抑郁指标得分Id与抑郁量表常模标准的均值SD1相比较，以获取抑郁结果Idx；其中，若Id＜SD1，则Idx＝0；若SD1≤Id＜3SD1，则Idx＝1；若Id≥3SD1，则Idx＝2；
将所述焦虑指标得分Ia与焦虑量表常模标准的均值SD2相比较，以获取抑郁结果Iax；其中，若Ia＜SD2，则Iax＝0；若SD2≤Ia＜3SD2，则Iax＝1；若Ia≥3SD2，则Iax＝2；
将所述压力指标得分Is与压力量表常模标准的均值SD3相比较，以获取抑郁结果Isx；其中，若Is＜SD3，则Isx＝0；若SD3≤Is＜3SD3，则Isx＝1；若Is≥3SD3，则Isx＝2；
获取所述用户当前的心理健康状态Y的得分，其中，Y＝Idx＋Iax＋Isx；若Y＝0，则所述用户当前的心理健康状态为正常；若Y＝1，则所述用户当前的心理健康状态为应激；若Y＞1，则所述用户当前的心理健康状态为危机。
其中较优地，所述预设的情绪调节方案至少包括依次递进的放松减压任务、积极赋能任务和生命教育任务；其中，
所述放松减压任务用于对用户进行放松减压；
所述积极赋能任务用于模拟现实社交场景，鼓励用户参与社交互动，并给予用户模拟社交中的正向反馈，以帮助用户树立社交信心；
所述生命教育任务用于通过虚拟形象提问或播放科普视频，以提升用户的生命意义感。
其中较优地，所述对用户进行放松减压的过程，包括如下子步骤：
在所述放松减压任务开始前，通过虚拟形象引导用户完成主观压力报告，以获取第一压力结果P1；
开始所述放松减压任务，并持续预设时长；
在所述用户进行所述放松减压任务的过程中，采集所述用户的生理指标数据，并对所述生理指标数据进行分析，以获取所述用户的生理数据健康值M；
根据所述用户的生理数据健康值M，通过虚拟形象对所述用户进行共情反馈，以不断与所述用户进行情感交互，直至所述用户完成所述放松减压任务；
所述放松减压任务结束后，通过虚拟形象再次引导用户完成主观压力报告，以获取第二压力结果P2；
根据所述第一压力结果与所述第二压力结果的差值ΔP以及所述用户生理数据健康值M，判断所述用户是否减压成功；若减压成功，则进入积极赋能任务；反之，则继续所述放松减压任务。
其中较优地，采集所述用户的生理指标数据，并对所述生理指标数据进行分析，以获取所述用户的生理数据健康值M，具体包括：
通过视频采集装置采集用户的面部表情，通过音频采集装置采集用户的语音数据，通过心率采集设备采集用户的心率变异性数据；
对所述用户的面部表情、语音数据以及心率变异性数据进行融合分析，以提取用户的当前焦虑值、抑郁值和压力值；
将所述用户的当前焦虑值、抑郁值和压力值进行融合计算，以输出所述用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
获取用户的实时生理数据健康值M，其中，所述生理数据健康值M为所述用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和；
若M≥1，则启动情感交互；反之，则不启动情感交互。
其中较优地，判断所述用户是否减压成功，具体包括：
若ΔP＞0且满足M＝0，则所述用户减压成功；反之，则所述用户减压失败；
其中，ΔP＝P1－P2，所述第一压力结果P1和所述第一压力结果P2的数值越大表示压力越大。
其中较优地，所述引导用户完成多种量表的测评，至少包括：
通过虚拟人根据用户录入的信息，依据年龄、是否有过病症诊断自动抽取相应地测评量表，以供用户进行心理健康评估；
或者，在虚拟形象的引导下，由医护人员依据用户录入的信息以及主观压力报告，手动选择合适的测评量表，以供用户进行心理健康评估。
其中较优地，所述虚拟形象至少包括虚拟人、虚拟动植物或图形中的一种，以用于与用户进行人机交互。
根据本发明实施例的第二方面，提供一种基于多模态情感交互的情绪调节系统，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告；
根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态；
其中，所述心理健康状态至少包括正常、应激或危机中的一种；若所述用户的心理健康状态为危机，则启动预警并进行人工危机干预，直至所述用户脱离危机状态，并重新进行心理健康评估；若所述用户的心理健康状态为正常，则利用虚拟形象引导用户进行放松减压；若所述用户的心理健康状态为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节。
与现有技术相比较，本发明具有以下的技术效果：
1. 通过引入虚拟形象来解决心理治疗过于依赖咨询师的问题，解放人力，节约了人力成本；并且，虚拟形象可根据用户需求进行适应性调整，以满足多样化使用需求。
2. 根据用户不同的心理健康状态，通过虚拟形象引导用户进行不同的情绪调节，以保证情绪调节的针对性和有效性。
3. 在情绪调节过程中，引入多模态数据的融合分析，以实时反馈用户的当前情绪状态，通过虚拟人情感交互技术来解决现有聊天机器人的情感交互不够精准，体验差的问题。
4. 能够在用户处于心理亚健康状态下对用户进行干预疏导，避免用户的心理健康状态更加恶化。
附图说明
图1为本发明实施例提供的一种基于多模态情感交互的情绪调节方法的流程图；
图2为本发明实施例中，通过虚拟人对用户进行情绪调节的细节流程图；
图3为本发明实施例提供的一种基于多模态情感交互的情绪调节系统的结构图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
如图1所示，本发明实施例提供的一种基于多模态情感交互的情绪调节方法，具体包括步骤S1～S3：
S1：基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告。
本发明实施例中的虚拟形象优选为虚拟人（例如：虚拟的医生），利用该虚拟形象与用户进行人机交互，以引导用户完成心理健康评估。在其他实施例中，虚拟形象也可以根据用户需求进行适应性调整，例如：虚拟的动物形象或者名胜古迹的图片等。
具体的，包括步骤S11～S13：
S11：引导用户进行信息录入，以获取用户的个人信息。
当用户登录系统后，通过语音和文字提示告知用户虚拟形象自动启动（可手动关闭），从而利用虚拟形象引导用户完成信息录入。其中，用户的个人信息至少包括用户的姓名、年龄、性别、过往疾病史等人口统计学信息。
可以理解的是，在获取用户信息后，虚拟形象实现初步个性化，能够依据用户身份进行后续引导，如识别到用户的姓X、性别-女性、身份-大学生等特征后，虚拟人将以X同学的称呼进行引导后续流程。
S12：引导用户选择表情等级图，以获取用户当前的情绪等级。
具体的，当用户完成个人信息的录入后，由虚拟形象引导用户进入到情绪测试环节。该环节中包括多幅表情图片，不同的表情图片代表不同的情绪等级，通过虚拟形象引导用户选择当前喜欢的表情图片，从而判断出用户当前的情绪等级。
S13：引导用户完成多种量表的测评，以获取用户的量表测评结果，量表测评结果至少包括抑郁指标得分Id、焦虑指标得分Ia以及压力指标得分Is。
具体的，量表库包括常用的抑郁评估量表，如抑郁焦虑压力自评量表（DASS）、抑郁自评量表（SDS）、焦虑自评量表（SAS）、抑郁症筛查量表（PHQ9）等。他评量表常用的有汉密尔顿抑郁量表（HAMD）、医院用焦虑抑郁量表(HADS)、蒙哥马利抑郁量表(MADRS)、老年抑郁调查量表（GDS）等常用心理量表。
在本发明的一个实施例中，每个量表均为得分越高表示对应的症状越严重，并且，可通过两种方式引导用户完成多种量表的测评。第一种方式：通过虚拟人根据用户录入的信息，依据年龄、是否有过病症诊断自动抽取相应地测评量表，以供用户进行心理健康评估。第二种方式：在虚拟形象的引导下，由医护人员依据用户录入的信息以及主观压力报告，手动选择合适的测评量表，以供用户进行心理健康评估。
通过对上述不同量表的测评得分进行融合计算，从而能够得到用户在不同心理健康指标的得分。在本发明的一个实施例中，心理健康指标主要包括抑郁指标、焦虑指标和压力指标，从而分别对应用户的抑郁指标得分Id、焦虑指标得分Ia以及压力指标得分Is。
可以理解的是，在该步骤S1中，用户的个人信息、当前的情绪等级以及量表测评结果共同构成用户的心理健康评估报告。
S2：根据心理健康评估报告，利用虚拟形象判断用户当前的心理健康状态。
在本发明的一个实施例中，心理健康状态至少包括正常、应激或危机中的一种。在其他实施例中，心理健康状态还可以根据需要设置其他类型，在此不做具体阐述。
具体的，该步骤包括S21～S24：
S21：将抑郁指标得分Id与抑郁量表常模标准的均值SD1相比较，以获取抑郁结果Idx；其中，若Id＜SD1，则Idx＝0；若SD1≤Id＜3SD1，则Idx＝1；若Id≥3SD1，则Idx＝2。
S22：将焦虑指标得分Ia与焦虑量表常模标准的均值SD2相比较，以获取抑郁结果Iax；其中，若Ia＜SD2，则Iax＝0；若SD2≤Ia＜3SD2，则Iax＝1；若Ia≥3SD2，则Iax＝2。
S23：将压力指标得分Is与压力量表常模标准的均值SD3相比较，以获取抑郁结果Isx；其中，若Is＜SD3，则Isx＝0；若SD3≤Is＜3SD3，则Isx＝1；若Is≥3SD3，则Isx＝2。
S24：获取用户当前的心理健康状态Y的得分，其中，Y＝Idx＋Iax＋Isx；若Y＝0，则用户当前的心理健康状态为正常；若Y＝1，则用户当前的心理健康状态为应激；若Y＞1，则用户当前的心理健康状态为危机。
S3：根据用户的心理健康状态，对用户进行相应地情绪调节。
具体的，参照图2所示，包括步骤S31～S33：
S31：危机状态的情绪调节
若判断用户的心理健康状态存在危机异常，重点关注是否存在自杀自残等危机信息，如存在则发送至预警中心，并转入危机干预，由专业人员进行面对面的心理危机干预。当危机干预结束后，交由虚拟形象进行再次进行心理健康评估，判断危机是否解除。若危机已解除，则交由虚拟形象引导用户进行后续的情绪调节；若危机未解除，则继续进行人工危机干预，直至用户脱离危机状态。
S32：正常状态的情绪调节
若用户的心理健康状态为正常，则利用虚拟形象引导用户进行放松减压，并输出最终的情绪调节结果。其中，放松减压的方式至少包括音乐放松体验、呼吸冥想训练、正念减压等内容的一种，也可以多种放松减压的方式相结合。
S33：应激状态的情绪调节
若用户的心理健康状态为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节，并输出最终的情绪调节结果。
该预设的情绪调节方案包括多个依次递进的情绪调节任务。在本发明的一个实施例中，该预设的情绪调节方案包括依次递进的放松减压任务、积极赋能任务和生命教育任务。其中，放松减压任务用于对用户进行放松减压，包括但不限定于音乐放松体验、呼吸冥想训练、正念减压等内容。积极赋能任务用于模拟现实社交场景，鼓励用户参与社交互动，并给予用户模拟社交中的正向反馈，以帮助用户树立社交信心。生命教育任务用于通过虚拟形象提问或播放科普视频，以提升用户的生命意义感。
具体的，上述情绪调节过程具体包括S331～S338：
S331：在放松减压任务开始前，通过虚拟形象引导用户完成主观压力报告，以获取第一压力结果P1；
在本发明的一个实施例中，第一压力结果P1为数字1～10中的一个，数字越大表示压力越大。
S332：开始放松减压任务，并持续预设时长（例如：10～15分钟）；
S333：在用户进行放松减压任务的过程中，采集用户的生理指标数据，并对生理指标数据进行分析，以获取用户的生理数据健康值M；
具体的，包括以下步骤：
S3331：通过视频采集装置采集用户的面部表情，通过音频采集装置采集用户的语音数据，通过心率采集设备采集用户的心率变异性（HRV）数据；
S3332：对用户的面部表情、语音数据以及心率变异性数据进行融合分析，以提取用户的当前焦虑值、抑郁值和压力值；
S3333：将用户的当前焦虑值、抑郁值和压力值进行融合计算，以输出用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
S3334：分别判断焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
S3335：获取用户的实时生理数据健康值M，其中，生理数据健康值M为用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和。
S334：根据用户的生理数据健康值M，通过虚拟形象对用户进行共情反馈，以不断与用户进行情感交互，直至用户完成放松减压任务；
具体的，情感交互通过语音交互实现。虚拟形象识别到用户在放松体验过程中，生理采集数据存在M≥1的情况，则虚拟形象给予共情反馈，如“XX，不知道你最近发生了什么，但我能够感受到你内心的压力……”“XX，请把注意力放在当下，全身心的感受放松的时刻”。
其中，若M≥1，则启动情感交互；反之，则不启动情感交互。
S335：放松减压任务结束后，通过虚拟形象再次引导用户完成主观压力报告，以获取第二压力结果P2；
在本发明的一个实施例中，第二压力结果P2为数字1～10中的任意一个，数字越大表示压力越大。
S336：根据第一压力结果与第二压力结果的差值ΔP以及用户生理数据健康值M，判断用户是否减压成功；若减压成功，则进入积极赋能任务；反之，则继续放松减压任务。
具体的，若ΔP＞0且满足M＝0，则用户减压成功；反之，则用户减压失败；其中，ΔP＝P1－P2。
S337：引导用户完成积极赋能任务。
当用户减压成功后，通过虚拟形象模拟现实社交场景，鼓励用户参与社交互动，并给予用户模拟社交中的正向反馈，以帮助用户树立社交信心，任务时长10分钟。
S338：引导用户完成生命教育任务。
当用户完成积极赋能任务后，虚拟形象通过提问或播放科普视频的方式，向用户普及生命的意义，以提升用户的生命意义感，任务时长十分钟。
三项任务均完成后，完成本次应激状态的情绪调节。
可以理解的是，步骤S31～S33并无先后顺序之分，只是根据用户不同的心理健康状态进行不同的情绪调节。
在上述基于多模态情感交互的情绪调节方法的基础上，本发明进一步提供一种基于多模态情感交互的情绪调节系统。如图3所示，该情绪调节系统包括一个或多个处理器21和存储器22。其中，存储器22与处理器21耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例中的基于多模态情感交互的情绪调节方法。
其中，处理器21用于控制该情绪调节系统的整体操作，以完成上述基于多模态情感交互的情绪调节方法的全部或部分步骤。该处理器21可以是中央处理器（CPU）、图形处理器（GPU）、现场可编程逻辑门阵列（FPGA）、专用集成电路（ASIC）、数字信号处理（DSP）芯片等。存储器22用于存储各种类型的数据以支持在该情绪调节系统的操作，这些数据例如可以包括用于在该情绪调节系统上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、磁存储器、快闪存储器等。
在一个示例性实施例中，情绪调节系统具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述的基于多模态情感交互的情绪调节方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于多模态情感交互的情绪调节方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由情绪调节系统的处理器执行以完成上述的基于多模态情感交互的情绪调节方法，并达到如上述方法一致的技术效果。
综上所述，本发明实施例提供的一种基于多模态情感交互的情绪调节方法及系统，具有以下的有益效果：
1. 通过引入虚拟形象来解决心理治疗过于依赖咨询师的问题，解放人力，节约了人力成本；并且，虚拟形象可根据用户需求进行适应性调整，以满足多样化使用需求。
2. 根据用户不同的心理健康状态，通过虚拟形象引导用户进行不同的情绪调节，以保证情绪调节的针对性和有效性。
3. 在情绪调节过程中，引入多模态数据的融合分析，以实时反馈用户的当前情绪状态，通过虚拟人情感交互技术来解决现有聊天机器人的情感交互不够精准，体验差的问题。
4. 能够在用户处于心理亚健康状态下对用户进行干预疏导，避免用户的心理健康状态更加恶化。
上面对本发明所提供的基于多模态情感交互的情绪调节方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
Claims (10)
1.一种基于多模态情感交互的情绪调节方法，其特征在于包括如下步骤：
基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告；
根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态；
其中，所述心理健康状态至少包括正常、应激或危机中的一种；若所述用户的心理健康状态为危机，则启动预警并进行人工危机干预，所述人工危机干预结束后重新对用户进行心理健康评估，直至所述用户脱离危机状态；若所述用户的心理健康状态为正常，则利用虚拟形象引导用户进行放松减压；若所述用户的心理健康状态为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节。
2.如权利要求1所述的情绪调节方法，其特征在于基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告，具体包括：
引导用户进行信息录入，以获取用户的个人信息；
引导用户选择表情等级图，以获取用户当前的情绪等级；
引导用户完成多种量表的测评，以获取所述用户的量表测评结果，所述量表测评结果至少包括抑郁指标得分Id、焦虑指标得分Ia以及压力指标得分Is；
其中，所述用户的个人信息、当前的情绪等级以及量表测评结果共同构成所述用户的心理健康评估报告。
3.如权利要求2所述的情绪调节方法，其特征在于根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态，具体包括：
将所述抑郁指标得分Id与抑郁量表常模标准的均值SD1相比较，以获取抑郁结果Idx；其中，若Id＜SD1，则Idx＝0；若SD1≤Id＜3SD1，则Idx＝1；若Id≥3SD1，则Idx＝2；
将所述焦虑指标得分Ia与焦虑量表常模标准的均值SD2相比较，以获取抑郁结果Iax；其中，若Ia＜SD2，则Iax＝0；若SD2≤Ia＜3SD2，则Iax＝1；若Ia≥3SD2，则Iax＝2；
将所述压力指标得分Is与压力量表常模标准的均值SD3相比较，以获取抑郁结果Isx；其中，若Is＜SD3，则Isx＝0；若SD3≤Is＜3SD3，则Isx＝1；若Is≥3SD3，则Isx＝2；
获取所述用户当前的心理健康状态Y的得分，其中，Y＝Idx＋Iax＋Isx；若Y＝0，则所述用户当前的心理健康状态为正常；若Y＝1，则所述用户当前的心理健康状态为应激；若Y＞1，则所述用户当前的心理健康状态为危机。
4.如权利要求1所述的情绪调节方法，其特征在于所述预设的情绪调节方案至少包括依次递进的放松减压任务、积极赋能任务和生命教育任务；其中，
所述放松减压任务用于对用户进行放松减压；
所述积极赋能任务用于模拟现实社交场景，鼓励用户参与社交互动，并给予用户模拟社交中的正向反馈，以帮助用户树立社交信心；
所述生命教育任务用于通过虚拟形象提问或播放科普视频，以提升用户的生命意义感。
5.如权利要求4所述的情绪调节方法，其特征在于所述对用户进行放松减压的过程，包括如下子步骤：
在所述放松减压任务开始前，通过虚拟形象引导用户完成主观压力报告，以获取第一压力结果P1；
开始所述放松减压任务，并持续预设时长；
在所述用户进行所述放松减压任务的过程中，采集所述用户的生理指标数据，并对所述生理指标数据进行分析，以获取所述用户的生理数据健康值M；
根据所述用户的生理数据健康值M，通过虚拟形象对所述用户进行共情反馈，以不断与所述用户进行情感交互，直至所述用户完成所述放松减压任务；
所述放松减压任务结束后，通过虚拟形象再次引导用户完成主观压力报告，以获取第二压力结果P2；
根据所述第一压力结果与所述第二压力结果的差值ΔP以及所述用户生理数据健康值M，判断所述用户是否减压成功；若减压成功，则进入积极赋能任务；反之，则继续所述放松减压任务。
6.如权利要求5所述的情绪调节方法，其特征在于采集所述用户的生理指标数据，并对所述生理指标数据进行分析，以获取所述用户的生理数据健康值M，具体包括：
通过视频采集装置采集用户的面部表情，通过音频采集装置采集用户的语音数据，通过心率采集设备采集用户的心率变异性数据；
对所述用户的面部表情、语音数据以及心率变异性数据进行融合分析，以提取用户的当前焦虑值、抑郁值和压力值；
将所述用户的当前焦虑值、抑郁值和压力值进行融合计算，以输出所述用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
获取用户的实时生理数据健康值M，其中，所述生理数据健康值M为所述用户的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和；
若M≥1，则启动情感交互；反之，则不启动情感交互。
7.如权利要求6所述的情绪调节方法，其特征在于判断所述用户是否减压成功，具体包括：
若ΔP＞0且满足M＝0，则所述用户减压成功；反之，则所述用户减压失败；
其中，ΔP＝P1－P2，所述第一压力结果P1和所述第一压力结果P2的数值越大表示压力越大。
8.如权利要求2所述的情绪调节方法，其特征在于所述引导用户完成多种量表的测评，至少包括：
通过虚拟人根据用户录入的信息，依据年龄、是否有过病症诊断自动抽取相应地测评量表，以供用户进行心理健康评估；
或者，在虚拟形象的引导下，由医护人员依据用户录入的信息以及主观压力报告，手动选择合适的测评量表，以供用户进行心理健康评估。
9.如权利要求1所述的情绪调节方法，其特征在于：
所述虚拟形象至少包括虚拟人、虚拟动植物或图形中的一种，以用于与用户进行人机交互。
10.一种基于多模态情感交互的情绪调节系统，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
基于虚拟形象引导用户完成心理健康评估，以获取用户的心理健康评估报告；
根据所述心理健康评估报告，利用虚拟形象判断所述用户当前的心理健康状态；
其中，所述心理健康状态至少包括正常、应激或危机中的一种；若所述用户的心理健康状态为危机，则启动预警并进行人工危机干预，直至所述用户脱离危机状态，并重新进行心理健康评估；若所述用户的心理健康状态为正常，则利用虚拟形象引导用户进行放松减压；若所述用户的心理健康状态为应激，则利用虚拟形象引导用户根据预设的情绪调节方案进行情绪调节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310911371.4A CN116661607A (zh) | 2023-07-24 | 2023-07-24 | 一种基于多模态情感交互的情绪调节方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310911371.4A CN116661607A (zh) | 2023-07-24 | 2023-07-24 | 一种基于多模态情感交互的情绪调节方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116661607A true CN116661607A (zh) | 2023-08-29 |
Family
ID=87715556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310911371.4A Pending CN116661607A (zh) | 2023-07-24 | 2023-07-24 | 一种基于多模态情感交互的情绪调节方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116661607A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116861902A (zh) * | 2023-09-04 | 2023-10-10 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN116919372A (zh) * | 2023-09-14 | 2023-10-24 | 北京觉心健康科技有限公司 | 一种基于心率变异性的压力高峰时间识别方法与系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN110767290A (zh) * | 2019-10-12 | 2020-02-07 | 山东省立医院 | 一种交互型情绪疏导及心理辅导机器人 |
| CN113160981A (zh) * | 2021-02-09 | 2021-07-23 | 上海领本智能科技有限公司 | 一种基于ai技术的儿童心理评测系统 |
| CN113274023A (zh) * | 2021-06-30 | 2021-08-20 | 中国科学院自动化研究所 | 基于多角度分析的多模态精神状态评估方法 |
| CN113590793A (zh) * | 2021-08-02 | 2021-11-02 | 江苏金惠甫山软件科技有限公司 | 基于语义规则的心理知识与方法推荐系统 |
| CN113903469A (zh) * | 2021-11-15 | 2022-01-07 | 平安普惠企业管理有限公司 | 基于人工智能的心理测评方法、装置、电子设备及介质 |
| CN114582466A (zh) * | 2022-03-04 | 2022-06-03 | 北京泽桥医疗科技股份有限公司 | 一种基于hrv生物反馈训练的心理舒缓减压方法及系统 |
-
2023
- 2023-07-24 CN CN202310911371.4A patent/CN116661607A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN110767290A (zh) * | 2019-10-12 | 2020-02-07 | 山东省立医院 | 一种交互型情绪疏导及心理辅导机器人 |
| CN113160981A (zh) * | 2021-02-09 | 2021-07-23 | 上海领本智能科技有限公司 | 一种基于ai技术的儿童心理评测系统 |
| CN113274023A (zh) * | 2021-06-30 | 2021-08-20 | 中国科学院自动化研究所 | 基于多角度分析的多模态精神状态评估方法 |
| CN113590793A (zh) * | 2021-08-02 | 2021-11-02 | 江苏金惠甫山软件科技有限公司 | 基于语义规则的心理知识与方法推荐系统 |
| CN113903469A (zh) * | 2021-11-15 | 2022-01-07 | 平安普惠企业管理有限公司 | 基于人工智能的心理测评方法、装置、电子设备及介质 |
| CN114582466A (zh) * | 2022-03-04 | 2022-06-03 | 北京泽桥医疗科技股份有限公司 | 一种基于hrv生物反馈训练的心理舒缓减压方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116861902A (zh) * | 2023-09-04 | 2023-10-10 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN116861902B (zh) * | 2023-09-04 | 2023-11-28 | 北京师范大学 | 基于生命意义感与睡眠质量的分析数据处理方法及装置 |
| CN116919372A (zh) * | 2023-09-14 | 2023-10-24 | 北京觉心健康科技有限公司 | 一种基于心率变异性的压力高峰时间识别方法与系统 |
| CN116919372B (zh) * | 2023-09-14 | 2023-12-22 | 北京觉心健康科技有限公司 | 一种基于心率变异性的压力高峰时间识别方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cumming et al. | The nature, measurement, and development of imagery ability | |
| US20220392625A1 (en) | Method and system for an interface to provide activity recommendations | |
| CN116661607A (zh) | 一种基于多模态情感交互的情绪调节方法及系统 | |
| Hair et al. | Apraxia world: A speech therapy game for children with speech sound disorders | |
| WO2020119355A1 (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
| JP2021500209A (ja) | 生理的状態を判定するシステム及び方法 | |
| US11417045B2 (en) | Dialog-based testing using avatar virtual assistant | |
| CN102149319A (zh) | 阿尔茨海默氏症认知使能器 | |
| US20190013092A1 (en) | System and method for facilitating determination of a course of action for an individual | |
| JP7390268B2 (ja) | 認知機能予測装置、認知機能予測方法、プログラム及びシステム | |
| CN116785553B (zh) | 一种基于界面式情感交互的认知康复系统及方法 | |
| CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
| Law | An analogue study of loving-kindness meditation as a buffer against social stress | |
| Van Stan et al. | Quantitative assessment of learning and retention in virtual vocal function exercises | |
| WO2020178411A1 (en) | Virtual agent team | |
| JP6993314B2 (ja) | 対話システム、装置、及びプログラム | |
| CN115253009B (zh) | 一种睡眠多维度干预方法及系统 | |
| US20230298733A1 (en) | Systems and Methods for Mental Health Improvement | |
| CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
| KR102468833B1 (ko) | 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법 | |
| CN114582467A (zh) | 一种基于互联网的个人教育信息管理平台 | |
| Eeswar et al. | Better you: Automated tool that evaluates mental health and provides guidance for university students | |
| WO2022118955A1 (ja) | ソリューション提供システム | |
| CN117853977B (zh) | 一种通过视频进行智能测评的方法、系统、设备和介质 | |
| JP7024136B1 (ja) | 分析システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |