CN116807476A - 基于界面式情感交互的多模态心理健康评估系统及方法 - Google Patents
基于界面式情感交互的多模态心理健康评估系统及方法 Download PDFInfo
- Publication number
- CN116807476A CN116807476A CN202311080653.0A CN202311080653A CN116807476A CN 116807476 A CN116807476 A CN 116807476A CN 202311080653 A CN202311080653 A CN 202311080653A CN 116807476 A CN116807476 A CN 116807476A
- Authority
- CN
- China
- Prior art keywords
- patient
- emotion
- data
- module
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 187
- 230000003993 interaction Effects 0.000 title claims abstract description 70
- 230000009323 psychological health Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004630 mental health Effects 0.000 claims abstract description 98
- 238000011156 evaluation Methods 0.000 claims abstract description 61
- 230000008909 emotion recognition Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000036541 health Effects 0.000 claims abstract description 14
- 208000019901 Anxiety disease Diseases 0.000 claims description 36
- 230000036506 anxiety Effects 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 241001465754 Metazoa Species 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 241000628997 Flos Species 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000008918 emotional behaviour Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Educational Technology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于界面式情感交互的多模态心理健康评估系统及方法。该系统包括健康评估单元、情绪情感识别单元、界面式情感交互单元和结果输出单元。评估方法包括利用界面式情感交互单元引导患者完成心理健康评估，并获取患者的心理健康评估数据；在患者的心理健康评估过程中，通过情绪情感识别单元获取患者的情绪情感数据，并传输给界面式情感交互单元；基于患者的情绪情感数据，利用界面式情感交互单元对患者的心理健康评估过程进行动态情绪调节；基于患者的心理健康评估数据，输出对应于患者的心理健康评估报告。本发明利用虚拟人参与心理健康评估的全流程，将虚拟人技术与情感感知技术相融合，诊断过程更加智能、更有温度。
Description
技术领域
本发明涉及一种基于界面式情感交互的多模态心理健康评估系统，同时也涉及相应的多模态心理健康评估方法，属于医疗保健信息学技术领域。
背景技术
从生理心理学的观点来看，情绪是有机体的一种复合状态，既涉及体验又涉及生理反应，还包含人的行为，其至少包括情绪体验、情绪表现和情绪生理三种因素。利用计算设备对从传感器采集的信号进行分析和处理，从而得出采集对象当前的情感状态，这种技术称为情感识别。在现有技术中，对于情感识别主要有两种方式：第一种是检测生理信号如呼吸、心律和体温等，第二种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。
另一方面，利用计算机技术生成的虚拟人具有不同的性格特征、态度观点、生物学特征、创造力、知识和技能，兼具情感交互能力、专业能力和内容生产能力，已被大众熟知，并应用在多个行业场景中。随着虚拟人多样性趋势的来临，每个人的日常工作和生活，将由更加丰富多彩的虚拟人所陪伴和环绕。
然而，现有的健康评估过于依赖人的指导，电子化的评估方式缺少智能引导以及患者在评估过程中的监测，无法针对评估过程中患者的心理反应给予及时的情感交互和反馈。
发明内容
本发明所要解决的首要技术问题在于提供一种基于界面式情感交互的多模态心理健康评估系统。
本发明所要解决的另一技术问题在于提供一种基于界面式情感交互的多模态心理健康评估方法。
为实现上述技术目的，本发明采用以下的技术方案：
根据本发明实施例的第一方面，提供一种基于界面式情感交互的多模态心理健康评估系统，包括：
健康评估单元，内置有多种评估量表，用于获取患者多方面的心理健康评估数据；
情绪情感识别单元，用于获取所述患者的情绪情感数据；
界面式情感交互单元，与所述健康评估单元连接，用于引导患者完成心理健康评估；所述界面式情感交互单元还与所述情绪情感识别单元连接，用于根据所述情绪情感数据对所述患者的心理健康评估过程进行动态情绪调节；
结果输出单元，与所述健康评估单元连接，用于接收所述心理健康评估数据并生成心理健康评估报告。
其中较优地，所述健康评估单元包括：
信息录入模块，用于获取患者输入的个人信息以及当前情绪分数；
情绪改善模块，与所述信息录入模块连接，用于在所述当前情绪分数低于预设分数状态下，基于预设文本对患者进行情绪改善；
心理健康评估模块，内置有多种评估量表，用于获取所述患者多方面的心理健康评估数据。
其中较优地，所述情绪情感识别单元包括：
图像采集模块，用于获取患者的视频情感数据；
语音识别模块，用于获取患者的音频情感数据；
心率变异性监测模块，佩戴于所述患者身上，用于获取所述患者的生理数据；
其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。
其中较优地，所述界面式情感交互单元包括：
融合分析模块，与所述情绪情感识别单元连接，用于对患者的视频情感数据、音频情感数据以及生理数据进行融合分析，并提取患者的当前焦虑值Ia、抑郁值Id和压力值Is；
融合计算模块，与所述融合分析模块连接，用于对所述患者的当前焦虑值Ia、抑郁值Id和压力值Is进行融合计算，并输出所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
判断输出模块，与所述融合计算模块连接，用于分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
结果获取模块，与所述判断输出模块连接，用于获取患者的实时心理健康值M，其中，所述实时心理健康值M为所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和；
情感交互模块，与所述结果获取模块连接，以基于所述实时心理健康值M对患者进行情绪调节；其中，若M≥1，则启动情感交互；反之，则不启动情感交互。
其中较优地，所述结果输出单元包括：
个人信息输出模块，与所述信息录入模块连接，用于输出所述患者输入的个人信息；
情绪日志输出模块，与所述信息录入模块连接，用于输出所述患者选择的表情等级图片及对应的情绪分数；
心理健康评估输出模块，与所述心理健康评估模块连接，用于输出所述患者的心理健康评估数据；
心理健康指标输出模块，与所述界面式情感交互单元连接，以根据所述患者的情绪情感数据输出心理健康指标变化图；
综合建议模块，用于输出对所述患者的综合建议。
根据本发明实施例的第二方面，提供一种基于界面式情感交互的多模态心理健康评估方法，包括以下步骤：
S1：利用界面式情感交互单元引导患者完成心理健康评估，并获取所述患者的心理健康评估数据；
S2：在所述患者的心理健康评估过程中，通过情绪情感识别单元获取所述患者的情绪情感数据，并传输给界面式情感交互单元；
S3：基于所述患者的情绪情感数据，利用所述界面式情感交互单元对所述患者的心理健康评估过程进行动态情绪调节；
S4：基于所述患者的心理健康评估数据，输出对应于所述患者的心理健康评估报告。
其中较优地，所述步骤S1具体包括：
通过信息录入模块获取患者输入的个人信息和当前情绪分数；
判断所述当前情绪分数是否低于预设分数；
若不低于预设分数则直接通过心理健康评估模块对所述患者进行心理健康评估，以获取所述患者的心理健康评估数据；若低于预设分数则通过情绪改善模块对患者进行情绪改善后，再通过心理健康评估模块对所述患者进行心理健康评估。
其中较优地，所述步骤S2具体包括：
在所述患者的心理健康评估过程中，通过图像采集模块对所述患者进行视频采集，以获取患者的视频情感数据；
在所述患者的心理健康评估过程中，通过语音识别模块对所述患者进行语音识别，以获取患者的音频情感数据；
通过佩戴于患者身上的心率变异性监测模块获取所述患者的生理数据；
其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。
其中较优地，所述步骤S3具体包括：
对所述视频情感数据、音频情感数据以及生理数据进行融合分析，以提取患者的当前焦虑值Ia、抑郁值Id和压力值Is；
将所述患者的当前焦虑值Ia、抑郁值Id和压力值Is进行融合计算，以输出所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
分别判断所述焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
获取患者的实时心理健康值M，其中，所述实时心理健康值M为所述患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）的输出结果之和；
若M≥1，则启动情感交互；反之，则不启动情感交互。
其中较优地，所述融合计算具体包括：
假设在时间窗口t内，采集到患者对应的图像数据为；
针对中每个时序i对应的图片，采用卷积神经网络抽取图片特征；
将卷积神经网络抽取出的图片特征作为长短期记忆神经网络（Long short-termmemory，简写为LSTM）的输入，用于捕捉整个图片序列的时序信息，从而获得每个时序图片对应的第一表征；
重复上述步骤，以通过卷积神经网络和长短期记忆神经网络获取心率变异性数据对应的第二表征、语音数据对应的第三表征；
采用Transformer神经网络模型对第一表征、第二表征和第三表征进行融合；
对融合结果进行分类，以获取患者在时间窗口t中的焦虑概率、抑郁概率和压力概率。
与现有技术相比较，本发明所提供的多模态心理健康评估系统，可以让虚拟人参与心理健康评估的全流程，从而将虚拟人技术与情感感知技术进行融合。在此基础上，基于语音识别和情感识别的虚拟人技术可以使心理健康的评估过程更加智能、更有温度。此外，视频、声音、心率变异性作为为情感识别技术的核心指标，能够从多方面对患者进行情感分析，以提高情感分析的颗粒度和精准度。
附图说明
图1为本发明实施例提供的一种基于界面式情感交互的多模态心理健康评估系统的结构示意图；
图2为本发明实施例提供的一种基于界面式情感交互的多模态心理健康评估方法的整体流程图；
图3为本发明实施例中，对患者进行心理健康评估的具体流程图；
图4为本发明实施例中，多模态数据的融合模型示意图；
图5为本发明实施例中，对患者进行动态情绪调节的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
如图1所示，本发明实施例提供的一种基于界面式情感交互的多模态心理健康评估系统，至少包括健康评估单元1、情绪情感识别单元2、界面式情感交互单元3和结果输出单元4。其中，健康评估单元1用于对患者进行心理健康评估，以获取患者多方面的心理健康评估数据；情绪情感识别单元2用于在患者进行心理健康评估的过程中，通过多种方式采集患者的情绪情感数据并传输给界面式情感交互单元3；界面式情感交互单元3用于引导患者完成上述心理健康评估，并基于患者的情绪情感数据对患者进行动态情绪调节。
在本发明的一个实施例中，健康评估单元1包括信息录入模块11、情绪改善模块12和心理健康评估模块13。具体的，信息录入模块11用于获取患者输入的个人信息以及当前情绪分数。当患者登录系统后，在信息录入模块11相应位置输入个人信息后（包括但不限于姓名、性别、年龄、病症等信息），填写当前的情绪分数。其中，当前的情绪分数由虚拟人引导填写，呈现方式为10种不同的emoji表情，分别逐级对应“极度不开心1”、.......“极度开心10”共10个等级，分别计为1～10分。
情感交互模块12与信息录入模块11连接，用于在当前情绪分数低于预设分数（本实施例中为7分）状态下，基于预设文本对患者进行情绪调节。具体的，若患者当下对自身的情绪判定的标准分数为≤6分（具体分数值可依据实际数据进行调整），利用计算机技术生成的虚拟人判定患者需要前置干预，则由该虚拟人引导推送进行情绪调节训练任务，以在评估前先对患者进性放松训练，避免情绪波动对测评结果的影响。若患者对自身的情绪判定标准分数≥7分，虚拟人判定患者不需要前置干预，则跳过情绪调节训练任务，直接进行评估。在本发明的一个实施例中，情绪调节训练任务为预先设定的文本、音频等素材，通过画面和声音播报的方式引导患者进行相应的放松训练，包括但不限于播放符合患者偏好的舒缓音乐、标准化的呼吸训练、冥想训练等内容，时间为3分钟。
心理健康评估模块13内置有多种评估量表，用于获取患者多方面的心理健康评估数据。具体的，在本发明的一个实施例中，对患者的心理健康评估测试至少包括常用的抑郁评估量表，如抑郁焦虑压力自评量表（DASS）、抑郁自评量表（SDS）、焦虑自评量表（SAS）、抑郁症筛查量表（PHQ9）等。其他评估量表常用的有汉密尔顿抑郁量表（HAMD）、医院用焦虑抑郁量表(HADS)、蒙哥马利抑郁量表(MADRS)、老年抑郁调查量表（GDS）等，以及其他的常用心理量表。在本发明的一个实施例中，抑郁评估量表的选取包括两种方法：第一，由虚拟人依据患者录入的信息，依据年龄（儿童抑郁量表、老年抑郁量表以及成年人通用抑郁量表等）、是否有过病症诊断相关信息自动抽取焦虑、抑郁评估量表。如患者为老年人，并且曾经被诊断过抑郁症，则虚拟人将从量表库中抽取符合的量表供患者评估。第二，在虚拟人的引导下，由医护人员依据患者录入的信息以及主观报告，手动选择合适的抑郁量表。可以理解的是，除了抑郁类量表之外，还可以包括其他类型的量表，从而获取患者多方面的心理健康评估数据，量表的具体类型可根据需要而定，在此不作具体限定。
情绪情感识别单元2包括图像采集模块21、语音识别模块22和心率变异性监测模块23。其中，图像采集模块21可以是摄像头，用于获取患者的视频情感数据；语音识别模块22用于获取患者的音频情感数据；心率变异性监测模块23佩戴于患者身上，用于获取患者的生理数据（例如：血压、心率等）。由此，该视频情感数据、音频情感数据以及生理数据共同构成患者的情绪情感数据。
界面式情感交互单元3包括界面交互模块30、融合分析模块31、融合计算模块32、判断输出模块33、结果获取模块34以及情感交互模块35。具体的，界面交互模块30通过显示界面的方式呈现给用户，用于与用户进行人机交互；其中，该显示界面可以是虚拟人（例如：医生或护士形象、卡通人物形象等）；也可以是动植物（例如：小兔子、玫瑰花、牡丹花等）；还可以是图形（例如：中国结形状、景物的照片等）。融合分析模块31与情绪情感识别单元2连接，用于对患者的视频情感数据、音频情感数据以及生理数据进行融合分析，并提取患者的当前焦虑值Ia、抑郁值Id和压力值Is。融合计算模块32与融合分析模块31连接，用于对患者的当前焦虑值Ia、抑郁值Id和压力值Is进行融合计算（下文进行详细说明），并输出患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）。判断输出模块33与融合计算模块32连接，用于分别判断焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值（本实施例中为30%，其他实施例中也可以是35%、40%、50%等设定概率值）；若小于，则输出结果Q为0；若不小于，则输出结果Q为1。结果获取模块34与判断输出模块33连接，用于获取患者的实时心理健康值M，其中，实时心理健康值M为患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）输出结果之和，即：M＝Qa＋Qd＋Qs。情感交互模块35与结果获取模块34连接，以基于实时心理健康值M对患者进行情感交互；其中，若M≥1，则启动情感交互；反之，则不启动情感交互。
结果输出单元4包括个人信息输出模块41、情绪日志输出模块42、心理健康评估输出模块43、心理健康指标输出模块44以及综合建议模块45。其中，个人信息输出模块41与信息录入模块11连接，用于输出患者输入的个人信息，通过基本文字进行描述。情绪日志输出模块42与信息录入模块11连接，用于输出患者选择的表情等级图片及对应的情绪分数。心理健康评估输出模块43与心理健康评估模块13连接，用于输出患者的心理健康评估数据。心理健康指标输出模块44与界面式情感交互单元3连接，以根据患者的情绪情感数据输出心理健康指标变化图。在本发明的一个实施例中，该心理健康指标变化图通过以下几种形式呈现：1、柱形图-以3分钟为节点，不同节点的情绪成分所占的比例；2、或饼图-整个评估过程不同情绪均值百分比；3、或曲线图-以3分钟为节点，n种不同情绪的独立曲线图。可以理解的是，该心理健康指标变化图由视频采集数据、语音采集数据、心率变异性（HeartRate Variability，简写为HRV）采集数据融合后生成。综合建议模块45用于输出对患者的综合建议。由此，利用该结果输出单元4输出的心理健康评估报告共包括个人信息、情绪日记、心理健康评估数据、心理健康指标变化图以及综合建议五个部分的内容。
如图2所示，在上述多模态心理健康评估系统的基础上，本发明实施例还提供一种基于界面式情感交互的多模态心理健康评估方法，具体包括步骤S1～S4：
S1：利用界面式情感交互单元引导患者完成心理健康评估，并获取患者的心理健康评估数据；
具体的，如图3所示，包括步骤S11～S13：
S11：通过信息录入模块11获取患者输入的个人信息和当前情绪分数；
S12：判断当前情绪分数是否低于预设分数；在本发明的一个实施例中，预设分数为7分；
S13：若不低于预设分数则直接通过心理健康评估模块对患者进行心理健康评估，以获取患者的心理健康评估数据；若低于预设分数则通过情绪改善模块12对患者进行情绪改善后，再通过心理健康评估模块13对患者进行心理健康评估。
其中，情绪调节模块12通过预先设定的文本、音频等素材，采用画面和声音播报的方式引导患者进行相应的放松训练，包括但不限于播放符合患者偏好的舒缓音乐、标准化的呼吸训练、冥想训练等内容，时间为3分钟。
S2：在患者的心理健康评估过程中，通过情绪情感识别单元获取患者的情绪情感数据，并传输给界面式情感交互单元；
具体的，包括步骤S21～S23：
S21：在患者的认知训练过程中，通过图像采集模块21对患者进行视频采集，以获取患者的视频情感数据；
S22：在患者的认知训练过程中，通过语音识别模块22对患者进行语音识别，以获取患者的音频情感数据；
S23：通过佩戴于患者身上的心率变异性监测模块23获取患者的生理数据；
其中，视频情感数据、音频情感数据以及生理数据共同构成患者的情绪情感数据。
S3：基于患者的情绪情感数据，利用界面式情感交互单元对患者的心理健康评估过程进行动态情绪调节；
具体的，参照图4和图5所示，包括步骤S31～S34：
S31：对视频情感数据、音频情感数据以及生理数据进行融合分析，以提取患者的当前焦虑值Ia、抑郁值Id和压力值Is；
S32：将患者的当前焦虑值Ia、抑郁值Id和压力值Is进行融合计算，以输出患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）；
S33：分别判断焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）是否小于预设概率值（本实施例中为30%）；若小于，则输出结果为0；若不小于，则输出结果为1；
S34：获取患者的实时心理健康值M，其中，实时心理健康值M为患者的焦虑概率pa（h）、抑郁概率pd（h）和压力概率ps（h）的输出结果之和；
S35：若M≥1，则启动情感交互；反之，则不启动情感交互。
在上述步骤S32中，具体的融合计算过程包括步骤S321～S326：
S321：假设在时间窗口t内，采集到患者对应的图像数据；
S322：针对中每个时序i对应的图片，采用卷积神经网络抽取图片特征；
S323：将卷积神经网络抽取出的图片特征作为长短期记忆神经网络 的输入，用于捕捉整个图片序列的时序信息，从而获得每个时序图片对应的第一表征；
，其中，/>表示时间窗口t中的第i个时刻；
S324：重复上述步骤S321～S323，以通过卷积神经网络和长短期记忆神经网络获取心率变异性数据对应的第二表征、语音数据对应的第三表征/>；
，/>；
S325：采用Transformer神经网络模型对、/>和/>进行融合，融合结果；
S326：对融合结果h使用Softmax函数进行多分类，以获取患者在时间窗口t中的焦虑概率、抑郁概率/>和压力概率/>。
S4：基于患者的心理健康评估数据，输出对应于患者的心理健康评估报告。
具体的，包括步骤S41～S45：
S41：通过个人信息输出模块41输出患者输入的个人信息；
S42：通过情绪日志输出模块42输出患者选择的表情等级图片及对应的情绪分数；
S43：通过心理健康评估输出模块43输出患者的心理健康评估数据；
S44：通过心理健康指标输出模块44输出心理健康指标变化图；
S45：通过综合建议模块45输出对患者的综合建议。
由此，通过个人信息、情绪日记、心理健康评估数据、心理健康指标变化图以及综合建议五个部分的内容，共同生成针对于该患者的健康评估报告。
综上所述，本发明实施例提供的基于界面式情感交互的多模态心理健康评估系统及方法，具有以下的有益效果：
1. 结合多模态融合技术、虚拟人技术，将基于生理、行为数据采集作为情感交互的数据基础，将虚拟人作为情感交互媒介，实现对患者的心理健康状况的评估；
2. 基于语音识别和情感识别的虚拟人技术，可以使心理健康的评估过程更加智能、更有温度；
3. 视频、声音、心率变异性作为为情感识别技术的核心指标，能够从多方面对患者进行情感分析，以提高情感分析的颗粒度和精准度。
上面对本发明所提供的基于界面式情感交互的多模态心理健康评估系统及方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
Claims (10)
1.一种基于界面式情感交互的多模态心理健康评估系统，其特征在于包括：
健康评估单元，内置有多种评估量表，用于获取患者多方面的心理健康评估数据；
情绪情感识别单元，用于获取所述患者的情绪情感数据；
界面式情感交互单元，与所述健康评估单元连接，用于引导患者完成心理健康评估；所述界面式情感交互单元还与所述情绪情感识别单元连接，用于根据所述情绪情感数据对所述患者的心理健康评估过程进行动态情绪调节；
结果输出单元，与所述健康评估单元连接，用于接收所述心理健康评估数据并生成心理健康评估报告。
2.如权利要求1所述的多模态心理健康评估系统，其特征在于所述健康评估单元包括：
信息录入模块，用于获取患者输入的个人信息以及当前情绪分数；
情绪改善模块，与所述信息录入模块连接，用于在所述当前情绪分数低于预设分数状态下，基于预设文本对患者进行情绪改善；
心理健康评估模块，内置有多种评估量表，用于获取所述患者多方面的心理健康评估数据。
3.如权利要求2所述的多模态心理健康评估系统，其特征在于所述情绪情感识别单元包括：
图像采集模块，用于获取患者的视频情感数据；
语音识别模块，用于获取患者的音频情感数据；
心率变异性监测模块，佩戴于所述患者身上，用于获取所述患者的生理数据；
其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。
4.如权利要求3所述的多模态心理健康评估系统，其特征在于所述界面式情感交互单元包括：
界面交互模块，所述界面交互模块的显示界面至少为虚拟人、动植物或图形中的一种，用于与用户进行人机交互；
融合分析模块，与所述情绪情感识别单元连接，用于对患者的视频情感数据、音频情感数据以及生理数据进行融合分析，并提取患者的当前焦虑值、抑郁值和压力值；
融合计算模块，与所述融合分析模块连接，用于对所述患者的当前焦虑值、抑郁值和压力值进行融合计算，并输出所述患者的焦虑概率、抑郁概率和压力概率；
判断输出模块，与所述融合计算模块连接，用于分别判断所述焦虑概率、抑郁概率和压力概率是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
结果获取模块，与所述判断输出模块连接，用于获取患者的实时心理健康值，其中，所述实时心理健康值为所述患者的焦虑概率、抑郁概率和压力概率的输出结果之和；
情感交互模块，与所述结果获取模块连接，以基于所述实时心理健康值对患者进行情绪调节；其中，若所述实时心理健康值≥1，则启动情感交互；反之，则不启动情感交互。
5.如权利要求2所述的多模态心理健康评估系统，其特征在于所述结果输出单元包括：
个人信息输出模块，与所述信息录入模块连接，用于输出所述患者输入的个人信息；
情绪日志输出模块，与所述信息录入模块连接，用于输出所述患者选择的表情等级图片及对应的情绪分数；
心理健康评估输出模块，与所述心理健康评估模块连接，用于输出所述患者的心理健康评估数据；
心理健康指标输出模块，与所述界面式情感交互单元连接，以根据所述患者的情绪情感数据输出心理健康指标变化图；
综合建议模块，用于输出对所述患者的综合建议。
6.一种基于界面式情感交互的多模态心理健康评估方法，基于权利要求1～5中任意一项所述的多模态心理健康评估系统实现，其特征在于包括以下步骤：
S1：利用界面式情感交互单元引导患者完成心理健康评估，并获取所述患者的心理健康评估数据；
S2：在所述患者的心理健康评估过程中，通过情绪情感识别单元获取所述患者的情绪情感数据，并传输给界面式情感交互单元；
S3：基于所述患者的情绪情感数据，利用所述界面式情感交互单元对所述患者的心理健康评估过程进行动态情绪调节；
S4：基于所述患者的心理健康评估数据，输出对应于所述患者的心理健康评估报告。
7.如权利要求6所述的多模态心理健康评估方法，其特征在于所述步骤S1具体包括：
通过信息录入模块获取患者输入的个人信息和当前情绪分数；
判断所述当前情绪分数是否低于预设分数；
若不低于预设分数则直接通过心理健康评估模块对所述患者进行心理健康评估，以获取所述患者的心理健康评估数据；若低于预设分数则通过情绪改善模块对患者进行情绪改善后，再通过心理健康评估模块对所述患者进行心理健康评估。
8.如权利要求6所述的多模态心理健康评估系统，其特征在于所述步骤S2具体包括：
在所述患者的心理健康评估过程中，通过图像采集模块对所述患者进行视频采集，以获取患者的视频情感数据；
在所述患者的心理健康评估过程中，通过语音识别模块对所述患者进行语音识别，以获取患者的音频情感数据；
通过佩戴于患者身上的心率变异性监测模块获取所述患者的生理数据；
其中，所述视频情感数据、音频情感数据以及生理数据共同构成所述患者的情绪情感数据。
9.如权利要求8所述的多模态心理健康评估方法，其特征在于所述步骤S3具体包括：
对所述视频情感数据、音频情感数据以及生理数据进行融合分析，以提取患者的当前焦虑值、抑郁值和压力值；
将所述患者的当前焦虑值、抑郁值和压力值进行融合计算，以输出所述患者的焦虑概率、抑郁概率和压力概率；
分别判断所述焦虑概率、抑郁概率和压力概率是否小于预设概率值；若小于，则输出结果为0；若不小于，则输出结果为1；
获取患者的实时心理健康值，其中，所述实时心理健康值为所述患者的焦虑概率、抑郁概率和压力概率的输出结果之和；
若实时心理健康值≥1，则启动情感交互；反之，则不启动情感交互。
10.如权利要求9所述的多模态心理健康评估方法，其特征在于所述融合计算具体包括：
假设在时间窗口内，采集到患者对应的图像数据；
针对所述图像数据中每个时序对应的图片，采用卷积神经网络抽取图片特征；
将卷积神经网络抽取出的图片特征作为长短期记忆神经网络的输入，用于捕捉整个图片序列的时序信息，从而获得每个时序图片对应的第一表征；
重复上述步骤，以通过卷积神经网络和长短期记忆神经网络获取心率变异性数据对应的第二表征、语音数据对应的第三表征；
采用Transformer神经网络模型对第一表征、第二表征和第三表征进行融合；
对融合结果进行分类，以获取患者在所述时间窗口内的焦虑概率、抑郁概率和压力概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080653.0A CN116807476B (zh) | 2023-08-25 | 2023-08-25 | 基于界面式情感交互的多模态心理健康评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080653.0A CN116807476B (zh) | 2023-08-25 | 2023-08-25 | 基于界面式情感交互的多模态心理健康评估系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116807476A true CN116807476A (zh) | 2023-09-29 |
| CN116807476B CN116807476B (zh) | 2023-12-26 |
Family
ID=88141345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080653.0A Active CN116807476B (zh) | 2023-08-25 | 2023-08-25 | 基于界面式情感交互的多模态心理健康评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116807476B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117158971A (zh) * | 2023-11-03 | 2023-12-05 | 武汉真彩智造科技有限公司 | 一种基于ai对话的心理体检方法及系统 |
| CN117711626A (zh) * | 2024-02-05 | 2024-03-15 | 江西中医药大学 | 一种基于多维度因素的抑郁情绪评测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030009078A1 (en) * | 1999-10-29 | 2003-01-09 | Elena A. Fedorovskaya | Management of physiological and psychological state of an individual using images congnitive analyzer |
| AU2003204909A1 (en) * | 2002-06-28 | 2004-01-15 | Pathfinder Psychological Consultancy Pty Ltd | Computer-aided system and method for self-assessment and personalised mental health consultation |
| US20170220774A1 (en) * | 2016-02-01 | 2017-08-03 | Tuvi Orbach | Computerized Interactive Psychological Assessment Protocol - iPAP |
| US20190385711A1 (en) * | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| KR20200144901A (ko) * | 2019-06-19 | 2020-12-30 | 주식회사 옴니버스 | 진전 감소를 위한 웨어러블 시스템 및 그 방법 |
| US20210110894A1 (en) * | 2018-06-19 | 2021-04-15 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| CN116130063A (zh) * | 2023-02-03 | 2023-05-16 | 北京大学第一医院 | 一种数字化预康复治疗系统 |
-
2023
- 2023-08-25 CN CN202311080653.0A patent/CN116807476B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030009078A1 (en) * | 1999-10-29 | 2003-01-09 | Elena A. Fedorovskaya | Management of physiological and psychological state of an individual using images congnitive analyzer |
| AU2003204909A1 (en) * | 2002-06-28 | 2004-01-15 | Pathfinder Psychological Consultancy Pty Ltd | Computer-aided system and method for self-assessment and personalised mental health consultation |
| US20170220774A1 (en) * | 2016-02-01 | 2017-08-03 | Tuvi Orbach | Computerized Interactive Psychological Assessment Protocol - iPAP |
| US20190385711A1 (en) * | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| US20210110894A1 (en) * | 2018-06-19 | 2021-04-15 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| KR20200144901A (ko) * | 2019-06-19 | 2020-12-30 | 주식회사 옴니버스 | 진전 감소를 위한 웨어러블 시스템 및 그 방법 |
| CN116130063A (zh) * | 2023-02-03 | 2023-05-16 | 北京大学第一医院 | 一种数字化预康复治疗系统 |
Non-Patent Citations (1)
| Title |
|---|
| 易慧;陈瑞娟;邓光华;胡淑芬;肖淑绵;王慧泉;: "基于心率变异性的情绪识别研究", 生物医学工程研究, no. 02 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117158971A (zh) * | 2023-11-03 | 2023-12-05 | 武汉真彩智造科技有限公司 | 一种基于ai对话的心理体检方法及系统 |
| CN117158971B (zh) * | 2023-11-03 | 2024-01-26 | 武汉真彩智造科技有限公司 | 一种基于ai对话的心理体检方法及系统 |
| CN117711626A (zh) * | 2024-02-05 | 2024-03-15 | 江西中医药大学 | 一种基于多维度因素的抑郁情绪评测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116807476B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bota et al. | A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals | |
| CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| AlZoubi et al. | Detecting naturalistic expressions of nonbasic affect using physiological signals | |
| JP5714411B2 (ja) | 行動分析方法および行動分析装置 | |
| JP6234563B2 (ja) | 訓練システム | |
| US20190313966A1 (en) | Pain level determination method, apparatus, and system | |
| US20190013092A1 (en) | System and method for facilitating determination of a course of action for an individual | |
| CN115376695A (zh) | 基于扩展现实的神经心理评估及干预的方法、系统和装置 | |
| CN110033867A (zh) | 融合多元干预路径的认知障碍干预系统及方法 | |
| JP7390268B2 (ja) | 認知機能予測装置、認知機能予測方法、プログラム及びシステム | |
| CN116578731B (zh) | 多媒体信息处理方法、系统、计算机设备和存储介质 | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| JP2005124909A (ja) | 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法 | |
| CN117064388A (zh) | 基于情绪识别实现精神障碍评估分析的系统 | |
| CN116785553B (zh) | 一种基于界面式情感交互的认知康复系统及方法 | |
| Ma et al. | A review of affective computing research based on function-component-representation framework | |
| Kappeler-Setz | Multimodal emotion and stress recognition | |
| Basu et al. | Affect detection in normal groups with the help of biological markers | |
| Terhürne et al. | Validation and application of the Non-Verbal Behavior Analyzer: An automated tool to assess non-verbal emotional expressions in psychotherapy | |
| Jiang et al. | Emotion recognition using electroencephalography signals of older people for reminiscence therapy | |
| WO2020209846A1 (en) | Pain level determination method, apparatus, and system | |
| Toles et al. | Acoustic and physiologic correlates of vocal effort in individuals with and without primary muscle tension dysphonia | |
| Mantri et al. | Real time multimodal depression analysis | |
| Sano et al. | A Method for Estimating Emotions Using HRV for Vital Data and Its Application to Self-mental care management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |