CN116785553A - 一种基于界面式情感交互的认知康复系统及方法 - Google Patents
一种基于界面式情感交互的认知康复系统及方法 Download PDFInfo
- Publication number
- CN116785553A CN116785553A CN202311080767.5A CN202311080767A CN116785553A CN 116785553 A CN116785553 A CN 116785553A CN 202311080767 A CN202311080767 A CN 202311080767A CN 116785553 A CN116785553 A CN 116785553A
- Authority
- CN
- China
- Prior art keywords
- patient
- emotion
- cognitive
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 244
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 222
- 230000003993 interaction Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 141
- 238000011156 evaluation Methods 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 42
- 230000003930 cognitive ability Effects 0.000 claims abstract description 38
- 230000008909 emotion recognition Effects 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims description 35
- 230000004630 mental health Effects 0.000 claims description 22
- 230000009323 psychological health Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 9
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 7
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000019771 cognition Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 14
- 230000002996 emotional effect Effects 0.000 description 4
- 230000003920 cognitive function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 241000628997 Flos Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010020400 Hostility Diseases 0.000 description 1
- 241001112258 Moca Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008918 emotional behaviour Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003557 neuropsychological effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Psychology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Acoustics & Sound (AREA)
- Hematology (AREA)
- Anesthesiology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于界面式情感交互的认知康复系统及方法。该系统包括认知评估单元、认知康复训练单元、情绪情感识别单元以及界面式情感交互单元。其中，利用界面式情感交互单元引导患者完成心理评估和认知评估，并获取患者的心理评估数据和认知能力评估数据；基于认知能力评估数据，利用界面式情感交互单元引导患者完成认知康复训练；在患者的认知康复训练过程中，通过情绪情感识别单元获取患者的情绪情感数据，并传输给界面式情感交互单元；基于患者的情绪情感数据，利用界面式情感交互单元对患者的认知康复训练过程进行动态情绪调节。
Description
技术领域
本发明涉及一种基于界面式情感交互的认知康复系统，同时也涉及相应的认知康复方法，属于医疗保健信息学技术领域。
背景技术
从生理心理学的观点来看，情绪是有机体的一种复合状态，既涉及体验又涉及生理反应，还包含人的行为，其至少包括情绪体验、情绪表现和情绪生理三种因素。利用计算设备对从传感器采集的信号进行分析和处理，从而得出采集对象当前的情感状态，这种技术称为情感识别。在现有技术中，对于情感识别主要有两种方式：第一种是检测生理信号如呼吸、心律和体温等，第二种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。
另一方面，利用计算机技术生成的虚拟人具有不同的性格特征、态度观点、生物学特征、创造力、知识和技能，兼具情感交互能力、专业能力和内容生产能力，已被大众熟知，并应用在多个行业场景中。随着虚拟人多样性趋势的来临，每个人的日常工作和生活，将由更加丰富多彩的虚拟人所陪伴和环绕。
然而，现有的认知康复训练缺少对患者本身在康复训练过程中情感状态的关注和分析，交互过程过于生硬，缺少人文关怀，从而影响患者的认知康复效果。
发明内容
本发明所要解决的首要技术问题在于提供一种基于界面式情感交互的认知康复系统。
本发明所要解决的另一技术问题在于提供一种基于界面式情感交互的认知康复方法。
为实现上述技术目的，本发明采用以下的技术方案：
根据本发明实施例的第一方面，提供一种基于界面式情感交互的认知康复系统，包括：
认知评估单元，内置有多个心理健康评估量表和多个认知评估量表，用于获取患者的心理健康评估数据和认知能力评估数据；
界面式情感交互单元，与所述认知评估单元连接，用于引导患者完成心理健康评估和认知能力评估，并获取所述患者的心理健康评估数据和认知能力评估数据；
情绪情感识别单元，与所述界面式情感交互单元连接，用于获取所述患者的情绪情感数据，并传输给所述界面式情感交互单元；
认知康复训练单元，与所述认知评估单元和所述界面式情感交互单元连接，以基于所述认知能力评估数据，利用所述界面式情感交互单元引导所述患者完成认知康复训练；并且，基于所述心理健康评估数据和所述情绪情感数据，利用所述界面式情感交互单元对所述患者的认知康复训练过程进行动态情绪调节。
其中较优地，所述认知评估单元进一步包括：
信息录入模块，用于获取患者输入的个人信息以及当前情绪分数；
情绪调节模块，与所述信息录入模块连接，用于在所述当前情绪分数低于预设分数状态下，基于预设文本对患者进行情绪调节；
心理评估模块，内置有多个心理评估量表，用于获取所述患者的心理评估数据；
认知评估模块，内置有多个认知评估量表，用于获取所述患者的认知能力评估数据。
其中较优地，所述情绪情感识别单元包括：
图像采集模块，用于获取患者的视频情感数据；
语音识别模块，用于获取患者的音频情感数据；
心率变异性监测模块，佩戴于所述患者身上，用于获取所述患者的心率变异性数据；
其中，所述视频情感数据、所述音频情感数据以及所述心率变异性数据共同构成所述患者的情绪情感数据。
其中较优地，所述界面式情感交互单元包括：
界面交互模块，所述界面交互模块的显示界面至少为虚拟人、动植物或图形中的一种，用于与用户进行人机交互；
心理健康分析模块，与所述心理评估模块连接，用于根据所述患者的心理健康评估数据获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0；
视频情感分析模块，与所述图像采集模块连接，用于获取所述患者在认知康复训练过程中的视频情感数据，并从所述视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
音频情感分析模块，与所述语音识别模块连接，用于获取所述患者在认知康复训练过程中的音频情感数据，并从所述音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
心率变异性生理分析模块，与所述心率变异性监测模块连接，用于获取所述患者的心率变异性数据，并从所述心率变异性数据中获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0；
情绪调节模块，与所述心理健康分析模块、所述视频情感分析模块、所述音频情感分析模块和所述心率变异性生理分析模块连接，以接收各输出结果并相加；若各输出结果相加后不为0，则通过所述情绪调节模块对所述患者进行积极引导；若各输出结果相加后为0，则通过所述情绪调节模块对所述患者进行正向反馈。
其中较优地，所述认知康复训练单元包括：
认知域模块，与所述认知评估单元连接，以根据所述认知能力评估数据获取所述患者待提升的多项认知域；
认知训练库，与所述认知域模块连接，用于针对所述患者待提升的多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中；
推送模块，与所述认知训练库连接，用于推送所述当日认知康复训练方案推送给患者进行认知康复训练，并持续训练一个周期；
强化训练模块，与所述推送模块连接，用于更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练；
更新模块，与所述强化训练模块连接，用于重新利用所述认知评估单元对所述患者进行认知评估，并重新获取所述患者待提升的多项认知域。
根据本发明实施例的第二方面，提供一种基于界面式情感交互的认知康复方法，包括以下步骤：
S1：利用界面式情感交互单元引导患者完成心理评估和认知评估，并获取所述患者的心理评估数据和认知能力评估数据；
S2：基于所述患者的认知能力评估数据，利用所述界面式情感交互单元引导患者完成认知康复训练；
S3：在所述患者的认知康复训练过程中，通过情绪情感识别单元获取所述患者的情绪情感数据，并传输给界面式情感交互单元；
S4：基于所述患者的情绪情感数据，利用所述界面式情感交互单元对所述患者的认知康复训练过程进行动态情绪调节。
其中较优地，所述步骤S1具体包括：
通过信息录入模块获取患者输入的个人信息和当前情绪分数；
判断所述当前情绪分数是否低于预设分数；
若不低于预设分数则直接通过心理评估模块对所述患者进行心理评估，以获取所述患者的心理评估数据；若低于预设分数则通过情绪调节模块对患者进行情绪调节后，再通过心理评估模块对所述患者进行心理评估；
通过认知评估模块对所述患者进行认知评估，以获取所述患者的认知能力评估数据。
其中较优地，所述步骤S2具体包括：
根据所述认知能力评估数据获取所述患者待提升的多项认知域；
针对所述多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中；
将所述当日认知康复训练方案推送给患者，以引导患者按照顺序完成当日认知康复训练；
持续训练一个周期后，更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练；
强化训练结束后，重新利用所述认知评估单元对所述患者进行认知评估，以重新获取所述患者待提升的多项认知域。
其中较优地，所述步骤S3具体包括：
在所述患者的认知康复训练过程中，通过图像采集模块对所述患者进行视频采集，以获取患者的视频情感数据；
在所述患者的认知康复训练过程中，通过语音识别模块对所述患者进行语音识别，以获取患者的音频情感数据；
通过佩戴于患者身上的心率变异性监测模块获取所述患者的心率变异性数据；
其中，所述视频情感数据、所述音频情感数据以及所述心率变异性数据共同构成所述患者的情绪情感数据。
其中较优地，所述步骤S4具体包括：
基于所述患者的心理健康评估数据，获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的视频情感数据，以从所述视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的音频情感数据，以从所述音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的心率变异性数据，进而获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0；
如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和不为0，则通过界面式情感交互单元对所述患者进行积极引导；如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和为0，则通过界面式情感交互单元对所述患者进行正向反馈。
与现有技术相比较，本发明所提供的认知康复系统及方法，可以将虚拟人技术与情感感知技术相融合，让虚拟人参与认知康复的全流程。在此基础上，基于语音识别和情感识别的虚拟人技术一方面使诊断过程更智能，医疗服务成本更低；另一方面为患者提供陪伴治疗，使得认知康复训练过程更有温度，在提升患者体验的同时促进认知康复效果的显著改善。并且，视频、声音、心率变异性作为情感识别技术的核心指标，能够从多方面对患者进行情感分析，以提高情感分析的颗粒度和精准度。
附图说明
图1为本发明实施例提供的一种基于界面式情感交互的认知康复系统的结构示意图；
图2为本发明实施例提供的一种基于界面式情感交互的认知康复方法的整体流程图；
图3为本发明实施例中，对患者进行评估的流程图；
图4为本发明实施例中，对患者进行动态情绪调节的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
如图1所示，本发明实施例提供的一种基于界面式情感交互的认知康复系统，包括认知评估单元1、认知康复训练单元2、情绪情感识别单元3以及界面式情感交互单元4。其中，认知评估单元1用于对患者进行心理健康和认知能力的评估，以获取患者的心理健康状态和当前认知能力；认知康复训练单元2用于根据患者当前认知能力为患者推送认知康复训练方案，以帮助患者提升认知；情绪情感识别单元3用于在患者进行认知康复训练的过程中，通过多种方式采集患者的情绪情感数据并传输给界面式情感交互单元4；界面式情感交互单元4用于引导患者完成上述评估和认知康复训练，并基于患者的情绪情感数据对患者进行动态情绪调节。
在本发明的一个实施例中，认知评估单元1包括信息录入模块11、情绪调节模块12、心理评估模块13以及认知评估模块14。具体的，信息录入模块11用于获取患者输入的个人信息以及当前情绪分数。当患者登录系统后，在信息录入模块11相应位置输入个人信息后（包括但不限于姓名、性别、年龄、病症等信息），填写当前的情绪分数。其中，当前的情绪分数由利用计算机技术生成的虚拟人引导填写，呈现方式为10种不同的emoji表情，分别逐级对应“极度不开心1”、......“极度开心10”，共10个等级，分别计为1-10分。
情绪调节模块12与信息录入模块11连接，用于在当前情绪分数低于预设分数（本实施例中为7分）状态下，基于预设文本对患者进行情绪调节。具体的，若患者当下对自身的情绪判定的标准分数为≤6分（具体分数值可依据实际数据进行调整），虚拟人判定患者需要前置干预，则将由虚拟人引导推送进行情绪调节训练任务，以在评估前先对患者进性放松训练，避免情绪波动对测评结果的影响。若患者对自身的情绪判定标准分数≥7分，虚拟人判定患者不需要前置干预，则跳过情绪调节训练任务，直接进行评估。本实施例中，情绪调节训练任务为系统已设定的文本、音频等素材，通过画面和声音播报的方式引导患者进行相应的放松训练，包括但不限于播放符合患者偏好的舒缓音乐、标准化的呼吸训练、冥想训练等内容，时间为3分钟。
心理评估模块13内置有多个心理评估量表，用于获取患者的心理评估数据。具体的，对患者的健康状况测试主要使用标准化的心理健康量表（如SCL-90量表、状态-特质焦虑量表等），评估维度包括但不限于人格特征、躯体化、强迫症状、人际关系敏感、抑郁、焦虑、敌对、偏执及精神病性等指标。
认知评估模块14内置有多个认知评估量表，用于获取患者的认知能力评估数据。具体的，认知评估量表包括MMSE、MoCA等神经心理常用量表，整个评估过程均由虚拟人主导完成，包括阅读指导语、题目、结果评判，最终由系统输出患者的整体认知功能水平G及各项认知域水平的得分（G1、G2、G3……）。评估过程中，若患者出现听不清、长时间无应答等情况，均由虚拟人进行重复读题、提醒等反馈。此外，可以理解的是，本实施例中，采用标准九分数将获得的上述认知功能评估量表及任务的原始分数进行标准化，转化为0-9的之间的分值（按各项认知域计分）。由此，通过对患者的整体认知功能和单项认知域进行评估，便于精准推送认知干预方案。
认知康复训练单元2包括认知域模块21、认知训练库22、推送模块23、强化训练模块24以及更新模块25。其中，认知域模块21与认知评估模块14连接，以根据认知能力评估数据获取患者待提升的多项认知域。本实施例中，根据患者初次认知能力评估的数据，将各项认知域的得分按照由低到高进行排序，选取得分最低的五项认知域，作为首次训练的认知干预目标。例如：首次评估低分最低的五项依次为情绪记忆、持续注意、空间记忆、言语理解、执行功能。
认知训练库22与认知域模块21连接，用于针对患者待提升的多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中。可以理解的是，本实施例中，每个认知域都有与之相对应的认知训练库，每个任务库中包含n个训练任务，如空间记忆认知域对应的认知训练库中包括n个可供选择的训练任务，其中n为正整数。由此，分别获取五个训练任务后，将五个训练任务按照认知域的排序进行排列后，形成当日认知康复训练方案。
推送模块23与认知训练库22连接，用于推送当日认知康复训练方案推送给患者进行认知康复训练，并持续训练一个周期。本实施例中，一个周期为7天（即：一周，也可以为其他时间），并且，每项训练任务间相互独立，可暂停但不可跳过，患者需要依次按系统设定的顺序完成。
强化训练模块24与推送模块23连接，用于更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练。具体的，当患者训练一周后，系统更新一次分数（新分数a＝30%初次评估分数＋70%周训练分数），更新基于上一周每项认知域的训练成绩，从而根据初次的认知评估成绩，系统自动判断各项认知域的改善情况，进行下一周强化训练。
更新模块25与强化训练模块24连接，用于重新利用认知评估单元对患者进行认知评估，并重新获取患者待提升的多项认知域。本实施例中，训练认知域每两周更新一次，但认知域对应的任务每天会更新，保证难度和风格相近。
情绪情感识别单元3包括图像采集模块31、语音识别模块32和心率变异性（HeartRate Variability，简写为HRV）监测模块33。其中，图像采集模块31可以是摄像头，用于获取患者的视频情感数据；语音识别模块32用于获取患者的音频情感数据；心率变异性监测模块33佩戴于患者身上，用于获取患者的心率变异性数据。由此，该视频情感数据、音频情感数据以及心率变异性数据共同构成患者的情绪情感数据。
界面式情感交互单元4包括界面交互模块40、心理健康分析模块41、视频情感分析模块42、音频情感分析模块43、心率变异性生理分析模块44以及情绪调节模块45。具体的，界面交互模块40通过显示界面的方式呈现给用户，用于与用户进行人机交互；其中，该显示界面可以是虚拟人（例如：医生或护士形象、卡通人物形象等）；也可以是动植物（例如：小兔子、玫瑰花、牡丹花等）；还可以是图形（例如：中国结形状、景物的照片等）。心理健康分析模块41与心理评估模块13连接，用于根据患者的心理健康评估数据获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0。视频情感分析模块42与图像采集模块31连接，用于获取患者在认知康复训练过程中的视频情感数据，并从视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0。音频情感分析模块43与语音识别模块32连接，用于获取患者在认知康复训练过程中的音频情感数据，并从音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0。心率变异性生理分析模块44与心率变异性监测模块33连接，用于获取患者的心率变异性等生理数据，并从这些生理数据中获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0。情绪调节模块45与心理健康分析模块41、视频情感分析模块42、音频情感分析模块43和心率变异性生理分析模块44连接，以接收各输出结果并相加。若各输出结果相加后不为0，则通过情绪调节模块45对患者进行积极引导；若各输出结果相加后为0，则通过情绪调节模块45对患者进行积极鼓励的正向反馈。
如图2所示，在上述认知康复系统的基础上，本发明实施例还提供一种基于界面式情感交互的认知康复方法，具体包括步骤S1～S4：
S1：利用界面式情感交互单元引导患者完成心理评估和认知评估，并获取患者的心理评估数据和认知能力评估数据。
具体的，如图3所示，包括子步骤S11～S14：
S11：通过信息录入模块11获取患者输入的个人信息和当前情绪分数；
S12：判断当前情绪分数是否低于预设分数；本实施例中，预设分数为7分；
S13：若不低于预设分数则直接通过心理评估模块13对患者进行心理评估，以获取患者的心理评估数据；若低于预设分数则通过情绪调节模块12对患者进行情绪调节后，再通过心理评估模块13对患者进行心理评估；
其中，情绪调节模块12通过系统已设定的文本、音频等素材，采用画面和声音播报的方式引导患者进行相应的放松训练，包括但不限于播放符合患者偏好的舒缓音乐、标准化的呼吸训练、冥想训练等内容，时间为3分钟。
S14：通过认知评估模块14对患者进行认知评估，以获取患者的认知能力评估数据。
S2：基于患者的认知能力评估数据，利用界面式情感交互单元引导患者完成认知康复训练；
具体的，包括子步骤S21～S25：
S21：根据认知能力评估数据获取患者待提升的多项认知域；
S22：针对多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中；
S23：将当日认知康复训练方案推送给患者，以引导患者按照顺序完成当日认知康复训练；
S24：持续训练一个周期后，更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练；
S25：强化训练结束后，重新利用认知评估单元对患者进行认知评估，以重新获取患者待提升的多项认知域。
S3：在患者的认知康复训练过程中，通过情绪情感识别单元获取患者的情绪情感数据，并传输给界面式情感交互单元；
具体的，包括子步骤S31～S33：
S31：在患者的认知康复训练过程中，通过图像采集模块31对患者进行视频采集，以获取患者的视频情感数据；
S32：在患者的认知康复训练过程中，通过语音识别模块32对患者进行语音识别，以获取患者的音频情感数据；
S33：通过佩戴于患者身上的心率变异性监测模块33获取患者的心率变异性数据；
其中，视频情感数据、音频情感数据以及心率变异性数据共同构成患者的情绪情感数据。
S4：基于患者的情绪情感数据，利用界面式情感交互单元4对患者的认知康复训练过程进行动态情绪调节。
具体的，如图4所示，包括子步骤S41～S45：
S41：基于患者的心理健康评估数据，获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0；
S42：在患者的认知康复训练过程中，获取患者的视频情感数据，以从视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0。
具体的，在整个认知康复训练过程中持续进行视频采集，每3秒提取分析一次，输出值计为瞬时情绪状态Fa，每30秒计算一次，输出值为结果情绪状态Fb。其中，Fa为3s内图像采集模块31识别到的患者情绪成分比例，即高兴、悲伤、愤怒、恐惧、厌恶、惊讶、中性情绪所占的百分比，如悲伤、愤怒、恐惧、厌恶四种情绪累计占比超30%，则Fa＝1，反之为0。相应地，Fb为30秒内Fa的累计值，即10次Fa之和，若Fb≥1即为需要虚拟人进行积极引导，反之则不需要。
S43：在患者的认知康复训练过程中，获取患者的音频情感数据，以从音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0。
具体的，本实施例中，根据患者语音输入持续采集患者的语音数据，每30秒提取分析一次，包括停顿时长Vt（Vt≥5秒输出为1，＜5s输出为0）、消极词句Vn（Vn≥3个输出为1，＜3个输出为0）、叹息声等声音信号Vx（Vx≥3个输出为1，＜3个输出为0）。
S44：在患者的认知康复训练过程中，获取患者的心率变异性数据，进而从中获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0。
具体的，每5秒采集一次患者的心率变异性数据并提取分析。采用现有成熟技术对训练过程中的压力进行检测，将生理心理数据通过设备自带模块算法进行转换输出，输出值包括0＝无压力检出，1＝有压力检出。其中，设备自带的模块算法为本领域的常规技术，在此不做详细说明。
S45：对患者进行情绪的动态调节。
具体的，如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和不为0，则通过界面式情感交互单元4对患者进行积极引导；如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和为0，则通过界面式情感交互单元对患者进行积极鼓励的正向反馈。
由此，在患者进行认知康复训练的过程中，通过获得情感交互的具体方向及内容，即患者是否具有影响训练的人格特质、心理指标，以及任务实时状态下的是否存在负面情绪状态，并通过虚拟人识别到负面情绪情感指标，如愤怒情绪，一定频次的叹气次数、消极词句、负面心率变异性值等，最后，由虚拟人与患者进行确认，并进行积极疏导。此外，如虚拟人识别到积极或正向的情绪、词语、心率变异性值，则虚拟人基于积极、鼓励的交互反馈。
综上所述，本发明实施例提供的基于虚拟人情获取感交互的认知康复系统及方法，具有以下的有益效果：
1. 将虚拟人技术与情感感知技术相融合，让虚拟人参与认知康复的全流程。
2. 基于语音识别的虚拟人技术，可以使诊断过程更智能，医疗服务成本更低。
3. 基于情感识别的虚拟人技术，可以为患者提供陪伴治疗，使得认知康复训练过程更有温度，提升患者体验的同时更促进治疗效果的显著改善。
4. 视频、声音、心率变异性作为情感识别技术的核心指标，能够从多方面对患者进行情感分析，以提高情感分析的颗粒度和精准度。
上面对本发明提供的基于界面式情感交互的认知康复系统及方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
Claims (10)
1.一种基于界面式情感交互的认知康复系统，其特征在于包括：
认知评估单元，内置有多个心理健康评估量表和多个认知评估量表，用于获取患者的心理健康评估数据和认知能力评估数据；
界面式情感交互单元，与所述认知评估单元连接，用于引导患者完成心理健康评估和认知能力评估，并获取所述患者的心理健康评估数据和认知能力评估数据；
情绪情感识别单元，与所述界面式情感交互单元连接，用于获取所述患者的情绪情感数据，并传输给所述界面式情感交互单元；
认知康复训练单元，与所述认知评估单元和所述界面式情感交互单元连接，以基于所述认知能力评估数据，利用所述界面式情感交互单元引导所述患者完成认知康复训练；并且，基于所述心理健康评估数据和所述情绪情感数据，利用所述界面式情感交互单元对所述患者的认知康复训练过程进行动态情绪调节。
2.如权利要求1所述的认知康复系统，其特征在于所述认知评估单元包括：
信息录入模块，用于获取患者输入的个人信息以及当前情绪分数；
情绪改善模块，与所述信息录入模块连接，用于在所述当前情绪分数低于预设分数状态下，基于预设文本对患者进行情绪改善；
心理评估模块，内置有多个心理评估量表，用于获取所述患者的心理评估数据；
认知评估模块，内置有多个认知评估量表，用于获取所述患者的认知能力评估数据。
3.如权利要求2所述的认知康复系统，其特征在于所述情绪情感识别单元包括：
图像采集模块，用于获取患者的视频情感数据；
语音识别模块，用于获取患者的音频情感数据；
心率变异性监测模块，佩戴于所述患者身上，用于获取所述患者的心率变异性数据；
其中，所述视频情感数据、所述音频情感数据以及所述心率变异性数据共同构成所述患者的情绪情感数据。
4.如权利要求3所述的认知康复系统，其特征在于所述界面式情感交互单元包括：
界面交互模块，所述界面交互模块的显示界面至少为虚拟人、动植物或图形中的一种，用于与用户进行人机交互；
心理健康分析模块，与所述心理评估模块连接，用于根据所述患者的心理健康评估数据获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0；
视频情感分析模块，与所述图像采集模块连接，用于获取所述患者在认知康复训练过程中的视频情感数据，并从所述视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
音频情感分析模块，与所述语音识别模块连接，用于获取所述患者在认知康复训练过程中的音频情感数据，并从所述音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
心率变异性生理分析模块，与所述心率变异性监测模块连接，用于获取所述患者的心率变异性数据，进而获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0；
情绪调节模块，与所述心理健康分析模块、所述视频情感分析模块、所述音频情感分析模块和所述心率变异性生理分析模块连接，以接收各输出结果并相加；若各输出结果相加后不为0，则通过所述情绪调节模块对所述患者进行积极引导；若各输出结果相加后为0，则通过所述情绪调节模块对所述患者进行正向反馈。
5.如权利要求1所述的认知康复系统，其特征在于所述认知康复训练单元包括：
认知域模块，与所述认知评估单元连接，以根据所述认知能力评估数据获取所述患者待提升的多项认知域；
训练任务库，与所述认知域模块连接，用于针对所述患者待提升的多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中；
推送模块，与所述训练任务库连接，用于推送所述当日认知康复训练方案推送给患者进行认知康复训练，并持续训练一个周期；
强化训练模块，与所述推送模块连接，用于更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练；
更新模块，与所述强化训练模块连接，用于重新利用所述认知评估单元对所述患者进行认知评估，并重新获取所述患者待提升的多项认知域。
6.一种基于界面式情感交互的认知康复方法，基于权利要求1～5中任意一项所述的认知康复系统实现，其特征在于包括以下步骤：
S1：利用界面式情感交互单元引导患者完成心理评估和认知评估，并获取所述患者的心理评估数据和认知能力评估数据；
S2：基于所述患者的认知能力评估数据，利用所述界面式情感交互单元引导患者完成认知康复训练；
S3：在所述患者的认知康复训练过程中，通过情绪情感识别单元获取所述患者的情绪情感数据，并传输给界面式情感交互单元；
S4：基于所述患者的情绪情感数据，利用所述界面式情感交互单元对所述患者的认知康复训练过程进行动态情绪调节。
7.如权利要求6所述的认知康复方法，其特征在于所述步骤S1具体包括：
通过信息录入模块获取患者输入的个人信息和当前情绪分数；
判断所述当前情绪分数是否低于预设分数；
若不低于预设分数则直接通过心理评估模块对所述患者进行心理评估，以获取所述患者的心理评估数据；若低于预设分数则通过情绪调节模块对患者进行情绪调节后，再通过心理评估模块对所述患者进行心理评估；
通过认知评估模块对所述患者进行认知评估，以获取所述患者的认知能力评估数据。
8.如权利要求6所述的认知康复方法，其特征在于所述步骤S2具体包括：
根据所述认知能力评估数据获取所述患者待提升的多项认知域；
针对所述多项认知域，按照由低到高的顺序，依次从相对应的任务库中选取一个认知康复训练任务加入到当日认知康复训练方案中；
将所述当日认知康复训练方案推送给患者，以引导患者按照顺序完成当日认知康复训练；
持续训练一个周期后，更新基于上一周期每项认知域的训练结果，并基于初次的认知能力评估数据，判断各项待提升认知域的改善情况，以进行下一周期的强化训练；
强化训练结束后，重新利用所述认知评估单元对所述患者进行认知评估，以重新获取所述患者待提升的多项认知域。
9.如权利要求6所述的认知康复方法，其特征在于所述步骤S3具体包括：
在所述患者的认知康复训练过程中，通过图像采集模块对所述患者进行视频采集，以获取患者的视频情感数据；
在所述患者的认知康复训练过程中，通过语音识别模块对所述患者进行语音识别，以获取患者的音频情感数据；
通过佩戴于患者身上的心率变异性监测模块获取所述患者的心率变异性数据；
其中，所述视频情感数据、所述音频情感数据以及所述心率变异性数据共同构成所述患者的情绪情感数据。
10.如权利要求9所述的认知康复方法，其特征在于所述步骤S4具体包括：
基于所述患者的心理健康评估数据，获取影响患者情绪的特质；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的视频情感数据，以从所述视频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的音频情感数据，以从所述音频情感数据中获取患者的负面情绪；若存在，则输出结果为1，不存在则输出结果为0；
在所述患者的认知康复训练过程中，获取所述患者的心率变异性数据，进而获知患者的压力状态；若存在，则输出结果为1，不存在则输出结果为0；
如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和不为0，则通过界面式情感交互单元对所述患者进行积极引导；如果心理健康评估数据、视频情感数据、音频情感数据以及心率变异性数据的输出总和为0，则通过界面式情感交互单元对所述患者进行正向反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080767.5A CN116785553B (zh) | 2023-08-25 | 2023-08-25 | 一种基于界面式情感交互的认知康复系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080767.5A CN116785553B (zh) | 2023-08-25 | 2023-08-25 | 一种基于界面式情感交互的认知康复系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116785553A true CN116785553A (zh) | 2023-09-22 |
| CN116785553B CN116785553B (zh) | 2023-12-26 |
Family
ID=88046845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080767.5A Active CN116785553B (zh) | 2023-08-25 | 2023-08-25 | 一种基于界面式情感交互的认知康复系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116785553B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117204855A (zh) * | 2023-10-26 | 2023-12-12 | 厚德明心(北京)科技有限公司 | 一种基于交互设备的用户心理状态评估方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104483847A (zh) * | 2014-10-24 | 2015-04-01 | 南京邮电大学 | 基于情绪识别和混杂理论的机器人辅助康复人机交互控制方法 |
| WO2019003132A1 (en) * | 2017-06-28 | 2019-01-03 | Neurobios - Instituto De Neurociências, Diagnóstico E Reabilitação Integrada, Lda | COGNITIVE CAPACITY LEARNING METHOD WITH EMOTIONAL BASE |
| CN109803572A (zh) * | 2016-07-27 | 2019-05-24 | 生物说股份有限公司 | 用于测量和管理生理情绪状态的系统和方法 |
| CN113687744A (zh) * | 2021-08-19 | 2021-11-23 | 北京智精灵科技有限公司 | 一种用于情绪调节的人机交互方法及设备 |
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及系统 |
| CN113921113A (zh) * | 2021-08-06 | 2022-01-11 | 北京智精灵科技有限公司 | 积极心理学计算机化训练方法及系统 |
| CN113948185A (zh) * | 2021-10-11 | 2022-01-18 | 广东德忆科技有限公司 | 远程训练方案的推送方法、装置、计算机设备和存储介质 |
| WO2022086454A1 (en) * | 2020-10-23 | 2022-04-28 | Neuroglee Therapeutics Pte. Ltd. | System and method for delivering personalized cognitive intervention |
| CN116130063A (zh) * | 2023-02-03 | 2023-05-16 | 北京大学第一医院 | 一种数字化预康复治疗系统 |
| CN116312966A (zh) * | 2022-12-12 | 2023-06-23 | 上海迎智正能文化发展有限公司 | 基于认知行为疗法的抑郁情绪调节管理系统及其运行方法 |
-
2023
- 2023-08-25 CN CN202311080767.5A patent/CN116785553B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104483847A (zh) * | 2014-10-24 | 2015-04-01 | 南京邮电大学 | 基于情绪识别和混杂理论的机器人辅助康复人机交互控制方法 |
| CN109803572A (zh) * | 2016-07-27 | 2019-05-24 | 生物说股份有限公司 | 用于测量和管理生理情绪状态的系统和方法 |
| WO2019003132A1 (en) * | 2017-06-28 | 2019-01-03 | Neurobios - Instituto De Neurociências, Diagnóstico E Reabilitação Integrada, Lda | COGNITIVE CAPACITY LEARNING METHOD WITH EMOTIONAL BASE |
| WO2022086454A1 (en) * | 2020-10-23 | 2022-04-28 | Neuroglee Therapeutics Pte. Ltd. | System and method for delivering personalized cognitive intervention |
| CN113921113A (zh) * | 2021-08-06 | 2022-01-11 | 北京智精灵科技有限公司 | 积极心理学计算机化训练方法及系统 |
| CN113687744A (zh) * | 2021-08-19 | 2021-11-23 | 北京智精灵科技有限公司 | 一种用于情绪调节的人机交互方法及设备 |
| CN113948185A (zh) * | 2021-10-11 | 2022-01-18 | 广东德忆科技有限公司 | 远程训练方案的推送方法、装置、计算机设备和存储介质 |
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及系统 |
| CN116312966A (zh) * | 2022-12-12 | 2023-06-23 | 上海迎智正能文化发展有限公司 | 基于认知行为疗法的抑郁情绪调节管理系统及其运行方法 |
| CN116130063A (zh) * | 2023-02-03 | 2023-05-16 | 北京大学第一医院 | 一种数字化预康复治疗系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117204855A (zh) * | 2023-10-26 | 2023-12-12 | 厚德明心(北京)科技有限公司 | 一种基于交互设备的用户心理状态评估方法及系统 |
| CN117204855B (zh) * | 2023-10-26 | 2024-03-01 | 厚德明心(北京)科技有限公司 | 一种基于交互设备的用户心理状态评估方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116785553B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zucco et al. | Sentiment analysis and affective computing for depression monitoring | |
| KR101520524B1 (ko) | 알츠하이머 인지 인에이블러 | |
| JP2021500209A (ja) | 生理的状態を判定するシステム及び方法 | |
| AU2009268428B2 (en) | Device, system, and method for treating psychiatric disorders | |
| JP6234563B2 (ja) | 訓練システム | |
| US20190013092A1 (en) | System and method for facilitating determination of a course of action for an individual | |
| CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
| CN115004308A (zh) | 用于提供活动推荐的接口的方法和系统 | |
| CN116785553B (zh) | 一种基于界面式情感交互的认知康复系统及方法 | |
| Prendinger et al. | Empathic embodied interfaces: Addressing users’ affective state | |
| CN115376695A (zh) | 基于扩展现实的神经心理评估及干预的方法、系统和装置 | |
| CN116578731B (zh) | 多媒体信息处理方法、系统、计算机设备和存储介质 | |
| Christensen et al. | Emotion matters: Different psychophysiological responses to expressive and non-expressive full-body movements | |
| Böck et al. | Intraindividual and interindividual multimodal emotion analyses in human-machine-interaction | |
| CN116661607A (zh) | 一种基于多模态情感交互的情绪调节方法及系统 | |
| US20230120262A1 (en) | Method for Improving the Success of Immediate Wellbeing Interventions to Achieve a Desired Emotional State | |
| Basu et al. | Affect detection in normal groups with the help of biological markers | |
| Callejas et al. | A virtual coach for active ageing based on sentient computing and m-health | |
| Fortin et al. | Laughter and tickles: Toward novel approaches for emotion and behavior elicitation | |
| CN115641943B (zh) | 基于tms技术的妄想性精神障碍训练系统 | |
| CN115253009B (zh) | 一种睡眠多维度干预方法及系统 | |
| Van Stan et al. | Quantitative assessment of learning and retention in virtual vocal function exercises | |
| CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
| WO2023075746A1 (en) | Detecting emotional state of a user | |
| CN108567412B (zh) | 运动障碍评价装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |