CN110010225A - 一种基于音视频的心理干预算法 - Google Patents

一种基于音视频的心理干预算法 Download PDF

Info

Publication number
CN110010225A
CN110010225A CN201910130941.XA CN201910130941A CN110010225A CN 110010225 A CN110010225 A CN 110010225A CN 201910130941 A CN201910130941 A CN 201910130941A CN 110010225 A CN110010225 A CN 110010225A
Authority
CN
China
Prior art keywords
emotional state
audio
data
psychological
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910130941.XA
Other languages
English (en)
Inventor
张玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910130941.XA priority Critical patent/CN110010225A/zh
Publication of CN110010225A publication Critical patent/CN110010225A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于音视频的心理干预方法,包括步骤S1:利用音视频采集模块获取受测者的音视频样本;S2:对步骤S1获取的音频样本进行处理、识别、整合后得到情绪状态数据;S3:对步骤S1获取的视频样本通过输入支撑向量机模型识别情绪样本;S4:将情绪状态数据与情绪样本导入预设的情绪模型匹配,得到受测者的多个情绪状态特征信息;S5:根据情绪状态特征信息进行心理状态评估;S6:根据评估结果进行心理干预。本发明对于提高民众普遍对于心理疾病的认识,关注自己的心理状态,减少因时间地点的限制而不能及时接受正规心理疏导的现象发生,并辅助心理咨询师进行初步诊断及后续跟踪有重要的作用。

Description

一种基于音视频的心理干预算法
技术领域
本发明涉及一种基于音视频的心理干预算法,属于人工智能心理干预技术领域。
背景技术
目前,国内民众普遍对于心理疾病的认识不足,即使是意识到自身存在心理健康问题,也会受到时间及问诊地点的限制,能够接受正规心理咨询的人数有限。
心理咨询师能够面诊的时间及人数有限,并且有时会受到个人情感影响,难以做到完全客观公正的判断,误诊现象时有发生,受访者不能得到及时的帮助和疏导。
心理咨询有明确的时间限制,目前普遍的个体咨询频率为每周一次或每周两次,在有限的时间内,咨询师对来访者的心理动向达到一定程度的了解,但并不能全面掌握,从而导致所制定的心理分析和提前预防方案达不到理想的效果。
近些年来,国内外心理学界的专家积极探索人工智能与心理学的结合,比如美国南加州大学的研究员开发的一套可以辅助抑郁症诊断的机器学习工具——SimSensei,但目前仍然没有能够实现对个人进行实时的心理状态进行跟踪分析的工具。
发明内容
为解决现有技术的不足,帮助人们方便快捷的获取自己的心理状态,对自己的状态进行跟踪分析,并且可以让自己的心理医生更准确的了解自身情况,本发明的目的在于提供一种可及时有效的对自己的心理状态进行评估的基于音视频的心理干预算法。
为了实现上述目标,本发明采用如下的技术方案:
一种基于音视频的心理干预方法,包括以下步骤:
S1:获取受测者的音视频样本:利用音频采集模块采集受试者的音频数据,利用人脸采集模块采集受试者的面部表情运动数据;
S2: 获取情绪状态数据:对步骤S1中获取的音频数据中的语音信息进行预处理得到频谱值,再对频谱值进行情绪识别得到识别数据,同时对步骤S1中获取的音频数据中的语义信息进行识别,再经过关键词提取后得到提取数据,识别数据和提取数据整合后得到情绪状态数据;
S3:获取情绪样本:提取步骤S1中获取的面部表情运动数据,并通过输入支撑向量机模型识别情绪样本;
S4:情绪模型匹配:将步骤S2获取的情绪状态数据与S3步骤获取的情绪样本导入预设的情绪模型匹配,得到受测者的多个情绪状态特征信息;
S5:心理状态评估:根据步骤S4得到的情绪状态特征信息进行受试者心理状态评估,确认受试者的情绪状态模式,得到情绪状态结果且形成数据报告;
S6:心理干预:利用步骤S5得到的情绪状态结果与预设的情绪干预模型中济进行匹配,输出心理干预方法。
进一步,步骤S1中所述的面部表情运动数据包括眼区运动数据和面部肌肉运动数据。
步骤S4中所述的情绪状态特征信息为情绪状态所占比重为依照情绪状态所占比重分类的多种情绪状态模式。
上述的多种情绪状态模式包括愤怒模式、开心模式、恐惧模式、悲伤模和平静模式。
而步骤S5中所述的情绪状态模式包括以下五个等级:
一级:情绪状态所占比重为0~20%;
二级:情绪状态所占比重为21%~40%;
三级:情绪状态所占比重为41%~60%;
四级:情绪状态所占比重为61%~80%;
五级:情绪状态所占比重为81%~100%。
且步骤S5中所述的数据报告依照单次、周、月度和季度进行实时跟踪或者长期跟踪。
本发明的有益之处在于:本发明通过采集音视频信息,经过处理后的数据进行情绪模型匹配,从而实现情绪状态评估,再根据心理状态评估结果匹配干预措施,从而实现了本发明对于提高民众普遍对于心理疾病的认识,关注自己的心理状态,减少因时间地点的限制而不能及时接受正规心理疏导的现象发生,并辅助心理咨询师进行初步诊断及后续跟踪有重要的作用。
附图说明
图1是本发明的一实施例的流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
实施例
参见图1,
基于音视频的心理干预方法,具体步骤如下:
S1:获取受测者的音视频样本:利用音频采集模块采集受试者的音频数据,即采集语音信息和语义信息,利用人脸采集模块采集受试者的面部表情运动数据,即采集受试者的眼区运动数据和面部肌肉运动数据;
S2: 获取情绪状态数据:对步骤S1中获取的语音信息进行预处理得到频谱值,再对频谱值进行情绪识别得到识别数据,同时对步骤S1中获取的语义信息进行识别,对音频中的关键词进行提取,得到提取数据,识别数据和提取数据整合后得到情绪状态数据;
S3:获取情绪样本:提取步骤S1中获取的面部表情运动数据,并通过输入支撑向量机模型识别情绪样本,即通过面部表情各部分运动数据对受测者的眼区运动数据和面部肌肉运动能够数据进行分析后,输入支撑向量机模型,识别具有特定情绪的样本;
S4:情绪模型匹配:将步骤S2获取的情绪状态数据(音频情绪结果)与S3步骤获取的情绪样本(视频情绪结果)导入预设的情绪模型匹配,得到受测者的多个情绪状态特征信息,在本实施例中,本发明所利用的系统中自身数据库内的情绪状态值归类为五大情绪状态模式,具体有:愤怒模式、开心模式、恐惧模式、悲伤模式、平静模式。音视频分析结果中同时存在多种情绪,根据每种情绪所占比重,将情绪状态模式分为五个等级,0~20%是一级为最低等级,21%~40%是二级,41%~60%是三级,61%~80%是四级,81%~100%是五级为最高等级;
S5:心理状态评估:根据步骤S4得到的情绪状态特征信息进行受试者心理状态评估,确认受试者的情绪状态模式,得到情绪状态结果且形成数据报告,评估后的分析数据可依照单次、周、月度和季度进行实时跟踪或者长期跟踪;
S6:心理干预:利用步骤S5得到的情绪状态结果与预设的情绪干预模型进行匹配,输出心理干预方法,系统自身数据库内有多种干预措施,以心理预防干预为主,通过推送一些自我调节方法达到效果。悲伤、愤怒或恐惧所占情绪状态比重超过60%的受测者,系统会提供心理咨询和治疗引导,或者推送给受测者的紧急联系人,正在进行心理治疗的受测者,会将评估结果推送给负责受测者的心理咨询师。
本发明通过受测者录入音视频信息,提取出语音、语义及眼部运动数据、面部肌肉运动数据,分别通过频谱值、关键词频率、眼区运动数据以及面部肌肉运动数据进行情绪识别,融合情绪状态数据和支撑向量机模型所识别的情绪样本进入系统自身数据库中进行情绪模型匹配,并得到五大情绪状态值所占比重,对当前情绪状态进行初步评估。评估后的分析数据可依照单次、周、月度和季度进行实时跟踪或者长期跟踪。根据心理状态评估结果匹配干预措施,以心理预防干预为主,也可以将评估结果发送给紧急联系人及心理咨询师进行心理干预。本发明对于提高民众普遍对于心理疾病的认识,关注自己的心理状态,减少因时间地点的限制而不能及时接受正规心理疏导的现象发生,并辅助心理咨询师进行初步诊断及后续跟踪有重要的作用。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

Claims (6)

1.一种基于音视频的心理干预方法,其特征在于,包括以下步骤:
S1:获取受测者的音视频样本:利用音频采集模块采集受试者的音频数据,利用人脸采集模块采集受试者的面部表情运动数据;
S2: 获取情绪状态数据:对步骤S1中获取的音频数据中的语音信息进行预处理得到频谱值,再对频谱值进行情绪识别得到识别数据,同时对步骤S1中获取的音频数据中的语义信息进行识别,再经过关键词提取后得到提取数据,识别数据和提取数据整合后得到情绪状态数据;
S3:获取情绪样本:提取步骤S1中获取的面部表情运动数据,并通过输入支撑向量机模型识别情绪样本;
S4:情绪模型匹配:将步骤S2获取的情绪状态数据与S3步骤获取的情绪样本导入预设的情绪模型匹配,得到受测者的多个情绪状态特征信息;
S5:心理状态评估:根据步骤S4得到的情绪状态特征信息进行受试者心理状态评估,确认受试者的情绪状态模式,得到情绪状态结果且形成数据报告;
S6:心理干预:利用步骤S5得到的情绪状态结果与预设的情绪干预模型中济进行匹配,输出心理干预方法。
2.根据权利要求1所述的一种基于音视频的心理干预方法,其特征在于,步骤S1中所述的面部表情运动数据包括眼区运动数据和面部肌肉运动数据。
3.根据权利要求1所述的一种基于音视频的心理干预方法,其特征在于,步骤S4中所述的情绪状态特征信息为依照情绪状态所占比重分类的多种情绪状态模式。
4.根据权利要求3所述的一种基于音视频的心理干预方法,其特征在于,所述的多种情绪状态模式包括愤怒模式、开心模式、恐惧模式、悲伤模和平静模式。
5.根据权利要求1所述的一种基于音视频的心理干预方法,其特征在于,步骤S5中所述的情绪状态模式包括以下五个等级:
一级:情绪状态所占比重为0~20%;
二级:情绪状态所占比重为21%~40%;
三级:情绪状态所占比重为41%~60%;
四级:情绪状态所占比重为61%~80%;
五级:情绪状态所占比重为81%~100%。
6.根据权利要求1所述的一种基于音视频的心理干预方法,其特征在于:步骤S5中所述的数据报告依照单次、周、月度和季度进行实时跟踪或者长期跟踪。
CN201910130941.XA 2019-02-22 2019-02-22 一种基于音视频的心理干预算法 Pending CN110010225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130941.XA CN110010225A (zh) 2019-02-22 2019-02-22 一种基于音视频的心理干预算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130941.XA CN110010225A (zh) 2019-02-22 2019-02-22 一种基于音视频的心理干预算法

Publications (1)

Publication Number Publication Date
CN110010225A true CN110010225A (zh) 2019-07-12

Family

ID=67165868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130941.XA Pending CN110010225A (zh) 2019-02-22 2019-02-22 一种基于音视频的心理干预算法

Country Status (1)

Country Link
CN (1) CN110010225A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706786A (zh) * 2019-09-23 2020-01-17 湖南检信智能科技有限公司 非接触式心理参数智能分析与评测系统
CN112579744A (zh) * 2020-12-28 2021-03-30 北京智能工场科技有限公司 一种在线心理咨询中风险控制的方法
CN113421630A (zh) * 2021-06-02 2021-09-21 沃民高新科技(北京)股份有限公司 身心健康智能管理方法和系统
CN114511934A (zh) * 2022-01-26 2022-05-17 北京无明文化咨询有限公司 一种六类十六型性格行为预测系统及预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066514A (zh) * 2017-01-23 2017-08-18 深圳亲友科技有限公司 老年人的情绪识别方法和系统
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
WO2018151628A1 (ru) * 2017-02-17 2018-08-23 Георгий Игоревич ПЛИЕВ Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
CN108764010A (zh) * 2018-03-23 2018-11-06 姜涵予 情绪状态确定方法及装置
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066514A (zh) * 2017-01-23 2017-08-18 深圳亲友科技有限公司 老年人的情绪识别方法和系统
WO2018151628A1 (ru) * 2017-02-17 2018-08-23 Георгий Игоревич ПЛИЕВ Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN108764010A (zh) * 2018-03-23 2018-11-06 姜涵予 情绪状态确定方法及装置
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706786A (zh) * 2019-09-23 2020-01-17 湖南检信智能科技有限公司 非接触式心理参数智能分析与评测系统
CN110706786B (zh) * 2019-09-23 2023-09-22 湖南检信智能科技有限公司 非接触式心理参数智能分析与评测系统
CN112579744A (zh) * 2020-12-28 2021-03-30 北京智能工场科技有限公司 一种在线心理咨询中风险控制的方法
CN112579744B (zh) * 2020-12-28 2024-03-26 北京智能工场科技有限公司 一种在线心理咨询中风险控制的方法
CN113421630A (zh) * 2021-06-02 2021-09-21 沃民高新科技(北京)股份有限公司 身心健康智能管理方法和系统
CN114511934A (zh) * 2022-01-26 2022-05-17 北京无明文化咨询有限公司 一种六类十六型性格行为预测系统及预测方法

Similar Documents

Publication Publication Date Title
CN110010225A (zh) 一种基于音视频的心理干预算法
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN107822623A (zh) 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
Tokuno et al. Usage of emotion recognition in military health care
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN103631941B (zh) 基于脑电的目标图像检索系统
CN107220591A (zh) 多模态智能情绪感知系统
CN107066514A (zh) 老年人的情绪识别方法和系统
WO2024098649A1 (zh) 一种基于生理唤醒识别的街道绿化品质检测方法
CN112133407A (zh) 一种基于语音与表情的快速智能情绪测评分析方法
CN113229825A (zh) 一种基于深度神经网络的多标签多导联心电图分类方法
CN110415818A (zh) 一种基于可观察病症的智能儿科疾病问诊系统及方法
Wu et al. Robust ecg biometrics using two-stage model
CN104679967A (zh) 一种判断心理测试可靠性的方法
CN112370058A (zh) 一种基于移动端对用户的情感进行识别与监测方法
CN112057090B (zh) 基于体表极低频电势差特征的情绪判断穿戴式设备和方法
US20240062582A1 (en) Method and Device for Dynamic Recognition of Emotion Based on Facial Muscle Movement Monitoring
Shu et al. Identification authentication scheme using human body odour
Rajendran et al. Neural network based seizure detection system using statistical package analysis
CN111248907A (zh) 基于精神病临床高危人群脑电信号特征的风险预测方法
CN109993076A (zh) 一种基于深度学习的白鼠行为分类方法
Cao et al. Psychological counseling and character analysis algorithm based on image emotion
CN115414054A (zh) 基于前馈脉冲神经网络的癫痫脑电检测系统
CN115273176A (zh) 一种基于生命体征和表情的疼痛多算法客观评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination