CN109394247B - 一种多特征融合的就诊用户情绪监控方法 - Google Patents

一种多特征融合的就诊用户情绪监控方法 Download PDF

Info

Publication number
CN109394247B
CN109394247B CN201910021435.7A CN201910021435A CN109394247B CN 109394247 B CN109394247 B CN 109394247B CN 201910021435 A CN201910021435 A CN 201910021435A CN 109394247 B CN109394247 B CN 109394247B
Authority
CN
China
Prior art keywords
information
user
emotion
patient
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910021435.7A
Other languages
English (en)
Other versions
CN109394247A (zh
Inventor
林航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of University of Qingdao
Original Assignee
Affiliated Hospital of University of Qingdao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of University of Qingdao filed Critical Affiliated Hospital of University of Qingdao
Publication of CN109394247A publication Critical patent/CN109394247A/zh
Application granted granted Critical
Publication of CN109394247B publication Critical patent/CN109394247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种多特征融合的就诊用户情绪监控方法,属于医患关系智能调节技术领域,该方法包括1)就诊用户信息采集;2)伪情绪信息筛查;3)多特征信号融合;4)大数据情绪识别;5)情绪状态预警;6)分状态指导安抚;使得医护人员对患者及其家属的安抚控制可以“有的放矢”,有效降低医护人员的工作强度,提升就诊疏导效率。

Description

一种多特征融合的就诊用户情绪监控方法
[相关申请的交叉引用]
本申请要求于2018年6月8日在国家知识产权局提交的发明专利申请201810585316X的优先权权益,该申请的内容通过引用并入本文中。
技术领域
本发明属于医患关系智能调节技术领域,尤其涉及的是一种多特征融合的就诊用户情绪监控方法。
背景技术
目前优质的医疗资源主要集中在大型的公立医院,且尚未形成以预约就诊或社区转诊为主的就诊模式。医院在有限的空间内承担着日益增长的门诊医疗诊治任务。如何在现阶段医疗机制下,优化就诊服务,合理安排患者就医,确保医疗质量和医疗安全,减少非医疗性等候造成的患者或家属情绪失控问题,已经成为大型公立医院共同面临的问题和挑战。
200710118577.2发明专利提出了一种医患远程交互方法,通过广域网相连的计算机系统协助医患之间进行远程沟通,然而其并未解决需要入院就诊的患者与医生之间的直接矛盾。201110278087.5专利申请同样提出了一种医患沟通平台及沟通方法,主要由医患沟通平台硬件、医疗沟通系统软件和用户智能触摸终端硬件构成所述医患沟通平台硬件、医疗沟通系统软件和用户智能触摸终端硬件处于一个广域网环境中并实现网络连接,可实现医患随时逐渐深入沟通,以患者为中心,按照八个步骤,解惑层层心里疑问,化解处处心理矛盾,杜绝恶性事件发生,构建和谐医患关系。该类系统主要利用手机/平板等移动计算系统实现医患之间的沟通和交流,系统并未涉及患者和家属情绪的监测与控制,医患矛盾只能通过患者的主动沟通进行缓解。在患者就诊过程中,无法对患者和家属情绪进行实时监控,具有严重的滞后性。
201210199926.9发明专利提出了一种特殊人群的情绪监护方法采集神经生理信息,采集脑电信号和脑血氧信号进行信号处理,包括信号预处理、特征提取和情绪识别判断干预类型,对识别后的情绪进行判断,如果用户的情绪是平静状态或积极状态返回开始阶段继续监护,否则进入下一阶段进行系统干预,根据不同情绪状态确定采用系统的情绪辅助调节干预方式还是采用远程干预方式存储数据,绘制一段时期内的情绪周期表,记录用户的情绪波动并存储。本发明通过脑电和脑血氧信号·的便携式检测,进行精确的情绪状态识别,帮助用户及外界及时察觉用户的不良情绪,进行人性化的安抚措施,可达到改善用户情绪状态的目的,进而避免用户的精神状态恶化。医护人员对患者的安抚需要面对面进行,未涉及医护人员通过“系统”对患者情绪进行安抚。该方法需要检测患者的脑电及脑血氧信号,设备价格相对较高,患者在候诊过程中使用不便。并且此类信息采集方式常规患者和家属难于配合,反而容易诱发纠纷,使医患矛盾激化。
同时,现有技术中诸多情绪提取方法,多通过采集面部或语音信息识别用户情绪。然而,面部和语音信号易于人为控制和伪装,情绪准确度较低。尤其对于患者的情绪监控,常与病痛所导致伪情绪相混淆,贸然干预容易引发医患矛盾。因此,现有技术存在诸多缺陷,需要改进。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,针对患者及家属就诊时尤其是候诊过程中的监测及控制问题,提供一种多特征融合的就诊用户情绪监控方法。
本发明的技术方案如下:
一种多特征融合的就诊用户情绪监控方法,其中,包括以下步骤:
1)就诊用户信息采集:通过信息采集系统采集患者和家属的就诊用户信息,包括就诊用户的面部信息,就诊用户的心率、呼吸频率和皮肤电信息以及患者分诊症状信息;其中,就诊用户在候诊前通过医护人员人工分诊并将患者分诊症状信息输入信息采集系统;
2)伪情绪信息筛查:信息采集系统判断就诊用户身份为患者或家属,将患者身份的就诊用户信息加载至伪情绪筛查系统,伪情绪筛查系统将患者的面部信息、心率、呼吸频率和皮肤电信息,与患者分诊症状信息所对应初筛疾病指征类型相比对,筛除疾病导致的伪情绪信息的信息筛除模块;
3)多特征信号融合:将筛查后的就诊用户信息,实时加载至远程监控中心中,远程监控中心将各项就诊用户信息进行特征提取,并多特征加权融合,获得融合情绪向量;
4)大数据情绪识别:远程监控中心将融合情绪向量与大数据库中情绪特征数据进行对比识别,获得就诊用户情绪状态;
5)情绪状态预警:远程监控中心将监控区域内各就诊用户的情绪状态,通过医护客户端实时发送至医护人员,就诊用户情绪异常时对医护人员予以提前情绪预警;
6)分状态指导安抚:通过医护客户端判断就诊用户身份与情绪状态等级,根据判断结果选择返回继续进行情绪监控或者结合相应患者分诊症状信息对就诊用户进行指导和安抚;
在步骤2)中,伪情绪筛查系统包括:用于按疾病初筛类型分区存储疾病指征信息的疾病指征存储模块;将就诊用户信息中的面部信息、心率、呼吸频率和皮肤电信息根据分诊症状信息分类并与疾病指征信息比对的信息分类对比模块;根据分类对比结果概率筛除伪情绪信息的信息筛除模块。
本发明如无特别说明,就诊用户均包括患者及其家属的组合。
进一步,在步骤1)中,信息采集系统包括:在候诊环境和就诊室中设置的多台图像采集器,实时采集就诊用户面部信息;分诊后就诊用户佩戴的可穿戴采集器,采集就诊用户心率、呼吸频率和皮肤电信息;设置于患者端可穿戴采集器内的分诊模块,存储患者分诊症状信息。
优选的,所述图像采集器为高分辨摄像机,对就诊用户进行位置追踪与面部信息采集。
优选的,所述可穿戴采集器包括就诊腕带和卫生口罩,利用就诊腕带采集就诊用户的心率和皮肤电信息,卫生口罩采集就诊用户的呼吸频率。
更优选的,就诊用户在候诊前通过医护人员人工分诊并将患者分诊症状信息输入信息采集系统。
进一步,在步骤2)中,伪情绪筛查系统包括:用于按疾病初筛类型分区存储疾病指征信息的疾病指征存储模块;将就诊用户信息中的面部信息、心率、呼吸频率和皮肤电信息根据分诊症状信息分类,并与疾病指征信息比对的信息分类对比模块;根据分类对比结果概率筛除伪情绪信息的信息筛除模块。
在本发明中,伪情绪指患者因其所得病症或者病症所导致病痛引发的情绪波动。就诊患者的疾病指征指患者因其所得病症或者病症所导致疼痛引发的,与正常人不同的异常指征。不同类型的疾病具有各自的疾病指征。部分疾病或病症所导致疼痛的疾病指征类型包括面部信息、心率、呼吸频率和皮肤电信息中的至少一种的指征类型。就诊患者的该类型的疾病指征可能会引起情绪波动,且大概率影响后续的多特征融合与情绪识别,导致最终获得伪情绪信息,即由患者疾病影响的情绪识别信息。
因此,优选的,伪情绪筛查系统的信息分类对比模块将就诊患者疾病指征的类型与就诊用户信息各类型进行比对,而对于就诊患者疾病指征落入面部信息、心率、呼吸频率和皮肤电信息四种任一类型的,信息筛除模块将该患者相应就诊用户信息筛除,以概率筛除伪情绪信息。
更优选的,信息分类对比模块根据分诊症状信息的疾病初筛类型进入疾病指征存储模块进行分区检索分类,获得就诊患者相应疾病指征的类型信息。
更优选的,信息筛除模块筛除的相应就诊用户信息包括:信息筛除模块将该就诊患者的与疾病指征对应的该类型的就诊用户信息筛除,将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息四种类型的就诊用户信息筛除,或者将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息,以及分诊症状信息全部筛除不予监控。仅筛除疾病指征对应类型的就诊用户信息能够保证剩余类型信息用于后续情绪识别;而同时筛除四种类型指征或者直接筛除全部分诊症状信息不监控该就诊患者,则能够彻底避免该患者的各疾病指征间的关联性对情绪识别的影响。
进一步,在步骤3)中,远程监控中心包括用户信息特征提取模块、特征权值学习模块和多特征加权融合模块;用户信息特征提取模块对就诊用户信息进行非线性特征分析,提取用户情绪特征;特征权值学习模块通过广域网采集就诊用户信息中各类特征与情绪状态的对应关系,将特征—情绪对应关系信息优化选择,建立特征权值组合用于情绪识别加权;多特征加权融合模块通过特征权值组合对用户情绪特征进行加权融合。
优选的,用户信息特征提取模块通过面部特征提取器将就诊用户的面部信息按照五官肌群分区并提取各区关键点位置运动作为面部特征信息,将分区提取后的面部特征信息用于用户情绪特征的加权融合。
优选的,特征权值学习模块通过广域网采集人脸情绪图像对应信息并存储面部-情绪对应信息,同时采集心率、呼吸频率和皮肤电-情绪非线性对应信息,通过贪婪算法、遗传算法或者递归特征筛选算法对特征-情绪对应关系信息进行优化选择。
进一步,在步骤4)中,远程监控中心通过广域网或大数据库批量采集情绪特征数据与就诊用户的融合情绪向量进行对比识别,后将对比识别结果人工标记去噪,通过训练深度人工神经网络进行学习识别,提高情绪识别精度并获得就诊用户情绪状态。
进一步,在步骤5)中,医护客户端包括增强现实装置,将就诊用户实时情绪状态与实时位置信息通过视觉标记、声音和触觉形式发送至医护人员,提醒医护人员提前预警并迅速区分定位情绪异常就诊用户;
所述增强现实装置,优选将与就诊用户实时情绪状态相关的面部信息、心率、呼吸频率和皮肤电信息四种类型信息,于情绪异常就诊用户的身体对应位置处实时显示,指引并提醒医护人员该就诊用户实时情绪状态。
进一步,在步骤6)中,医护客户端通过就诊用户情绪状态按程度分级为平静、波动和激动三级,对于平静级就诊用户返回步骤1)继续监控;对于波动级就诊用户发出通过语音、视频和三维投影至少一种方式在线交流的远程安抚指令;对于激动级用户即时警示医护人员,并发出面对面安抚指令;
医护客户端的增强现实装置,优选采集医护人员的语音、面部表情和口型信息,并通过三维投影向就诊用户实施远程安抚,三维投影的语音、面部表情以及口型变化与医护人员实时同步。
优选的,医护客户端对于非平静级就诊用户在发出指令后跟踪观察该就诊用户的反馈状态,并进行对应指令调节:a.波动级就诊用户远程安抚有效的,发出继续远程安抚指令,直至下降至平静级;无效的,发出面对面安抚指令;b.激动级面对面安抚有效的,发出继续面对面安抚指令,直至下降至平静级,并向信息采集系统发出提高采集频率指令增加该就诊用户监控强度;c.激动级面对面安抚无效的,发出继续面对面安抚指令,并通过远程监控中心向其他医护客户端发出协助指令。
更优选的,就诊环境中设置有用于进行医护人员三维投影的全息多媒体设备,用于对波动级就诊用户通过语音与三维投影相结合的方式进行远程安抚。
进一步,在步骤6)中,医护客户端通过信息采集系统对就诊用户身份判断结果将情绪异常的就诊用户分身份指导安抚,对于家属身份的就诊用户,根据陪同的相应患者分诊症状信息与伪情绪筛查系统相结合,获取初筛疾病类型及其护理知识,并发送至医护人员和家属身份的就诊用户进行医学知识安抚,与远程和面对面安抚相结合。
上述方案,1、将面部识别与心率等其他多特征相融合,提高情绪识别准确度,2、根据患者的分诊信息进行疾病初筛和伪情绪筛查,避免了因患者病痛导致的系统误报以及可能产生的乌龙纠纷,3、结合广域网/大数据进行多特征信号加权融合以及情绪识别,准确实时获取就诊用户情绪状态,4、利用现实增强技术实时情绪预警,并根据用户身份和情绪状态分情景指导医护人员进行安抚,提高安抚效果,降低纠纷升级概率,5、关注患者病情专业化安抚与人性化安抚相结合,化解知识盲区所导致的医患矛盾,减缓患者及其家属的就诊心理负担和护理压力,从根源减少情绪医患纠纷。
综上,本发明使得医护人员对患者及其家属的安抚控制可以“有的放矢”,有效降低医护人员的工作强度,提升就诊疏导效率。
附图说明
图1为本发明多特征融合的就诊用户情绪监控方法流程框图。
具体实施方式
以下结合附图和具体实施例,对本发明进行详细说明。
实施例1
本发明主要针对多特征融合的就诊用户情绪监控,发明了一种就诊用户多特征情绪信息的采集、处理及用户安抚方法,该方法流程图如图1所示,
按照如下步骤进行:
1)就诊用户信息采集:通过信息采集系统采集患者和家属的就诊用户信息,包括就诊用户的面部信息,就诊用户的心率、呼吸频率和皮肤电信息以及患者分诊症状信息;
2)伪情绪信息筛查:信息采集系统判断就诊用户身份为患者或家属,将患者身份的就诊用户信息加载至伪情绪筛查系统,伪情绪筛查系统将患者的面部信息、心率、呼吸频率和皮肤电信息,与患者分诊症状信息所对应初筛疾病指征类型相比对,筛除疾病导致的伪情绪信息的信息筛除模块;
3)多特征信号融合:将筛查后的就诊用户信息,实时加载至远程监控中心中,远程监控中心将各项就诊用户信息进行特征提取,并多特征加权融合,获得融合情绪向量;
4)大数据情绪识别:远程监控中心将融合情绪向量与大数据库中情绪特征数据进行对比识别,获得就诊用户情绪状态;
5)情绪状态预警:远程监控中心将监控区域内各就诊用户的情绪状态,通过医护客户端实时发送至医护人员,就诊用户情绪异常时对医护人员予以提前情绪预警;
6)分状态指导安抚:通过医护客户端判断就诊用户身份与情绪状态等级,根据判断结果选择返回继续进行情绪监控或者结合相应患者分诊症状信息对就诊用户进行指导和安抚;
在步骤2)中,伪情绪筛查系统包括:用于按疾病初筛类型分区存储疾病指征信息的疾病指征存储模块;将就诊用户信息中的面部信息、心率、呼吸频率和皮肤电信息根据分诊症状信息分类并与疾病指征信息比对的信息分类对比模块;根据分类对比结果概率筛除伪情绪信息的信息筛除模块。
本发明如无特别说明,就诊用户均包括患者及其家属的组合。
在步骤1)中,信息采集系统包括:在候诊环境和就诊室中设置的多台图像采集器,实时采集就诊用户面部信息;分诊后就诊用户佩戴的可穿戴采集器,采集就诊用户心率、呼吸频率和皮肤电信息;设置于患者端可穿戴采集器内的分诊模块,存储患者分诊症状信息。
所述图像采集器为高分辨摄像机,对就诊用户进行位置追踪与面部信息采集。
所述可穿戴采集器包括就诊腕带和卫生口罩,利用就诊腕带采集就诊用户的心率和皮肤电信息,卫生口罩采集就诊用户的呼吸频率。
就诊用户在候诊前通过医护人员人工分诊并将患者分诊症状信息输入信息采集系统。
在本实施例中,伪情绪指患者因其所得病症或者病症所导致病痛引发的情绪波动。就诊患者的疾病指征指患者因其所得病症或者病症所导致疼痛引发的,与正常人不同的异常指征。不同类型的疾病具有各自的疾病指征。部分疾病或病症所导致疼痛的疾病指征类型包括面部信息、心率、呼吸频率和皮肤电信息中的至少一种的指征类型。就诊患者的该类型的疾病指征可能会引起情绪波动,且大概率影响后续的多特征融合与情绪识别,导致最终获得伪情绪信息,即由患者疾病影响的情绪识别信息。
因此,更为具体地:在步骤2)中,①信息分类对比模块根据分诊症状信息的疾病初筛类型进入疾病指征存储模块进行分区检索分类,获得就诊患者相应疾病指征的类型信息。②伪情绪筛查系统的信息分类对比模块将就诊患者疾病指征的类型与就诊用户信息各类型进行比对,③而对于就诊患者疾病指征落入面部信息、心率、呼吸频率和皮肤电信息四种任一类型的,④信息筛除模块将该患者相应就诊用户信息筛除,以概率筛除伪情绪信息。
信息筛除模块筛除的相应就诊用户信息包括:信息筛除模块将该就诊患者的与疾病指征对应的该类型的就诊用户信息筛除,将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息四种类型的就诊用户信息筛除,仅筛除疾病指征对应类型的就诊用户信息能够保证剩余类型信息用于后续情绪识别。
具体例如,当心脏病患者的就诊用户信息中的可能异常的心率类型信息落入了面部信息、心率、呼吸频率和皮肤电信息四类型之一,且疾病指征存储模块中心脏病分区的该类型疾病指征(即心率)也存储了异常信息(与常人大概率不同),则将该患者用户的心率分类的指征信息筛除。
在步骤3)中,远程监控中心包括用户信息特征提取模块、特征权值学习模块和多特征加权融合模块;用户信息特征提取模块对就诊用户信息进行非线性特征分析,提取用户情绪特征;特征权值学习模块通过广域网采集就诊用户信息中各类特征与情绪状态的对应关系,将特征—情绪对应关系信息优化选择,建立特征权值组合用于情绪识别加权;多特征加权融合模块通过特征权值组合对用户情绪特征进行加权融合。
用户信息特征提取模块通过面部特征提取器将就诊用户的面部信息按照五官肌群分区并提取各区关键点位置运动作为面部特征信息,将分区提取后的面部特征信息用于用户情绪特征的加权融合。
特征权值学习模块通过广域网采集人脸情绪图像对应信息并存储面部-情绪对应信息,同时采集心率、呼吸频率和皮肤电-情绪非线性对应信息,通过贪婪算法、遗传算法或者递归特征筛选算法对特征-情绪对应关系信息进行优化选择。
在步骤4)中,远程监控中心通过广域网或大数据库批量采集情绪特征数据与就诊用户的融合情绪向量进行对比识别,后将对比识别结果人工标记去噪,通过训练深度人工神经网络进行学习识别,提高情绪识别精度并获得就诊用户情绪状态。
在步骤5)中,医护客户端包括增强现实装置,将就诊用户实时情绪状态与实时位置信息通过视觉标记、声音和触觉形式发送至医护人员,提醒医护人员提前预警并迅速区分定位情绪异常就诊用户。
在步骤6)中,医护客户端通过就诊用户情绪状态按程度分级为平静、波动和激动三级,对于平静级就诊用户返回步骤1)继续监控;对于波动级就诊用户发出通过语音、视频和三维投影至少一种方式在线交流的远程安抚指令;对于激动级用户即时警示医护人员,并发出面对面安抚指令。
医护客户端对于非平静级就诊用户在发出指令后跟踪观察该就诊用户的反馈状态,并进行对应指令调节:a.波动级就诊用户远程安抚有效的,发出继续远程安抚指令,直至下降至平静级;无效的,发出面对面安抚指令;b.激动级面对面安抚有效的,发出继续面对面安抚指令,直至下降至平静级,并向信息采集系统发出提高采集频率指令增加该就诊用户监控强度;c.激动级面对面安抚无效的,发出继续面对面安抚指令,并通过远程监控中心向其他医护客户端发出协助指令。
就诊环境中设置有用于进行医护人员三维投影的全息多媒体设备,用于对波动级就诊用户通过语音与三维投影相结合的方式进行远程安抚。
在步骤6)中,医护客户端通过信息采集系统对就诊用户身份判断结果将情绪异常的就诊用户分身份指导安抚,对于家属身份的就诊用户,根据陪同的相应患者分诊症状信息与伪情绪筛查系统相结合,获取初筛疾病类型及其护理知识,并发送至医护人员和家属身份的就诊用户进行医学知识安抚,与远程和面对面安抚相结合。
实施例2
本实施例采用上述系统和方法进行实施,不同之处在于,信息筛除模块筛除的相应就诊用户信息包括:信息筛除模块将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息四种类型的就诊用户信息筛除,仅保留分诊症状信息,后续通过医护人员人工监控和安抚。
实施例3
本实施例采用上述系统和方法进行实施,不同之处在于,信息筛除模块筛除的相应就诊用户信息包括:信息筛除模块将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息,以及分诊症状信息全部筛除不予监控,仅监控其他患者和家属。
上述两实施例,同时筛除四种类型指征或者直接筛除全部分诊症状信息不监控该就诊患者,能够彻底避免该患者的各疾病指征间的关联性对情绪识别的影响,并减轻系统处理负担。
实施例4
本实施例采用上述系统和方法进行实施,不同之处在于,
在步骤5)中,所述增强现实装置,将与就诊用户实时情绪状态相关的面部信息、心率、呼吸频率和皮肤电信息四种类型信息,于情绪异常就诊用户的身体对应位置处实时显示,指引并提醒医护人员该就诊用户实时情绪状态。
在步骤6)中,医护客户端的增强现实装置,优选采集医护人员的语音、面部表情和口型信息,并通过三维投影向就诊用户实施远程安抚,三维投影的语音、面部表情以及口型变化与医护人员实时同步。
本实施例更进一步采用增强现实技术,有效提高了监控与安抚效率,并且将就诊用户各指征向医护人员实时预警,指导其在情绪进一步恶化前采取措施,避免纠纷升级。
上述实施例1-4方案,1、将面部识别与心率等其他多特征相融合,提高情绪识别准确度,2、根据患者的分诊信息进行疾病初筛和伪情绪筛查,避免了因患者病痛导致的系统误报以及可能产生的乌龙纠纷,3、结合广域网/大数据进行多特征信号加权融合以及情绪识别,准确实时获取就诊用户情绪状态,4、利用现实增强技术实时情绪预警,并根据用户身份和情绪状态分情景指导医护人员进行安抚,提高安抚效果,降低纠纷升级概率,5、关注患者病情专业化安抚与人性化安抚相结合,化解知识盲区所导致的医患矛盾,减缓患者及其家属的就诊心理负担和护理压力,从根源减少情绪医患纠纷。
综上,本发明使得医护人员对患者及其家属的安抚控制可以“有的放矢”,有效降低医护人员的工作强度,提升就诊疏导效率。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多特征融合的就诊用户情绪监控方法,其特征在于,包括以下步骤:
1)就诊用户信息采集:通过信息采集系统采集患者和家属的就诊用户信息,包括就诊用户的面部信息,就诊用户的心率、呼吸频率和皮肤电信息以及患者分诊症状信息;其中,就诊用户在候诊前通过医护人员人工分诊并将患者分诊症状信息输入信息采集系统;
2)伪情绪信息筛查:信息采集系统判断就诊用户身份为患者或家属,将患者身份的就诊用户信息加载至伪情绪筛查系统,伪情绪筛查系统将患者的面部信息、心率、呼吸频率和皮肤电信息,与患者分诊症状信息所对应初筛疾病指征类型相比对,概率筛除疾病导致的伪情绪信息;
3)多特征信号融合:将筛查后的就诊用户信息,实时加载至远程监控中心中,远程监控中心将各项就诊用户信息进行特征提取,并多特征加权融合,获得融合情绪向量;
4)大数据情绪识别:远程监控中心将融合情绪向量与大数据库中情绪特征数据进行对比识别,获得就诊用户情绪状态;
5)情绪状态预警:远程监控中心将监控区域内各就诊用户的情绪状态,通过医护客户端实时发送至医护人员,就诊用户情绪异常时对医护人员予以提前情绪预警;
6)分状态指导安抚:通过医护客户端判断就诊用户身份与情绪状态等级,根据判断结果选择返回继续进行情绪监控或者结合相应患者分诊症状信息对就诊用户进行指导和安抚;
在步骤2)中,伪情绪筛查系统包括:用于按疾病初筛类型分区存储疾病指征信息的疾病指征存储模块;将就诊用户信息中的面部信息、心率、呼吸频率和皮肤电信息根据分诊症状信息分类并与疾病指征信息比对的信息分类对比模块;根据分类对比结果概率筛除伪情绪信息的信息筛除模块。
2.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,伪情绪筛查系统的信息分类对比模块将就诊患者疾病指征的类型与就诊用户信息各类型进行比对,而对于就诊患者疾病指征落入面部信息、心率、呼吸频率和皮肤电信息四种任一类型的,信息筛除模块将该患者相应就诊用户信息筛除,以概率筛除伪情绪信息;
信息分类对比模块根据分诊症状信息的疾病初筛类型进入疾病指征存储模块进行分区检索分类,获得就诊患者相应疾病指征的类型信息;
信息筛除模块筛除的相应就诊用户信息包括:信息筛除模块将该就诊患者的与疾病指征对应的该类型的就诊用户信息筛除,将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息四种类型的就诊用户信息筛除,或者将该就诊患者的面部信息、心率、呼吸频率和皮肤电信息,以及分诊症状信息全部筛除不予监控。
3.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤5)中,医护客户端包括增强现实装置,将就诊用户实时情绪状态与实时位置信息通过视觉标记、声音和触觉形式发送至医护人员,提醒医护人员提前预警并区分定位情绪异常就诊用户。
4.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤1)中,信息采集系统包括:在候诊环境和就诊室中设置的多台图像采集器,实时采集就诊用户面部信息;分诊后就诊用户佩戴的可穿戴采集器,采集就诊用户心率、呼吸频率和皮肤电信息;设置于患者端可穿戴采集器内的分诊模块,存储患者分诊症状信息;
所述图像采集器为高分辨摄像机,对就诊用户进行位置追踪与面部信息采集;
所述可穿戴采集器包括就诊腕带和卫生口罩,利用就诊腕带采集就诊用户的心率和皮肤电信息,卫生口罩采集就诊用户的呼吸频率。
5.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤3)中,远程监控中心包括用户信息特征提取模块、特征权值学习模块和多特征加权融合模块;用户信息特征提取模块对就诊用户信息进行非线性特征分析,提取用户情绪特征;特征权值学习模块通过广域网采集就诊用户信息中各类特征与情绪状态的对应关系,将特征—情绪对应关系信息优化选择,建立特征权值组合用于情绪识别加权;多特征加权融合模块通过特征权值组合对用户情绪特征进行加权融合。
6.根据权利要求5所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤3)中,
用户信息特征提取模块通过面部特征提取器将就诊用户的面部信息按照五官肌群分区并提取各区关键点位置运动作为面部特征信息,将分区提取后的面部特征信息用于用户情绪特征的加权融合;和/或
特征权值学习模块通过广域网采集人脸情绪图像对应信息并存储面部—情绪对应信息,同时采集心率、呼吸频率和皮肤电-情绪非线性对应信息,通过贪婪算法、遗传算法或者递归特征筛选算法对特征—情绪对应关系信息进行优化选择。
7.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤4)中,远程监控中心通过广域网或大数据库批量采集情绪特征数据与就诊用户的融合情绪向量进行对比识别,后将对比识别结果人工标记去噪,通过训练深度人工神经网络进行学习识别,提高情绪识别精度并获得就诊用户情绪状态。
8.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤6)中,医护客户端通过就诊用户情绪状态按程度分级为平静、波动和激动三级,对于平静级就诊用户返回步骤1)继续监控;对于波动级就诊用户发出通过语音、视频和三维投影至少一种方式在线交流的远程安抚指令;对于激动级用户即时警示医护人员,并发出面对面安抚指令。
9.根据权利要求8所述的多特征融合的就诊用户情绪监控方法,其特征在于,医护客户端对于非平静级就诊用户在发出指令后跟踪观察该就诊用户的反馈状态,并进行对应指令调节:a.波动级就诊用户远程安抚有效的,发出继续远程安抚指令,直至下降至平静级;无效的,发出面对面安抚指令;b.激动级面对面安抚有效的,发出继续面对面安抚指令,直至下降至平静级,并向信息采集系统发出提高采集频率指令增加该就诊用户监控强度;c.激动级面对面安抚无效的,发出继续面对面安抚指令,并通过远程监控中心向其他医护客户端发出协助指令;
就诊环境中设置有用于进行医护人员三维投影的全息多媒体设备,用于对波动级就诊用户通过语音与三维投影相结合的方式进行远程安抚。
10.根据权利要求1所述的多特征融合的就诊用户情绪监控方法,其特征在于,在步骤6)中,医护客户端通过信息采集系统对就诊用户身份判断结果将情绪异常的就诊用户分身份指导安抚,对于家属身份的就诊用户,根据陪同的相应患者分诊症状信息与伪情绪筛查系统相结合,获取初筛疾病类型及其护理知识,并发送至医护人员和家属身份的就诊用户进行医学知识安抚,与远程和面对面安抚相结合。
CN201910021435.7A 2018-06-08 2019-01-10 一种多特征融合的就诊用户情绪监控方法 Active CN109394247B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810585316.XA CN108937972A (zh) 2018-06-08 2018-06-08 一种多特征融合的就诊用户情绪监控方法
CN201810585316X 2018-06-08

Publications (2)

Publication Number Publication Date
CN109394247A CN109394247A (zh) 2019-03-01
CN109394247B true CN109394247B (zh) 2021-05-18

Family

ID=64493389

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810585316.XA Pending CN108937972A (zh) 2018-06-08 2018-06-08 一种多特征融合的就诊用户情绪监控方法
CN201910021435.7A Active CN109394247B (zh) 2018-06-08 2019-01-10 一种多特征融合的就诊用户情绪监控方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810585316.XA Pending CN108937972A (zh) 2018-06-08 2018-06-08 一种多特征融合的就诊用户情绪监控方法

Country Status (1)

Country Link
CN (2) CN108937972A (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920544B (zh) * 2019-01-28 2021-06-08 浙江工业大学 基于体感信息的实时自适应智能楼宇系统
CN109979568B (zh) * 2019-03-25 2021-08-24 广东邮电职业技术学院 心理健康预警方法、服务器、家属终端与系统
CN110473634B (zh) * 2019-04-23 2021-10-08 浙江大学 一种基于多域融合学习的遗传代谢病辅助筛查方法
CN110378428A (zh) * 2019-07-23 2019-10-25 上海思依暄机器人科技股份有限公司 一种家用机器人及其情绪识别方法和装置
CN110811582A (zh) * 2019-12-09 2020-02-21 北京明略软件系统有限公司 心率检测方法、装置和设备
CN111402997A (zh) * 2020-04-08 2020-07-10 兰州理工大学 一种人机交互系统及方法
CN111741116B (zh) * 2020-06-28 2023-08-22 海尔优家智能科技(北京)有限公司 情感交互方法、装置、存储介质及电子装置
CN111985350B (zh) * 2020-07-30 2024-04-05 平安科技(深圳)有限公司 基于机器学习的面部信息识别监控方法及装置
CN112220479A (zh) * 2020-09-04 2021-01-15 陈婉婷 基于遗传算法的被审讯单体情绪判断方法、装置和设备
CN111798997B (zh) * 2020-09-10 2021-04-27 平安国际智慧城市科技股份有限公司 远程就诊方法、装置、设备及存储介质
CN112137630A (zh) * 2020-09-27 2020-12-29 广州汽车集团股份有限公司 一种驾驶员负面情绪缓解方法及系统
CN112289433A (zh) * 2020-11-04 2021-01-29 成都健数科技有限公司 一种医疗资源配置、矛盾处置系统及方法
CN112842337A (zh) * 2020-11-11 2021-05-28 郑州大学第一附属医院 一种用于移动查房场景的情感疏导系统及方法
CN113239050B (zh) * 2021-06-17 2024-07-23 上海鼎博医疗科技有限公司 医疗与心理数据管理系统、方法、设备和存储介质
CN114343585B (zh) * 2022-01-13 2023-09-29 平安科技(深圳)有限公司 认知和行为障碍的预警方法、装置、设备及存储介质
CN114121205A (zh) * 2022-01-24 2022-03-01 北京康爱医疗科技股份有限公司 一种医疗支持系统及方法、计算机可读取介质
CN114883014B (zh) * 2022-04-07 2023-05-05 南方医科大学口腔医院 一种基于生物识别的患者情绪反馈装置、方法和治疗床
TWI842225B (zh) * 2022-11-25 2024-05-11 國立東華大學 具表情及人臉辨識與提示功能之互動式穿戴電子裝置以及互動式穿戴電子裝置處理方法
CN116741414B (zh) * 2023-08-14 2023-11-03 上海迎智正能文化发展有限公司 一种异常情绪的智能缓解方法及系统
CN117860207B (zh) * 2024-03-13 2024-05-10 长春理工大学 基于数据分析的视频非接触测量疼痛识别方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1416344A (zh) * 2000-03-10 2003-05-07 默克专利股份有限公司 (r)-(-)-2-[5-(4-氟苯基)-3-吡啶基甲基氨基甲基]-苯并二氢吡喃及其生理可接受盐的新用途
CN1950825A (zh) * 2004-04-30 2007-04-18 皇家飞利浦电子股份有限公司 一种用于联系主观和客观数据发送主观检查的方法
US20080162352A1 (en) * 2007-01-03 2008-07-03 Gizewski Theodore M Health maintenance system
CN101272683A (zh) * 2005-04-07 2008-09-24 海蒂亚姆公司 治疗与焦虑有关疾病的方法
CN101599110A (zh) * 2009-04-30 2009-12-09 北京大学人民医院 紧急医学救援无线移动信息管理方法及平台
US20110118555A1 (en) * 2009-04-29 2011-05-19 Abhijit Dhumne System and methods for screening, treating, and monitoring psychological conditions
CN102184661A (zh) * 2011-03-17 2011-09-14 南京大学 儿童孤独症语言训练系统及基于物联网的集中训练中心
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
US20120265547A1 (en) * 2011-04-14 2012-10-18 Searete Llc , A Limited Liability Corporation Of The State Of Delaware Cost-effective resource apportionment technologies suitable for facilitating therapies
CN202505349U (zh) * 2012-03-02 2012-10-31 株式会社东芝 实时监控患者情绪的装置、x射线ct装置及mri装置
CN202801632U (zh) * 2012-09-21 2013-03-20 湖北省新华医院 一种基于互联网的心理健康智能检测箱
CN104102848A (zh) * 2014-07-28 2014-10-15 四川大学 临床躯体症状分类测评系统
CN104216873A (zh) * 2014-08-27 2014-12-17 华中师范大学 一种分析情绪障碍患者网络留言情感波动特征的方法
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN104660770A (zh) * 2013-11-21 2015-05-27 中兴通讯股份有限公司 一种联系人的排序方法及装置
CN106725458A (zh) * 2016-12-31 2017-05-31 深圳市达实智控科技股份有限公司 一种基于脑电波检测及通知系统
CN106874702A (zh) * 2017-04-12 2017-06-20 郴州市第人民医院 一种肿瘤患者心理干预辅助治疗系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054447A (ja) * 2011-09-01 2013-03-21 Hitachi Ltd 気分改善システムおよび気分改善方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1416344A (zh) * 2000-03-10 2003-05-07 默克专利股份有限公司 (r)-(-)-2-[5-(4-氟苯基)-3-吡啶基甲基氨基甲基]-苯并二氢吡喃及其生理可接受盐的新用途
CN1950825A (zh) * 2004-04-30 2007-04-18 皇家飞利浦电子股份有限公司 一种用于联系主观和客观数据发送主观检查的方法
CN101272683A (zh) * 2005-04-07 2008-09-24 海蒂亚姆公司 治疗与焦虑有关疾病的方法
US20080162352A1 (en) * 2007-01-03 2008-07-03 Gizewski Theodore M Health maintenance system
US20110118555A1 (en) * 2009-04-29 2011-05-19 Abhijit Dhumne System and methods for screening, treating, and monitoring psychological conditions
CN101599110A (zh) * 2009-04-30 2009-12-09 北京大学人民医院 紧急医学救援无线移动信息管理方法及平台
CN102184661A (zh) * 2011-03-17 2011-09-14 南京大学 儿童孤独症语言训练系统及基于物联网的集中训练中心
US20120265547A1 (en) * 2011-04-14 2012-10-18 Searete Llc , A Limited Liability Corporation Of The State Of Delaware Cost-effective resource apportionment technologies suitable for facilitating therapies
CN202505349U (zh) * 2012-03-02 2012-10-31 株式会社东芝 实时监控患者情绪的装置、x射线ct装置及mri装置
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
CN202801632U (zh) * 2012-09-21 2013-03-20 湖北省新华医院 一种基于互联网的心理健康智能检测箱
CN104660770A (zh) * 2013-11-21 2015-05-27 中兴通讯股份有限公司 一种联系人的排序方法及装置
CN104102848A (zh) * 2014-07-28 2014-10-15 四川大学 临床躯体症状分类测评系统
CN104216873A (zh) * 2014-08-27 2014-12-17 华中师范大学 一种分析情绪障碍患者网络留言情感波动特征的方法
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN106725458A (zh) * 2016-12-31 2017-05-31 深圳市达实智控科技股份有限公司 一种基于脑电波检测及通知系统
CN106874702A (zh) * 2017-04-12 2017-06-20 郴州市第人民医院 一种肿瘤患者心理干预辅助治疗系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《门诊就诊患者突发意外的急救与防范》;张素丽;《安徽医学》;20150831;全文 *
《面向突发事件的群体情绪监控预警》;刘志明;《系统工程》;20100731;全文 *

Also Published As

Publication number Publication date
CN109394247A (zh) 2019-03-01
CN108937972A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN109394247B (zh) 一种多特征融合的就诊用户情绪监控方法
US10874340B2 (en) Real time biometric recording, information analytics and monitoring systems for behavioral health management
US20190110754A1 (en) Machine learning based system for identifying and monitoring neurological disorders
CN105078449B (zh) 基于健康服务机器人的老年痴呆症监护系统
CN104545899B (zh) 基于移动互联网的老年痴呆症监护系统
CN106388793A (zh) 基于vr技术与生理体征监测的老年痴呆症辅助治疗系统
Yang et al. Undisturbed mental state assessment in the 5G era: a case study of depression detection based on facial expressions
CN112309552A (zh) 一种基于ai的手环式放疗安全智能化全程管理系统及方法
CN113257440A (zh) 一种基于病患视频识别的icu智能看护系统
CN110570919A (zh) 面向慢病人群的健康风险智能监测、预警方法及平台
CN111312389A (zh) 脑卒中智能诊断系统
CN115662631A (zh) 基于ai智能判别的养老院管理系统
Tang et al. Signal identification system for developing rehabilitative device using deep learning algorithms
Hu et al. Acrophobia quantified by EEG based on CNN incorporating Granger causality
Tychkov et al. The effect of virtual reality on mental health in the design of automated control systems
CN117936094A (zh) 基于多模态情感的抑郁症早期智能预测方法和系统
IL268575A (en) Patient monitoring system and method
CN118248332A (zh) 一种智能多模态生理数据监测系统
CN108735286B (zh) 一种个人终生综合保健治疗管理系统
CN116570246A (zh) 一种癫痫监测及远程报警系统
CN116561704A (zh) 一种基于多模态融合的可信联邦建模方法
Gong et al. An IoT-based wearable labor progress monitoring system for remote evaluation of admission time to hospital
CN116072310A (zh) 一种应用于医疗健康服务的智能边缘计算系统
CN116825337A (zh) 患者安全护理预警系统
Valsalan et al. Remote healthcare monitoring using expert system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant