CN112842337A - 一种用于移动查房场景的情感疏导系统及方法 - Google Patents

Abstract

本发明公开了一种用于移动查房场景的情感疏导系统及方法，属于大数据技术领域，包括数据采集服务器、前置服务器、数据中心、情绪识别服务器和感情疏导服务器，解决了通过患者的人脸图片、语音数据和人体生理数据分析患者的情绪的技术问题，本发明能够提高对患者的情绪识别的精准率，从而为维持健康积极的心理状况、提高病患监护效率提供重要基础，及时给予相应的心理疏导与应对处置，避免患者情绪失控产生轻生、伤医事件。

Description

一种用于移动查房场景的情感疏导系统及方法

技术领域

本发明属于智能医疗器械技术领域，涉及一种用于移动查房场景的情感疏导系统及方法。

背景技术

随着大数据、数据挖掘、物联网、计算机视觉等技术的发展，医疗装备领域的创新升级迎来了新的发展机遇。目前利用人脸图像数据、语音数据在人脸检测、表情识别、语音识别等方面的研究已经有了很多进展，并不断应用，但是在医疗护理方面的应用却比较匮乏。同时，传统的医疗护理工作模式，对病人的关注主要集中在病人的体征状况上，对病人的心理动态关注不足，重症病人若出现心理问题，很容易出现伤医或者自残等行为。

发明内容

本发明的目的是提供一种用于移动查房场景的情感疏导系统及方法，解决了通过患者的人脸图片、语音数据和人体生理数据分析患者的情绪的技术问题。

为实现上述目的，本发明采用如下技术方案：

一种用于移动查房场景的情感疏导系统，包括数据采集服务器、前置服务器、数据中心、情绪识别服务器和感情疏导服务器，数据采集服务器通过5G网络有前置服务器通信，前置服务器、数据中心、情绪识别服务器和感情疏导服务器之间通过互联网通信；

数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口总线与医疗检测设备通信，获取医疗检测设备采集的患者人体生理数据；

前置服务器用于获取由数据采集服务器传送过来的患者的脸部图片、语音数据和患者人体生理数据，并进行数据预处理与特征提取；

数据中心用于从医院信息系统中调阅患者病历和就诊记录；

情绪识别服务器用于对使用者的情感状态进行识别分类；

情感疏导服务器用于根据使用者的情感状态推送相应类型的服务。

优选的，所述数据采集服务器对患者的脸部图片、语音数据和患者人体生理数据进行本地存储，实时监测与前置服务器之间的通信状态；

所述数据采集服务器定时上传患者的脸部图片、语音数据和患者人体生理数据给前置服务器进行存储和处理，并定期清理本地存储器。

优选的，所述医疗检测设备包括血压计和心率仪。

一种用于移动查房场景的情感疏导方法，包括如下步骤：

步骤1：建立一种用于移动查房场景的情感疏导系统；

步骤2：数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口线读取医疗检测设备采集到的患者的心率、脉搏和血压，生成患者情绪数据，将患者情绪数据存储在本地存储器中；

步骤3：数据采集服务器定时将患者情绪数据通过5G网络上传给前置服务器，前置服务器对患者情绪数据进行存储，并生成患者情绪历史数据库；

步骤4：在前置服务器利用机器学习算法对收集到的图像、语音、生理数据以及历史数据进行数据预处理与特征提取，主要包括如下步骤：

步骤S1：针对接收到的患者的脸部图片，进行图像预处理，对眼睛、嘴巴、鼻子、眉毛关键部位提取特征向量；

步骤S2：针对接收到的语音数据，进行语音预处理提取特征向量；

步骤S3：针对接收到的患者人体生理数据，对比患者情绪历史数据库中的患者人体生理数据历史数据，进行数字转换与归一化，提取特征向量；

步骤S4：将从患者的脸部图片、语音数据、患者人体生理数据以及患者情绪历史数据库中提取到的特征向量整合到一起，利用PCA算法进行降维融合，形成该患者的特征样本集，作为识别患者情绪状态的输入样本；

步骤S5：前置服务器将步骤S1到步骤S4中获取的结果发送给数据中心进行存储，数据中心根据步骤S1到步骤S4的结果生成情绪分析历史数据库；

步骤5：数据中心从前置服务器中获取患者情绪数据，并从医院信息系统中调取该患者的患者病历和就诊记录；

步骤6：情绪识别服务器从数据中心中调取情绪分析历史数据库中的数据作为样本库；

情绪识别服务器依照心理医生的评估完成情绪状态为正面、负面的标注，形成有标签的基于多类数据的样本集，使用样本集通过训练构建有监督分类器模型；

输入样本集基于机器学习算法中的SVM有监督算法构造情绪分类器模型，输入患者的特征向量完成情绪识别分类，获取患者情绪状态的分类结果，把分类结果传送到情感疏导服务器；

步骤7：情感疏导服务器根据收到的分类结果，统计使用者近期情绪状态出现负面的次数，根据心理医生专家的建议设定关于情绪状态的关注阈值、预警阈值，评估使用者的情绪状态；

步骤8：情感疏导服务器根据患者情绪状态的评估结果，制定情感疏导服务策略，推送相应类型的情感疏导服务；

步骤9：情感疏导服务器将使用者情绪状态评估的结果发送给相应的主治医生与护士使用的客户端，以便医护工作人员及时了解到病人的心理状况，为诊疗方案的制定、日常护理工作的开展作为参考。

本发明所述的一种用于移动查房场景的情感疏导系统及方法，解决了通过患者的人脸图片、语音数据和人体生理数据分析患者的情绪的技术问题，本发明能够提高对患者的情绪识别的精准率，从而为维持健康积极的心理状况、提高病患监护效率提供重要基础，及时给予相应的心理疏导与应对处置，避免患者情绪失控产生轻生、伤医事件。

附图说明

图1为本发明的系统构架图；

图2是本发明的实施例2的流程图；

图3是本发明的步骤C1到C6的流程图。

具体实施方式

实施例1：

如图1-图3所示的一种用于移动查房场景的情感疏导系统，包括数据采集服务器、前置服务器、数据中心、情绪识别服务器和感情疏导服务器，数据采集服务器通过5G网络有前置服务器通信，前置服务器、数据中心、情绪识别服务器和感情疏导服务器之间通过互联网通信；

数据采集服务器通过CPE接入5G无线网。

数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口总线与医疗检测设备通信，获取医疗检测设备采集的患者人体生理数据；

前置服务器用于获取由数据采集服务器传送过来的患者的脸部图片、语音数据和患者人体生理数据，并进行数据预处理与特征提取；

数据中心用于从医院信息系统中调阅患者病历和就诊记录；

情绪识别服务器用于对使用者的情感状态进行识别分类；

情感疏导服务器用于根据使用者的情感状态推送相应类型的服务。

优选的，所述数据采集服务器对患者的脸部图片、语音数据和患者人体生理数据进行本地存储，实时监测与前置服务器之间的通信状态；

所述数据采集服务器定时上传患者的脸部图片、语音数据和患者人体生理数据给前置服务器进行存储和处理，并定期清理本地存储器。

优选的，所述医疗检测设备包括血压计和心率仪。

实施例2：

实施例2所述的一种用于移动查房场景的情感疏导方法是在实施例1所述的一种用于移动查房场景的情感疏导系统的基础上实现的，包括如下步骤：

步骤1：建立一种用于移动查房场景的情感疏导系统；

步骤2：数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口线读取医疗检测设备采集到的患者的心率、脉搏和血压，生成患者情绪数据，将患者情绪数据存储在本地存储器中；

步骤3：数据采集服务器定时将患者情绪数据通过5G网络上传给前置服务器，前置服务器对患者情绪数据进行存储，并生成患者情绪历史数据库；

步骤4：在前置服务器利用机器学习算法对收集到的图像、语音、生理数据以及历史数据进行数据预处理与特征提取，主要包括如下步骤：

步骤S1：针对接收到的患者的脸部图片，进行图像预处理，对眼睛、嘴巴、鼻子、眉毛关键部位提取特征向量；

步骤A1：针对原始图像进行裁剪、尺度变换以及直方图均衡处理，以便去掉可能的干扰因素，增加像素灰度值的动态范围，提高图像对比度；

步骤A2：针对处理过的图像按照从上到下、从左到右的顺序进行分割，对分割后的每一个子图进行奇异值分解，以各子图的分解结果作为特征，进而获取基于人脸图像的特征数据。

步骤S2：针对接收到的语音数据，进行语音预处理提取特征向量，具体包括如下步骤；

步骤B1：进行预加重、分帧、加窗操作，以便消除因人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等因素，提高语音信号质量；

预加重是指补偿语音信号高频部分的振幅，解决发音过程中语音受到唇端辐射抑制而导致的高频能量降低的问题。假设输入信号第n个采样点为x[n]，预加重公式如下：

x’[n]＝x[n]-αx[n-1]；

其中，x’[n]为预加重值，α为预加重系数，一般是0.9～1.0之间，通常取0.98；

分帧是指语音信号因为是准稳态信号，在处理时常把信号设置为每帧长度约20ms-30ms，在这一区间内的语音信号看作为稳态信号。只有稳态的信息才能进行下一步的信号处理。

加窗是指即与一个窗函数相乘，在语音处理时必须把长时间的信号序列截断，被截断后的频谱不同于它加窗以前的频谱，在截断以后由原有的带限信号变成无限带宽的函数，有一部分能量泄漏到原信号的频带以外，为了减少泄漏则需要尽量寻找频域中接近的窗函数，进行相乘。

步骤B2：针对处理过的语音基于MFCC算法提取特征，根据人听觉的临界带效应在Mel标度频率域提取出来的倒谱特征参数，经过平均归一化后作为特征。

步骤S3：针对接收到的患者人体生理数据，对比患者情绪历史数据库中的患者人体生理数据历史数据，进行数字转换与归一化，提取特征向量；

步骤S4：将从患者的脸部图片、语音数据、患者人体生理数据以及患者情绪历史数据库中提取到的特征向量整合到一起，利用PCA算法进行降维融合，形成该患者的特征样本集，作为识别患者情绪状态的输入样本；

步骤S5：前置服务器将步骤S1到步骤S4中获取的结果发送给数据中心进行存储，数据中心根据步骤S1到步骤S4的结果生成情绪分析历史数据库；

步骤5：数据中心从前置服务器中获取患者情绪数据，并从医院信息系统中调取该患者的患者病历和就诊记录；

步骤6：情绪识别服务器从数据中心中调取情绪分析历史数据库中的数据作为样本库；

情绪识别服务器依照心理医生的评估完成情绪状态为正面、负面的标注，形成有标签的基于多类数据的样本集，使用样本集通过训练构建有监督分类器模型；

输入样本集基于机器学习算法中的SVM有监督算法构造情绪分类器模型，输入患者的特征向量完成情绪识别分类，获取患者情绪状态的分类结果，把分类结果传送到情感疏导服务器；

支持向量机(SVM,Support Vector Machine)有监督分类算法是数据挖掘中最经典的算法之一，是一种二分类的模型，基本思想是：寻找一个超平面，使两类样本数据离超平面越远越好，并且样本数据中在超平面同一侧的大多都属于同一个类别，在超平面另一侧的基本都属于另一个类别。

SVM分类学习最基本的思想就是基于训练集D在样本空间划分一个超平面，将不同类别的样本分开。但能将训练样本划分的超平面可能有很多。需要求解的就是寻找一个分类结果最鲁棒、对未见示例泛化能力最强的超平面。

以给定训练样本为例，D＝{(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_n，y_n)}，x_i，y_i属于{-1，+1}}，在样本空间中，划分超平面可以通过如下线性方程来描述：

w^Tx+b＝0；

其中w＝(w₁；w₂；w₃；...；w_d；)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离；T代表矩阵。划分超平面被法向量W和位移b确定。把超平面记为(w，b)，样本空间内任意一点到超平面(w，b)的距离写为：

假设超平面能将训练样本正确分类，即对于(x_i，y_i)∈D，若y_i＝+1，则有w^Tx+b＞0；若y_i＝-1，则有w^Tx+b＜0。令：

w^Tx_i+b≥1，y_i＝+1

w^Tx_i+b≤1，y_i＝-1

距离超平面最近的几个训练样本是上述式子中的等号成立，他们被称为支持向量。两个不同类的支持向量到超平面的距离之和为，被称为间隔。

找到具有最大间隔的超平面，即找到满足不等式约束的参数w和b，使γ最大，即：

y_i(w^Tx_i+b)≥1，i＝1，2，...，m，m为正整数。

SVM算法迭代的过程便是为了找到最大化间隔

此外SVM算法针对线性与非线性样本数据均适用。如果训练样本是线性可分的，则在一个划分超平面能将训练样本正确分类；如果是非线性可的样本，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个空间内线性可分，例如在上图将原始的二维空间映射到一个合适的三维空间，就能找到一个合适的划分超平面。同时，如果原始空间是有限维，那么一定存在一个高维空间使样本可分。

令φ(x)表示映射后的特征向量，于是在特征空间中划分超平面所对应的模型可表示为：

f(x)＝w^Tφ(x)+b；

基于SVM算法构建情感识别分类器具体包括如下步骤：

步骤C1：获取患者情感数据的特征矩阵；

步骤C2：把特征矩阵划分为训练集与测试集；

步骤C3：根据特征矩阵设置SVM情感分类器的初始化参数，明确核函数等的选择；

步骤C4:基于训练集与测试集按监督学习方式对SVM情感分类器进行多次训练与测试，进行分类器模型学习，寻找到划分不同情感的最大距离超平面，然后根据超平面计算患者特征向量在超平面哪一侧，进而确定情绪状态为正面还是负面。

步骤C5：进行分类器模型的性能评估,通过迭代计算，找到最优参数获取相应的分类模型；

步骤C6：进行交叉验证，获取一个泛化能力比较好的分类器模型，实现对患者情感状态的准确分类。

步骤7：情感疏导服务器根据收到的分类结果，统计使用者近期情绪状态出现负面的次数，根据心理医生专家的建议设定关于情绪状态的关注阈值、预警阈值，评估使用者的情绪状态；

评估结果主要分为三类：(1)负面情绪出现的次数低于关注阈值，处于健康状态；(2)负面情绪出现的次数高于关注阈值低于预警阈值，处于轻度不健康状态；(3)负面情绪出现的次数高于预警阈值，处于不健康状态。

步骤8：情感疏导服务器根据患者情绪状态的评估结果，制定情感疏导服务策略，推送相应类型的情感疏导服务；

情感疏导服务包括推送相应的音乐、电影、书籍、小游戏；如果评估结果为不健康，进行预警，关联心理医生与专家进行辅导。

步骤9：情感疏导服务器将使用者情绪状态评估的结果发送给相应的主治医生与护士使用的客户端，以便医护工作人员及时了解到病人的心理状况，为诊疗方案的制定、日常护理工作的开展作为参考。

本发明所述的一种用于移动查房场景的情感疏导系统及方法，解决了通过患者的人脸图片、语音数据和人体生理数据分析患者的情绪的技术问题，本发明能够提高对患者的情绪识别的精准率，从而为维持健康积极的心理状况、提高病患监护效率提供重要基础，及时给予相应的心理疏导与应对处置，避免患者情绪失控产生轻生、伤医事件。

Claims (4)

1.一种用于移动查房场景的情感疏导系统，其特征在于：包括数据采集服务器、前置服务器、数据中心、情绪识别服务器和感情疏导服务器，数据采集服务器通过5G网络有前置服务器通信，前置服务器、数据中心、情绪识别服务器和感情疏导服务器之间通过互联网通信；

数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口总线与医疗检测设备通信，获取医疗检测设备采集的患者人体生理数据；

前置服务器用于获取由数据采集服务器传送过来的患者的脸部图片、语音数据和患者人体生理数据，并进行数据预处理与特征提取；

数据中心用于从医院信息系统中调阅患者病历和就诊记录；

情绪识别服务器用于对使用者的情感状态进行识别分类；

情感疏导服务器用于根据使用者的情感状态推送相应类型的服务。

2.如权利要求1所述的一种用于移动查房场景的情感疏导系统，其特征在于：所述数据采集服务器对患者的脸部图片、语音数据和患者人体生理数据进行本地存储，实时监测与前置服务器之间的通信状态；

所述数据采集服务器定时上传患者的脸部图片、语音数据和患者人体生理数据给前置服务器进行存储和处理，并定期清理本地存储器。

3.如权利要求1所述的一种用于移动查房场景的情感疏导系统，其特征在于：所述医疗检测设备包括血压计和心率仪。

4.一种用于移动查房场景的情感疏导方法，其特征在于：包括如下步骤：

步骤1：建立一种用于移动查房场景的情感疏导系统；

步骤2：数据采集服务器通过外置摄像头和语音采集装置采集患者的脸部图片和语音数据，通过串口线读取医疗检测设备采集到的患者的心率、脉搏和血压，生成患者情绪数据，将患者情绪数据存储在本地存储器中；

步骤3：数据采集服务器定时将患者情绪数据通过5G网络上传给前置服务器，前置服务器对患者情绪数据进行存储，并生成患者情绪历史数据库；

步骤4：在前置服务器利用机器学习算法对收集到的图像、语音、生理数据以及历史数据进行数据预处理与特征提取，主要包括如下步骤：

步骤S1：针对接收到的患者的脸部图片，进行图像预处理，对眼睛、嘴巴、鼻子、眉毛关键部位提取特征向量；

步骤S2：针对接收到的语音数据，进行语音预处理提取特征向量；

步骤S3：针对接收到的患者人体生理数据，对比患者情绪历史数据库中的患者人体生理数据历史数据，进行数字转换与归一化，提取特征向量；

步骤S4：将从患者的脸部图片、语音数据、患者人体生理数据以及患者情绪历史数据库中提取到的特征向量整合到一起，利用PCA算法进行降维融合，形成该患者的特征样本集，作为识别患者情绪状态的输入样本；

步骤S5：前置服务器将步骤S1到步骤S4中获取的结果发送给数据中心进行存储，数据中心根据步骤S1到步骤S4的结果生成情绪分析历史数据库；

步骤5：数据中心从前置服务器中获取患者情绪数据，并从医院信息系统中调取该患者的患者病历和就诊记录；

步骤6：情绪识别服务器从数据中心中调取情绪分析历史数据库中的数据作为样本库；

情绪识别服务器依照心理医生的评估完成情绪状态为正面、负面的标注，形成有标签的基于多类数据的样本集，使用样本集通过训练构建有监督分类器模型；

输入样本集基于机器学习算法中的SVM有监督算法构造情绪分类器模型，输入患者的特征向量完成情绪识别分类，获取患者情绪状态的分类结果，把分类结果传送到情感疏导服务器；

步骤7：情感疏导服务器根据收到的分类结果，统计使用者近期情绪状态出现负面的次数，根据心理医生专家的建议设定关于情绪状态的关注阈值、预警阈值，评估使用者的情绪状态；

步骤8：情感疏导服务器根据患者情绪状态的评估结果，制定情感疏导服务策略，推送相应类型的情感疏导服务；

步骤9：情感疏导服务器将使用者情绪状态评估的结果发送给相应的主治医生与护士使用的客户端，以便医护工作人员及时了解到病人的心理状况，为诊疗方案的制定、日常护理工作的开展作为参考。

Images