CN111839489A - 非接触式生理心理健康检测系统 - Google Patents

Abstract

本发明提供了一种非接触式生理心理健康检测系统，涉及健康检测技术领域，本发明通过基于同一采集设备即患者端，采集双光视频，无需重复采集，再基于可见光视频和热红外视频，利用第一非接触式心率检测子系统和非接触式呼吸频率检测子系统分别计算出心率和呼吸频率，第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统同样是基于同一采集装置，即患者端采集的双光视频作为采集数据，无需增加额外的采集装置和采集步骤，就能够获取更多种类的生理参数的检测结果和心理检测结果，患者使用方便，采集步骤更加简单。

Description

非接触式生理心理健康检测系统

技术领域

本发明涉及健康检测技术领域，具体涉及一种非接触式生理心理健康检测系统。

背景技术

生理参数和心理参数的检测能够帮助医生判断患者的健康情况，如何全面的对生理、心理参数进行全面的监测是本领域研究的重要方向之一；

现有的生理心理健康检测系统通常采用多种数据采集装置来采集所需的数据，例如，常用的呼吸检测手段有以下几种：通过放置在鼻孔通气处的热电偶记录呼气及吸气时空气温度的变化实现呼吸的测量。或是通过绑置在胸口的传感器记录胸口呼气及吸气时胸口压力及运动位移的变化来实现呼吸的测量。而常用的心率检测手段有以下几种：通过放置在体表皮肤电极的电位变化来实现心率的测量。或是通过放置在挠动脉处的压力传感器记录血管脉动时的压力变化实现心率的测量。

检测生理参数和心理参数的过程均包括采集阶段和计算阶段，使用现有的方法在采集阶段时，存在各项数据需要分别采集的问题，导致在参数采集阶段的操作步骤繁琐，患者体验较差。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种非接触式生理心理健康检测系统，解决了在采集阶段时，存在各项数据需要分别采集的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种非接触式生理心理健康检测系统，包括医生端以及均与医生端通信连接的患者端和移动端，所述移动端用于可视化展示医生端的检测结果，

所述医生端包括第一非接触式心率检测子系统和非接触式呼吸频率检测子系统；

所述第一非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，并基于ROI区域对应的可见光视频构建时空表示块和空间频率表示块，并通过基于3D CNN层和多通道特征融合层的第一卷积神经网络对时空表示块和空间频率表示块进行特征提取、特征融合、降维，最终得到心率值；

所述非接触式呼吸频率检测子系统用于基于所述患者端采集的可见光视频和热红外视频，从可见光视频中定位人脸的特征点，从热红外视频中定位热红外人脸轮廓；再基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；再实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；并对热红外鼻温变化信号进行预处理；最后基于预处理后的热红外鼻温变化信号获取呼吸频率；

所述医生端还用于将检测结果进行可视化展示，以及在收到移动端的检测结果查看请求时，将检测结果发送至移动端；

所述医生端还包括第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统；

所述第二非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，分别计算ROI区域RGB三通道的像素均值并按时间顺序进行排列得到原始PPG信号，然后对原始PPG信号通过去趋势、标准化和盲源信号分离进行处理，得到处理后的PPG信号，然后将处理后的PPG信号进行傅里叶变换和0.75-3Hz的带通滤波器处理，得到频率在正常范围内的信号即为脉搏波信号，计算出心率；

所述非接触式面温检测子系统用于基于所述患者端采集的可见光视频和热红外视频，采用dlib人脸检测数据库对可见光人脸的特征点的检测；采用轮廓检测算法对热红外人脸的检测；然后，通过可见光人脸的特征点定位热红外人脸特征点，实现对热红外人脸ROI区域的坐标定位；通过热红外图片的像素值与温度值之间的映射关系，将采集到的热红外图片转化成对应的温度值矩阵；在此基础上，通过热红外人脸ROI区域的坐标与温度值矩阵之间的对应关系，计算该ROI区域的最大温度值，即为热红外人脸对应ROI区域的温度值；

所述非接触式血压检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，计算面部可见光视频的每一帧中ROI区域的像素均值，得到连续帧的像素时域变化信号，将初始信号进行带通滤波、去趋势、正则化处理、独立成分分析等操作处理，以提取iPPG信号，计算iPPG信号中的波峰幅度均值和波谷幅度均值，并基于身体质量指数计算舒张压和收缩压；

所述非接触式心理检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，采用搭建并训练好的第二卷积神经网络模型对ROI区域对应的可见光视频进行空间特征提取，实现快乐、悲伤、愤怒、害怕、惊讶和厌恶这六种情绪识别，并统计其中正性、负性心理状态占比；

所述患者端还包括用于通过医生端控制患者端移动的驱动组件，以及用于患者与医生进行视频通话的第一交互组件；

所述医生端还包括第二交互组件，所述第一交互组件和第二交互组件均包括显示模块和语音采集及语音播放模块。

进一步的，所述第一非接触式心率检测子系统包括：人脸检测模块、ROI区域筛选模块、时空表示块生成模块、空间频率表示块生成模块、多通道特征融合心率检测网络模块；

所述人脸检测模块用于检测可见光视频中的人脸，并对面部特征点的坐标进行检测；

所述ROI区域筛选模块用于从面部特征点的坐标中筛选出两个区域作为ROI区域；

所述时空表示块生成模块包括时域信号提取单元和时空子块构建单元；所述时域信号提取单元用于将ROI区域对应的面部视频的分辨率调整为H_ROI1*W_ROI1和H_ROI2*W_ROI2，获得RGB色域空间中的第n个像素的时域信号：

R_mn＝{P_R(n,1,m),P_R(n,2,m),…,P_R(n,T,m)}

G_mn＝{P_G(n,1,m),P_G(n,2,m),…,P_G(n,T,m)}

B_mn＝{P_B(n,1,m),P_B(n,2,m),…,P_B(n,T,m)}

其中，P_R(n,t,m)表示在第m个视频子片段中第t帧的第n个像素在红色通道中的值；

所述时空子块构建单元用于根据视频子片段个数构造M个时空子块，并将视频子片段中第n个像素的时域信号放置到时空子块的第n行，将M个时空子块堆叠得到时空表示块；

所述空间频率表示块生成模块包括频域转换单元、数据筛选单元、时空间频率子块构建单元；所述频域转换单元用于通过快速傅里叶变换将每个时域信号R_mn，G_mn，B_mn变换到频域；所述数据筛选单元用于将频率值在0.75-3.33Hz之间内的数据保留，并将0.75-3.33Hz之外的数据值归零；所述时空间频率子块构建单元用于根据视频子片段个数构造M个空间频率子块，并将视频子片段中第n个像素的频域信号放置到空间频率子块的第n行，将M个空间频率子块堆叠得到空间频率表示块；

所述多通道特征融合心率检测网络模块包括两个3D CNN、一个多通道特征融合层以及两个全连接层；其中一个所述3D CNN用于对时空表示块进行特征提取并降维，得到对应时空表示块的一维特征向量，另一个所述3D CNN用于对空间频率表示块进行特征提取并降维，得到对应空间频率表示块的一维特征向量；所述多通道特征融合层用于将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；多通道特征融合心率检测网络模块中的两个所述全连接层用于对深层特征描述符Z进行降维，得到心率值。

进一步的，所述第一非接触式心率检测子系统还包括视频分割模块，所述视频分割模块用于在时空表示块生成模块以及空间频率表示块生成模块对ROI区域对应的面部视频进行处理前，将时长大于预设值P的ROI区域对应的面部视频划分为M个包含T帧的视频子片段，将时长不大于预设值P的ROI区域对应的面部视频作为一个视频子片段；

每个所述3D CNN均包括五个3D卷积层、四个3D最大池化层和一个全连接层；所述3D卷积层之后均进行批正则化和整流线性单元激活，且每个3D卷积层的输出特征图的计算公式如下：

其中

是3D卷积层l生成的第j个特征图，

是前一个3D卷积层l-1生成的第i个特征图，k_ij表示第i个训练过的3D卷积核，

是偏置，Pooling_max为3D最大池化操作，而*表示3D卷积操作；

所述深层特征描述符Z的计算公式如下：

Z＝{z₁,z₂,…,z_a}；

其中，y_da表示一维特征向量中的Y_d第a个数值，z_a表示深层特征描述符Z中第a个数值。

进一步的，所述非接触式呼吸频率检测子系统包括特征点定位模块、热红外人脸轮廓定位模块、双光配准模块、温度变化信号提取模块、预处理模块、呼吸频率计算模块；

所述特征点定位模块用于从可见光视频中定位人脸的特征点；

所述从热红外人脸轮廓定位模块用于从热红外视频中定位热红外人脸轮廓；

所述双光配准模块用于基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；

所述温度变化信号提取模块用于实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；

所述预处理模块用于对热红外鼻温变化信号依次进行趋势项消除、归一化处理、滤波去噪处理；

所述呼吸频率计算模块用于基于预处理后的热红外鼻温变化信号获取呼吸频率。

进一步的，所述热红外人脸轮廓定位模块定位热红外人脸轮廓包括：

K1、采集人脸的热红外视频前，获取背景热红外图像P1；

K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；

K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；

K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；

K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；

K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；

K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；

K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。

所述温度变化信号提取模块实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号包括：

J4-1、获取热红外视频中第t帧的鼻子ROI区域坐标P(t)，并对P(t)进行采样，通过Adaboost学习算法训练一个用于计算鼻子ROI区域对应的矩形框采样的响应的线性回归器；其中，使用连续的标签进行标记样本；

J4-2、在热红外视频中的第t+1帧中，对前3帧对应的P(t)采样，利用所述线性回归器获取每个采样的响应；

J4-3、将响应最强的采样作为第t+1帧的鼻子ROI区域坐标P(t+1)，计算公式为：P(t+1)＝1/3*(P(t-2)+P(t-1)+P(t))；

J4-4、将热红外图像转化成灰度图像，获取热红外视频中鼻子ROI区域的连续帧的灰度平均值Signal_nose(i)，作为采集时间段的鼻温变化信号；且第i帧图片中的热红外视频中鼻子ROI区域的灰度平均值的计算方式如下：

Signal_nose(i)＝mean(Gray)；

Gray＝0.3R_nose+0.59G_nose+0.11B_nose；

其中，Gray是鼻子ROI区域的灰度图像矩阵；mean(Gray)是对热红外视频中鼻子ROI区域的灰度求平均值的函数，R_nose、G_nose、B_nose分别为热红外视频中鼻子ROI区域R、G、B三通道的图像矩阵。

进一步的，所述双光配准模块基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域包括：

J3-1、基于所有特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；

J3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；

J3-3、基于坐标A、B、C、D以及可见光视频中鼻子对应的特征点坐标，获取可见光视频中鼻子对应的特征点在热红外视频内的坐标，且可见光视频中鼻子对应的第i个特征点的坐标(x_VN(i),y_VN(i))与对应热红外视频内的坐标(x_IN(i),y_IN(i))的转化公式如下：

WIF＝WI，

其中，WV、HV分别为可见光视频中对应人脸的矩形框图片的宽度和高度，WI、HI分别为热红外人脸和脖子共同区域图片的宽度和高度，WIF、HIF为热红外人脸区域的宽度WIF、高度HIF，x_min为左上角点A的横坐标，y_min为左上角点A的纵坐标；

J3-4、基于所有可见光视频中鼻子对应的特征点在热红外视频内的坐标，得到热红外人脸轮廓中的鼻子ROI区域。

进一步的，所述呼吸频率计算模块基于预处理后的热红外鼻温变化信号获取呼吸频率包括：

J6-1、将热红外鼻温变化信号变换为频域信号；

J6-2、保留频率值在0.15-0.4Hz之间内的频域信号，并将0.15-0.4Hz之外的频域信号归零；

J6-3、获取0.15-0.4Hz范围内的频域信号中幅度最大值对应的频率值，得到呼吸频率。

(三)有益效果

本发明提供了一种非接触式生理心理健康检测系统。与现有技术相比，具备以下有益效果：

能够基于同一采集设备即患者端，采集双光视频，无需重复采集，再基于可见光视频和热红外视频，利用第一非接触式心率检测子系统和非接触式呼吸频率检测子系统分别计算出心率和呼吸频率，第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统同样是基于同一采集装置，即患者端采集的双光视频作为采集数据，无需增加额外的采集装置和采集步骤，就能够获取更多种类的生理参数的检测结果和心理检测结果，患者使用方便，采集步骤更加简单。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统框图；

图2为本发明实施例中第一非接触式心率检测子系统的系统框图；

图3为本发明实施例中第一非接触式心率检测子系统中的第一卷积神经网络的网络结构图；

图4为本发明实施例中非接触式呼吸频率检测子系统的系统框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种非接触式生理心理健康检测系统，解决了在采集阶段时，存在各项数据需要分别采集的问题，实现简化采集阶段步骤的效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

如图1所示，本发明提供了一种非接触式生理心理健康检测系统，包括医生端以及均与医生端通信连接的患者端和移动端，所述移动端用于可视化展示医生端的检测结果，

所述医生端包括第一非接触式心率检测子系统和非接触式呼吸频率检测子系统；

所述第一非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，并基于ROI区域对应的可见光视频构建时空表示块和空间频率表示块，并通过基于3D CNN层和多通道特征融合层的第一卷积神经网络对时空表示块和空间频率表示块进行特征提取、特征融合、降维，最终得到心率值；

所述非接触式呼吸频率检测子系统用于基于所述患者端采集的可见光视频和热红外视频，从可见光视频中定位人脸的特征点，从热红外视频中定位热红外人脸轮廓；再基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；再实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；并对热红外鼻温变化信号进行预处理；最后基于预处理后的热红外鼻温变化信号获取呼吸频率；

所述医生端还用于将检测结果进行可视化展示，以及在收到移动端的检测结果查看请求时，将检测结果发送至移动端；

所述医生端还包括第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统；

所述第二非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，分别计算ROI区域RGB三通道的像素均值并按时间顺序进行排列得到原始PPG信号，然后对原始PPG信号通过去趋势、标准化和盲源信号分离进行处理，得到处理后的PPG信号，然后将处理后的PPG信号进行傅里叶变换和0.75-3Hz的带通滤波器处理，得到频率在正常范围内的信号即为脉搏波信号，计算出心率；

所述非接触式面温检测子系统用于基于所述患者端采集的可见光视频和热红外视频，采用dlib人脸检测数据库对可见光人脸的特征点的检测；采用轮廓检测算法对热红外人脸的检测；然后，通过可见光人脸的特征点定位热红外人脸特征点，实现对热红外人脸ROI区域的坐标定位；通过热红外图片的像素值与温度值之间的映射关系，将采集到的热红外图片转化成对应的温度值矩阵；在此基础上，通过热红外人脸ROI区域的坐标与温度值矩阵之间的对应关系，计算该ROI区域的最大温度值，即为热红外人脸对应ROI区域的温度值；

所述非接触式血压检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，计算面部可见光视频的每一帧中ROI区域的像素均值，得到连续帧的像素时域变化信号，将初始信号进行带通滤波、去趋势、正则化处理、独立成分分析等操作处理，以提取iPPG信号，计算iPPG信号中的波峰幅度均值和波谷幅度均值，并基于身体质量指数计算舒张压和收缩压；

所述非接触式心理检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，采用搭建并训练好的第二卷积神经网络模型对ROI区域对应的可见光视频进行空间特征提取，实现快乐、悲伤、愤怒、害怕、惊讶和厌恶这六种情绪识别，并统计其中正性、负性心理状态占比；

所述患者端还包括用于通过医生端控制患者端移动的驱动组件，以及用于患者与医生进行视频通话的第一交互组件；

所述医生端还包括第二交互组件，所述第一交互组件和第二交互组件均包括显示模块和语音采集及语音播放模块。

本发明实施例与现有技术相比，能够基于同一采集设备即患者端，采集双光视频，无需重复采集，再基于可见光视频和热红外视频，利用第一非接触式心率检测子系统和非接触式呼吸频率检测子系统分别计算出心率和呼吸频率，第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统同样是基于同一采集装置，即患者端采集的双光视频作为采集数据，无需增加额外的采集装置和采集步骤，就能够获取更多种类的生理参数的检测结果和心理检测结果，患者使用方便，采集步骤更加简单。

本实施例中，如图2所示，所述第一非接触式心率检测子系统包括：人脸检测模块、ROI区域筛选模块、时空表示块生成模块、空间频率表示块生成模块、多通道特征融合心率检测网络模块；

所述人脸检测模块用于检测可见光视频中的人脸，并对面部特征点的坐标进行检测；

所述ROI区域筛选模块用于从面部特征点的坐标中筛选出两个区域作为ROI区域；

所述时空表示块生成模块包括时域信号提取单元和时空子块构建单元；所述时域信号提取单元用于将ROI区域对应的面部视频的分辨率调整为H_ROI1*W_ROI1和H_ROI2*W_ROI2，获得RGB色域空间中的第n个像素的时域信号：

R_mn＝{P_R(n,1,m),P_R(n,2,m),…,P_R(n,T,m)}

G_mn＝{P_G(n,1,m),P_G(n,2,m),…,P_G(n,T,m)}

B_mn＝{P_B(n,1,m),P_B(n,2,m),…,P_B(n,T,m)}

其中，P_R(n,t,m)表示在第m个视频子片段中第t帧的第n个像素在红色通道中的值；

所述时空子块构建单元用于根据视频子片段个数构造M个时空子块，并将视频子片段中第n个像素的时域信号放置到时空子块的第n行，将M个时空子块堆叠得到时空表示块；

所述空间频率表示块生成模块包括频域转换单元、数据筛选单元、时空间频率子块构建单元；所述频域转换单元用于通过快速傅里叶变换将每个时域信号R_mn，G_mn，B_mn变换到频域；所述数据筛选单元用于将频率值在0.75-3.33Hz之间内的数据保留，并将0.75-3.33Hz之外的数据值归零；所述时空间频率子块构建单元用于根据视频子片段个数构造M个空间频率子块，并将视频子片段中第n个像素的频域信号放置到空间频率子块的第n行，将M个空间频率子块堆叠得到空间频率表示块；

如图3所示，所述多通道特征融合心率检测网络模块包括两个3D CNN、一个多通道特征融合层以及两个全连接层；其中一个所述3D CNN用于对时空表示块进行特征提取并降维，得到对应时空表示块的一维特征向量，另一个所述3D CNN用于对空间频率表示块进行特征提取并降维，得到对应空间频率表示块的一维特征向量；所述多通道特征融合层用于将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；多通道特征融合心率检测网络模块中的两个所述全连接层用于对深层特征描述符Z进行降维，得到心率值。

本实施例中，所述第一非接触式心率检测子系统还包括视频分割模块，所述视频分割模块用于在时空表示块生成模块以及空间频率表示块生成模块对ROI区域对应的面部视频进行处理前，将时长大于预设值P的ROI区域对应的面部视频划分为M个包含T帧的视频子片段，将时长不大于预设值P的ROI区域对应的面部视频作为一个视频子片段；

每个所述3D CNN均包括五个3D卷积层、四个3D最大池化层和一个全连接层；所述3D卷积层之后均进行批正则化和整流线性单元激活，且每个3D卷积层的输出特征图的计算公式如下：

其中

是3D卷积层l生成的第j个特征图，

是前一个3D卷积层l-1生成的第i个特征图，k_ij表示第i个训练过的3D卷积核，

是偏置，Pooling_max为3D最大池化操作，而*表示3D卷积操作；

所述深层特征描述符Z的计算公式如下：

Z＝{z₁,z₂,…,z_a}；

其中，y_da表示一维特征向量中的Y_d第a个数值，z_a表示深层特征描述符Z中第a个数值。

本发明实施例采用上述的第一非接触式心率检测子系统进行心率检测，构建的时空表示块和空间频率表示块能够完整保留时域信号和频域信号，使得后面利用卷积神经网络进行特征提取时，在时域和频域上产生更具有判别性的一维特征向量。通过将时空表示块和空间频率表示块作为多通道特征融合心率检测网络的输入；并通过两个3D CNN分别对时空表示块和空间频率表示块进行特征提取和降维，能够得到更优的时域特征和频域特征，输出分别对应时空表示块和空间频率表示块的两个一维特征向量；再通过多通道特征融合层将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；最终通过两个全连接层对深层特征描述符Z进行降维，得到更加准确的心率值。且本发明实施例直接对时域信号和傅里叶变换后的频域信号进行特征处理，而非将其转换成频谱图，这样做避免了对面部血流信息的二次描记过程，减少关键信息丢失概率。且本发明实施例在对时域和频域特征处理后再融合，就不会在计算过程中丢失某一类特征，而利用频谱图则会存在这种风险。

本实施例中，如图4所示，所述非接触式呼吸频率检测子系统包括特征点定位模块、热红外人脸轮廓定位模块、双光配准模块、温度变化信号提取模块、预处理模块、呼吸频率计算模块；

所述特征点定位模块用于从可见光视频中定位人脸的特征点；

所述从热红外人脸轮廓定位模块用于从热红外视频中定位热红外人脸轮廓；

所述双光配准模块用于基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；

所述温度变化信号提取模块用于实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；

所述预处理模块用于对热红外鼻温变化信号依次进行趋势项消除、归一化处理、滤波去噪处理；

所述呼吸频率计算模块用于基于预处理后的热红外鼻温变化信号获取呼吸频率。

本发明实施例通过采集人脸的可见光视频和热红外视频，并从可见光视频中定位人脸的特征点，从热红外视频中定位热红外人脸轮廓，再基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域，以便在热红外视频中对鼻子ROI区域进行追踪；通过对热红外视频中的鼻子ROI区域进行追踪，可以得到热红外鼻温变化信号，由于热红外图像灰度分布与目标反射特征无线性关系，使得外部光线变化和不同肤色的差异对热红外鼻温变化信号几乎无影响，再对热红外鼻温变化信号进行预处理和计算，即可得到准确度更高的呼吸频率检测结果。

本实施例中，所述热红外人脸轮廓定位模块定位热红外人脸轮廓包括：

K1、采集人脸的热红外视频前，获取背景热红外图像P1；

K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；

K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；

K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；

K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；

K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；

K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；

K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。

通过比较采集前和采集后的采集环境的热红外视频帧截图，能够确定采集环境中的高温区域，通过将已有的高温区域从采集时的热红外视频剔除，能够避免采集环境中局部高温区域对热红外人脸轮廓的定位准确性的影响。

所述温度变化信号提取模块实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号包括：

J4-1、获取热红外视频中第t帧的鼻子ROI区域坐标P(t)，并对P(t)进行采样，通过Adaboost学习算法训练一个用于计算鼻子ROI区域对应的矩形框采样的响应的线性回归器；其中，使用连续的标签进行标记样本；

J4-2、在热红外视频中的第t+1帧中，对前3帧对应的P(t)采样，利用所述线性回归器获取每个采样的响应；

J4-3、将响应最强的采样作为第t+1帧的鼻子ROI区域坐标P(t+1)，计算公式为：P(t+1)＝1/3*(P(t-2)+P(t-1)+P(t))；

J4-4、将热红外图像转化成灰度图像，获取热红外视频中鼻子ROI区域的连续帧的灰度平均值Signal_nose(i)，作为采集时间段的鼻温变化信号；且第i帧图片中的热红外视频中鼻子ROI区域的灰度平均值的计算方式如下：

Signal_nose(i)＝mean(Gray)；

Gray＝0.3R_nose+0.59G_nose+0.11B_nose；

其中，Gray是鼻子ROI区域的灰度图像矩阵；mean(Gray)是对热红外视频中鼻子ROI区域的灰度求平均值的函数，R_nose、G_nose、B_nose分别为热红外视频中鼻子ROI区域R、G、B三通道的图像矩阵。

通过上述方法计算鼻温变化信号能够避免在采集过程中，头部运动导致的追踪误差的问题。

本实施例中，所述双光配准模块基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域包括：

J3-1、基于所有特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；

J3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；

J3-3、基于坐标A、B、C、D以及可见光视频中鼻子对应的特征点坐标，获取可见光视频中鼻子对应的特征点在热红外视频内的坐标，且可见光视频中鼻子对应的第i个特征点的坐标(x_VN(i),y_VN(i))与对应热红外视频内的坐标(x_IN(i),y_IN(i))的转化公式如下：

WIF＝WI，

其中，WV、HV分别为可见光视频中对应人脸的矩形框图片的宽度和高度，WI、HI分别为热红外人脸和脖子共同区域图片的宽度和高度，WIF、HIF为热红外人脸区域的宽度WIF、高度HIF，x_min为左上角点A的横坐标，y_min为左上角点A的纵坐标；

J3-4、基于所有可见光视频中鼻子对应的特征点在热红外视频内的坐标，得到热红外人脸轮廓中的鼻子ROI区域。

本实施例中，所述呼吸频率计算模块基于预处理后的热红外鼻温变化信号获取呼吸频率包括：

J6-1、将热红外鼻温变化信号变换为频域信号；

J6-2、保留频率值在0.15-0.4Hz之间内的频域信号，并将0.15-0.4Hz之外的频域信号归零；

J6-3、获取0.15-0.4Hz范围内的频域信号中幅度最大值对应的频率值，得到呼吸频率。

下面对本实施例的实现过程进行详细的说明：

医生端、患者端、移动端之间均通过无线或有线网络进行通信。

患者端设置在患者面前，通过患者端的双光检测模块采集患者的可见光视频和热红外视频，在采集的同时，医生端可以通过控制驱动组件来控制患者端的运动，且通过第一、第二交互组件实现医生和患者进行视频通话。

采集完毕后，患者端将采集的可见光视频和热红外视频通过通信网络传输至医生端，最终使用医生端中的各个子系统分别对可见光视频和热红外视频进行处理，得到对应的心理和生理参数；

在得到检测结果后，在医生端进行可视化的展示，且可根据医生的需要，医生使用移动端同样可获取检测结果，并在移动端上进行可视化展示。移动端包括装有实现相应功能软件的手机、PC、平板电脑。

其中，在光照条件变化较大且头部运动明显的情况下，为了保证心率测量的准确性，医生可选择采用第一非接触式心率检测子系统进行测量。且第一非接触式心率检测子系统的详细实施过程包括S1-S5：

S1、通过面部特征点定位和人脸检测算法从面部视频中检测人脸并确定两个ROI区域；由于选择整个人脸作为感兴趣区域(ROI)时，部分面部区域，例如眼睛区域无法检测到颜色的变化，例如脸颊、嘴部附近、鼻翼两侧的面部区域受到头部运动和环境光照变化影响较大，因此会产生很大的噪声，进而导致心率检测的准确率下降。且处理整个面部所需的运算量过大，程序运行的效率也更低。考虑到前额和鼻子周围的区域包含更多的心率信息且较少涉及面部动作(眨眼和面部表情等)。通过Dlib库集成的基于集成回归树的面部特征点定位模型，对面部特征点的坐标进行检测，并提取出前额和鼻子对应的区域作为两个ROI区域，即ROI1和ROI2。这两个区域受到头部运动和环境光照变化的干扰较小且数据量较小，能够有效的降低头部运动和环境光照变化导致的干扰，提高心率检测的准确率，同时有助于降低运行负荷。

考虑到心率可能会在很长一段时间内发生多次大幅变化，在执行所述S201前，若ROI区域对应的面部视频的时长超过预设值P，则将其划分为M个包含T帧的视频子片段，例如P＝30S,M＝5,T＝180，若ROI区域对应的面部视频的时长不超过预设值P，则将面部视频作为一个视频子片段。有助于在每个短时间间隔信号中提取更多特征。

S2、基于两个所述ROI区域对应的面部视频构建时空表示块和空间频率表示块；具体包括如下步骤：

S201、将ROI区域对应的面部视频的分辨率调整为H_ROI1*W_ROI1和H_ROI2*W_ROI2，例如额头区域的分辨率为7*9，鼻翼区域的分辨率为15*31，因此对于每一帧图像，提取的像素总数N＝H_ROI1*W_ROI1+H_ROI2*W_ROI2，获得RGB色域空间中的第n个像素的时域信号:

R_mn＝{P_R(n,1,m),P_R(n,2,m),…,P_R(n,T,m)}，

G_mn＝{P_G(n,1,m),P_G(n,2,m),…,P_G(n,T,m)}，

B_mn＝{P_B(n,1,m),P_B(n,2,m),…,P_B(n,T,m)}，

其中，P_R(n,t,m)表示在第m个视频子片段中第t帧的第n个像素在红色通道中的值；蓝色通道和绿色通道以此类推。

S202、为了充分利用时域信息，根据视频子片段个数构造M个时空子块，并将视频子片段中第n个像素的时域信号放置到时空子块的第n行，将M个时空子块堆叠获得原始面部视频的时空表示块，其维度为M×N×T×3，且具有丰富的时间特征。

S203、为了充分利用频域信息，通过使用快速傅里叶变换将每个时域信号R_mn，G_mn，B_mn变换到频域，考虑到人类正常的HR为45-200bpm，相应的频带为0.75-3.33Hz，因此通过带通滤波器将频率值在0.75-3.33Hz之间内的数据保留，并将0.75-3.33Hz之外的数据值归零；一方面能够消除噪声频率，另一方面可以提取对心率分析有用的频域信息。根据视频子片段个数构造M个空间频率子块，并将视频子片段中第n个像素的频域信号放置到空间频率子块的第n行，将M个空间频率子块堆叠获得原始面部视频的空间频率表示块；其维度为M×N×F×3，其中F表示0.75-3.33Hz之间的采样点数。

S3、考虑与2D CNN相比，3D卷积和3D池化操作具有良好的特征学习能力，选择3D卷积核来执行所构造的时空块和空间频率块的卷积运算；因此通过一个3D CNN对时空表示块进行特征提取并降维，得到对应时空表示块的一维特征向量，并通过另一个3D CNN对空间频率表示块进行特征提取并降维，得到对应空间频率表示块的一维特征向量；包括：

S301、每个3D CNN的五个3D卷积层(3D-CONV)之后均进行批正则化和整流线性单元激活，且每个卷积层输出的特征图的计算公式如下：

其中

是3D卷积层l生成的第j个特征图，

是前一个3D卷积层l-1生成的第i个特征图，k_ij表示第i个训练过的3D卷积核，

是偏置，Pooling_max为3D最大池化操作，而*表示3D卷积操作；

S302、每个所述3D CNN中的全连接层将特征图降维，得到一维特征向量，其中，时空表示块对应的3D CNN输出的一维特征向量为：Y₁＝{y₁₁,y₁₂,…,y_1A}，空间频率块对应的3D CNN输出的一维特征向量为：Y₂＝{y₂₁,y₂₂,…,y_2A}，其中，A表示3D CNN中的全连接层中的单元数。

S4、为了从每个一维特征向量中挖掘数据间的关系，通过多通道特征融合层将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；且深层特征描述符Z计算公式如下：

Z＝{z₁,z₂,…,z_a}；

其中，y_da表示一维特征向量中的Y_d第a个数值，z_a表示深层特征描述符Z中第a个数值。

S5、通过两个全连接层对深层特征描述符Z进行降维，最终得到心率值，即HR。

表1、只提取时域信号、只提取频域信号以及将时域信号和频域信号进行多通道特征融合的心率检测结果对照表

如表1所示，HR-Net-T-Block指的是只提取时域信号的结果，HR-Net-F-Block指的是只提取频域信号的结果，HR-Net是将时域信号和频域信号进行多通道特征融合的结果，MSE为均方误差、MAE为平均绝对误差、MAPE为平均绝对百分比误差、ρ为皮尔逊相关系数，可知，本实施例方法的各项指标均优于其他方案，心率检测准确率更高。

非接触式呼吸频率检测子系统的详细实施过程包括J1-J6：

J1、通过双光视频采集模块同步采集人脸的可见光视频和热红外视频，且采集时长为一分钟。

J2、特征点定位模块通过SURF特征提取算法或其他特征提取算法从可见光视频中定位人脸的特征点，得到特征点的坐标；

对于上述特征点，采用Adaboost学习算法，对最能代表人脸关键特征的矩阵特征(弱分类器)，按照投票机制，对每个弱分类器的投票结果进行加权，从而组合成为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，最终实现人脸检测，准确标定出可见光视频中人脸的鼻子、眼睛、嘴巴、下巴等部位的81个特征点。

由于人体表面温度通常在33.5℃至37℃，被测者一般在室内进行采集，而室内的环境温度一般低于人体表面温度，人脸区域与环境区域具有较大的温度差值，根据这一特点，通过热红外人脸轮廓定位模块从热红外视频中筛选出温度值高于阈值E的点所构成的区域作为热红外人脸轮廓，得到热红外人脸轮廓的坐标。例如，E取33.5℃。但在应用时，存在采集环境中会由局部高温的区域，导致热红外人脸轮廓定位出现偏差，为了避免此问题，可采用如下方案来确保热红外人脸轮廓的定位准确。

所述从热红外视频中定位热红外人脸轮廓包括：

K1、采集人脸的热红外视频前，获取背景热红外图像P1；

K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；

K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；

K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；

K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；

K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；

K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；

K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。

其中，K1中获取背景热红外图像P1可采用的方案为：热红外视频采集模块在采集前保持视频的采集，通过传感器，例如在座位上设置压力传感器等，确定待测人员进入检测区域的时刻t，获取t前n秒的热红外视频的帧截图，作为P1，同理可确定待测人员进入检测区域的时刻t’，获取t后n秒的热红外视频的帧截图作为P3。n可设置为3秒。通过比较采集前和采集后的采集环境的热红外视频帧截图，能够确定采集环境中的高温区域，通过将已有的高温区域从采集时的热红外视频剔除，能够避免采集环境中局部高温区域对热红外人脸轮廓的定位准确性的影响。

J3、通过双光配准模块基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域包括：

J3-1、基于所有特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；具体为：人脸的第i个特征点的坐标可记为(x_i,y_i)，则可得到所有特征点的横坐标集合X＝{x₁,x₂,…,x_M}和纵坐标集合Y＝{y₁,y₂,…,y_M}，因此，左上角的点作为图像的坐标原点时，可见光视频中对应人脸的矩形框的左上角点的坐标为A(x_min，y_min)，右下角点的坐标为B(x_max,y_max)；且x∈X，y∈Y，x_min为X中的最小值，x_max为X中的最大值，y_min为Y中的最小值，y_max为Y中的最大值。

J3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；和A、B的获取方法类似，例如，E＝33.5℃时，热红外人脸轮廓的点集有N个，热红外人脸轮廓中的第i个点的坐标可记为(x”_i，y”_i)，可得到所有热红外人脸轮廓中的点的横坐标集合X”＝{x”₁,x”₂,…,x”_N}和纵坐标集合Y”＝{y”₁,y”₂,…,y”_N}，则C(x”_min，y”_min)、D(x”_max,y”_max)，且x”∈X”，y”∈Y”，x”_min为X”中的最小值，x”_max为X”中的最大值，y”_min为Y”中的最小值，y”_max为Y”中的最大值。

由于分割出来的可见光视频中的人脸和热红外视频中的人脸的大小不一致，需要进行一致化转化，才能使得特征点能够一一对应。

J3-3、可见光视频中对应人脸的矩形框图片的宽度和高度分别为WV、HV，热红外人脸和脖子共同区域图片的宽度和高度为WI、HI，可知热红外人脸区域的宽度WIF、高度HIF分别为：

WIF＝WI，

其中，WV、HV可根据A、B求得，WI、HI可根据C、D求得。

可见光视频中鼻子对应的第i个特征点的坐标为(x_VN(i),y_VN(i))，则对应热红外视频内的坐标(x_IN(i),y_IN(i))的计算公式如下：

J3-4、基于所有可见光视频中鼻子对应的特征点在热红外视频内的坐标，得到热红外人脸轮廓中的鼻子ROI区域。

J4、人在呼吸过程中，鼻子附近的气体温度会有明显的差异性，以及鼻子附近气体的温度变化具有周期性。根据上述特点，通过温度变化信号提取模块追踪热红外人脸轮廓中的鼻子ROI区域，并将热红外图像转化成灰度图像，获取热红外视频中鼻子ROI区域的连续帧的灰度平均值Signal_nose(i)作为采集时间段的鼻温变化信号；但由于考虑到实际情况可能存在头部运动导致的追踪误差的问题，为了解决此问题，可采用如下步骤：

J4-1、获取热红外视频中第t帧的鼻子ROI区域坐标P(t)，并对P(t)进行采样，通过Adaboost学习算法训练一个用于计算鼻子ROI区域对应的矩形框采样的响应的线性回归器；其中，使用连续的标签进行标记样本；(即根据样本中心离目标远近分别赋值[0,1]范围的数。离目标越近，值越趋近于1，越远越趋向于0。核相关滤波算法(KCF)通过使用[0,1]范围的值作为样本的回归值，从而给不同偏移下得到的样本不同的权重)。

训练线性回归器的选择基本上是以目标中心提取正样本，然后基于周围的图像提取负样本。大部分算法都是采用非正既负的方法来标记训练样本，即正样本标签为1，负样本为0。这种标记方法有一个问题，就是不能很好的反应每个负样本的权重，即对离目标远的样本和离目标近的样本同样对待。

J4-2、在热红外视频中的第t+1帧中，对前3帧对应的P(t)采样，利用所述线性回归器获取每个采样的响应；

J4-3、将响应最强的采样作为第t+1帧的鼻子ROI区域坐标P(t+1)，计算公式为：P(t+1)＝1/3*(P(t-2)+P(t-1)+P(t))；即通过前三帧的坐标平均值来确定本帧图片的坐标。

J4-4、将热红外图像转化成灰度图像，获取热红外视频中鼻子ROI区域的连续帧的灰度平均值Signal_nose(i)，作为采集时间段的鼻温变化信号；且第i帧图片中的热红外视频中鼻子ROI区域的灰度平均值的计算方式如下：

Signal_nose(i)＝mean(Gray)；

Gray＝0.3R_nose+0.59G_nose+0.11B_nose；

其中，Gray是鼻子ROI区域的灰度图像矩阵；mean(Gray)是对热红外视频中鼻子ROI区域的灰度求平均值的函数R_nose、G_nose、B_nose分别为热红外视频中鼻子ROI区域R、G、B三通道的图像矩阵。

J5、由于采集到的初始鼻温变化信号本身存在一定程度的震荡，并且低频分量也会对鼻温信号造成影响；同时，由于信号采集器件的不稳定性以及极易受到周围环境的干扰，会导致信号产生零点漂移，往往会使信号偏离基线，甚至偏离基线的大小还会随时间变化。偏离基线随时间变化的整个过程被称为信号的趋势项。而趋势项会影响信号的质量和正确性，因此，通过预处理模块对鼻温变化信号的趋势项进行消除；随后，对鼻温变化信号进行归一化处理，且计算公式如下：

其中，σ是标准差，μ是原始信号的均值，signal_nose是归一化之前的鼻温变化信号，signal_nose'是归一化之后的鼻温变化信号。

接着，对归一化后的鼻温变化信号进行滤波去噪。由于呼吸的波形相对平稳，对应的是低频信号。而噪声的频率较高。如果可以将原始信号进行分解，保留低频部分、滤除高频部分，就可以实现信号去噪。具体可采用Butterworth滤波器，因为其具有通带内最大平坦的振幅特性，且在正频率内的振幅随频率升高而单调下降，通常用于低通滤波，可以把正常呼吸频率的信号过滤出来。Butterworth滤波器定义为：

其中，Ω_p和Ω为通带上限、下限截止频率，N为Butterworth滤波器的阶数。通常，选择通带允许的最大衰减为3dB，此时e＝1。

J6、通过呼吸频率计算模块基于预处理后的热红外鼻温变化信号获取呼吸频率包括：

J6-1、利用快速傅里叶变换将热红外鼻温变化信号变换为频域信号；

J6-2、人类正常的呼吸频率为9-24bpm，相应的频带为0.15-0.4Hz因此，保留频率值在0.15-0.4Hz之间内的频域信号，并将0.15-0.4Hz之外的频域信号归零；通过这种方式，一方面可以消除噪声频率，另一方面可以提取对呼吸频率分析有用的频域信息。

J6-3、获取0.15-0.4Hz范围内的频域信号中幅度最大值对应的频率值f_max，得到呼吸频率，且呼吸频率RR的计算公式为RR＝f_max*60。

为了更好的利用采集的双光视频，将现有的第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统均整合至本系统中，实现更多种类生理参数的测量，同时能够实现心理参数的测量。

在光照条件变化不大且头部运动不明显的时候，医生可选择用传统的非接触式心率测量方法进行测量，所述第二非接触式心率检测子系统为现有技术，基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，分别计算ROI区域RGB三通道的像素均值并按时间顺序进行排列得到原始PPG信号，然后对原始PPG信号通过去趋势、标准化和盲源信号分离进行处理，得到处理后的PPG信号，然后将处理后的PPG信号进行傅里叶变换和0.75-3Hz的带通滤波器处理，得到频率在正常范围内的信号即为脉搏波信号，计算出心率；

所述非接触式面温检测子系统为现有技术，基于所述患者端采集的可见光视频和热红外视频，采用dlib人脸检测数据库对可见光人脸的特征点的检测；采用轮廓检测算法对热红外人脸的检测；然后，通过可见光人脸的特征点定位热红外人脸特征点，实现对热红外人脸ROI区域的坐标定位；通过热红外图片的像素值与温度值之间的映射关系，将采集到的热红外图片转化成对应的温度值矩阵；在此基础上，通过热红外人脸ROI区域的坐标与温度值矩阵之间的对应关系，计算该ROI区域的最大温度值，即为热红外人脸对应ROI区域的温度值；

所述非接触式血压检测子系统为现有技术，基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，计算面部可见光视频的每一帧中ROI区域的像素均值，得到连续帧的像素时域变化信号，将初始信号进行带通滤波、去趋势、正则化处理、独立成分分析等操作处理，以提取iPPG信号，计算iPPG信号中的波峰幅度均值和波谷幅度均值，并基于身体质量指数计算舒张压和收缩压；

所述非接触式心理检测子系统为现有技术，基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，采用搭建并训练好的第二卷积神经网络模型对ROI区域对应的可见光视频进行空间特征提取，实现快乐、悲伤、愤怒、害怕、惊讶和厌恶这六种情绪识别，并统计其中正性、负性心理状态占比。

综上所述，与现有技术相比，本发明具备以下有益效果：

1、本发明实施例采用能够基于同一采集设备即患者端，采集双光视频，无需重复采集，再基于可见光视频和热红外视频，利用第一非接触式心率检测子系统和非接触式呼吸频率检测子系统分别计算出心率和呼吸频率，第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统同样是基于同一采集装置，即患者端采集的双光视频作为采集数据，无需增加额外的采集装置和采集步骤，就能够获取更多种类的生理参数的检测结果和心理检测结果，患者使用方便，采集步骤更加简单。

2、采用上述的第一非接触式心率检测子系统进行心率检测，构建的时空表示块和空间频率表示块能够完整保留时域信号和频域信号，使得后面利用卷积神经网络进行特征提取时，在时域和频域上产生更具有判别性的一维特征向量。通过将时空表示块和空间频率表示块作为多通道特征融合心率检测网络的输入；并通过两个3D CNN分别对时空表示块和空间频率表示块进行特征提取和降维，能够得到更优的时域特征和频域特征，输出分别对应时空表示块和空间频率表示块的两个一维特征向量；再通过多通道特征融合层将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；最终通过两个全连接层对深层特征描述符Z进行降维，得到更加准确的心率值。且本发明实施例直接对时域信号和傅里叶变换后的频域信号进行特征处理，而非将其转换成频谱图，这样做避免了对面部血流信息的二次描记过程，减少关键信息丢失概率。且本发明实施例在对时域和频域特征处理后再融合，就不会在计算过程中丢失某一类特征，而利用频谱图则会存在这种风险。

3、本发明实施例通过采集人脸的可见光视频和热红外视频，并从可见光视频中定位人脸的特征点，从热红外视频中定位热红外人脸轮廓，再基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域，以便在热红外视频中对鼻子ROI区域进行追踪；通过对热红外视频中的鼻子ROI区域进行追踪，可以得到热红外鼻温变化信号，由于热红外图像灰度分布与目标反射特征无线性关系，使得外部光线变化和不同肤色的差异对热红外鼻温变化信号几乎无影响，再对热红外鼻温变化信号进行预处理和计算，即可得到准确度更高的呼吸频率检测结果。且能够解决存在采集环境中会由局部高温的区域，导致热红外人脸轮廓定位出现偏差的问题，以及头部运动导致的追踪误差的问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种非接触式生理心理健康检测系统，包括医生端以及均与医生端通信连接的患者端和移动端，所述移动端用于可视化展示医生端的检测结果，其特征在于；

所述医生端包括第一非接触式心率检测子系统和非接触式呼吸频率检测子系统；

所述第一非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，并基于ROI区域对应的可见光视频构建时空表示块和空间频率表示块，并通过基于3D CNN层和多通道特征融合层的第一卷积神经网络对时空表示块和空间频率表示块进行特征提取、特征融合、降维，最终得到心率值；

所述非接触式呼吸频率检测子系统用于基于所述患者端采集的可见光视频和热红外视频，从可见光视频中定位人脸的特征点，从热红外视频中定位热红外人脸轮廓；再基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；再实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；并对热红外鼻温变化信号进行预处理；最后基于预处理后的热红外鼻温变化信号获取呼吸频率；

所述医生端还用于将检测结果进行可视化展示，以及在收到移动端的检测结果查看请求时，将检测结果发送至移动端；

所述医生端还包括第二非接触式心率检测子系统、非接触式面温检测子系统、非接触式血压检测子系统、非接触式心理检测子系统；

所述第二非接触式心率检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，分别计算ROI区域RGB三通道的像素均值并按时间顺序进行排列得到原始PPG信号，然后对原始PPG信号通过去趋势、标准化和盲源信号分离进行处理，得到处理后的PPG信号，然后将处理后的PPG信号进行傅里叶变换和0.75-3Hz的带通滤波器处理，得到频率在正常范围内的信号即为脉搏波信号，计算出心率；

所述非接触式面温检测子系统用于基于所述患者端采集的可见光视频和热红外视频，采用dlib人脸检测数据库对可见光人脸的特征点的检测；采用轮廓检测算法对热红外人脸的检测；然后，通过可见光人脸的特征点定位热红外人脸特征点，实现对热红外人脸ROI区域的坐标定位；通过热红外图片的像素值与温度值之间的映射关系，将采集到的热红外图片转化成对应的温度值矩阵；在此基础上，通过热红外人脸ROI区域的坐标与温度值矩阵之间的对应关系，计算该ROI区域的最大温度值，即为热红外人脸对应ROI区域的温度值；

所述非接触式血压检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，计算面部可见光视频的每一帧中ROI区域的像素均值，得到连续帧的像素时域变化信号，将初始信号进行带通滤波、去趋势、正则化处理、独立成分分析等操作处理，以提取iPPG信号，计算iPPG信号中的波峰幅度均值和波谷幅度均值，并基于身体质量指数计算舒张压和收缩压；

所述非接触式心理检测子系统用于基于所述患者端采集的可见光视频，通过人脸检测算法和特征点定位算法定位ROI区域，采用搭建并训练好的第二卷积神经网络模型对ROI区域对应的可见光视频进行空间特征提取，实现快乐、悲伤、愤怒、害怕、惊讶和厌恶这六种情绪识别，并统计其中正性、负性心理状态占比。

所述患者端还包括用于通过医生端控制患者端移动的驱动组件，以及用于患者与医生进行视频通话的第一交互组件；

所述医生端还包括第二交互组件，所述第一交互组件和第二交互组件均包括显示模块和语音采集及语音播放模块。

2.如权利要求1所述的一种非接触式生理心理健康检测系统，其特征在于，所述第一非接触式心率检测子系统包括：人脸检测模块、ROI区域筛选模块、时空表示块生成模块、空间频率表示块生成模块、多通道特征融合心率检测网络模块；

所述人脸检测模块用于检测可见光视频中的人脸，并对面部特征点的坐标进行检测；

所述ROI区域筛选模块用于从面部特征点的坐标中筛选出两个区域作为ROI区域；

所述时空表示块生成模块包括时域信号提取单元和时空子块构建单元；所述时域信号提取单元用于将ROI区域对应的面部视频的分辨率调整为H_ROI1*W_ROI1和H_ROI2*W_ROI2，获得RGB色域空间中的第n个像素的时域信号：

R_mn＝{P_R(n,1,m),P_R(n,2,m),…,P_R(n,T,m)}

G_mn＝{P_G(n,1,m),P_G(n,2,m),…,P_G(n,T,m)}

B_mn＝{P_B(n,1,m),P_B(n,2,m),…,P_B(n,T,m)}

其中，P_R(n,t,m)表示在第m个视频子片段中第t帧的第n个像素在红色通道中的值；

所述时空子块构建单元用于根据视频子片段个数构造M个时空子块，并将视频子片段中第n个像素的时域信号放置到时空子块的第n行，将M个时空子块堆叠得到时空表示块；

所述空间频率表示块生成模块包括频域转换单元、数据筛选单元、时空间频率子块构建单元；所述频域转换单元用于通过快速傅里叶变换将每个时域信号R_mn，G_mn，B_mn变换到频域；所述数据筛选单元用于将频率值在0.75-3.33Hz之间内的数据保留，并将0.75-3.33Hz之外的数据值归零；所述时空间频率子块构建单元用于根据视频子片段个数构造M个空间频率子块，并将视频子片段中第n个像素的频域信号放置到空间频率子块的第n行，将M个空间频率子块堆叠得到空间频率表示块；

所述多通道特征融合心率检测网络模块包括两个3D CNN、一个多通道特征融合层以及两个全连接层；其中一个所述3D CNN用于对时空表示块进行特征提取并降维，得到对应时空表示块的一维特征向量，另一个所述3D CNN用于对空间频率表示块进行特征提取并降维，得到对应空间频率表示块的一维特征向量；所述多通道特征融合层用于将两个所述一维特征向量进行特征融合，得到深层特征描述符Z；多通道特征融合心率检测网络模块中的两个所述全连接层用于对深层特征描述符Z进行降维，得到心率值。

3.如权利要求2所述的一种非接触式生理心理健康检测系统，其特征在于，所述第一非接触式心率检测子系统还包括视频分割模块，所述视频分割模块用于在时空表示块生成模块以及空间频率表示块生成模块对ROI区域对应的面部视频进行处理前，将时长大于预设值P的ROI区域对应的面部视频划分为M个包含T帧的视频子片段，将时长不大于预设值P的ROI区域对应的面部视频作为一个视频子片段；

每个所述3D CNN均包括五个3D卷积层、四个3D最大池化层和一个全连接层；所述3D卷积层之后均进行批正则化和整流线性单元激活，且每个3D卷积层的输出特征图的计算公式如下：

其中

是3D卷积层l生成的第j个特征图，

是前一个3D卷积层l-1生成的第i个特征图，k_ij表示第i个训练过的3D卷积核，

是偏置，Pooling_max为3D最大池化操作，而*表示3D卷积操作；

所述深层特征描述符Z的计算公式如下：

Z＝{z₁,z₂,…,z_a}；

其中，y_da表示一维特征向量中的Y_d第a个数值，z_a表示深层特征描述符Z中第a个数值。

4.如权利要求1所述的一种非接触式生理心理健康检测系统，其特征在于，所述非接触式呼吸频率检测子系统包括特征点定位模块、热红外人脸轮廓定位模块、双光配准模块、温度变化信号提取模块、预处理模块、呼吸频率计算模块；

所述特征点定位模块用于从可见光视频中定位人脸的特征点；

所述从热红外人脸轮廓定位模块用于从热红外视频中定位热红外人脸轮廓；

所述双光配准模块用于基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域；

所述温度变化信号提取模块用于实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号；

所述预处理模块用于对热红外鼻温变化信号依次进行趋势项消除、归一化处理、滤波去噪处理；

所述呼吸频率计算模块用于基于预处理后的热红外鼻温变化信号获取呼吸频率。

5.如权利要求4所述的一种非接触式生理心理健康检测系统，其特征在于，所述热红外人脸轮廓定位模块定位热红外人脸轮廓包括：

K1、采集人脸的热红外视频前，获取背景热红外图像P1；

K2、获取热红外图像P1中高于阈值E的像素坐标集合pos1；

K3、采集人脸的热红外视频时，随机获取第i帧的热红外图像P2；

K4、获取热红外图像P2中高于阈值E的像素坐标集合pos2；

K5、人脸的热红外视频采集完成后，获取背景热红外图像P3；

K6、获取热红外图像P3中高于阈值E的像素坐标集合pos3；

K7、筛选出像素坐标集合pos1和像素坐标集合pos3的交集部分的像素坐标集合pos4；

K8、将像素坐标集合pos4从像素坐标集合pos2中删除，得到对应热红外人脸轮廓的点的坐标集合pos5。

所述温度变化信号提取模块实时跟踪热红外人脸轮廓中的鼻子ROI区域，获取采集时间段内的热红外鼻温变化信号包括：

J4-1、获取热红外视频中第t帧的鼻子ROI区域坐标P(t)，并对P(t)进行采样，通过Adaboost学习算法训练一个用于计算鼻子ROI区域对应的矩形框采样的响应的线性回归器；其中，使用连续的标签进行标记样本；

J4-2、在热红外视频中的第t+1帧中，对前3帧对应的P(t)采样，利用所述线性回归器获取每个采样的响应；

J4-3、将响应最强的采样作为第t+1帧的鼻子ROI区域坐标P(t+1)，计算公式为：P(t+1)＝1/3*(P(t-2)+P(t-1)+P(t))；

J4-4、将热红外图像转化成灰度图像，获取热红外视频中鼻子ROI区域的连续帧的灰度平均值Signal_nose(i)，作为采集时间段的鼻温变化信号；且第i帧图片中的热红外视频中鼻子ROI区域的灰度平均值的计算方式如下：

Signal_nose(i)＝mean(Gray)；

Gray＝0.3R_nose+0.59G_nose+0.11B_nose；

其中，Gray是鼻子ROI区域的灰度图像矩阵；mean(Gray)是对热红外视频中鼻子ROI区域的灰度求平均值的函数，R_nose、G_nose、B_nose分别为热红外视频中鼻子ROI区域R、G、B三通道的图像矩阵。

6.如权利要求4所述的一种非接触式生理心理健康检测系统，其特征在于，所述双光配准模块基于可见光视频中的人脸的特征点定位热红外人脸轮廓中的鼻子ROI区域包括：

J3-1、基于所有特征点在可见光视频中的坐标，得到可见光视频中对应人脸的矩形框的左上角点和右下角点的坐标A、B；

J3-2、基于热红外人脸轮廓的点的坐标，得到热红外视频中对应热红外人脸轮廓的矩形框的左上角点和右下角点的坐标C、D；

J3-3、基于坐标A、B、C、D以及可见光视频中鼻子对应的特征点坐标，获取可见光视频中鼻子对应的特征点在热红外视频内的坐标，且可见光视频中鼻子对应的第i个特征点的坐标(x_VN(i),y_VN(i))与对应热红外视频内的坐标(x_IN(i),y_IN(i))的转化公式如下：

WIF＝WI，

其中，WV、HV分别为可见光视频中对应人脸的矩形框图片的宽度和高度，WI、HI分别为热红外人脸和脖子共同区域图片的宽度和高度，WIF、HIF为热红外人脸区域的宽度WIF、高度HIF，x_min为左上角点A的横坐标，y_min为左上角点A的纵坐标；

J3-4、基于所有可见光视频中鼻子对应的特征点在热红外视频内的坐标，得到热红外人脸轮廓中的鼻子ROI区域。

7.如权利要求4所述的一种非接触式生理心理健康检测系统，其特征在于，所述呼吸频率计算模块基于预处理后的热红外鼻温变化信号获取呼吸频率包括：

J6-1、将热红外鼻温变化信号变换为频域信号；

J6-2、保留频率值在0.15-0.4Hz之间内的频域信号，并将0.15-0.4Hz之外的频域信号归零；

J6-3、获取0.15-0.4Hz范围内的频域信号中幅度最大值对应的频率值，得到呼吸频率。

Images