CN114557685A - 一种非接触式运动鲁棒心率测量方法及测量装置 - Google Patents

Abstract

本发明涉及一种非接触式运动鲁棒心率测量方法及装置，所述方法包括以下步骤：采集原始心冲击信号和人脸图像序列；在所述人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；对所述原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；基于心冲击信号与远程光电容积信号的融合计算获得心率。与现有技术相比，本发明具有估计准确性高、成本低、使用方便等优点。

Description

一种非接触式运动鲁棒心率测量方法及测量装置

技术领域

本发明涉及一种心率检测技术，尤其是涉及一种非接触式运动鲁棒心率测量方法及测量装置。

背景技术

人的生理信号是一种重要的“信息”，通过监测生理指标的变化来判断被测者是否对关键问题敏感，可以更好的获得所需要的信息。于是，精准且实时的采集这些生理信号十分必要的。

在现代神经生物学和刑侦心理学中，都认为人在紧张和说谎的状态下，生理信号会不由人主观控制的发生特异性变化。譬如人在说谎时，往往此人会发生心率加快，呼吸幅度增大，呼吸频率放缓等现象。于是，从二十世纪起，科学家就已经开发了名为“测谎仪”的生理信号监测设备。“测谎仪”通过测量传感器，同时测量人的心率、呼吸率、血压和皮肤电信号，并将这些信号经过导线传入设备实时记录在纸上，测谎仪提供的生理数据可以提供有力的参考，以判断被试者的情绪或者心理是否出现异常，从而发现破案的线索。但是，将“测谎仪”应用到实际的刑侦场景中也有许多困难与限制：

第一，部署测谎仪时需要将多种传感器紧贴在被测者身上，这些传感器又都连接着传输导线。这些交错的导线限制了被试者的活动范围，一旦被试者不配合测量或是动作幅度较大，测谎仪的记录效果将会大打折扣。此外，由于该设备成本昂贵，实际使用起来又存在诸多不便，其很难进行大范围的普及。

第二，“测谎仪”的直接使用并不隐蔽，对运动的抗干扰能力不强。为了隐蔽的测量被试者的生理数据，一些研究人员开发了将电极贴片集成在靠垫内的心电测量设备(此处电势差最为明显)。但是实际情况中，人不一定会背靠靠垫且人体的运动会对采集的信号产生严重干扰，获取的生理信号可信度不高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种估计准确性高、成本低、使用方便的非接触式运动鲁棒心率测量方法及测量装置。

本发明的目的可以通过以下技术方案来实现：

一种非接触式运动鲁棒心率测量方法，该方法包括以下步骤：

采集原始心冲击信号和人脸图像序列；

在所述人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；

对所述原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；

基于心冲击信号与远程光电容积信号的融合计算获得心率。

进一步地，所述感兴趣区域的提取过程包括：

对所述人脸图像序列中的第一帧图像进行目标人脸的识别及标记，提取输入图像特征，采用相关滤波跟踪算法实现对目标人脸的跟踪；

对获得的目标人脸进行人脸标志点检测；

对得得到的人脸标志点进行卡尔曼滤波，实现运动校正；

通过经校正后的人脸标志点计算人脸姿态角，确定感兴趣区域。

进一步地，采用以mobile-net为主干的深度网络检测获得所述人脸标志点。

进一步地，所述远程光电容积信号的计算过程包括：

求取所述感兴趣区域的空间平均，构建原始RGB信号矩阵

对所述矩阵

进行归一化和投影处理，得到矩阵

其中，P_p为投影矩阵，N为归一化矩阵；

令

对S₁(t)，S₂(t)进行α调谐，得到远程光电容积信号，其计算公式为：

进一步地，分解出的与心率相关的子成分后的心冲击信号表示为：

其中，X为原始心冲击信号，表示为X＝{X_r，r＝0，1，...，N-1}，r表示第r个元素，D_j，r和

分别表示高通滤波细节分量和低通滤波近似分量，J₀为分解的最高阶数，

为高通滤波器算子，W为小波系数。

进一步地，基于心冲击信号与远程光电容积信号的融合计算获得心率具体为：

初始化第一秒的心率预测值；

从第二秒开始每一秒计算所述心冲击信号与远程光电容积信号通过不同频率的陷波滤波器的输入输出能量比，基于该输入输出能量比及上一秒心率预测值构建自适应权重，通过加权方式得到当前这一秒的心率预测值。

进一步地，所述最终心率估计值的计算公式为：

其中，f_i为第i个陷波滤波器的陷波频率，F为陷波滤波器个数，W_i[m]为自适应权重，R[m，j]为根据上一秒心率预测值获得的调整权重，P_i[m，j]为输入输出能量比，索引m指代第m秒，j＝1，2表示为第j路信号，γ＝[min_{i＝1，2，...}R[m，j]P_i[m，j]]^-1。

进一步地，所述初始化具体为：以第一个陷波滤波器的陷波频率作为第一秒的心率预测值。

进一步地，所述根据上一秒心率预测值获得的调整权重R[m，j]通过以下公式获得：

其中，U[m，j]为各路信号通过陷波滤波器的综合输入，O[m，j]为以上一秒心率预测值作为陷波滤波器的陷波频率各路信号通过陷波滤波器的模拟输出。

本发明还提供一种非接触式运动鲁棒心率测量装置，应用于刑侦环境，包括光纤坐垫、摄像头和计算机，所述计算机分别连接光纤坐垫和摄像头，所述计算机包括：

光电容积信息获取模块，用于在由摄像头采集的人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；

心冲击信号分解模块，用于对由光纤坐垫采集的原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；

心率计算模块，用于基于心冲击信号与远程光电容积信号的融合计算获得心率。

与现有技术相比，本发明具有如下有益效果：

1、本发明通过融合得到的心冲击信号和远程光电容积描记信号两种生理信号，进行更加精确的心率估计，有效提高估计准确性。

2、本发明可以进行实时的心率测量。

3、本发明在对人脸数据进行处理时，使用了最新的基于深度的机器学习算法，保证能够在各种姿态和运动状态下对人脸进行跟踪。

4、本发明在进行融合计算时，根据上一秒的输出频率调整不同路信号输入输出能量比的权值，使得心率输出具有前后一致性，性能更加鲁棒。

5、本发明的心率测量装置首次在刑侦环境下使用光纤坐垫和摄像头采集人的生理信号，该装置不需要额外的线缆，也不会对被测者施加任何限制，且由于实际场景中测试者必须坐在椅子上，不会发生人体脱离传感器或是人脸跑出图像之外的情况，从而能够满足长时间准确的心率信号监测。

附图说明

图1为本发明测量方法的流程示意图；

图2为本发明基于图像的远程光电容积获取流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例提供一种非接触式运动鲁棒心率测量方法，该方法包括：

步骤S101，采用人脸图像序列，在所述人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号，如图2所示，具体步骤如下：

步骤S201：判断是否为第一帧，若是，则进行人脸检测，对第一帧图像进行机器自动识别或是人工勾选的方式选择目标人脸，提取输入图像特征(HOG，CN， CNN特征层)，若不是，则跳过。

步骤S202：应用高效卷积算子(相关滤波算法)对目标人脸进行跟踪。以y 表示响应输出，x表示输入图像特征，w表示滤波模板，则

其中滤波模板w是通过构造损失函数，并使用高斯牛顿法(Gauss-Newton)和共轭梯度法(Conjugate Gradient)将其最小化得到的。

步骤S203：对框定出来的人脸进行人脸标志点检测。

根据相关滤波算法的输出结果对图像序列进行裁切，得到主体为人脸的图像矩阵，将这些图像矩阵缩放到统一的大小112*112，使用以mobile-net为主干的深度网络对缩放后的图像生成人脸标志点。其采用的网络结构为：Input3-Conv64- Depthwise Conv64-Bottleneck64-Bottleneck128-Bottleneck128-Bottleneck16- Conv32-Conv128-FC(Input表示输入层，其后所带的数字n表示本层的feature map 数量，Conv表示卷积层，Depthwise Conv表示深度卷积层，Bottleneck表示瓶颈层， FC表示全连接层)。生成的标志点坐标再重新映射到原裁切图的对应位置，通过标志点选择感兴趣区域。

步骤S204：对得到的人脸标志点坐标进行卡尔曼滤波，实现运动的校正。

步骤S205：通过标志点计算人脸的姿态角，根据标志点和姿态角确定感兴趣区域，用作光电容积信号的计算。本实施例中，选择暴露面积最大的面颊区域作为感兴趣区域。使用面颊区域是因为该区域面部血管分布丰富，且直接位于皮下，其光电容积信号更强。

步骤S206：求取所述感兴趣区域的空间平均，构建原始RGB信号矩阵

对所述矩阵

进行归一化和投影处理，得到矩阵

其中，P_p为投影矩阵，N为归一化矩阵，本实施例中，

N对角矩阵，对角元素是对应通道的时间平均值的倒数。

步骤S207：令

对S₁(t)，S₂(t)进行α调谐来抑制运动干扰，得到远程光电容积信号，其计算公式为：

p(t)＝S₁(t)+α·S₂(t)with，

步骤S102，采集原始心冲击信号，对所述原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号。

对心冲击信号进行最大重叠离散小波分解，给定一段离散时间的心冲击信号 X＝{X_r，r＝0，1，...，N-1}，则小波系数和缩放系数W_j，r与V_j，r表示为：

其中，j代表上述系数的阶数。

与

分别是高通和低通滤波器算子。通过多分辨率分析，可以将离散的时间信号X分解为低通滤波近似(平滑)分量

和高通滤波细节分量D_j，r，J₀是分解的最高阶数：

步骤S103，将得到的心冲击信号和远程光电容积描记信号进行融合。

初始化第一秒的心率预测值，从第二秒开始每一秒计算所述心冲击信号与远程光电容积信号通过不同频率的陷波滤波器的输入输出能量比，基于该输入输出能量比及上一秒心率预测值构建自适应权重，通过加权方式得到当前这一秒的心率预测值。

基于远程光电容积信号与心冲击信号峰峰间隔的高相关性，同时计算两路信号的主要频率可以进一步准确的计算心率信号，削弱两路信号不同类型的运动噪声的干扰。

本实施例中，使用一组3阶FIR陷波滤波器对两路信号进行滤波，其转移函数H为：

H(z)＝1-2z^-1cos(2πf_i)+z^-2

其中，z为函数变量，离散频率f_i为每个滤波器的陷波频率，各滤波器的陷波频率均匀地分布在[0.5-2.5]的频带中。

定义输入的信号为u[n，j]，其中n＝3，4，...代表第n次采样，j＝1，2表示为第j 路信号。经过陷波滤波器，输出y_i为：

y_i[n，j]＝u[n，j]-2u[n-1，j]cos(2πf_i)+u[n-2，j]

将一秒内的信号用于计算信号的输入输出能量比，假设系统采样频率为fs，并定义：

其中，索引m＝1，2，...指代第m秒，δ∈[0，1]为记忆常数。记忆常数的引入使得系统更加鲁棒。则第i个滤波器的信号输入输出能量比为：

此外，考虑到心率在短时间内不会发生较大波动，前后两秒的心率数值上应该相近，本发明以上一秒的输出心率f[m-1]为陷波滤波器的陷波频率，得到模拟输出O[m，j]，通过计算不同信号源下输入U[m，j]与输出O[m，j]的比值，得到一个调整权重R[m，j]：

其中，

y_f[n，j]＝u[n，j]-2u[n-1，j]cos(2πf[m-1])+u[n-2，j]

R[m，j]根据上一秒的输出频率f[m-1]调整不同路信号输入输出能量比的权值。该策略使得心率输出具有前后一致性，算法性能更加鲁棒。对每一个离散频率的自适应权重定义为：

其中γ＝[min_{i＝1，2，...}R[m，j]P_i[m，j]]^-1。然后，将滤波器组陷波频率的加权总和作为每秒的最终频率(心率)估计值：

以上算法由于涉及到迭代计算，需要预先实现初始化(图1中S103)，我们设：

f[1]＝f₁

在进行信号提取的过程中，对人脸的识别与ROI的确立相较于其他方法花费的时间更多，其占用了主要的计算开销，此外人脸ROI区域的跟踪准确率也直接影响光电容积信号的质量。为了验证本发明的实时计算能力与ROI追踪准确率，本实施例与传统的人脸ROI(KLT+ERT)确定方法进行对比。实验所需的人脸视频数据来自于5名志愿者，每名志愿者录制一组稳定状态和一组运动状态下的视频。本实施例对比了5组方法，分别为传统方法KLT+ERT、基于CPU的深度人脸追踪模块DFT(CPU)、基于GPU的深度人脸追踪模块DFT(GPU)、基于CPU的深度人脸追踪模块DFT并加以卡尔曼滤波的DFT+KF(CPU)以及基于GPU的深度人脸追踪模块DFT并加以卡尔曼滤波的DFT+KF(GPU)。如表1，基于GPU计算的方法明显快于基于CPU的方法，也快于传统方式。在稳定状态下，不同方法的ROI 确立准确率相差不大。但是在运动状态下，基于深度的人脸跟踪以及卡尔曼滤波的方法的准确率更高。

表1实时计算能力与ROI追踪准确率

为了验证本发明的性能，本实施例与传统的远程光电容积算法以及基于最大重叠离散小波分解的心冲击信号心率提取算法进行对比。实验数据通过招揽10名志愿者进行采集。从表2中的对比中可以看出，本实施例的平均绝对误差值相对其他方法更小。与其它远程光电容积提取方法相比，POS的准确性较好。本实施例保持了POS的这些优势，并通过引入更先进的人脸标志点检测算法，提高了信号质量。在稳定状态下，基于信号融合的方法的性能略低于基于小波分解的心冲击信号 (MODWT-BCG)心率估计算法。这与运动检测算法的假阴性结果和心冲击融合中引入远程光电容积信号的噪声有关。在运动状态下，基于信号融合的方法的误差优于其他单模式的心率测量方法，其平均绝对误差为6.20。这说明了通过准确的感兴趣区域提取和多模式数据融合提高了整体信号对运动干扰的鲁棒性。

表2在稳态和运动状态中，不同方法的平均绝对误差

状态	稳态	运动状态
			MODWT-BCG	2.33	13.33
ICA	3.9	10.32
			PBV	5.63	9.48
POS	5.47	9.32
			本发明方法	4.71	6.20

实施例2

本实施例提供一种非接触式运动鲁棒心率测量装置，包括光纤坐垫、摄像头和计算机，所述计算机分别连接光纤坐垫和摄像头，所述计算机包括：

光电容积信息获取模块，用于在由摄像头采集的人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；

心冲击信号分解模块，用于对由光纤坐垫采集的原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；

心率计算模块，用于基于心冲击信号与远程光电容积信号的融合计算获得心率。

本发明上述装置可方便应用于对被测者生理信号的测量。本发明采用非接触无导线的方式，不仅更加容易部署，并且不易被被测者察觉。非接触无导线的可用设备包括ECG贴片靠垫、心冲击信号光纤坐垫以及基于摄像头的非接触光电容积描记设备。ECG靠垫对测试者有诸多要求与限制，其需要测试者仅穿一件贴身衣物并保持与靠垫紧贴，而在实际应用场景中这些条件是不易达成的；心冲击信号坐垫记录每个心动周期内泵出的血液所造成的微弱身体运动，所以对与生理信号无关的身体运动十分敏感；非接触式光电容积描记则通过记录人脸固定区域反射光强的周期性变化来推导光电容积信号，进而推算人的心率和血氧饱和度，因此非接触式光电容积描记对人的头部运动非常敏感。上述装置通过光电容积信息和心冲击信号的融合获得更准确的心率预测结构。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种非接触式运动鲁棒心率测量方法，其特征在于，该方法包括以下步骤：

采集原始心冲击信号和人脸图像序列；

在所述人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；

对所述原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；

基于心冲击信号与远程光电容积信号的融合计算获得心率。

2.根据权利要求1所述的非接触式运动鲁棒心率测量方法，其特征在于，所述感兴趣区域的提取过程包括：

对所述人脸图像序列中的第一帧图像进行目标人脸的识别及标记，提取输入图像特征，采用相关滤波跟踪算法实现对目标人脸的跟踪；

对获得的目标人脸进行人脸标志点检测；

对得得到的人脸标志点进行卡尔曼滤波，实现运动校正；

通过经校正后的人脸标志点计算人脸姿态角，确定感兴趣区域。

3.根据权利要求2所述的非接触式运动鲁棒心率测量方法，其特征在于，采用以mobile-net为主干的深度网络检测获得所述人脸标志点。

4.根据权利要求1所述的非接触式运动鲁棒心率测量方法，其特征在于，所述远程光电容积信号的计算过程包括：

求取所述感兴趣区域的空间平均，构建原始RGB信号矩阵

对所述矩阵

进行归一化和投影处理，得到矩阵

其中，P_p为投影矩阵，N为归一化矩阵；

令

对S₁(t)，S₂(t)进行α调谐，得到远程光电容积信号，其计算公式为：

p(t)＝S₁(t)+α·S₂(t)with，

5.根据权利要求1所述的非接触式运动鲁棒心率测量方法，其特征在于，分解出的与心率相关的子成分后的心冲击信号表示为：

其中，X为原始心冲击信号，表示为X＝{X_r，r＝0，1，...，N-1}，r表示第r个元素，D_j，r和

分别表示高通滤波细节分量和低通滤波近似分量，J₀为分解的最高阶数，

为高通滤波器算子，W为小波系数。

6.根据权利要求1所述的非接触式运动鲁棒心率测量方法，其特征在于，基于心冲击信号与远程光电容积信号的融合计算获得心率具体为：

初始化第一秒的心率预测值；

从第二秒开始每一秒计算所述心冲击信号与远程光电容积信号通过不同频率的陷波滤波器的输入输出能量比，基于该输入输出能量比及上一秒心率预测值构建自适应权重，通过加权方式得到当前这一秒的心率预测值。

7.根据权利要求6所述的非接触式运动鲁棒心率测量方法，其特征在于，所述最终心率估计值的计算公式为：

其中，f_i为第i个陷波滤波器的陷波频率，F为陷波滤波器个数，W_i[m]为自适应权重，R[m，j]为根据上一秒心率预测值获得的调整权重，P_i[m，j]为输入输出能量比，索引m指代第m秒，j＝1，2表示为第j路信号，γ＝[min_{i＝1，2，...}R[m，j]Pi[m，j]^-1。

8.根据权利要求6所述的非接触式运动鲁棒心率测量方法，其特征在于，所述初始化具体为：以第一个陷波滤波器的陷波频率作为第一秒的心率预测值。

9.根据权利要求7所述的非接触式运动鲁棒心率测量方法，其特征在于，所述根据上一秒心率预测值获得的调整权重R[m，j]通过以下公式获得：

其中，U[m，j]为各路信号通过陷波滤波器的综合输入，O[m，j]为以上一秒心率预测值作为陷波滤波器的陷波频率各路信号通过陷波滤波器的模拟输出。

10.一种非接触式运动鲁棒心率测量装置，其特征在于，应用于刑侦环境，包括光纤坐垫、摄像头和计算机，所述计算机分别连接光纤坐垫和摄像头，所述计算机包括：

光电容积信息获取模块，用于在由摄像头采集的人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号；

心冲击信号分解模块，用于对由光纤坐垫采集的原始心冲击信号进行最大重叠离散小波分解，以分解出的与心率相关的子成分表示心冲击信号；

心率计算模块，用于基于心冲击信号与远程光电容积信号的融合计算获得心率。

Images