CN114869259A - 一种基于GP-XGBoost的非接触式心率测量方法 - Google Patents

Abstract

本发明公开了一种基于GP‑XGBoost的非接触式心率测量方法，属于计算机视觉、机器学习领域，该方法包括：使用采集设备捕捉人脸视频，通过人脸关键点检测，定位人脸位置并逐帧进行人脸感兴趣区域ROI提取；对ROI图像序列的绿色通道进行像素平均值计算，综合多帧ROI图像得到初始信号；对初始信号进行信号处理，通过归一化提取像素平均值幅值的变化信息并通过小波去噪滤除信号中的噪声；基于极端梯度提升XGBoost算法，结合基于高斯过程GP的贝叶斯优化方法，得到GP‑XGBoost模型，对心率进行估计。本发明利用GP‑XGBoost机器学习模型，减少噪声对心率值估计的影响，实现精度较高的非接触式心率测量。

Description

一种基于GP-XGBoost的非接触式心率测量方法

技术领域

本发明属于计算机视觉、机器学习领域，具体涉及了一种基于GP-XGBoost的非接触式心率测量方法。

背景技术

心率是指心脏每分钟跳动的次数，是一项人体重要的生理参数，常被应用于高血压病，心律失常，心肌缺血等心血管疾病的检查当中，日常对心率进行监测对心血管疾病具有预防作用。目前常见的心率检测方式为心电图(ECG)，这种方法虽然准确度较高，但是需要专业的ECG设备以及专业的医护人员操作，而且这种方法需要与被测对象皮肤进行接触，不适用于皮肤有损伤的患者。另外，虽然热红外摄像机或多普勒雷达的使用解决了皮肤接触的问题，但仍然需要复杂而昂贵的设备。

利用成像式光电容积描记法(IPPG)理论技术，可以实现仅用普通摄像头对心率进行测量。当光线照射皮肤时，会在皮肤表面发生反射和透射，而血液相较于皮肤，骨骼和肌肉等组织，对光线有较大的吸收量。由于心脏的周期性搏动，会导致血液对光束的吸收呈现周期性的变化。利用摄像头进行拍摄可以记录下面部血管血容量的变化，在一次心跳中，血液会先从心脏流出至血管中，此时血管中的血容量逐渐增大，而后血管中的血液流回心脏，此时血管中的血液逐渐减少，血管中血容量一次变化的时间与心脏跳动的时间相同。当血管中的血容量变大时，对光线的吸收作用增强，当血管中血容量变小时，对光线的吸收自然减小。因此，利用摄像头记录下血管血容量的周期变化信息就可以获得心脏的搏动信息。

目前现有的基于人脸视频的非接触式心率测量一般是通过对心率信号进行处理后，利用傅里叶变换得到心率结果。在获取视频时，由于环境光线的变化以及被测对象的表情、呼吸、身体的颤动以及骨骼肌的收缩，会使信号中含有大量的噪声，仅使用信号处理的手段难以完全去除。另外，使用傅里叶变换计算得到心率是基于心率信号具有很强的周期性这一前提下。在实际情况中，人的心率并不是一直不变的，随着时间的变化，人的心率也会出现波动，这将导致利用傅里叶变换得到的心率结果不准确。本发明基于吉林省教育厅科学技术研究项目，编号：JJKH20220774KJ，和吉林省科技发展计划项目，编号：GH010290892。

发明内容

为了解决现有技术中的上述问题，本发明的目的是提出了一种基于GP-XGBoost的非接触式心率测量方法，能够实现通过人脸视频对心率进行检测，具有测量结果准确，对设备要求不高且模型计算成本相对较低，结构简单易实现等优点。

本发明为实现上述目的采用的技术方案是：一种基于GP-XGBoost的非接触式心率测量方法，其特征在于，包括如下步骤：

步骤S1、获取设定时间段内包含被测对象人脸信息的待测视频帧序列；

步骤S2、对所述视频帧序列的每一帧图像，通过人脸68点特征点检测方法进行人脸检测并定位脸颊区域，将脸颊区域进行截取，截取设定长宽，得到待处理的ROI图像序列；

步骤S3、对所述的ROI图像序列进行RGB分离，取分离出的G通道进行处理，得到待处理的初始信号；

步骤S4、对所述初始信号进行处理，提取信号幅值特征并滤除噪声，得到反映心率信息的心率信号；

步骤S5、通过训练好的GP-XGBoost模型，对所述心率信号中的心率值进行估计，至此，非接触式心率测量完成。

进一步，步骤S1中所述设定时间段为视频时长5秒以上。

进一步，步骤S1中所述获取包含被测对象人脸信息的待测视频帧序列中采集设备的帧率为每秒30帧，采集到的视频，视频时长超过心跳最长周期的2倍。

进一步，步骤S2中，提取的各帧图像的ROI区域长宽为100*100。

进一步，步骤S4的具体过程如下：对所述初始信号进行归一化处理，经过归一化处理后的信号，采用小波去噪法进行去噪处理，得到反映心率信息的心率信号。

进一步，步骤S5中，所述GP-XGBoost模型为基于高斯过程的贝叶斯优化算法的XGBoost模型，所述GP-XGBoost模型的训练方法如下：

获取人脸视频及被测对象录制视频时的真实心率值，将人脸视频划分为视频帧，将N帧划分为一组数据，将M个包含N帧的视频进行ROI提取，归一化处理以及小波去噪，并与真实心率值对应，生成M个训练样本序列；对GP-XGBoost模型进行基于高斯过程的贝叶斯优化，寻找GP-XGBoost的全局最优解；将数据集划分为训练集与测试集，对模型中的各参数进行优化，确定各参数的优化范围，将训练集通过交叉验证，带入贝叶斯优化算法进行迭代，确定最优参数组，选取最优参数组构建GP-XGBoost模型，得到最终的GP-XGBoost模型，并通过测试集进行模型评价。

进一步，所述各参数与各参数的优化范围为：

训练步长，该参数的初始值0.01，优化范围(0.01，0.1)；

节点分裂折减系数，该参数的初始值为0，优化范围(0，10)；

最大树深，该参数的初始值为6，优化范围(0，10)；

权重阈值，该参数的初始值为1，优化范围(0.5，1)；

样本采样率，该参数的初始值为1，优化范围(0.5，1)；

对列采样率，该参数的初始值为1，优化范围(0，1)。

通过上述设计方案，本发明可以带来如下有益效果：本发明提供的一种基于GP-XGBoost的非接触式心率测量方法，解决现有的通过人脸进行心率检测时测量结果精度低、计算成本高的问题。该心率测量方法利用了机器学习的优势，能够学习数据中的特征，在经过归一化提取了信号幅值特征并经过小波去噪滤除部分噪声之后通过GP-XGBoost模型计算心率值，进一步减少了噪声的影响。并且，人的心率并不是一直不变的，随着时间的变化，人的心率也会出现波动，利用机器学习的方式，可以使用较短时长的视频计算得到心率值，有效的避免了傅里叶变换方法中由于人体心率变化而导致计算结果不准确的问题。另外，使用基于高斯过程的贝叶斯优化方法，可以实现对模型参数的优化，解决了参数设置局限性的问题。该方法能够自动寻找全局最优解，只需给定参数优化范围，在参数优化范围内模型通过迭代确定最优参数组，相比于人为手动设置参数，该方法能够得到更优的模型性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：

图1是本发明基于GP-XGBoost的非接触式心率测量方法的流程图。

图2是本发明基于GP-XGBoost的非接触式心率测量工作原理流程图。

图3是本发明实施例中5层小波分解示意图。

图4是GP-XGBoost模型训练流程图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面结合本发明的实施例中的附图，对本发明中的技术方案进行清楚完整地描述。显然，本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。为了避免混淆本发明的实质，公知的方法、过程、流程并没有详细叙述。

本发明基于吉林省教育厅科学技术研究项目，编号：JJKH20220774KJ，和吉林省科技发展计划项目，编号：GH010290892。本发明提供了一种基于GP-XGBoost的非接触式心率测量方法，可以实现通过人脸视频测量心率值。利用归一化与小波去噪得到心率信号，通过GP-XGBoost模型计算得到心率值，进一步提高预测结果的精确度。

参照图1和图2，本发明提出的一种基于GP-XGBoost的非接触式心率测量方法，该非接触式心率测量方法包括：

步骤S1、获取设定时间段内包含被测对象人脸信息的待测视频帧序列；

步骤S2、对所述视频帧序列的每一帧图像，通过人脸68点特征点检测方法进行人脸检测并定位脸颊区域，将脸颊区域进行截取，截取设定长宽，得到待处理的ROI图像序列；

步骤S3、对所述的ROI图像序列进行RGB分离，取分离出的G通道进行处理，得到待处理的初始信号；

步骤S4、对所述初始信号进行处理，提取信号幅值特征并滤除噪声，得到反映心率信息的心率信号；

步骤S5、通过训练好的GP-XGBoost模型，对所述心率信号中的心率值进行估计。

各步骤详细描述如下：

步骤S1、获取设定时间段内包含被测对象人脸信息的待测视频帧序列。

所述设定时间段对应的视频时长为5秒以上。由于正常人的心率范围为每分钟40次～240次，即频率为0.7Hz～4Hz，则采集设备的采样频率应至少大于信号最高频率的两倍，一般选取采样频率为信号最高频率的3～4倍。因此摄像头的帧率应满足大于4Hz的4倍，即每秒16帧以上。并且人体每分钟40次～240次的心跳，对应一次心跳的时间周期为0.25s～1.5s。采集的视频应至少包括两个心跳周期才能提取出信号的周期性特征。因此，视频的时长需超过心跳最长周期的2倍，即3s。在本发明的一个实施例中，采集设备的帧率为每秒30帧，视频时长为5秒以上。

步骤S2、对所述视频帧序列的每一帧图像，通过人脸68点特征点检测方法进行人脸检测并定位脸颊区域，将脸颊区域进行截取，截取设定长宽，得到待处理的ROI图像序列。

对于待处理的视频，将视频分解成为视频帧图片，通过人脸68点特征点检测方法进行人脸检测并定位脸颊区域，将脸颊区域进行截取，获得待处理视频对应的待处理ROI图像序列。在本发明的一个实施例中，提取的各帧图像的ROI区域长宽为100*100。

步骤S3、对所述的ROI图像序列进行RGB分离，取分离出的G通道进行处理，得到待处理的初始信号。

通过ROI图像序列，获得包含心率信息的初始信号。在氧合血红蛋白的吸收谱分布中，绿光恰好对应于氧合血红蛋白的吸收峰。这也就是说，相比于红光和蓝光，绿光能够更容易地穿过皮肤，并且更好地被氧合血红蛋白吸收，便于探测血管中的血容量变化。因此对ROI图像序列进行RGB分离，取分离出的G通道并计算G通道内的像素平均值。根据G通道内的像素平均值，获得ROI图像序列对应的待处理的初始信号。

步骤S4、对所述初始信号进行处理，提取信号幅值特征并滤除噪声，得到反映心率信息的心率信号。

由心跳幅度引起的颜色变化与色彩信号强度成正比，而在评估心跳的周期性时，只需要提取像素平均值幅值的变化信息，与幅值本身的大小并没有关系，且幅值的大小与光源的颜色以及亮度直接相关。因此，为了只提取幅值的变化信息，需对初始信号进行归一化处理。归一化计算式如式(1)所示：

其中G(t)为初始信号归一化后的数值，

为每一个样本值，μ为整个样本的平均值，σ为G(t)的标准差。

经过归一化处理后的信号体现了像素幅值的变化，理论上该变化能够反映出由于心跳引起的血容量变化。但由于环境光变化，被测对象表情的变化，呼吸、身体的颤动导致头部的运动以及骨骼肌的收缩，该信号中仍然包含噪声，影响心率值的计算。因此，为了提高信噪比，获得更加纯净的心率信号，还需要进行进一步的去噪处理，本发明使用的去噪方法为小波去噪。

本发明的一个实例中，视频采集设备的帧率为每秒30帧，则由采样定理可知，能够采样到的信号最高频率为15Hz。

本发明的一个实例中，采用bd1小波对信号进行5层小波分解，分解过程如图3所示。

从图中可以看出，心率信号范围为0.7Hz～4Hz，主要分布在第三、四层中，保留第三层分解的高频信号CD3与第四层分解的高频信号CD4频率范围内的信号，滤除其他频率范围内的信号。将CD3与CD4叠加作为心率信号的波形，得到去噪后的心率信号。

步骤S5、通过训练好的GP-XGBoost模型，对所述心率信号中的心率值进行估计。

其中所述的GP-XGBoost模型，为基于极端梯度提升(XGBoost)算法，结合基于高斯过程(GP)的贝叶斯优化算法，得到的GP-XGBoost模型。

所述的XGBoost是梯度提升树算法的改进，相比于梯度提升树使用一阶导数，XGBoost对损失函数进行了二阶泰勒展开，增加了正则项，从而避免过拟合。根据预测残差值构建弱学习器进行每一步的学习，通过这种方式逐步迭代，从而使弱学习器结合成为强学习器。

通过迭代添加树使目标函数最小，目标函数可以通过下式表示：

其中n为样本总数，i为样本集中的样本，y_i为真实值，

为第t-1次迭代时样本预测值，f_t(X_i)为回归树函数，L为损失函数，L^(t)为第t次迭代时损失函数值，Ω(f_t)为模型复杂度。

对公式(2)进行二阶泰勒展开，则有：

其中g_i与h_i分别为损失函数项的一阶导数和二阶导数：

在添加第t棵树时，前面的t-1棵树都已经训练完毕，因此

是一个常数，将其移至常数项内，同时定义I_j＝{i|q(X_i)＝j}为叶节点j的样本集，其中q(X_i)表示将输入样本X_i映射到树的叶子节点，j为叶节点。通过展开正则项Ω(f_t)可以将式(3)改写为：

式中：ω_j为叶节点j的权重，γ和λ为复杂度变量，T为叶节点数，i为样本集中的样本。

最后，优化目标函数，计算叶节点j的最优权重

与对应的最优值：

所述的贝叶斯优化算法具有高效的优化性能，本发明使用高斯过程对模型参数进行优化，对于目标函数f(x)，假设一个满足高斯过程的先验分布模型，该模型各参数任何有限维度的组合仍满足高斯分布，如下式所示：

f(x)～GP(E(f(x)),C_ov(x,x′)) (6)

其中GP为高斯过程，E为f(x)的数学期望，Co_v(x,x′)为两个变量x和x′之间的协方差，x，x′为模型参数的两个变量。每个参数组合{x₁,x₂,…,x_i}都属于高斯分布，其中xi为第i个参数。

满足以下公式，其中公式中的N为高斯分布：

通过高斯过程，可以得到在参数所有取值上验证误差的期望均值和方差。采样对模型进行修正，在采样点数增加的同时，模型逐渐精确。采样点的提取有两个方向，尽可能选取未评估过的参数组合，避免陷入局部最优值称为探索(exploration)；根据目前已找到的最优值，加大在其周围搜索参数的力度，从而更加迅速地找到全局最优值称为开发(exploitation)。通过定义采集函数确定下一个采样点，权衡模型优化方向，尝试寻求全局最优解。优化目标则是在全集A中寻找使函数值达到最大或最小的集合，如下式所示：

式中，x_t为使函数值达到最大或最小的取值，μ_t-1(x)为均值，β_t为常数，σ_t-1(x)为标准差。

所述GP-XGBoost模型的训练方法如下：

1、数据集的制作

获取人脸视频及被测对象录制视频时的真实心率值。将人脸视频划分为视频帧，在本发明的一个实例中，将N帧划分为一组数据，对该N帧内的所有图片利用人脸68点特征点检测方法进行人脸检测，并进行ROI的定位与提取。将得到的N帧ROI图像序列进行RGB分离，取分离出的G通道计算像素平均值并进行归一化操作，再经小波去噪滤除噪声，得到心率信号。将心率信号与该时间段内的真实心率平均值进行对应，完成该组数据的制作。将M个包含N帧的视频进行上述操作，生成M个训练样本序列，完成数据集的制作。

2、模型训练

对GP-XGBoost模型进行基于高斯过程的贝叶斯优化，寻找GP-XGBoost的全局最优解，训练过程如图4所示。首先将数据集划分为训练集与测试集，对模型中的各参数进行优化，确定各参数的优化范围，将训练集通过交叉验证，带入贝叶斯优化算法进行迭代，确定最优参数组，选取最优参数组构建GP-XGBoost模型，得到最终的GP-XGBoost模型，并通过测试集进行模型评价。

所述的各参数与各参数的的优化范围如表1所示：

表1

以上所述，本发明在实施过程中通过人脸视频，逐帧定位人脸区域并截取ROI位置，通过ROI中的绿色通道的像素平均值得到初始信号，对初始信号进行归一化处理以及小波去噪，提取了信号中反映心率的信息并去除噪声，得到心率信号。将真实的心率值与心率信号进行对应，完成数据集的制作。基于极端梯度提升(XGBoost)算法，结合基于高斯过程(GP)的贝叶斯优化方法，得到的GP-XGBoost模型。确定GP-XGBoost模型中各参数的优化范围，带入贝叶斯优化算法进行迭代，确定最优参数组。选取最优参数组构建GP-XGBoost模型，得到最终的GP-XGBoost心率测量模型。

Claims (7)

1.一种基于GP-XGBoost的非接触式心率测量方法，其特征在于，包括如下步骤：

步骤S1、获取设定时间段内包含被测对象人脸信息的待测视频帧序列；

步骤S2、对所述视频帧序列的每一帧图像，通过人脸68点特征点检测方法进行人脸检测并定位脸颊区域，将脸颊区域进行截取，截取设定长宽，得到待处理的ROI图像序列；

步骤S3、对所述的ROI图像序列进行RGB分离，取分离出的G通道进行处理，得到待处理的初始信号；

步骤S4、对所述初始信号进行处理，提取信号幅值特征并滤除噪声，得到反映心率信息的心率信号；

步骤S5、通过训练好的GP-XGBoost模型，对所述心率信号中的心率值进行估计，至此，非接触式心率测量完成。

2.根据权利要求1所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：步骤S1中所述设定时间段为视频时长5秒以上。

3.根据权利要求1所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：步骤S1中所述获取包含被测对象人脸信息的待测视频帧序列中采集设备的帧率为每秒30帧，采集到的视频，视频时长超过心跳最长周期的2倍。

4.根据权利要求1所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：步骤S2中，提取的各帧图像的ROI区域长宽为100*100。

5.根据权利要求1所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：步骤S4的具体过程如下：对所述初始信号进行归一化处理，经过归一化处理后的信号，采用小波去噪法进行去噪处理，得到反映心率信息的心率信号。

6.根据权利要求1所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：步骤S5中，所述GP-XGBoost模型为基于高斯过程的贝叶斯优化算法的XGBoost模型，所述GP-XGBoost模型的训练方法如下：

获取人脸视频及被测对象录制视频时的真实心率值，将人脸视频划分为视频帧，将N帧划分为一组数据，将M个包含N帧的视频进行ROI提取，归一化处理以及小波去噪，并与真实心率值对应，生成M个训练样本序列；对GP-XGBoost模型进行基于高斯过程的贝叶斯优化，寻找GP-XGBoost的全局最优解；将数据集划分为训练集与测试集，对模型中的各参数进行优化，确定各参数的优化范围，将训练集通过交叉验证，带入贝叶斯优化算法进行迭代，确定最优参数组，选取最优参数组构建GP-XGBoost模型，得到最终的GP-XGBoost模型，并通过测试集进行模型评价。

7.根据权利要求6所述的基于GP-XGBoost的非接触式心率测量方法，其特征在于：所述各参数与各参数的优化范围为：

训练步长，该参数的初始值0.01，优化范围(0.01，0.1)；

节点分裂折减系数，该参数的初始值为0，优化范围(0，10)；

最大树深，该参数的初始值为6，优化范围(0，10)；

权重阈值，该参数的初始值为1，优化范围(0.5，1)；

样本采样率，该参数的初始值为1，优化范围(0.5，1)；

对列采样率，该参数的初始值为1，优化范围(0，1)。

Images