CN109846469A - 一种基于卷积神经网络的非接触式心率测量方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的非接触式心率测量方法，其步骤包括：1根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像；2调整模型结构，使用在ImageNet数据集上预训练好的参数初始化卷积神经网络；3将上述预训练图像作为训练集输入卷积神经网络进行训练，调整网络参数；4使用真实人脸视频生成反映人体心率变化的时空特征图像；5将时空特征图像输入到卷积神经网络中进行训练，调整网络参数，最终得到最优心率预测模型。本发明能提高在复杂场景下心率测量的准确性和鲁棒性。

Description

一种基于卷积神经网络的非接触式心率测量方法

技术领域

本发明涉及非接触式生理信号检测及分析技术领域，具体涉及一种基于卷积神经网络的非接触式心率测量方法。

背景技术

心率是反映人体生理和情绪活动的重要生理参数，对心率的测量可用于训练辅助、健康监护和临床护理等。相比于临床上使用的接触式心率监测设备会给人带来不适，非接触式的心率测量方法可以通过普通摄像头来测量心率，十分方便且易于实现。

传统的非接触式心率测量方法主要有基于色差模型的方法和基于盲源分离技术的方法等，这些技术主要基于手工设计的特征和繁杂的信号处理技术的组合。它们往往基于一定场景下的假设，对环境光变化、人脸表情或头部运动等场景下的测量并不鲁棒。

随着人工神经网络，尤其是深度学习的出现，其处理复杂数据的能力十分强大，因此在非接触式心率测量任务中得以应用。

直接从包含剧烈的环境光变化、人脸表情或头部运动等场景的视频中进行非接触式心率测量十分困难，因为从视频图像到心率值的映射是非线性的。

发明内容

本发明是为避免上述现有技术的不足，提供一种基于卷积神经网络的非接触式的心率测量方法，以期能提高在复杂场景下心率测量的准确性和鲁棒性。

本发明为解决技术问题采用如下方案：

本发明一种基于卷积神经网络的非接触式心率测量方法的特点在于，包括以下步骤：

步骤一、根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像；

步骤1.1、在当前时间窗内对所述ECG信号或BVP信号进行峰值检测，得到波峰位置序列；

再计算相邻波峰间的差值得到峰峰值间隔序列，记为A＝[A₁,A₂,...,A_N-1]；A_N-1表示所述波峰位置序列中第N个波峰位置与第N-1个波峰位置之间的差值；

步骤1.2、使用峰峰值间隔序列A构造第一关键点序列C¹和第二关键点序列C²，分别记为和

步骤1.3、利用式(1)对所述第一关键点序列C¹进行累加求和，得到模拟心率曲线的波峰坐标序列X＝{X_i-1|i＝2,...,N+2}：

式(1)中，C¹(j)表示所述第一关键点序列C¹中第j个元素；X_i-1表示波峰坐标序列X中第i-1个坐标点，j＝1,2,…,i-1；i＝2,...,N+2；

步骤1.4、利用式(2)对所述第二关键点序列C²进行累加求和，得到模拟心率曲线的波谷坐标序列Y＝{Y_n-1|n＝2,...,N}：

式(2)中，C²(j)表示所述第二关键点序列C²中第j个元素；Y_n-1表示波谷坐标序列Y中第n-1个坐标点，j＝1,2,…,n-1；n＝2,...,N；

步骤1.5、利用式(3)定义模拟心率曲线的插值节点序列Z：

式(3)中，模拟心率曲线的波峰值设置为1，波谷值设置为-1，a₀和a₁为0至1之间的随机数；

步骤1.6、设置当前时间窗的长度为N，采样频率为P，利用插值的方式对所述插值节点序列Z建立模拟心率曲线，其中所述模拟心率曲线包含N×P个采样点；

步骤1.7、设置滑动窗的长度为N/2，从所述模拟心率曲线的第一个采样点开始，依次在向N×P个采样点滑动一个采样点的过程中分别截取长度为N/2的信号，从而截取到M段模拟心率曲线,其中M＝(N×P)/2；

步骤1.8、将截取的M段模拟心率曲线依次纵向排列，得到一个维度为M×M的矩阵；将所述矩阵转化为灰度图像，并作为当前时间窗的预训练图像H；

步骤1.9、将所述ECG信号或BVP信号平均分成T段，依次计算每段信号内的心率平均值并构成相应预训练图像H的标签序列[L₁,L₂,...,L_T]；L_T表示第T段信号的标签；

步骤1.10、以不同时间窗选取ECG信号或BVP信号后，按照步骤1.1-步骤1.9进行处理，从而得到预训练图像数据集其中，H_s表示第s张预训练图像；s＝1,2,…,S；S表示预训练图像数据集中的图像总数；

步骤二、令卷积神经网络的输出层单元个数为T；

采用ImageNet数据集对所述卷积神经网络的权重进行初始化；

步骤三、将预训练图像输入卷积神经网络进行训练，并调整参数；

步骤3.1、将卷积神经网络的最后一层参数设置为可训练，其余层的参数设置为不可训练；

步骤3.2、将第s张预训练图像H_s作为卷积神经网络的输入，对所述卷积神经网络进行训练，从而得到第s次训练后的卷积神经网络，并输出第s次训练后的T个预测心率值；

步骤3.3、根据所述第s次训练后的T个预测心率值与对应预训练图像的标签序列得到第s次训练误差值，从而根据所述第s次训练误差值调整网络参数后，再进行第s+1次训练，直到误差值在连续I个训练周期内不再下降为止；

步骤3.4、设置卷积神经网络的全部参数为可训练，重复步骤3.2和步骤3.2，直到误差值在连续I个训练周期内不再下降为止，从而得到初步最优心率预测模型；

步骤四、使用真实人脸视频生成反映人体心率变化的时空特征图像；

步骤4.1、在时间段E内获取采样率为L的视频数据，并通过人脸检测及追踪算法识别和追踪所述视频数据中每一帧图像的面部区域，再从面部区域中选取3个不同的人脸感兴趣区域；

步骤4.2、对所选取的第g个人脸感兴趣区域分别计算每一帧图像中红色通道、绿色通道、蓝色通道内全部像素的均值，得到3个长度为E×L的一维时间序列；g∈{1,2,3}；

步骤4.3、使用非接触式心率测量算法对3个一维时间序列进行处理，得到处理后的近似心率信号R^g；

步骤4.4、设置滑动窗的长度为E×L；

步骤4.5、每次向后滑动一个采样点后，截取长度为E×L视频数据，并按照步骤4.1-步骤4.3进行处理，得到一段近似心率信号；

步骤4.6、按照步骤4.5重复E×L次，从而得到K段近似心率信号,记为其中，K＝E×L，表示所述第g个感兴趣区域内所产生的第K段近似心率信号；

步骤4.7、对K段近似心率信号纵向排列，得到1个维度为K×K的矩阵；

步骤4.8、按照步骤4.2-步骤4.7的处理过程，最终得到3个维度为K×K的矩阵；对3个维度为K×K的矩阵以深度方向排列，得到维度为K×K×3的矩阵；将维度为K×K×3的矩阵转化为彩色图像，并作为时间段E内的时空特征图像

步骤4.9、将时间段E内的视频数据所对应的ECG信号或BVP信号平均分成T段，并分别计算每段内的心率平均值，从而构成相应时空特征图像的标签其中，表示第T段对应的标签；

步骤4.10、选择不同的时间段内的视频数据，并按照步骤4.1-步骤4.9处理，从而得到时空特征图像数据集 表示第q个时空特征图像，q＝1,2,…,Q；Q表示时空特征图像数据集中的图像总数；

步骤五、将时空特征图像集输入到初步最优心率预测模型中进行训练，并调整网络参数，从而得到最优心率预测模型：

步骤5.1、设置初步最优心率预测模型中全部参数为可训练；

步骤5.2、将第q个时空特征图像作为初步最优心率预测模型的输入，对所述初步最优心率预测模型进行训练，从而得到第q次训练后的初步最优卷积神经网络，并输出第q次训练后的T个初步最优预测心率值；

步骤5.3、根据所述第q次训练后的T个初步最优预测心率值与对应时空特征图像的标签序列得到第q次训练的误差值，从而根据所述第q次训练的误差值调整初步最优心率预测模型后再进行第q+1次训练，直到误差值在连续I′个训练周期内不再下降为止，从而得到最优心率预测模型；进而以所述最优心率预测模型实现非接触式心率测量。

与已有技术相比，本发明的有益效果体现在：

1、本发明通过将视频采集过程中环境光变化、人脸表情或头部运动等所引入的各种噪声包含在训练样本中，使得训练样本包含的情形足够丰富，解决了传统方法仅基于特定场景做出假设的不足，以提高最优心率预测模型对上述不同情形下心率测量的鲁棒性及准确性。

2、本发明通过神经网络将特征图片直接映射到心率值序列，让神经网络模型自动学习预训练图像集和时空特征图像集中的特征，以获得最优心率模型的参数，避免了传统方法中繁杂的信号处理技术的组合，从而使得预测模型在各种情形下更加鲁棒。

3、本发明先采用常规的非接触式心率测量方法对视频图像进行预处理，再将经处理得到的近似心率曲线转化为特征图片，相比于直接从原始信号进行预测，这样可以减少部分干扰，使得神经网络的预测更加准确。

4、本发明使用三个不同的感兴趣区域来构造时空特征图像，以将面部各区域内存在的相同心率信息包含在时空特征图片中，给与卷积神经网络更多的特征信息，使模型的预测更加准确。

5、本发明采用时间延迟的方式，可以将短时间内不同时间段的心率变化信息包含在时空特征图像中，利用网络映射出1个心率值序列，相比传统方法仅针对一段时间预测一个心率值，本发明可以将心率的变化趋势体现在测量结果之中。

6、在公开数据集上进行了大量的训练和测试，结果表明本发明对环境光变化和运动情形下的心率测量具有很高的鲁棒性和实用性。

附图说明

图1为本发明非接触式心率测量方法流程图；

图2为本发明构造预训练图像并训练和测试卷积神经网络的流程示意图；

图3为本发明反映人体心率变化的预训练图像；

图4为本发明构造时空特征图像并训练和测试卷积神经网络的流程示意图；

图5为本发明检测出的人脸特征点及感兴趣区域示意图，其中，方框所标注的为感兴趣区域；

图6为本发明反映人体心率变化的时空特征图像。

具体实施方式

本实施例中，一种基于卷积神经网络的非接触式心率测量方法，如图1所示，包括以下步骤：

步骤一、根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像，完整的预训练图像生成流程如图2所示；

步骤1.1、取10秒的ECG信号或BVP信号进行峰值检测，得到波峰位置序列；

再计算相邻波峰间的差值得到峰峰值间隔序列，记为A＝[A₁,A₂,...,A_N-1]；A_N-1表示波峰位置序列中第N个波峰位置与第N-1个波峰位置之间的差值；

步骤1.2、使用峰峰值间隔序列A构造第一关键点序列C¹和第二关键点序列C²，分别记为和

步骤1.3、利用式(1)对第一关键点序列C¹进行累加求和，得到模拟心率曲线的波峰坐标序列X＝{X_i-1|i＝2,...,N+2}：

式(1)中，C¹(j)表示第一关键点序列C¹中第j个元素；X_i-1表示波峰坐标序列X中第i-1个坐标点，j＝1,2,…,i-1；i＝2,...,N+2；

步骤1.4、利用式(2)对第二关键点序列C²进行累加求和，得到模拟心率曲线的波谷坐标序列Y＝{Y_n-1|n＝2,...,N}：

式(2)中，C²(j)表示第二关键点序列C²中第j个元素；Y_n-1表示波谷坐标序列Y中第n-1个坐标点，j＝1,2,…,n-1；n＝2,...,N；

步骤1.5、利用式(3)定义模拟心率曲线的插值节点序列Z：

式(3)中，模拟心率曲线的波峰值设置为1，波谷值设置为-1，a₀和a₁为0至1之间的随机数；

步骤1.6、设置当前时间窗的长度为N＝10秒，采样频率为P＝30赫兹，利用插值的方式对插值节点序列Z建立模拟心率曲线，所用的插值方法为修改后的Akima三次Hermite插值。其中模拟心率曲线包含N×P＝300个采样点；

步骤1.7、设置滑动窗的长度为N/2＝5秒，从模拟心率曲线的第一个采样点开始，依次在向300个采样点滑动一个采样点的过程中分别截取长度150个采样点的信号，从而截取到M＝150段模拟心率曲线；

步骤1.8、将截取的M段模拟心率曲线依次纵向排列，得到一个维度为150×150的矩阵；将矩阵转化为灰度图像，并作为当前时间窗的预训练图像H。为了使图像适应卷积神经网络的输入，将上述预训练图像重采样为224×224，如图3所示。

步骤1.9、计算对应时间窗内的ECG信号或BVP信号的平均心率值作为此与训练图像的标签。

步骤1.10、以不同时间窗选取ECG信号或BVP信号后，按照步骤1.1-步骤1.9进行处理，从而得到预训练图像数据集其中，H_s表示第s张预训练图像；s＝1,2,…,S；S表示预训练图像数据集中的图像总数；

步骤二、令卷积神经网络的输出层单元个数为1；

采用ImageNet数据集对卷积神经网络的权重进行初始化。本方法所使用的卷积神经网络为ResNet-18,它通过在网络层之间加入恒等映射的方式来有效解决了卷积神经网络层数加深所带来的退化问题，使网络更易优化且性能更好。ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库，主要用于分类识别任务。使用在ImageNet上预训练过的参数对所用卷积神经网络进行初始化，可以将网络在分类识别领域中的能力迁移到心率测量任务中，使下一步的训练更加高效准确。

所用的预训练参数在ImageNet上的Top-1error为30.24，Top-5error为10.92。在训练前，将ResNet-18网络的输出层节点个数修改为1，使网络最后可以映射出1个心率值。

步骤三、将预训练图像输入卷积神经网络进行训练，并调整参数；

步骤3.1、将卷积神经网络的最后一层参数设置为可训练，其余层的参数设置为不可训练；因为在步骤二中，对ResNet-18网络的最后一层神经元的个数做了改动，因此最后一层的参数全部重新随机初始化。首先使用预训练的图像仅对最后一层单独训练，可以高效得引导参数向着心率测量任务的方向改变，可快速准确优化参数。

步骤3.2、将第s张预训练图像H_s作为卷积神经网络的输入，对卷积神经网络进行训练，从而得到第s次训练后的卷积神经网络，并输出第s次训练后的1个预测心率值；

步骤3.3、根据第s次训练后的1个预测心率值与对应预训练图像的标签序列得到第s次训练误差值，所使用的损失函数为L1损失，如式(4)所示。

式(4)中，p为预训练图像，HR_i,predcit为经过卷积神经网络所预测出的心率值，HR_i,label为相应预训练图像所对应的标签值(真实心率)。

网络中所使用的优化器为加入动量的随机梯度下降优化算法。训练过程中所设置的学习率为10^-4。

从而根据第s次训练误差值调整网络参数后，再进行第s+1次训练，直到误差值在连续I＝5个训练周期内不再下降为止。

步骤3.4、设置卷积神经网络的全部参数为可训练，重复步骤3.2和步骤3.3，直到误差值在连续I＝5个训练周期内不再下降为止，从而得到初步最优心率预测模型；

使用预训练图像对网络进行训练的目的是：预训练图像是使用ECG信号或BVP信号生成的反映短时间内人体心率变化的图像，它不受环境光变化及头部运动的影响，可以简明准确得表达出图像与真实心率之间的对应关系。

因为步骤二中所用的预训练参数是在ImageNet上训练卷积神经网络得到的，这组参数在分类识别任务中很高效，对于非接触式心率测量任务，使用上述预训练参数作为初始值，可以使得网络参数更快地收敛到基于合成数据的非接触式心率测量任务的最优值，进而可用作后续使用真实视频数据进行训练。

步骤四、使用真实人脸视频生成反映人体心率变化的时空特征图像，完整的时空特征图像生成及训练流程如图4所示；

步骤4.1、将视频数据库中的视频帧率重采样到30帧/秒，统一不同来源的视频数据，以便后续做批量处理。在时间段E＝5秒内获取采样率为L＝30帧/秒的视频数据，并通过人脸检测及追踪算法识别和追踪视频数据中每一帧图像的面部区域，再从面部区域中选取3个不同的人脸感兴趣区域。如图5所示，通过检测出的面部特征点来确定感兴趣区域，其中，选取人脸的左面颊作为感兴趣区域1，人脸的右面颊作为感兴趣区域2，人脸的额头区域作为感兴趣区域3。

步骤4.2、对所选取的第g个人脸感兴趣区域分别计算每一帧图像中红色通道、绿色通道、蓝色通道内全部像素的均值，得到3个长度为1×150的一维时间序列；g∈{1,2,3}；

步骤4.3、使用常规的非接触式心率测量算法对3个一维时间序列进行处理，得到处理后的近似心率信号R^g；

步骤4.4、设置滑动窗的长度为E×L＝150；

步骤4.5、每次向后滑动一个采样点，截取150帧视频数据，按照步骤4.1-4.3进行处理，，得到一段近似心率信号；

步骤4.6、按照步骤4.5重复E×L＝150次，从而得到150段近似心率信号,记为其中，表示第g个感兴趣区域内所产生的第150段近似心率信号；

步骤4.7、对K＝150段近似心率信号纵向排列，得到1个维度为150×150的矩阵；

步骤4.8、按照步骤4.2-步骤4.7的处理过程，最终得到3个维度为K×K＝150×150的矩阵；对3个维度为150×150的矩阵以深度方向排列，得到维度为150×150×3的矩阵；将维度为150×150×3的矩阵转化为彩色图像，如图6所示，并作为此时间段内的时空特征图像

使用三个不同的感兴趣区域来构造时空特征图像，可以将人脸不同区域所包含的心率信息蕴含在时空特征图像中，给与卷积神经网络更多的信息来预测心率。通过上述时间延迟的方式，可以将短时间内不同时间段的心率变化信息包含在时空特征图像中，通过大量样本的输入，使卷积神经网络有更好的预测效果。

步骤4.9、按照式(5)计算对应时间窗内的ECG信号或BVP信号的平均心率值作为此与训练图像的标签。

式(5)中，HR为对应时间段内的真实心率值(对应时空特征图的标签)，fs为ECG信号或BVP信号的采样频率，为上述峰峰值间隔序列的平均值。

步骤4.10、选择不同的时间段内的视频数据，并按照步骤4.1-步骤4.9处理，从而得到时空特征图像数据集 表示第q个时空特征图像，q＝1,2,…,Q；Q表示时空特征图像数据集中的图像总数；

步骤五、将时空特征图像集输入到初步最优心率预测模型中进行训练，并调整网络参数，从而得到最优心率预测模型：

步骤5.1、设置初步最优心率预测模型中全部参数为可训练。

为了适应上述卷积神经网络输入层的要求，将上述时空特征图像全部上采样为224×224×3，所采用的上采样方式为最临近插值法。最邻近插值法直接将近邻域的原始像素赋值给待求像素，可以有效保留原始像素信息。在非接触式生理参数测量中非常适用，上采样后的图像可以有效保留原始心率信息。

步骤5.2、将第q个时空特征图像作为初步最优心率预测模型的输入，对初步最优心率预测模型进行训练，从而得到第q次训练后的初步最优卷积神经网络，并输出第q次训练后的1个初步最优预测心率值；

步骤5.3、根据第q次训练后的初步最优预测心率值与对应时空特征图像的标签序列得到第q次训练的误差值，从而根据第q次训练的误差值调整初步最优心率预测模型后再进行第q+1次训练，直到误差值在连续I′＝5个训练周期内不再下降为止，从而得到最优心率预测模型；进而以最优心率预测模型实现非接触式心率测量。

Claims (1)

1.一种基于卷积神经网络的非接触式心率测量方法，其特征在于，包括以下步骤：

步骤一、根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像；

步骤1.1、在当前时间窗内对所述ECG信号或BVP信号进行峰值检测，得到波峰位置序列；

再计算相邻波峰间的差值得到峰峰值间隔序列，记为A＝[A₁,A₂,...,A_N-1]；A_N-1表示所述波峰位置序列中第N个波峰位置与第N-1个波峰位置之间的差值；

步骤1.2、使用峰峰值间隔序列A构造第一关键点序列C¹和第二关键点序列C²，分别记为和

步骤1.3、利用式(1)对所述第一关键点序列C¹进行累加求和，得到模拟心率曲线的波峰坐标序列X＝{X_i-1|i＝2,...,N+2}：

式(1)中，C¹(j)表示所述第一关键点序列C¹中第j个元素；X_i-1表示波峰坐标序列X中第i-1个坐标点，j＝1,2,…,i-1；i＝2,...,N+2；

步骤1.4、利用式(2)对所述第二关键点序列C²进行累加求和，得到模拟心率曲线的波谷坐标序列Y＝{Y_n-1|n＝2,...,N}：

式(2)中，C²(j)表示所述第二关键点序列C²中第j个元素；Y_n-1表示波谷坐标序列Y中第n-1个坐标点，j＝1,2,…,n-1；n＝2,...,N；

步骤1.5、利用式(3)定义模拟心率曲线的插值节点序列Z：

式(3)中，模拟心率曲线的波峰值设置为1，波谷值设置为-1，a₀和a₁为0至1之间的随机数；

步骤1.6、设置当前时间窗的长度为N，采样频率为P，利用插值的方式对所述插值节点序列Z建立模拟心率曲线，其中所述模拟心率曲线包含N×P个采样点；

步骤1.7、设置滑动窗的长度为N/2，从所述模拟心率曲线的第一个采样点开始，依次在向N×P个采样点滑动一个采样点的过程中分别截取长度为N/2的信号，从而截取到M段模拟心率曲线,其中M＝(N×P)/2；

步骤1.8、将截取的M段模拟心率曲线依次纵向排列，得到一个维度为M×M的矩阵；将所述矩阵转化为灰度图像，并作为当前时间窗的预训练图像H；

步骤1.9、将所述ECG信号或BVP信号平均分成T段，依次计算每段信号内的心率平均值并构成相应预训练图像H的标签序列[L₁,L₂,...,L_T]；L_T表示第T段信号的标签；

步骤1.10、以不同时间窗选取ECG信号或BVP信号后，按照步骤1.1-步骤1.9进行处理，从而得到预训练图像数据集其中，H_s表示第s张预训练图像；s＝1,2,…,S；S表示预训练图像数据集中的图像总数；

步骤二、令卷积神经网络的输出层单元个数为T；

采用ImageNet数据集对所述卷积神经网络的权重进行初始化；

步骤三、将预训练图像输入卷积神经网络进行训练，并调整参数；

步骤3.1、将卷积神经网络的最后一层参数设置为可训练，其余层的参数设置为不可训练；

步骤3.2、将第s张预训练图像H_s作为卷积神经网络的输入，对所述卷积神经网络进行训练，从而得到第s次训练后的卷积神经网络，并输出第s次训练后的T个预测心率值；

步骤3.3、根据所述第s次训练后的T个预测心率值与对应预训练图像的标签序列得到第s次训练误差值，从而根据所述第s次训练误差值调整网络参数后，再进行第s+1次训练，直到误差值在连续I个训练周期内不再下降为止；

步骤3.4、设置卷积神经网络的全部参数为可训练，重复步骤3.2和步骤3.2，直到误差值在连续I个训练周期内不再下降为止，从而得到初步最优心率预测模型；

步骤四、使用真实人脸视频生成反映人体心率变化的时空特征图像；

步骤4.1、在时间段E内获取采样率为L的视频数据，并通过人脸检测及追踪算法识别和追踪所述视频数据中每一帧图像的面部区域，再从面部区域中选取3个不同的人脸感兴趣区域；

步骤4.2、对所选取的第g个人脸感兴趣区域分别计算每一帧图像中红色通道、绿色通道、蓝色通道内全部像素的均值，得到3个长度为E×L的一维时间序列；g∈{1,2,3}；

步骤4.3、使用非接触式心率测量算法对3个一维时间序列进行处理，得到处理后的近似心率信号R^g；

步骤4.4、设置滑动窗的长度为E×L；

步骤4.5、每次向后滑动一个采样点后，截取长度为E×L视频数据，并按照步骤4.1-步骤4.3进行处理，得到一段近似心率信号；

步骤4.6、按照步骤4.5重复E×L次，从而得到K段近似心率信号,记为其中，K＝E×L，表示所述第g个感兴趣区域内所产生的第K段近似心率信号；

步骤4.7、对K段近似心率信号纵向排列，得到1个维度为K×K的矩阵；

步骤4.8、按照步骤4.2-步骤4.7的处理过程，最终得到3个维度为K×K的矩阵；对3个维度为K×K的矩阵以深度方向排列，得到维度为K×K×3的矩阵；将维度为K×K×3的矩阵转化为彩色图像，并作为时间段E内的时空特征图像

步骤4.9、将时间段E内的视频数据所对应的ECG信号或BVP信号平均分成T段，并分别计算每段内的心率平均值，从而构成相应时空特征图像的标签其中，表示第T段对应的标签；

步骤4.10、选择不同的时间段内的视频数据，并按照步骤4.1-步骤4.9处理，从而得到时空特征图像数据集 表示第q个时空特征图像，q＝1,2,…,Q；Q表示时空特征图像数据集中的图像总数；

步骤五、将时空特征图像集输入到初步最优心率预测模型中进行训练，并调整网络参数，从而得到最优心率预测模型：

步骤5.1、设置初步最优心率预测模型中全部参数为可训练；

步骤5.2、将第q个时空特征图像作为初步最优心率预测模型的输入，对所述初步最优心率预测模型进行训练，从而得到第q次训练后的初步最优卷积神经网络，并输出第q次训练后的T个初步最优预测心率值；

步骤5.3、根据所述第q次训练后的T个初步最优预测心率值与对应时空特征图像的标签序列得到第q次训练的误差值，从而根据所述第q次训练的误差值调整初步最优心率预测模型后再进行第q+1次训练，直到误差值在连续I′个训练周期内不再下降为止，从而得到最优心率预测模型；进而以所述最优心率预测模型实现非接触式心率测量。