CN112001122B - 基于端到端生成对抗网络的非接触式生理信号测量方法 - Google Patents

Abstract

本发明公开了一种基于端到端生成对抗网络的非接触式生理信号测量方法，其步骤包括：1处理视频数据得到色度信号，将参考信号用级数展开获得多个标签信号，并获取对应的运动信号；2构建生成对抗网络，设计生成器和判别器的网络结构，采用3D网络模块和多个1D网络模块级联构成引导式的多标签生成器，采用多个卷积块构成判别器；3生成器多个网络模块的损失函数与对抗损失的加权和作为损失函数，判别器以最小二乘损失作为损失函数；4将视频数据输入生成对抗网络训练，调整网络参数，得到最优模型。本发明能够得到较为准确的rPPG信号，为基于视频的生理参数监测的实际应用提供解决方案。

Description

基于端到端生成对抗网络的非接触式生理信号测量方法

技术领域

本发明涉及非接触式生理信号检测及分析技术领域，具体涉及一种基于端到端生成对抗网络的非接触式生理信号测量方法。

背景技术

血容量脉冲信号是一种重要的生理信号，它包含多种重要的生理信息，可以从中得到心率、心率变异性等多种生理参数，对临床诊断疾病具有重要意义。目前，临床上监测人体血容量脉冲信号的方法主要为接触式测量方法，采用一些接触式的测量仪器如心电图机、脉搏血氧仪等来监测血容量脉冲信号。由于测量时需要接触到受试者的皮肤，长时间使用会引起受试者的不适。并且，对于一些特殊人群如婴儿、易过敏肤质人群以及烧伤病人等，接触式的测量方法并不适用。近年来，基于视频图像的远程光电容积描记(remotephotoplethysmography，rPPG)已经成为一大研究热点，rPPG技术利用消费者级摄像机记录心跳引起的面部皮肤颜色变化，采用一些算法处理这种颜色变化获得血容量脉冲信号，称为rPPG信号，它具有无创、便携、易于实现等特点。

在rPPG技术中主要存在两大难题——光照变化和运动噪声，但是大多数场景都处于室内光源或自然光源条件下，光照变化比较小，而受试者难免会有运动，因此运动去噪成为rPPG的最主要问题。经过多年的发展，人们根据不同的假设和机理引入了多种rPPG方法，例如，基于盲源分离和基于模型的传统方法。传统方法的假设往往不能完全满足实际情况，脉冲信号提取的精度受到限制，使得它们的应用场景非常有限。随着深度学习的迅速发展，由于其快速且强大的处理数据的能力，在rPPG领域也开始活跃起来。利用深度学习技术，能够在真实环境下从视频中提取准确的心率。但目前大部分技术都只是获得一段时间内的平均心率值或者不够准确的rPPG信号，这使得rPPG的应用受到了很大的限制。

发明内容

本发明是为避免上述现有技术的不足，提供一种基于端到端生成对抗网络的非接触式生理信号测量方法，以期能够直接从视频得到准确的rPPG信号，从而计算更多的生理参数，为移动健康监护、疾病诊断提供有效信息。

本发明为解决技术问题采用如下方案：

本发明一种基于端到端生成对抗网络的非接触式生理信号测量方法的特点在于，包括以下步骤：

步骤一、处理视频数据获得网络训练时的标签信号，并获得相应的运动信号；

步骤1.1获取t帧视频图像X，并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域，使用非接触式心率测量算法处理每一帧图像的面部区域，从而得到色度信号C；

步骤1.2获取t帧视频图像X对应的参考信号P，利用式(1)将参考信号P用级数展开，从而获得第i个标签信号P_i：

式(1)中，F_i为第i个基函数，α_i为第i个展开系数，i＝1,2,…,N；

步骤1.3获取t帧视频图像X对应时间内的运动信号Y；

步骤二、搭建生成对抗网络的结构，包括生成器G和判别器D；

步骤2.1所述生成器G采用一个3D网络与N个1D网络级联的方式构成，所述3D网络采用R(2+1)D网络模块，N个1D网络均采用Wave-U-Net网络模块；

所述R(2+1)D网络模块的输入为t帧视频图像X，所述R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接，并将所述运动信号Y作为条件同时输入第1个Wave-U-Net网络模块，然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层；所述R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连；第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连；第i个Wave-U-Net网络模块的输出层通过跳跃连接方式与第i+2个Wave-U-Net网络模块的输入层相连；i＝2,3,…,N-2；第N-1个网络的输出层通过跳跃连接方式直接连接第N个Wave-U-Net网络模块的输出层；从而将一个R(2+1)D网络模块与N个Wave-U-Net网络模块级联起来构成生成器G；t帧视频图像X经过所述生成器G的处理后，得到一个rPPG信号；

步骤2.2采用多个一维卷积模块堆叠组成判别器D，所述判别器D的输入为rPPG信号或者参考信号P，输出为一个一维判别矩阵，所述一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果；

步骤三、设计损失函数，建立生成对抗网络的优化目标；

步骤3.1利用式(2)建立生成器G的损失函数L_G：

式(2)中，L_adv为生成器G和判别器D之间的对抗损失，并通过式(3)得到；L_r为R(2+1)D网络模块的损失，并通过式(4)得到；L_w,i为第i个Wave-U-Net网络模块的损失，并通过式(5)得到；λ为对抗损失L_adv的权重，β为R(2+1)D网络模块的损失L_r的权重，γ_i第i个网络模块的损失L_w,i的权重，N为Wave-U-Net网络模块的总数；

L_adv＝(D(G(X,Y))-1)² (3)

L_r＝||R(X)-C||₁ (4)

L_w,i＝||W_i-P_i||₁，i＝1,2,…,N (5)

式(3)-式(5)中，||·||₁表示L₁范数，R(X)表示R(2+1)D网络模块的输出，W_i表示第i个Wave-U-Net网络模块的输出；

步骤3.2利用式(6)建立判别器D的损失函数L_D：

对于参考信号P，期望所述判别器D对其特征级别的判断为1，对于rPPG信号，期望所述判别器D对其特征级别的判断为0；

步骤四、输入训练数据并进行网络训练，从而得到最优模型；

将步骤一中处理的数据输入网络进行训练，将所述视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入所述生成器G中，并将生成器G生成的rPPG信号或参考信号P输入所述判别器D，使得所述生成器G和判别器D交替训练，并不断调整网络参数，使得所述生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小，直到误差不再减小为止，从而得到所述生成器G的最优模型，以实现端到端的视频生理信号测量。

与已有技术相比，本发明的有益效果体现在：

1、本发明通过端到端的神经网络直接将视频信号映射到rPPG信号，减少了手动处理的过程，避免了因手动提取特征而忽略一些视频细节，导致丢失与心跳有关的重要信息。

2、本发明采用多个网络模块级联，通过减小与各个标签信号的差异来引导网络的学习，避免了端到端网络的“黑盒”，逐步降低了视频到波形中间的非线性映射，为训练更优的模型提供有效帮助，从而提高波形提取的准确性。

3、本发明直接将运动信息作为一种参考来进行去噪，运动信息可从图像特征点的位置变化或者相应的加速度传感器采集获得，结合运动信息可以帮助网络直接学习噪声的特征，从而有助于去除运动噪声，提高了最优模型在运动情况下生理信号测量的鲁棒性及准确性。

4、本发明通过神经网络映射，直接通过人脸视频获得可用的、高质量的rPPG信号，使进一步计算心率、心率变异性等可靠的心脏特征成为可能，为移动健康监护、疾病诊断等提供更准确的健康状况信息，从而扩大rPPG技术的应用范围。

附图说明

图1为本发明方法流程图；

图2为本发明生成对抗网络的整体框架图；

图3为本发明方法的生成器网络结构图；

图4为本发明方法的判别器网络结构图；

图5为本发明模型测试流程图。

具体实施方式

本实施例中，一种基于端到端生成对抗网络的非接触式生理信号的测量方法，具体流程如图1所示，包括以下步骤：

步骤一、处理视频数据获得网络训练时的标签信号，并获得相应的运动信号；

步骤1.1采用自主采集的数据集并处理这个数据集，获取t帧视频图像X，本实例中t设置为64，并将每一帧图像裁剪为112×112的大小；并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域，使用非接触式心率测量算法处理每一帧图像的面部区域，从而得到色度信号C；本实例中非接触式心率测量算法采用CHROM算法；

步骤1.2获取t帧视频图像X对应的参考信号P，利用式(1)将参考信号P用级数展开，从而获得第i个标签信号P_i：

式(1)中，F_i为第i个基函数，α_i为第i个展开系数，i＝1,2,…,N；本实例中采用傅里叶级数将P展开，N设为3，通过式(1)计算得到3个标签信号分别为：P₁＝C+F₁α₁，P₂＝C+F₁α₁+F₂α₂，P₃＝P＝C+F₁α₁+F₂α₂+F₃α₃；

步骤1.3获取t帧视频图像X对应时间内的运动信号Y；采集视频数据和参考信号的同时，采用加速度传感器同步记录运动信号，因此可获得视频序列对应的运动信号；

步骤二、搭建生成对抗网络架构，包括生成器G和判别器D，整体框架图如图2所示；

步骤2.1生成器网络结构图如图3所示，生成器G采用一个3D网络与N个1D网络级联的方式构成，本实例中N为3；3D网络采用R(2+1)D网络模块，这个网络模块将二维卷积层与一维卷积层结合，避免直接使用三维卷积导致参数量过大的问题，同时相比之前提出的伪3D网络，R(2+1)D网络保持了相同的参数量，但是增加了更多的激活层，使得网络的表达能力更强。N个1D网络均采用Wave-U-Net网络模块，该网络是处理一维信号的网络框架，可以从时域直接进行源分离，重复地对特征重新采样，以计算和合并不同时间尺度下的特征。

R(2+1)D网络模块的输入为t帧视频图像X，R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接，另外将运动信号Y作为条件同时输入第1个Wave-U-Net网络模块，然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层；R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连；第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连；第2个网络的输出层通过跳跃连接方式直接连接第3个Wave-U-Net网络模块的输出层；从而将一个R(2+1)D网络模块与3个Wave-U-Net网络模块级联起来构成生成器G；t帧视频图像X经过生成器G的处理后，得到一个rPPG信号；

这样采用多个标签的级联结构，类似于多分辨映射过程，将视频信号通过多个网络模块的逐步映射得到与参考信号更加接近的rPPG信号，避免端到端网络的“黑盒”，防止网络出现过拟合或欠拟合的现象。并且在各个模块之间采用跳跃连接，形成残差学习，增强网络训练的鲁棒性。同时将运动信号作为条件输入网络，让网络能够直接学习到运动信号的特征，从而准确地将运动噪声去除，映射出高质量的波形；

步骤2.2采用多个一维卷积模块堆叠组成判别器D，判别器D的输入为rPPG信号或者参考信号P，输出为一个一维判别矩阵，一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果；判别器D网络结构如图4所示，本实例中采用5个卷积模块，每个卷积模块由一维卷积层、BatchNorm和LeakyReLU激活层组成，判别器D从特征级别出发对信号的真假做出判断，使网络能够学习到更加细节的特征，提高生成信号的质量；

步骤三、设计损失函数，建立生成对抗网络的优化目标；

生成对抗网络包括对生成器G和判别器D，需要分别给这两个网络建立损失函数，这两个网络以对抗性的方式训练，生成器G生成一个接近真实样本的假样本来干扰判别器D，判别器D则用来判断一个样本是来自于训练集的真实样本还是来自于生成器G生成的假样本，从而使生成器G的结果更接近真实样本。

步骤3.1生成器G包含多个模块，因此生成器G的损失函数为对抗损失和多个模块损失的加权和，利用式(2)建立生成器G的损失函数L_G：

式(2)中，L_adv为生成器G和判别器D之间的对抗损失，并通过式(3)得到；L_r为R(2+1)D网络模块的损失，并通过式(4)得到；L_w,i为第i个Wave-U-Net网络模块的损失，并通过式(5)得到；生成器G中的R(2+1)D网络模块以色度信号C为目标，第i个Wave-U-Net网络模块以通过式(1)生成的第i个标签信号为目标，各个模块通过减小与各自的目标信号之间的差异来优化网络的参数，这几项损失控制网络的学习方向，使生成器G生成与参考信号P接近的信号；

式(2)中，λ为对抗损失L_adv的权重，β为R(2+1)D网络模块的损失L_r的权重，γ_i第i个网络模块的损失L_w,i的权重，N为Wave-U-Net网络模块的总数；本实例中N为3；

L_adv＝(D(G(X,Y))-1)² (3)

L_r＝||R(X)-C||₁ (4)

L_w,i＝||W_i-P_i||₁，i＝1,2,3 (5)

式(3)-式(5)中，||·||₁表示L₁范数，R(X)表示R(2+1)D网络模块的输出，W_i表示第i个Wave-U-Net网络模块的输出；

步骤3.2利用式(6)建立判别器D的损失函数L_D；判别器D损失函数采用最小二乘的形式，为两项损失之和：

对于参考信号P，期望判别器D对其特征级别的判断为1，对于rPPG信号，期望判别器D对其特征级别的判断为0；

步骤四、输入训练数据并进行网络训练，从而得到最优模型；

将步骤一中处理的数据输入网络进行训练，将视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入生成器G中，并将生成器G生成的rPPG信号或参考信号P输入判别器D，使得生成器G和判别器D交替训练，并不断调整网络参数，使得生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小，直到误差不再减小为止，从而得到生成器G的最优模型，以实现端到端的视频生理信号测量；

测试流程图如图5所示，最后采用最优模型进行测试时，只需要将测试的视频图像数据和相应的运动信号输入生成器G的最优模型，视频图像数据和相应的运动信号经过生成器G的最优模型的映射得到rPPG信号，最后可用该rPPG信号计算更多的生理特征。

Claims (1)

1.一种基于端到端生成对抗网络的非接触式生理信号测量方法，其特征在于，包括以下步骤：

步骤一、处理视频数据获得网络训练时的标签信号，并获得相应的运动信号；

步骤1.1获取t帧视频图像X，并通过人脸检测及追踪算法识别和追踪每一帧图像的面部区域，使用非接触式心率测量算法处理每一帧图像的面部区域，从而得到色度信号C；

步骤1.2获取t帧视频图像X对应的参考信号P，利用式(1)将参考信号P用级数展开，从而获得第i个标签信号P_i：

式(1)中，F_i为第i个基函数，α_i为第i个展开系数，i＝1,2,…,N；

步骤1.3获取t帧视频图像X对应时间内的运动信号Y；

步骤二、搭建生成对抗网络的结构，包括生成器G和判别器D；

步骤2.1所述生成器G采用一个3D网络与N个1D网络级联的方式构成，所述3D网络采用R(2+1)D网络模块，N个1D网络均采用Wave-U-Net网络模块；

所述R(2+1)D网络模块的输入为t帧视频图像X，所述R(2+1)D网络模块的输出层与第1个Wave-U-Net网络模块的输入层连接，并将所述运动信号Y作为条件同时输入第1个Wave-U-Net网络模块，然后第1个Wave-U-Net网络模块的输出层连接第2个Wave-U-Net网络模块的输入层；所述R(2+1)D网络模块的输出层通过跳跃连接方式与第2个Wave-U-Net网络模块的输入层相连；第1个Wave-U-Net网络模块的输出层通过跳跃连接方式与第3个Wave-U-Net网络模块的输入层相连；第i个Wave-U-Net网络模块的输出层通过跳跃连接方式与第i+2个Wave-U-Net网络模块的输入层相连；i＝2,3,…,N-2；第N-1个网络的输出层通过跳跃连接方式直接连接第N个Wave-U-Net网络模块的输出层；从而将一个R(2+1)D网络模块与N个Wave-U-Net网络模块级联起来构成生成器G；t帧视频图像X经过所述生成器G的处理后，得到一个rPPG信号；

步骤2.2采用多个一维卷积模块堆叠组成判别器D，所述判别器D的输入为rPPG信号或者参考信号P，输出为一个一维判别矩阵，所述一维判别矩阵的每一个判别值表示判别器D对rPPG信号或者参考信号P的特征级别的判断结果；

步骤三、设计损失函数，建立生成对抗网络的优化目标；

步骤3.1利用式(2)建立生成器G的损失函数L_G：

式(2)中，L_adv为生成器G和判别器D之间的对抗损失，并通过式(3)得到；L_r为R(2+1)D网络模块的损失，并通过式(4)得到；L_w,i为第i个Wave-U-Net网络模块的损失，并通过式(5)得到；λ为对抗损失L_adv的权重，β为R(2+1)D网络模块的损失L_r的权重，γ_i第i个网络模块的损失L_w,i的权重，N为Wave-U-Net网络模块的总数；

L_adv＝(D(G(X,Y))-1)² (3)

L_r＝||R(X)-C||₁ (4)

L_w,i＝||W_i-P_i||₁，i＝1,2,…,N (5)

式(3)-式(5)中，||·||₁表示L₁范数，R(X)表示R(2+1)D网络模块的输出，W_i表示第i个Wave-U-Net网络模块的输出；G(X,Y)表示视频数据X和运动信号Y输入生成器G后，生成器G的输出，D(G(X,Y))表示生成器G的输出G(X,Y)再输入判别器D后，判别器D的输出；

步骤3.2利用式(6)建立判别器D的损失函数L_D：

式(6)中，D(P)表示参考信号P输入判别器D后，判别器D的输出；

对于参考信号P，期望所述判别器D对其特征级别的判断为1，对于rPPG信号，期望所述判别器D对其特征级别的判断为0；

步骤四、输入训练数据并进行网络训练，从而得到最优模型；

将步骤一中处理的数据输入网络进行训练，将所述视频数据X、运动信号Y、色度信号C以及N个标签信号分别输入所述生成器G中，并将生成器G生成的rPPG信号或参考信号P输入所述判别器D，使得所述生成器G和判别器D交替训练，并不断调整网络参数，使得所述生成器G中每个网络模块各自的输出信号与对应的目标信号之间的误差不断减小，直到误差不再减小为止，从而得到所述生成器G的最优模型，以实现端到端的视频生理信号测量。