CN115905819B - 基于生成对抗网络的rPPG信号生成方法及装置 - Google Patents

基于生成对抗网络的rPPG信号生成方法及装置 Download PDF

Info

Publication number
CN115905819B
CN115905819B CN202310220943.4A CN202310220943A CN115905819B CN 115905819 B CN115905819 B CN 115905819B CN 202310220943 A CN202310220943 A CN 202310220943A CN 115905819 B CN115905819 B CN 115905819B
Authority
CN
China
Prior art keywords
signal
rppg
trained
standard
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310220943.4A
Other languages
English (en)
Other versions
CN115905819A (zh
Inventor
涂晓光
胡哲昊
刘建华
刘勃锴
雷霞
王文敬
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Flight University of China
Original Assignee
Civil Aviation Flight University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Flight University of China filed Critical Civil Aviation Flight University of China
Priority to CN202310220943.4A priority Critical patent/CN115905819B/zh
Publication of CN115905819A publication Critical patent/CN115905819A/zh
Application granted granted Critical
Publication of CN115905819B publication Critical patent/CN115905819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的rPPG信号生成方法及装置，属于生理信号识别技术领域。rPPG信号生成方法，包括：生成标准频率信号和标准波形信号；生成对抗网络生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练；其中，预处理为将一维的信号转换为二维的图像信号。本发明使用标准频率信号和标准波形信号分别与生成信号进行对抗学习，能够生成频率准确且波形形态标准化的rPPG信号。

Description

基于生成对抗网络的rPPG信号生成方法及装置
技术领域
本发明属于生理信号识别技术领域，特别是涉及一种基于生成对抗网络的rPPG信号生成方法及装置。
背景技术
近些年来光电传感技术在生物医学工程领域显示出了独特的技术优势，其在生理信号检测、表情及肢体语言识别等方向都有着广泛的应用；光电检测技术的速度快、非入侵等特点使其为医学信号检测带来更高的效率、为患者带来更好的体验，有利于精神压力和心理状态监测评估在基层医疗系统甚至是家庭健康系统中的普及。
非接触式心率测量方法对比传统接触式心率测量方法，其速度快、非入侵等特点能带诸多便利。远程光电容积脉搏波描记术（remote Photoplethysmography，rPPG），是一种无创非接触式的心率估计方法。可借助摄像头采集人脸视频数据，并通过卷积神经网络提取对应的rPPG信号，进而进行心率测算。
由于采集的视频人脸数据容易受到人脸抖动、光照、背景噪声等因素的影响，目前基于卷积神经网络(CNN)所生成的rPPG信号通常包含无规律的噪声，如图1所示。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于生成对抗网络的rPPG信号生成方法及装置。
本发明的目的是通过以下技术方案来实现的：
根据本发明的第一方面，基于生成对抗网络的rPPG信号生成方法，包括：
生成标准频率信号和标准波形信号；
生成对抗网络生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练；
其中，预处理为将一维的信号转换为二维的图像信号。
进一步地，所述标准频率信号的生成方法包括：
以 t 1 ,t 2 ,...t N 为时间节点构建重复的三角形波，得到标准频率信号；
其中， t 1 ,t 2 ,...t N 为包含N个波峰的信号的峰值点的产生时间。
进一步地，所述标准波形信号的生成方法包括：
设置正态波形：
式中，是时间参数，是尺度参数，是形状参数；
设置高斯函数：
式中，是宽度参数；
生成rPPG信号模型，rPPG信号模型为正态波形和高斯函数的线性组合：
式中，为rPPG脉冲模型，表示直流分量,为权重参数，是时移参数；
将rPPG信号模型中的参数合并至矢量中：
式中，为rPPG信号模型中的参数；
通过非线性最小二乘拟合估计rPPG模型中的参数：
式中，为通过rPPG信号采集器采集到的理想rPPG信号模板；
最小化理想rPPG模板与rPPG脉冲模型之间的差异，求解得得到合成的标准波形信号为。
进一步地，所述预处理为通过Toeplitz矩阵将一维的信号转换为二维的图像信号。
根据本发明的第二方面，基于生成对抗网络的rPPG信号生成装置，包括：
标准信号生成模块，用于生成标准频率信号和标准波形信号；
生成对抗网络，用于生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练；
其中，预处理为将一维的信号转换为二维的图像信号。
进一步地，所述生成对抗网络包括：
生成器，用于生成待训练rPPG信号；
第一判别器，用于对标准频率信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准频率信号进行对抗训练；
第二判别器，用于对标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准波形信号进行对抗训练。
进一步地，所述生成器的输入为含有真实的rPPG信号标定的人脸视频，所述生成器的输出为待训练rPPG信号。
进一步地，所述第一判别器对抗训练的目标函数为：
式中，表示标准频率信号，表示生成器，表示第一判别器，表示将一维的脉冲信号预处理为Toeplitz矩阵,表示将待训练rPPG信号转换为对应的重复三角形波。
进一步地，所述第二判别器对抗训练的目标函数为：
式中，表示标准波形信号，表示第二判别器，表示将一维的脉冲信号预处理为Toeplitz矩阵,表示待训练rPPG信号。
进一步地，所述预处理为通过Toeplitz矩阵将一维的信号转换为二维的图像信号。
本发明的有益效果是：
（1）本发明通过双重对抗学习的方法对生成的待训练rPPG信号从两方面进行对抗学习：一方面，将生成的待训练rPPG信号和合成的标准频率信号进行对抗学习，另一方面将生成的待训练rPPG信号和合成的标准波形信号进行对抗学习，使得生成的待训练rPPG信号在频率和波形上不断的逼近真实分布的rPPG信号，以便于后续的心率观测和提取等；
（2）本发明只使用人脸视频作为输入，使用的标准频率信号和标准波形信号由数学模型合成，不受输入的影响，同时为对抗训练提供了额外的辅助信息；
（3）本发明中先将一维信号转换为二维图像，然后使用二维的对抗网络进行训练，由于二维网络非线性拟合能力相较于一维网络更强，因此其对抗学习效果更好。
附图说明
图1为包含无规律的噪声的rPPG信号示意图；
图2为本发明中rPPG信号生成方法的一种实施例的流程图；
图3为标准频率信号的一种示意图；
图4为标准波形信号的一种示意图；
图5为本发明中rPPG信号生成装置的一种实施例的组成框图；
图6为生成器的一种结构示意图；
图7为本发明中训练过程的一种示意图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-图7，本发明提供一种基于生成对抗网络的rPPG信号生成方法及装置：
本发明的第一方面提供了一种基于生成对抗网络的rPPG信号生成方法。如图2所示，所示rPPG信号生成方法包括步骤S100-步骤S200，以下详细说明。
步骤S100.生成标准频率信号和标准波形信号。
在一些实施例中，所述标准频率信号的生成方法包括：假设某信号包含 N个波峰，其峰值点产生的时间点分别为 t 1 ,t 2 ,...t N ，则以 t 1 ,t 2 ,...t N 为时间节点构建重复的三角形波，从而得到标准频率信号，如图3所示。
在一些实施例中，对于标准波形信号的构建，可将其建模为三个函数的线性组合，一个是对数正态函数（正态波形），另外是两个高斯函数，两者构成了直接脉冲与反射脉冲信号。
所述正态波形为：
式中，是时间参数，是尺度参数，是形状参数。
所述高斯函数为：
式中，是宽度参数。
生成rPPG信号模型，rPPG信号模型为正态波形和高斯函数经加权、时移后的线性组合。具体的：
式中，为rPPG脉冲模型，表示直流分量,为权重参数，是时移参数。
将rPPG信号模型中的参数合并至矢量中：
式中，为rPPG信号模型中的参数。
通过非线性最小二乘拟合估计rPPG模型中的参数：
式中，为通过rPPG信号采集器采集到的理想rPPG信号模板。
最小化理想rPPG模板与rPPG脉冲模型之间的差异，求解得得到合成的标准波形信号为。
本实施中通过改变对数正态函数和两个高斯函数的加权系数，即可得到不同分布的标准波形信号,模拟的标准波形信号如图4所示。
步骤S200.生成对抗网络生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练，然后得到最终的rPPG信号；其中，预处理为将一维的信号转换为二维的图像信号。
具体的，所述生成对抗网络根据输入的含有真实的rPPG信号标定的人脸视频生成待训练rPPG信号。
生成对抗网络的具体训练过程为：初始化生成对抗网络中的生成器参数和判别器参数，然后根据输入的人脸视频生成待训练rPPG信号，然后将待训练rPPG信号分别与标准频率信号和标准波形信号进行对抗训练，然后根据损失函数更新生成器参数和判别器参数，重复上述过程直到满足预设的终止条件。
在一些实施例中，所述预处理为通过Toeplitz矩阵将一维的信号转换为二维的图像信号。具体的，假设信号总共包含个点，且为偶数。在rPPG信号中，由所取视频时长及帧率决定。首先，取信号的前个点，并将其放置于矩阵的第一行。之后，取信号的第二个点到个点放置于矩阵的第二行。以此类推，可得到一个大小为的Toeplitz矩阵，如下所示：
此矩阵即是转换的二维图像数据，可输入生成网络中进行训练。
本发明的第一方面提供了一种基于生成对抗网络的rPPG信号生成装置。如图5所示，所述rPPG信号生成装置包括标准信号生成模块和生成对抗网络。
标准信号生成模块用于生成标准频率信号和标准波形信号。标准信号生成模块生成标准频率信号和标准波形信号的过程可参考关于步骤S100的描述。
生成对抗网络用于生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练，然后得到最终的rPPG信号。
本实施例中的生成对抗网络采用包含卷积层、反卷积层、时空核、batchnorm等结构的常规3DCNN即可。
在一些实施例中，所述生成对抗网络包括生成器、第一判别器和第二判别器。
生成器用于生成待训练rPPG信号。具体的，所述生成器的输入为含有真实的rPPG信号标定的人脸视频，所述生成器的输出为待训练rPPG信号。
所述生成器的训练为有监督训练。
在一些实施例中，所述生成器（Generator）由三维卷积神经网络组成，该三维卷积神经网络具有时域编解码器结构且有128帧图像输入，如图6所示。具体的，生成器使用基于区域的下采样代替线性采样来获取像素分辨率的图像输入，在每个卷积层后使用ELU激活函数，而不是ReLU，从而具有更好的性能。在每个卷积层之后，按顺序应用batchnorm和ELU激活函数。
编码器部分中卷积的时空核（深度、高度、宽度）的大小为[3，3，3]，步长为1，填充为1，但第一个卷积核不同，核大小为[1, 5, 5]。在时间译码器部分，反卷积的核大小为[4,1, 1],步长为[2,1, 1]，填充为[1, 0, 0]，从而使得深度维加倍。输入通道为3（128个堆叠的RGB帧），增加到32，然后增加到64。通道编号保持为64，直到最后一个卷积输出一个通道。在编码器部分，时间维度被压缩到四分之一，而在解码器部分，时间维度被拉伸回原来的大小。生成器的输出是包含一维脉冲信号的矢量。该生成器有助于学习更强壮的上下文特征，减少时间冗余和噪声，并以较小的时间波动恢复rPPG信号。
本实施例中生成器网络的输入是带有RGB通道的T帧人脸图像。经过多个卷积、池化操作后，形成多通道信号来流形表示时空特征。最后使用具有核的通道卷积运算将潜在的流形信号投影到信号空间，以生成长度为T的rPPG信号。整个过程可以表示为;
其中是输入帧，是网络的输出信号，是子空间投影的时空模型，是该模型所有卷积滤波器参数，是最终信号投影的信道聚集，即全连接层（fully connected layers，FC），是全连接层的参数。
第一判别器用于对标准频率信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准频率信号进行对抗训练。
在一些实施例中，所述第一判别器对抗训练的目标函数为：
式中，表示标准频率信号，表示生成器，表示第一判别器，表示将一维的脉冲信号预处理为Toeplitz矩阵,表示将待训练rPPG信号转换为对应的重复三角形波。
第二判别器用于对标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准波形信号进行对抗训练。
在一些实施例中，所述第二判别器对抗训练的目标函数为：
式中，表示标准波形信号，表示第二判别器，表示将一维的脉冲信号预处理为Toeplitz矩阵,表示待训练rPPG信号。
在一些实施例中，第一判别器和第二判别器的结构一样，由全连接层组成。信号预处理后的Toeplitz矩阵输入至判别器（第一判别器和第二判别器），经过三个全连接层与三个激活函数（前两个为ReLU，最后一个为sigmoid），输出信号是真实值的概率。
在一些实施例中，根据损失函数计算出判别器的随机梯度来更新第一判别器的网络参数和第二判别器的网络参数：
本实施例中，第一判别器用来判断生成的待训练rPPG信号和标准频率信号之间的差异，第二判别器用来判断生成的待训练rPPG信号和标准波形信号之间的差异，在相互博弈的过程中学习标准波形信号的分布规律，使得生成的待训练rPPG信号在频率和波形上不断逼近标准的rPPG信号。
第一判别器和第二判别器的训练为对抗训练，假设个视频数据表示为，其对应的真实rPPG信号标签表示为,则生成器从视频生成待训练rPPG信号的过程可表述为：
式中，是生成器生成的待训练rPPG数据，该生成过程需要使用真实rPPG信号标签进行监督训练，本实施例使用最小均方误差进行损失函数的计算。
然后将待训练rPPG信号用来和合成的标准频率信号和标准波形信号进行对抗训练，从而使得生成的在频率上不断逼近，在波形上不断逼近。其中为峰值点和一一对应的重复三角形波，为使用数学建模合成的标准波形信号。该对抗训练过程是一个有监督的二分类问题，即给定样本，训练判别器，能辨别出其是真样本还是生成器生成的假样本，如图7所示。
训练过程中，在每一个训练周期中，通过第一判别器的判断结果更新第一判别器的参数和生成器的参数，通过第二判别器的判断结果更新第二判别器的参数和生成器的参数，不断重复上述过程，直至网络收敛（即满足预设的终止条件），此时生成器生成的待训练rPPG信号不仅在频率上能和真实频率信号保持一致，还能在波形上和标准波形信号保持一致。
本实施例中，网络的输入是视频，网络的输出是心率信号，不存在人脸检测网络、通道分离、计算心率等子步骤，即人脸视频至心率并非多阶段任务，仅使用了单个模型（3DCNN网络），规避了多模块的固有缺陷，减少了工程的复杂度。同时，相比多网络任务，单网络参数更少，使模型轻量化，在设备算力不变的条件下计算速度更快，更适合移植。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.基于生成对抗网络的rPPG信号生成方法，其特征在于，包括：
生成标准频率信号和标准波形信号；
生成对抗网络生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练；
所述生成对抗网络包括生成器、第一判别器和第二判别器；
生成器用于生成待训练rPPG信号；第一判别器用于对标准频率信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准频率信号进行对抗训练；第二判别器用于对标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准波形信号进行对抗训练；
其中，预处理为将一维的信号转换为二维的图像信号；
所述标准波形信号的生成方法包括：
设置正态波形：
式中，是时间参数，是尺度参数，是形状参数；
设置高斯函数：
式中， 是宽度参数；
生成rPPG信号模型，rPPG信号模型为正态波形和高斯函数的线性组合：
式中， 为rPPG脉冲模型，表示直流分量, 为权重参数，是时移参数；
将rPPG信号模型中的参数合并至矢量中：
式中，为rPPG信号模型中的参数；
通过非线性最小二乘拟合估计rPPG模型中的参数：
式中，为通过rPPG信号采集器采集到的理想rPPG信号模板；
最小化理想rPPG模板 与rPPG脉冲模型 之间的差异，求解得得到合成的标准波形信号为 。
2.根据权利要求1所述的基于生成对抗网络的rPPG信号生成方法，其特征在于，所述标准频率信号的生成方法包括：
以t 1 ,t 2 ,...t N 为时间节点构建重复的三角形波，得到标准频率信号；
其中，t 1 ,t 2 ,...t N 为包含N个波峰的信号的峰值点的产生时间。
3.根据权利要求1所述的基于生成对抗网络的rPPG信号生成方法，其特征在于，所述预处理为通过Toeplitz矩阵将一维的信号转换为二维的图像信号。
4.基于生成对抗网络的rPPG信号生成装置，其特征在于，包括：
标准信号生成模块，用于生成标准频率信号和标准波形信号；
生成对抗网络，用于生成待训练rPPG信号，并对标准频率信号、标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号分别与预处理后的标准频率信号和预处理后的标准波形信号进行对抗训练；
其中，预处理为将一维的信号转换为二维的图像信号；
所述生成对抗网络包括：
生成器，用于生成待训练rPPG信号；
第一判别器，用于对标准频率信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准频率信号进行对抗训练；
第二判别器，用于对标准波形信号和待训练rPPG信号进行预处理，以及将预处理后的待训练rPPG信号与预处理后的标准波形信号进行对抗训练；
所述标准波形信号的生成方法包括：
设置正态波形：
式中，是时间参数，是尺度参数，是形状参数；
设置高斯函数：
式中， 是宽度参数；
生成rPPG信号模型，rPPG信号模型为正态波形和高斯函数的线性组合：
式中， 为rPPG脉冲模型，表示直流分量, 为权重参数，是时移参数；
将rPPG信号模型中的参数合并至矢量中：
式中，为rPPG信号模型中的参数；
通过非线性最小二乘拟合估计rPPG模型中的参数：
式中，为通过rPPG信号采集器采集到的理想rPPG信号模板；
最小化理想rPPG模板 与rPPG脉冲模型 之间的差异，求解得得到合成的标准波形信号为 。
5.根据权利要求4所述的基于生成对抗网络的rPPG信号生成装置，其特征在于，所述生成器的输入为含有真实的rPPG信号标定的人脸视频，所述生成器的输出为待训练rPPG信号。
6.根据权利要求4所述的基于生成对抗网络的rPPG信号生成装置，其特征在于，所述第一判别器对抗训练的目标函数为：
式中，表示标准频率信号，表示生成器，表示第一判别器， 表示将一维的脉冲信号预处理为Toeplitz矩阵, 表示将待训练rPPG信号转换为对应的重复三角形波。
7.根据权利要求4所述的基于生成对抗网络的rPPG信号生成装置，其特征在于，所述第二判别器对抗训练的目标函数为：
式中，表示标准波形信号，表示第二判别器， 表示将一维的脉冲信号预处理为Toeplitz矩阵, 表示待训练rPPG信号。
8.根据权利要求4所述的基于生成对抗网络的rPPG信号生成装置，其特征在于，所述预处理为通过Toeplitz矩阵将一维的信号转换为二维的图像信号。
CN202310220943.4A 2023-03-09 2023-03-09 基于生成对抗网络的rPPG信号生成方法及装置 Active CN115905819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310220943.4A CN115905819B (zh) 2023-03-09 2023-03-09 基于生成对抗网络的rPPG信号生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310220943.4A CN115905819B (zh) 2023-03-09 2023-03-09 基于生成对抗网络的rPPG信号生成方法及装置

Publications (2)

Publication Number Publication Date
CN115905819A CN115905819A (zh) 2023-04-04
CN115905819B true CN115905819B (zh) 2023-05-12

Family

ID=85730213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310220943.4A Active CN115905819B (zh) 2023-03-09 2023-03-09 基于生成对抗网络的rPPG信号生成方法及装置

Country Status (1)

Country Link
CN (1) CN115905819B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998500A (zh) * 2019-04-30 2019-07-12 陕西师范大学 一种基于生成式对抗网络的脉搏信号生成方法及系统
CN113593588A (zh) * 2021-07-29 2021-11-02 浙江大学 一种基于生成对抗网络的多唱歌人歌声合成方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN112949349B (zh) * 2019-12-09 2022-08-05 南宁莲现健康科技有限公司 基于人脸视频实时显示脉象波形的方法和系统
CN111523601B (zh) * 2020-04-26 2023-08-15 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN112001122B (zh) * 2020-08-26 2023-09-26 合肥工业大学 基于端到端生成对抗网络的非接触式生理信号测量方法
CN112786006B (zh) * 2021-01-13 2024-05-17 北京有竹居网络技术有限公司 语音合成方法、合成模型训练方法、装置、介质及设备
CN113017630B (zh) * 2021-03-02 2022-06-24 贵阳像树岭科技有限公司 一种视觉感知情绪识别方法
CN113343821B (zh) * 2021-05-31 2022-08-30 合肥工业大学 一种基于时空注意力网络和输入优化的非接触式心率测量方法
CN114826857B (zh) * 2022-03-28 2024-05-03 中国电子科技集团公司第五十四研究所 一种基于生成对抗网络的ofdm信号生成方法
CN114767115A (zh) * 2022-04-28 2022-07-22 郑州铁路职业技术学院 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统
CN115497143A (zh) * 2022-10-10 2022-12-20 南京大学 一种基于自监督和终身学习的非接触式多模态生理信号检测方法
CN115620405A (zh) * 2022-10-19 2023-01-17 天津中科智能识别有限公司 一种基于rPPG心率特性的人脸伪造视频检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998500A (zh) * 2019-04-30 2019-07-12 陕西师范大学 一种基于生成式对抗网络的脉搏信号生成方法及系统
CN113593588A (zh) * 2021-07-29 2021-11-02 浙江大学 一种基于生成对抗网络的多唱歌人歌声合成方法和系统

Also Published As

Publication number Publication date
CN115905819A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN109948647B (zh) 一种基于深度残差网络的心电图分类方法及系统
CN112914527B (zh) 一种基于脉搏波光电容积描记术的动脉血压信号采集方法
CN111339942B (zh) 基于视点调整的图卷积循环网络骨骼动作识别方法及系统
CN112001122B (zh) 基于端到端生成对抗网络的非接触式生理信号测量方法
CN109645989B (zh) 一种麻醉深度估计系统
CN112508110A (zh) 一种基于深度学习的心电信号图的分类方法
CN109979161B (zh) 一种基于卷积循环神经网络的人体跌倒检测方法
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN112396001B (zh) 基于人体姿态估计和tpa注意力机制的跳绳个数统计方法
CN112587153A (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
CN111407243A (zh) 一种基于深度学习的脉搏信号压力识别方法
CN109919085A (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
CN114628020A (zh) 远程体积描记信号检测模型构建、检测方法、装置及应用
CN114587311A (zh) 一种基于多阶多模态的非袖带式血压测量装置
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
CN116012916A (zh) 远程光体积描记信号和心率检测模型构建方法及检测方法
Elessawy et al. A long short-term memory autoencoder approach for EEG motor imagery classification
Zhang et al. MSDN: A multi-stage deep network for heart-rate estimation from facial videos
CN115905819B (zh) 基于生成对抗网络的rPPG信号生成方法及装置
Cai et al. Combining chrominance features and fast ICA for noncontact imaging photoplethysmography
CN112336369A (zh) 一种多通道心音信号的冠心病风险指数评估系统
Khalkhali et al. Low latency real-time seizure detection using transfer deep learning
CN115374831B (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
CN116665300A (zh) 基于时空自适应特征融合图卷积网络的骨架动作识别方法
CN115329800A (zh) 一种基于解耦训练的卷积神经网络活动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant