CN114495213A - 基于人脸视频的心率估计方法及装置 - Google Patents

基于人脸视频的心率估计方法及装置 Download PDF

Info

Publication number
CN114495213A
CN114495213A CN202210027249.6A CN202210027249A CN114495213A CN 114495213 A CN114495213 A CN 114495213A CN 202210027249 A CN202210027249 A CN 202210027249A CN 114495213 A CN114495213 A CN 114495213A
Authority
CN
China
Prior art keywords
network
heart rate
rate estimation
face video
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210027249.6A
Other languages
English (en)
Inventor
谢世朋
陈旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210027249.6A priority Critical patent/CN114495213A/zh
Publication of CN114495213A publication Critical patent/CN114495213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸视频的心率估计方法及装置，通过对人脸视频的分析以估计心率值，包括对人脸视频进行预处理得到视频数据集，并分为训练集、验证集和测试集；构建包括ResNet网络和ConvLSTM网络的融合网络，ResNet网络包括瓶颈残差模块，以提高ResNet网络的性能；将训练集输入融合网络并进行训练，得到网络训练模型；将验证集输入网络训练模型进行验证，并通过损失函数计算损失，得到最终网络训练模型；将测试集输入最终网络训练模型，得到心率估计值；跨数据集测试，提高模型的精度。本发明通过在ResNet网络增加瓶颈残差模块，提高了ResNet网络的计算效率，使其能更好的训练深度较大的神经网络；通过融入ConvLSTM网络，能够充分利用全局特征，提高心率估计值的准确度。

Description

基于人脸视频的心率估计方法及装置
技术领域
本发明涉及一种基于人脸视频的心率估计方法及装置，属于图像处理技术领域。
背景技术
心跳频率(又名心率)是人类最重要的生命体征。自古以来，一直通过测量心率来诊断和判断是否有疾病。近年来，心率远程监测已成为一项重要的需求和核心研究领域。应用包括对老年人的遥测监测，对早产儿、危重病人、参加体育活动的运动员等的实时监测。在此情况下，即使是训练有素的医生也不可能一直在场并监测病人的心率。为了解决这个问题，人们开始研究从面部视频估计心率，具体的，尽管人眼看不见面部区域的血流变化，但实际上视频可以捕捉到，从而通过面部视频序列测量心率。
目前，针对心率的检测方法提出了一种利用深度学习并从端到端的方案来解决非接触问题。通过多层的网络结构来提取底层的特征，形成抽象的高层表示，以发现数据的时空相关性，根据由心跳引起的面部细微颜色变化来对目标的心率进行估计。
通过一段时间之内由心脏跳动所引起的面部颜色变化频率来实现对心率的估计，在某时刻之前的一系列输入中，前一个输入和后一个输入是有一定关系的，且对估计结果都有不同程度的影响。前馈神经网络每次的输出都只依赖于当前的输入，没有考虑不同时刻输入的互相影响，所以不适用于处理时空序列问题。因此，提出了一种专门处理时间序列数据的RNN，即循环神经网络，但该网络难以处理过长的序列，即只有短期记忆而没有长期记忆，导致在心率估计过程中的准确性降低。同时，传统的ResNet网络虽然能够解决深度过大的网络难以训练的问题，但是需要引入额外的参数，例如：变换门和携带门，导致ResNet网络的运算负担加重，计算效率低下。
发明内容
本发明的目的在于提供一种基于人脸视频的心率估计方法及装置，该方法能够解决现有技术中心率估计准确率低下以及计算效率低下的问题。
为实现上述目的，本发明提供一种基于人脸视频的心率估计方法，通过对人脸视频的分析以估计心率值，包括以下步骤：
步骤1、对所述人脸视频进行预处理得到视频数据集，并将所述视频数据集分为训练集、验证集和测试集；
步骤2、构建融合网络，所述融合网络包括ResNet网络和ConvLSTM网络，所述ResNet网络包括瓶颈残差模块，以提高所述ResNet网络的性能；
步骤3、将所述训练集输入所述融合网络并进行训练，得到网络训练模型；
步骤4、将所述验证集输入所述网络训练模型进行验证，并通过损失函数计算损失，若损失不在误差范围内，则修改所述网络训练模型并返回步骤3；若损失在误差范围内，则得到最终网络训练模型；
步骤5、将所述测试集输入所述最终网络训练模型，得到心率估计值；
步骤6、跨数据集测试，以提高所述最终网络训练模型的精度以及所述心率预估值的准确度。
作为本发明的进一步改进，步骤1中预处理包括对所述人脸视频进行分割和裁剪，通过所述人脸视频的颜色变化信息对所述人脸视频进行分割，以保留所述人脸视频中的面部区域；对分割完成的人脸视频进行裁剪，得到若干个帧数相同的视频片段。
作为本发明的进一步改进，步骤1中预处理还包括计算所述视频片段的时空图，具体的：所述视频片段中不同帧之间的面部区域对齐，且将所述面部区域转化为YUV颜色空间，同时将所述面部区域划分为若干个ROI块，其中，第t帧第i个ROI块的平均颜色值为：
Figure BDA0003464620070000031
其中，C(x,y,t)表示来自所述YUV颜色空间不同维度的第t帧处的(x,y)值，|ROIi|表示第i个ROI块的面积，串联同一位置但不同帧的ROI块的平均颜色值，以得到该位置的时间序列，对若干个所述时间序列进行排列，以得到所述时空图。
作为本发明的进一步改进，所述YUV颜色空间变换具体为：
Figure BDA0003464620070000032
作为本发明的进一步改进，对所述时间序列进行归一化处理，并将时间序列的值缩放为[0,255]，所述训练集、验证集和测试集中均包括若干个所述时空图。
作为本发明的进一步改进，步骤2中所述融合网络以ResNet网络为主干并在所述ResNet网络中融入ConvLSTM网络，所述ResNet网络包括最大池化层、模块层、全连接层和平均池化层，所述ConvLSTM网络设于所述模块层和全连接层之间，所述融合网络还包括设于所述ConvLSTM网络和全连接层之间的门控循环单元，所述模块层设有四个且均包括所述瓶颈残差模块。
作为本发明的进一步改进，所述门控循环单元包括一个复位门和一个更新门，所述瓶颈残差模块包括三个卷积层，卷积核大小分别为1×1、3×3和1×1。
作为本发明的进一步改进，所述ConvLSTM网络的计算公式为：
Figure BDA0003464620070000033
Figure BDA0003464620070000034
Figure BDA0003464620070000035
Figure BDA0003464620070000036
Figure BDA0003464620070000041
其中，*代表卷积操作；
Figure BDA0003464620070000042
代表哈达玛运算；f为遗忘门；i为输入门；o为输出门，C为记忆单元，σ为sigmoid神经网络层，b为偏执项，t表示时刻，X为输入，W为权重，H为隐含层输入。
作为本发明的进一步改进，步骤4中通过损失函数计算损失具体为：
Figure BDA0003464620070000043
Figure BDA0003464620070000044
在反向传播过程中，平滑损失Lsmooth相对于输入hrt的偏导数计算为：
Figure BDA0003464620070000045
损失函数L为：L＝Ll1+λLsmooth；
其中，hrt为心率估计值，hrm为T个连续测量的平均心率估计值，Lsmooth为平滑损失函数，sng(x)是符号函数，Ll1表示L1的损失函数，λ是平衡参数。
为实现上述目的，本发明还提供一种心率估计装置，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器执行所述程序指令以实现前述的基于人脸视频的心率估计方法。
本发明的有益效果是：
1.本发明基于融合了改进后的ResNet网络和ConvLSTM网络的融合网络，输入为人脸视频，输出为该时刻的心率估计值，结果表达更直观；
2.本发明通过在ResNet网络中的每一层增加一个瓶颈残差模块，提高了ResNet网络的计算效率，使其能更好的训练深度较大的神经网络；
3.本发明通过融入ConvLSTM网络，能够充分利用全局特征，以捕捉全局特征之间的时空相关性，充分的利用了全局特征，使学习到的全局信息更合理，提高了心率估计值的准确度。
附图说明
图1是本发明基于人脸视频的心率估计方法的步骤流程图。
图2是本发明基于人脸视频的心率估计方法的网络结构图。
图3是图1中人脸视频预处理的流程图。
图4是图2中融合网络的网络结构图。
图5是图4中瓶颈残差模块的示意图。
图6是图4中ConvLSTM网络结构图。
图7是图6中ConvLSTM网络中编码网络和预测网络的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
请参阅图1和图2所示，本发明提供了一种基于人脸视频的心率估计方法及装置，该方法通过对人脸视频进行预处理并将预处理后的人脸视频输入融合网络，融合网络根据人脸视频中每一帧之间的颜色变化信息计算心率估计值。融合网络包括ResNet网络和ConvLSTM网络，具体的，融合网络以ResNet网络为主干，ConvLSTM网络融入ResNet网络中，通过在ResNet网络中加入瓶颈残差模块以提高计算效率，使其能更好的训练深度较大的神经网络；通过将ConvLSTM网络融入ResNet网络，能够充分利用全局特征，以捕捉全局特征之间的时空相关性，充分的利用了全局特征，使学习到的全局信息更合理，提高了心率估计值的准确度。
具体的，LSTM网络(长短时记忆网络)是RNN的一种变体，通过精妙的门控制来结合短期记忆和长期记忆。而ConvLSTM网络是对LSTM的一种优化，通过在输入到状态和状态到状态的转换中加入卷积结构，使得ConvLSTM网络可以更好的捕捉时空相关性。ResNet网络可以解决深度过大的网络难以训练的问题，所以通过二者融合的网络可以在提高准确率的同时更好的捕捉时空相关性，可以更准确的获得心率估计结果。
本发明具体实施方式的步骤如下：
步骤1、对人脸视频进行预处理得到视频数据集，并将视频数据集分为训练集、验证集和测试集。
请参阅图2和图3所示，预处理包括对人脸视频进行分割和裁剪，具体的，人体的心脏跳动会使得面部区域的颜色发生细微变化，通过人脸视频的颜色变化信息对人脸视频进行分割，以保留人脸视频中的面部区域，以减少非面部区域对对心率估计值带来的噪声影响，例如：眼睛区域和背景区域。
对分割完成的人脸视频进行裁剪，得到若干个帧数相同的视频片段，具体的，每个视频片段均包括w帧且步长为0.5秒。
预处理还包括计算前述视频片段的时空图，具体的：首先，根据检测到的面部区域在视频片段的不同帧之间进行对齐，然后，将面部区域转化为YUV颜色空间，最后，将面部区域划分为若干个ROI块，计算平均颜色值并排列得到该视频片段的时空图。
具体的，面部区域转化为YUV颜色空间的变换可以表示为：
Figure BDA0003464620070000061
定义视频片段具有T帧和C颜色空间，即YUV颜色空间，第t帧第i个ROI块的平均颜色值可以表示为：
Figure BDA0003464620070000062
其中，C(x,y,t)表示来自YUV颜色空间不同维度的第t帧处的(x,y)值，|ROIi|表示第i个ROI块的面积。
串联同一位置但不同帧的平均颜色值，以得到该位置的时间序列，若干个ROI块的时间序列可以表示为Y1，U1，V1，Y2，U2，V2，…Yn，Un和Vn。为了更好的利用面部颜色变化，对时间序列进行归一化处理，并将时间序列的值缩放为[0,255]，将前述时间序列排成行，形成大小为T×n×C的时空图。具体的，视频数据集包括若干个时空图，即训练集、验证集和测试集均有若干个时空图组成。
步骤2、构建融合网络，融合网络包括ResNet网络和ConvLSTM网络，ResNet网络包括瓶颈残差模块，以提高ResNet网络的性能。
请参阅图2和图4所示，融合网络以ResNet网络为主干并在ResNet网络中融入ConvLSTM网络。具体的，ResNet网络包括卷积层、最大池化层、模块层、全连接层和平均池化层，ConvLSTM网络设于模块层和全连接层之间，用于捕捉全局特征的时空相关性。
融合网络还包括设于ConvLSTM网络和全连接层之间的门控循环单元，门控循环单元包括一个复位门和一个更新门，用于将ConvLSTM网络提取的特征馈送至全连接层。
融合网络中第一层为卷积层，用于输入时空图，并对时空图进行卷积操作后输入最大池化层；最大池化层对输入的时空图划分为若干个矩形区域，对每个子区域输出最大值，并将最大值输入模块层，模块层对时空图进行计算，通过ConvLSTM网络对时空图的全局特征进行提取，并将提取的特征输入门控循环单元，来建模后续测量值之间的时间关系；前述提取的特征经过门控循环单元后进入全连接层进行回归，以得到单个视频片段的心率估计值，通过平均池化层计算多个前述单个视频片段的心率估计值的平均值，以作为最终的心率估计值。
具体的，模块层设有四个且每个模块层中均包括瓶颈残差模块，通过在模块层内设置瓶颈残差模块，使得ResNet网络能够训练深度更大的神经网络。
请参阅图5所示，在现有技术中，常规卷积神经网络训练通常使用高速公路网络(Highway Network)：y＝F(x,wf)·Γ(x,wt)+x·C(x,wc)；
其中：Γ(x,wt)为非线性变换，称作“变换门”，负责控制变换的强度，C(x,wc)为非线性变换，称作“携带门”，负责控制原输入信号的保留强度。换句话说，y是F(x,wf)和x的加权组合，Γ和C分别控制着两项对应的权重。
随后又在高速公路网络的基础上提出了简化的高速公路网络：y＝F(x,wf)·Γ(x,wt)+x·(1-Γ(x,wt))，即删除了非线性变换。
当高速公路网络的“变换门”和“携带门”都为恒等映射时(即令Γ＝1，C＝1)，就得到了瓶颈残差网络：y＝F(x,w)+x；
多个瓶颈残差模块堆叠形成瓶颈残差网络，相比高速公路网络：瓶颈残差网络中的近路连接，直接通过简单的恒等映射完成，不需要复杂的“变换门”和“携带门”，因此不需要引入额外的参数，减小了网络的计算负担。
瓶颈残差模块包括三个卷积层，卷积核大小分别为1×1、3×3和1×1，这里1×1卷积核，能够对通道数起到升维或者降维的作用，从而令3×3的卷积核，以相对较低维度的输入进行卷积运算，以提高计算效率。
请参阅图2并结合图6和图7所示，由于基于人脸视频的心率估计值可以描述为时空序列的预测，其中，输入值和预测值都是时空序列，所以通过对全连接LSTM网络进行扩展，提出了在输入到状态和状态到状态转换中都具有卷积结构的ConvLSTM网络，使得ConvLSTM网络能够更好地捕捉时空相关性。
请参阅图6所示，ConvLSTM网络结构的公式如下：
Figure BDA0003464620070000081
Figure BDA0003464620070000082
Figure BDA0003464620070000083
Figure BDA0003464620070000084
Figure BDA0003464620070000085
其中，*代表卷积操作；
Figure BDA0003464620070000086
代表哈达玛运算；σ为sigmoid神经网络层，输出0到1之间的数值；tanh层输出-1到1之间的值；f为遗忘门，决定前一层传递过来的多大程度被遗忘掉；i为输入门，控制当前计算的新状态多大程度更新到记忆细胞中；o为输出门，控制当前输出有多大程度取决于当前的记忆单元；b为偏执项；t为当前时刻；t-1为上一时刻；X为输入；W为权重；H为隐含层输入；C为记忆单元，可以看出单元状态是由权重、输入、上一层的隐含层输入、上一层的记忆单元状态、输入门综合计算得到的，本层的隐含层状态则是由输出门与记忆单元状态决定的。
请参阅图7所示，通过叠加多个ConvLSTM网络形成如图7所示的编码网络和预测网络。
预测网络的初始状态和输出由编码网络的最后状态复制而来。由于预测目标具有与输入相同的维数，因此将预测网络中的所有状态连接起来，并输入到一个1*1的卷积层中即可生成最终的预测结果。
步骤3、将训练集输入前述融合网络并进行训练，得到网络训练模型。
步骤4、将验证集输入前述网络训练模型进行验证，并通过损失函数计算损失，若损失不在误差范围内，则修改所述网络训练模型并返回步骤3；若损失在误差范围内，则得到最终网络训练模型。
误差范围具体为：医学上心率检测所接受的误差范围。
由于受试者的心率在很短的时间内变化很小，因此引入了平滑损失函数来约束相邻心率测量的平滑度。T个连续测量的平均心率估计值为：
Figure BDA0003464620070000091
其中，hrt为心率估计值，hrm为T个连续测量的平均心率估计值。
平滑损失函数定义为：
Figure BDA0003464620070000092
在反向传播过程中，平滑损失Lsmooth相对于输入hrt的偏导数可以计算为：
Figure BDA0003464620070000093
损失函数L为：L＝Ll1+λLsmooth；
其中，Lsmooth为平滑损失函数，sng(x)是符号函数，Ll1表示L1的损失函数，用于测量预测心率估计值和真实心率估计值之间的差异，λ是平衡参数。
步骤5、将测试集输入最终网络训练模型，得到心率估计值。
步骤6、跨数据集测试，以提高最终网络训练模型的精度以及心率预估值的准确度。更换不同的人脸视频，并输入最终网络训练模型中，重复步骤3至步骤6，以提高最终网络训练模型的精度和心率估计值的准确度。
本发明还提供了一种心率估计装置，用于根据人脸视频进行心率估计运算，心率估计装置包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器执行程序指令以实现前述的基于人脸视频的心率估计方法，进一步实现了通过人脸视频进行心率的估计。
具体的，在GeForce GTX 1080 Ti处理器上使用Python环境中的Pytorch库。对于网络优化，我们在实验中使用了Adam优化器和非线性激活函数ReLU。在网络训练期间，我们将次数设置为100，并将学习率设置为0.001。为了实现精确的收敛，同时，步长设置为8。
综上所示，本发明提供了一种基于人脸视频的心率估计方法通过融合改进后的ResNet网络和ConvLSTM网络，输入为人脸视频，输出为该时刻的心率估计值，结果表达更直观；通过在ResNet网络中的每一层增加一个瓶颈残差模块，提高了ResNet网络的计算效率，使其能更好的训练深度较大的神经网络；通过融入ConvLSTM网络，能够充分利用全局特征，以捕捉全局特征之间的时空相关性，充分的利用了全局特征，使学习到的全局信息更合理，提高了心率估计值的准确度；通过将人脸视频分割为多个ROI区域，能够更加充分利用所有包含因心跳而产生的颜色变化信息；通过对人脸视频进行分割，以保留面部区域，降低了非面部区域对心率估计值带来的噪声影响。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于人脸视频的心率估计方法，通过对人脸视频的分析以估计心率值，其特征在于，包括以下步骤：
步骤1、对所述人脸视频进行预处理得到视频数据集，并将所述视频数据集分为训练集、验证集和测试集；
步骤2、构建融合网络，所述融合网络包括ResNet网络和ConvLSTM网络，所述ResNet网络包括瓶颈残差模块，以提高所述ResNet网络的性能；
步骤3、将所述训练集输入所述融合网络并进行训练，得到网络训练模型；
步骤4、将所述验证集输入所述网络训练模型进行验证，并通过损失函数计算损失，若损失不在误差范围内，则修改所述网络训练模型并返回步骤3；若损失在误差范围内，则得到最终网络训练模型；
步骤5、将所述测试集输入所述最终网络训练模型，得到心率估计值；
步骤6、跨数据集测试，以提高所述最终网络训练模型的精度以及所述心率预估值的准确度。
2.根据权利要求1所述的基于人脸视频的心率估计方法，其特征在于：步骤1中预处理包括对所述人脸视频进行分割和裁剪，通过所述人脸视频的颜色变化信息对所述人脸视频进行分割，以保留所述人脸视频中的面部区域；对分割完成的人脸视频进行裁剪，得到若干个帧数相同的视频片段。
3.根据权利要求2所述的基于人脸视频的心率估计方法，其特征在于：步骤1中预处理还包括计算所述视频片段的时空图，具体的：所述视频片段中不同帧之间的面部区域对齐，且将所述面部区域转化为YUV颜色空间，同时将所述面部区域划分为若干个ROI块，其中，第t帧第i个ROI块的平均颜色值为：
Figure FDA0003464620060000011
其中，C(x,y,t)表示来自所述YUV颜色空间不同维度的第t帧处的(x,y)值，|ROIi|表示第i个ROI块的面积，串联同一位置但不同帧的ROI块的平均颜色值，以得到该位置的时间序列，对若干个所述时间序列进行排列，以得到所述时空图。
4.根据权利要求3所述的基于人脸视频的心率估计方法，其特征在于：所述YUV颜色空间变换具体为：
Figure FDA0003464620060000021
5.根据权利要求3所述的基于人脸视频的心率估计方法，其特征在于：对所述时间序列进行归一化处理，并将时间序列的值缩放为[0,255]，所述训练集、验证集和测试集中均包括若干个所述时空图。
6.根据权利要求1所述的基于人脸视频的心率估计方法，其特征在于：步骤2中所述融合网络以ResNet网络为主干并在所述ResNet网络中融入ConvLSTM网络，所述ResNet网络包括最大池化层、模块层、全连接层和平均池化层，所述ConvLSTM网络设于所述模块层和全连接层之间，所述融合网络还包括设于所述ConvLSTM网络和全连接层之间的门控循环单元，所述模块层设有四个且均包括所述瓶颈残差模块。
7.根据权利要求6所述的基于人脸视频的心率估计方法，其特征在于：所述门控循环单元包括一个复位门和一个更新门，所述瓶颈残差模块包括三个卷积层，卷积核大小分别为1×1、3×3和1×1。
8.根据权利要求6所述的基于人脸视频的心率估计方法，其特征在于：所述ConvLSTM网络的计算公式为：
Figure FDA0003464620060000022
Figure FDA0003464620060000023
Figure FDA0003464620060000024
Figure FDA0003464620060000025
Figure FDA0003464620060000026
其中，*代表卷积操作；
Figure FDA0003464620060000027
代表哈达玛运算；f为遗忘门；i为输入门；o为输出门，C为记忆单元，σ为sigmoid神经网络层，b为偏执项，t表示时刻，X为输入，W为权重，H为隐含层输入。
9.根据权利要求1所述的基于人脸视频的心率估计方法，其特征在于：步骤4中通过损失函数计算损失具体为：
Figure FDA0003464620060000031
Figure FDA0003464620060000032
在反向传播过程中，平滑损失Lsmooth相对于输入hrt的偏导数计算为：
Figure FDA0003464620060000033
损失函数L为：L＝Ll1+λLsmooth；
其中，hrt为心率估计值，hrm为T个连续测量的平均心率估计值，Lsmooth为平滑损失函数，sng(x)是符号函数，Ll1表示L1的损失函数，λ是平衡参数。
10.一种心率估计装置，其特征在于：包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器执行所述程序指令以实现权利要求1-9中任一项所述的基于人脸视频的心率估计方法。
CN202210027249.6A 2022-01-11 2022-01-11 基于人脸视频的心率估计方法及装置 Pending CN114495213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210027249.6A CN114495213A (zh) 2022-01-11 2022-01-11 基于人脸视频的心率估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210027249.6A CN114495213A (zh) 2022-01-11 2022-01-11 基于人脸视频的心率估计方法及装置

Publications (1)

Publication Number Publication Date
CN114495213A true CN114495213A (zh) 2022-05-13

Family

ID=81509356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210027249.6A Pending CN114495213A (zh) 2022-01-11 2022-01-11 基于人脸视频的心率估计方法及装置

Country Status (1)

Country Link
CN (1) CN114495213A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269285A (zh) * 2022-11-28 2023-06-23 电子科技大学 一种非接触式常态化心率变异性估计系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269285A (zh) * 2022-11-28 2023-06-23 电子科技大学 一种非接触式常态化心率变异性估计系统
CN116269285B (zh) * 2022-11-28 2024-05-28 电子科技大学 一种非接触式常态化心率变异性估计系统

Similar Documents

Publication Publication Date Title
Du et al. Hierarchical recurrent neural network for skeleton based action recognition
Zhao et al. Associated spatio-temporal capsule network for gait recognition
CN110321833A (zh) 基于卷积神经网络和循环神经网络的人体行为识别方法
CN112001122B (zh) 基于端到端生成对抗网络的非接触式生理信号测量方法
WO2021004361A1 (zh) 一种人脸美丽等级预测方法、装置及存储介质
Lu et al. Nas-hr: Neural architecture search for heart rate estimation from face videos
Salekin et al. Multi-channel neural network for assessing neonatal pain from videos
KR20210085867A (ko) 사용자의 혈압을 추정하기 위한 장치 및 방법
CN113303776B (zh) 基于循环神经网络的非接触式血压测量方法
KR20210005206A (ko) 이미지 처리 방법, 전자 기기 및 저장 매체
CN111210415B (zh) 一种帕金森患者面部表情低迷的检测方法
CN108596087A (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN115024706A (zh) 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法
CN114495213A (zh) 基于人脸视频的心率估计方法及装置
CN115661856A (zh) 一种基于Lite-HRNet的自定义康复训练监测与评估方法
Sharma et al. A novel solution of using deep learning for left ventricle detection: enhanced feature extraction
Gu et al. Learning to predict diverse human motions from a single image via mixture density networks
Wang et al. TransPhys: Transformer-based unsupervised contrastive learning for remote heart rate measurement
CN112149613B (zh) 一种基于改进lstm模型的动作预估评定方法
Chen et al. DeepCQ: Deep multi-task conditional quantification network for estimation of left ventricle parameters
Qin et al. Machine learning and deep learning for blood pressure prediction: a methodological review from multiple perspectives
Zakeri et al. A probabilistic deep motion model for unsupervised cardiac shape anomaly assessment
Ge et al. Echoquan-net: direct quantification of echo sequence for left ventricle multidimensional indices via global-local learning, geometric adjustment and multi-target relation learning
Kulkarni et al. Yoga pose detection using long-term recurrent convolutional network
CN117877099B (zh) 一种基于时空特征增强的无监督对比远程生理测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination