CN116994310B - 一种基于rPPG信号的远程心率检测方法 - Google Patents

一种基于rPPG信号的远程心率检测方法 Download PDF

Info

Publication number
CN116994310B
CN116994310B CN202310773735.7A CN202310773735A CN116994310B CN 116994310 B CN116994310 B CN 116994310B CN 202310773735 A CN202310773735 A CN 202310773735A CN 116994310 B CN116994310 B CN 116994310B
Authority
CN
China
Prior art keywords
layer
feature map
block
map
csam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310773735.7A
Other languages
English (en)
Other versions
CN116994310A (zh
Inventor
陈长芳
王增发
舒明雷
周书旺
高天雷
陈超
徐鹏摇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310773735.7A priority Critical patent/CN116994310B/zh
Publication of CN116994310A publication Critical patent/CN116994310A/zh
Application granted granted Critical
Publication of CN116994310B publication Critical patent/CN116994310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Cardiology (AREA)
  • Mathematical Optimization (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)

Abstract

一种基于rPPG信号的远程心率检测方法，涉及非接触式信号检测领域，在ROI定义阶段，对人脸区域进行定位与跟踪，利用先验知识，直接选择人脸中包含rPPG信号最丰富的区域作为ROI，忽略复杂环境噪声信息和与rPPG信号不相关信息的影响，利用通道、空间宽度和空间高度三个维度的注意力权重对特征图进行更新，有效滤除由于运动和光照变化产生的噪声的干扰，使模型在复杂环境中仍能准确提取有效rPPG信号信息。使用Transformer编码器学习各帧之间的特征关系，使模型充分注意人脸视频各帧间的时空特征关系和rPPG信号全局时空特征相关性，从而预测出人脸视频中微弱的rPPG信号，进一步提高了预测的准确性和鲁棒性。

Description

一种基于rPPG信号的远程心率检测方法
技术领域
本发明涉及非接触式信号检测领域，具体涉及一种基于rPPG信号的远程心率检测方法。
背景技术
心率是能够反映人体身体状况或精神状态的一项重要指标。根据调查数据显示，近年来，我国心血管病患病率持续上升，在所有慢性疾病中，心血管病是死亡率最高的一种疾病。传统的心率检测方法主要是基于心电图(ECG)和接触式光电容积脉搏波(PPG)，这些方法测量结果准确，社会认可度高。然而这些方法需要在受试者身体上佩戴特定的传感器来收集数据，一些特殊患者并不能使用，如皮肤过敏或皮肤有损伤的患者、刚出生的婴幼儿、烧伤病人等群体。因此，近些年来研究者提出远程电描记术，这是一种使用面部视频测量人体心率的非接触式方法，当光线照射到皮肤上时，一部分光在人体皮肤表面镜面反射的作用下，被直接反射到外界，这部分光不包含脉搏信号信息，另一部分光照穿透皮肤照射到血管上，被毛细血管中的血红蛋白吸收，血液中的血红蛋白对不同波长的光具有不同的吸收特性，尤其是在红外光谱范围内。心脏的跳动会导致血管中血容量呈周期性变化，当血液流过皮肤下的微小血管时，血液中的血红蛋白的吸收特性会随着心跳和呼吸而发生微弱的周期性变化，从而引起皮肤表面的光学信号变化。
现有的远程测量心率方法主要分为传统方法和基于深度学习的方法，传统方法主要包括盲源分离、最小均方、自适应矩阵补全、基于色度的CHROM、与肤色正交的投影平面(POS)等方法，这些方法需要复杂的先验知识来进行ROI选择、皮肤像素检测以及手工制作的信号处理步骤，这些步骤很难部署并且不一定能很好地推广到新数据。近些年，研究者通常会使用深度学习的方法来进行远程心率的测量，niu等人为CNN构建了一个时空特征图来测量平均HR，Radim等人提出了HRCNN，利用对齐后的人脸图像来预测HR，Chen和McDuff利用CNN的归一化帧差来预测脉冲信号。这些深度学习方法通常将HR估计任务视为一个单回归问题，仅有一个简单的平均HR值输出，无法实时的检测短时间内被测者心率变化。此外，他们基本都是基于二维CNN，缺乏学习面部序列的时间上下文特征的能力，而这对于rPPG信号的测量是必不可少的。且大多数研究都是基于环境光照稳定的条件下进行，但是在实际情况下，在视频采集过程中，环境光的变化、受试者面部运动所引入的运动伪迹干扰、相机的量化噪声等都会严重影响采集信号的质量，给测量带来极大干扰。
发明内容
本发明为了克服以上技术的不足，提供了一种提高在复杂场景变化下测量心率的鲁棒性和准确性的基于rPPG信号的远程心率检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于rPPG信号的远程心率检测方法，包括如下步骤：
a)获取n个含有真实rPPG信号信息的人脸视频；
b)对n个含有真实rPPG信号信息的人脸视频进行预处理操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，其中Vi为第i个预处理后的视频，i∈{1,2,...,e}，为第i个预处理后的视频Vi的第t帧图片，t∈{1,2,...,T}，T为第i个预处理后的视频Vi中帧数，第i个预处理后的视频Vi的标签信息为与其帧数长度一致的rPPG信号/>为第t帧图片/>的rPPG信号值；
c)选定一矩形区域作为ROI区域，使用ROI区域对第t帧图片进行剪裁；
d)对剪裁后的第t帧图片进行数据压缩操作，T个压缩后的图片构成剪裁后的第i个视频Vi，Vi∈RC×T×H×W；
e)构建神经网络模型CS_TrNet，神经网络模型CS_TrNet由特征提取模块、Transformer模型的编码模块、rPPG信号聚合模块构成；
f)将剪裁后的第t帧图片输入到神经网络模型CS_TrNet的特征提取模块中，输出得到特征向量/>
g)将剪裁后的第i个视频Vi所有T帧的特征向量依次排列成矩阵Pi，Γ为矩阵转置；
h)将特征向量Pi t_69输入到Transformer模型的编码模块中，输出得到融合了各帧不同权重向量表示的全局时空特征向量Pi t_69′，得到全局时空特征向量矩阵Pi′＝[Pi 1_69′,Pi 2_69′,...,Pi t_69′,...,Pi T_69′]Γ；
i)将全局时空特征向量输入到rPPG信号聚合模块中，输出得到第t帧图像的rPPG信号值/>所有T帧的rPPG信号值构成长度为T的rPPG信号
j)使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet，得到优化后的神经网络模型CS_TrNet；
k)将剪裁后的第t帧图片输入到优化后的神经网络模型CS_TrNet中，重复步骤f)至步骤i)，得到rPPG信号Yi_pre′；
l)对rPPG信号Yi_pre′使用AMPD自动多尺度峰值查找算法进行峰值点检测，得到rPPG信号Yi_pre′中的若干峰值点，通过公式计算得到每分钟的心率值Y，式中X为i个预处理后的视频Vi的每秒帧数，每两个相邻的峰值点之间的帧数为两个相邻峰值的距离，s为各个相邻峰值距离的平均值。
进一步的，步骤a)中从UBFC-rPPG数据集中获取n个含有真实rPPG信号信息的人脸视频。
进一步的，步骤b)中预处理操作的方法为：对n个含有真实rPPG信号信息的人脸视频进行数据增广操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，数据增广时使用长度为60帧，步长为30帧的滑动窗口对n个含有真实rPPG信号信息的人脸视频进行重叠切割。
进一步的，步骤c)包括如下步骤：
c-1)使用基于Python的landmark算法对第t帧图片进行人脸跟踪，得到68个人脸特征点的人脸地标位置；
c-2)以第t帧图片左上角作为原点，从原点水平向右作为X轴，从原点竖直向下作为Y轴，通过公式XLT＝Xp3计算得到矩形区域左上角横坐标XLT，式中Xp3为第3个人脸特征点p3的X轴坐标，通过公式YLT＝MAX(Yp40,Yp41,Yp46,Yp47)计算得到矩形区域左上角纵坐标YLT，式中Yp40为第40个人脸特征点p40的Y轴坐标，Yp41为第41个人脸特征点p41的Y轴坐标，Yp46为第46个人脸特征点p46的Y轴坐标，Yp47为第47个人脸特征点p47的Y轴坐标，MAX(·)为选取最大值操作，通过公式WROI＝Xp13-Xp3计算得到矩形区域的宽度值，式中Xp13为第13个人脸特征点p13的X轴坐标，通过公式HROI＝YB-YLT计算得到矩形区域的高度值，式中YB＝MIN(Yp3,Yp50,Yp52,Yp13)，Yp3为第3个人脸特征点p3的Y轴坐标，Yp50为第50个人脸特征点p50的Y轴坐标，Yp52为第52个人脸特征点p52的Y轴坐标，Yp13为第13个人脸特征点p13的Y轴坐标，MIN(·)为选取最小值操作；
c-3)将矩形区域作为ROI区域，使用ROI区域对第t帧图片进行剪裁。
进一步的，步骤d)包括如下步骤：
d-1)将使用ROI区域进行剪裁后的第t帧图片进行下采样操作，下采样到图像大小为64×128；
d-2)将下采样后的第t帧图片使用最大最小归一化操作，将图像数据压缩到[0,1]之间，得到数据压缩后的第t帧图片/>进一步的，步骤f)包括如下步骤：
f-1)神经网络模型CS_TrNet的特征提取模块由第一卷积块、第一N_CSAM块、第二卷积块、第二N_CSAM块、第三卷积块、第三N_CSAM块、第四卷积块、第四N_CSAM块、全局平均池化层构成，第一卷积块、第二卷积块、第三卷积块、第四卷积块均依次由二维卷积Conv2d层、最大池化层、批处理归一化BN层、Relu激活函数层构成，第一N_CSAM块、第二N_CSAM块、第三N_CSAM块、第四N_CSAM块均由通道注意力层N_CAM和空间注意力层N_SAM构成，通道注意力层N_CAM均由全局空间池化层、1D卷积层、Sigmoid激活函数层构成，全局空间池化层由全局平均池化层、全局最大池化层构成，空间注意力层N_SAM均由全局通道池化层、第一中心差分卷积层、第二中心差分卷积层、Sigmoid激活函数层构成，全局通道池化层由全局平均池化层、全局最大池化层构成；
f-2)将剪裁后的第t帧图片输入到第一卷积块中，输出得到压缩特征图
f-3)将压缩特征图输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图/>将压缩特征图输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图/>将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图/>依次输入到第一N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图/>与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>和特征图逐元素相加，得到特征图/>将特征图输入到第一N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图将注意力权重系数图/>与通道注意力特征图进行逐元素相乘后得到空间注意力特征图/>f-4)将空间注意力特征图/>输入到第二卷积块中，输出得到压缩特征图/>f-5)将压缩特征图/>输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图/>将压缩特征图输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图/>将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图与特征图/>逐元素相加后与超参数θ相乘得到特征图将特征图/>特征图/>特征图逐元素相加操作，得到融合全局空间池化的特征图将特征图/>依次输入到第二N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图将注意力权重系数图/>与压缩特征图进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图和特征图/>逐元素相加，得到特征图将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第二N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-6)将空间注意力特征图/>输入到第三卷积块中，输出得到压缩特征图/>f-7)将压缩特征图/>输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图将压缩特征图/>输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图/>依次输入到第三N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>和特征图/>逐元素相加，得到特征图将特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第三N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-8)将空间注意力特征图/>输入到第四卷积块中，输出得到压缩特征图/>f-9)将压缩特征图/>输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图将压缩特征图/>输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图/>依次输入到第四N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>和特征图/>逐元素相加，得到特征图将特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第四N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-10)将空间注意力特征图/>输入到特征提取模块的全局平均池化层中，输出一条长度为空间注意力特征图/>通道数量的特征向量
优选的，步骤f-2)中第一卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为16、步长为1×2，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-3)中第一N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为16、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；步骤f-4)中第二卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为32、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-5)中第二N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为32、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-6)中第三卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为64、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-7)中第三N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为64、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-8)中第四卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为128、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-9)中第四N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为5、步长为1、填充为2，超参数θ设置为0.5，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为128、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3。
进一步的，步骤i)中rPPG信号聚合模块由一维卷积Conv1D层构成。
进一步的，步骤j)中通过公式
计算得到损失函数Loss，式中Yi t为第t帧图像的真实rPPG信号值。
优选的，步骤j)中使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet时设置学习率为0.001，视频批量batchsize大小为64，训练500个epoch，当连续10个epoch的损失函数值不再下降时，保存得到优化后的神经网络模型CS_TrNet。
本发明的有益效果是：在ROI定义阶段，对人脸区域进行定位与跟踪，利用先验知识，直接选择人脸中包含rPPG信号最丰富的区域作为ROI，忽略复杂环境噪声信息和与rPPG信号不相关信息的影响；经过预处理后每个视频仅有60帧，因此可实时检测被测者在短时间内的心率变化，更适应在实际情况下的心率检测需求。利用通道、空间宽度和空间高度三个维度的注意力权重对特征图进行更新，在空间注意力层中，基于中心差分卷积CDC对特征图进行特征转换，使模型更好的关注提取的特征中rPPG信号更强烈的区域，有效滤除由于运动和光照变化产生的噪声的干扰，使模型在复杂环境中仍能准确提取有效rPPG信号信息。使用Transformer编码器学习各帧之间的特征关系，使模型充分注意人脸视频各帧间的时空特征关系和rPPG信号全局时空特征相关性，从而预测出人脸视频中微弱的rPPG信号，进一步提高了预测的准确性和鲁棒性。
附图说明
图1为本发明的预处理的方法流程图；
图2为本发明选取的ROI；
图3为本发明的神经网络模型CS_TrNet的结构图；
图4为本发明的特征提取模块的结构图；
图5为本发明的N_CSAM块的结构图。
具体实施方式
下面结合附图1至附图5对本发明做进一步说明。
一种基于rPPG信号的远程心率检测方法，包括如下步骤：
a)获取n个含有真实rPPG信号信息的人脸视频。
b)对n个含有真实rPPG信号信息的人脸视频进行预处理操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，其中Vi为第i个预处理后的视频，i∈{1,2,...,e}，为第i个预处理后的视频Vi的第t帧图片，t∈{1,2,...,T}，T为第i个预处理后的视频Vi中帧数，第i个预处理后的视频Vi的标签信息为与其帧数长度一致的rPPG信号/>为第t帧图片/>的rPPG信号值。优选的T的取值为60。
c)选定一矩形区域作为ROI区域，使用ROI区域对第t帧图片进行剪裁。
d)对剪裁后的第t帧图片进行数据压缩操作，T个压缩后的图片构成剪裁后的第i个视频Vi，Vi∈RC×T×H×W，C取值为3，H取值为64，W取值为128。
e)构建神经网络模型CS_TrNet，神经网络模型CS_TrNet由特征提取模块、Transformer模型的编码模块、rPPG信号聚合模块构成。
f)将剪裁后的第t帧图片输入到神经网络模型CS_TrNet的特征提取模块中，输出得到特征向量/>
g)将剪裁后的第i个视频Vi所有T帧的特征向量依次排列成矩阵Pi，Γ为矩阵转置。
h)将特征向量Pi t_69输入到Transformer模型的编码模块中，输出得到融合了各帧不同权重向量表示的全局时空特征向量Pi t_69′，得到全局时空特征向量矩阵i)将全局时空特征向量输入到rPPG信号聚合模块中，输出得到第t帧图像的rPPG信号值/>所有T帧的rPPG信号值构成长度为T的rPPG信号
j)使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet，得到优化后的神经网络模型CS_TrNet。
k)将剪裁后的第t帧图片输入到优化后的神经网络模型CS_TrNet中，重复步骤f)至步骤i)，得到rPPG信号Yi_pre′。
l)对rPPG信号Yi_pre′使用AMPD自动多尺度峰值查找算法进行峰值点检测，得到rPPG信号Yi_pre′中的若干峰值点，通过公式计算得到每分钟的心率值Y，式中X为i个预处理后的视频Vi的每秒帧数，每两个相邻的峰值点之间的帧数为两个相邻峰值的距离，s为各个相邻峰值距离的平均值。
建了一种基于N_CSAM通道空间注意力机制和Transformer编码器的神经网络模型CS_TrNet，旨在提高在复杂场景变化下测量心率的鲁棒性和准确性。
实施例1：
步骤a)中从UBFC-rPPG数据集中获取n个含有真实rPPG信号信息的人脸视频。
实施例2：
步骤b)中预处理操作的方法为：对n个含有真实rPPG信号信息的人脸视频进行数据增广操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，数据增广时使用长度为60帧，步长为30帧的滑动窗口对n个含有真实rPPG信号信息的人脸视频进行重叠切割。即对标签rPPG信号数据使用同样滑动窗口进行切割并与切割后的视频对应。
实施例3：
由于人脸中鼻子和脸颊部分含有丰富rPPG信息，因此选择此区域作为此例的感兴趣区域(ROI)。使用基于Python的68点人脸特征点检测算法对视频V_i的第t帧图像F_i^t进行人脸跟踪，以精准定位人脸地标位置，方便对ROI位置进行准确剪裁，避免因视频中人脸运动造成ROI定位不准确，导致预测结果与实际结果有较大偏差。在68个人脸特征点中选择其中8个点来精准定义选定的ROI，并对8个点构成的矩形区域进行剪裁，矩形区域即为选定的ROI区域。具体的，步骤c)包括如下步骤：
c-1)使用基于Python的landmark算法对第t帧图片进行人脸跟踪，得到68个人脸特征点的人脸地标位置。
c-2)以第t帧图片左上角作为原点，从原点水平向右作为X轴，从原点竖直向下作为Y轴，通过公式XLT＝Xp3计算得到矩形区域左上角横坐标XLT，式中Xp3为第3个人脸特征点p3的X轴坐标，通过公式/>计算得到矩形区域左上角纵坐标YLT，式中Yp40为第40个人脸特征点p40的Y轴坐标，Yp41为第41个人脸特征点p41的Y轴坐标，Yp46为第46个人脸特征点p46的Y轴坐标，Yp47为第47个人脸特征点p47的Y轴坐标，MAX(·)为选取最大值操作，通过公式WROI＝Xp13-Xp3计算得到矩形区域的宽度值，式中Xp13为第13个人脸特征点p13的X轴坐标，通过公式HROI＝YB-YLT计算得到矩形区域的高度值，式中YB＝MIN(Yp3,Yp50,Yp52,Yp13)，Yp3为第3个人脸特征点p3的Y轴坐标，Yp50为第50个人脸特征点p50的Y轴坐标，Yp52为第52个人脸特征点p52的Y轴坐标，Yp13为第13个人脸特征点p13的Y轴坐标，MIN(·)为选取最小值操作。
c-3)将矩形区域作为ROI区域，使用ROI区域对第t帧图片进行剪裁。
通过此方法定义的ROI，可以尽可能的削弱背景、非皮肤区域以及眨眼和面部运动的影响，以提高最终测量结果的准确性和鲁棒性。
实施例4：
步骤d)包括如下步骤：
d-1)为了减少计算量，将使用ROI区域进行剪裁后的第t帧图片进行下采样操作，下采样到图像大小为64×128。/>
d-2)将下采样后的第t帧图片使用最大最小归一化操作，将图像数据压缩到[0,1]之间，得到数据压缩后的第t帧图片/>
实施例5：
步骤f)包括如下步骤：
f-1)神经网络模型CS_TrNet的特征提取模块由第一卷积块、第一N_CSAM块、第二卷积块、第二N_CSAM块、第三卷积块、第三N_CSAM块、第四卷积块、第四N_CSAM块、全局平均池化层构成，第一卷积块、第二卷积块、第三卷积块、第四卷积块均依次由二维卷积Conv2d层、最大池化层、批处理归一化BN层、Relu激活函数层构成，第一N_CSAM块、第二N_CSAM块、第三N_CSAM块、第四N_CSAM块均由通道注意力层N_CAM和空间注意力层N_SAM构成，通道注意力层N_CAM均由全局空间池化层、1D卷积层、Sigmoid激活函数层构成，全局空间池化层由全局平均池化层、全局最大池化层构成，空间注意力层N_SAM均由全局通道池化层、第一中心差分卷积层、第二中心差分卷积层、Sigmoid激活函数层构成，全局通道池化层由全局平均池化层、全局最大池化层构成。
f-2)将剪裁后的第t帧图片输入到第一卷积块中，输出得到压缩特征图
f-3)将压缩特征图输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图/>将压缩特征图输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图/>将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图/>特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图依次输入到第一N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图/>与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图和特征图/>逐元素相加，得到特征图将特征图/>输入到第一N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第一N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-4)将空间注意力特征图/>输入到第二卷积块中，输出得到压缩特征图/>f-5)将压缩特征图/>输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图将压缩特征图/>输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图依次输入到第二N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图/>与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图将通道注意力特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图将特征图/>和特征图/>逐元素相加，得到特征图/>将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图/>输入到第二N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图/>与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-6)将空间注意力特征图/>输入到第三卷积块中，输出得到压缩特征图/>f-7)将压缩特征图/>输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图将压缩特征图/>输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图/>依次输入到第三N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图/>将通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图S_MP_fi t_45输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图和特征图/>逐元素相加，得到特征图将特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第三N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-8)将空间注意力特征图/>输入到第四卷积块中，输出得到压缩特征图/>f-9)将压缩特征图/>输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图将压缩特征图/>输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图/>将特征图/>与可训练参数α相乘得到不同权重表示的特征图将特征图/>与可训练参数β相乘得到不同权重表示的特征图/>将特征图/>与特征图/>逐元素相加后与超参数θ相乘得到特征图/>将特征图特征图/>特征图/>逐元素相加操作，得到融合全局空间池化的特征图/>将特征图依次输入到第四N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图/>将注意力权重系数图/>与压缩特征图/>进行逐元素相乘操作后，得到通道注意力特征图/>通道注意力特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图将通道注意力特征图/>输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图/>将特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图/>将特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图将特征图S_AP_fi t_63和特征图S_MP_fi t_64逐元素相加，得到特征图/>将特征图/>输入到第四N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图/>将特征图输入到第四N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图/>将注意力权重系数图与通道注意力特征图/>进行逐元素相乘后得到空间注意力特征图/>f-10)将空间注意力特征图/>输入到特征提取模块的全局平均池化层中，输出一条长度为空间注意力特征图/>通道数量的特征向量
在该实施例中，优选的，步骤f-2)中第一卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为16、步长为1×2，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-3)中第一N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，可训练参数α和可训练参数β由Adam优化器训练得来，第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为16、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；步骤f-4)中第二卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为32、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-5)中第二N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，可训练参数α和可训练参数β由Adam优化器训练得来，第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为32、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-6)中第三卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为64、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-7)中第三N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，可训练参数α和可训练参数β由Adam优化器训练得来，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为64、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-8)中第四卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为128、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-9)中第四N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为5、步长为1、填充为2，超参数θ设置为0.5，可训练参数α和可训练参数β由Adam优化器训练得来，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为128、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3。
实施例7：
步骤i)中rPPG信号聚合模块由一维卷积Conv1D层构成。
实施例8：
步骤j)中通过公式
计算得到损失函数Loss，式中为第t帧图像的真实rPPG信号值。
步骤j)中使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet时设置学习率为0.001，视频批量batchsize大小为64，训练500个epoch，当连续10个epoch的损失函数值不再下降时，即可视为训练达到饱和，保存得到优化后的神经网络模型CS_TrNet。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于rPPG信号的远程心率检测方法，其特征在于，包括如下步骤：
a)获取n个含有真实rPPG信号信息的人脸视频；
b)对n个含有真实rPPG信号信息的人脸视频进行预处理操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，其中Vi为第i个预处理后的视频，i∈{1,2,...,e}，Vi＝{Fi 1,Fi 2,…,Fi t,…,Fi T}，Fi t为第i个预处理后的视频Vi的第t帧图片，t∈{1,2,…,T}，T为第i个预处理后的视频Vi中帧数，第i个预处理后的视频Vi的标签信息为与其帧数长度一致的rPPG信号Yi＝{Yi 1,Yi 2,…,Yi t,…,Yi T}，Yi t为第t帧图片Fi t的rPPG信号值；
c)选定一矩形区域作为ROI区域，使用ROI区域对第t帧图片Fi t进行剪裁；
d)对剪裁后的第t帧图片Fi t进行数据压缩操作，T个压缩后的图片构成剪裁后的第i个视频Vi，Vi∈RC×T×H×W；
e)构建神经网络模型CS_TrNet，神经网络模型CS_TrNet由特征提取模块、Transformer模型的编码模块、rPPG信号聚合模块构成；
f)将剪裁后的第t帧图片Fi t输入到神经网络模型CS_TrNet的特征提取模块中，输出得到特征向量Pi t_69；
g)将剪裁后的第i个视频Vi所有T帧的特征向量依次排列成矩阵Pi，Pi＝[Pi 1_69,Pi 2_69,…,Pi t_69,...,Pi T_69]Γ，Γ为矩阵转置；
h)将特征向量Pi t_69输入到Transformer模型的编码模块中，输出得到融合了各帧不同权重向量表示的全局时空特征向量Pi t_69′，得到全局时空特征向量矩阵Pi′＝[Pi 1_69′,Pi 2_69′,…,Pi t_69′,…,Pi T_69′]Γ；
i)将全局时空特征向量Pi t_69′输入到rPPG信号聚合模块中，输出得到第t帧图像的rPPG信号值Yi t_pre，所有T帧的rPPG信号值构成长度为T的rPPG信号Yi_pre，Yi_pre＝{Yi 1_pre,Yi 2_pre,…,Yi i_pre,...,Yi T_pre}；
j)使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet，得到优化后的神经网络模型CS_TrNet；
k)将剪裁后的第t帧图片Fi t输入到优化后的神经网络模型CS_TrNet中，重复步骤f)至步骤i)，得到rPPG信号Yi_pre′；
l)对rPPG信号Yi_pre′使用AMPD自动多尺度峰值查找算法进行峰值点检测，得到rPPG信号Yi_pre′中的若干峰值点，通过公式计算得到每分钟的心率值Y，式中X为i个预处理后的视频Vi的每秒帧数，每两个相邻的峰值点之间的帧数为两个相邻峰值的距离，s为各个相邻峰值距离的平均值；
步骤f)包括如下步骤：
f-1)神经网络模型CS_TrNet的特征提取模块由第一卷积块、第一N_CSAM块、第二卷积块、第二N_CSAM块、第三卷积块、第三N_CSAM块、第四卷积块、第四N_CSAM块、全局平均池化层构成，第一卷积块、第二卷积块、第三卷积块、第四卷积块均依次由二维卷积Conv2d层、最大池化层、批处理归一化BN层、Relu激活函数层构成，第一N_CSAM块、第二N_CSAM块、第三N_CSAM块、第四N_CSAM块均由通道注意力层N_CAM和空间注意力层N_SAM构成，通道注意力层N_CAM均由全局空间池化层、1D卷积层、Sigmoid激活函数层构成，全局空间池化层由全局平均池化层、全局最大池化层构成，空间注意力层N_SAM均由全局通道池化层、第一中心差分卷积层、第二中心差分卷积层、Sigmoid激活函数层构成，全局通道池化层由全局平均池化层、全局最大池化层构成；
f-2)将剪裁后的第t帧图片Fi t输入到第一卷积块中，输出得到压缩特征图Conv1_fi t_1；
f-3)将压缩特征图Conv1_fi t_1输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fi t_2，将压缩特征图Conv1_fi t_1输入到第一N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fi t_3，将特征图C_AP_fi t_2与可训练参数α相乘得到不同权重表示的特征图C_AP_fi t_4，将特征图C_MP_fi t_3与可训练参数β相乘得到不同权重表示的特征图C_MP_fi t_5，将特征图C_AP_fi t_2与特征图C_AP_fi t_3逐元素相加后与超参数θ相乘得到特征图C_AM_fi t_6，将特征图C_AP_fi t_4、特征图C_MP_fi t_5、特征图C_AM_fi t_6逐元素相加操作，得到融合全局空间池化的特征图C_AM_fi t_7，将特征图C_AM_fi t_7依次输入到第一N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fi t_8，将注意力权重系数图C_M_fi t_8与压缩特征图Conv1_fi t_1进行逐元素相乘操作后，得到通道注意力特征图C_fi t_9，通道注意力特征图C_fi t_9输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fi t_10，将通道注意力特征图C_fi t_9输入到第一N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fi t_11，将特征图S_AP_fi t_10输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fi t_12，将特征图S_MP_fi t_11输入到第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fi t_13，将特征图S_AP_fi t_12和特征图S_MP_fi t_13逐元素相加，得到特征图S_AM_fi t_14，将特征图S_AM_fi t_14输入到第一N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fi t_15，将特征图S_AM_fi t_15输入到第一N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fi t_16，将注意力权重系数图S_M_fi t_16与通道注意力特征图C_fi t_9进行逐元素相乘后得到空间注意力特征图S_fi t_17；f-4)将空间注意力特征图S_fi t_17输入到第二卷积块中，输出得到压缩特征图Conv2_fi t_18；
f-5)将压缩特征图Conv2_fi t_18输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fi t_19，将压缩特征图Conv2_fi t_18输入到第二N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fi t_20，将特征图C_AP_fi t_19与可训练参数α相乘得到不同权重表示的特征图C_AP_fi t_21，将特征图C_MP_fi t_20与可训练参数β相乘得到不同权重表示的特征图C_MP_fi t_22，将特征图C_AP_fi t_19与特征图C_MP_fi t_20逐元素相加后与超参数θ相乘得到特征图C_AM_fi t_23，将特征图C_AP_fi t_21、特征图C_MP_fi t_22、特征图C_AM_fi t_23逐元素相加操作，得到融合全局空间池化的特征图C_AM_fi t_24，将特征图C_AM_fi t_24依次输入到第二N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fi t_25，将注意力权重系数图C_M_fi t_25与压缩特征图Conv2_fi t_18进行逐元素相乘操作后，得到通道注意力特征图C_fi t_26，通道注意力特征图C_fi t_26输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fi t_27，将通道注意力特征图C_fi t_26输入到第二N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fi t_28，将特征图S_AP_fi t_27输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fi t_29，将特征图S_MP_fi t_28输入到第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fi t_30，将特征图S_AP_fi t_29和特征图S_MP_fi t_30逐元素相加，得到特征图S_AM_fi t_31，将特征图S_AM_fi t_31输入到第二N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fi t_32，将特征图S_AM_fi t_32输入到第二N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fi t_33，将注意力权重系数图S_M_fi t_33与通道注意力特征图C_fi t_26进行逐元素相乘后得到空间注意力特征图S_fi t_34；
f-6)将空间注意力特征图S_fi t_34输入到第三卷积块中，输出得到压缩特征图Conv3_fi t_35；
f-7)将压缩特征图Conv3_fi t_35输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fi t_36，将压缩特征图Conv3_fi t_35输入到第三N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fi t_37，将特征图C_AP_fi t_36与可训练参数α相乘得到不同权重表示的特征图C_AP_fi t_38，将特征图C_MP_fi t_37与可训练参数β相乘得到不同权重表示的特征图C_MP_fi t_39，将特征图C_AP_fi t_36与特征图C_MP_fi t_37逐元素相加后与超参数θ相乘得到特征图C_AM_fi t_40，将特征图C_AP_fi t_38、特征图C_MP_fi t_39、特征图C_AM_fi t_40逐元素相加操作，得到融合全局空间池化的特征图C_AM_fi t_41，将特征图C_AM_fi t_41依次输入到第三N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fi t_42，将注意力权重系数图C_M_fi t_42与压缩特征图Conv3_fi t_35进行逐元素相乘操作后，得到通道注意力特征图C_fi t_43，通道注意力特征图C_fi t_43输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fi t_44，将通道注意力特征图C_fi t_43输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fi t_45，将特征图S_AP_fi t_44输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fi t_46，将特征图S_MP_fi t_45输入到第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fi t_47，将特征图S_AP_fi t_46和特征图S_MP_fi t_47逐元素相加，得到特征图S_AM_fi t_48，将特征图S_AM_fi t_48输入到第三N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fi t_49，将特征图S_AM_fi t_49输入到第三N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fi t_50，将注意力权重系数图S_M_fi t_50与通道注意力特征图C_fi t_43进行逐元素相乘后得到空间注意力特征图S_fi t_51；
f-8)将空间注意力特征图S_fi t_51输入到第四卷积块中，输出得到压缩特征图Conv4_fi t_52；
f-9)将压缩特征图Conv4_fi t_52输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局平均池化层中，输出得到特征图C_AP_fi t_53，将压缩特征图Conv4_fi t_52输入到第四N_CSAM块的通道注意力层N_CAM的全局空间池化层的全局最大池化层中，输出得到特征图C_MP_fi t_54，将特征图C_AP_fi t_53与可训练参数α相乘得到不同权重表示的特征图C_AP_fi t_55，将特征图C_MP_fi t_54与可训练参数β相乘得到不同权重表示的特征图C_MP_fi t_56，将特征图C_AP_fi t_53与特征图C_MP_fi t_54逐元素相加后与超参数θ相乘得到特征图C_AM_fi t_57，将特征图C_AP_fi t_55、特征图C_MP_fi t_56、特征图C_AM_fi t_57逐元素相加操作，得到融合全局空间池化的特征图C_AM_fi t_58，将特征图C_AM_fi t_58依次输入到第四N_CSAM块的通道注意力层N_CAM的1D卷积层、Sigmoid激活函数层中，输出得到各通道的注意力权重系数图C_M_fi t_59，将注意力权重系数图C_M_fi t_59与压缩特征图Conv4_fi t_52进行逐元素相乘操作后，得到通道注意力特征图C_fi t_60，通道注意力特征图C_fi t_60输入到第四N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局平均池化层中，输出得到特征图S_AP_fi t_61，将通道注意力特征图C_fi t_60输入到第三N_CSAM块的空间注意力层N_SAM的全局通道池化层的全局最大池化层中，输出得到特征图S_MP_fi t_62，将特征图S_AP_fi t_61输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_AP_fi t_63，将特征图S_MP_fi t_62输入到第四N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层中，输出得到特征图S_MP_fi t_64，将特征图S_AP_fi t_63和特征图S_MP_fi t_64逐元素相加，得到特征图S_AM_fi t_65，将特征图S_AM_fi t_65输入到第四N_CSAM块的空间注意力层N_SAM的第二中心差分卷积层中，输出得到特征图S_AM_fi t_66，将特征图S_AM_fi t_66输入到第四N_CSAM块的空间注意力层N_SAM的Sigmoid激活函数层中，输出得到空间各位置的注意力权重系数图S_M_fi t_67，将注意力权重系数图S_M_fi t_67与通道注意力特征图C_fi t_60进行逐元素相乘后得到空间注意力特征图S_fi t_68；
f-10)将空间注意力特征图S_fi t_68输入到特征提取模块的全局平均池化层中，输出一条长度为空间注意力特征图S_fi t_68通道数量的特征向量Pi t_69。
2.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于：步骤a)中从UBFC-rPPG数据集中获取n个含有真实rPPG信号信息的人脸视频。
3.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于，步骤b)中预处理操作的方法为：对n个含有真实rPPG信号信息的人脸视频进行数据增广操作，得到含有标签信息的e个新的视频样本数据集V＝{V1,V2,...,Vi,...,Ve}，数据增广时使用长度为60帧，步长为30帧的滑动窗口对n个含有真实rPPG信号信息的人脸视频进行重叠切割。
4.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于，步骤c)包括如下步骤：
c-1)使用基于Python的landmark算法对第t帧图片Fi t进行人脸跟踪，得到68个人脸特征点的人脸坐标位置；
c-2)以第t帧图片Fi t左上角作为原点，从原点水平向右作为X轴，从原点竖直向下作为Y轴，通过公式XLT＝Xp3计算得到矩形区域左上角横坐标XLT，式中Xp3为第3个人脸特征点p3的X轴坐标，通过公式YLT＝MAX(Yp40,Yp41,Yp46,Yp47)计算得到矩形区域左上角纵坐标YLT，式中Yp40为第40个人脸特征点p40的Y轴坐标，Yp41为第41个人脸特征点p41的Y轴坐标，Yp46为第46个人脸特征点p46的Y轴坐标，Yp47为第47个人脸特征点p47的Y轴坐标，MAX(·)为选取最大值操作，通过公式WROI＝Xp13-Xp3计算得到矩形区域的宽度值，式中Xp13为第13个人脸特征点p13的X轴坐标，通过公式HROI＝YB-YLT计算得到矩形区域的高度值，式中YB＝MIN(Yp3,Yp50,Yp52,Yp13)，Yp3为第3个人脸特征点p3的Y轴坐标，Yp50为第50个人脸特征点p50的Y轴坐标，Yp52为第52个人脸特征点p52的Y轴坐标，Yp13为第13个人脸特征点p13的Y轴坐标，MIN(·)为选取最小值操作；
c-3)将矩形区域作为ROI区域，使用ROI区域对第t帧图片Fi t进行剪裁。
5.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于，步骤d)包括如下步骤：
d-1)将使用ROI区域进行剪裁后的第t帧图片Fi t进行下采样操作，下采样到图像大小为64×128；
d-2)将下采样后的第t帧图片Fi t使用最大最小归一化操作，将图像数据压缩到[0,1]之间，得到数据压缩后的第t帧图片Fi t。
6.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于：步骤f-2)中第一卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为16、步长为1×2，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-3)中第一N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第一N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为16、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；步骤f-4)中第二卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为32、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-5)中第二N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第二N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为32、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-6)中第三卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为64、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-7)中第三N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为3、步长为1、填充为1，超参数θ设置为0.5，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为64、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3；骤f-8)中第四卷积块的二维卷积Conv2d层的卷积核大小为3×3、通道数为128、步长为1，填充为1，最大池化层的尺寸为2×2、步长为2；步骤f-9)中第四N_CSAM块的通道注意力层N_CAM的1D卷积层的卷积核大小为5、步长为1、填充为2，超参数θ设置为0.5，第三N_CSAM块的空间注意力层N_SAM的第一中心差分卷积层的卷积核大小为7×7、通道数为128、步长为1，填充为3，第二中心差分卷积层的卷积核大小为7×7、通道数为1、步长为1，填充为3。
7.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于：步骤i)中rPPG信号聚合模块由一维卷积Conv1D层构成。
8.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于：步骤j)中通过公式
计算得到损失函数Loss，式中Yi t为第t帧图像的真实rPPG信号值。
9.根据权利要求1所述的基于rPPG信号的远程心率检测方法，其特征在于：步骤j)中使用Adam优化器利用损失函数Loss训练神经网络模型CS_TrNet时设置学习率为0.001，视频批量batchsize大小为64，训练500个epoch，当连续10个epoch的损失函数值不再下降时，保存得到优化后的神经网络模型CS_TrNet。
CN202310773735.7A 2023-06-28 2023-06-28 一种基于rPPG信号的远程心率检测方法 Active CN116994310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773735.7A CN116994310B (zh) 2023-06-28 2023-06-28 一种基于rPPG信号的远程心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773735.7A CN116994310B (zh) 2023-06-28 2023-06-28 一种基于rPPG信号的远程心率检测方法

Publications (2)

Publication Number Publication Date
CN116994310A CN116994310A (zh) 2023-11-03
CN116994310B true CN116994310B (zh) 2024-02-23

Family

ID=88529172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773735.7A Active CN116994310B (zh) 2023-06-28 2023-06-28 一种基于rPPG信号的远程心率检测方法

Country Status (1)

Country Link
CN (1) CN116994310B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542103A (zh) * 2023-12-18 2024-02-09 齐鲁工业大学(山东省科学院) 一种基于多尺度时空特征图的非接触式心率检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105092A (ko) * 2021-01-19 2022-07-26 금오공과대학교 산학협력단 심전도와 광체적 변화신호의 차이를 인공 신경망에 입력하는 연속적인 혈압측정 방법
CN114821439A (zh) * 2022-05-10 2022-07-29 合肥中聚源智能科技有限公司 一种基于令牌学习的人脸视频心率估计系统及方法
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11826129B2 (en) * 2019-10-07 2023-11-28 Owlet Baby Care, Inc. Heart rate prediction from a photoplethysmogram

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105092A (ko) * 2021-01-19 2022-07-26 금오공과대학교 산학협력단 심전도와 광체적 변화신호의 차이를 인공 신경망에 입력하는 연속적인 혈압측정 방법
CN114821439A (zh) * 2022-05-10 2022-07-29 合肥中聚源智能科技有限公司 一种基于令牌学习的人脸视频心率估计系统及方法
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PulseNet: A multitask learning network for remote heart rate estimation;Ruo-Nan Yin et al.;Knowledge-Based Systems;20220305;第239卷;第1-11页 *
Video-Based Physiological Measurement Using 3D Central Difference Convolution Attention Network;Yu Zhao et al.;2021 IEEE International Joint Conference on Biometrics (IJCB);20210807;第1-6页 *
一种基于脸部视频及脉搏特征平面的心率检测算法;关天一等;信息技术与信息化;20181025(第10期);第78-82页 *
詹琪.基于视频分析的心率和呼吸率监测方法研究.中国优秀硕士学位论文全文数据库 (基础科学辑).2022,第A006-90页. *

Also Published As

Publication number Publication date
CN116994310A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
Chen et al. Deepphys: Video-based physiological measurement using convolutional attention networks
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
CN111839489B (zh) 非接触式生理心理健康检测系统
Wang et al. Unsupervised subject detection via remote PPG
CN116994310B (zh) 一种基于rPPG信号的远程心率检测方法
Hu et al. Robust heart rate estimation with spatial–temporal attention network from facial videos
CN109009052A (zh) 基于视觉的嵌入式心率测量系统及其测量方法
CN115024706A (zh) 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法
Li et al. Non-contact ppg signal and heart rate estimation with multi-hierarchical convolutional network
Zhao et al. Video-based physiological measurement using 3d central difference convolution attention network
Przybyło A deep learning approach for remote heart rate estimation
Hill et al. Beat-to-beat cardiac pulse rate measurement from video
Nowara et al. The benefit of distraction: Denoising remote vitals measurements using inverse attention
Kang et al. Transppg: Two-stream transformer for remote heart rate estimate
Yin et al. PulseNet: A multitask learning network for remote heart rate estimation
Song et al. Motion robust imaging ballistocardiography through a two-step canonical correlation analysis
Wu et al. Anti-jamming heart rate estimation using a spatial–temporal fusion network
Wang et al. Transphys: Transformer-based unsupervised contrastive learning for remote heart rate measurement
CN113456042A (zh) 一种基于3d cnn的无接触面部血压测量方法
CN117542103A (zh) 一种基于多尺度时空特征图的非接触式心率检测方法
Yang et al. Heart rate estimation from facial videos based on convolutional neural network
CN113598742B (zh) 房颤分类模型训练方法、房颤识别方法及系统
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Cheng et al. Motion-robust anterior–posterior imaging ballistocardiography for non-contact heart rate measurements
Zheng et al. Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant