CN113920387A - 一种短时rPPG信号检测模型的构建方法及检测方法 - Google Patents

一种短时rPPG信号检测模型的构建方法及检测方法 Download PDF

Info

Publication number
CN113920387A
CN113920387A CN202111068137.7A CN202111068137A CN113920387A CN 113920387 A CN113920387 A CN 113920387A CN 202111068137 A CN202111068137 A CN 202111068137A CN 113920387 A CN113920387 A CN 113920387A
Authority
CN
China
Prior art keywords
time
feature map
space
global
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111068137.7A
Other languages
English (en)
Other versions
CN113920387B (zh
Inventor
李斌
江魏
赵国英
范建平
彭进业
祝轩
张晓丹
乐明楠
王珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202111068137.7A priority Critical patent/CN113920387B/zh
Publication of CN113920387A publication Critical patent/CN113920387A/zh
Application granted granted Critical
Publication of CN113920387B publication Critical patent/CN113920387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种短时远程光体积描记信号检测模型构建方法，对采集人脸视频图像序列，并进行预处理作为初始数据集；对采集的光体积描记信号进行处理作为目标集；训练短时远程光体积描记信号检测模型，本发明设计了基于3D时空卷积过滤器和反卷积过滤器构建特征提取中的编码器和解码器、分支损失模块和残差恒定块、以及基于CBAM注意力机制的显著特征提取模块，采用编码器和解码器的设计用于在时空域特征和时域特征下进行尺度的变换，保证特征提取过程中保留与短时远程光体积描记信号时序信息高度相关的有效特征，提升模型的性能；基于CBAM注意力机制的显著特征提取模块，提升感性特征提取能力，解决了现有技术中的健壮性低的问题。

Description

一种短时rPPG信号检测模型的构建方法及检测方法
技术领域
本发明属于视觉化生理参数监测与信号处理领域，涉及健壮短时信号检测与心率估计方法，具体是一种短时rPPG信号检测模型的构建方法及检测方法。
背景技术
心率是一个用于评估人们的健康状态至关重要的生理参数，医疗中的心率监测方法基于接触式的设备，包括贴敷于身体皮肤的ECG传感器和指甲式的PPG光学设备，其中PPG是一种基于在血流循环中血流量变化造成的血光吸收量的变化的方法，而这种变化影响皮肤对光源的传播和反射从而最终导致皮肤颜色改变。相机可用于感知肉眼无法察觉皮肤反射或吸收的光的变化。基于摄像头的远程光电容积描记器有助于非接触式低成本人体健康状况检测。过去的远程体积描记信号监测，包括传统方法和数据驱动的深度学习方法，其表现和精准度逐年提高，但其大量的方法依赖于先验的知识和未被确定的假设，如自定义的感性区域、移动表征、皮肤反射模型，其心率评估性能是不稳定的，此外其时序时间依赖较长，主流的方法包括10秒以及30秒的监测时长，其效率较低。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种短时rPPG信号检测模型的构建方法及检测方法，解决现有技术中远程心率评估框架的效率和健壮性均不高以及远程心率估计中时间依赖长、效率低的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
一种短时远程光体积描记信号检测模型构建方法，包括以下步骤：
步骤1，采集人脸视频图像序列和光体积描记信号，对采集到的人脸视频图像序列进行预处理得到预处理后的人脸视频图像序列，作为初始数据集；对光体积描记信号进行带通滤波过滤和降采样处理得到单个光体积描记信号，作为目标集；
步骤2，将所述的初始数据集和目标集作为输入，训练短时远程光体积描记信号检测模型，所述的短时远程光体积描记信号检测模型包括特征提取模块、残差恒等块、分支损失模块、显著特征提取模块和和平滑过滤模块；得到训练好的短时远程光体积描记信号检测模型，模型构建完成，其中：
所述的特征提取模块包括相连接的编码器和解码器；所述的编码器包括串联的Conv_1卷积块、Conv_2卷积块、Conv_3卷积块、Conv_4卷积块、Conv_5卷积块，每一个卷积块均包括依次设置的2个3D卷积过滤器、平均池化层、批标准化层和ReLU激活函数；
所述的残差恒等块包括Res_1残差恒等块、Res_2残差恒等块、Res_3残差恒等块和Res_4残差恒等块；
所述的显著特征提取模块包括A1显著特征提取模块和A2显著特征提取模块；
所述的编码器用于将初始数据集依次进行特征提取处理和时空缩减处理，得到时空编码特征图，具体包括以下步骤：
step1，将初始数据集输入到Conv_1卷积块得到全局时空特征图F1，全局时空特征图F1通过A1显著特征提取模块得到显著时空特征图M1；
step2，将显著时空特征图M1分别输入到Conv_2卷积块和Res_1残差恒等块得到全局时空特征图F2和残差值R1，将全局时空特征图F2和残差值R1进行元素加和操作得到全局时空特征图F′2；
step3，将全局时空特征图F′2输入到A2显著特征提取模块得到显著时空特征图M2；
step4，将显著时空特征图M2分别输入到Conv_3卷积块和Res_2残差恒等块得到全局时空特征图F3和残差值R2，将全局时空特征图F3和残差值R2进行元素加和操作得到全局时空特征图F′3；
step5，将全局时空特征图F′3输入到Conv_4卷积块和残Res_3残差恒等块得到全局时空特征图F4和残差值R3，将全局时空特征图F4和残差值R3进行元素加和操作得到全局时空特征图F′4；
step6，将全局时空特征图F′4输入到Conv_5卷积块和残Res_4残差恒等块得到全局时空特征图F5和残差值R4,将全局时空特征图F5和残差值R4进行元素加和操作得到全局时空特征图F′5；所述的全局时空特征图F′5作为编码器的输出，即时空编码特征图；
所述的解码器用于将时空编码特征图进行反卷积过滤处理，得到时序解码特征图；所述的时序解码特征图与人脸视频图像序列时长一致；
所述的分支损失模块用于将编码器得到的时空编码特征图图进行特征变换处理与卷积过滤处理，得到早期短时远程光体积描记信号；所述的早期短时远程光体积描记信号用于与目标集组成损失值指导短时远程光体积描记信号检测模型学习；
所述的平滑过滤模块用于将时序解码特征图依次进行全局自适应池化、维度缩减和卷积过滤操作，得到预测的短时远程光体积描记信号。
本发明还包括以下技术特征：
所述的解码器包括依次设置的3个串联的3D反卷积过滤器和ELU激活函数；
所述的残差恒等块包括相连的3D卷积过滤器和池化层；
所述的分支损失模块包括依次相连的2个3D反卷积过滤器、自适应池化层和2个一维卷积过滤器；
所述的显著特征提取模块包括连接的通道显著特征提取模块和空间显著特征提取模块；
所述的平滑过滤模块包括依次设置的全局自适应池化层、卷积核为5的一维卷积过滤器和卷积核为3的一维卷积过滤器。
所述的显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图：
Figure BDA0003259356160000041
Figure BDA0003259356160000042
其中：
F表示全局时空特征图；
MC(F)表示通道注意力特征图；
FC表示通道显著时空特征图；
MS(FC)表示空间注意力特征图；
M表示显著时空特征图；
Figure BDA0003259356160000051
表示元素乘积操作。
所述的显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图的过程包括以下步骤：
S1，全局时空特征图F经过全局最大池化得到最大化通道特征FMAX，全局时空特征图F F3D经过全局平均池化得到均值化通道特征FAVE，最大化通道特征FMAX经过共享层操作输出第一特征，均值化通道特征FAVE经过共享层操作输出第二特征，第一特征和第二特征通过元素加和操作和sigmoid激活操作得到通道注意力特征图MC(F)；
S2，通道注意力特征图MC(F)与全局时空特征图F进行元素乘积操作得到通道显著时空特征图FC；
S3，通道显著时空特征图FC经过基于通道的最大池化操作得到最大化空间特征
Figure BDA0003259356160000052
通道显著时空特征图FC经过基于通道的平均池化操作得到均值化空间特征
Figure BDA0003259356160000053
最大化空间特征
Figure BDA0003259356160000054
和均值化空间特征
Figure BDA0003259356160000055
通过基于通道的合并操作得到双通道空间特征，双通道空间特征依次通过卷积操作和sigmoid激活操作得到一维的空间注意力特征图MS(FC)；
S4，将空间注意力特征图MS(FC)与通道显著时空特征图FC进行元素乘积操作得到显著时空特征图M。
所述的步骤1中的预处理为采集到的人脸视频图像序列从首帧进行人脸定位信息裁剪操作和皮肤分割处理，得到预处理后的人脸视频图像序列。
一种短时远程光体积描记信号检测方法，该方法包括以下步骤：
步骤一，采集人脸视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入至所述的短时远程光体积描记信号检测模型构建方法得到的短时远程光体积描记信号检测模型中，得到预测的短时远程光体积描记信号；
步骤三，将预测的短时远程光体积描记信号依次进行带通过滤操作和PSD能量谱密度域转换算法获得对应的预测心率值。
所述的远程体积描记信号检测方法用于心率估计的应用。
本发明与现有技术相比，有益的技术效果是：
(Ⅰ)本发明方法设计了基于3D时空卷积过滤器和反卷积过滤器构建特征提取中的编码器和解码器、分支损失模块和残差恒定块、以及基于CBAM注意力机制的显著特征提取模块，采用编码器和解码器的设计用于在时空域特征和时域特征下进行尺度的变换，保证特征提取过程中保留与短时远程光体积描记信号时序信息高度相关的有效特征，提升模型的性能；分支损失模块和残差恒定块用于传递尺度缩小的信息损失和指导模型保留感性特征，避免过拟合和信息丢失改善模型的稳定性；基于CBAM注意力机制的显著特征提取模块，提升感性特征提取能力，解决现有技术中的健壮性低的问题。
(Ⅱ)本发明方法构建了应用于时空特征图的残差恒定块和应用于最小时空尺度时空编码特征图的分支损失模块，其中残差恒定块通过恒定映射操作跨层传递特征尺度缩减下信息损失，分支损失模块输出早期的短时远程光体积描记信号作为一部分损失值，保证时空编码特征图保留足够的信息并能够加快模型参数的学习，提升模型的学习效率和稳定性。
(Ⅲ)本发明方法构建了一种基于注意力机制的显著特征提取模块，通过引入空间和通道的注意力到特征提取模块中的时空特征图，帮助模型快速学习到单帧的图像2D特征图上加强浅层感性空间特征信息的提取，并且在整个3D时空域的时空特征图上增强时空的信息关联下上文语义，解决现有方法健壮性不高的问题，相对于其他方法能更好的适应于光照变换、人脸移动、心率波动变换的复杂场景。
(Ⅳ)本发明的时序依赖短仅仅通过160帧图像(大约5秒)提取有效的短时远程光体积描记信号信号，并摒弃了以往传统方法中的复杂的预处理步骤，设计了高精度、高效率的端对端的远程光体积描记信号监测模型及心率监测方法，解决现有技术远程心率估计中时间依赖长、效率低的问题。
附图说明
图1为本发明的远程体积描记信号提取以及对应心率估计的流程示意图；
图2为本发明的远程光体积描记信号提取网络流程图；
图3为本发明的特征提取模块编码器的残差恒等块和显著特征提取模块的设置详情；
图4为本发明的显著特征提取模块的流程图；
图5为本发明与其他方法在UBFC数据集上评价指标结果；
图6为本发明与其他方法在COHFACE数据集上评价指标结果。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是，本发明中的rPPG信号为远程光体积描记信号。
需要说明的是，本发明中的所有零部件，在没有特殊说明的情况下，均采用本领域已知的零部件。
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
本发明给出一种短时远程光体积描记信号检测模型构建方法，如图1至图4所示，包括以下步骤：
步骤1，采集人脸视频图像序列和光体积描记信号，对采集到的人脸视频图像序列进行预处理得到预处理后的人脸视频图像序列，作为初始数据集；对光体积描记信号进行带通滤波过滤和降采样处理得到单个光体积描记信号，作为目标集；
步骤2，将初始数据集和目标集作为输入，训练短时远程光体积描记信号检测模型，短时远程光体积描记信号检测模型包括特征提取模块、残差恒等块、分支损失模块、显著特征提取模块和和平滑过滤模块；得到训练好的短时远程光体积描记信号检测模型，模型构建完成，其中：
特征提取模块包括相连接的编码器和解码器；编码器包括串联的Conv_1卷积块、Conv_2卷积块、Conv_3卷积块、Conv_4卷积块、Conv_5卷积块，每一个卷积块均包括依次设置的2个3D卷积过滤器、平均池化层、批标准化层和ReLU激活函数；
残差恒等块包括Res_1残差恒等块、Res_2残差恒等块、Res_3残差恒等块和Res_4残差恒等块；
显著特征提取模块包括A1显著特征提取模块和A2显著特征提取模块；
编码器用于将初始数据集依次进行特征提取处理和时空缩减处理，得到时空编码特征图，具体包括以下步骤：
step1，将初始数据集输入到Conv_1卷积块得到全局时空特征图F1，全局时空特征图F1通过A1显著特征提取模块得到显著时空特征图M1；
step2，将显著时空特征图M1分别输入到Conv_2卷积块和Res_1残差恒等块得到全局时空特征图F2和残差值R1，将全局时空特征图F2和残差值R1进行元素加和操作得到全局时空特征图F′2；
step3，将全局时空特征图F′2输入到A2显著特征提取模块得到显著时空特征图M2；
step4，将显著时空特征图M2分别输入到Conv_3卷积块和Res_2残差恒等块得到全局时空特征图F3和残差值R2,将全局时空特征图F3和残差值R2进行元素加和操作得到全局时空特征图F′3；
step5，将全局时空特征图F′3输入到Conv_4卷积块和残Res_3残差恒等块得到全局时空特征图F4和残差值R3，将全局时空特征图F4和残差值R3进行元素加和操作得到全局时空特征图F′4；
step6，将全局时空特征图F′4输入到Conv_5卷积块和残Res_4残差恒等块得到全局时空特征图F5和残差值R4,将全局时空特征图F5和残差值R4进行元素加和操作得到全局时空特征图F′5；全局时空特征图F′5作为编码器的输出，即时空编码特征图；
解码器用于将时空编码特征图进行反卷积过滤处理，得到时序解码特征图；时序解码特征图与人脸视频图像序列时长一致；
分支损失模块用于将编码器得到的时空编码特征图图进行特征变换处理与卷积过滤处理，得到早期短时远程光体积描记信号；早期短时远程光体积描记信号用于与目标集组成损失值指导短时远程光体积描记信号检测模型学习；
平滑过滤模块用于将时序解码特征图依次进行全局自适应池化、维度缩减和卷积过滤操作，得到预测的短时远程光体积描记信号。
在上述技术方案中，所述的初始数据集中160帧人脸视频图像序列作为一个训练批次(大约5秒)；
所述的目标集中单个光体积描记信号对应于单帧人脸图像；
在上述技术方案中，本发明方法设计了基于3D时空卷积过滤器和反卷积过滤器构建特征提取中的编码器和解码器、分支损失模块和残差恒定块、以及基于CBAM注意力机制的显著特征提取模块，采用编码器和解码器的设计用于在时空域特征和时域特征下进行尺度的变换，保证特征提取过程中保留与短时远程光体积描记信号的信号时序信息高度相关的有效特征，提升模型的性能；分支损失模块和残差恒定块用于传递尺度缩小的信息损失和指导模型保留感性特征，避免过拟合和信息丢失改善模型的稳定性；基于CBAM注意力机制的显著特征提取模块，提升感性特征提取能力，解决现有技术中的健壮性低的问题。
构建了应用于时空特征图的残差恒定块和应用于最小时空尺度时空编码特征图的分支损失模块，其中残差恒定块通过恒定映射操作跨层传递特征尺度缩减下信息损失，分支损失模块输出早期的短时远程光体积描记信号作为一部分损失值，保证时空编码特征图保留足够的信息并能够加快模型参数的学习，提升模型的学习效率和稳定性。
构建了一种基于注意力机制的显著特征提取模块，通过引入空间和通道的注意力到特征提取模块中的时空特征图，帮助模型快速学习到单帧的图像2D特征图上加强浅层感性空间特征信息的提取，并且在整个3D时空域的时空特征图上增强时空的信息关联下上文语义，解决现有方法健壮性不高的问题，相对于其他方法能更好的适应于光照变换、人脸移动、心率波动变换的复杂场景。
解码器包括依次设置的3个串联的3D反卷积过滤器和ELU激活函数；
残差恒等块包括相连的3D卷积过滤器和池化层；
分支损失模块包括依次相连的2个3D反卷积过滤器、自适应池化层和2个一维卷积过滤器；
显著特征提取模块包括连接的通道显著特征提取模块和空间显著特征提取模块；
平滑过滤模块包括依次设置的全局自适应池化层、卷积核为5的一维卷积过滤器和卷积核为3的一维卷积过滤器。
显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图：
Figure BDA0003259356160000111
Figure BDA0003259356160000112
其中：
F表示全局时空特征图；
MC(F)表示通道注意力特征图；
FC表示通道显著时空特征图；
MS(FC)表示空间注意力特征图；
M表示显著时空特征图；
Figure BDA0003259356160000113
表示元素乘积操作。
在上述技术方案中，全局时空特征图F经过基于通道和空间的显著特征提取处理，获得空间注意力和通道注意力，并依次与全局时空特征图进行元素乘积操作，得到显著时空特征图M。
显著特征提取模块对全局时空特征图F进行操作得到显著时空特征图的过程包括以下步骤：
S1，全局时空特征图F经过全局最大池化得到最大化通道特征FMAX，全局时空特征图F经过全局平均池化得到均值化通道特征FAVE，最大化通道特征FMAX经过共享层操作输出第一特征，均值化通道特征FAVE经过共享层操作输出第二特征，第一特征和第二特征通过元素加和操作和sigmoid激活操作得到通道注意力特征图MC(F)；
S2，通道注意力特征图MC(F)与全局时空特征图F进行元素乘积操作得到通道显著时空特征图FC；
S3，通道显著时空特征图FC经过基于通道的最大池化操作得到最大化空间特征
Figure BDA0003259356160000121
通道显著时空特征图FC经过基于通道的平均池化操作得到均值化空间特征
Figure BDA0003259356160000122
最大化空间特征
Figure BDA0003259356160000123
和均值化空间特征
Figure BDA0003259356160000124
通过基于通道的合并操作得到双通道空间特征，双通道空间特征依次通过卷积操作和sigmoid激活操作得到一维的空间注意力特征图MS(FC)；
S4，将空间注意力特征图MS(FC)与通道显著时空特征图FC进行元素乘积操作得到显著时空特征图M。
步骤1中的预处理为采集到的人脸视频图像序列从首帧进行人脸定位信息裁剪操作和皮肤分割处理，得到预处理后的人脸视频图像序列。
在上述技术方案中，将人脸视频图像序列和对应的光体积描记信号目标逐帧应对起来，并将160帧连续人脸图像作为一个批次并对其首帧进行人脸探测进行粗糙的裁剪，其后续帧由首帧人脸位置信息进行裁剪，每个图像切片被缩放大小到100*100，作为初始数据集。
一种短时远程光体积描记信号检测方法，该方法包括以下步骤：
步骤一，采集人脸视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入至短时远程光体积描记信号检测模型构建方法得到的短时远程光体积描记信号检测模型中，得到预测的短时远程光体积描记信号；
步骤三，将预测的短时远程光体积描记信号依次进行带通过滤操作和能量谱密度域转换算法获得对应的预测心率值。
一种远程体积描记信号检测方法用于心率估计的应用。
实施例：
本实施例给出了本发明给出一种短时远程光体积描记信号检测模型构建方法，包括以下步骤：
步骤1，采集人脸视频图像序列和光体积描记信号，对采集到的人脸视频图像序列进行预处理得到预处理后的人脸视频图像序列，作为初始数据集；对光体积描记信号进行带通滤波过滤和降采样处理得到单个光体积描记信号，作为目标集；
步骤2，将初始数据集和目标集作为输入，训练短时远程光体积描记信号检测模型，短时远程光体积描记信号检测模型包括特征提取模块、残差恒等块、分支损失模块、显著特征提取模块和和平滑过滤模块；得到训练好的短时远程光体积描记信号检测模型，模型构建完成，其中：
在上述技术方案中，特征提取模块包括相连接的编码器和解码器；编码器包括串联的Conv_1卷积块、Conv_2卷积块、Conv_3卷积块、Conv_4卷积块、Conv_5卷积块，每一个卷积块均包括依次设置的2个3D卷积过滤器、平均池化层、批标准化层和ReLU激活函数；
残差恒等块包括Res_1残差恒等块、Res_2残差恒等块、Res_3残差恒等块和Res_4残差恒等块；
显著特征提取模块包括A1显著特征提取模块和A2显著特征提取模块；
编码器用于将初始数据集依次进行特征提取处理和时空缩减处理，得到时空编码特征图，具体包括以下步骤：
step1，将初始数据集输入到Conv_1卷积块得到全局时空特征图F1，全局时空特征图F1通过A1显著特征提取模块得到显著时空特征图M1；
step2，将显著时空特征图M1分别输入到Conv_2卷积块和Res_1残差恒等块得到全局时空特征图F2和残差值R1，将全局时空特征图F2和残差值R1进行元素加和操作得到全局时空特征图F′2；
step3，将全局时空特征图F′2输入到A2显著特征提取模块得到显著时空特征图M2；
step4，将显著时空特征图M2分别输入到Conv_3卷积块和Res_2残差恒等块得到全局时空特征图F3和残差值R2,将全局时空特征图F3和残差值R2进行元素加和操作得到全局时空特征图F′3；
step5，将全局时空特征图F′3输入到Conv_4卷积块和残Res_3残差恒等块得到全局时空特征图F4和残差值R3，将全局时空特征图F4和残差值R3进行元素加和操作得到全局时空特征图F′4；
step6，将全局时空特征图F′4输入到Conv_5卷积块和残Res_4残差恒等块得到全局时空特征图F5和残差值R4,将全局时空特征图F5和残差值R4进行元素加和操作得到全局时空特征图F′5；全局时空特征图F′5作为编码器的输出，即时空编码特征图；
解码器用于将时空编码特征图进行反卷积过滤处理，得到时序解码特征图；时序解码特征图与人脸视频图像序列时长一致；
分支损失模块用于将编码器得到的时空编码特征图图进行特征变换处理与卷积过滤处理，得到早期短时远程光体积描记信号；早期短时远程光体积描记信号用于与目标集组成损失值指导短时远程光体积描记信号检测模型学习；
平滑过滤模块用于将时序解码特征图依次进行全局自适应池化、维度缩减和卷积过滤操作，得到预测的短时远程光体积描记信号。
解码器包括依次设置的3个串联的3D反卷积过滤器和ELU激活函数；
残差恒等块包括相连的3D卷积过滤器和池化层；
分支损失模块包括依次相连的2个3D反卷积过滤器、自适应池化层和2个一维卷积过滤器；
显著特征提取模块包括连接的通道显著特征提取模块和空间显著特征提取模块；
平滑过滤模块包括依次设置的全局自适应池化层、卷积核为5的一维卷积过滤器和卷积核为3的一维卷积过滤器。
显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图的过程包括以下步骤：
Figure BDA0003259356160000151
Figure BDA0003259356160000152
其中：
F表示全局时空特征图；
MC(F)表示通道注意力特征图；
FC表示通道显著时空特征图；
MS(FC)表示空间注意力特征图；
M表示显著时空特征图；
Figure BDA0003259356160000161
表示元素乘积操作。
显著特征提取模块对全局时空特征图F进行操作得到显著时空特征图的过程包括以下步骤：
S1，全局时空特征图F经过全局最大池化得到最大化通道特征FMAX，全局时空特征图F经过全局平均池化得到均值化通道特征FAVE，最大化通道特征FMAX经过共享层操作输出第一特征，均值化通道特征FAVE经过共享层操作输出第二特征，第一特征和第二特征通过元素加和操作和sigmoid激活操作得到通道注意力特征图MC(F)；
S2，通道注意力特征图MC(F)与全局时空特征图F进行元素乘积操作得到通道显著时空特征图FC；
S3，通道显著时空特征图FC经过基于通道的最大池化操作得到最大化空间特征
Figure BDA0003259356160000162
通道显著时空特征图FC经过基于通道的平均池化操作得到均值化空间特征
Figure BDA0003259356160000163
最大化空间特征
Figure BDA0003259356160000164
和均值化空间特征
Figure BDA0003259356160000165
通过基于通道的合并操作得到双通道空间特征，双通道空间特征依次通过卷积操作和sigmoid激活操作得到一维的空间注意力特征图MS(FC)；
S4，将空间注意力特征图MS(FC)与通道显著时空特征图FC进行元素乘积操作得到显著时空特征图M。
步骤1中的预处理为采集到的人脸视频图像序列从首帧进行人脸定位信息裁剪操作和皮肤分割处理，得到预处理后的人脸视频图像序列。
一种短时远程光体积描记信号检测方法，该方法包括以下步骤：
步骤一，采集人脸视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入短时远程光体积描记信号检测模型构建方法得到的短时远程光体积描记信号检测模型中，得到预测的短时远程光体积描记信号；
步骤三，将预测的短时远程光体积描记信号依次进行带通过滤操作和能量谱密度域转换算法获得对应的预测心率值。
远程体积描记信号检测方法用于心率估计的应用
对比例：
在本对比例中，对比了本发明与现阶段主流方法在两大公开数据集上的评价指标对比结果，评价指标包括MAE(平均绝对误差)、RMSE(均方根误差)、R(皮尔森相关系数)，其中，MAE越小代表其预测心率的准确性越高，RMSE越小代表其误差小、模型稳定，R越大说明其预测结果的相关性高。首先是UBFC数据集结果如图5所示，其被测试者需要玩时间敏感的游戏，心率波动变化巨大；其次是COHFACE数据集结果如图6所示，其视频被高度压缩且为自然光照。本发明取得了优异的表现，在UBFC上MAE为0.978，RMSE为1.45，R为0.991，取得最好结果，在COHFACE上MAE为2.188，RMSE为4.526，R为0.925,同样取得最好结果。并且说明该发明对于数据规模量较小的UBFC数据集有着更好的适应性，其中本发明的显著特征提取模块对在COHFACE数据集中的复杂光照场景增强有效特征提取，应对冗余信息干扰。

Claims (7)

1.一种短时远程光体积描记信号检测模型构建方法，其特征在于，包括以下步骤：
步骤1，采集人脸视频图像序列和光体积描记信号，对采集到的人脸视频图像序列进行预处理得到预处理后的人脸视频图像序列，作为初始数据集；对光体积描记信号进行带通滤波过滤和降采样处理得到单个光体积描记信号，作为目标集；
步骤2，将所述的初始数据集和目标集作为输入，训练短时远程光体积描记信号检测模型，所述的短时远程光体积描记信号检测模型包括特征提取模块、残差恒等块、分支损失模块、显著特征提取模块和和平滑过滤模块；得到训练好的短时远程光体积描记信号检测模型，模型构建完成，其中：
所述的特征提取模块包括相连接的编码器和解码器；所述的编码器包括串联的Conv_1卷积块、Conv_2卷积块、Conv_3卷积块、Conv_4卷积块、Conv_5卷积块，每一个卷积块均包括依次设置的2个3D卷积过滤器、平均池化层、批标准化层和ReLU激活函数；
所述的残差恒等块包括Res_1残差恒等块、Res_2残差恒等块、Res_3残差恒等块和Res_4残差恒等块；
所述的显著特征提取模块包括A1显著特征提取模块和A2显著特征提取模块；
所述的编码器用于将初始数据集依次进行特征提取处理和时空缩减处理，得到时空编码特征图，具体包括以下步骤：
step1，将初始数据集输入到Conv_1卷积块得到全局时空特征图F1，全局时空特征图F1通过A1显著特征提取模块得到显著时空特征图M1；
step2，将显著时空特征图M1分别输入到Conv_2卷积块和Res_1残差恒等块得到全局时空特征图F2和残差值R1，将全局时空特征图F2和残差值R1进行元素加和操作得到全局时空特征图F′2；
step3，将全局时空特征图F′2输入到A2显著特征提取模块得到显著时空特征图M2；
step4，将显著时空特征图M2分别输入到Conv_3卷积块和Res_2残差恒等块得到全局时空特征图F3和残差值R2,将全局时空特征图F3和残差值R2进行元素加和操作得到全局时空特征图F′3；
step5，将全局时空特征图F′3输入到Conv_4卷积块和残Res_3残差恒等块得到全局时空特征图F4和残差值R3，将全局时空特征图F4和残差值R3进行元素加和操作得到全局时空特征图F′4；
step6，将全局时空特征图F′4输入到Conv_5卷积块和残Res_4残差恒等块得到全局时空特征图F5和残差值R4,将全局时空特征图F5和残差值R4进行元素加和操作得到全局时空特征图F′5；所述的全局时空特征图F′5作为编码器的输出，即时空编码特征图；
所述的解码器用于将时空编码特征图进行反卷积过滤处理，得到时序解码特征图；所述的时序解码特征图与人脸视频图像序列时长一致；
所述的分支损失模块用于将编码器得到的时空编码特征图进行特征变换处理与卷积过滤处理，得到早期短时远程光体积描记信号；所述的早期短时远程光体积描记信号用于与目标集组成损失值指导短时远程光体积描记信号检测模型学习；
所述的平滑过滤模块用于将时序解码特征图依次进行全局自适应池化、维度缩减和卷积过滤操作，得到预测的短时远程光体积描记信号。
2.如权利要求1所述的短时远程光体积描记信号检测模型构建方法，其特征在于，所述的解码器包括依次设置的3个串联的3D反卷积过滤器和ELU激活函数；
所述的残差恒等块包括相连的3D卷积过滤器和池化层；
所述的分支损失模块包括依次相连的2个3D反卷积过滤器、自适应池化层和2个一维卷积过滤器；
所述的显著特征提取模块包括连接的通道显著特征提取模块和空间显著特征提取模块；
所述的平滑过滤模块包括依次设置的全局自适应池化层、卷积核为5的一维卷积过滤器和卷积核为3的一维卷积过滤器。
3.如权利要求1所述的短时远程光体积描记信号检测模型构建方法，其特征在于，所述的显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图M：
Figure FDA0003259356150000031
Figure FDA0003259356150000032
其中：
F表示全局时空特征图；
MC(F)表示通道注意力特征图；
FC表示通道显著时空特征图；
MS(FC)表示空间注意力特征图；
M表示显著时空特征图；
Figure FDA0003259356150000033
表示元素乘积操作。
4.如权利要求3所述的短时远程光体积描记信号检测模型构建方法，其特征在于，所述的显著特征提取模块对全局时空特征图F进行如下公式所示的操作得到显著时空特征图的过程包括以下步骤：
S1，全局时空特征图F经过全局最大池化得到最大化通道特征FMAX，全局时空特征图F经过全局平均池化得到均值化通道特征FAVE，最大化通道特征FMAX经过共享层操作输出第一特征，均值化通道特征FAVE经过共享层操作输出第二特征，第一特征和第二特征通过元素加和操作和sigmoid激活操作得到通道注意力特征图MC(F)；
S2，通道注意力特征图MC(F)与全局时空特征图F进行元素乘积操作得到通道显著时空特征图FC；
S3，通道显著时空特征图FC经过基于通道的最大池化操作得到最大化空间特征
Figure FDA0003259356150000041
通道显著时空特征图FC经过基于通道的平均池化操作得到均值化空间特征
Figure FDA0003259356150000042
最大化空间特征
Figure FDA0003259356150000043
和均值化空间特征
Figure FDA0003259356150000044
通过基于通道的合并操作得到双通道空间特征，双通道空间特征依次通过卷积操作和sigmoid激活操作得到一维的空间注意力特征图MS(FC)；
S4，将空间注意力特征图MS(FC)与通道显著时空特征图FC进行元素乘积操作得到显著时空特征图M。
5.如权利要求1所述的短时远程光体积描记信号检测模型构建方法，其特征在于，所述的步骤1中的预处理为采集到的人脸视频图像序列从首帧进行人脸定位信息裁剪操作和皮肤分割处理，得到预处理后的人脸视频图像序列。
6.一种短时远程光体积描记信号检测方法，其特征在于，该方法包括以下步骤：
步骤一，采集人脸视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入至权利要求1至5任一项权利要求所述的短时远程光体积描记信号检测模型构建方法得到的短时远程光体积描记信号检测模型中，得到预测的短时远程光体积描记信号；
步骤三，将预测的短时远程光体积描记信号依次进行带通过滤操作和能量谱密度域转换算法获得对应的预测心率值。
7.一种如权利要求6所述的远程体积描记信号检测方法用于心率估计的应用。
CN202111068137.7A 2021-09-13 2021-09-13 一种短时rPPG信号检测模型的构建方法及检测方法 Active CN113920387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111068137.7A CN113920387B (zh) 2021-09-13 2021-09-13 一种短时rPPG信号检测模型的构建方法及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068137.7A CN113920387B (zh) 2021-09-13 2021-09-13 一种短时rPPG信号检测模型的构建方法及检测方法

Publications (2)

Publication Number Publication Date
CN113920387A true CN113920387A (zh) 2022-01-11
CN113920387B CN113920387B (zh) 2023-08-08

Family

ID=79234783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068137.7A Active CN113920387B (zh) 2021-09-13 2021-09-13 一种短时rPPG信号检测模型的构建方法及检测方法

Country Status (1)

Country Link
CN (1) CN113920387B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170312614A1 (en) * 2016-05-02 2017-11-02 Bao Tran Smart device
WO2020173226A1 (zh) * 2019-02-28 2020-09-03 华中科技大学 一种时空行为检测方法
CN112200162A (zh) * 2020-12-03 2021-01-08 中国科学院自动化研究所 基于端到端网络的非接触式心率测量方法、系统和装置
CN113223697A (zh) * 2021-04-23 2021-08-06 西北大学 远程体积描记信号检测模型构建、检测方法、装置及应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170312614A1 (en) * 2016-05-02 2017-11-02 Bao Tran Smart device
WO2020173226A1 (zh) * 2019-02-28 2020-09-03 华中科技大学 一种时空行为检测方法
CN112200162A (zh) * 2020-12-03 2021-01-08 中国科学院自动化研究所 基于端到端网络的非接触式心率测量方法、系统和装置
CN113223697A (zh) * 2021-04-23 2021-08-06 西北大学 远程体积描记信号检测模型构建、检测方法、装置及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张小娟;汪西莉;: "完全残差连接与多尺度特征融合遥感图像分割", 遥感学报, no. 09 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912487A (zh) * 2022-05-10 2022-08-16 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法
CN114912487B (zh) * 2022-05-10 2024-04-26 合肥中聚源智能科技有限公司 基于通道增强时空注意力网络的端到端远程心率检测方法

Also Published As

Publication number Publication date
CN113920387B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN113343821B (zh) 一种基于时空注意力网络和输入优化的非接触式心率测量方法
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
Subramaniam et al. Estimation of the Cardiac Pulse from Facial Video in Realistic Conditions.
CN114912487B (zh) 基于通道增强时空注意力网络的端到端远程心率检测方法
CN114283158A (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN111797804A (zh) 一种基于深度学习的信道状态信息人类活动识别方法及系统
CN114628020A (zh) 远程体积描记信号检测模型构建、检测方法、装置及应用
Lu et al. Nas-hr: Neural architecture search for heart rate estimation from face videos
CN109008964A (zh) 一种生理信号提取的方法及装置
CN116012916A (zh) 远程光体积描记信号和心率检测模型构建方法及检测方法
Hu et al. A novel spatial-temporal convolutional neural network for remote photoplethysmography
CN113920387B (zh) 一种短时rPPG信号检测模型的构建方法及检测方法
Nowara et al. The benefit of distraction: Denoising remote vitals measurements using inverse attention
Kang et al. Transppg: Two-stream transformer for remote heart rate estimate
Das et al. Bvpnet: Video-to-bvp signal prediction for remote heart rate estimation
CN116956222A (zh) 一种基于自适应特征提取的多复杂度行为识别系统及方法
Wang et al. Transphys: Transformer-based unsupervised contrastive learning for remote heart rate measurement
Lee et al. Lstc-rppg: Long short-term convolutional network for remote photoplethysmography
CN117137451A (zh) 基于远程脉搏波信号的非接触式应激检测方法和系统
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
CN115439930A (zh) 一种基于时空维度筛选的多特征融合步态识别方法
CN113837060A (zh) 一种人脸跟踪显示方法
Kuang et al. Shuffle-rPPGNet: Efficient Network with Global Context for Remote Heart Rate Variability Measurement
CN116385837B (zh) 基于掩码自编码器进行远程生理测量的自监督预训练方法
CN117877099B (zh) 一种基于时空特征增强的无监督对比远程生理测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant