CN113223697A - 远程体积描记信号检测模型构建、检测方法、装置及应用 - Google Patents

远程体积描记信号检测模型构建、检测方法、装置及应用 Download PDF

Info

Publication number
CN113223697A
CN113223697A CN202110441420.3A CN202110441420A CN113223697A CN 113223697 A CN113223697 A CN 113223697A CN 202110441420 A CN202110441420 A CN 202110441420A CN 113223697 A CN113223697 A CN 113223697A
Authority
CN
China
Prior art keywords
module
remote
feature map
input
signal detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110441420.3A
Other languages
English (en)
Inventor
李斌
张盼盼
彭进业
乐明楠
张薇
江魏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110441420.3A priority Critical patent/CN113223697A/zh
Publication of CN113223697A publication Critical patent/CN113223697A/zh
Priority to CN202210285892.9A priority patent/CN114628020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种远程体积描记信号检测模型构建、检测方法、装置及应用，所述检测模型的构建方法包括：采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，以采集到的远程体积描记信号组成标签集；以得到的预处理后的人面部视频图像序列作为输入，以标签集作为输出，训练远程体积描记信号检测模型。本发明方法结合了3D时空堆叠卷积模块和多层级特征融合模块，通过对不同层级的特征图分别进行特征加强处理和融合，实现了深层特征的语义信息和浅层特征的空间信息的充分结合，从而避免了有效信息的丢失，提升了网络的输出精度。

Description

远程体积描记信号检测模型构建、检测方法、装置及应用
技术领域
本发明属于生理信号检测技术领域，涉及一种远程体积描记信号检测，具体涉及一种远程体积描记信号检测模型构建、检测方法、装置及应用。
背景技术
由心脏的周期性活动引起的生理信号包含多种重要的生命体征信息，在医疗、运动、心理检测等各个领域都具有重要意义。测量这类生理信号的常用方法有心电图(ECG)：ECG使用附着在身体上的电极(通常在胸部)来测量心脏每一心动周期所产生的电活动变化图形；光电容积描记术(PPG)：PPG将小型光学传感器与光源结合使用，测量由于心动周期引起的血管对光吸收的变化。但这两种方法都是接触式检测，对于用户，尤其对于新生儿或者烧伤患者等空间特征极端敏感的人群存在许多应用上的不便。
远程光电体积描记术可以很好地解决问题，但是依赖研究者先验知识的现有远程光电体积描记术难以应对复杂多变的环境影响和数据噪声，导致获得的远程光电体积描记信号精度不高。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种远程体积描记信号检测模型构建、检测方法、装置及应用，以解决现有技术中远程光电体积描记信号在无约束坏境下精度不高的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
一种远程体积描记信号检测模型构建方法，该方法包括以下步骤：
步骤1、采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，组成初始数据集，以采集到的远程体积描记信号组成标签集；
步骤2、以所述的初始数据集作为输入，以所述的标签集作为输出，训练远程体积描记信号检测模型，所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3D时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层级特征融合模块；
所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
本发明还具有以下技术特征：
具体的，所述的预处理包括人面部视频图像序列的分割、剪裁和尺寸统一。
更进一步的，所述的浅层特征提取模块包括依次串联的空间卷积层、空间最大池化层和两个3D时空卷积层，且所述空间卷积层和3D时空卷积层后均设置有批标准化层。
更进一步的，所述的3D时空堆叠卷积模块包括串联的两个相同结构的卷积块，所述的卷积块包括顺序设置的下采样层和2个3D时空卷积层，且每个3D时空卷积层后均设置有批标准化层。
更进一步的，所述的多层级特征融合模块包括并行的通道特征图生成器和基于残差结构的空间特征图生成器；
所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征图，所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进行空间特征提取得到空间特征图；所述的通道特征图与空间特征图进行融合操作得到混合权重参数。
更进一步的，所述的对输入的深层特征图进行通道特征提取得到通道特征图通过下式实现：
Figure BDA0003035200080000031
式中，fc代表通道特征图，fh代表深层特征图。
如权利要求5所述的远程体积描记信号检测模型构建方法，其特征在于，所述的对输入的浅层特征图进行空间特征提取得到空间特征图通过下式实现：fS＝σ(conv(φ(fl)))
式中，fl是浅层特征图，fS是空间特征图。
更进一步的，所述对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图通过以下公式实现：
Figure BDA0003035200080000032
式中，
Figure BDA0003035200080000041
为第i个通道的混合特征图；
Figure BDA0003035200080000042
为第i个通道的深层特征图。
一种远程体积描记信号检测方法，该方法包括以下步骤：
步骤一，采集人面部视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入至本发明所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型中，获得远程体积描记信号。
本发明还公开了一种远程体积描记信号检测方法用于心率估计的应用。
本发明还公开了一种远程体积描记信号检测模型构建装置，包括：
数据集获取模块，用于获取人面部视频视频保存视频帧图像为人面部视频图像序列，组成初始数据集；还用于采集远程体积描记信号，获得标签集；
网络训练模块，用于将所述初始数据集作为输入，标签集作为输出，训练远程体积描记信号检测模型；
所述远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3D时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层级特征融合模块；
所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
本发明与现有技术相比，具有如下技术效果：
(Ⅰ)本发明方法结合了3D时空堆叠卷积模块和多层级特征融合模块，通过对不同层级的特征图分别进行特征加强处理和融合，实现了深层特征的语义信息和浅层特征的空间信息的充分结合，从而避免了有效信息的丢失，提升了网络的输出精度。
(Ⅱ)本发明方法通过建立并行的通道特征图生成器和基于残差结构的空间特征图生成器分别对通道域和空间域的特征进行加强，以寻找信息含量最丰富的通道区域和面部区域，使得远程体积描记信号检测模型能够专注于与生理信号相关的特征，从而提升了远程体积描记信号检测模型输出精度。
(Ⅲ)本发明在没有复杂预处理工作的情况下有效避免了背景噪声干扰，建立一个端到端的远程体积描记信号检测模型。
附图说明
图1为本发明的远程体积描记信号检测模型构建流程示意图。
图2为本发明的浅层特征提取模块的结构示意图。
图3为本发明的3D时空堆叠卷积模块的结构示意图。
图4为本发明的多层级特征融合模块的结构示意图。
图5为本发明的信号预测模块的结构示意图。
图6为本发明实施例1中远程体积描记信号检测结果与实测结果对比图。
图7为本发明实施例2的心率预测结果统计图，其中，图7(a)为心率估计效果图，图7(b)为平均心率绝对误差的分布图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
需要说明的是，标签集中的脉搏波信号使用的是接触式测量仪器采集的光电容积脉搏波信号(PPG)，作为输出的rPPG信号为非接触式远程光电容积描记信号，两种信号的采集方式虽然不同，但包含的生理信息一致，因此选择脉搏波信号组成标签集，对预构建的远程体积描记信号检测模型进行训练，得到训练好的远程体积描记信号检测模型。
人面部视频图像序列：是指由不同时间、不同方位对视频中的人面部依序连续获取的系列视频图像组成的序列，本发明的远程体积描记信号检测方法是将获取到的人面部视频图像序列输入构建得到的远程体积描记信号检测模型，最终输出一个远程体积描记信号(rPPG信号)，即最终输出结果为一条曲线。
实施例1：
本实施例给出一种远程体积描记信号检测模型构建方法，如图1所示，该方法包括以下步骤：
步骤1、采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，组成初始数据集，以采集到的远程体积描记信号组成标签集；
在本实施例中，训练集中共包含750个人面部视频图像序列，最终输出750个远程体积描记信号，测试集中包含150个人面部视频图像序列，最终输出150个远程体积描记信号。
所述的预处理包括人面部视频图像序列的分割、剪裁和尺寸统一，将人面部视频图像序列按帧分割并粗略剪裁多余的背景区域，然后将剪裁后的人面部视频帧的尺寸统一至128×128，最终得到预处理后的人面部视频图像序列。
步骤2、以所述的初始数据集作为输入，以所述的标签集作为输出，训练远程体积描记信号检测模型，所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3D时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层级特征融合模块；
具体的，所述的浅层特征提取模块包括依次串联的空间卷积层、空间最大池化层和两个3D时空卷积层，且所述空间卷积层和3D时空卷积层后均设置有批标准化层。浅层特征图的获取可以通过以下公式实现：
fl＝conv2-3(Max(conv1(Cvt:t+T)))
其中，conv1(·)是卷积核为1×5×5的空间卷积层；卷积层后有一层批标准化和ReLu激活层；Max(·)为1×2×2的空间最大池化层；conv2-3(·)是卷积核为3×3×3的3D时空卷积层。
1×5×5的空间卷积层初步提取人面部空间颜色分布，再通过1×2×2的空间最大池化层减少空间冗余，将池化后的特征图送入两个3×3×3的3D时空卷积层，3D时空卷积层可以兼顾时间和空间特征，捕捉视频帧间的运动信息。
所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
具体的，如图3所示，所述的3D时空堆叠卷积模块包括串联的两个相同结构的卷积块，所述的卷积块包括顺序设置的下采样层和2个3D时空卷积层，且每个3D时空卷积层后均设置有批标准化层，下采样层通过2×2×2的最大池化滤波器和2步长对时间维度和空间维度进行下采样；
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
具体的，所述的多层级特征融合模块包括并行的通道特征图生成器和基于残差结构的空间特征图生成器；
所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征图，所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进行空间特征提取得到空间特征图；所述的通道特征图与空间特征图进行融合操作得到混合权重参数。
所述的对输入的深层特征图进行通道特征提取得到通道特征图通过下式实现：
Figure BDA0003035200080000081
式中，fc代表通道特征图，fh代表深层特征图。
所述的对输入的浅层特征图进行空间特征提取得到空间特征图通过下式实现：
fS＝σ(conv(φ(fl)))
式中，fl是浅层特征图，fS是空间特征图。
在具体操作中，通过稀疏光流捕捉人面部视频帧之间微小的面部运动，生成自适应空间特征标签Sl，并通过计算空间特征图fS与自适应空间特征标签Sl的二值交叉熵损失来指导基于残差结构的空间特征图生成器更准确地提取空间面部特征，所述的二值交叉熵损失Ls为：
LS＝BCE(fS,Sl)
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
所述对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图通过以下公式实现：
Figure BDA0003035200080000091
式中，
Figure BDA0003035200080000092
为第i个通道的混合特征图；
Figure BDA0003035200080000093
为第i个通道的深层特征图，ψ(·)为softmax分类器；
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出，信号预测模块的结果如图5所示，包括时间维度的上采样和卷积滤波器。
如图6所示，本实施例中的一个人面部视频图像序列中包含450个视频帧，进行预处理后输入至本发明所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型中，最后输出的远程体积描记信号如图6所示，其中，实线波形为bvp真值，虚线波形为采用本发明方法得到的远程体积描记信号，从图中可以看出，虚线波形与实线波形的波峰与波谷位置对齐良好，说明预测的远程体积描记信号具有较高的精度，有较强的应用价值。
实施例2
在本实施例中，采集并输入所创建的人面部视频图像序列中包含450个视频帧，得到如图6所示的远程体积描记信号，然后利用得到的远程体积描记信号对人的心率进行了估计，绘制预测心率关于真实值的散点图，估计效果如图7(a)所示，可以看出预测心率与真值高度正相关；然后统计了平均心率绝对误差的分布，88.5％的样本平均心率绝对误差低于3bpm，92.8％的样本平均心率绝对误差低于5bpm。
以私人数据集为基础，采用发明方法与采用现有的其他方法获得的心率估计测试结果对比如表1所示；
Figure BDA0003035200080000101
表1私人数据集心率估计测试结果与本发明方法结果对比
以公开数据集UBFC-RPPG为基础，采用本发明与现有技术中的其他方法获得的心率估计测试结果对比如表2所示。
Figure BDA0003035200080000102
表2、公开数据集UBFC-RPPG心率估计测试结果与本发明方法结果对比
在表1和表2中，MAE为心率平均绝对误差，用来衡量预测心率和心率真值之间绝对误差的平均值；RMSE为均方根误差，用来衡量预测心率和心率真值之间的偏差，对于高的误差惩罚更重；SDe为误差标准差，用于衡量绝对误差的离散程度，可以更直观的反映模型的稳定性；r为皮尔森相关系数，用来衡量预测心率与心率真值之间的相关性。MAE，RMSE以及SDe数值越低表明预测精度越高，r数值越高表明预测效果越好。Green、ICA、POS、CHROM为传统远程光电体积描记方法，PhysNet和MSTmap+CVD为基于深度学习的远程光电体积描记方法。
从结果中可以看到，采用本发明方法得到的四个指标均优于传统和基于深度学习的方法，在降低平均绝对误差的基础上，误差的分布也更加集中，集中体现是更小的误差标准差。

Claims (10)

1.一种远程体积描记信号检测模型构建方法，其特征在于，该方法包括以下步骤：
步骤1、采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，组成初始数据集，以采集到的远程体积描记信号组成标签集；
步骤2、以所述的初始数据集作为输入，以所述的标签集作为输出，训练远程体积描记信号检测模型，所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3D时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层级特征融合模块；
所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
2.如权利要求1所述的远程体积描记信号检测模型构建方法，其特征在于，如权利要求1所述的远程体积描记信号检测模型构建方法，其特征在于，所述的浅层特征提取模块包括依次串联的空间卷积层、空间最大池化层和两个3D时空卷积层，且所述空间卷积层和3D时空卷积层后均设置有批标准化层。
3.如权利要求1所述的远程体积描记信号检测模型构建方法，其特征在于，所述的3D时空堆叠卷积模块包括串联的两个相同结构的卷积块，所述的卷积块包括顺序设置的下采样层和2个3D时空卷积层，且每个3D时空卷积层后均设置有批标准化层。
4.如权利要求1所述的远程体积描记信号检测模型构建方法，其特征在于，所述的多层级特征融合模块包括并行的通道特征图生成器和基于残差结构的空间特征图生成器；
所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征图，所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进行空间特征提取得到空间特征图；所述的通道特征图与空间特征图进行融合操作得到混合权重参数。
5.如权利要求5所述的远程体积描记信号检测模型构建方法，其特征在于，所述的对输入的深层特征图进行通道特征提取得到通道特征图通过下式实现：
Figure FDA0003035200070000021
式中，fc代表通道特征图，fh代表深层特征图。
6.如权利要求5所述的远程体积描记信号检测模型构建方法，其特征在于，所述的对输入的浅层特征图进行空间特征提取得到空间特征图通过下式实现：
fS＝σ(conv(φ(fl)))
式中，fl是浅层特征图，fS是空间特征图。
7.如权利要求1所述的远程体积描记信号检测模型构建方法，其特征在于，所述对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图通过以下公式实现：
Figure FDA0003035200070000031
式中，
Figure FDA0003035200070000032
为第i个通道的混合特征图；
Figure FDA0003035200070000033
为第i个通道的深层特征图。
8.一种远程体积描记信号检测方法，其特征在于，该方法包括以下步骤：
步骤一，采集人面部视频图像序列；
步骤二，对采集到的人面部视频图像序列进行预处理后输入至权利要求1至6任一项权利要求所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型中，获得远程体积描记信号。
9.一种远程体积描记信号检测方法用于心率估计的应用。
10.一种远程体积描记信号检测模型构建装置，其特征在于，包括：
数据集获取模块，用于获取人面部视频视频保存视频帧图像为人面部视频图像序列，组成初始数据集；还用于采集远程体积描记信号，获得标签集；
网络训练模块，用于将所述初始数据集作为输入，标签集作为输出，训练远程体积描记信号检测模型；
所述远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3D时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层级特征融合模块；
所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
CN202110441420.3A 2021-04-23 2021-04-23 远程体积描记信号检测模型构建、检测方法、装置及应用 Pending CN113223697A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110441420.3A CN113223697A (zh) 2021-04-23 2021-04-23 远程体积描记信号检测模型构建、检测方法、装置及应用
CN202210285892.9A CN114628020A (zh) 2021-04-23 2022-03-22 远程体积描记信号检测模型构建、检测方法、装置及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110441420.3A CN113223697A (zh) 2021-04-23 2021-04-23 远程体积描记信号检测模型构建、检测方法、装置及应用

Publications (1)

Publication Number Publication Date
CN113223697A true CN113223697A (zh) 2021-08-06

Family

ID=77088791

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110441420.3A Pending CN113223697A (zh) 2021-04-23 2021-04-23 远程体积描记信号检测模型构建、检测方法、装置及应用
CN202210285892.9A Pending CN114628020A (zh) 2021-04-23 2022-03-22 远程体积描记信号检测模型构建、检测方法、装置及应用

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210285892.9A Pending CN114628020A (zh) 2021-04-23 2022-03-22 远程体积描记信号检测模型构建、检测方法、装置及应用

Country Status (1)

Country Link
CN (2) CN113223697A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920387A (zh) * 2021-09-13 2022-01-11 西北大学 一种短时rPPG信号检测模型的构建方法及检测方法
CN116327133A (zh) * 2023-05-29 2023-06-27 智慧眼科技股份有限公司 一种多生理指标检测方法、装置及相关设备
CN116524612A (zh) * 2023-06-21 2023-08-01 长春理工大学 一种基于rPPG的人脸活体检测系统及方法
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920387A (zh) * 2021-09-13 2022-01-11 西北大学 一种短时rPPG信号检测模型的构建方法及检测方法
CN113920387B (zh) * 2021-09-13 2023-08-08 西北大学 一种短时rPPG信号检测模型的构建方法及检测方法
CN116327133A (zh) * 2023-05-29 2023-06-27 智慧眼科技股份有限公司 一种多生理指标检测方法、装置及相关设备
CN116524612A (zh) * 2023-06-21 2023-08-01 长春理工大学 一种基于rPPG的人脸活体检测系统及方法
CN116524612B (zh) * 2023-06-21 2023-09-12 长春理工大学 一种基于rPPG的人脸活体检测系统及方法
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Also Published As

Publication number Publication date
CN114628020A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN113223697A (zh) 远程体积描记信号检测模型构建、检测方法、装置及应用
Casado et al. Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
US20220280087A1 (en) Visual Perception-Based Emotion Recognition Method
Hassan et al. Novel health monitoring method using an RGB camera
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
CN111914925B (zh) 一种基于深度学习的患者行为多模态感知与分析系统
WO2023185873A1 (zh) 一种基于多阶多模态的非袖带式血压测量装置及方法
CN114821439A (zh) 一种基于令牌学习的人脸视频心率估计系统及方法
CN116012916A (zh) 远程光体积描记信号和心率检测模型构建方法及检测方法
Nowara et al. The benefit of distraction: Denoising remote vitals measurements using inverse attention
Liu et al. rPPG-MAE: Self-supervised pretraining with masked autoencoders for remote physiological measurements
Lin et al. An acne grading framework on face images via skin attention and sfnet
Wang et al. Heart rate estimation from facial videos with motion interference using T-SNE-based signal separation
Lee et al. Lstc-rppg: Long short-term convolutional network for remote photoplethysmography
CN116758619A (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
Zhu et al. FM-FCN: a neural network with filtering modules for accurate vital signs extraction
Kuang et al. Shuffle-rPPGNet: Efficient network with global context for remote heart rate variability measurement
Fan et al. Application research of pulse signal physiology and pathology feature mining in the field of disease diagnosis
Lee et al. Multi-phases and various feature extraction and selection methodology for ensemble gradient boosting in estimating respiratory rate
CN113920387A (zh) 一种短时rPPG信号检测模型的构建方法及检测方法
Lin et al. Remote Physiological Measurement With Multiscale Feature Extraction and Global Attention Module
Liu et al. Adaptive-weight network for imaging photoplethysmography signal extraction and heart rate estimation
Fiedler et al. Deep face segmentation for improved heart and respiratory rate estimation from videos
Wang et al. Chaos in Motion: Unveiling Robustness in Remote Heart Rate Measurement through Brain-Inspired Skin Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210806