CN117137451A - 基于远程脉搏波信号的非接触式应激检测方法和系统 - Google Patents

基于远程脉搏波信号的非接触式应激检测方法和系统 Download PDF

Info

Publication number
CN117137451A
CN117137451A CN202311172437.9A CN202311172437A CN117137451A CN 117137451 A CN117137451 A CN 117137451A CN 202311172437 A CN202311172437 A CN 202311172437A CN 117137451 A CN117137451 A CN 117137451A
Authority
CN
China
Prior art keywords
signal
peak
feature map
layer
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311172437.9A
Other languages
English (en)
Inventor
徐俊聪
丁帅
宋程
岳子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202311172437.9A priority Critical patent/CN117137451A/zh
Publication of CN117137451A publication Critical patent/CN117137451A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种基于远程脉搏波信号的非接触式应激检测方法和系统，涉及应激检测技术领域。本发明提供的技术方案从生理信号时序变化特征以及瞬时变化特征两个角度出发，将rPPG信号及其一阶导数信号结合作为非接触式应激检测依据，采用CNN+LSTM网络自动提取与应激状态相关的特征，使不同信号特征之间形成优势互补，相较于通过手工计算提取心率变异性特征的方式，对信号噪声的鲁棒性更强。此外，上述处理过程中无需专业技术人员的参与，可以降低对于操作人员的专业性要求，提高了非接触式应激检测的适用范围。

Description

基于远程脉搏波信号的非接触式应激检测方法和系统
技术领域
本发明涉及应激检测技术领域，具体涉及一种基于远程脉搏波信号的非接触式应激检测方法和系统。
背景技术
现有基于生理信号的应激状态识别方法中，往往通过使用如心电仪、手环等接触式设备用于获取用户的生理信号。然而，接触式设备在信号采集过程中采集设备与肌肤贴合会造成不适感，且长时间使用将会造成接触部位的血管等组织发生形变，从而影响用户生理信号的监测结果。此外，存在部分人群肌肤会对接触式设备基础材料产生过敏反应。因此，远程光电容积脉搏波描记法(remote Photoplethysmography，rPPG)信号逐渐成为了现有应激状态识别方法中的常用生理信号。
现有基于rPPG信号的非接触式应激检测方法中，通过获取rPPG信号中的信号波峰，并进一步计算波峰间期(即，R-R间期)，从而提取心率变异性(Heart Rate Variablity，HRV)特征。其中，HRV特征是一组针对R-R间期的人为设定特征，现有技术中往往通过手工计算进行提取。上述特征提取方式不仅需要用户拥有较高的应激检测领域专业知识和调优经验，而且特征提取过程中难以捕获数据的复杂性和多样性。
基于上述因素，导致了现有基于rPPG信号的非接触式应激检测方法需要人工干预，过于依赖操作人员的专业性，使得检测效率较低。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于远程脉搏波信号的非接触式应激检测方法和系统，解决了现有基于rPPG信号的非接触式应激检测方法需要人工的干预，过于依赖操作人员的专业性，检测效率较低和准确度的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
在本发明的第一方面，提供了一种基于远程脉搏波信号的非接触式应激检测方法，所述方法包括：
获取预设时间段的远程脉搏波信号，作为第一信号；
获取所述第一信号的一阶导数，作为第二信号；
将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果；其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
可选的，所述预设的应激检测网络对所述第一信号、所述第二信号的处理过程，包括：
在所述第一信号和所述第二信号输入之后，基于预设的第一卷积层和第一池化层提取所述第一信号的信号特征，作为第一特征图；并基于预设的第二卷积层和第二池化层提取所述第二信号的信号特征，作为第二特征图；
基于预设的第三卷积层提取所述第一信号的信号特征，作为第三特征图，并基于第一波峰注意力模块提取所述第三特征图的信号特征，作为第四特征图；
基于预设的第四卷积层提取所述第二信号的信号特征，作为第五特征图，并基于第二波峰注意力模块提取所述第五特征图的信号特征，作为第六特征图；其中，所述第四卷积层与所述第三卷积层的结构相同；所述第一波峰注意力模块与所述第二波峰注意力模块的结构相同且参数共享；
基于预设的第五卷积层和第五池化层对所述第四特征图进行特征提取，得到第七特征图，并将所述第七特征图与所述第一特征图进行特征融合，得到第八特征图；
基于预设的第六卷积层和第六池化层对所述第六特征图进行特征提取，得到第九特征图，并将所述第九特征图与所述第二特征图进行特征融合，得到第十特征图；
基于预设的第七卷积层和第七池化层对第八特征图进行特征提取，得到第十一特征图；并基于预设的第八卷积层和第八池化层对第十特征图进行特征提取，得到第十二特征图；其中，所述第一卷积层与第二卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的结构均相同；所述第一池化层与第二池化层、第五池化层、第六池化层、第七池化层、第八池化层的结构均相同；
将所述第十一特征图和所述第十二特征图进行通道拼接，并将通道拼接后的特征图输入至分类器中，以使所述分类器输出应激状态识别的二分类结果；其中，所述分类器由长短期记忆网络和全连接网络组成。
可选的，波峰注意力模块包括峰值检测分支、最大池化分支、权重调整分支和注意残差分支；其中，所述波峰注意力模块包括第一波峰注意力模块和第二波峰注意力模块；
所述波峰注意力模块对输入的特征图的处理过程包括：
基于所述峰值检测分支获取所述特征图对应的波峰检测结果；其中，所述特征图包括第三特征图和第五特征图；
基于所述最大池化分支获取所述特征图的全局池化权重系数；
基于所述权重调整分支获取所述特征图的权重调整系数；
将所述波峰检测结果和全局池化权重系数、权重调整系数进行特征融合，得到综合权重系数；
基于SoftMax函数对综合权重系数进行映射处理，得到时间注意力权重；
将所述注意力权重与所述特征图在时域上进行相乘，以得到具有增强时间重要性的特征图；
将具有增强时间重要性的特征图与所述特征图进行特征融合，得到第四特征图或第六特征图。
可选的，所述基于所述峰值检测分支获取所述特征图对应的波峰检测结果的过程包括：
基于双层一维卷积层和LeakyReLU函数对特征图进行大尺度感受野特征提取，得到第一待处理波峰特征，并基于单层一维卷积层和LeakyReLU函数对特征图进行小尺度感受野特征提取，得到第二待处理波峰特征；
将第一待处理波峰特征和第二待处理波峰特征进行相加处理，得到包含多尺度感受野的第三待处理波峰特征；
基于一维卷积层和Sigmoid函数对第三待处理波峰特征进行波峰检测计算，得到与输入信号同等长度的一维数组，作为波峰检测结果。
可选的，所述基于所述最大池化分支获取所述特征图的全局池化权重系数的过程包括：
基于全局最大池化层和Sigmoid函数对特征图进行全局池化权重计算，得到与输入信号同等长度的一维数组，即全局池化权重系数。
可选的，所述基于所述权重调整分支获取所述特征图的权重调整系数的过程包括：
基于一维卷积层和Sigmoid函数对特征图进行调整权重计算，得到与输入信号同等长度的一维数组，即权重调整系数。
可选的，述预设的应激检测网络的损失函数为：
其中，Lossstress表示应激状态判定的损失值， N表示样本总数、i表示第i个样本、/>表示样本i对应的应激检测网络的二分类结果、/>表示样本i对应的应激状态标签；
表示第一信号的波峰检测损失值、/>表示第二信号的波峰检测损失值、且/>其中，Losspeak包括/>或/>L表示单个样本的信号采样点总数、j表示信号的第j个采样点；/>表示第i个样本信号的第j个采样点的波峰标签、/>表示第i个样本信号的第j个采样点的波峰检测结果。
在本发明的第二方面，提供了一种基于远程脉搏波信号的非接触式应激检测系统，所述系统包括：
第一获取模块，用于获取预设时间段的远程脉搏波信号，作为第一信号；
第二获取模块，用于获取所述第一信号的一阶导数，作为第二信号；
应激检测模块，用于将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果；
其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
在本发明的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一基于远程脉搏波信号的非接触式应激检测的方法步骤。
在本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一基于远程脉搏波信号的非接触式应激检测的方法步骤。
(三)有益效果
本发明提供了一种基于远程脉搏波信号的非接触式应激检测方法和系统。与现有技术相比，具备以下有益效果：
该方法包括：获取预设时间段的远程脉搏波信号，作为第一信号；获取所述第一信号的一阶导数，作为第二信号；
将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果。
其中，应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
基于上述处理，本发明提供的技术方案从生理信号时序变化特征以及瞬时变化特征两个角度出发，将rPPG信号及其一阶导数信号结合作为非接触式应激检测依据，采用CNN+LSTM网络自动提取与应激状态相关的特征，不同信号特征之间形成优势互补，相较于手工提取心率变异性特征，对信号噪声的鲁棒性更强。此外，上述处理过程中无需专业技术人员的参与，可以降低对于操作人员的专业性要求，提高了非接触式应激检测的适用范围和检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于远程脉搏波信号的非接触式应激检测方法的流程图；
图2为本发明实施例提供的一种应激检测网络的网络结构图；
图3为本发明实施例提供的一种波峰注意力模块的结构示意图；
图4为本发明实施例提供的另一种基于远程脉搏波信号的非接触式应激检测方法的流程图；
图5为本发明实施例提供的一种基于远程脉搏波信号的非接触式应激检测系统的结构图；
图6为本发明实施例提供的电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于远程脉搏波信号的非接触式应激检测方法和系统，解决了现有基于生理信号的应激状态识别方法存在的肌肤接触不适、操作专业性要求高等问题，实现采用CNN+LSTM网络自动提取与应激状态相关的特征，不同信号特征之间形成优势互补，相较于手工提取心率变异性特征，对信号噪声的鲁棒性更强。此外，上述处理过程中无需专业技术人员的参与，可以降低对于操作人员的专业性要求，提高了非接触式应激检测场景的适用范围。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
现有的基于心电信号、PPG信号进行应激状态识别的方法步骤大多为(1)信号峰值监测；(2)HRV特征统计；(3)使用SVM或随机森林等方法预测应激状态。然而，现有方法架构存在以下不足之处：
1、现有的依靠生理信号的应激状态识别方法多数使用接触式设备，如心电仪、手环等，接触式的信号采集设备与肌肤贴合会造成不适感，且会造成接触部位的血管等组织的形变，影响监测结果。此外，部分人群肌肤可能会对接触式设备基础材料产生过敏反应。
2、现有的非接触式应激评估方法依赖从rPPG信号中检测信号波峰，并进一步计算波峰间期(R-R间期)提取HRV特征。其中，HRV是一组针对R-R间期的人为设定特征，通过手工计算提取。其特征提取方式需要大量的应激检测领域专业知识和调优，难以捕获数据的复杂性和多样性，资深专家比较难以保证提取的特征与目标任务的契合性。
3、现有的基于深度学习的端到端应激评估方法可以自行提取必要的信息，学习数据特征的复杂和高级表示，但是不能很好地结合应激检测领域的先验知识，例如、脉搏波峰值点是应激状态检测的信号关键点。
为了解决上述问题，本发明提供了一种基于远程脉搏波信号的非接触式应激检测方法。如图1所示，该方法包括以下步骤：
S1、获取预设时间段的远程脉搏波信号，作为第一信号。
S2、获取所述第一信号的一阶导数，作为第二信号。
S3、将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果。
其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
基于上述处理，本发明提供的技术方案从生理信号时序变化特征以及瞬时变化特征两个角度出发，将rPPG信号及其一阶导数信号结合作为非接触式应激检测依据，采用CNN+LSTM网络自动提取与应激状态相关的特征，不同信号特征之间形成优势互补，相较于手工提取心率变异性特征，对信号噪声的鲁棒性更强。此外，上述处理过程中无需专业技术人员的参与，可以降低对于操作人员的专业性要求，提高了非接触式应激检测场景的适用范围。
针对步骤S1，远程脉搏波信号即本发明中的rPPG信号。其中，该rPPG信号的获取方式如下：
首先，通过可见光摄像头采被观测用户的可见光面部视频。其中，可见光面部视频中的面部检测定位基于FaceBoxes人脸检测器在视频中检测人脸部位并分割面部ROI区域所实现的。然后，将提取的面部ROI区域图像采用基于YCbCr空间肤色自适应分割方法算法(其中，YCbCr是一种对RGB颜色空间的编码，广泛应用于数字视频压缩系统中)判断图像中每个像素是否为皮肤，如是则保留像素值，否则像素值设置为0，判断规则如下：
其中，pixel表示将被判断的像素，skin表示该像素判定为是皮肤，non-skin表示该像素判定为不是皮肤，Cr表示红色色度分量，Cb表示蓝色色度分量，y表示亮度分量。
之后，对经过ROI分割、皮肤分割后的图像序列使用POS(Plane-Orthogonal-to-Skin，平面正交与皮肤)算法提取rPPG信号。其中，POS提取rPPG处理流程如下：对于每一幅图像，获取每个单独的R、G和B通道的平均值，将上述平均值与前一幅图像的RGB通道平均值连接起来，通过去趋势处理并经过截止频率为0.7Hz-2.5Hz的3阶巴特沃斯带通滤波获得3通道信号[Rn,Gn,Bn]，将获得的信号除以平均值得到新的信号
即，rPPG信号通过以下步骤获取：
其中，S表示提取的rPPG信号，Xs与Ys均为计算过程中的中间变量，std(·)为标准差，表示G通道的平均值、/>表示B通道的平均值、/>表示R通道的平均值。值得注意的是，rPPG信号反映了状态的时序变化，而信号的一阶导数则反映状态的瞬时变化规律，因此本发明中将rPPG信号与rPPG信号的一阶导数共同作为检测应激状态神经网络的算法的输入数据。即，本发明提供的技术方案中，第一信号为rPPG信号、第二信号为rPPG信号的一阶导数。
本发明提供的技术方案将rPPG信号和其一阶导数信号作为非接触式应激状态检测的依据。从rPPG信号提取受试者状态变化的时序特征，从rPPG信号的一阶导数提取受试者状态瞬时变换的时序特征，利用神经网络，特征提取更加便捷，从时序与瞬时变化角度提取的特征更加全面。
在一些实施例中，预设的应激检测网络对所述第一信号、所述第二信号的处理过程，包括以下步骤：
步骤一、在所述第一信号和所述第二信号输入之后，基于预设的第一卷积层和第一池化层提取所述第一信号的信号特征，作为第一特征图；并基于预设的第二卷积层和第二池化层提取所述第二信号的信号特征，作为第二特征图；
步骤二、基于预设的第三卷积层提取所述第一信号的信号特征，作为第三特征图，并基于第一波峰注意力模块提取所述第三特征图的信号特征，作为第四特征图；
步骤三、基于预设的第四卷积层提取所述第二信号的信号特征，作为第五特征图，并基于第二波峰注意力模块提取所述第五特征图的信号特征，作为第六特征图；其中，所述第四卷积层与所述第三卷积层的结构相同；所述第一波峰注意力模块与所述第二波峰注意力模块的结构相同且参数共享；
步骤四、基于预设的第五卷积层和第五池化层对所述第四特征图进行特征提取，得到第七特征图，并将所述第七特征图与所述第一特征图进行特征融合，得到第八特征图；
步骤五、基于预设的第六卷积层和第六池化层对所述第六特征图进行特征提取，得到第九特征图，并将所述第九特征图与所述第二特征图进行特征融合，得到第十特征图；
步骤六、基于预设的第七卷积层和第七池化层对第八特征图进行特征提取，得到第十一特征图；并基于预设的第八卷积层和第八池化层对第十特征图进行特征提取，得到第十二特征图；其中，所述第一卷积层与第二卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的结构均相同；所述第一池化层与第二池化层、第五池化层、第六池化层、第七池化层、第八池化层的结构均相同；
步骤九、将所述第十一特征图和所述第十二特征图进行通道拼接，并将通道拼接后的特征图输入至分类器中，以使所述分类器输出应激状态识别的二分类结果；其中，所述分类器由长短期记忆网络和全连接网络组成。
可参见图2，图2为本发明实施例提供的一种应激检测网络的网络结构图，其中，图2中的不同网络层基于从左至右的流程顺序对应上述步骤中的上述网络层中的第一卷积层、第二池化层、第二卷积层……第八池化层和第八卷积层。同时，图2中应激检测网络对于第一信号、第二信号的处理过程可参见上述步骤一至步骤九。
在实际工作过程中，本发明提供的应激状态检测神经网络由卷积层(Convolutional Neural Networks，CNN)、最大池化层、波峰注意力模块(Peak Detectionand Attention Module，PDAM)、长短期记忆网络(Long Short Term Memory，LSTM)、全连接层等部分组成。其中，该应激状态检测神经网络每次处理60s时长的信号，即rPPG信号与rPPG信号的一阶导数作为输入端的两个输入信号。
本发明提供的应激状态检测神经网络中构建了结构相同但部分权重不同的两个特征提取网络。特征提取网络由部分权重共享的波峰注意力分支与独立的卷积分支构成。
其中，波峰注意力分支中第一层卷积与其接续的PDAM是两个特征提取网络权重共享的，由于波峰注意力分支的功能是对信号的波峰进行检测并对其产生关注，因此不论针对rPPG信号与rPPG信号的一阶导数，处理工作与功能是相同的。
此外，通过权重共享能够使得处理不同信号的特征提取网络之间存在部分交互，在特征提取过程中综合考虑不同视角信号的信息，使得提取的特征信息更加丰富。
由于rPPG信号与rPPG信号的一阶导数的峰值信息存在差异，PDAM的输出将经过独立的卷积层与池化层作进一步的特征编码。
在本发明提供的应激状态检测神经网络中独立的卷积分支则是为了保留不同信号特征提取的独立性，由特征提取网络针对rPPG信号与rPPG信号的一阶导数两种信号自行提取特征。
此外，为了整合针对同一信号不同提取网络分支的特征性，因此，两个提取网络分支的输出相加后再经过卷积池化，以实现对信号综合特征的提取。
在上述应激状态检测神经网络中，通过特征提取网络提取rPPG与其一阶导数信号(即，本发明中的第一信号与第二信号)的特征，两者的特征经过通道拼接，输入分类器中。其中，分类器由LSTM与全连接层组成。LSTM包含两层隐藏层，用于提取时序特征，LSTM最后一层隐藏层的输出H将作为输入全连接层的输入，由全连接层的输出得到应激状态判定结果为是否为应激状态的二分类。
由于传统方法需要先对rPPG信号进行波峰检测，再根据波峰间隔获取心率变异性相关指标，再进行应激检测，因此信号波峰是应激状态检测的有力依据。然而，以往的通过手工特征工程的方式不仅费时费力，还会导致提取的特征不全面。因此，本发明提出了波峰注意力模块，其作用为将波峰检测作为辅任务并结合注意力机制思想(峰值位置赋予更高权重，引导网络关注)，引导网络学习波峰相关特征，从而避免了手工提取特征的步骤。
在一些实施例中，本发明提供的波峰注意力模块包括峰值检测分支、最大池化分支、权重调整分支和注意残差分支；其中，所述波峰注意力模块包括第一波峰注意力模块和第二波峰注意力模块。
波峰注意力模块对输入的特征图的处理过程包括以下步骤：
S201、基于所述峰值检测分支获取所述特征图对应的波峰检测结果；其中，所述特征图包括第三特征图和第五特征图；
S202、基于所述最大池化分支获取所述特征图的全局池化权重系数；
S203、基于所述权重调整分支获取所述特征图的权重调整系数；
S204、将所述波峰检测结果和全局池化权重系数、权重调整系数进行特征融合，得到综合权重系数；
S205、基于SoftMax函数对综合权重系数进行映射处理，得到时间注意力权重；
S206、将所述注意力权重与所述特征图在时域上进行相乘，以得到具有增强时间重要性的特征图；
S207、将具有增强时间重要性的特征图与所述特征图进行特征融合，得到第四特征图或第六特征图。
参见图3，图3为本发明实施例提供的一种本发明实施例提供的一种波峰注意力模块的结构示意图。如图3所示，波峰注意力模块，根据从上到下的顺序，可以分为峰值检测分支、最大池化分支、权重调整分支、注意残差分支。其中，峰值检测分支自身有两个分支，各分支具有不同感受域，能够以不同的尺度在信号时域上编码特征，实现更高精度的峰值检测，通过对两个分支相加并经过一层卷积实现不同尺度的时序特征融合，经过Sigmoid函数将输出归一化为0到1得到峰值检测结果，结果将作为注意力权重的计算依据之一。此外，通过峰值位置检测任务还能够辅助应激状态检测。
在一些实施例中，步骤S201包括以下内容：
S20101、基于双层一维卷积层和LeakyReLU函数对特征图进行大尺度感受野特征提取，得到第一待处理波峰特征，并基于单层一维卷积层和LeakyReLU函数对特征图进行小尺度感受野特征提取，得到第二待处理波峰特征。其中，大尺度感受野表示感受野大于待提取的特征区域、小尺度感受野则表示感受野小于待提取的特征区域。
S20102、将第一待处理波峰特征和第二待处理波峰特征进行相加处理，得到包含多尺度感受野的第三待处理波峰特征；
S20103、基于一维卷积层和Sigmoid函数对第三待处理波峰特征进行波峰检测计算，得到与输入信号同等长度的一维数组，作为波峰检测结果。
最大池化分支针对本模块的输入特征图的不同通道选取全局值最大的点，实现特征压缩，保留原始输入特征图的关键特征，分支同样经过Sigmoid函数将输出归一化为0到1，结果同样作为注意力权重的计算依据之一。
基于上述处理，本发明提出的PDAM结合多任务学习与注意力机制思想，结合领域先验知识，引导神经网络学习rPPG信号及其一阶导数波峰特征，有效提高了识别的准确性。
在一些实施例中，步骤S202包括以下内容：
S20201、基于全局最大池化层和Sigmoid函数对特征图进行全局池化权重计算，得到与输入信号同等长度的一维数组，即全局池化权重系数。
权重调整分支则赋予了波峰注意力模块对信号中其他关键点的关注自由，即除峰值点外，网络能够对其他有益应激检测的关键点产生关注，分支同样经过Sigmoid函数处理，作为注意力权重的计算依据之一。
在一些实施例中，步骤S203包括以下内容：
S20301、基于一维卷积层和Sigmoid函数对特征图进行调整权重计算，得到与输入信号同等长度的一维数组，即权重调整系数。
值得注意的是，上述3个分支的输出相加后经过SoftMax函数计算注意力权重，注意残差分支将模块的输入特征图与计算的权重在时域上相乘，实现在时域上对关键点的特征注意，并将相乘后的结果与原始特征图相加，以保留原始特征信息。
基于上述处理，本发明将rPPG信号及其一阶导数信号波峰作为关键先验知识(传统方法需要先进行波峰检测，再根据波峰间隔获取心率变异性相关指标，再进行应激检测)，结合多任务学习与注意力机制思想，引导神经网络学习先验知识。
在图3中，Rpeak为波峰检测结果，其值为长度与输入信号相同的取值为0-1范围的连续序列，值越靠近1的点越可能是波峰点；Routput为波峰注意力模块输出结果；设波峰注意力模块输入特征图为frPPG，则
其中，Ol表示最大池化层，Conv表示一维卷积层，σ(·)表示Sigmoid函数，表示元素级相乘，/>表示元素级相加。
在实际工作过程中，本发明提供的基于远程脉搏波信号的非接触式应激检测流程如图4所示。同时，本发明提供的技术方案可以仅使用普通摄像头便可实现应激状态的检测，部署方便快捷，对用户产生的干扰小。仅使用从面部图像提取的生理信号，相比于使用表情、动作(能被主动控制)等行为特征的方法，所使用的数据更加客观，有助于提高非接触式应激检测的准确度。
在一些实施例中，应激检测网络的损失函数为：
其中，Lossstress表示应激状态判定的损失值， N表示样本总数、i表示第i个样本、/>表示样本i对应的应激检测网络的二分类结果、/>表示样本i对应的应激状态标签；
表示第一信号的波峰检测损失值、/>表示第二信号的波峰检测损失值、且/>其中，Lpsspeak包括/>或/>L表示单个样本的信号采样点总数、j表示信号的第j个采样点；/>表示第i个样本信号的第j个采样点的波峰标签、/>表示第i个样本信号的第j个采样点的波峰检测结果。
在实际工作过程中，Lossstress为应激状态判定损失，采用交叉熵作为损失函数；与/>分别为rPPG信号与一阶导数信号的波峰检测损失，由于信号采样点是否属于波峰同样可以看作二分类问题，因此波峰检测损失函数同样采用交叉熵。此外，Tstress与Tpeak分别为应激状态标签与信号峰值标签。其中，信号峰值标签是通过scipy.signal工具包提供的find_peaks方法获取的。
为了验证本发明提供的非接触式应激检测方法的有效性，本申请采用了测试数据集为UBFC-Phys(公开数据集)，并利用10折交叉验证的方法对本发明的技术方案、本发明提供的技术方案(去除波峰注意力模块)、本发明提供的技术方案(去除一阶导数分支)以及现有技术中的数据集基线手工提取特征SVM方法(其中，核函数为rbf)进行了比较。其结果表如表1所示。
表1实验结果表
/>
根据上述表1的内容可知，本发明提供的非接触式应激检测方法进行实验检测后的准确率、召回率、精确率和F1值均高于其他方法，从而有效验证了本发明提供的非接触式应激检测方法的有效性。
参见图5，本发明还提供了一种基于远程脉搏波信号的非接触式应激检测系统，该系统包括：
第一获取模块501，用于获取预设时间段的远程脉搏波信号，作为第一信号；
第二获取模块502，用于获取所述第一信号的一阶导数，作为第二信号；
应激检测模块503，用于将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果。
其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
可理解的是，本发明实施例提供的基于远程脉搏波信号的非接触式应激检测系统与上述基于远程脉搏波信号的非接触式应激检测方法相对应，其有关内容的解释、举例、有益效果等部分可以参照基于远程脉搏波信号的非接触式应激检测方法中的相应内容，此处不再赘述。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述任一基于远程脉搏波信号的非接触式应激检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于远程脉搏波信号的非接触式应激检测方法，其特征在于，所述方法包括：
获取预设时间段的远程脉搏波信号，作为第一信号；
获取所述第一信号的一阶导数，作为第二信号；
将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果；其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
2.根据权利要求1所述的方法，其特征在于，所述预设的应激检测网络对所述第一信号、所述第二信号的处理过程包括：
在所述第一信号和所述第二信号输入之后，基于预设的第一卷积层和第一池化层提取所述第一信号的信号特征，作为第一特征图；并基于预设的第二卷积层和第二池化层提取所述第二信号的信号特征，作为第二特征图；
基于预设的第三卷积层提取所述第一信号的信号特征，作为第三特征图，并基于第一波峰注意力模块提取所述第三特征图的信号特征，作为第四特征图；
基于预设的第四卷积层提取所述第二信号的信号特征，作为第五特征图，并基于第二波峰注意力模块提取所述第五特征图的信号特征，作为第六特征图；其中，所述第四卷积层与所述第三卷积层的结构相同；所述第一波峰注意力模块与所述第二波峰注意力模块的结构相同且参数共享；
基于预设的第五卷积层和第五池化层对所述第四特征图进行特征提取，得到第七特征图，并将所述第七特征图与所述第一特征图进行特征融合，得到第八特征图；
基于预设的第六卷积层和第六池化层对所述第六特征图进行特征提取，得到第九特征图，并将所述第九特征图与所述第二特征图进行特征融合，得到第十特征图；
基于预设的第七卷积层和第七池化层对第八特征图进行特征提取，得到第十一特征图；并基于预设的第八卷积层和第八池化层对第十特征图进行特征提取，得到第十二特征图；其中，所述第一卷积层、第二卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的结构均相同；所述第一池化层与第二池化层、第五池化层、第六池化层、第七池化层、第八池化层的结构均相同；
将所述第十一特征图和所述第十二特征图进行通道拼接，并将通道拼接后的特征图输入至分类器中，以使所述分类器输出应激状态识别的二分类结果；其中，所述分类器由长短期记忆网络和全连接网络组成。
3.根据权利要求2所述的方法，其特征在于，波峰注意力模块包括峰值检测分支、最大池化分支、权重调整分支和注意残差分支；其中，所述波峰注意力模块包括第一波峰注意力模块和第二波峰注意力模块；
所述波峰注意力模块对输入的特征图的处理过程包括：
基于所述峰值检测分支获取所述特征图对应的波峰检测结果；其中，所述特征图包括第三特征图和第五特征图；
基于所述最大池化分支获取所述特征图的全局池化权重系数；
基于所述权重调整分支获取所述特征图的权重调整系数；
将所述波峰检测结果和全局池化权重系数、权重调整系数进行特征融合，得到综合权重系数；
基于SoftMax函数对综合权重系数进行映射处理，得到时间注意力权重；
将所述注意力权重与所述特征图在时域上进行相乘，以得到具有增强时间重要性的特征图；
将具有增强时间重要性的特征图与所述特征图进行特征融合，得到第四特征图或第六特征图。
4.根据权利要求3所述的方法，其特征在于，所述基于所述峰值检测分支获取所述特征图对应的波峰检测结果的过程包括：
基于双层一维卷积层和LeakyReLU函数对特征图进行大尺度感受野特征提取，得到第一待处理波峰特征，并基于单层一维卷积层和LeakyReLU函数对特征图进行小尺度感受野特征提取，得到第二待处理波峰特征；
将第一待处理波峰特征和第二待处理波峰特征进行相加处理，得到包含多尺度感受野的第三待处理波峰特征；
基于一维卷积层和Sigmoid函数对第三待处理波峰特征进行波峰检测计算，得到与输入信号同等长度的一维数组，作为波峰检测结果。
5.根据权利要求3所述的方法，其特征在于，所述基于所述最大池化分支获取所述特征图的全局池化权重系数的过程包括：
基于全局最大池化层和Sigmoid函数对特征图进行全局池化权重计算，得到与输入信号同等长度的一维数组，即全局池化权重系数。
6.根据权利要求3所述的方法，其特征在于，所述基于所述权重调整分支获取所述特征图的权重调整系数的过程包括：
基于一维卷积层和Sigmoid函数对特征图进行调整权重计算，得到与输入信号同等长度的一维数组，即权重调整系数。
7.根据权利要求1所述的方法，其特征在于，所述预设的应激检测网络的损失函数为：
其中，Lossstress表示应激状态判定的损失值， N表示样本总数、i表示第i个样本、/>表示样本i对应的应激检测网络的二分类结果、/>表示样本i对应的应激状态标签；
表示第一信号的波峰检测损失值、/>表示第二信号的波峰检测损失值、且/>其中，Losspeak包括/>或L表示单个样本的信号采样点总数、j表示信号的第j个采样点；/>表示第i个样本信号的第j个采样点的波峰标签、/>表示第i个样本信号的第j个采样点的波峰检测结果。
8.一种基于远程脉搏波信号的非接触式应激检测系统，其特征在于，所述系统包括：
第一获取模块，用于获取预设时间段的远程脉搏波信号，作为第一信号；
第二获取模块，用于获取所述第一信号的一阶导数，作为第二信号；
应激检测模块，用于将所述第一信号和所述第二信号输入至预设的应激检测网络中，并获取所述应激检测网络输出的二分类结果，作为应激检测结果；
其中，所述应激检测网络包括：卷积层、池化层、波峰注意力模块、长短期记忆网络和全连接层；所述卷积层与池化层用于信号特征编码、所述波峰注意力模块用于引入波峰检测辅助任务并依据波峰位置计算时间注意力权重、所述长短期记忆网络用于提取时序信息、所述全连接层用于获取应激状态识别结果。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202311172437.9A 2023-09-12 2023-09-12 基于远程脉搏波信号的非接触式应激检测方法和系统 Pending CN117137451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311172437.9A CN117137451A (zh) 2023-09-12 2023-09-12 基于远程脉搏波信号的非接触式应激检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311172437.9A CN117137451A (zh) 2023-09-12 2023-09-12 基于远程脉搏波信号的非接触式应激检测方法和系统

Publications (1)

Publication Number Publication Date
CN117137451A true CN117137451A (zh) 2023-12-01

Family

ID=88886699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311172437.9A Pending CN117137451A (zh) 2023-09-12 2023-09-12 基于远程脉搏波信号的非接触式应激检测方法和系统

Country Status (1)

Country Link
CN (1) CN117137451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743832A (zh) * 2024-02-21 2024-03-22 深圳市大数据研究院 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117743832A (zh) * 2024-02-21 2024-03-22 深圳市大数据研究院 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统

Similar Documents

Publication Publication Date Title
CN107491726B (zh) 一种基于多通道并行卷积神经网络的实时表情识别方法
Shoieb et al. Computer-aided model for skin diagnosis using deep learning
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
CN112381011B (zh) 基于人脸图像的非接触式心率测量方法、系统及装置
US9317761B2 (en) Method and an apparatus for determining vein patterns from a colour image
CN102973253B (zh) 一种利用视觉信息监测人体生理指标的方法和系统
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
WO2021164346A1 (zh) 一种预测血压的方法和装置
CN117137451A (zh) 基于远程脉搏波信号的非接触式应激检测方法和系统
CN113855038B (zh) 基于多模型集成的心电信号危急值的预测方法及装置
CN110363072B (zh) 舌象识别方法、装置、计算机设备及计算机可读存储介质
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN115024706A (zh) 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法
CN116956222A (zh) 一种基于自适应特征提取的多复杂度行为识别系统及方法
Fairuz et al. Convolutional neural network-based finger vein recognition using near infrared images
Ouzar et al. X-iPPGNet: A novel one stage deep learning architecture based on depthwise separable convolutions for video-based pulse rate estimation
CN116758619B (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN111814682A (zh) 人脸活体检测方法及装置
CN109919050B (zh) 身份识别方法和装置
CN114445898B (zh) 人脸活体检测方法、装置、设备、存储介质及程序产品
CN114170649A (zh) 皮肤敏感分类模型的训练方法、皮肤敏感打分方法及装置
CN113920387A (zh) 一种短时rPPG信号检测模型的构建方法及检测方法
Kuang et al. Shuffle-rPPGNet: Efficient Network with Global Context for Remote Heart Rate Variability Measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination