CN114694211A - 非接触式多生理参数的同步检测方法和系统 - Google Patents
非接触式多生理参数的同步检测方法和系统 Download PDFInfo
- Publication number
- CN114694211A CN114694211A CN202210176718.0A CN202210176718A CN114694211A CN 114694211 A CN114694211 A CN 114694211A CN 202210176718 A CN202210176718 A CN 202210176718A CN 114694211 A CN114694211 A CN 114694211A
- Authority
- CN
- China
- Prior art keywords
- fusion
- module
- attention
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 83
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims description 16
- 230000036772 blood pressure Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000036387 respiratory rate Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 239000000284 extract Substances 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
- A61B5/0225—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers the pressure being controlled by electric signals, e.g. derived from Korotkoff sounds
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备，涉及生理参数检测技术领域。本发明中，将第一时空特征图、第二时空特征图分别输入共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图，将相同层次的特征提取图输入共享网络对应的特征融合块，获取当前层次的融合特征，并分别输入各个子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；考虑到不同模态、不同空间位置以及不同通道的重要性，可以有效的从大量级联特征中提取出可靠且对任务有显著效果的特征，提高算法性能表现。
Description
技术领域
本发明涉及生理参数检测技术领域，具体涉及一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备。
背景技术
当今社会，随着生活水平的不断提高，人们的健康观念也不断增强，各种生理信息越来越受到人们的重视。
目前，现有的生理参数检测方法或系统大都是接触式的，例如手环、贴片式设备、指夹式设备等，这类设备体积较小，较为便携，在目前多生理参数检测领域占据主导地位；即使少部分的现有非接触式生理参数检测方法也大都是单任务的，即只检测单一生理参数(心率、血压、呼吸率等)，或者通过二次处理得到多个生理参数，例如通过单任务网络得到PPG信号，再对PPG信号进行处理得到心率、心率变异性、呼吸率等信号。如果需要同时采集多种生理信号则需要同时搭建多个生理参数检测模型，不仅极大的增加了计算量和设备成本，也无法实现多项生理指标的同步输出。
因此，亟需提供一种非接触式多生理参数同步检测技术方案。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备，解决了无法实现多项生理指标的同步输出的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种非接触式多生理参数的同步检测方法，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测方法包括：
S1、分别采集受试者的可见光视频和热红外视频；
S2、预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图；
S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
优选的，所述S2包括：
S21、根据所述可见光视频和热红外视频的图像序列，分别采用密集人脸对齐方法进行所述受试者的人脸检测与面部关键点标记；
S22、确定受试者人脸图像的若干感兴趣区域，分别提取所述可见光视频和热红外视频每一帧图像序列对应的iPPG信号；
S23、按照时间顺序拼接所述iPPG信号，获取所述第一时空特征图和第二时空特征图。
优选的，所述S3中两个结构相同但参数不共享的神经网络是指：两个只保留了特征提取部分，舍弃池化层和全连接层Resnet-34网络。
优选的，所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块；
所述S4包括：
S41、定义
和
分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图，连接所述
和
依次输入所述两层深度可分离卷积层和激活函数层，获取当前层次对应的初步融合特征；
其中，
表示级联操作，
表示哈达玛积；DSC_t表示第t层深度可分离卷积，t取1或者2；ReLU表示激活函数；fm_msm表示依次经过模态注意和空间注意之后的初步融合特征；
S42、将所述初步融合特征输入所述压缩和激励网络模块，获取当前层次对应的所述融合特征；
fm_mscm＝fm_msm×SE(fm_msm)
其中，SE为所述压缩和激励网络模块；fm_mscm为经过通道加权后的所述融合特征。
优选的，所述S5包括：
对于任意任务u，定义该任务u在第m层注意力模块中的注意力遮罩表示为
计算第m层注意力模块中输出任务相关特征：
其中，
均为带有批正则化和非线性激活层的卷积块；
和
用于生成注意力遮罩；
的激活函数为sigmoid，用于确保生成的注意力遮罩
如果
那么注意力遮罩遮罩变为一个一致映射，子任务采用全部融合特征。
优选的，所述S6中多层次融合特征表示为：
其中，Conv、fl均为带有卷积层、批正则化和非线性激活层的操作块；M表示注意力模块的总层数。
优选的，所述多任务网络架构包括3个子任务网络，分别对应于回归预测心率、血压和呼吸率3个子任务。
8、一种非接触式多生理参数的同步检测系统，其特征在于，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测系统包括：
采集模块，用于分别采集受试者的可见光视频和热红外视频；
预处理模块，用于预处理所述可见光视频和热红外视频，获取所述可见光视频的第一时空特征图，以及所述热红外视频的第二时空特征图；
提取模块，用于将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
融合模块，用于将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
学习模块，用于将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
预测模块，用于将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
一种存储介质，其存储有用于非接触式多生理参数的同步检测的计算机程序，其中，所述计算机程序使得计算机执行如上所述的同步检测方法。
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的同步检测方法。
(三)有益效果
本发明提供了一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
1、本发明采用的多任务学习网络架构划分为共享网络和子任务网络，每个子任务网络能够有效的从共享特征中提取出子任务相关特征，并且考虑到不同层次特征对不同任务的影响，进行多层次特征融合，提高模型性能表现；
2、本发明中，预处理可见光视频和热红外视频，获取人脸图像对应的第一时空特征图和第二时空特征图；将模型的输入从三维降低至二维，同时保留数据的时间与空间特征，极大减少模型输入的数据量与模型的参数量，在不降低精度的同时减少计算时间，保证模型的实时性；
3、本发明中，将第一时空特征图、第二时空特征图分别输入共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图，将相同层次的特征提取图输入共享网络对应的特征融合块，获取当前层次的融合特征，并分别输入各个子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；考虑到不同模态、不同空间位置以及不同通道的重要性，可以有效的从大量级联特征中提取出可靠且对任务有显著效果的特征，提高算法性能表现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种非接触式多生理参数的同步检测方法的流程示意图；
图2为本发明实施例提供的一种MP-Net网络架构图；
图3为本发明实施例提供的一种数据采集系统；
图4本发明实施例提供的以可见光图像为例的数据处理流程；
图5为本发明实施例提供的一种特征融合块的结构示意图；
图6为本发明实施例提供的一种注意力模块的结构示意图；
图7为本发明实施例提供的一种多层次特征融合块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备，解决了无法实现多项生理指标的同步输出的技术问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例提出一个非接触式多生理参数同步检测方法，可以实现在不同照明条件下对受试者的非接触式多种生理参数同步检测。首先，提出一种基于注意力机制的多模态数据融合方法，考虑不同模态、不同空间位置及不同通道的重要性，融合可见光和热红外视频特征；其次，设计一个基于“共享+特异”的多任务网络作为算法的网络主体，仅使用一个网络模型实现对心率、血压和呼吸率等多项生理指标的实时同步检测；最后，充分考虑不同层次特征对不同任务的效果不同，设计一个多层次特征融合块，实现不同层次的特征融合，提升算法的性能表现。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
第一方面，如图1所示，本发明实施例提供了一种非接触式多生理参数的同步检测方法，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络。
所述同步检测方法包括：
S1、分别采集受试者的可见光视频和热红外视频；
S2、预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图；
S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
本发明实施例采用的多任务学习网络架构划分为共享网络和子任务网络，每个子任务网络能够有效的从共享特征中提取出子任务相关特征，并且考虑到不同层次特征对不同任务的影响，进行多层次特征融合，提高模型性能表现。
下面将结合具体内容详细介绍上述技术方案的各个步骤：
首先需要说明的是，多任务学习可以实现在一个网络中执行不同的任务。与传统单任务网络相比，多任务网络可以实现不同任务之间的信息共享，从而达到提升精度的效果，除此之外还有推理速度更快、占用资源较少的优点。
比较简单的多任务网络思路是输入经过网络的共享层生成特征之后，后面直接跟不同任务的子网络得到各个任务的输出结果。由于任务间的差异性，不同任务需要用到的特征的层次是不同的，子任务网络只使用共享层的最后一层特征作为输入可能会影响网络的结果。如图2所示，本发明实施例提出了一个“共享+特异”且考虑不同层次特征的多任务注意力网络MP-Net(multi-physiological-Net)，即上述带有注意力机制的多任务网络架构。
S1、分别采集受试者的可见光视频和热红外视频。
本步骤中数据采集系统如图3所示，主要设备包括：可见光相机(分辨率1920×1080，帧率25FPS)、红外相机(分辨率640×480，帧率25FPS)、电脑、指夹式血氧仪(采样频率60Hz)、呼吸带(采样频率50Hz)和电子血压计。受试者坐在桌前距离相机0.5～1m处，可以动态调整距离以确保人脸位于两个相机采集视野的中央。受试者左手中指佩戴指夹式血氧仪，右臂佩戴电子血压计袖带。
本步骤中可以根据实际需要选择现有或者设计一套软件系统来控制采集进程，当点击“开始采集”按钮后，系统会自动保存可见光相机、红外相机、指夹式血氧仪以及呼吸带采集到的数据，采集持续1分钟。电子血压计需手动启动，待测量结束后需手动将血压数据录入到系统中进行存储。
S2、预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图；包括：
S21、根据所述可见光视频和热红外视频的图像序列，分别采用密集人脸对齐方法进行所述受试者的人脸检测与面部关键点标记。
本步骤利用人脸检测和面部标志点定位算法从视频的图像序列中提取感兴趣区域，并且在一定的时间范围内保证人脸尺寸不变。
考虑到在实时心率测量中的应用以及在公共人脸数据库中对光照变化和头部运动的鲁棒性，使用密集人脸对齐方法3DDFA_V2进行人脸检测与68个面部关键点标记。
S22、确定受试者人脸图像的若干感兴趣区域，分别提取所述可见光视频和热红外视频每一帧图像序列对应的iPPG信号。
人脸感兴趣区域的选择对心率测量算法的性能至关重要。前额和鼻子周围的区域包含更多的心律信息，不太容易出现不相关的运动，如眨眼和面部表情，因此选择这两个区域作为本申请的ROI。
如图4所示，以可见光视频的图像序列为例，将前额和鼻子这两个ROI分别划分出10×10和8×22个子区域，分别表示为
和
其中v表示visible，即可见光图像(如果是红外图像则可以表示为i)。
计算每个子区域的像素均值
和
然后将计算得到的各子区域均值按照固定顺序重新排列成1列，得到一个长度为276的列向量(即上述iPPG信号)：
其中，其中i表示第i帧。
S23、按照时间顺序拼接所述iPPG信号，获取所述第一时空特征图和第二时空特征图。
本步骤中，将步骤S1中获取的一段可见光视频(10s，25FPS)中的每一帧图像都进行相同的操作，然后将得到的列向量按照时间顺序在水平方向上进行拼接，得到尺寸为(276，250，3)的时空特征图
其中的3代表RGB图像的3通道；同理，处理红外视频得到的时空图表示为
上述stmap的一列代表某一时刻t内不同子区域的像素均值，一行代表某一固定区域内的像素均值随时间的变化。
本发明实施例通过从可见光视频与热红外视频中提取iPPG信号实现生理参数的非接触式检测，有效克服传统检测方法需要与人接触、特定场景不便等固有缺点。
S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图。
所述S3中两个结构相同但参数不共享的神经网络是指：两个只保留了特征提取部分，舍弃池化层和全连接层Resnet-34网络。
上述两个神经网络分别对可见光和热红外图像进行特征提取，不同层次的特征都进行保留，相同层次的可见光与热红外特征经过后续介绍的特征融合块融合后输入到子任务网络中。
本发明实施例中采用多任务学习网络架构同时计算得到心率、血压和呼吸率，利用相互关联的任务之间的隐藏信息来改进模型泛化能力，提高模型性能表现，同时极大减小计算量，降低资源占用。
S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征。
不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些信息交叉和互补，多模态融合是指将从不同单模态数据源提取的信息集成到一个紧凑的多模态表示，使得特征信息更加丰富。
一种简单的融合方式是将相同层次的可见光与热红外图像特征直接通过级联操作直接连接，这种方式的优势在于可以捕获到级联特征的全部跨模态信息，但是单模态特征中对结果作用较大的一些显著特征可能会淹没在大量的级联特征中，同时也未考虑不同模态数据的可靠性。
为了解决上述问题，本发明实施例提出了一种综合考虑不同模态、不同空间和不同通道重要性的多模态特征融合块。如图5所示，所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块；
则所述S4包括：
S41、定义
和
分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图，连接所述
和
依次输入所述两层深度可分离卷积层和激活函数层，获取当前层次对应的初步融合特征；
其中，
表示级联操作，
表示哈达玛积；DSC_t表示第t层深度可分离卷积，t取1或者2；ReLU表示激活函数；fm_msm表示依次经过模态注意和空间注意之后的初步融合特征。
具体的，上述两层深度可分离卷积包括卷积核为3×3的逐通道卷积和卷积核为1×1的逐点卷积，这两层深度可分离卷积可以提供跨模态的特征交互。
在考虑不同模态和不同空间位置的重要性之后，需要对还需要考虑特征图不同通道间的重要性，如图5右半部分所示：
S42、将所述初步融合特征输入所述压缩和激励网络模块，获取当前层次对应的所述融合特征；
fm_mscm＝fm_msm×SE(fm_msm)
其中，SE为所述压缩和激励网络模块；fm_mscm为经过通道加权后的所述融合特征。
本发明梳理提出的特征融合块能够学习可靠的权重图实现从不同的模态中融合互补信息。通过这种方式，权重图可以决定在全局视图中对不同通道、不同空间位置以及不同模态的特征给予多大程度的关注。因此，特征融合块可以自适应地生成多模态图像内容相关的权重图，以融合多模态特征。
S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出(第一层的注意力模块的输入只有融合特征)，获取当前层注意力模块输出的任务相关特征。
子任务网络运用如图6所示的注意力机制学习任务相关的特征。在本发明实施例中，采用3个子任务网络，分别对应于心率、血压和呼吸率的回归预测。对于每个任务每个层次的特征我们都使用一个软注意力遮罩从共享特征中学到任务相关特征。
具体的，对于任意任务u，定义该任务u在第m层注意力模块中的注意力遮罩表示为
计算第m层注意力模块中输出任务相关特征：
其中，
均为带有批正则化和非线性激活层的卷积块；
和
卷积核大小均为1×1，用于生成注意力遮罩；
的激活函数为sigmoid，用于确保生成的注意力遮罩
如果
那么注意力遮罩遮罩变为一个一致映射，子任务采用全部融合特征；
的卷积核大小为3×3，用于从融合特征中提取相关特征传输到下一个注意力模块中。
S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
由于不同层次的特征包含的信息类型不同，较低层次的特征包含更多的纹理信息，而较高层次的特征包含更多的语义信息，所以不同层次的特征对不同任务的效果是不同的。为了充分考虑这一点，本步骤设计了一个如图7所示的多层次特征融合块，融合不同层次的特征来提高各个子任务的性能表现，其公式如下：
其中，Conv为带有卷积层、批正则化和非线性激活层的操作块；M表示注意力模块的总层数，用于将任务u较低层次的特征进行特征提取和升维，使其与较高层次特征的尺寸和维度相同；
表示连级联操作，将升维后的低层特征与高层特征进行连接；fl也为带有卷积层、批正则化和非线性激活层的操作块，其卷积核大小均为1×1，用于对连接后的特征进行融合降维，得到任务u最终的多层次融合特征mlfu。
每个任务经过注意力机制以及多层次特征融合块后得到的多层次融合特征，最后可以经过全局池化和全连接层，回归预测心率、血压和呼吸率等各项生理指标。
本发明实施例通过恰当的多模态融合方法将来自同一对象可见光与热红外视频信息整合成一个稳定的多模态表征，不同模态信息交叉互补，使得特征信息更加丰富，提高算法精度，同时扩充了算法的应用场景，提高算法鲁棒性。
第二方面，本发明实施例提供了一种非接触式多生理参数的同步检测系统，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测系统包括：
采集模块，用于分别采集受试者的可见光视频和热红外视频；
预处理模块，用于预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图
提取模块，用于将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
融合模块，用于将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
学习模块，用于将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
预测模块，用于将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
第三方面，本发明实施例提供了一种存储介质，其存储有用于非接触式多生理参数的同步检测的计算机程序，其中，所述计算机程序使得计算机执行如上所述的同步检测方法。
第四方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的同步检测方法。
可理解的是，本发明实施例提供的非接触式多生理参数的同步检测系统、存储介质和电子设备与本发明实施例提供的非接触式多生理参数的同步检测方法相对应，其有关内容的解释、举例和有益效果等部分可以参考基于区块链的同步检测方法中的相应部分，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、1、本发明采用的多任务学习网络架构划分为共享网络和子任务网络，每个子任务网络能够有效的从共享特征中提取出子任务相关特征，并且考虑到不同层次特征对不同任务的影响，进行多层次特征融合，提高模型性能表现；
2、本发明中，预处理可见光视频和热红外视频，获取人脸图像对应的第一时空特征图和第二时空特征图；将模型的输入从三维降低至二维，同时保留数据的时间与空间特征，极大减少模型输入的数据量与模型的参数量，在不降低精度的同时减少计算时间，保证模型的实时性；
3、本发明中，将第一时空特征图、第二时空特征图分别输入共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图，将相同层次的特征提取图输入共享网络对应的特征融合块，获取当前层次的融合特征，并分别输入各个子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；考虑到不同模态、不同空间位置以及不同通道的重要性，可以有效的从大量级联特征中提取出可靠且对任务有显著效果的特征，提高算法性能表现。
4、本发明实施例中采用多任务学习网络架构同时计算得到心率、血压和呼吸率，利用相互关联的任务之间的隐藏信息来改进模型泛化能力，提高模型性能表现，同时极大减小计算量，降低资源占用。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种非接触式多生理参数的同步检测方法，其特征在于，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测方法包括：
S1、分别采集受试者的可见光视频和热红外视频；
S2、预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图；
S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
2.如权利要求1所述的同步检测方法，其特征在于，所述S2包括：
S21、根据所述可见光视频和热红外视频的图像序列，分别采用密集人脸对齐方法进行所述受试者的人脸检测与面部关键点标记；
S22、确定受试者人脸图像的若干感兴趣区域，分别提取所述可见光视频和热红外视频每一帧图像序列对应的iPPG信号；
S23、按照时间顺序拼接所述iPPG信号，获取所述第一时空特征图和第二时空特征图。
3.如权利要求1或者2所述的同步检测方法，其特征在于，所述S3中两个结构相同但参数不共享的神经网络是指：两个只保留了特征提取部分，舍弃池化层和全连接层Resnet-34网络。
4.如权利要求3所述的同步检测方法，其特征在于，所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块；
所述S4包括：
S41、定义
和
分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图，连接所述
和
依次输入所述两层深度可分离卷积层和激活函数层，获取当前层次对应的初步融合特征；
其中，
表示级联操作，
表示哈达玛积；DSC_t表示第t层深度可分离卷积，t取1或者2；ReLU表示激活函数；fm_msm表示依次经过模态注意和空间注意之后的初步融合特征；
S42、将所述初步融合特征输入所述压缩和激励网络模块，获取当前层次对应的所述融合特征；
fm_mscm＝fm_msm×SE(fm_msm)
其中，SE为所述压缩和激励网络模块；fm_mscm为经过通道加权后的所述融合特征。
5.如权利要求4所述的同步检测方法，其特征在于，所述S5包括：
对于任意任务u，定义该任务u在第m层注意力模块中的注意力遮罩表示为
计算第m层注意力模块中输出任务相关特征：
其中，
均为带有批正则化和非线性激活层的卷积块；
和
用于生成注意力遮罩；
的激活函数为sigmoid，用于确保生成的注意力遮罩
如果
那么注意力遮罩遮罩变为一个一致映射，子任务采用全部融合特征。
6.如权利要求5所述的同步检测方法，其特征在于，所述S6中多层次融合特征表示为：
其中，Conv、fl均为带有卷积层、批正则化和非线性激活层的操作块；M表示注意力模块的总层数。
7.如权利要求3所述的同步检测方法，其特征在于，所述多任务网络架构包括3个子任务网络，分别对应于回归预测心率、血压和呼吸率3个子任务。
8.一种非接触式多生理参数的同步检测系统，其特征在于，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测系统包括：
采集模块，用于分别采集受试者的可见光视频和热红外视频；
预处理模块，用于预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图
提取模块，用于将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；
融合模块，用于将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；
学习模块，用于将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；
预测模块，用于将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。
9.一种存储介质，其特征在于，其存储有用于非接触式多生理参数的同步检测的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的同步检测方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的同步检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176718.0A CN114694211B (zh) | 2022-02-24 | 2022-02-24 | 非接触式多生理参数的同步检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176718.0A CN114694211B (zh) | 2022-02-24 | 2022-02-24 | 非接触式多生理参数的同步检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114694211A true CN114694211A (zh) | 2022-07-01 |
| CN114694211B CN114694211B (zh) | 2024-04-19 |
Family
ID=82137261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210176718.0A Active CN114694211B (zh) | 2022-02-24 | 2022-02-24 | 非接触式多生理参数的同步检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114694211B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316458A (zh) * | 2023-11-27 | 2023-12-29 | 吾征智能技术(北京)有限公司 | 疾病风险评估方法、装置、存储介质及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103584919A (zh) * | 2013-11-12 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 多模态生物信号同步检测系统及方法 |
| US20170046567A1 (en) * | 2015-04-16 | 2017-02-16 | California Institute Of Technology | Systems and Methods for Behavior Detection Using 3D Tracking and Machine Learning |
| CN111325108A (zh) * | 2020-01-22 | 2020-06-23 | 中能国际建筑投资集团有限公司 | 一种多任务网络模型及使用方法、装置、和存储介质 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| CN112057059A (zh) * | 2020-09-14 | 2020-12-11 | 中国刑事警察学院 | 基于多模态生理数据的心理压力智能采集测试分析系统 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113283529A (zh) * | 2021-06-08 | 2021-08-20 | 南通大学 | 一种面向多模态图像能见度检测的神经网络构建方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| US20220007950A1 (en) * | 2020-07-08 | 2022-01-13 | Nec Corporation Of America | Sensor fusion for measurement of physiological parameters |
-
2022
- 2022-02-24 CN CN202210176718.0A patent/CN114694211B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103584919A (zh) * | 2013-11-12 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 多模态生物信号同步检测系统及方法 |
| US20170046567A1 (en) * | 2015-04-16 | 2017-02-16 | California Institute Of Technology | Systems and Methods for Behavior Detection Using 3D Tracking and Machine Learning |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN111325108A (zh) * | 2020-01-22 | 2020-06-23 | 中能国际建筑投资集团有限公司 | 一种多任务网络模型及使用方法、装置、和存储介质 |
| US20220007950A1 (en) * | 2020-07-08 | 2022-01-13 | Nec Corporation Of America | Sensor fusion for measurement of physiological parameters |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112057059A (zh) * | 2020-09-14 | 2020-12-11 | 中国刑事警察学院 | 基于多模态生理数据的心理压力智能采集测试分析系统 |
| CN113283529A (zh) * | 2021-06-08 | 2021-08-20 | 南通大学 | 一种面向多模态图像能见度检测的神经网络构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 严娟;方志军;高永彬;: "结合混合域注意力与空洞卷积的3维目标检测", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) * |
| 雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316458A (zh) * | 2023-11-27 | 2023-12-29 | 吾征智能技术(北京)有限公司 | 疾病风险评估方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114694211B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| Chen et al. | Deepphys: Video-based physiological measurement using convolutional attention networks | |
| Chaichulee et al. | Cardio-respiratory signal extraction from video camera data for continuous non-contact vital sign monitoring using deep learning | |
| Achilles et al. | Convolutional neural networks for real-time epileptic seizure detection | |
| US9456131B2 (en) | Video processing systems and methods | |
| CN112381011B (zh) | 基于人脸图像的非接触式心率测量方法、系统及装置 | |
| US20140300758A1 (en) | Video processing systems and methods | |
| Li et al. | Non-contact PPG signal and heart rate estimation with multi-hierarchical convolutional network | |
| CN115024706A (zh) | 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法 | |
| Park et al. | Self-supervised rgb-nir fusion video vision transformer framework for rppg estimation | |
| CN113435236A (zh) | 居家老人姿态检测方法、系统、存储介质、设备及应用 | |
| Kang et al. | Transppg: Two-stream transformer for remote heart rate estimate | |
| Ding et al. | Noncontact multiphysiological signals estimation via visible and infrared facial features fusion | |
| Jaiswal et al. | rPPG-FuseNet: Non-contact heart rate estimation from facial video via RGB/MSR signal fusion | |
| Tao et al. | 3D convolutional neural network for home monitoring using low resolution thermal-sensor array | |
| CN117694845B (zh) | 基于融合特征增强的非接触式生理信号检测方法及装置 | |
| Maity et al. | RobustPPG: camera-based robust heart rate estimation using motion cancellation | |
| Wu et al. | Anti-jamming heart rate estimation using a spatial–temporal fusion network | |
| CN114694211A (zh) | 非接触式多生理参数的同步检测方法和系统 | |
| CN114841399A (zh) | 基于音视频多模态特征融合的人格画像生成方法和系统 | |
| Li et al. | Channel-wise interactive learning for remote heart rate estimation from facial video | |
| Sun et al. | ViT-rPPG: a vision transformer-based network for remote heart rate estimation | |
| CN117056786A (zh) | 非接触式应激状态识别方法与系统 | |
| Mirabet-Herranz et al. | Deep learning for remote heart rate estimation: A reproducible and optimal state-of-the-art framework | |
| Kuang et al. | Shuffle-rPPGNet: Efficient network with global context for remote heart rate variability measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |