CN116269285B - 一种非接触式常态化心率变异性估计系统 - Google Patents
一种非接触式常态化心率变异性估计系统 Download PDFInfo
- Publication number
- CN116269285B CN116269285B CN202211497685.6A CN202211497685A CN116269285B CN 116269285 B CN116269285 B CN 116269285B CN 202211497685 A CN202211497685 A CN 202211497685A CN 116269285 B CN116269285 B CN 116269285B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- face
- rate variability
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000000862 absorption spectrum Methods 0.000 claims abstract description 5
- 230000017531 blood circulation Effects 0.000 claims abstract description 5
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 210000005069 ears Anatomy 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 102000001554 Hemoglobins Human genes 0.000 claims description 3
- 108010054147 Hemoglobins Proteins 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 230000009894 physiological stress Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000000284 resting effect Effects 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 230000036541 health Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000035882 stress Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010007558 Cardiac failure chronic Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 235000016936 Dendrocalamus strictus Nutrition 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000004301 Sinus Arrhythmia Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000008822 capillary blood flow Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002182 neurohumoral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种非接触式常态化心率变异性估计系统，首先基于摄像头数据，测量人脸皮肤的吸收光谱，使用深度神经网络对面部区域进行像素级划分，然后通过选择有更多毛细血管的区域，完成对血管内血流的信息变化的测量，通过分别设计卷积滤波器和深度神经网络对信号进行去噪过滤，提取反映心跳的波形，最后通过分析功率谱和搏动周期，完成对心率和心率变异性指数的计算。本发明的方法可有效对面部光线进行均衡，有效地去除不良低频信号，提高估计的准确性与估计精度，能避免皮肤的遮挡部分，获得更好的采集区域，比传统无限信号训练样本滤波效果好，能有效提高基于非接触式监测设备的心率变异性检测的准确性，实现常态化健康监测。
Description
技术领域
本发明属于医疗技术领域，具体涉及一种非接触式常态化心率变异性估计系统。
背景技术
心率变异性（HRV）指的是心跳周期的不同变化，一般通过分析心电图（ECG）信号中的R波间隔获得。HRV反映了心脏本身的窦性心律失常程度以及神经体液因素和心房结之间相互作用的平衡。现有研究表明，心率变异是心血管疾病，如心脏猝死、冠心病、高血压和慢性心力衰竭等，以及慢性阻塞性肺病、糖尿病和其他疾病预后的预测因素，并能反映睡眠和精神压力状态等各种信息。心电图、指甲血氧仪等接触式心跳监测设备被广泛使用，特别是在医院，其好处是对生理健康指标检测的快速性和准确性。然而，长期接触人体的设备会带来很多不利影响，如设备的清洁和维护费用，人体体液对设备的腐蚀和老化等，这就大大降低了用户的检查频率。
在很多情况下，人们更愿意在工作、睡眠等真实场景中，在不知不觉中长期、实时地测量和管理自己的健康状况，从而使个性化的健康管理常态化。毛细血管血流与心脏跳动直接相关，而毛细血管中的血红蛋白会吸收一定频段的光。因此，摄像头可以作为非接触设备的测量载体，以人脸图像作为测量对象，通过对人脸图像的拍摄，可以提取心跳信号。
然而，在已有研究中，没有考虑到人脸的光线均匀性，同时使用的方法通常先定位人体的头部，然后定位人脸的关键点，再根据关键点将该区域划分为规则的形状。然而，人脸上存在各种遮挡物，如眼睛、刘海等，这对采集数据的质量有很大影响。此外，在对人脸进行采样时，人体不可能长时间保持静止，所以会引入大量的低频信号。由于在估计心率/心率变异性之前，通常要对心跳周期进行分析。然而，非接触式采集会引入大量的噪声，因此很难提取更真实的波形，导致心跳周期的误差很大。因此，需要开发一种非接触常态化心率变异性估计方法，综合考虑人脸光线特性、低频噪声等约束，提升医疗检测能力。
发明内容
为解决现有技术中存在的心率测算不精确的技术问题，本发明提出了一种非接触式常态化心率变异性估计系统。
本发明的技术方案为：一种非接触式常态化心率变异性估计系统，该系统包括：数据采集模块、像素级划分模块、均匀性计算模块、滤波模块、心率和心率变异性计算模块；
所述数据采集模块为摄像头，用于采集人脸图像；
所述像素级划分模块用于对面部区域进行像素级的划分，得到头发、鼻子、眼睛、耳朵、嘴巴、眉毛各自的所在区域，将面部区域去除头发、鼻子、眼睛、耳朵、嘴巴、眉毛剩余的区域作为人脸区域进行后续处理，具体方法为：
S11、基于摄像头采集到的人脸图像，采用深度学习结合像素级分类的方法定位人脸区域的每个像素；
S12、在步骤S11定位人脸像素的基础上，测量人脸皮肤的吸收光谱，计算可用的最大的人脸皮肤面积；
S13、设计基于混合损失函数的人脸区域采集模型，该人脸区域采集模型包括：主干网、融合网络、提升输出网络，所述主干网输入为人脸图像，然后分为两条分支：细节分支和语义分支，所述语义分支的层数大于细节分支的层数；细节分支捕获low-level细节并生成高分辨率特征表示，语义分支获取高级语义上下文；然后通过融合网络对细节分支和语义分支的输出进行融合，融合后得到头部位置和面部区域像素级的划分，提升输入网络用于人脸区域采集模型训练时对语义分支中部分层的输出进行面部区域像素级的划分的损失判断；训练完毕后采用主干网络和融合网络对实际输入的人脸图像进行像素级划分；
人脸位置损失函数如下：
其中，N表示训练批量大小，Y表示人脸位置输出，T表示标签位置；
S14、脸部分割损失如下：
其中，M表示每张图像的像素数，j表示当前像素的分类， 表示单像素分类概率m，表示像素点序号；
S15、将步骤S13、S14中，脸部分割损失和人脸位置损失加权求和，得到总损失为：
其中，和表示超参数；
所述均匀性计算模块用于人脸区域光线的均匀性，测量血管内血流的信息变化，具体方法为：
S21、采用人脸区域的蓝光值来平衡血红蛋白吸收的绿光，具体公式如下：
其中， i表示采集区域像素的索引，表示这个像素的处理值，表示光平衡
权重， 表示绿色光谱的值，表示像素的蓝色光谱的值，表示采集区域的蓝色光
谱平均值， 表示用于控制光平衡补偿强度的超参数；
S22、在步骤S21基础上，计算关于时间序列t和的表达式， x表示
该采集区域的平均信号， S为采集区域中的像素数；而后，对每帧图像的采集区域进行聚
合，得到聚合信号，n表示采集窗口大小；
所述滤波模块的具体方法为：
S31、采用卷积滤波器对步骤2得到的聚合信号X进行卷积，而后将卷积后的聚合信号向后移5个坐标单位，使其与步骤1得到的信号对齐，得到对齐信号；
S32、从卷积后的聚合信号中减去步骤S31得到的对齐信号，得到一个新的信号如下：
其中，表示新信号，表示对齐信号，表示过滤后的信号；
S33、为了提升场景适应性，采用深度卷积神经网络的滤波器对步骤S32得到的信号进行重滤波，提取到心跳信息；
所述心率和心率变异性计算模块的具体方法为：
S41、基于步骤S3提取到的心跳信息进行自相关，然后使用快速傅里叶变换技术，计算得到心率的功率谱信息；
S42、将心率对应频率前后的h赫兹信号归零，然后用反傅里叶变换还原信号，得到原始波形信号；
S43、用神经网络滤波器对步骤S42中得到的原始波形信号进行过滤，以获得更好的波形信号，得到波形的峰值间隔即搏动的心跳周期，计算心率变异的相关参数，包括：间隔的标准差、连续差异的均方根、垂直于同一直线的图标准差、沿同一直线的图标准差、连续间隔的差异的标准差；
S44、根据步骤S43的参数计算心率变异性。
进一步的，所述步骤S42中h的确定方法为：事先确定目标静息心率在15秒内变化的范围，这个范围的边界为h赫兹。
进一步地，所述心率和心率变异性指数计算模块中还包括计算心率变异性指数和生理性应激指数之间的关系。
本发明的有益效果：本发明的方法首先基于摄像头数据，测量人脸皮肤的吸收光谱，使用深度神经网络对面部区域进行像素级划分，然后通过选择有更多毛细血管的区域，完成对血管内血流的信息变化的测量，通过分别设计卷积滤波器和深度神经网络对信号进行去噪过滤，提取反映心跳的波形，最后通过分析功率谱和搏动周期，完成对心率和心率变异性指数的计算。本发明的方法可有效对面部光线进行均衡，有效地去除不良低频信号，提高估计的准确性与估计精度，能避免皮肤的遮挡部分，获得更好的采集区域，比传统无限信号训练样本滤波效果好，能有效提高基于非接触式监测设备的心率变异性检测的准确性，实现常态化健康监测，提升医疗能力。
附图说明
图1为本发明的一种非接触式常态化心率变异性估计系统的框图。
图2为本发明实施例中具体实施方式的示意图。
图3为本发明实施例中步骤1的像素级划分示意图。
图4为本发明实施例中步骤3的基于深度卷积神经网络的滤波器示意图。
图5为本发明实施例中步骤4的心率的功率谱信息图；
图6为本发明实施结果的散点图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明的一种非接触式常态化心率变异性估计系统框图，包括数据采集模块、像素级划分模块、均匀性计算模块、滤波模块、心率和心率变异性指数计算模块；
图2为本发明实施例中具体实施方式的示意图，包括数据采集与像素级划分、均衡计算与滤波、信号分析，其中均衡计算与滤波包括卷积滤波和神经网络滤波，信号分析包括心率计算和心率变异性计算；
所述心率和心率变异性计算的具体方法为：
S41、基于步骤S3提取到的心跳信息进行自相关，而后使用快速傅里叶变换技术，计算得到心率的功率谱信息，而后根据功率谱最大功率得到最大心率；
S42、将心率对应频率前后的h赫兹信号归零，然后用反傅里叶变换还原信号，得到原始波形信号；
S43、用神经网络滤波器对步骤S42中得到的原始波形信号进行过滤，以获得更好的波形信号，得到波形的峰值间隔即搏动的心跳周期，实现计算心率变异的相关参数，包括间隔的标准差、连续差异的均方根、垂直于同一直线的图标准差、沿同一直线的图标准差、连续间隔的差异的标准差；
S44、计算心率变异性。
图3为本发明实施例中步骤1的像素级划分示意图；
主杆网络包括：一个细节分支(Detail Branch)，具有宽通道和浅层，以捕获low-level细节并生成高分辨率特征表示；语义分支(Semantic Branch)，具有狭窄的通道和较深的层，以获取高级语义上下文。由于减少了信道容量和快速下采样策略，语义分支是轻量级的。
融合网络为一个引导聚合层(Bilateral Guided Aggregation Layer)，以增强相互连接并融合两种类型的要素表示。
提升输出网络为一种增强训练策略来提高分割性能，而无需任何额外的推理成本；
说明：Detail Branch是上面部分结构，Semantic Branch分支是下面部分结构。opr是操作算子，k是卷积核，c是图像通道，s是卷积步长，r是算子重复层数。
图4为本发明实施例中步骤3的基于深度卷积神经网络的滤波器示意图，具体滤波方法为：
S31、采用卷积滤波器对步骤2得到的聚合信号X进行卷积，而后将卷积后的聚合信号向后移5个坐标单位，使其与步骤1得到的信号对齐，得到对齐信号；
S32、从卷积后的聚合信号中减去步骤S31得到的对齐信号，得到一个新的信号如下：
S33、为了提升场景适应性，采用深度卷积神经网络的滤波器对步骤S32得到的信号进行重滤波，提取到心跳信息。
图5为本发明实施例中步骤4的心率的功率谱信息图，从图5中可以看出本发明具有良好的可操作性。
基于本发明系统和对应的处理方法，实现非接触式常态化的心率和心率变异性估
计，分析心率和心率变异性，得到心率变异性指数和生理性应激指数之间的关系，使用了神
经网络滤波器滤波，能得到较好的波形信号，寻找出波形的峰值间隔，有了这个间隔，
计算HRV相关参数。
在本实施例中采用了对整个面部皮肤进行语义分割，所以采集的信息量大，更准确，鲁棒性更好，本实施例中还采用训练了深度神经网络滤波，在效果和稳定性上都有很大的提升。
采集数据的时候，同时使用ECG设备连接到一款叫vitalscan软件上，该软件是一款流行的HRV心率变异性分析软件。通过软件采集出当前的心理压力指标，并同计算的一些HRV值进行相关性分析，结果如图6；图6中做了4个散点图，其中横坐标是本发明计算的HRV指标，纵坐标是vitalscan软件算出的心理压力值。从图6中可以看到，这几个指标明显有2次函数规律，从而证明了本发明提取的波形的确是有效的。
如下表1是使用本发明的过滤网络和不使用本发明过滤网络信噪比对比实验：
表1
如下表2是算法和指尖血氧仪对比实验；
表2
综上，图6、表1、表2可以看出，本发明提供的方法首先基于摄像头数据，测量人脸皮肤的吸收光谱，使用深度神经网络对面部区域进行像素级划分，然后通过选择有更多毛细血管的区域，完成对血管内血流的信息变化的测量，通过分别设计卷积滤波器和深度神经网络对信号进行去噪过滤，提取反映心跳的波形，最后通过分析功率谱和搏动周期，完成对心率和心率变异性指数的计算。本发明的方法可有效对面部光线进行均衡，有效地去除不良低频信号，提高估计的准确性与估计精度，能避免皮肤的遮挡部分，获得更好的采集区域，比传统无限信号训练样本滤波效果好，能有效提高基于非接触式监测设备的心率变异性检测的准确性，实现常态化健康监测，提升医疗能力。
Claims (3)
1.一种非接触式常态化心率变异性估计系统，其特征在于，该系统包括：数据采集模块、像素级划分模块、均匀性计算模块、滤波模块、心率和心率变异性计算模块；
所述数据采集模块为摄像头，用于采集人脸图像；
所述像素级划分模块用于对面部区域进行像素级的划分，得到头发、鼻子、眼睛、耳朵、嘴巴、眉毛各自的所在区域，将面部区域去除头发、鼻子、眼睛、耳朵、嘴巴、眉毛剩余的区域作为人脸区域进行后续处理，具体方法为：
S11、基于摄像头采集到的人脸图像，采用深度学习结合像素级分类的方法定位人脸区域的每个像素；
S12、在步骤S11定位人脸像素的基础上，测量人脸皮肤的吸收光谱，计算可用的最大的人脸皮肤面积；
S13、设计基于混合损失函数的人脸区域采集模型，该人脸区域采集模型包括：主干网、融合网络、提升输出网络，所述主干网输入为人脸图像，然后分为两条分支：细节分支和语义分支，所述语义分支的层数大于细节分支的层数；细节分支捕获low-level细节并生成高分辨率特征表示，语义分支获取高级语义上下文；然后通过融合网络对细节分支和语义分支的输出进行融合，融合后得到头部位置和面部区域像素级的划分，提升输入网络用于人脸区域采集模型训练时对语义分支中部分层的输出进行面部区域像素级的划分的损失判断；训练完毕后采用主干网络和融合网络对实际输入的人脸图像进行像素级划分；
人脸位置损失函数Lpos如下：
其中，N表示训练批量大小，Y表示人脸位置输出，T表示标签位置；
S14、脸部分割损失Lseg如下：
其中，M表示每张图像的像素数，j表示当前像素的分类，pj表示单像素分类概率，m表示像素点序号；
S15、将步骤S13、S14中，脸部分割损失和人脸位置损失加权求和，得到总损失为：
L＝αLpos+βLseg (3)
其中，α和β表示超参数；
所述均匀性计算模块用于人脸区域光线的均匀性，测量血管内血流的信息变化，具体方法为：
S21、采用人脸区域的蓝光值来平衡血红蛋白吸收的绿光，具体公式如下：
其中，i表示采集区域像素的索引，mi表示这个像素的处理值，表示光平衡权重，表示绿色光谱的值，bi表示像素的蓝色光谱的值，μ表示采集区域的蓝色光谱平均值，γ表示用于控制光平衡补偿强度的超参数；
S22、在步骤S21基础上，计算关于时间序列t和mi的表达式x表示该采集区域的平均信号，S为采集区域中的像素数；而后，对每帧图像的采集区域进行聚合，得到聚合信号X＝xt-n，xt-n+1，xt-n+2，...，xt，n表示采集窗口大小；
所述滤波模块的具体方法为：
S31、采用卷积滤波器对步骤2得到的聚合信号X进行卷积，而后将卷积后的聚合信号向后移5个坐标单位，使其与步骤1得到的信号对齐，得到对齐信号；
S32、从卷积后的聚合信号中减去步骤S31得到的对齐信号，得到一个新的信号如下：
Znew＝Xsource-Xfilter＝{Zt-n+1，Zt-n+2，...，Zt} (5)
其中，Znew表示新信号，Xsource表示对齐信号，Xfilter表示过滤后的信号；
S33、为了提升场景适应性，采用深度卷积神经网络的滤波器对步骤S32得到的信号进行重滤波，提取到心跳信息；
所述心率和心率变异性计算模块的具体方法为：
S41、基于步骤S3提取到的心跳信息进行自相关，然后使用快速傅里叶变换技术，计算得到心率的功率谱信息；
S42、将心率对应频率前后的h赫兹信号归零，然后用反傅里叶变换还原信号，得到原始波形信号；
S43、用神经网络滤波器对步骤S42中得到的原始波形信号进行过滤，以获得更好的波形信号，得到波形的峰值间隔即搏动的心跳周期，计算心率变异的相关参数，包括：间隔的标准差、连续差异的均方根、垂直于同一直线的图标准差、沿同一直线的图标准差、连续间隔的差异的标准差；
S44、根据步骤S43的参数计算心率变异性。
2.如权利要求1所述的一种非接触式常态化心率变异性估计系统，其特征在于，所述步骤S42中h的确定方法为：事先确定目标静息心率在15秒内变化的范围，这个范围的边界为h赫兹。
3.如权利要求1所述的一种非接触式常态化心率变异性估计系统，其特征在于，所述心率和心率变异性指数计算模块中还包括计算心率变异性指数和生理性应激指数之间的关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497685.6A CN116269285B (zh) | 2022-11-28 | 2022-11-28 | 一种非接触式常态化心率变异性估计系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211497685.6A CN116269285B (zh) | 2022-11-28 | 2022-11-28 | 一种非接触式常态化心率变异性估计系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116269285A CN116269285A (zh) | 2023-06-23 |
| CN116269285B true CN116269285B (zh) | 2024-05-28 |
Family
ID=86785728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211497685.6A Active CN116269285B (zh) | 2022-11-28 | 2022-11-28 | 一种非接触式常态化心率变异性估计系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116269285B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180067025A (ko) * | 2016-12-12 | 2018-06-20 | 광주과학기술원 | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 |
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
| CN109044322A (zh) * | 2018-08-29 | 2018-12-21 | 北京航空航天大学 | 一种非接触式心率变异性测量方法 |
| CN111345803A (zh) * | 2020-03-20 | 2020-06-30 | 浙江大学城市学院 | 一种基于移动设备摄像头的心率变异性测量方法 |
| CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
| CN113349752A (zh) * | 2021-05-08 | 2021-09-07 | 电子科技大学 | 一种基于传感融合的可穿戴设备实时心率监测方法 |
| CN114495213A (zh) * | 2022-01-11 | 2022-05-13 | 南京邮电大学 | 基于人脸视频的心率估计方法及装置 |
| CN114596963A (zh) * | 2022-03-29 | 2022-06-07 | 贵州师范大学 | 基于稀疏结构表示的远程非接触式心率估计方法、系统及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8843197B2 (en) * | 2011-03-16 | 2014-09-23 | Pacesetter, Inc. | Method and system to correct contractility based on non-heart failure factors |
| US20210386307A1 (en) * | 2017-09-15 | 2021-12-16 | University Of Maryland, College Park | System and method for heart rate measurement using facial video |
| IT201900000133A1 (it) * | 2019-01-07 | 2020-07-07 | St Microelectronics Srl | "Procedimento di elaborazione di immagini, sistema, veicolo e prodotto informatico corrispondenti" |
| CN111612010A (zh) * | 2020-05-21 | 2020-09-01 | 京东方科技集团股份有限公司 | 图像处理方法、装置、设备以及计算机可读存储介质 |
-
2022
- 2022-11-28 CN CN202211497685.6A patent/CN116269285B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180067025A (ko) * | 2016-12-12 | 2018-06-20 | 광주과학기술원 | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 |
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
| CN109044322A (zh) * | 2018-08-29 | 2018-12-21 | 北京航空航天大学 | 一种非接触式心率变异性测量方法 |
| CN111345803A (zh) * | 2020-03-20 | 2020-06-30 | 浙江大学城市学院 | 一种基于移动设备摄像头的心率变异性测量方法 |
| CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
| CN113349752A (zh) * | 2021-05-08 | 2021-09-07 | 电子科技大学 | 一种基于传感融合的可穿戴设备实时心率监测方法 |
| CN114495213A (zh) * | 2022-01-11 | 2022-05-13 | 南京邮电大学 | 基于人脸视频的心率估计方法及装置 |
| CN114596963A (zh) * | 2022-03-29 | 2022-06-07 | 贵州师范大学 | 基于稀疏结构表示的远程非接触式心率估计方法、系统及设备 |
Non-Patent Citations (5)
| Title |
|---|
| Non-contact heart rate and heart rate variability measurements:A review;J. Kranjec;Biomedical Signal Processing and Control;20140504;全文 * |
| Noncontact Heart Rate Measurement Using a Webcam, Based on Joint Blind Source Separation and a Skin Reflection Model: For a Wide Range of Imaging Conditions;Boyuan Zhang;Journal of Sensors;20210714;第2021卷;全文 * |
| 一种基于SVM和主动学习的图像检索方法;王新建;罗光春;秦科;陈爱国;赖云一;;计算机应用研究;20161231(12);全文 * |
| 基于数学形态学的心电信号R波检测算法;田絮资;杨建;黄力宇;;现代电子技术;20101115(22);全文 * |
| 非接触式心率测量研究初步;冯军;汤文明;曹剑剑;余瑛;;中国生物医学工程学报;20171020(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116269285A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Robust blood pressure estimation using an RGB camera | |
| Gudi et al. | Efficient real-time camera based estimation of heart rate and its variability | |
| CN112233813A (zh) | 一种基于ppg的非接触式无创心率呼吸测量方法及系统 | |
| CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
| Carbonaro et al. | Wearable biomonitoring system for stress management: A preliminary study on robust ECG signal processing | |
| Chang et al. | Deepheart: accurate heart rate estimation from PPG signals based on deep learning | |
| Qiao et al. | Revise: Remote vital signs measurement using smartphone camera | |
| US20230000376A1 (en) | System and method for physiological measurements from optical data | |
| CN112001862B (zh) | 消除视频心冲击信号运动噪声的非接触式视心率检测方法 | |
| JP2023116614A (ja) | 心血管パラメータを決定するための方法及びシステム | |
| CN116269285B (zh) | 一种非接触式常态化心率变异性估计系统 | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Zhang et al. | Intelligent method of non-invasive detection and grading of hypertension using fingertip photoplethysmography | |
| Zhuang et al. | Remote blood pressure measurement via spatiotemporal mapping of a short-time facial video | |
| Mao et al. | Motion Artifact Reduction In Photoplethysmography For Reliable Signal Selection | |
| Panigrahi et al. | Video-based HR measurement using adaptive facial regions with multiple color spaces | |
| Mangathayaru et al. | Heart rate variability for predicting coronary heart disease using photoplethysmography | |
| CN113706413B (zh) | 一种获取眼底光电体积描记信号的方法 | |
| US20230148880A1 (en) | Method and system for determining cardiovascular parameters | |
| JP2023545426A (ja) | 光学データによる血中アルコール測定値のためのシステム及び方法 | |
| Wu et al. | To Investigate the Feasibility of Palm-Video-Based IPPG Technique | |
| Castellano Ontiveros | A machine learning based methodology to construct remote photoplethysmogram signals | |
| Bach et al. | Human heart rate monitoring based on facial video processing | |
| CN114869259A (zh) | 一种基于GP-XGBoost的非接触式心率测量方法 | |
| CN116439680A (zh) | 一种基于人脸视频的非接触式血压测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |