CN111728602A - 基于ppg的无接触血压测量装置 - Google Patents
基于ppg的无接触血压测量装置 Download PDFInfo
- Publication number
- CN111728602A CN111728602A CN202010847461.8A CN202010847461A CN111728602A CN 111728602 A CN111728602 A CN 111728602A CN 202010847461 A CN202010847461 A CN 202010847461A CN 111728602 A CN111728602 A CN 111728602A
- Authority
- CN
- China
- Prior art keywords
- face
- blood pressure
- key
- facial
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036772 blood pressure Effects 0.000 title claims abstract description 58
- 230000001815 facial effect Effects 0.000 claims abstract description 47
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000035487 diastolic blood pressure Effects 0.000 claims abstract description 9
- 230000035488 systolic blood pressure Effects 0.000 claims abstract description 9
- 238000012935 Averaging Methods 0.000 claims abstract description 7
- 238000009530 blood pressure measurement Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 210000003467 cheek Anatomy 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000004373 mandible Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract 1
- 230000017531 blood circulation Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010020772 Hypertension Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 208000023516 stroke disease Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Vascular Medicine (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种基于PPG的无接触血压测量装置。该装置包括：信号获取模块，用于获取人脸原始的面部光电容积脉搏波；预处理模块，用于对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；人脸关键区域识别模块，用于提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；血压特征推理模块，用于将时域信号输入到训练好的LSTM神经网络推理模型中，得到血压值，其中血压值包括收缩压和舒张压。本发明利用面部光电容积脉搏波的时域信号输入LSTM神经网络，可获得高精度的血压估计值，实现无感知血压检测。
Description
技术领域
本发明属于非接触式生理信号检测领域，尤其涉及一种基于PPG（面部光电容积脉搏波描记法，简称PPG）的无接触血压测量装置。
背景技术
人体的血压值是具有重要临床意义的生命体征之一。高血压是我国人群脑卒中及冠心病发病及死亡的主要危险因素。目前我国有高血压患者2.7亿人，18岁及以上居民高血压患病率为25.2%，并呈现上升趋势，严重威胁到我国居民的健康。因此积极预防和控制高血压是遏制我国心脑血管病流行的核心策略，其中对人体血压值波动的长期持续监测在临床医疗、健康管理等领域具有至关重要的作用。
从血压采集方式上来看，目前血压信号的采集包括接触式采集和非接触式采集。传统的接触式采集方式主要基于袖带式血压计。这种血压采集方式虽然精度较高且相对稳定，但由于存在佩戴不舒适、需要专业的技术人员进行手动操作、使用起来耗时等问题不适合在家庭中的长期使用。得益于近年来集成电路、微电子技术、成像技术以及信号处理技术的发展，非接触式人体心血管系统生理参采集则也得到了技术上的创新。特别是基于视频这种可以更有效地实现无接触感知的新模式受到了广泛的关注。该技术可通过非接触式的视频传感器，例如网络摄像头、智能手机摄像头等，实现人体微弱血流容积信号的采集、特征提取、识别以及诊断等功能。其主要原理是基于光电容积脉搏波描记法（简称PPG），即由于血液和其他组织成分对不同频段的光吸收程度不同，使得血液本身在血管中的血液容积量会随着心脏的搏动而发生变化，因此在心脏收缩和舒张的过程中，血液对光的吸收量也会随心脏收缩呈现出周期性的脉搏波动。这种波动反应在视频传感器所接受到的信号变化即为PPG信号。通过光传感器对一段时间内人体皮肤表面被测部位反射光线的变化情况进行连续采集，可以直接提取出PPG信号，最后重建脉搏波、心率、血氧饱和度生理参数值。
然而目前基于面部PPG信号重建血压值的相关应用主要是通过信号之间的相位差计算，通过面部非接触式的PPG信号重建血压的还非常少，特别是利用脸部多个区域的PPG波形推算血压值。例如公开号CN110090010A （一种非接触视血压测量方法及系统），该方法利用面部两个不用位置区域的PPG信号的相位差推算血压。这种方法由于需要计算信号间时滞，且脉搏波传输速率较快，因此对区域的选取、信噪分离、以及视频采集速率的要求非常高。例如公开号CN110706826A（一种基于视频图像的非接触式的实时多人心率和血压测量方法）中，利用全脸肤色图像PPG的二阶微分作为血压计算特征。
由于人的面部PPG信号在面部存在流动特征，该特征与人的血压有关，因此提出一种非接触式利用面部多区域特征计算血压的算法将更大程度上提高血压的计算精确度。
发明内容
本发明实施例的目的是提供一种基于PPG的无接触血压测量装置，以解决现有存在的接触式血压测量不便的问题。
为实现上述目的，本发明实施例所采用的技术方案如下：
本发明实施例提供一种基于PPG的无接触血压测量装置，包括：
信号获取模块，用于获取人脸原始的面部光电容积脉搏波；
预处理模块，用于对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
人脸关键区域识别模块，用于提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
血压特征推理模块，用于将时域信号输入到训练好的LSTM神经网络推理模型中，得到血压值，其中血压值包括收缩压和舒张压。
进一步地，对所述面部光电容积脉搏波进行预处理，包括：
对所述面部光电容积脉搏波进行带通滤波。
进一步地，所述带通滤波选用数字滤波器。
进一步地，提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
通过人脸关键点检测，对人脸面部轮廓特征进行提取，并将关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分。
进一步地，通过人脸关键点检测，提取人脸面部轮廓关键点，将所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
利用Dlib库提取人脸面部轮廓68个关键点，根据所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域；
根据Dlib库中的68关键点，通过向内和向外插值的方法，对关键点进行扩充，并定位出人脸面部的关键区域位置，包括左右脸颊、眉毛、眼睛、下颌轮廓以及鼻子、嘴巴子区域。
进一步地，LSTM神经网络算法模型的训练包括：
获取人脸原始的面部光电容积脉搏波；
对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型。
进一步地，将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型，包括：
步骤（3-1），将每个关键区域的时域信号进行归一化后与对应的血压值输入到构建好的LSTM模型中；
步骤（3-2），利用梯度下降法最小化损失函数，训练模型，最终获得LSTM神经网络推理模型。
进一步地，在步骤（3-1）中，选择输入到LSTM模型的数据嵌入维度为n秒内的帧数，输出为二维数据，分别为收缩压（SBP）和舒张压（DBP），即：
其中，
为视频的采样率，
为第
个区域在t时刻的PPG值，
为面部关键区域个数；
对
时域信号做归一化，即对每个窗内的信号向量进行归一化；
在步骤（3-2）中，模型LSTM的损失函数为： 
其中，
为预测的血压值，
为实际的血压值，
为总的预测的数据数，
为小于0.1的正数，以防止出现log(0)的错误。
采用以上技术方案，具有以下技术效果：
1. 通过对每帧的图像进行实时检测及扩充面部关键点，避免由于头部运动或者面部肌肉运动产生的关键区域位置偏移。
2. 由于血压与血流传播速度具有一定的相关性。而在特定帧率下，血流传播速度与空间距离成正比。因此通过面部区域的划分，提取各个空间关键区域上的时域信号并作为血压预测的特征向量，可以增加面部血流容积信号的空间分布特征信息。
3. 由于LSTM可以很好地利用时序数据信息，挖掘时序数据中潜在的时间依赖性，因此更加适合用来做血压预测模型。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种基于PPG的无接触血压测量系统的框图；
图2为本发明的面部关键点检测示意图；
图3为本发明的面部区域分割图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
如图1所示，本实施例提供一种基于PPG的无接触血压测量装置，该装置包括：
信号获取模块901，用于获取人脸原始的面部光电容积脉搏波；
具体地，通过高速RGB或者红外摄像机对用户的面部进行信号采集。要求在利用本发明血压测量系统之前，需要使用的用户提前悉知测量要求，包括，尽量少佩戴会遮住面部的东西，例如口罩、围巾、遮挡严重的墨镜。采集环境中具有稳定的自然、人造光源（当使用RGB摄像机时）或者红外光源（当使用红外摄像机时），且保证面部可以均匀接受到光照并无口罩或者面具的遮挡。同时要求摄像机具有大于150帧/秒的视频捕获帧率。本发明的信号采集模块中的高速摄像机在使用过程中应该正对用户面部，保证全脸可以被清晰地拍摄。信号采集期间要求用户尽量避免头部或者身体的大幅度运动并保持光源尽可能稳定，一旦到达采集时间或者面部长期不能被采集到即停止面部视频采集。同时利用商用腕部血压仪每隔n秒测量并记录下用户手腕处的舒张压和收缩压（认为血压在n秒时段内保持不变）。
预处理模块903，用于对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
具体地，选取视频采集中的绿色通道（当使用RGB摄像机时）或者红外光通道（当使用红外摄像机时）数据通过网线存储于PC端，该数据即为原始的面部光电容积脉搏波。
对所述面部光电容积脉搏波进行预处理，包括：对所述面部光电容积脉搏波进行带通滤波。进一步地，所述带通滤波选用数字滤波器，带通范围为0.3-30Hz，并且观察采集的原始数据，以0.5s为一个窗，剔除被噪声干扰较多的信号窗片段。
人脸关键区域识别模块905，用于提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
具体地，每间隔一定时间利用Dlib库实现人脸关键点的检测。并且根据68个点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域；
其中，提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
通过人脸关键点检测，对人脸面部轮廓特征进行提取，并将关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分。
具体地，通过人脸关键点检测，提取人脸面部轮廓关键点，将所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
（2-1）利用Dlib库提取人脸面部轮廓关键点，根据所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，如图2所示。其中1-68号关键点通过Dlib库提取，69-83号关键点通过向内和向外插值获取；
（2-2）根据Dlib库中关键点，通过向内和向外插值的方法，对关键点进行扩充，并定位出人脸面部的关键区域位置，包括左右脸颊、眉毛、眼睛、下颌轮廓以及鼻子、嘴巴等子区域。为更好的提取面部血流特征，剔除鼻子、眼睛、嘴巴和眉毛这些无法提取血流信号的区域，仅留取左右前额、左右两颊、左右下颌处的区域作为信号的关键区域。如图3所示，共划分出25个面部关键区域。
最后，对每个关键区域内所有像素点的光电容积脉搏波信号进行空间上取均值，得到每个空间关键区域上的时域信号。
血压特征推理模块907，用于将时域信号输入到训练好的LSTM神经网络推理模型中，得到血压值，其中血压值包括收缩压和舒张压。
具体地，将每个关键区域的时域信号进行归一化后与对应的血压值输入到已经训练好的LSTM神经网络推理模型，得到舒张压和收缩压的预测值。
其中，LSTM神经网络算法模型的训练包括：
步骤S201，获取人脸原始的面部光电容积脉搏波；
步骤S203，对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
步骤S205，提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
步骤S207，将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型。
具体地，将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型，包括：
步骤（3-1），将每个关键区域的时域信号进行归一化后与对应的血压值输入到构建好的LSTM模型中；
步骤（3-2），利用梯度下降法最小化损失函数，训练模型，最终获得LSTM神经网络推理模型。
其中在步骤（3-1）中，选择输入到LSTM模型的数据嵌入维度为n秒内的帧数，输出为二维数据，分别为收缩压（SBP）和舒张压（DBP），即：
其中，
为视频的采样率，
为第
个区域在t时刻的PPG值，
为面部关键区域个数；
对
时域信号做归一化，即对每个窗内的信号向量进行归一化；
在步骤（3-2）中，模型LSTM的损失函数为： 
其中，
为预测的血压值，
为实际的血压值，
为总的预测的数据数，
为小于0.1的正数，以防止出现log(0)的错误。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于PPG的无接触血压测量装置，其特征在于，包括：
信号获取模块，用于获取人脸原始的面部光电容积脉搏波；
预处理模块，用于对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
人脸关键区域识别模块，用于提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
血压特征推理模块，用于将时域信号输入到训练好的LSTM神经网络推理模型中，得到血压值，其中血压值包括收缩压和舒张压。
2.根据权利要求1所述的一种基于PPG的无接触血压测量装置，其特征在于，对所述面部光电容积脉搏波进行预处理，包括：
对所述面部光电容积脉搏波进行带通滤波。
3.根据权利要求2所述的一种基于PPG的无接触血压测量装置，其特征在于，所述带通滤波选用数字滤波器。
4.根据权利要求1所述的一种基于PPG的无接触血压测量装置，其特征在于，提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
通过人脸关键点检测，对人脸面部轮廓特征进行提取，并将关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分。
5.根据权利要求4所述的一种基于PPG的无接触血压测量装置，其特征在于，通过人脸关键点检测，提取人脸面部轮廓关键点，将所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，包括：
利用Dlib库提取人脸面部轮廓68个关键点，根据所有关键点的最外侧4个顶点的坐标位置各向外延展15个像素点获取面部区域；
根据Dlib库中的68关键点，通过向内和向外插值的方法，对关键点进行扩充，并定位出人脸面部的关键区域位置，包括左右脸颊、眉毛、眼睛、下颌轮廓以及鼻子、嘴巴子区域。
6.根据权利要求1所述的一种基于PPG的无接触血压测量装置，其特征在于，LSTM神经网络算法模型的训练包括：
获取人脸原始的面部光电容积脉搏波；
对所述面部光电容积脉搏波进行预处理，获得面部光电容积脉搏波信号；
提取人脸关键点，获取面部区域，将人脸与背景信息分离后对面部区域进行关键区域划分，对每个关键区域的光电容积脉搏波信号取均值，得到每个空间关键区域上的时域信号；
将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型。
7.根据权利要求6所述的一种基于PPG的无接触血压测量装置，其特征在于，将时域信号和对应的血压值输入到构建好的LSTM模型中，进行训练，得到训练好的LSTM神经网络推理模型，包括：
步骤（3-1），将每个关键区域的时域信号进行归一化后与对应的血压值输入到构建好的LSTM模型中；
步骤（3-2），利用梯度下降法最小化损失函数，训练模型，最终获得LSTM神经网络推理模型。
8.根据权利要求7所述的一种基于PPG的无接触血压测量装置，其特征在于，在步骤（3-1）中，选择输入到LSTM模型的数据嵌入维度为n秒内的帧数，输出为二维数据，分别为收缩压（SBP）和舒张压（DBP），即：
其中，
为视频的采样率，
为第
个区域在t时刻的PPG值，
为面部关键区域个数；
对
时域信号做归一化，即对每个窗内的信号向量进行归一化；
在步骤（3-2）中，模型LSTM的损失函数为：
其中，
为预测的血压值，
为实际的血压值，
为总的预测的数据数，
为小于0.1的正数，以防止出现log(0)的错误。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010847461.8A CN111728602A (zh) | 2020-08-21 | 2020-08-21 | 基于ppg的无接触血压测量装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010847461.8A CN111728602A (zh) | 2020-08-21 | 2020-08-21 | 基于ppg的无接触血压测量装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111728602A true CN111728602A (zh) | 2020-10-02 |
Family
ID=72658691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010847461.8A Pending CN111728602A (zh) | 2020-08-21 | 2020-08-21 | 基于ppg的无接触血压测量装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111728602A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113456042A (zh) * | 2021-06-30 | 2021-10-01 | 浙江师范大学 | 一种基于3d cnn的无接触面部血压测量方法 |
| CN113827208A (zh) * | 2021-09-18 | 2021-12-24 | 西安奇点融合信息科技有限公司 | 基于人脸视频的非接触式血压测量设备 |
| CN114305364A (zh) * | 2022-01-05 | 2022-04-12 | 北京科技大学 | 基于毫米波雷达的血压检测方法、系统及设备 |
| US11311252B2 (en) | 2018-08-09 | 2022-04-26 | Covidien Lp | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
| US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| US11317828B2 (en) | 2016-02-19 | 2022-05-03 | Covidien Lp | System and methods for video-based monitoring of vital signs |
| US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
| US11510584B2 (en) | 2018-06-15 | 2022-11-29 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
| US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
| US11712176B2 (en) | 2018-01-08 | 2023-08-01 | Covidien, LP | Systems and methods for video-based non-contact tidal volume monitoring |
| CN117011244A (zh) * | 2023-07-07 | 2023-11-07 | 中国人民解放军西部战区总医院 | 一种腕部多光谱图像处理方法 |
| CN113670516B (zh) * | 2021-08-12 | 2024-02-09 | 之江实验室 | 基于光体积变化描记成像的按压位置定位和压力测量方法 |
| CN117649403A (zh) * | 2024-01-29 | 2024-03-05 | 吉林大学第一医院 | 视频衍生面部血流脉动定量评测方法、装置及设备 |
| US11937900B2 (en) | 2017-11-13 | 2024-03-26 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170367651A1 (en) * | 2016-06-27 | 2017-12-28 | Facense Ltd. | Wearable respiration measurements system |
| CN108697386A (zh) * | 2016-02-17 | 2018-10-23 | 纽洛斯公司 | 用于检测生理状态的系统和方法 |
| CN109117716A (zh) * | 2018-06-28 | 2019-01-01 | 众安信息技术服务有限公司 | 一种气质相似度获取方法及装置 |
| CN110191675A (zh) * | 2016-12-19 | 2019-08-30 | 纽洛斯公司 | 用于非接触式确定血压的系统和方法 |
| CN110507296A (zh) * | 2019-08-12 | 2019-11-29 | 重庆大学 | 一种基于lstm网络的急性低血压混合预警方法 |
| CN110532867A (zh) * | 2019-07-23 | 2019-12-03 | 浙江工业大学 | 一种基于黄金分割法的人脸图像聚类方法 |
| CN110705467A (zh) * | 2019-09-30 | 2020-01-17 | 广州海昇计算机科技有限公司 | 一种人脸表情识别方法、系统、装置和存储介质 |
| CN110755059A (zh) * | 2019-10-11 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种血压波形监测方法及装置 |
| US10638938B1 (en) * | 2015-06-14 | 2020-05-05 | Facense Ltd. | Eyeglasses to detect abnormal medical events including stroke and migraine |
| CN111248882A (zh) * | 2020-02-21 | 2020-06-09 | 乐普（北京）医疗器械股份有限公司 | 一种预测血压的方法和装置 |
| CN111386068A (zh) * | 2017-10-24 | 2020-07-07 | 纽洛斯公司 | 基于摄像机的压力测量系统与方法 |
| US20200221956A1 (en) * | 2015-06-14 | 2020-07-16 | Facense Ltd. | Smartglasses for detecting congestive heart failure |
-
2020
- 2020-08-21 CN CN202010847461.8A patent/CN111728602A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10638938B1 (en) * | 2015-06-14 | 2020-05-05 | Facense Ltd. | Eyeglasses to detect abnormal medical events including stroke and migraine |
| US20200221956A1 (en) * | 2015-06-14 | 2020-07-16 | Facense Ltd. | Smartglasses for detecting congestive heart failure |
| CN108697386A (zh) * | 2016-02-17 | 2018-10-23 | 纽洛斯公司 | 用于检测生理状态的系统和方法 |
| US20170367651A1 (en) * | 2016-06-27 | 2017-12-28 | Facense Ltd. | Wearable respiration measurements system |
| CN110191675A (zh) * | 2016-12-19 | 2019-08-30 | 纽洛斯公司 | 用于非接触式确定血压的系统和方法 |
| CN111386068A (zh) * | 2017-10-24 | 2020-07-07 | 纽洛斯公司 | 基于摄像机的压力测量系统与方法 |
| CN109117716A (zh) * | 2018-06-28 | 2019-01-01 | 众安信息技术服务有限公司 | 一种气质相似度获取方法及装置 |
| CN110532867A (zh) * | 2019-07-23 | 2019-12-03 | 浙江工业大学 | 一种基于黄金分割法的人脸图像聚类方法 |
| CN110507296A (zh) * | 2019-08-12 | 2019-11-29 | 重庆大学 | 一种基于lstm网络的急性低血压混合预警方法 |
| CN110705467A (zh) * | 2019-09-30 | 2020-01-17 | 广州海昇计算机科技有限公司 | 一种人脸表情识别方法、系统、装置和存储介质 |
| CN110755059A (zh) * | 2019-10-11 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种血压波形监测方法及装置 |
| CN111248882A (zh) * | 2020-02-21 | 2020-06-09 | 乐普（北京）医疗器械股份有限公司 | 一种预测血压的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| H. EMRAH TASLI等: "REMOTE PPG BASED VITAL SIGN MEASUREMENT USING ADAPTIVE FACIAL REGIONS", 《ICIP 2014》 * |
| MAYANK KUMAR 等: "DistancePPG: Robust non-contact vital signs monitoring using a camera", 《BIOMEDICAL OPTICS EXPRESS》 * |
| PENG SU 等: "Long-term Blood Pressure Prediction with Deep Recurrent Neural Networks", 《IEEE》 * |
| TANVEER, M.S等: "Cuffless Blood Pressure Estimation from Electrocardiogram and Photoplethysmogram Using Waveform Based ANN-LSTM Network", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12016674B2 (en) | 2016-02-19 | 2024-06-25 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| US11684287B2 (en) | 2016-02-19 | 2023-06-27 | Covidien Lp | System and methods for video-based monitoring of vital signs |
| US11317828B2 (en) | 2016-02-19 | 2022-05-03 | Covidien Lp | System and methods for video-based monitoring of vital signs |
| US11350850B2 (en) | 2016-02-19 | 2022-06-07 | Covidien, LP | Systems and methods for video-based monitoring of vital signs |
| US11937900B2 (en) | 2017-11-13 | 2024-03-26 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
| US11712176B2 (en) | 2018-01-08 | 2023-08-01 | Covidien, LP | Systems and methods for video-based non-contact tidal volume monitoring |
| US11547313B2 (en) | 2018-06-15 | 2023-01-10 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
| US11510584B2 (en) | 2018-06-15 | 2022-11-29 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
| US12016655B2 (en) | 2018-08-09 | 2024-06-25 | Covidien Lp | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
| US11311252B2 (en) | 2018-08-09 | 2022-04-26 | Covidien Lp | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
| US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
| US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| US11776146B2 (en) | 2019-01-28 | 2023-10-03 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
| CN112587153B (zh) * | 2020-12-08 | 2023-06-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
| CN112587153A (zh) * | 2020-12-08 | 2021-04-02 | 合肥工业大学 | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 |
| CN113303776B (zh) * | 2021-05-28 | 2024-02-09 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113456042A (zh) * | 2021-06-30 | 2021-10-01 | 浙江师范大学 | 一种基于3d cnn的无接触面部血压测量方法 |
| CN113670516B (zh) * | 2021-08-12 | 2024-02-09 | 之江实验室 | 基于光体积变化描记成像的按压位置定位和压力测量方法 |
| CN113827208A (zh) * | 2021-09-18 | 2021-12-24 | 西安奇点融合信息科技有限公司 | 基于人脸视频的非接触式血压测量设备 |
| CN114305364A (zh) * | 2022-01-05 | 2022-04-12 | 北京科技大学 | 基于毫米波雷达的血压检测方法、系统及设备 |
| CN114305364B (zh) * | 2022-01-05 | 2023-08-11 | 北京科技大学 | 基于毫米波雷达的血压检测方法、系统及设备 |
| CN117011244A (zh) * | 2023-07-07 | 2023-11-07 | 中国人民解放军西部战区总医院 | 一种腕部多光谱图像处理方法 |
| CN117011244B (zh) * | 2023-07-07 | 2024-03-22 | 中国人民解放军西部战区总医院 | 一种腕部多光谱图像处理方法 |
| CN117649403B (zh) * | 2024-01-29 | 2024-04-12 | 吉林大学第一医院 | 用于偏头痛的视频衍生面部血流脉动定量评测方法、装置及设备 |
| CN117649403A (zh) * | 2024-01-29 | 2024-03-05 | 吉林大学第一医院 | 视频衍生面部血流脉动定量评测方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111728602A (zh) | 基于ppg的无接触血压测量装置 | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| CN103908236B (zh) | 一种自动血压测量系统 | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| Gudi et al. | Efficient real-time camera based estimation of heart rate and its variability | |
| McDuff et al. | Fusing partial camera signals for noncontact pulse rate variability measurement | |
| CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及系统 | |
| Zhou et al. | The noninvasive blood pressure measurement based on facial images processing | |
| US20230005295A1 (en) | Non-contact facial blood pressure measurement method based on 3d cnn | |
| Qiao et al. | Revise: Remote vital signs measurement using smartphone camera | |
| Zhang et al. | Recent progress of optical imaging approaches for noncontact physiological signal measurement: A review | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| KR102123121B1 (ko) | 사용자의 신원 파악이 가능한 혈압 모니터링 방법 및 시스템 | |
| Suriani et al. | Non-contact facial based vital sign estimation using convolutional neural network approach | |
| Das et al. | Time–frequency learning framework for rPPG signal estimation using Scalogram-based feature map of facial video data | |
| Hu et al. | Study on Real-Time Heart Rate Detection Based on Multi-People. | |
| Mehta et al. | Tracking nostril movement in facial video for respiratory rate estimation | |
| Kuang et al. | Shuffle-rPPGNet: Efficient network with global context for remote heart rate variability measurement | |
| Bajraktari et al. | Methods of Contactless Blood Pressure Measurement: A Systematic Review | |
| CN114271800B (zh) | 一种办公环境下的非侵扰式连续血压监测方法及应用 | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| KR20230114085A (ko) | 비접촉식 심박수 측정 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| CN115245318A (zh) | 一种基于深度学习的有效ippg信号的自动识别方法 | |
| Hwang et al. | Phase-shifted remote photoplethysmography for estimating heart rate and blood pressure from facial video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |