CN116327152A - 一种远程非接触式心率检测系统及方法 - Google Patents
一种远程非接触式心率检测系统及方法 Download PDFInfo
- Publication number
- CN116327152A CN116327152A CN202211607519.7A CN202211607519A CN116327152A CN 116327152 A CN116327152 A CN 116327152A CN 202211607519 A CN202211607519 A CN 202211607519A CN 116327152 A CN116327152 A CN 116327152A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- module
- reasoning
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000010586 diagram Methods 0.000 claims abstract description 46
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000008280 blood Substances 0.000 claims description 15
- 210000004369 blood Anatomy 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000013186 photoplethysmography Methods 0.000 claims description 10
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000001020 rhythmical effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 10
- 238000012880 independent component analysis Methods 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- YLOCGHYTXIINAI-XKUOMLDTSA-N (2s)-2-amino-3-(4-hydroxyphenyl)propanoic acid;(2s)-2-aminopentanedioic acid;(2s)-2-aminopropanoic acid;(2s)-2,6-diaminohexanoic acid Chemical compound C[C@H](N)C(O)=O.NCCCC[C@H](N)C(O)=O.OC(=O)[C@@H](N)CCC(O)=O.OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 YLOCGHYTXIINAI-XKUOMLDTSA-N 0.000 description 1
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 108010072051 Glatiramer Acetate Proteins 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 1
- 206010040851 Skin fragility Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 229940042385 glatiramer Drugs 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000002496 oximetry Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000001013 sinoatrial node Anatomy 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及心率检测技术领域，尤其涉及一种远程非接触式心率检测系统及方法。方法包括：采集用户的视频数据；对所述视频数据中的每一帧图像进行ROI区域定位；使用Fast‑ICA根据所有帧图像的ROI区域提取出rPPG时序信号；使用GADF将rPPG时序信号编码形成二维特征图像；通过神经网络模型完成心率值的推理。本发明采用传统图像处理与深度学习相结合的方式来从人脸视频中获取心率值，获取的心率值精度更高；使用深度学习中热力图的方式得到人脸特征点，检测速度快、精度高，此外不仅特征点的个数与特征点在人脸中的位置可以按照自己的需求任意设定，并且不受识别对象年龄和肤色的影响和限制。
Description
技术领域
本发明涉及心率检测技术领域，尤其涉及一种远程非接触式心率检测系统及方法。
背景技术
心率是反映人体生理与心理健康状态的重要生命体征之一，密切地监测人体的心率变化能尽早发现和预防常见的心血管疾病。传统的心率检测方法基本上都是接触式方法，佩戴舒适性、使用成本以及对具有皮肤脆弱性的用户等都不是非常友好。
现有心率检测方法包括：血氧法、脉搏测量法、电极式心电图法、光电容积法、基于传统图像处理的远程光电容积脉搏波描记法。
1、血氧法
血氧饱和度仪器有2种发光二极管，一种发光二极管发出波长660nm的可见红光，另一种是波长940nm的红外线，血液中的氧合血红蛋白HbO2和血红蛋白Hb存在一定的比例，且两种血红蛋白对两种不同波长的光的吸收系数不同，故通过将血氧饱和度仪器的发光二极管夹在人体的半透明部位，计算测量期间两种光谱的吸收比率，从而得到血氧饱和度。血氧仪通过检测血氧饱和度的变化检测出动脉脉动，从而通过脉动节律计算心率值。
由于该方法属于透射式方法，要求人体检测部位的另外一侧接收到透射光信号才能正常运行，需要检测部位足够薄，人体全身合适的部位主要有手指和耳垂，使用范围及场景十分受限。此外，由于该方法采用接触式测量，测量过程中的舒适性亟待改善。
2、脉搏测量法
该方法是通过检测人体的脉搏获取心率值，待测量者需要保持放松并处于平躺或坐立状态，测量者需要将手或压力传感器放置在待测量者手腕处的桡动脉上，感受动脉压力规律性的涨落，统计1分钟内涨落的次数，即为心率值。
这种方法采用人工计算或血压计，不仅过程繁琐，测量时间长，结果偏差较大。此外，对于患有心脏疾病的人来说，一旦出现心律失常、房颤、早搏的现象，他们的脉搏和心跳就不完全一致，这个时候脉搏就会低于心率了，这种现象在临床上被称为脉搏短绌。另外，该方法不适合24h动态心率的检测。
3、电极式心电图法
该方法是通过窦房结有节律地电活动控制心脏收缩和舒张，从而向外周动脉泵血。心电信号从心脏逐渐扩散到体表，且传播速度很快，因此，可以通过皮肤表面的电信号实时检测心脏电活动。
这种方法需要多个体表电极片和专门的心电信号分析设备进行心率检测，这种检测方式对新生儿和皮肤脆弱的患者并不适用，此外长期使用接触式测量仪器可能会引起患者不适甚至引发皮肤疾病。
4、光电容积法
这种方法是追踪可见光(绿光)在人体组织中的反射。通常是有两个绿色LED向手腕发出可见光，然后中间有个光电传感器感应反射光。人体的皮肤，骨骼，肉，脂肪等对光的反射是固定值，而毛细血管和动脉静脉由于随着脉搏容积不停变大变小，所以对光的反射是波动值。这个波动的频率就是脉搏，一般也跟心率是一致的。
这种接触式方法常用于智能手表或智能手环等电子产品设备，这些检测设备的使用体验并不是特别好，因为很难把LED发射与接收装置长时间地以合适的方式固定在手腕皮肤表面，固定地太紧会造成血流不畅，固定地较松会影响测量结果精度，同时也很容易在剧烈运动时引起不适或疼痛。
5、基于传统图像处理的远程光电容积脉搏波描记法
现有较成熟的远程光电容积脉搏波描记法主要依据二色反射模型(Dichromaticreflection model，DRM)：摄像头捕捉由皮肤表面反射而来的环境光，包括漫反射和镜面反射。其中，镜面反射发生在入射光和皮肤的交界面，并不包含与生理信号有关的信息，而漫反射受到血流的影响。因而，利用传统图像与信号处理技术对摄像机捕获反射光形成的视频进行处理和分析，可以将漫反射信号分离出来，进而得到所需具有周期性波峰的远程光电容积脉搏波信号(remote Photoplethysmography，rPPG)，可以理解波峰间隔即是心跳间隔，因此，计算一段时间内波峰个数可以得到每分钟心跳数。
但是该方法不仅难以有效处理人脸视频中的运动伪影和环境光照明变换导致的干扰，从而导致检测结果的偏差较大，并且检测结果的精度很大程度取决于人脸感兴趣区域的选取精度，传统方法需要自定义这些区域的选择规则，很难在不同肤色、年龄段的人群中均有理想的检测效果。
为此，我们研发了一种远程非接触式心率检测系统及方法。
发明内容
本发明的目的是提供一种远程非接触式心率检测系统及方法，用于解决现有接触式心率检测方法和非接触式心率检测方法的不足：难以有效处理人脸视频中的运动伪影和环境光照明变换导致的干扰，从而导致检测结果的偏差较大的问题，本发明提供了基于远程光电容积脉搏波描记法、注意力机制和神经网络模型技术的心率检测，该方法可以实现远程的人体心率检测，操作舒适、简便且使用成本低，仅需要一个摄像头录制一段人脸视频即可快速、准确、非接触地检测出心率值。
为了实现上述目的，本发明采用了如下技术方案：
本发明提供一种远程非接触式心率检测方法，其特征在于，包括以下步骤：
S1.打开补光光源，并采集用户的视频数据；
S2.对所述视频数据中的每一帧图像进行ROI区域定位；
S3.使用Fast-ICA根据所有帧图像的ROI区域提取出rPPG时序信号；
S4.使用GADF将rPPG时序信号编码形成二维特征图像，作为心率信号的一种表示；
S5.通过神经网络模型完成心率值的推理。
进一步地，所述S2中，对对所述视频数据中的每一帧图像进行ROI区域定位，包括：
采取基于深度学习与热力图的人脸特征关键点识别算法检测获取人脸关键点，作为ROI区域，方法包括：
S21.根据自定义的人脸关键点区域对图像中的人脸进行特征点标注,而获取相应的(X,Y)特征点坐标；
S22.将相应的特征点坐标采用高斯滤波转换成热力图，其中热力图的宽W和高H的尺寸大小与原图一致，且越靠近关键点坐标的位置的像素值越大，反之越小；
S23.使用U-Net网络模型构建热力图预测回归模型,实现人脸关键点的预测；
S24.采用Adam优化器和MSE损失函数训练热力图预测回归模型，模型的输入是(H,W,3)的人脸图像，输出是(H,W,K)的热力图；
S25.采用训练好的热力图预测回归模型，从热力图中找到每个大小为(H,W)的单通道热力图矩阵中像素值最大的点坐标，即为模型推理出的人脸关键点坐标；
S26.根据推理出的人脸关键点坐标，构建出ROI区域。
进一步地，所述S3中使用Fast-ICA根据所有帧图像的ROI区域提取出rPPG时序信号，包括：
利用远程光电容积脉搏波描记法原理，从每一帧图像ROI区域的RGB颜色空间的三个信号通道中提取出表达血管中血容量节律性变化的rPPG信号，方法包括：
S31.提取各个时间ROI区域的三个信号通道的像素平均值，对于一个T帧的视频段则有三个长度为T的时间序列信号；
S32.将这三个时间序列信号作为输入的观察信号，通过线性变换将其分解成统计独立的非高斯信号源的线性组合，输出三路新的包含更多隐藏信息的时间序列；
S33.选择三路包含更多隐藏信息的时间序列中信噪比最高和脉搏波还原度最好的信号为rPPG信号。
进一步地，所述S4中，使用GADF将rPPG时序信号编码形成二维特征图像，包括：
S41.将时序数据里每个值的范围缩放到[-1,1]，公式如下
其中，
表示缩放变换后时序信号第i个点的值、xi表示原时序信号第i个点的值、X表示原时序信号；
S42.将缩放后的序列数据转换到极坐标系，序列的每个数据点转换成夹角余弦值，时间步长转换成半径r，公式如下
其中，
表示夹角余弦值、ti表示时间步长、N表示时序信号采样点个数；
S43.根据不同点之间的角度差将长度为n的时序数据转换为大小为的Gram矩阵，公式如下
其中，Gram表示转换后的二维图像矩阵、
表示第n个点对应的夹角余弦值。
进一步地，所述S5中，通过神经网络模型完成心率值的推理，所述神经网络模型为LA-Res2Net，通过多个带有心率值标签的人脸视频数据集训练所得；
所述LA-Res2Net的训练阶段方法包括：
将数据集中所有人脸视频数据都经过数据预处理模块得到其对应的rPPG特征图像数据；
将所有的rPPG特征图像与相应的心率值HR标签投入神经网络模型LA-Res2Net，并采用RMSprop优化器和平均绝对误差损失函数训练模型。
本发明还提供一种远程非接触式心率检测系统，所述系统包括：
数据采集模块、数据预处理模块、心率推理模块和推理结果可视化模块；
所述数据采集模块用于录制用户的视频数据；
所述数据预处理模块包括：
ROI区域定位模块，用于获取所述视频数据中每一帧的ROI区域；
rPPG时序信号获取模块，用于通过Fast-ICA对所述视频数据中的ROI区域提取出表达血管中血容量节律性变化的rPPG时序信号；
rPPG特征图像编码模块，用于将所述rPPG时序信号转换成二维特征图像；
所述心率推理模块用于根据所述二维特征图像推理得到心率值；
所述推理结果可视化模块用于实现推理得到的心率值的可视化。
进一步地，所述数据采集模块由高清录像装置组成，所述数据采集模块还包括有光源模块和支架模块；
所述光源模块包括若干个补光光源，用于数据采集模块采集视频数据时进行补光；
所述支架模块用于托举和固定所述数据采集模块，所述支架模块还用于调节数据采集模块的高度、方位角和俯仰角。
进一步地，所述心率推理模块为LA-Res2Net神经网络模型；
所述LA-Res2Net神经网络模型的主体为粒度级残差结构FGA-Block，包括1个卷积层、2个池化层、4个FGA-Layer层、1个LSTM层和1个全连接层；
每个FGA-Layer层由多个FGA-Block串联组成；
所述FGA-Block中引入了CBAM注意力机制模块。
进一步地，所述CBAM注意力机制模块包括通道注意力模块和空间注意力模块；
所述通道注意力模块中，输入大小为H×W×C的特征图，在层维度上分别经过极大池化和平均池化处理，以获得表征全局信息的1×1×C向量，再将向量送到多层感知机以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘，其计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(X))) (4)
Yc＝Ac(X)·X (5)
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数；
所述空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行MaxPool和AvgPool处理,以产生两个代表不同信息的H×W×1特征图，然后两个代表不同信息的H×W×1特征图通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强.计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))])) (6)
Ys＝As(Yc)·Yc (7)
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
本发明至少具备以下有益效果：
(1)本发明与现有不成熟的基于图像处理的远程心率检测方法相比，采用传统图像处理与深度学习相结合的方式来从人脸视频中获取心率值，以实现两种技术的优势互补，最终获取的心率值精度更高；采用CBAM注意力机制能在空间和通道双重维度上使模型关注与当前任务相关的重要信息，相比普通的残差结构，本发明使用的粒度级残差结构以更细粒度的方式，产生多尺度感受野的组合，对特征信息有更深度的挖掘能力；LSTM能挖掘特征图中相对较长间隔的时序变化规律；使用深度学习中热力图的方式得到人脸特征点，检测速度快、精度高，此外不仅特征点的个数与特征点在人脸中的位置可以按照自己的需求任意设定，并且不受识别对象年龄和肤色的影响和限制。
(2)本发明与传统的接触式心率检测方法相比，本非接触式心率检测方法在新生儿健康检测、运动过程的心率跟踪时的心率监测方面都有着更好的适用性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的远程非接触式心率检测系统的结构框图。
图2为本发明提供的人脸关键点预测网络模型U-Net示意图。
图3为本发明提供的人脸ROI获取示意图。
图4为本发明提供的Fast-ICA方法提取rPPG信号的流程示意图。
图5为本发明提供的粒度级残差结构FGA-Block示意图。
图6为本发明提供的LA-Res2Net网络模型示意图。
图7为本发明提供的CBAM模块示意图。
图8为本发明提供的LSTM模块示意图。
图9为本发明提供的上位机软件界面。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例主要用于公开一种远程非接触式心率检测方法，步骤包括：
S1.打开补光光源，并采集用户的视频数据；
S2.对所述视频数据中的每一帧图像进行ROI区域定位；
具体的，关于人脸感兴趣ROI区域的定位，为采取基于深度学习与热力图的人脸特征关键点识别算法。相比基于CNN+全连接Dense网络模型的回归关键点坐标方法导致的空间泛化能力差、严重依赖训练数据的分布、容易过拟合等缺点，本发明不仅对关键点坐标的预测精度高，并且拥有空间泛化能力强的优点。
本发明基于热力图的人脸关键点检测方法如下：
第一步，根据自定义的人脸关键点区域(如额头、脸颊等)对图像中的人脸进行特征点标注而获取相应的(X,Y)坐标；
第二步，将相应的关键点坐标采用高斯滤波转换成热力图，其中热力图的宽W和高H的尺寸大小与原图一致，且越靠近关键点坐标的位置的像素值越大，反之越小。
热力图的个数取决于人脸关键点的数量，例如12个关键点的坐标将转换成大小为(H,W,12)的热力图，每个通道是大小为(H,W)的单通道热力图且记录着一个关键点的坐标信息；
第三步，构建热力图预测回归模型，因同时考虑到推理精度与速度，本发明使用一个简易U型网络模型U-Net实现人脸关键点的预测，如图2所示；
第四步，采用Adam优化器和MSE损失函数训练所述热力图预测回归模型，模型的输入是(H,W,3)的人脸图像，输出是(H,W,K)的热力图；
第五步，在推理阶段，从(H,W,K)的热力图中找到每个大小为(H,W)的单通道热力图矩阵中像素值最大的点坐标，即为模型推理出的人脸关键点坐标；
第六步，根据模型推理得到的人脸关键点坐标，构建出ROI区域，如图3所示。
S3.使用Fast-ICA根据所有帧图像的ROI区域提取出rPPG时序信号；
具体的，关于rPPG时序信号的提取，这一步是利用远程光电容积脉搏波描记法的原理：心脏的跳动会导致血管中血容量呈周期性变化，当光线照射脸部皮肤时，一部分光由于在皮肤表面进行了镜面反射，这部分光不包含脉搏信号的信息。另一部分光照穿透皮肤照射到血管上并反射出去属于漫反射，这部分反射光会由于血管中血容量的不同而有微弱的变化，即包含了脉搏信号。因此对于一段人脸视频而言，通过观察某一区域的像素值变化便可以提取出一段具有微弱的、周期性波峰的rPPG信号，其中波峰间隔即是心跳间隔，因此，计算一段时间内波峰个数可以得到每分钟心跳数。
本发明是通过快速独立成分分析方法(Fast-ICA)从每一帧图像ROI区域的RGB颜色空间的三个信号通道中提取出表达血管中血容量节律性变化的rPPG信号，这是一种基于人脸皮肤像素值变化进行心率检测的方法。图4为Fast-ICA方法提取rPPG信号的流程示意图，首先提取各个时间ROI区域的三个信号通道的像素平均值，这样对于一个T帧的视频段则有三个长度为T的时间序列信号，然后使用Fast-ICA方法将这三个时间序列信号作为输入的观察信号，通过线性变换将其分解成统计独立的非高斯信号源的线性组合，最终输出三路新的包含更多隐藏信息的时间序列，最后选择其中信噪比最高和脉搏波还原度最好的信号为rPPG信号。
S4.使用GADF将rPPG时序信号编码形成二维特征图像，作为心率信号的一种表示；
由于测试的人脸视频往往伴随着运动伪影和受到环境光照不稳定的影响，故仅通过Fast-ICA方法从人脸视频中获取的rPPG信号的精度不太高，我们需要把获取的rPPG信号转换成一种二维特征图像作为心率信号的另外一种表示，最后将其与对应的HR心率值作为标签投入神经网络模型进行训练与测试。
本发明使用角度差式格拉米角场法(GADF)将一维时序rppg信号编码成二维特征图像，假设时序信号为，GADF实现步骤如下:
第一步：将时序数据里每个值的范围缩放到[-1,1]，公式如下
其中，
表示缩放变换后时序信号第i个点的值、xi表示原时序信号第i个点的值、X表示原时序信号；
第二步：将缩放后的序列数据转换到极坐标系，序列的每个数据点转换成夹角余弦值，时间步长转换成半径r，公式如下
其中，
表示夹角余弦值、ti表示时间步长、N表示时序信号采样点个数；
第三步：根据不同点之间的角度差将长度为n的时序数据转换为大小为的Gram矩阵，公式如下
其中，Gram表示转换后的二维图像矩阵、
表示第n个点对应的夹角余弦值。
相比于笛卡尔坐标系，极坐标系保持有绝对的时间关系，并且由GADF生成的Gram矩阵可知，时间随着矩阵元素从左上角到右下角的移动而增加，故时间维度信息被编码在Gram矩阵的几何结构中，即利用由GADF生成的Gram矩阵保留了时间依赖性，为之后能利用LSTM提取特征图中的时序变化规律提供了理论依据。
S5.通过神经网络模型完成心率值的推理。
4.4心率推理模块
本发明的推理模块完成心率值的推理功能，其能力由神经网络模型LA-Res2Net在2635个带有心率值(HR)标签的人脸视频数据集下训练所得。
在训练阶段，整个推理模块首先将数据集中所有人脸视频数据都经过数据预处理模块得到其对应的rPPG特征图像数据，然后将所有的rPPG特征图像与相应的心率值HR标签投入神经网络模型LA-Res2Net，并采用RMSprop优化器和平均绝对误差(MAE)损失函数训练模型。
在推理阶段，整个推理模块仅需将待测的人脸视频数据经过数据预处理模块得到相应的rPPG特征图像后传送给训练好的神经网络模型LA-Res2Net即可快速、准确、非接触地推理出心率值。
关于LA-Res2Net的具体结构，请参阅下述实施例2的具体内容。
实施例2：
本实施例用于公开一种远程非接触式心率检测系统，具体请参阅图1。
本系统具体包括：
1.数据采集模块
本数据采集模块主要是由高清录像装置组成，高清录像装置负责对每个测试用户录制一小段视频数据，该模块通过有线或者无线的方式把视频数据实时地传送到数据预处理模块，以供其进行分析处理。
所述数据采集模块还包括有光源模块和支架模块。
所述光源模块由若干补光光源组成，由于该方法依赖于二色反射模型，故光源模块的作用是满足检测现场环境的照明条件，给予高清录像装置足够的光照以保证录制视频的质量。
所述支架模块的作用是托举和固定所述数据采集模块，该支架应具有三维的调节功能，可以调节数据采集模块的高度、方位角和俯仰角，为数据采集模块提供最佳的数据采集姿态，并起到稳定作用。
2.数据预处理模块
所述数据预处理模块包括：
ROI区域定位模块，用于获取所述视频数据中每一帧的ROI区域；
rPPG时序信号获取模块，用于通过Fast-ICA对所述视频数据中的ROI区域提取出表达血管中血容量节律性变化的rPPG时序信号；
rPPG特征图像编码模块，用于将所述rPPG时序信号转换成二维特征图像；
所述心率推理模块用于根据所述二维特征图像推理得到心率值；
所述推理结果可视化模块用于实现推理得到的心率值的可视化。
2.1心率推理模块
本发明的心率推理模块为神经网络模型LA-Res2Net。
LA-Res2Net神经网络模型用于回归预测，输入的三通道rPPG特征图像经过网络模型预测出用户的心率值，LA-Res2Net模型结构的主体是粒度级残差结构FGA-Block，其结构如图5所示。LA-Res2Net(图6)是由1个卷积层、2个池化层、4个FGA-Layer层、1个LSTM层和1个全连接层组合而成，其中每个FGA-Layer层由多个FGA-Block串联组成。FGA-Block引入了CBAM(Convolutional Block Attention Module)注意力机制模块，用于提取特征图中重要的通道和空间信息；因为受限于卷积核的尺寸大小，导致FGA-Layer很难学习到隐藏在CTG图像数据中的时间前后依赖关系，故LA-Res2Net在最后一个FGA-Layer层与全连接层中间加入了一个LSTM层，LSTM引入了门控单元控制神经元的遗忘、输入和输出，可以挖掘特征图中相对较长间隔的时序变化规律。
2.1.1CBAM注意力机制
CBAM是一种融合了通道与空间信息交互的注意力机制模块，整个模块由两个子模块级联组成，其结构如图7所示。图7中，第一个模块是通道注意力模块，用于表征特征图各通道与关键信息的相关度，权重越大，则表示相关度越高；第二个模块是空间注意力模块，用于获取特征图不同区域信息的重要程度。
在通道注意力模块中，输入大小为H×W×C的特征图在层维度上分别经过极大池化(MaxPool)和平均池化(AvgPool)处理以获得表征全局信息的1×1×C向量，再将向量送到多层感知机(MLP)以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘，从而强化信息量大的特征，并抑制无用的特征，其计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(X))) (4)
Yc＝Ac(X)·X (5)
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数。
在空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行MaxPool和AvgPool处理以产生两个代表不同信息的H×W×1特征图，两者通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强。计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))])) (6)
Ys＝As(Yc)·Yc (7)
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
2.1.2粒度级残差结构FGA-Block
FGA-Block(图5)由一个残差分支与一个跳层分支组成，其中在残差分支内构造分层的类残差连接，即在1×1Conv之后对特征图通道进行分组，对每个通道单独用3×3Conv提取特征，并把当前通道的卷积输出以类似残差方式与下个通道相加进行特征融合，之后将每个通道的卷积输出通过Concat操作恢复原来的通道数，再将其通过1×1Conv后的输出经过CBAM注意力模块得到残差分支的输出。FGA-Block用参数s控制通道组数实现以粒度级别表示多尺度特性，且增加了每个网络层的感受野范围，跳层分支使得输入信号可以不经过残差分支直接到达残差分支的末端，有效地防止了网络层数过深导致的梯度消失和梯度爆炸问题。
2.1.3长短时记忆网络LSTM
LSTM的内部结构如图8所示，其中xt为当前时刻的网络输入；c为记忆细胞，作为网络的“传送带”来控制信息的传递；i为输入门，它控制当前时刻的输入xt含有的信息传递到当前时刻记忆细胞ct的比例；f为遗忘门，它控制上一时刻记忆细胞ct-1的信息保留至当前时刻ct的比例；o为输出门，它控制ct存储的信息留存至当前时刻输出ht的比例；ht-1表示上一时刻的输出；σ和tanh均为激活函数，其中σ为Sigmoid函数，tanh为双曲正切函数。LSTM单元的计算如公式8至公式13所示。
输入门的公式为
it＝σ(Wixxt+Wihht-1+bi) (8)
遗忘门的公式为
ft＝σ(Wfxxt+Wfhht-1+bf) (9)
输出门的公式为
ot＝σ(Woxxt+Wohht-1+bo) (10)
候选记忆细胞状态的公式
当前时刻的记忆细胞状态值由上一时刻的记忆细胞状态值按元素乘以遗忘门，再加上当前候选记忆细胞状态值按元素乘以输入门，符号·表示按元素乘。公式为
LSTM最终的输出结果，由输出门和记忆细胞共同决定，公式为
ht＝ot·tanh(ct) (13)
其中Wix、Wig和bi，Wfx、Wfh和bf，Wox、Woh和bo，Wcx、Wch和bc分别为输入门、遗忘门、输出门和候选记忆细胞当前时刻输入的权重矩阵、上一时刻输出的权重矩阵和偏置矩阵。
2.1.4推理结果可视化模块
本系统的心率推理结果可视化模块主要是由上位机软件(图9)组成，上位机通过串口接收由数据采集模块发送的人脸视频数据，然后将其传送给数据预处理模块和心率推理模块，最终心率推理模块将推理得到的心率值结果传送给上位机进行可视化显示。
为了验证LA-Res2Net网络模型根据人脸视频检测心率值的有效性，本研究在相同数据集下对该模型与传统图像处理方法和其他深度学习模型进行了对比实验，并采用平均绝对误差(Mean absolute error,MAE)、均方根误差(Root mean square error,RMSE)和皮尔逊积矩相关系数(Pearson product-moment correlation coefficient，R)三个指标来评价心率值的预测效果。
表1与传统方法的性能比较
由表1可知，与传统方法相比，本发明提出的基于LA-Res2Net模型的心率值预测方法将MAE从15.2BPM降低到7.5BPM，将RMSE从19.5BPM降低到12.1BPM，将R从0.22提升到0.58。显然，由于本发明采用传统图像处理与深度学习相结合的方式来从人脸视频中获取心率值，实现了两种技术的优势互补，其对心率值的预测精度远远高于单独的传统图像处理方法。
表2不同深度学习方法的性能比较
从表2可知，LA-Res2Net模型在与多种深度学习模型的对比中表现出优异的预测效果。根据MAE、R的计算结果，LA-Res2Net模型对心率值的检测能力优于其他深度学习算法。虽然LA-Res2Net在RMSE上的检测结果(12.1BPM)比Swin transformer模型(11.6BPM)略高，但由MAE和R的结果可知，LA-Res2Net预测的心率和实际心率的差距更小，可以很好地反应模型的预测性能。综上可知，所提模型及方法对心率值的检测效果优于其他深度学习模型，比传统方法更是有明显提升。
结合上述两个实施例可知，本发明具有以下技术进步：
第一.与传统的接触式心率检测方法相比，本非接触式心率检测方法在以下多领域具有极大的发展潜能和广泛的应用前景。
新生儿健康检测：由于新生儿的皮肤非常敏感和脆弱，使用传统的接触式方法检测他们的心率是不合适的。本发明能以远程的非接触式方法对新生儿进行持续的心率状态监测，此过程不仅安全可靠，且检测精度高。
运动过程的心率跟踪：在健身运动的过程中，人们大多使用智能手表或手环等接触式设备来监测自己的心率值等指标以调整运动节奏，但手腕在长时间紧贴这些接触式设备的情况下剧烈运动会导致不适和疼痛。本发明能以远程的非接触式方法对运动过程中的用户进行持续的心率跟踪，避免了因佩戴智能手环运动造成的不适困扰。
第二.与现有不成熟的基于图像处理的远程心率检测方法相比，本方法有三大优势：
(1)技术先进性：传统图像处理算法难以处理视频中复杂的运动伪影和照明变化，因此其从视频中获取的远程光电容积脉搏波(rPPG)信号是比较粗糙的，与真实信号偏差较大。本发明采用传统图像处理与深度学习相结合的方式来从人脸视频中获取心率值，以实现两种技术的优势互补，最终获取的心率值精度更高。
(2)神经网络模型的优越性：本发明使用的CBAM注意力机制能在空间和通道双重维度上使模型关注与当前任务相关的重要信息；相比普通的残差结构，本发明使用的粒度级残差结构以更细粒度的方式，产生多尺度感受野的组合，对特征信息有更深度的挖掘能力；LSTM能挖掘特征图中相对较长间隔的时序变化规律。
(3)人脸感兴趣ROI区域提取方法的先进性：本发明使用深度学习中热力图的方式得到人脸特征点，检测速度快、精度高，此外不仅特征点的个数与特征点在人脸中的位置可以按照自己的需求任意设定，并且不受识别对象年龄和肤色的影响和限制。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (9)
1.一种远程非接触式心率检测方法，其特征在于，包括以下步骤：
S1.打开补光光源，并采集用户的视频数据；
S2.对所述视频数据中的每一帧图像进行ROI区域定位；
S3.使用Fast-ICA根据所有帧图像的ROI区域提取出rPPG时序信号；
S4.使用GADF将rPPG时序信号编码形成二维特征图像，作为心率信号的一种表示；
S5.通过神经网络模型完成心率值的推理。
2.根据权利要求1所述的一种远程非接触式心率检测系统及方法，其特征在于，所述S2中，对对所述视频数据中的每一帧图像进行ROI区域定位，包括：
采取基于深度学习与热力图的人脸特征关键点识别算法检测获取人脸关键点，作为ROI区域，方法包括：
S21.根据自定义的人脸关键点区域对图像中的人脸进行特征点标注,而获取相应的(X,Y)特征点坐标；
S22.将相应的特征点坐标采用高斯滤波转换成热力图，其中热力图的宽W和高H的尺寸大小与原图一致，且越靠近关键点坐标的位置的像素值越大，反之越小；
S23.使用U-Net网络模型构建热力图预测回归模型,实现人脸关键点的预测；
S24.采用Adam优化器和MSE损失函数训练热力图预测回归模型，模型的输入是(H,W,3)的人脸图像，输出是(H,W,K)的热力图；
S25.采用训练好的热力图预测回归模型，从热力图中找到每个大小为(H,W)的单通道热力图矩阵中像素值最大的点坐标，即为模型推理出的人脸关键点坐标；
S26.根据推理出的人脸关键点坐标，构建出ROI区域。
3.根据权利要求1所述的一种远程非接触式心率检测方法，其特征在于，所述S3中使用Fast-ICA根据所有帧图像的ROI区域提取出rPPG时序信号，包括：
利用远程光电容积脉搏波描记法原理，从每一帧图像ROI区域的RGB颜色空间的三个信号通道中提取出表达血管中血容量节律性变化的rPPG信号，方法包括：
S31.提取各个时间ROI区域的三个信号通道的像素平均值，对于一个T帧的视频段则有三个长度为T的时间序列信号；
S32.将这三个时间序列信号作为输入的观察信号，通过线性变换将其分解成统计独立的非高斯信号源的线性组合，输出三路新的包含更多隐藏信息的时间序列；
S33.选择三路包含更多隐藏信息的时间序列中信噪比最高和脉搏波还原度最好的信号为rPPG信号。
4.根据权利要求1所述的一种远程非接触式心率检测方法，其特征在于，所述S4中，使用GADF将rPPG时序信号编码形成二维特征图像，包括：
S41.将时序数据里每个值的范围缩放到[-1,1]，公式如下：
其中，
表示缩放变换后时序信号第i个点的值、xi表示原时序信号第i个点的值、X表示原时序信号；
S42.将缩放后的序列数据转换到极坐标系，序列的每个数据点转换成夹角余弦值，时间步长转换成半径r，公式如下：
其中，
表示夹角余弦值、ti表示时间步长、N表示时序信号采样点个数；
S43.根据不同点之间的角度差将长度为n的时序数据转换为大小为的Gram矩阵，公式如下：
其中，Gram表示转换后的二维图像矩阵、
表示第n个点对应的夹角余弦值。
5.根据权利要求1所述的一种远程非接触式心率检测方法，其特征在于，所述S5中，通过神经网络模型完成心率值的推理，所述神经网络模型为LA-Res2Net，通过多个带有心率值标签的人脸视频数据集训练所得；
所述LA-Res2Net的训练阶段方法包括：
将数据集中所有人脸视频数据都经过数据预处理模块得到其对应的rPPG特征图像数据；
将所有的rPPG特征图像与相应的心率值HR标签投入神经网络模型LA-Res2Net，并采用RMSprop优化器和平均绝对误差损失函数训练模型。
6.一种远程非接触式心率检测系统，其特征在于，所述系统包括：
数据采集模块、数据预处理模块、心率推理模块和推理结果可视化模块；
所述数据采集模块用于录制用户的视频数据；
所述数据预处理模块包括：
ROI区域定位模块，用于获取所述视频数据中每一帧的ROI区域；
rPPG时序信号获取模块，用于通过Fast-ICA对所述视频数据中的ROI区域提取出表达血管中血容量节律性变化的rPPG时序信号；
rPPG特征图像编码模块，用于将所述rPPG时序信号转换成二维特征图像；
所述心率推理模块用于根据所述二维特征图像推理得到心率值；
所述推理结果可视化模块用于实现推理得到的心率值的可视化。
7.根据权利要求6所述的一种远程非接触式心率检测系统，其特征在于，所述数据采集模块由高清录像装置组成，所述数据采集模块还包括有光源模块和支架模块；
所述光源模块包括若干个补光光源，用于数据采集模块采集视频数据时进行补光；
所述支架模块用于托举和固定所述数据采集模块，所述支架模块还用于调节数据采集模块的高度、方位角和俯仰角。
8.根据权利要求6所述的一种远程非接触式心率检测系统，其特征在于，所述心率推理模块为LA-Res2Net神经网络模型；
所述LA-Res2Net神经网络模型的主体为粒度级残差结构FGA-Block，包括1个卷积层、2个池化层、4个FGA-Layer层、1个LSTM层和1个全连接层；
每个FGA-Layer层由多个FGA-Block串联组成；
所述FGA-Block中引入了CBAM注意力机制模块。
9.根据权利要求8所述的一种远程非接触式心率检测系统，其特征在于，所述CBAM注意力机制模块包括通道注意力模块和空间注意力模块；
所述通道注意力模块中，输入大小为H×W×C的特征图，在层维度上分别经过极大池化和平均池化处理，以获得表征全局信息的1×1×C向量，再将向量送到多层感知机以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘，其计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(X))) (4)
Yc＝Ac(X)·X (5)
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数；
所述空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行MaxPool和AvgPool处理,以产生两个代表不同信息的H×W×1特征图，然后两个代表不同信息的H×W×1特征图通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强.计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))])) (6)
Ys＝As(Yc)·Yc (7)
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607519.7A CN116327152A (zh) | 2022-12-14 | 2022-12-14 | 一种远程非接触式心率检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607519.7A CN116327152A (zh) | 2022-12-14 | 2022-12-14 | 一种远程非接触式心率检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116327152A true CN116327152A (zh) | 2023-06-27 |
Family
ID=86888220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607519.7A Pending CN116327152A (zh) | 2022-12-14 | 2022-12-14 | 一种远程非接触式心率检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116327152A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116746901B (zh) * | 2023-08-23 | 2023-10-20 | 北京友智想科技有限公司 | 一种心率检测方法、装置、设备及可读存储介质 |
| CN117542103A (zh) * | 2023-12-18 | 2024-02-09 | 齐鲁工业大学(山东省科学院) | 一种基于多尺度时空特征图的非接触式心率检测方法 |
| CN117542537A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市爱保护科技有限公司 | 基于人工智能的血氧饱和度变化预测方法及装置 |
| CN117743832A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市大数据研究院 | 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统 |
| CN117849043A (zh) * | 2024-03-08 | 2024-04-09 | 长春理工大学 | 一种尿液试纸分析装置及其检测方法 |
-
2022
- 2022-12-14 CN CN202211607519.7A patent/CN116327152A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116746901B (zh) * | 2023-08-23 | 2023-10-20 | 北京友智想科技有限公司 | 一种心率检测方法、装置、设备及可读存储介质 |
| CN117542103A (zh) * | 2023-12-18 | 2024-02-09 | 齐鲁工业大学(山东省科学院) | 一种基于多尺度时空特征图的非接触式心率检测方法 |
| CN117542537A (zh) * | 2024-01-10 | 2024-02-09 | 深圳市爱保护科技有限公司 | 基于人工智能的血氧饱和度变化预测方法及装置 |
| CN117542537B (zh) * | 2024-01-10 | 2024-03-26 | 深圳市爱保护科技有限公司 | 基于人工智能的血氧饱和度变化预测方法及装置 |
| CN117743832A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市大数据研究院 | 运动干扰鲁棒的非接触式心跳生理信号测量方法及系统 |
| CN117849043A (zh) * | 2024-03-08 | 2024-04-09 | 长春理工大学 | 一种尿液试纸分析装置及其检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Naeini et al. | A real-time PPG quality assessment approach for healthcare Internet-of-Things | |
| ES2959570T3 (es) | Sistema y método para la determinación de la presión arterial sin contacto | |
| Panwar et al. | PP-Net: A deep learning framework for PPG-based blood pressure and heart rate estimation | |
| CN116327152A (zh) | 一种远程非接触式心率检测系统及方法 | |
| Roy et al. | Improving photoplethysmographic measurements under motion artifacts using artificial neural network for personal healthcare | |
| US20210401332A1 (en) | Self-monitoring and care assistant for achieving glycemic goals | |
| Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
| Zhou et al. | The noninvasive blood pressure measurement based on facial images processing | |
| Allen et al. | Photoplethysmography (PPG): state-of-the-art methods and applications | |
| Li et al. | Non-contact PPG signal and heart rate estimation with multi-hierarchical convolutional network | |
| Ayesha et al. | Heart rate monitoring using PPG with smartphone camera | |
| Mehrgardt et al. | Deep learning fused wearable pressure and PPG data for accurate heart rate monitoring | |
| Zhang et al. | Recent progress of optical imaging approaches for noncontact physiological signal measurement: A review | |
| Sonawani et al. | Biomedical signal processing for health monitoring applications: a review | |
| Singh et al. | Contactless and hassle free real time heart rate measurement with facial video | |
| Khan et al. | Contactless monitoring of PPG using radar | |
| Wu et al. | Camera-based blood pressure estimation via windkessel model and waveform features | |
| Sahin et al. | Non-contact heart rate monitoring from face video utilizing color intensity | |
| Ma et al. | PPG-based continuous BP waveform estimation using polarized attention-guided conditional adversarial learning model | |
| Liu et al. | Adaptive-weight network for imaging photoplethysmography signal extraction and heart rate estimation | |
| Qiu et al. | Artificial intelligence in remote photoplethysmography: Remote heart rate estimation from video images | |
| Ray et al. | DeepPulse: An Uncertainty-aware Deep Neural Network for Heart Rate Estimations from Wrist-worn Photoplethysmography | |
| Han et al. | Noncontact blood pressure estimation using BP-related cardiovascular knowledge: An uncalibrated method based on consumer-level camera | |
| Li et al. | Intelligent biomedical photoplethysmography signal cycle division with digital twin in metaverse for consumer health | |
| Ma | Towards a Contactless Vital Sign System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |