CN111127511A - 一种非接触式心率监测方法 - Google Patents

一种非接触式心率监测方法 Download PDF

Info

Publication number
CN111127511A
CN111127511A CN201811545663.6A CN201811545663A CN111127511A CN 111127511 A CN111127511 A CN 111127511A CN 201811545663 A CN201811545663 A CN 201811545663A CN 111127511 A CN111127511 A CN 111127511A
Authority
CN
China
Prior art keywords
face
signal
position information
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811545663.6A
Other languages
English (en)
Other versions
CN111127511B (zh
Inventor
邹子杰
杨玄同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanyunzi Intelligent Technology Shenzhen Co Ltd
Original Assignee
Xuanyunzi Intelligent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanyunzi Intelligent Technology Shenzhen Co Ltd filed Critical Xuanyunzi Intelligent Technology Shenzhen Co Ltd
Priority to CN201811545663.6A priority Critical patent/CN111127511B/zh
Publication of CN111127511A publication Critical patent/CN111127511A/zh
Application granted granted Critical
Publication of CN111127511B publication Critical patent/CN111127511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种非接触式心率监测方法，包括：步骤1）从摄像头捕捉到视频流，并对视频的每一帧进行处理，从视频帧中获取到人脸位置信息，并将人脸位置信息导入到跟踪器中；步骤2）对获取到的人脸位置信息进行跟踪，并将获取到的人脸位置信息进行处理，并从中提取到人脸皮肤图像，并将人的整个可视面部区域与其他背景区域剥离；步骤3）对获取到的人脸的皮肤区域进行信号强度区域分类，其中，分类区域大小为单一像素区域，由此提取单一像素的信号纯洁度；步骤4）光照补偿等步骤。

Description

一种非接触式心率监测方法
技术领域
本发明属于一种非接触式心率监测方法。
背景技术
光电容积描记法（PPG）技术是一种用于检测心脏周期性同步脉动信号的技术，通过此项技术能够计算出被检测物体的心率，血氧甚至血压等生理指标。由于心脏是人脸重要器官之一，心率，血氧等生理指标能有效反应人类生命体征，并能进一步做医疗分析用途；因此光电容积描记技术被广泛应用在医疗分析，生命体征监测，运动物体体征监测等领域。
光电容积描记技术法分为透射型和反射型两种。传统的光电容积描记法技术采用的是接触式测量，大部分为透射型，被检测物体需要在指定部位佩戴相应检测传感设备，如医疗监护仪和运动手环，接触式光电容积描记法（CPPG）通过特定波长光束照射皮肤组织，传感设备中的光电传感器能够采集经皮下动脉结缔组织吸收后再反射的光源，由于光源密度会随着动脉血液流量呈周期同步变化，因此能够准确绘制出信号图并计算心率等指标。
非接触光电容积描记法（RPPG）是一种无损近距离非接触式用于检测心脏周期性同步脉动信号的技术。由于他的便利性，舒适性和无创伤性被渐渐广泛关注，原理大致与接触式相同，非接触光电容积描记法采用反射型检测。不同的是，此方法是通过CMOS数字RGB摄像头，采集特定部位，如人脸，手腕，的视频流，并从视频流提取出在特定波段光照下的选定检测部位的光源密度变化，通过信号放大得到信号图并计算心率等指标。
非接触式光电容积描记法的出现，具有广泛的应用价值和潜力，由于其无需佩戴设备，和仅需通过常见CMOS数字摄像头便可采集测量；具有低成本，方便，以及多目标检测等特点，但其容易受物体移动、光照变化及被检测物体生理特征情况等条件约束。在现在应用中仍不能被广泛应用。
与此同时人工智能领域祥相关技术在近年呈快速发展，特别是基于神经网络的图像处理技术，这为相关领域包括RPPG检测提供了更多的改良可能。
其中，现有的非接触式光电容积法（RPPG）心率测量的方法，其主要缺点集中在：
人脸检测部分，大部分现有技术只能检测正脸及小角度侧脸。
ROI 区域的选取，现有技术是依赖人脸检测输出的坐标拟合，检测区域的选取只能框选大概区域，由于个体的生理结构差异性，如真皮层厚度不一；现有技术并不能最好地选取信号强度高的检测区域，影响最终结果。
由于人脸刚性移动，导致ROI区域不能有效被锁定，导致信号源扰动，即便最新的追踪方案，也只能解决人脸前后、上下及左右移动三个自由度，不能解决人头部的旋转、摇摆及俯仰另外三个自由度。
对于人脸非刚性移动，如讲话、大笑、哭泣等行为发生时，会产生脸部区域形变，因此会对光源透射产生干扰，从而引起信号扰动。
光照也是影响信号结果好坏的因素之一，主要分为光照强度不足，如低光照，和光源不稳定，光照环境改变情况下，如室内可见光源的闪烁等。
检测区域应该被持续稳定追踪，以保证信号的稳定。一旦不能稳定追踪，会引入检测误差得不到准确的结果。
现有RGB模型只考虑单通道或者双通道信号处理，在现实环境中不能很好地适应复杂光照环境。
发明内容
为了建立一种适应实际日常应用的监测方法，本专利提出了一种能够动态适应被检测物体移动，适应多光照环境，以及智能选取最优检测区域的新型基于非接触光电容积描记法的生物体征检测方法。
本发明解决上述技术问题所采取的技术方案如下：
一种非接触式心率监测方法，包括：
步骤1）从摄像头捕捉到视频流，并对视频的每一帧进行处理，从视频帧中获取到人脸位置信息，并将人脸位置信息导入到跟踪器中；
步骤2）对获取到的人脸位置信息进行跟踪，并将获取到的人脸位置信息进行处理，并从中提取到人脸皮肤图像，并将人的整个可视面部区域与其他背景区域剥离；
步骤3）对获取到的人脸的皮肤区域进行信号强度区域分类，其中，分类区域大小为单一像素区域，由此提取单一像素的信号纯洁度；
Figure DEST_PATH_IMAGE001
(2)
其中，
Figure DEST_PATH_IMAGE002
为
Figure DEST_PATH_IMAGE003
的面积，
Figure 907772DEST_PATH_IMAGE003
为人脸区域中有效信噪比区域，如公式（3）所示；
Figure DEST_PATH_IMAGE004
(3)
其中，
Figure 497017DEST_PATH_IMAGE003
可有公式（4）求得；
Figure DEST_PATH_IMAGE005
(4)
Figure DEST_PATH_IMAGE006
为测得信号的功率频谱图，
Figure DEST_PATH_IMAGE007
为实际心率的功率频谱图；
其中，摄像头视频流采集频率为30fps；其中，当采样频率大于10fps时，每帧图像之间的PPG信息差异可视为不变；
对于
Figure DEST_PATH_IMAGE008
时刻的信号处理，采用
Figure DEST_PATH_IMAGE009
时刻得到的PPG信号
Figure DEST_PATH_IMAGE010
作为
Figure DEST_PATH_IMAGE011
当
Figure DEST_PATH_IMAGE012
时，
Figure DEST_PATH_IMAGE013
。
Figure DEST_PATH_IMAGE014
为
Figure DEST_PATH_IMAGE015
的面积，
Figure 109044DEST_PATH_IMAGE015
为人脸区域中有效信号强度区域，如公式（5）所示；
Figure DEST_PATH_IMAGE016
(5)
Figure DEST_PATH_IMAGE017
由公式（1）求得，最终ROI定义为
Figure 100002_DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
(1)
步骤4）由
Figure DEST_PATH_IMAGE020
得到高强度信号区域之后，用除ROI外的人脸剩余区域及除人脸区域外的背景区域进行光照强度抵消补偿；
由于人脸和背景都属于朗伯模型，共享同一光源，因此信号
Figure DEST_PATH_IMAGE021
模型为线性模型，如公式（6）所示：
Figure DEST_PATH_IMAGE022
(6)
其中
Figure DEST_PATH_IMAGE023
为ROI区域中产生的PPG信号波动，
Figure DEST_PATH_IMAGE024
为由光照变化所引起的PPG信号波动，为了消除
Figure 189739DEST_PATH_IMAGE024
带来的影响，采用除ROI外有效人脸区域产生的信号
Figure DEST_PATH_IMAGE025
，和除有效人脸区域外的背景区域产生的信号
Figure DEST_PATH_IMAGE026
可得公式（7），因此公式（6）可改写为公式（8）：
Figure DEST_PATH_IMAGE027
(7)
Figure DEST_PATH_IMAGE028
(8)
公式（8）中的
Figure DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
为影响参数，
其中，确定优化参数
Figure DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE032
，进一步得到无干扰信号，包括：
建立优化对象
Figure DEST_PATH_IMAGE033
，如公式（9）所示，在建立优化对象之后，利用PID控制自动调节修正
Figure 20423DEST_PATH_IMAGE031
和
Figure 249411DEST_PATH_IMAGE032
的大小，使系统能够稳态优化：
Figure DEST_PATH_IMAGE034
(9)；
再得到消除移动影响和光照影响的区域，因为视频流采集自于RGB域，首先需要将RGB通道分离，分别对R、G、B三个通道的像素均值,用61阶巴特沃斯数字带通滤波器进行初次滤波,均指计算如公式（10）：
Figure DEST_PATH_IMAGE035
为
Figure DEST_PATH_IMAGE036
时刻，在
Figure DEST_PATH_IMAGE037
通道内，
Figure DEST_PATH_IMAGE038
位置的像素值。从相关文献可得，人类生理指标的频率处于0.7至4赫兹之间，因此滤波带宽为0.7至4赫兹。
Figure DEST_PATH_IMAGE039
(10)
再得到滤除过后的三个通道信号之后，通过公式（11），建立PPG信号模型，
Figure DEST_PATH_IMAGE040
为步骤（4）中，经过带通滤波得到的相应RCB通道的信号：
Figure DEST_PATH_IMAGE041
(11)
Figure DEST_PATH_IMAGE042
(12)
其中，在计算PPG信号之前，要对信号处理时间戳进行校验，在低处理速度设备上需进行信号校正，并将处理队列依照公式（13）所示队列进行校正,实际处理的
Figure DEST_PATH_IMAGE043
应为：
Figure DEST_PATH_IMAGE044
(13)
其中，通过PPG信号，可计算瞬时心率，平均心率和血氧。
优选的是，步骤1）包括：如果视频第一帧中，还未标定到人脸位置信息，则继续对下一帧视频流进行检测；
当得到人脸位置信息后，将人脸位置信息导入跟踪器中，并不再对下一帧视频图像进行处理，且人脸检测器采用SSD检测器。
优选的是，步骤2）中，包括：人脸追踪器采用CSRT追踪器；
将人脸图像切割输入到提前训练好的FCN模型，进行人脸语义分割，从像素级得到准确的人脸皮肤图像，由此将人的整个可视面部区域与其他背景区域剥离。
优选的是，瞬时心率可通过建立一个4秒的时间窗，利用公式14，统计时间窗内PPG信号波峰个数Num，算出实时瞬时心率
Figure 100002_DEST_PATH_IMAGE045
其中
Figure 100002_DEST_PATH_IMAGE046
为时间窗内最后一个波峰对应的时间戳，
Figure 100002_DEST_PATH_IMAGE047
为时间窗内第一个波峰对应的时间戳：
Figure 100002_DEST_PATH_IMAGE049
(14)。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解；本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，
图1是本发明非接触式心率监测方法的光照补偿区域示意图；
图2是本发明非接触式心率监测方法的光照补偿区域示意图；
图3是本发明非接触式心率监测方法的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施，需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1、2、3所示，本发明采用了一种新型人脸跟踪和提取方案，综合统一解决了人脸检测、人脸跟踪提取问题。其中， A为选定的高信号强度ROI，B为除ROI以外的有效人脸区域，C为除人脸外的区域。为追踪框中人脸及背景区域。
具体来说，用跟踪整个人脸区域代替跟踪局部区域和对每帧图像。在此基础上提出一种新型人脸提取技术，利用全卷积神经网络（FCN）分割人脸区域，并能够准确有效解决，如眼镜等的局部遮挡下的分割。
提出一种新型的人脸高强度信号ROI选取技术，利用有效信号比S_((ROI))的梯度及SNR，减小了传统大致拟合脸颊区域或者单一只用SNR来标定ROI所产生的误差。
基于上述本专利创新点1、2提供的技术支持，提出一种新型光补偿方案，通过除ROI外的人脸区域，及背景光的光强变化，来补偿ROI区域中由光照变化引起的信号误差。
提出一种新型三通道信号提取模型，能够适应复杂室内光照环境下的信号提取。
综上所述，对于现有技术不能检测大角度偏转人脸、不能有效追踪ROI、不能准确选取ROI需要人脸校正、不能选取有效高信号强度ROI、不能对大角度偏转人脸进行人脸区域分离从而进行光照补偿和光照补偿不足，本专利提出新的解决方案，解决的上述缺点。
其中，本文中的缩写如下：
编号 缩写 英文全称 中文全称
1 PPG Photoplethysmography 光电容积描记法
2 CPPG Contact Photoplethysmography 接触式光电容积描记法
3 RPPG Remote Photoplethysmography 非接触式光电容积描记法
4 FCN Fully Convolutional networks 全卷积网络
5 CNN Convolutional Neural Network 卷积神经网络
6 ROI Region of Interest 感兴趣区域
7 SNR Signal Noise Ratio 信噪比
8 PID Proportion，integral and differential Control 比例积分微分控制
9 FDA Food and Drug Administration 美国食品药品监督管理局
10 HOG Histogram of Oriented Gradient 方向梯度直方图
11 DRLSE Distance Regularized Level Set Evolution 水平集方法
12 NLMS Normalized Least Mean Square 归一化最小均方自适应滤波器
13 CSRT Discriminative Correlation Filter with Channel and Spatial Reliability 通道和空间置信相关滤波器
14 CSK Circulant Structure of Tracking-by-detection with Kernels 相邻高斯核相关性检测
15 MT-CNN Multi-task Cascaded Convolutional Networks 多目标联级卷积神经网络
其中，本发明的方法如图2所示，具体实现过程如下：
1)当系统开始运作，从摄像头捕捉到视频流，系统将对视频的每帧进行处理。如果视频第一帧中，还未标定到人脸位置信息，则继续对下一帧视频流进行检测，当得到人脸位置信息后，将人脸位置信息导入跟踪器中，并不再对下一帧视频图像进行处理，人脸检测器采用SSD检测器。
2) 人脸追踪器采用CSRT追踪器，一旦位置信息被输入，人脸位置将被准确追踪。由于人脸检测器得到的人脸位置包含除人脸外，如头发,、口罩、眼镜等多余信息；因此，人脸图像将被切割输入到提前训练好的FCN模型，进行人脸语义分割，从像素级得到准确的人脸皮肤图像。将人的整个可视面部区域与其他背景区域剥离。
3)当得到人脸皮肤区域后利用公式（2）进行信号强度区域分类。分类区域大小为单一像素区域，为的是能够提取单一像素的信号纯洁度，公式（2）如下：
Figure DEST_PATH_IMAGE050
(2)
其中，
Figure DEST_PATH_IMAGE051
为
Figure DEST_PATH_IMAGE052
的面积，
Figure 475031DEST_PATH_IMAGE052
为人脸区域中有效信噪比区域，如公式（3）所示。
Figure DEST_PATH_IMAGE053
(3)
其中，
Figure DEST_PATH_IMAGE054
可有公式（4）求得。
Figure DEST_PATH_IMAGE055
(4)
Figure DEST_PATH_IMAGE056
为测得信号的功率频谱图，
Figure DEST_PATH_IMAGE057
为实际心率的功率频谱图。本专利中由于摄像头视频流采集频率为，30fps，当采样频率大于10fps时，每帧图像之间的PPG信息差异可视为不变。因此本专利中，对于
Figure DEST_PATH_IMAGE058
时刻的信号处理，采用
Figure DEST_PATH_IMAGE059
时刻得到的PPG信号
Figure DEST_PATH_IMAGE060
作为
Figure DEST_PATH_IMAGE061
。当
Figure DEST_PATH_IMAGE062
时，
Figure DEST_PATH_IMAGE063
。
Figure DEST_PATH_IMAGE064
为
Figure DEST_PATH_IMAGE065
的面积，
Figure 503293DEST_PATH_IMAGE065
为人脸区域中有效信号强度区域，如公式（5）所示。
Figure DEST_PATH_IMAGE066
(5)
Figure DEST_PATH_IMAGE067
由公式（1）求得，最终ROI定义为
Figure DEST_PATH_IMAGE068
。
Figure 50467DEST_PATH_IMAGE019
(1)
4)由步骤（3）的
Figure DEST_PATH_IMAGE069
得到高强度信号区域之后。用除ROI外的人脸剩余区域及除人脸区域外的背景区域进行光照强度抵消补偿。本专利技术中区域示意图可用图1表达。
5)其中黑色离散点围成区域为步骤（2）得到的有效人脸区域，A为步骤（3）中选定的高信号强度ROI，B为除ROI以外的有效人脸区域，C为除人脸外的区域。
由于人脸和背景都属于朗伯模型，共享同一光源，因此信号
Figure DEST_PATH_IMAGE070
模型为线性模型，如公式（6）所示。
Figure DEST_PATH_IMAGE071
(6)
其中
Figure DEST_PATH_IMAGE072
为ROI区域中产生的PPG信号波动，
Figure DEST_PATH_IMAGE073
为由光照变化所引起的PPG信号波动。为了消除
Figure 856880DEST_PATH_IMAGE073
带来的影响。本专利采用除ROI外有效人脸区域产生的信号
Figure DEST_PATH_IMAGE074
，和除有效人脸区域外的背景区域产生的信号
Figure DEST_PATH_IMAGE075
。可得公式（7）。因此公式（6）可改写为公式（8）。
Figure DEST_PATH_IMAGE076
(7)
Figure DEST_PATH_IMAGE077
(8)
公式（8）中的
Figure DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE079
为影响参数。因此在本步骤中，需要确定优化参数
Figure 827854DEST_PATH_IMAGE078
和
Figure 96024DEST_PATH_IMAGE079
，进一步得到无干扰信号。可建立优化对象
Figure DEST_PATH_IMAGE080
，如公式（9）所示。在建立优化对象之后，利用PID控制自动调节修正
Figure 557093DEST_PATH_IMAGE078
和
Figure 721358DEST_PATH_IMAGE079
的大小，使系统能够稳态优化。
Figure DEST_PATH_IMAGE081
(9)
6)再得到消除移动影响和光照影响的区域后。因为视频流采集自于RGB域，首先需要将RGB通道分离，分别对R、G、B三个通道的像素均值,用61阶巴特沃斯数字带通滤波器进行初次滤波,均指计算如公式（10）。
Figure 572770DEST_PATH_IMAGE035
为
Figure 582314DEST_PATH_IMAGE036
时刻，在
Figure 756944DEST_PATH_IMAGE037
通道内，
Figure 498635DEST_PATH_IMAGE038
位置的像素值。从相关文献可得，人类生理指标的频率处于0.7至4赫兹之间，因此滤波带宽为0.7至4赫兹。
Figure DEST_PATH_IMAGE082
(10)
7)再得到滤除过后的三个通道信号之后。通过公式（11），建立PPG信号模型。
Figure DEST_PATH_IMAGE083
为步骤（4）中，经过带通滤波得到的相应RCB通道的信号。
Figure DEST_PATH_IMAGE084
(11)
Figure DEST_PATH_IMAGE085
(12)
8) 在计算PPG信号之前，要对信号处理时间戳进行校验，在低处理速度设备上需进行信号校正。将处理队列依照公式（13）所示队列进行校正,实际处理的
Figure DEST_PATH_IMAGE086
应为：
Figure DEST_PATH_IMAGE087
(13)
9)通过PPG信号，可计算瞬时心率，平均心率和血氧。瞬时心率可通过，建立一个4秒的时间窗，利用公式14，统计时间窗内PPG信号波峰个数Num。算出实时瞬时心率
Figure DEST_PATH_IMAGE088
。其中
Figure DEST_PATH_IMAGE089
为时间窗内最后一个波峰对应的时间戳，
Figure DEST_PATH_IMAGE090
为时间窗内第一个波峰对应的时间戳。
Figure DEST_PATH_IMAGE091
(14)
相比于现有技术，本专利解决了被检测物体可自由刚性移动时，不能连续每帧检测人脸和不能有效追踪ROI两个问题；以及，被检测物体能过进行面部非刚性移动的问题；以及，光照变化带来的噪声影响；和在高强度ROI选取准确率时，不能选取信号强度最强区域带来的噪声影响。
其中，本专利的步骤1中人脸检测器采用SSD检测器，替代方案有Viola-Jones，也被称为Haar-cascade， 检测器、HOG检测器和MT-CNN检测器。
1) 对于本专利的步骤2中人脸有效区域分割，在理想状态下，例如无面部遮挡。可以采用人脸关键点检测分割人脸部分。如基于HOG特征的人脸关键点检测。虽然分割准确率及适用环境有限，但可作为特定情况下的替代方案。
2) 步骤3中SNR计算方法，有一种替代方案如公式（15）。
Figure DEST_PATH_IMAGE092
(15)
其中
Figure DEST_PATH_IMAGE093
，
Figure DEST_PATH_IMAGE094
，
Figure DEST_PATH_IMAGE095
为上一时刻估计得到的心率值。
3) 步骤4中，背景分割可采用DRLSE分割。对公式（9）的优化方法，可采用NLMS动态滤波优化。
需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行；其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种非接触式心率监测方法，其特征在于，包括：
步骤1）从摄像头捕捉到视频流，并对视频的每一帧进行处理，从视频帧中获取到人脸位置信息，并将人脸位置信息导入到跟踪器中；
步骤2）对获取到的人脸位置信息进行跟踪，并将获取到的人脸位置信息进行处理，并从中提取到人脸皮肤图像，并将人的整个可视面部区域与其他背景区域剥离；
步骤3）对获取到的人脸的皮肤区域进行信号强度区域分类，其中，分类区域大小为单一像素区域，由此提取单一像素的信号纯洁度；
Figure 112489DEST_PATH_IMAGE001
(2)
其中，
Figure 167032DEST_PATH_IMAGE002
为
Figure 128035DEST_PATH_IMAGE003
的面积，
Figure 445359DEST_PATH_IMAGE003
为人脸区域中有效信噪比区域，如公式（3）所示；
Figure 251641DEST_PATH_IMAGE004
(3)
其中，
Figure 160691DEST_PATH_IMAGE003
可有公式（4）求得；
Figure 777749DEST_PATH_IMAGE005
(4)
Figure 37829DEST_PATH_IMAGE006
为测得信号的功率频谱图，
Figure 444539DEST_PATH_IMAGE007
为实际心率的功率频谱图；
其中，摄像头视频流采集频率为30fps；其中，当采样频率大于10fps时，每帧图像之间的PPG信息差异可视为不变；
对于
Figure 224408DEST_PATH_IMAGE008
时刻的信号处理，采用
Figure 261634DEST_PATH_IMAGE009
时刻得到的PPG信号
Figure 743431DEST_PATH_IMAGE010
作为
Figure 157094DEST_PATH_IMAGE011
当
Figure 791469DEST_PATH_IMAGE012
时，
Figure 61914DEST_PATH_IMAGE013
为
Figure 31007DEST_PATH_IMAGE014
的面积，
Figure 724725DEST_PATH_IMAGE014
为人脸区域中有效信号强度区域，如公式（5）所示；
Figure 728454DEST_PATH_IMAGE015
(5)
Figure 373062DEST_PATH_IMAGE016
由公式（1）求得，最终ROI定义为
Figure 829451DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
(1)
步骤4）由
Figure 866808DEST_PATH_IMAGE019
得到高强度信号区域之后，用除ROI外的人脸剩余区域及除人脸区域外的背景区域进行光照强度抵消补偿；
由于人脸和背景都属于朗伯模型，共享同一光源，因此信号
Figure 459463DEST_PATH_IMAGE020
模型为线性模型，如公式（6）所示：
Figure 274973DEST_PATH_IMAGE021
(6)
其中
Figure 703811DEST_PATH_IMAGE022
为ROI区域中产生的PPG信号波动，
Figure 262968DEST_PATH_IMAGE024
为由光照变化所引起的PPG信号波动，为了消除
Figure 975709DEST_PATH_IMAGE024
带来的影响，采用除ROI外有效人脸区域产生的信号
Figure 696541DEST_PATH_IMAGE025
，和除有效人脸区域外的背景区域产生的信号
Figure 878254DEST_PATH_IMAGE026
可得公式（7），因此公式（6）可改写为公式（8）：
Figure 975523DEST_PATH_IMAGE027
(7)
Figure 808350DEST_PATH_IMAGE028
(8)
公式（8）中的
Figure 700083DEST_PATH_IMAGE029
和
Figure 162901DEST_PATH_IMAGE030
为影响参数，
其中，确定优化参数
Figure 63861DEST_PATH_IMAGE031
和
Figure 485615DEST_PATH_IMAGE032
，进一步得到无干扰信号，包括：
建立优化对象
Figure 564560DEST_PATH_IMAGE033
，如公式（9）所示，在建立优化对象之后，利用PID控制自动调节修正
Figure 438975DEST_PATH_IMAGE031
和
Figure 143626DEST_PATH_IMAGE032
的大小，使系统能够稳态优化：
Figure 232936DEST_PATH_IMAGE034
(9)；
步骤5）得到消除移动影响和光照影响的区域，因为视频流采集自于RGB域，首先需要将RGB通道分离，分别对R、G、B三个通道的像素均值,用61阶巴特沃斯数字带通滤波器进行初次滤波,均指计算如公式（10）：
Figure 935313DEST_PATH_IMAGE035
为
Figure 562603DEST_PATH_IMAGE037
时刻，在
Figure 602103DEST_PATH_IMAGE038
通道内，
Figure 749182DEST_PATH_IMAGE039
位置的像素值；
从相关文献可得，人类生理指标的频率处于0.7至4赫兹之间，因此滤波带宽为0.7至4赫兹；
Figure 419198DEST_PATH_IMAGE040
(10)
再得到滤除过后的三个通道信号之后，通过公式（11），建立PPG信号模型，
Figure 533784DEST_PATH_IMAGE041
为步骤（4）中，经过带通滤波得到的相应RCB通道的信号：
Figure 517921DEST_PATH_IMAGE042
(11)
Figure 584753DEST_PATH_IMAGE043
(12)
其中，在计算PPG信号之前，要对信号处理时间戳进行校验，在低处理速度设备上需进行信号校正，并将处理队列依照公式（13）所示队列进行校正,实际处理的
Figure 425670DEST_PATH_IMAGE044
应为：
Figure DEST_PATH_IMAGE045
(13)
其中，通过PPG信号，可计算瞬时心率，平均心率和血氧。
2.根据权利要求1所述的非接触式心率监测方法，其特征在于，步骤1）包括：如果视频第一帧中，还未标定到人脸位置信息，则继续对下一帧视频流进行检测；
当得到人脸位置信息后，将人脸位置信息导入跟踪器中，并不再对下一帧视频图像进行处理，且人脸检测器采用SSD检测器。
3.根据权利要求1所述的非接触式心率监测方法，其特征在于，步骤2）中，包括：人脸追踪器采用CSRT追踪器和FCN人脸分割模型；
将人脸图像切割输入到提前训练好的FCN模型，进行人脸语义分割，从像素级得到准确的人脸皮肤图像，由此将人的整个可视面部区域与其他背景区域剥离。
4.根据权利要求1所述的非接触式心率监测方法，其特征在于，瞬时心率可通过建立一个4秒的时间窗，利用公式14，统计时间窗内PPG信号波峰个数Num，算出实时瞬时心率
Figure DEST_PATH_IMAGE046
其中
Figure DEST_PATH_IMAGE047
为时间窗内最后一个波峰对应的时间戳，
Figure DEST_PATH_IMAGE048
为时间窗内第一个波峰对应的时间戳：
Figure DEST_PATH_IMAGE049
(14)。
CN201811545663.6A 2018-12-18 2018-12-18 一种非接触式心率监测方法 Active CN111127511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811545663.6A CN111127511B (zh) 2018-12-18 2018-12-18 一种非接触式心率监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811545663.6A CN111127511B (zh) 2018-12-18 2018-12-18 一种非接触式心率监测方法

Publications (2)

Publication Number Publication Date
CN111127511A true CN111127511A (zh) 2020-05-08
CN111127511B CN111127511B (zh) 2022-03-29

Family

ID=70494714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811545663.6A Active CN111127511B (zh) 2018-12-18 2018-12-18 一种非接触式心率监测方法

Country Status (1)

Country Link
CN (1) CN111127511B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132134A (zh) * 2020-08-21 2020-12-25 浙江工业大学 一种基于稳定轨迹人脸跟踪的非接触式人体心率测量方法
CN112200099A (zh) * 2020-10-14 2021-01-08 浙江大学山东工业技术研究院 一种基于视频的动态心率检测方法
CN113907733A (zh) * 2020-07-10 2022-01-11 四川瑞蓝智博科技有限公司 博纳希ai
GB2605401A (en) * 2021-03-30 2022-10-05 Vastmindz Ai Ltd System and method of estimating vital signs of user using artificial intelligence

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
US20160089041A1 (en) * 2014-09-30 2016-03-31 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置
CN107358220A (zh) * 2017-07-31 2017-11-17 江西中医药大学 一种人体心率与呼吸的非接触式测量方法
US20170367590A1 (en) * 2016-06-24 2017-12-28 Universita' degli Studi di Trento (University of Trento) Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
EP3378387A1 (en) * 2017-03-21 2018-09-26 Tata Consultancy Services Limited Heart rate estimation from face videos using quality based fusion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
US20160089041A1 (en) * 2014-09-30 2016-03-31 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
US20170367590A1 (en) * 2016-06-24 2017-12-28 Universita' degli Studi di Trento (University of Trento) Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
EP3378387A1 (en) * 2017-03-21 2018-09-26 Tata Consultancy Services Limited Heart rate estimation from face videos using quality based fusion
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置
CN107358220A (zh) * 2017-07-31 2017-11-17 江西中医药大学 一种人体心率与呼吸的非接触式测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
T. P. SACRAMENTO, I. M. B. SOUZA, P. V. O. VITORINO AND T. M. G.: "A real-time software to the acquisition of Heart Rate", 《 IEEE/IEE ELECTRONIC LIBRARY (IEL)》 *
冯军 等: "非接触式心率测量研究初步", 《中国生物医学工程学报》 *
山黎: "基于头部运动跟踪的非接触性人体心率测量", 《 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113907733A (zh) * 2020-07-10 2022-01-11 四川瑞蓝智博科技有限公司 博纳希ai
CN112132134A (zh) * 2020-08-21 2020-12-25 浙江工业大学 一种基于稳定轨迹人脸跟踪的非接触式人体心率测量方法
CN112200099A (zh) * 2020-10-14 2021-01-08 浙江大学山东工业技术研究院 一种基于视频的动态心率检测方法
GB2605401A (en) * 2021-03-30 2022-10-05 Vastmindz Ai Ltd System and method of estimating vital signs of user using artificial intelligence

Also Published As

Publication number Publication date
CN111127511B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111127511B (zh) 一种非接触式心率监测方法
Wang et al. A comparative survey of methods for remote heart rate detection from frontal face videos
CN105147274B (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN102499664B (zh) 基于视频图像的非接触式生命体征的检测方法及检测系统
CN105266787B (zh) 一种非接触式心率检测方法及系统
CN105636505B (zh) 用于获得对象的生命体征的设备和方法
CN103908236B (zh) 一种自动血压测量系统
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
Wei et al. Non-contact, synchronous dynamic measurement of respiratory rate and heart rate based on dual sensitive regions
CN109937002B (zh) 用于基于相机的心率跟踪的系统和方法
CN111728602A (zh) 基于ppg的无接触血压测量装置
Fan et al. Non-contact remote estimation of cardiovascular parameters
CN106236049A (zh) 基于视频图像的血压测量方法
CN109259749A (zh) 一种基于视觉摄像头的非接触式心率测量方法
WO2016092290A1 (en) Method and apparatus for physiological monitoring
CN103263271A (zh) 非接触式自动血氧饱和度测量系统及测量方法
DE112015005804T5 (de) Atemzustandsschätzvorrichtung, tragbare Vorrichtung, an Körper tragbare Vorrichtung, Programm, Medium, Atemzustandsschätzverfahren und Atemzustandsschätzer
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
Yin et al. Heart rate estimation based on face video under unstable illumination
Przybyło A deep learning approach for remote heart rate estimation
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
Macwan et al. Remote photoplethysmography measurement using constrained ica
Cui et al. Non-contact time varying heart rate monitoring in exercise by video camera
CN108720825B (zh) 一种基于多摄像头的非接触式生命体征参数的无缝检测方法
Jaiswal et al. Continuous pulse rate monitoring from facial video using rPPG

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant