CN109977858B - 一种基于图像分析的心率检测方法及装置 - Google Patents
一种基于图像分析的心率检测方法及装置 Download PDFInfo
- Publication number
- CN109977858B CN109977858B CN201910228363.3A CN201910228363A CN109977858B CN 109977858 B CN109977858 B CN 109977858B CN 201910228363 A CN201910228363 A CN 201910228363A CN 109977858 B CN109977858 B CN 109977858B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- face
- region
- optical signal
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000010191 image analysis Methods 0.000 title claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 59
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012937 correction Methods 0.000 claims abstract description 17
- 230000001131 transforming effect Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000000985 reflectance spectrum Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000009532 heart rate measurement Methods 0.000 abstract description 13
- 210000003128 head Anatomy 0.000 description 32
- 210000003491 skin Anatomy 0.000 description 32
- 238000005259 measurement Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000004207 dermis Anatomy 0.000 description 5
- 238000013186 photoplethysmography Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 210000000434 stratum corneum Anatomy 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010247 heart contraction Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010000891 acute myocardial infarction Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Power Engineering (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于图像分析的心率检测方法及装置，提高心率测量结果的准确度。所述方法包括：获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色‑红色通道差分信号；将提取的绿色‑红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。本发明涉及生物医学领域。
Description
技术领域
本发明涉及生物医学领域，特别是指一种基于图像分析的心率检测方法及装置。
背景技术
人类每分钟心脏跳动的次数被称之为心率，是最直接反应人类心脏健康的标志。心率是人体相当重要且易于测量的生命体征。静息心率较高通常伴随心脏病发病率及病死率较高、急性心肌梗死致死率较高等，持续的心率测量和监控对于心脑血管等疾病的控制和预防有着很重要的作用。
心率测量从与被测者是否接触的角度来看，分为接触式测量和非接触式测量两种方法。接触式测量有心电监护仪、指夹式脉搏监测仪以及近年来出现的可穿戴心率测量设备等，其操作复杂且不便用于新生儿及其他皮肤环境脆弱人群的日常测量。而非接触式心率测量便捷、无需消毒、能够实现自动化测量且舒适性较强。
现有技术中，非接触式心率测量还未成熟，较为常见的是光电容积脉搏波描记法(Photoplethysmography，PPG)，它通过光电设备照射活体组织后测量反射光强度的方式，检测微动脉、毛细血管中血液容积的变化从而估计心率。但是基于PPG的心率测量方法对光照、背景等环境的要求较高。
发明内容
本发明要解决的技术问题是提供一种基于图像分析的心率检测方法及装置，以解决现有技术所存在的基于PPG的心率测量方法对光照、背景等环境的要求较高的问题。
为解决上述技术问题，本发明实施例提供一种基于图像分析的心率检测方法，包括：
获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
进一步地，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：
提取所述人脸视频中的面部区域；
对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；T表示平移的位移；
表示
的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；
将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：
argmins,R,T||sRpT+T-qT||F subject to RTR＝I
其中，||·||F表示F-范数；
利用奇异值分解方法求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：
进一步地，面部感兴趣区域颜色通道的光信号表示为：
其中，|ROI|表示感兴趣区域的大小；q(u,v,t)表示时间为t时的坐标(u,v)处的像素值；iPPG(t)表示面部运动信号，源于皮肤吸收光的强度变化。
进一步地，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：
根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；
根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。
进一步地，构建的基于三层皮肤模型的光信号模型表示为：
Ii(t)＝αiβi(S0+γiS0iPPG(t)+R0)M(t),i∈{R,G,B}
其中，Ii(t)表示构建的基于多层皮肤模型的光信号模型，S0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，R0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表RGB通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道iPPG信号的交流分量与直流分量之比，M(t)为运动分量。
进一步地，所述绿色-红色通道差分信号表示为：
进一步地，GRD(t)中的αGβG和αRβR分别估算为：
其中，
是αGβG的估算值，
是αRβR的估算值。
进一步地，在运算GRD(t)之前，利用带通滤波处理GRD(t)中的IG(t)和IR(t)，再用αGβG的估算值
和αRβR的估算值
替代原GRD(t)公式中的αGβG和αRβR两项，得到：
其中，IGf(t)、IRf(t)、Mf(t)表示经过带通滤波处理后的IG(t)、IR(t)、M(t)，且Mf(t)是通过跟踪技术减弱的。
进一步地，所述将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率包括：
通过快速傅里叶变换，将GRD(t)变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例还提供一种基于图像分析的心率检测装置，包括：
校正模块，用于获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
确定模块，用于根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
提取模块，用于根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
变换模块，用于将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明的上述技术方案的有益效果如下：
上述方案中，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性较高，且心率测量结果准确度高。
附图说明
图1为本发明实施例提供的基于图像分析的心率检测方法的流程示意图；
图2为本发明实施例提供的面部特征点示意图；
图3(a)为本发明实施例提供的采用G方法的检测结果示意图；
图3(b)为本发明实施例提供的采用GRD方法的检测结果示意图；
图3(c)为本发明实施例提供的采用盲源分离法的检测结果示意图；
图3(d)为本发明实施例提供的采用POS方法的检测结果示意图；
图3(e)为本发明实施例提供的采用基于图像分析的心率检测方法的检测结果示意图；
图4为本发明实施例提供的基于图像分析的心率检测装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的基于PPG的心率测量方法对光照、背景等环境的要求较高的问题，提供一种基于图像分析的心率检测方法及装置。
本实施例所述的基于图像分析的心率检测方法，使用的设备为普通摄像头，通过摄像头捕捉用户的人脸视频，人脸视频记录了心脏跳动引起的面部皮肤下血液容量呈周期性的变化，与之相伴的血液吸收与皮肤反射的光强同样会周期性变化。然而这种变化是极其微弱的，而且很容易受到环境中其他因素(例如，呼吸、面部晃动、视频其他区域发生的变化等)的干扰，所以，本实施例所述的基于图像分析的心率检测方法的目标是提取、去噪、放大这种面部运动信号(以下简称iPPG信号)，然后把iPPG信号从时间域变换到频率域，获取特定的频率数值，这个数值就是心率。
实施例一
如图1所示，本发明实施例提供的基于图像分析的心率检测方法，包括：
S101，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
S102，根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
S103，根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
S104，将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例所述的基于图像分析的心率检测方法，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性高，且心率测量结果准确度高。
在前述基于图像分析的心率检测方法的具体实施方式中，进一步地，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：
提取所述人脸视频中的面部区域；
对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；T表示平移的位移；
表示
的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；
将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：
argmins,R,T||sRpT+T-qT||F subject to RTR＝I
其中，||·||F表示F-范数；
利用奇异值分解方法求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：
本实施例中，所述基于图像分析的心率检测方法对应的检测装置的输入数据是：摄像头捕捉的用户的人脸视频(也可以称为：视频序列或者图像序列帧)，如果输入数据中包括人脸面部信息以及背景等影响，则首先采用人脸自动识别技术提取面部区域，最常用的人脸检测技术是基于OpenCV和Dlib库，可对人脸视频中的面部区域进行提取，以及对面部区域进行面部特征点追踪。
本实施例中，针对输入的视频序列或者图像序列帧的不同情况，可进行不同的图像预处理，例如：
若图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响；
若图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响。
本实施例中，头部运动是心率估计的噪声干扰，检测装置的输入数据是人脸视频，对人脸视频进行人脸检测和面部特征点跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸(即：基准图像)，从而消除头部运动对心率估计的噪声影响。
本实施例中，头部旋转角度校准的方法如下：
A11，根据面部特征点追踪结果，如图2所示，分别提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，基准图像是一张近似正面人脸的图像；
A12，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；T表示平移的位移；
表示
的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；
A13，将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，目标函数定义如下：
argmins,R,T||sRpT+T-qT||F subject to RTR＝I
其中，||·||F表示Frobenius范数(简称F-范数)，即每一项的平方和。
A14，利用奇异值分解方法(singular value decomposition，SVD)求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)，即
本实施例中，通过校准头部角度对头部刚性运动进行倾斜校正，将图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响。
本实施例中，根据校正后的测试图像的面部特征点q(u,v)进行面部感兴趣区域(Region of interest，ROI)的选择。
本实施例中，人脸的某些部分，如眼睛或嘴部，在心率检测过程中可能会有较大幅度的动作(如张嘴、眨眼)，这些动作会对心率信号数值的提取造成干扰。在实验中经过研究测试和对比，最终选取了额头和面颊部分作为感兴趣区域，因为它们受面部动作的干扰较少，对心跳强度的反映也较为明显。这样，通过选取特定的ROI，可以消除其他面部区域对心率检测造成的干扰，从而可以提取到更为健壮的运动信号。
本实施例中，将多层皮肤模型简化为三层皮肤模型，考虑角质层有规律的反射、表皮的映射和吸收，以及真皮的散射和吸收。空气和角质层之间存在折射率的变化，因此小部分的入射光(4％～7％)将被角质层反射，因为皮肤背面并不是光滑的，所以这种反射是散射。就可见光谱而言，人类皮肤主要的发色团包括黑色素和血红蛋白，黑色素位于表皮，而血红蛋白位于真皮内部的毛细血管网当中。微观层面上，折射率的波动使散射也发生在表皮和真皮上。表皮和真皮的散射光也可以看作漫射光。真皮中的血红蛋白含量会随着脉搏而准周期性变化，这将增加/减少皮肤吸收的光。面部运动信号(iPPG信号)就是源于这种光线辐射强度的变化。然而光辐射信号的振幅非常小，可看作大的直流分量(DC)加上小的交流分量(AC)。相比之下，iPPG信号的AC与DC之比就更小了。
本实施例中，对于RGB彩色图像而言，面部感兴趣区域颜色通道的光信号可以表示为：
其中，|ROI|表示感兴趣区域的大小；q(u，v，t)表示时间为t时的坐标(u，v)处的像素值；iPPG(t)表示面部运动信号，源于皮肤吸收光的强度变化。
在前述基于图像分析的心率检测方法的具体实施方式中，进一步地，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：
根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；
根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号。
本实施例中，基于三层皮肤模型的三种色光信号可以表示为：
Ii(t)＝αiβi(S0+γiS0iPPG(t)+R0)，i∈{R，G，B) (2)
其中，S0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，R0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表RGB通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道iPPG信号的交流分量(AC)与直流分量(DC)之比。
本实施例中，由于目标的运动对于三种色光信号会产生相同的影响，所以把式(2)修改为：
Ii(t)＝αiβi(S0+γiS0iPPG(t)+R0)M(t)，i∈{R，G，B} (3)
其中，M(t)为运动分量。得到的式(3)为基于三层皮肤模型的光信号模型公式。
本实施例中，基于三层皮肤模型的光信号模型(式3)，目标是消除M(t)，进行心率估计相关的运动信息提取。
本实施例中，通过颜色通道差分方法提取绿色-红色自适应差分信号，即
这样，含有运动分量的散射光的项S0M(t)和含有运动分量的漫反射光的项R0M(t)就分别相消了。式(4)中仍残留对iPPG信号有影响的运动分量，所以在对人脸进行捕捉时会采用跟踪技术来大幅削弱运动带来的影响。
根据式(4)，颜色差分信号D(t)的振幅与(γi-γj)成正比，为保持D(t)的振幅尽可能地大，通道i和j的选取就应该保证(γi-γj)的值最大。根据光谱和图中波长与AC/DC的关系，可以得出γG＞γB＞γR，因此i为绿色通道，j为红色通道时，(γi-γj)可以取得最大值。因此，用来做差分的两个信号分别为绿色和红色色光信号。本实施例中，将绿色色光信号和红色色光信号进行差分运算，得到绿色-红色通道差分信号，记作GRD(t)：
但是，此时还不知道αGβG和αRβR的取值。彩色数码相机传感器能把光分成RGB三通道，所以可以把它当作一个简单的光谱仪。即使不能确定照明光谱和漫反射光谱，但是由于皮肤辐射的光由照明光谱和反射光谱的乘积决定，因此，可以利用相机以RGB颜色接收的光强来估计它们的乘积。由色光模型公式可知，γiS0iPPG(t)的振幅与颜色相关，且该项远小于S0和R0，所以为了估计αGβG和αRβR两项，可以简化光信号模型公式为：
Ii(t)＝αiβi(S0+R0)，i∈{R，G，B} (6)
这样，通过简化光信号模型提取由心脏跳动所引起的面部皮肤血液容量的周期性变化特征，分离光信号模型中的周期性运动分量。也就是说γiS0iPPG(t)、M(t)在此处被忽略，因此IG(t)和IR(t)分别仅与αGβG和αRβR有关，然而对于时间为t的IG(t)和IR(t)是可以知道的，所以红色和绿色的标准化的照明光谱与标准化的漫反射光谱的乘积可以分别估算为：
用波浪线标记以示
是αGβG的估算值，
是αRβR的估算值。然后，在运算GRD(t)之前，会用0.7至4Hz(对应人体心率范围42-240BPM)的带通滤波处理IG(t)和IR(t)，之后再用
和
替代原GRD(t)公式中的αGβG和αRβR两项，于是GRD(t)被改写为：
下标f表示对应分量已经过上述带通滤波处理，即：IGf(t)、IRf(t)、Mf(t)表示经过带通滤波处理后的IG(t)、IR(t)、M(t)，运动干扰S0M(t)和R0M(t)已经通过相减的方式去除，最后剩余的运动分量Mf(t)也通过跟踪技术减弱。
本实施例中，可以通过快速傅里叶变换，将式(8)中的GRD(t)变换至频域，提取振幅最大值对应的频率，就是用户当前的心率数值，计算过程如下：
PGRD(t)＝|FFT(GRD(t))2|
T＝argmax{PGRD(t)}，t＝0，1，…，N-1 (9)
(7)基于图像分析的心率检测系统性能分析
本实施例中，基于具体的测试环境，对本实施例提供的基于图像分析的心率检测方法的性能进行分析，其中，
测试环境：测试用户处于平稳状态，用户所处的物理环境为光线较差、略微昏暗的宿舍屋内，测试用的硬件为Logitech C920摄像头，运行环境为Intel i7@2.60GHz处理器，测量过程中使用鱼跃YX303血氧仪测量的心率作为真值，与程序测量的结果进行比对。
对比实验选择了其他文献中常用的4种方法：G方法、GRD方法、盲源分离法、POS法，用这4种方法与本实施例提供的基于图像分析的心率检测方法进行比较，测量结果如图3(a)-(e)所示，横坐标为帧数，纵坐标为心率值，单位为BPM(节拍数每分钟)，结合图3(a)-(e)，对G方法、GRD方法、盲源分离法、POS法、基于图像分析的心率检测方法的性能进行简要说明：
(1)G方法：只使用绿色通道作为心率信号。从图表中可以发现，所得到的结果非常不稳定，即使经过了带通滤波等处理，大多数噪声也无法消除。说明这种算法效果不好。
(2)GRD方法：绿色通道与红色通道值之差作为信号。测量的心率数值经过短暂波动后趋于稳定并接近真值，明显好于G方法，但在光照不理想的情况下，仍会发生数值跳变。
(3)盲源分离法：本实验中使用JADE算法对RGB信号进行独立成分分析，盲源分离后，选择谱峭度最高的信号作为心率信号。该方法相对于普通的GRD表现更出色，初期只有小幅围绕真值的波动，短时间内就稳定下来，而且测量数值与真值一致。但是后期经常发生跳变现象，说明以谱峭度为标准选择的信号并不总是真实的心率信号。
(4)POS法：将RGB信号经标准化后投影色域空间直角坐标系中，由血液流动引起的细微的颜色变化就会被放大。POS方法需要相对较长的一段时间才能逐渐收敛到一个稳定的数值，经分析原因如下：根据图中显示的帧率(FPS)可以得知，POS算法较为复杂，对程序整体的时间性能产生了负面影响，而对于心率测量来说，过低的FPS会严重影响测量的效果。
(5)基于图像分析的心率检测方法：使用的方法在所有方法中的表现最为出色，初期只有小幅围绕真值的波动，短时间内就稳定下来，而且测量数值与真值一致，同样的光照条件下几乎没有发生过数值跳变现象，说明该方法测量结果精准，稳定性高。
实施例二
本发明还提供一种基于图像分析的心率检测装置的具体实施方式，由于本发明提供的基于图像分析的心率检测装置与前述基于图像分析的心率检测方法的具体实施方式相对应，该基于图像分析的心率检测装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于图像分析的心率检测方法具体实施方式中的解释说明，也适用于本发明提供的基于图像分析的心率检测装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图4所示，本发明实施例还提供一种基于图像分析的心率检测装置，包括：
校正模块11，用于获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
确定模块12，用于根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
提取模块13，用于根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
变换模块14，用于将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
本发明实施例所述的基于图像分析的心率检测装置，获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正，将视频图像序列中的每帧图像矫正为近似正面人脸，从而消除头部运动对心率估计的噪声影响；根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号，减小面部其他区域信息干扰；根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号，消除运动干扰信息；将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率，该心率检测方法对环境要求较低、实用性高，且心率测量结果准确度高。
本实施例中，心率检测装置可以调用摄像头捕捉用户的人脸视频，将捕捉到的用户的人脸视频输入到所述基于图像分析的心率检测装置中，实现用户的心率测量。本实施例中，所述检测装置可以是一台Windows操作系统的计算机，也可以是其他终端设备。
本实施例中，所述摄像头也可以集成在所述检测装置中。
本实施例中，所述摄像头和所述检测装置构成一个非接触式心率测量系统，对环境要求较低、实用性高。
本实施例中，所述检测装置不仅可以测量心率，还可以以图表和文本的方式显示和记录测量情况，以便后续分析。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于图像分析的心率检测方法，其特征在于，包括：
获取用户的人脸视频，对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正；
根据校正后的面部特征点选取面部感兴趣区域，确定面部感兴趣区域颜色通道的光信号；
根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号；
将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率；
其中，所述对人脸视频中的面部特征点进行跟踪，并结合头部旋转校准对头部刚性运动进行倾斜校正包括：
提取所述人脸视频中的面部区域；
对所述面部区域中的面部特征点进行追踪，提取基准图像的面部特征点p(x,y)和测试图像的面部特征点q(u,v)，其中，经过图像平移、旋转、缩放后，特征点p(x,y)和特征点q(u,v)之间满足如下关系：
其中，s是缩放比例；T表示平移的位移；
表示
的平移位移；R是正交矩阵，RTR＝I，I表示单位矩阵；θ是旋转角度；上标T表示矩阵转置；
将头部旋转校准问题转化为最小化目标函数，使得校正后的测试图像贴近基准图像，所述目标函数表示为：
arg mins,R,T||sRpT+T-qT||F subject to RTR＝I
其中，||·||F表示F-范数；
利用奇异值分解方法求解目标函数的最优参数s，R，T，根据仿射变换得到校正后的测试图像的面部特征点q(u,v)：
其中，面部感兴趣区域颜色通道的光信号表示为：
其中，|ROI|表示感兴趣区域的大小；q(u,v,t)表示时间为t时的坐标(u,v)处的像素值；iPPG(t)表示面部运动信号，源于皮肤吸收光的强度变化；
其中，所述根据确定的面部感兴趣区域颜色通道的光信号，构建基于多层皮肤模型的光信号模型，根据构建的光信号模型，提取绿色-红色通道差分信号包括：
根据确定的面部感兴趣区域颜色通道的光信号，构建基于三层皮肤模型的光信号模型；
根据构建的光信号模型，通过颜色通道差分方法提取绿色-红色通道差分信号；
其中，构建的基于三层皮肤模型的光信号模型表示为：
Ii(t)＝αiβi(S0+γiS0iPPG(t)+R0)M(t),i∈{R,G,B}
其中，Ii(t)表示构建的基于多层皮肤模型的光信号模型，S0是感兴趣区域内皮肤在白光照射下的散射光强度的平均值，R0是感兴趣区域内皮肤在白光照射下的漫反射光强度的平均值，i代表RGB通道中的一种通道，αi是i通道色光在标准化的照明光谱中的强度，βi是i通道色光在标准化的漫反射光谱中的强度，γi是i通道iPPG信号的交流分量与直流分量之比，M(t)为运动分量。
2.根据权利要求1所述的基于图像分析的心率检测方法，其特征在于，所述绿色-红色通道差分信号表示为：
3.根据权利要求2所述的基于图像分析的心率检测方法，其特征在于，GRD(t)中的αGβG和αRβR分别估算为：
其中，
是αGβG的估算值，
是αRβR的估算值。
4.根据权利要求3所述的基于图像分析的心率检测方法，其特征在于，在运算GRD(t)之前，利用带通滤波处理GRD(t)中的IG(t)和IR(t)，再用αGβG的估算值
和αRβR的估算值
替代原GRD(t)公式中的αGβG和αRβR两项，得到：
其中，IGf(t)、IRf(t)、Mf(t)表示经过带通滤波处理后的IG(t)、IR(t)、M(t)，且Mf(t)是通过跟踪技术减弱的。
5.根据权利要求4所述的基于图像分析的心率检测方法，其特征在于，所述将提取的绿色-红色通道差分信号变换至频域，提取振幅最大值对应的频率作为用户当前的心率包括：
通过快速傅里叶变换，将GRD(t)变换至频域，提取振幅最大值对应的频率作为用户当前的心率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228363.3A CN109977858B (zh) | 2019-03-25 | 2019-03-25 | 一种基于图像分析的心率检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228363.3A CN109977858B (zh) | 2019-03-25 | 2019-03-25 | 一种基于图像分析的心率检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109977858A CN109977858A (zh) | 2019-07-05 |
| CN109977858B true CN109977858B (zh) | 2020-12-01 |
Family
ID=67080431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910228363.3A Active CN109977858B (zh) | 2019-03-25 | 2019-03-25 | 一种基于图像分析的心率检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109977858B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110279402A (zh) * | 2019-07-31 | 2019-09-27 | 杭州泽铭睿股权投资有限公司 | 一种皮下血管光学视频图像的成像方法 |
| CN110765838B (zh) * | 2019-09-02 | 2023-04-11 | 合肥工业大学 | 用于情绪状态监测的面部特征区域实时动态分析方法 |
| CN112580410A (zh) * | 2019-09-30 | 2021-03-30 | 梅州市青塘实业有限公司 | 一种马桶以及基于马桶的心率采集方法和装置 |
| TWI743593B (zh) * | 2019-11-18 | 2021-10-21 | 緯創資通股份有限公司 | 活體臉部辨識系統與方法 |
| CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
| JP2021083783A (ja) * | 2019-11-28 | 2021-06-03 | 株式会社エクォス・リサーチ | 脈拍数検出装置、運動装置、及び脈拍数検出プログラム |
| CN111445477B (zh) * | 2020-02-28 | 2023-07-25 | 季华实验室 | 一种基于区域自动分割与选择的分析方法、装置及服务器 |
| CN111839492B (zh) * | 2020-04-20 | 2022-10-18 | 合肥工业大学 | 一种基于面部视频序列的心率非接触式测量方法 |
| CN112001122B (zh) * | 2020-08-26 | 2023-09-26 | 合肥工业大学 | 基于端到端生成对抗网络的非接触式生理信号测量方法 |
| CN112396011B (zh) * | 2020-11-24 | 2023-07-18 | 华南理工大学 | 一种基于视频图像心率检测及活体检测的人脸识别系统 |
| CN113796845B (zh) * | 2021-06-10 | 2023-08-04 | 重庆邮电大学 | 一种基于图像处理的驾驶员心率识别方法 |
| CN113449653B (zh) * | 2021-06-30 | 2022-11-01 | 广东电网有限责任公司 | 心率检测方法、系统、终端设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663413A (zh) * | 2012-03-09 | 2012-09-12 | 中盾信安科技(江苏)有限公司 | 一种面向多姿态和跨年龄的人脸图像认证方法 |
| CN103271734A (zh) * | 2012-12-10 | 2013-09-04 | 中国人民解放军第一五二中心医院 | 一种基于低端成像设备的心率测量方法 |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
-
2019
- 2019-03-25 CN CN201910228363.3A patent/CN109977858B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663413A (zh) * | 2012-03-09 | 2012-09-12 | 中盾信安科技(江苏)有限公司 | 一种面向多姿态和跨年龄的人脸图像认证方法 |
| CN103271734A (zh) * | 2012-12-10 | 2013-09-04 | 中国人民解放军第一五二中心医院 | 一种基于低端成像设备的心率测量方法 |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109977858A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977858B (zh) | 一种基于图像分析的心率检测方法及装置 | |
| Feng et al. | Motion-resistant remote imaging photoplethysmography based on the optical properties of skin | |
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| US11229372B2 (en) | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space | |
| Guazzi et al. | Non-contact measurement of oxygen saturation with an RGB camera | |
| EP3664704B1 (en) | Device, system and method for determining a physiological parameter of a subject | |
| EP2748762B1 (en) | Distortion reduced signal detection | |
| Wei et al. | Non-contact, synchronous dynamic measurement of respiratory rate and heart rate based on dual sensitive regions | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| Blackford et al. | Effects of frame rate and image resolution on pulse rate measured using multiple camera imaging photoplethysmography | |
| EP3440991A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
| Sinhal et al. | An overview of remote photoplethysmography methods for vital sign monitoring | |
| KR102285999B1 (ko) | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 | |
| Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
| Bobbia et al. | Remote photoplethysmography based on implicit living skin tissue segmentation | |
| Bousefsaf et al. | Automatic selection of webcam photoplethysmographic pixels based on lightness criteria | |
| Wedekind et al. | Automated identification of cardiac signals after blind source separation for camera-based photoplethysmography | |
| Huang et al. | A motion-robust contactless photoplethysmography using chrominance and adaptive filtering | |
| Bai et al. | Real-time robust noncontact heart rate monitoring with a camera | |
| Li et al. | Comparison of region of interest segmentation methods for video-based heart rate measurements | |
| Li et al. | Model-based region of interest segmentation for remote photoplethysmography | |
| Mehta et al. | CPulse: heart rate estimation from RGB videos under realistic conditions | |
| Karmuse et al. | A robust rppg approach for continuous heart rate measurement based on face | |
| Geng et al. | Motion resistant facial video based heart rate estimation method using head-mounted camera | |
| Sacramento et al. | A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |