CN106063702A - 一种基于人脸视频图像的心率检测系统及检测方法 - Google Patents
一种基于人脸视频图像的心率检测系统及检测方法 Download PDFInfo
- Publication number
- CN106063702A CN106063702A CN201610344233.2A CN201610344233A CN106063702A CN 106063702 A CN106063702 A CN 106063702A CN 201610344233 A CN201610344233 A CN 201610344233A CN 106063702 A CN106063702 A CN 106063702A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- module
- signal
- physiological parameter
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012880 independent component analysis Methods 0.000 claims abstract description 26
- 238000013139 quantization Methods 0.000 claims abstract description 14
- 238000000926 separation method Methods 0.000 claims abstract description 13
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 44
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 10
- 238000010183 spectrum analysis Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000747 cardiac effect Effects 0.000 claims description 3
- 230000002902 bimodal effect Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000002526 effect on cardiovascular system Effects 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 241001105097 Trox Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009084 cardiovascular function Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种基于人脸视频图像的心率检测系统，包括视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块，视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接。心率检测算方法包括视频录制、人脸识别、RGB分离、独立分量分析分解、生理参数量化等步骤。本发明计算效率高，有效克服人脸轮廓、光照及其他环境因素的影响。可以实时指示心血管的变化，解决了病人对接触式检测产生不适从而导致测量结果不准确的问题，也对远程医疗方面也有较大的应用前景。
Description
技术领域
本发明属于便携式医疗和互联网医疗技术领域，涉及一种通过摄像头采集人脸视频图像来检测心率的方法。
背景技术
心血管功能的常规检查和无创式检测是预防心血管疾病和治疗慢性疾病的重要方法。与此同时，静息心率是检测心血管疾病最基本、最重要的参数之一，较高的静息心率被认为是引起心血管疾病的重要因素之一。目前，心率检测主要分为临床和商业检测。临床上，心率检测技术标准方法(如心电图，ECG)一般都要求病人穿凝胶补丁或胸肩带，这不仅会引起病人不适而且可能影响检测结果。商业检测使用脉搏血氧传感器，附着于指尖或耳垂进行测量，显然，这种方法同样也不利于病人心率的测量，并且如果病人戴装有弹簧的夹子很长一段时间的话可能会引起疼痛。飞利浦(2011.9)推出一款ios应用“Vital SignsCamera”，能够让iPad2测量人体的心率和呼吸率，整个测量过程只需要开启iPad2的摄像头即可。与其它需要安装附件的类似软件不同，飞利浦声称这款应用只需要通过“脸色”和“胸腔运动”就能够测量到相应的心率和呼吸率。但其对应用场景要求高。因此Vi TroxTechnologies(2012.5)推出“What‘s My Heart Rate”，可以通过脸部来测量人的心率和呼吸频率。采用了和谷歌相同的脸部技术，在软件算法中尝试消除由动作、周围光源等引起的噪声。但测量时仍然要求头部不要随意摆动。麻省理工学院多媒体实验室(Media Lab)已经完成了的一种基于人脸视频识别的心率检测技术，有很高的检测准确率，无需外加硬件，同时也实现了日常生活中的应用。但目前为止，以上技术及应用仅局限于欧美市场，在中国并没有得到很好的实现和推广。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于人脸视频图像的心率检测系统及检测方法。
本发明的目的是通过以下技术方案来实现的。
本发明所述的一种基于人脸视频图像的心率检测系统，包括视频录制模块、人脸识别(连续均值量化变换和Winnows稀疏网络模型)模块、RGB分离模块、独立分量分析(4阶及以上统计量FastICA)模块和生理参数量化(功能谱计算、峰值检测)模块，视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接。其中：
所述视频录制模块，用于获取人脸视频图像；
所述人脸识别模块，用于获得视频感兴趣区域的人脸；
所述RGB分离模块，用于获得人脸图像的R、G、B三通道分离信号；
所述独立分量分析模块，用于获得统计意义独立的三通道信号；
所述生理参数量化模块，用于计算呼吸、心率等生理参数。
一种基于人脸视频图像的心率检测算方法，其特征在于，包括以下步骤：
(1)视频录制：室内，以普通日光灯或自然光为光源，光强度为正常生活学习所需要的强度。测试者坐在距离摄像头(如iSight摄像头)大约0.5米，录制时间为30秒。
(2)人脸识别：采用结合连续均值量化变换(Successive Mean QuantizationTransform，SMQT)的图像增强技术和Winnows稀疏网络(Sparse Network of Winnows，SNoW)模型的人脸识别算法，该算法在光照亮度变化的环境下，人脸的检测不会受到影响，而且该算法计算非常高效。将每一帧的图像连续均值量化变换
(3)RGB分离：获取视频感兴趣区域(Region of Interest，ROI)，将人脸部分和选择宽度方向的60％/高度方向100％得到一个包含脸的矩形区域这两部分的交集作为ROI，再将ROI图像分解成R、G、B共3个通道，并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号，分别为x1(t)，x2(t)，x3(t)。
(4)独立分量分析(Independent Component Correlation Algorithm，ICA)分解：首先对R、G、B三通道数据进行归一化，目的是避免不同人、不同光照环境下的人脸图像分量强度不一致。再将归一化的信号通过ICA分解为3个独立源信号。我们采用4阶统计量的方法，将三通道信号得到4阶意义上的近似统计独立的信号。其他的高阶ICA方法也适用于本方法。将分解出的第二通道的独立分量作为生理参数量化信号。如果遇到特殊情况，即第二通道分量不能充分体现体积，则手动选择合适分量。方法是，分析3个独立分量的频谱，选择基频信号最强，谐波最明显的独立分量用于生理参数量化。
(5)生理参数量化：生理参数(主要是心率、呼吸速率)量化的关键是对选择的独立分量完成谱分析。再在生理参数频率范围内检测功率谱的峰值。正常心率的范围为60-100次/分钟，则对应的频率范围为1-1.67Hz，在该范围内检测功率谱的峰值，则可由峰值对应的频率获得心率，即心率＝功率谱峰值对应的频率*60。与此同时，当人进行了运动后，心率加速，则峰值对应的频率会相应增大。本发明限定有效的功率谱峰值范围为0.7-4Hz。如果信号噪声小，则会在有效峰值范围内若出现2个峰值，则第一个峰值对应的是呼吸速率，第二个峰值对应的是心率。
更具体地说，步骤(5)所述的生理参数量化，其特征在于，通过统计独立分量的谱分析获取心率、呼吸等生理参数的量化值。包括以下步骤：
(a)：选择独立分量，一般选择包含较多体积描述的第二个独立分量，用谱分析方法计算功率谱，选择合适的窗函数减少频谱遗漏，改善分辨率，
(b)：绘制功率谱直方图，检验是否近似满足Gaussian分布。
(c)：对功率谱进行带通滤波，滤除低频和高频成分，保留生理参数有效范围内的信号。
(d)：检测生理参数有效范围内的信号峰值。如果有单一峰值则对应心率信号；如果有双峰值则第一个峰对应呼吸信号，第二个峰对应呼吸信号。
(e)：将有效范围内峰值对应的频率*60，得到心率和呼吸。
步骤(5)所述的谱分析方法可以是Welch算法、FFT谱分析方法或AR方法。
本发明与现有技术相比，具有的有益效果是：
(1)采用了SMQT特征和SNoW稀疏网络模型的人脸识别算法，使得计算效率大大提高。并且能有效克服人脸轮廓、光照及其他环境因素的影响。
(2)对归一化的数据进行了ICA分解。ICA方法的目的是对获得的混合信号进行某种线性分解，获取统计独立的成分，本发明采用4阶统计量和快速独立分量分析(FastICA)两种独立分量分解算法。ICA分解能够有效获得统计意义独立的信号。
(3)本发明通过一个记录面部视频的网络摄像头，获取红(R)、绿(G)、蓝(B)颜色，颜色随时间的变化可以反映血液体积变化以及其他来源的光的波动。其主要依据是感兴趣的相关源信号是研究传播到全身的心血管血容量脉冲。在心动周期中的面部血管容积的变化会改变入射环境光的路径长度，使得反射光量的后续变化可以指示实时的心血管变化。
(4)本发明首选Welch算法计算功率谱，虽然Nfft点数会改变频率分辨率，进而将影响心率计算结果，但是，在实验过程中可得点数引起的差异并不大，算法具有稳健性，因此，我们用较短的点数计算心率，从而提高计算速度。但是，本发明计算功率谱时并不局限于Welch算法，可以广泛采用现有的功率谱计算方法。
(5)计算功率谱时通过选择合适的窗函数来减少频谱的遗漏，进而改善分辨率。
(6)提出了特殊情况下，利用信号谱分析的特性选择独立分量的方法。
附图说明
图1为测试者1单帧图像人脸识别及R、G、B分量分离伪彩色结果。
图2为测试者2单帧图像人脸识别及R、G、B分量分离伪彩色结果。
图3为测试者3单帧图像人脸识别及R、G、B分量分离伪彩色结果。
图4为测试者1的RGB分量空间/时间平均结果。
图5为测试者2的RGB分量空间/时间平均结果。
图6为测试者3的RGB分量空间/时间平均结果。
图7为测试者1归一化R、G、B分量。
图8为测试者2归一化R、G、B分量。
图9为测试者3归一化R、G、B分量。
图10为测试者1分离得到三个独立信号
图11为测试者2分离得到三个独立信号。
图12为测试者3分离得到三个独立信号。
图13为测试者2独立分量2滤波器前的频谱。
图14为测试者2独立分量2滤波器前的频谱。
图15为测试者3独立分量2滤波器前的频谱。
图16为测试者1功率谱分布直方图。
图17为测试者2功率谱分布直方图。
图18为测试者3功率谱分布直方图。
图19为测试者1独立分量2滤波后的功率谱。
图20为测试者2独立分量2滤波后的功率谱。
图21为测试者3独立分量2滤波后的功率谱。
图22为测试者2功率谱分析。
图23为测试者2功率谱分析。
图24为测试者3功率谱分析。
图25为本发明的系统框图。
具体实施方式
本发明将通过一种基于人脸视频图像的心率检测算法实现的方法，包括以下具体步骤：
1、视频录制：本实验在室内进行，以普通日光灯和自然光为光源，光强度为正常生活学习所需要的强度。参加者坐在距离一台笔记本电脑前的内置摄像头(iSight摄像头)大约0.5米。在实验过程中，参与者被要求面对摄像头，呼吸自然，同时为减少运动带来的影响，每段视频过程中要求被测量者静坐，且禁止有较大的活动，视频记录30s。所有的视频以每秒30帧和640×480像素的分辨率彩色(24位RGB与三通道×8位/通道)记录，并以AVI格式保存在笔记本电脑里。
2、人脸识别和RGB分离实验：将录制的人脸视频进行人脸的自动检测并定位测量区域(感兴趣区域，Region of interest,ROI)，ROI的大小是变化的，以适应不同大小的脸图像。选择宽度方向的60％和高度方向100％得到一个包含脸的矩形区域。视频ROI再分解成3个通道，并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号，分别为x1(t)，x2(t)，x3(t)。
3、ICA分解：首先对R、G、B三通道数据进行归一化，再将归一化的信号通过ICA分解为3个独立源信号。基于张量的方法使用4阶累计张量进行累计矩阵的联合对角化，用Cardoso的特征矩阵联合近似对角化算法来实现，得到4阶意义上的源统计独立信号。将RGB信号规范化处理后的结果组成新的矩阵，得到分离的三个独立信号。ICA分量排序具有随机性，一般信号2包含较多体积描述信号的信号。可以使用第2个分量以实现自动检测，这种取法经过实验发现是可行的。如果第2分量非多体积信号，则手动选择合适分量，通过分析3个独立分量的频谱，选择基频信号最强，谐波最明显的独立分量用于生理参数量化。
4、生理参数量化：首先，对选择的独立分量计算功率谱。可以选择Welch算法，即，进行8192点(或更多点)的快速傅里叶变换，并将幅值取模并取对数后得到功率谱。其次，对生理参数频率范围内的信号进行峰值检测。本方法采用简单快速的差分方法来提取峰值。目标数据每个值和旁边的值的比较，若目标数据里的值比旁边的值都大或者相等，则这个值就是这个区域的峰值。若区域没有最大值，则峰值为零。峰值检测方法不限于差分方法。最后，将峰值对应的频率*60得到心率。如果有两个峰值，则第一个峰值对应呼吸，第二个峰值对应心率。
以下根据实施例进一步阐述本发明的目的和效果。
实施例：不同人的心率测量。
1、为了进一步说明本算法检测心率的准确性，证明对于不同人和人在不同状态下可以一样进行心率检测。本文将前面的测试者命名为测试者1，测试者2和测试者3，下面将列出测试者2和测试者3以及测试者1运动以后的心率检测结果，并进行对比分析。
2、对比测试者1、测试者2和测试者3的RGB分量波形，可以明显发现测试者1和测试者2的RGB分量具有明显相似的地方，都是有三个明显的幅值较大的波形，而且出现的位置也差不多。反映到人体的话，这两人在某些方面应该有相似的地方。再者，观察三者的波形规律，可以大概看出三人的波形都具有一定的周期性。再观察三者波形的幅值也可以知道测试者1和测试者2的较测试者3大，特别是测试者2的RGB分量波形幅值较其他两人的都要高。这从后面计算出来的心率比较也可以发现，测试者2的心率偏高，可能存在心率过快问题。具体见图3、图4。
3、将测试者1、测试者2和测试者3的RGB分量进行平滑，结果如图4、图5和图6所示。测试者1、测试者2和测试者3的RGB分量归一化结果图7、图8和图9所示。
进一步对归一化后的分量进行独立分量分解，分解结果如图10、图11和图12所示。
此处给出测试者2和测试者3的RGB分量归一化后组成的新矩阵，进行ICA算法分解，测试者2的混合矩阵A＝
-0.3522 -0.9070 0.2235
-0.6571 -0.7179 0.2225
-0.6466 -0.4752 0.5939
和解混矩阵W＝
2.2195 -2.9934 0.2862
-1.7053 0.4479 0.4738
1.0519 -2.9004 2.3743
测试者3的混合矩阵A＝
0.1598 0.5829 0.7946
0.5342 0.5676 0.6238
0.7256 0.4131 0.5472
和解混矩阵W＝
-1.0584 -0.1844 1.7470
-3.2083 9.7875 -6.4991
3.8253 -7.1436 4.4167
经过ICA算法分解，得到了测试者2和测试者3的三个独立信号，将分离的信号看作心率信号的话，那么信号波形和横坐标围成的面积可以看作心脏每搏输出血量。当人体形相差不大时，显然，每搏血量多的心率要小，每搏血量少的心率要快。这样，明显是独立信号2具有较多的血容量脉冲信号。因此，选择独立信号2作为计算心率的源信号。
4、测试者1、测试者2和测试者3的独立信号2经过求功率谱分布，明显左边低频部分存在一个功率较大的信号，通常就有所求的心率信号，这需要对功率谱进一步处理以获得更明显的功率信号。如图13、图14和图15所示。
5、通过绘制功率谱的直方图，我们可以更直观地观察功率分布，从图16、图17和图18可以看出测试者1、测试者2和测试者3的功率谱直方图分布近似满足Gaussian分布，即正态分布，这说明上述结果是有效的。
6、将求得的测试者1、测试者2和测试者3的功率谱进行带通滤波。结果如图19、图20和图21所示。通过带通滤波，滤去了低频和频率较高的成分。
7、通过差分方法，可以获取功率谱分布中的峰值，经过峰值检测，低频端一个明显的信号就突出来了，通常这个低频端的信号就是心率信号，在图22、图23、图24给出了测试者1、测试者2和测试者3的独立分量2的功率谱分析图，从图中很容易地就知道测试者1、测试者2和测试者3的心率分别为1.5Hz、1.2Hz和1Hz(90次/min、72次/min和60次/min)。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
Claims (5)
1.一种基于人脸视频图像的心率检测系统，包括视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块，视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接；其中：
所述视频录制模块，用于获取人脸视频图像；
所述人脸识别模块，用于获得视频感兴趣区域的人脸；
所述RGB分离模块，用于获得人脸图像的R、G、B三通道分离信号；
所述独立分量分析模块，用于获得统计意义独立的三通道信号；
所述生理参数量化模块，用于计算呼吸、心率等生理参数。
2.一种基于人脸视频图像的心率检测算方法，其特征是包括以下步骤：
(1)视频录制：室内，以普通日光灯或自然光为光源，测试者坐在距离摄像头约0.5米，录制时间为30秒；
(2)人脸识别：采用结合连续均值量化变换的图像增强技术和Winnows稀疏网络模型的人脸识别算法，将每一帧的图像连续均值量化变换；
(3)RGB分离：获取视频感兴趣区域，将人脸部分和选择宽度方向的60％、高度方向100％得到一个包含脸的矩形区域，这两部分的交集作为ROI，再将ROI图像分解成R、G、B共3个通道，并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号，分别为x1(t)，x2(t)，x3(t)；
(4)独立分量分析分解：首先对R、G、B三通道数据进行归一化，再将归一化的信号通过ICA分解为3个独立源信号；将分解出的第二通道的独立分量作为生理参数量化信号；若第二通道分量不能充分体现体积，则手动选择合适分量：分析3个独立分量的频谱，选择基频信号最强，谐波最明显的独立分量用于生理参数量化；
(5)生理参数量化：在生理参数频率范围内检测功率谱的峰值，正常心率的范围为60-100次/分钟，则对应的频率范围为1-1.67Hz，在该范围内检测功率谱的峰值，则可由峰值对应的频率获得心率，即心率＝功率谱峰值对应的频率*60；
将有效的功率谱峰值范围限定为0.7-4Hz，在信号噪声小的情况下，会在有效峰值范围内若出现2个峰值，则第一个峰值对应的是呼吸速率，第二个峰值对应的是心率。
3.根据权利要求3所述的基于人脸视频图像的心率检测算方法，其特征是步骤(5)所述的ICA分解法为4阶统计量方法或其他的高阶ICA方法。
4.根据权利要求2所述的基于人脸视频图像的心率检测算方法，其特征是步骤(4)所述的生理参数量化，包括以下步骤：
(a)：选择独立分量，一般选择包含较多体积描述的第二个独立分量，用谱分析方法计算功率谱，选择合适的窗函数减少频谱遗漏，改善分辨率，
(b)：绘制功率谱直方图，检验是否近似满足Gaussian分布；
(c)：对功率谱进行带通滤波，滤除低频和高频成分，保留生理参数有效范围内的信号；
(d)：检测生理参数有效范围内的信号峰值，如果有单一峰值则对应心率信号；如果有双峰值则第一个峰对应呼吸信号，第二个峰对应呼吸信号；
(e)：将有效范围内峰值对应的频率*60，得到心率和呼吸。
5.根据权利要求3或4所述的基于人脸视频图像的心率检测算方法，其特征是步骤(5)所述的谱分析方法是Welch算法、FFT谱分析方法或AR方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610344233.2A CN106063702A (zh) | 2016-05-23 | 2016-05-23 | 一种基于人脸视频图像的心率检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610344233.2A CN106063702A (zh) | 2016-05-23 | 2016-05-23 | 一种基于人脸视频图像的心率检测系统及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106063702A true CN106063702A (zh) | 2016-11-02 |
Family
ID=57420087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610344233.2A Pending CN106063702A (zh) | 2016-05-23 | 2016-05-23 | 一种基于人脸视频图像的心率检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106063702A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491117A (zh) * | 2016-12-06 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种基于ppg心率测量技术的信号处理方法及装置 |
| CN106725410A (zh) * | 2016-12-12 | 2017-05-31 | 努比亚技术有限公司 | 一种心率检测方法和终端 |
| CN106778003A (zh) * | 2016-12-26 | 2017-05-31 | 佛山市幻云科技有限公司 | 远程医疗方法与服务器 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN109993068A (zh) * | 2019-03-11 | 2019-07-09 | 华南理工大学 | 一种基于心率和面部特征的非接触式的人类情感识别方法 |
| CN110084085A (zh) * | 2018-11-06 | 2019-08-02 | 天津工业大学 | 基于成形信号的rppg高精度心率检测方法 |
| CN110110574A (zh) * | 2018-01-30 | 2019-08-09 | 普天信息技术有限公司 | 心理压力参数的获取方法和标注方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及系统 |
| CN110464308A (zh) * | 2019-08-22 | 2019-11-19 | 南京医尔仁医疗科技有限公司 | 智能罐印检测仪及其检测方法 |
| CN111000542A (zh) * | 2019-12-30 | 2020-04-14 | 广州享药户联优选科技有限公司 | 基于智能药箱实现身体异常预警的方法及装置 |
| CN112022135A (zh) * | 2020-08-04 | 2020-12-04 | 成都猎维科技有限公司 | 一种基于掩码神经网络独立成分分解原理的心率检测方法 |
| CN112954436A (zh) * | 2019-11-26 | 2021-06-11 | 西安诺瓦星云科技股份有限公司 | 视频图像画质调节方法、装置和视频处理设备 |
| CN113361526A (zh) * | 2021-07-16 | 2021-09-07 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| CN102576458A (zh) * | 2009-10-06 | 2012-07-11 | 皇家飞利浦电子股份有限公司 | 用于获得第一信号进行分析以便表征该第一信号的至少一个周期性分量的方法和系统 |
| CN103006187A (zh) * | 2013-01-10 | 2013-04-03 | 浙江大学 | 一种非接触式生命体征数据监测系统和监测方法 |
| CN103440476A (zh) * | 2013-08-26 | 2013-12-11 | 大连理工大学 | 一种人脸视频中瞳孔的定位方法 |
-
2016
- 2016-05-23 CN CN201610344233.2A patent/CN106063702A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102576458A (zh) * | 2009-10-06 | 2012-07-11 | 皇家飞利浦电子股份有限公司 | 用于获得第一信号进行分析以便表征该第一信号的至少一个周期性分量的方法和系统 |
| US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| CN103006187A (zh) * | 2013-01-10 | 2013-04-03 | 浙江大学 | 一种非接触式生命体征数据监测系统和监测方法 |
| CN103440476A (zh) * | 2013-08-26 | 2013-12-11 | 大连理工大学 | 一种人脸视频中瞳孔的定位方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491117A (zh) * | 2016-12-06 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种基于ppg心率测量技术的信号处理方法及装置 |
| CN106725410A (zh) * | 2016-12-12 | 2017-05-31 | 努比亚技术有限公司 | 一种心率检测方法和终端 |
| CN106778003A (zh) * | 2016-12-26 | 2017-05-31 | 佛山市幻云科技有限公司 | 远程医疗方法与服务器 |
| CN110110574A (zh) * | 2018-01-30 | 2019-08-09 | 普天信息技术有限公司 | 心理压力参数的获取方法和标注方法 |
| CN108937905A (zh) * | 2018-08-06 | 2018-12-07 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN110084085B (zh) * | 2018-11-06 | 2023-12-15 | 天津工业大学 | 基于成形信号的rppg高精度心率检测方法 |
| CN110084085A (zh) * | 2018-11-06 | 2019-08-02 | 天津工业大学 | 基于成形信号的rppg高精度心率检测方法 |
| CN109993068A (zh) * | 2019-03-11 | 2019-07-09 | 华南理工大学 | 一种基于心率和面部特征的非接触式的人类情感识别方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及系统 |
| CN110464308A (zh) * | 2019-08-22 | 2019-11-19 | 南京医尔仁医疗科技有限公司 | 智能罐印检测仪及其检测方法 |
| CN112954436A (zh) * | 2019-11-26 | 2021-06-11 | 西安诺瓦星云科技股份有限公司 | 视频图像画质调节方法、装置和视频处理设备 |
| CN112954436B (zh) * | 2019-11-26 | 2023-04-25 | 西安诺瓦星云科技股份有限公司 | 视频图像画质调节方法、装置和视频处理设备 |
| CN111000542A (zh) * | 2019-12-30 | 2020-04-14 | 广州享药户联优选科技有限公司 | 基于智能药箱实现身体异常预警的方法及装置 |
| CN111000542B (zh) * | 2019-12-30 | 2023-03-24 | 广州享药户联优选科技有限公司 | 基于智能药箱实现身体异常预警的方法及装置 |
| CN112022135A (zh) * | 2020-08-04 | 2020-12-04 | 成都猎维科技有限公司 | 一种基于掩码神经网络独立成分分解原理的心率检测方法 |
| CN113361526A (zh) * | 2021-07-16 | 2021-09-07 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
| CN113361526B (zh) * | 2021-07-16 | 2022-09-27 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106063702A (zh) | 一种基于人脸视频图像的心率检测系统及检测方法 | |
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
| US10448900B2 (en) | Method and apparatus for physiological monitoring | |
| CN114781465B (zh) | 一种基于rPPG的非接触式疲劳检测系统及方法 | |
| CN112233813A (zh) | 一种基于ppg的非接触式无创心率呼吸测量方法及系统 | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| US20230233091A1 (en) | Systems and Methods for Measuring Vital Signs Using Multimodal Health Sensing Platforms | |
| US20140200460A1 (en) | Real-time physiological characteristic detection based on reflected components of light | |
| CN110866498B (zh) | 一种心率监测方法 | |
| WO2023185873A1 (zh) | 一种基于多阶多模态的非袖带式血压测量装置及方法 | |
| CN111714105A (zh) | 基于ippg的人体生命体征感知系统 | |
| CN111797817A (zh) | 情绪识别方法、装置、计算机设备及计算机可读存储介质 | |
| WO2021164350A1 (zh) | 一种生成光体积变化描记图法信号的方法和装置 | |
| CN110200640A (zh) | 基于双模态传感器的非接触式情绪识别方法 | |
| CN104473660A (zh) | 一种基于子带能量包络自相关特征的异常心音识别方法 | |
| JP2023505111A (ja) | 光学データからの生理学的測定のためのシステムおよび方法 | |
| Qayyum et al. | Assessment of physiological states from contactless face video: a sparse representation approach | |
| CN113591769B (zh) | 基于光电容积脉搏描记法的非接触式心率检测方法 | |
| Talukdar et al. | Evaluating visual photoplethysmography method | |
| Mehta et al. | CPulse: Heart rate estimation from RGB videos under realistic conditions | |
| So-In et al. | Real-time ECG noise reduction with QRS complex detection for mobile health services | |
| Muñoz-Montoro et al. | A system for biomedical audio signal processing based on high performance computing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161102 |
|
| WD01 | Invention patent application deemed withdrawn after publication |