CN109480808A - 一种基于ppg的心率检测方法、系统、设备和存储介质 - Google Patents
一种基于ppg的心率检测方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN109480808A CN109480808A CN201811132117.XA CN201811132117A CN109480808A CN 109480808 A CN109480808 A CN 109480808A CN 201811132117 A CN201811132117 A CN 201811132117A CN 109480808 A CN109480808 A CN 109480808A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- image
- ppg
- rate value
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 230000001815 facial effect Effects 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 206010013786 Dry skin Diseases 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 19
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003111 delayed effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 7
- 239000003814 drug Substances 0.000 abstract description 3
- 238000013186 photoplethysmography Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 206010040830 Skin discomfort Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于PPG的心率检测方法、系统、设备和存储介质。其中，心率检测方法包括：对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；之后，对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号；之后，利用连续小波变换对所述时序信号滤波处理，获取脉搏波；然后，利用傅里叶变换获得心率值，实现了非接触式测量人体的心率，其测量结果精确度高，可直接在医学、测谎等领域运用。
Description
技术领域
本发明涉及心率测量技术，特别涉及一种基于PPG的心率检测方法、系统、设备和存储介质。
背景技术
目前，以心电图(ECG)为标准的心脏搏动测量技术需要在人体上贴凝胶粘片或者胸背带，这些接触一方面可能引起皮肤过敏或不适，一方面使用过程不便利。而远程测量可以提供较舒服的无电极生理评估。但是，到目前为止，多有的远程测量系统的设计几乎都是非自动化的，且在使用过程中易受运动的影响，造成测量精度不高。
另，在进行测谎时，需要根据测谎者的面部表情、心率等多项指示进行测试，且最好是在被测者不知道的情况下测试，才能得到更为精确的测试结果，因此接触式的心率测量方式不适应于测谎测试。
因而现有技术还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于PPG的心率检测方法、系统、设备和存储介质，能根据人脸图像进行处理获取被测者的心率值。
为解决以上技术问题，本发明采取了以下技术方案：
一种基于PPG的心率检测方法，其包括如下步骤：
对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号；
利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
利用傅里叶变换获得心率值。
所述的基于PPG的心率检测方法中，所述对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像的步骤之前，所述的基于PPG的心率检测方法还包括：
采集包含人脸的RGB图像。
所述的基于PPG的心率检测方法中，所述利用傅里叶变换获得心率值的步骤之后，所述的基于PPG的心率检测方法还包括：
每隔预设时间更新显示所述心率值。
所述的基于PPG的心率检测方法中，所述对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像的步骤包括：
将所述人脸图像从RGB空间转换为YCbCr色度空间；
在YCbCr空间内设定阈值进行皮肤粗检测，取图像中间预设区域和鼻子周边皮肤区域作为感兴趣的皮肤区域。
所述的基于PPG的心率检测方法中，所述对所述皮肤区域图像的绿色通道做空间像素平均，插值预设帧人脸图像得到包含心脏搏动信息的时序信号的步骤包括：
获取一帧人脸区域的感兴趣的皮肤区域，计算该帧图像的绿色通道空间像素平均；
根据所述空间像素平均获取该图像的源信号值并缓存，判断是否缓存到预设帧个值；
当缓存达到预设帧人脸图像时，插值预设帧人脸图像的绿色通道像素平均，提取包含心脏搏动信息的时序信号。
所述的基于PPG的心率检测方法中，所述利用傅里叶变换获得心率值包括：
对脉搏波信号采用傅里叶变换得到复数数组；
根据复数数组的模计算出最大模对应的最大频率，依据最大频率得到频率上下限；
将上下限之间的频率和对应的模进行加权平均得到心率频率；
将所述心率频率转换得到心率值。
所述的基于PPG的心率检测方法中，所述每隔预设时间更新显示所述心率值的步骤包括：
判断转换得到的心率值是否为第一个心率值；
当为第一个心率值时，显示该心率值，并缓存；否则，将当前心率值与缓存心率值的差值记作chgR，取0.2*chgR作deltaR,若deltaR大于1或小于-1，则取deltaR为1或-1，并将缓存的心率值加上deltaR作为最新的心率值显示并缓存。
一种非接触式心率检测系统，其包括：
检测模块，用于对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
生成模块，用于对所述皮肤区域图像的绿色通道做空间像素平均，插值预设帧人脸图像得到包含心脏搏动信息的时序信号；
盲源分离模块，用于利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
心率计算模块，用于利用傅里叶变换获得心率值。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
相较于现有技术，本发明提供的基于PPG的心率检测方法、系统、设备和存储介质中，其心率检测方法包括：对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；之后，对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号；之后，利用连续小波变换对所述时序信号滤波处理，获取脉搏波；然后，利用傅里叶变换获得心率值，实现了非接触式测量人体的心率，其测量结果精确度高，可直接在医学、测谎等领域运用。
附图说明
图1为本发明提供的基于PPG的心率检测方法的流程图。
图2为本发明提供的基于PPG的心率检测方法中步骤S100的流程图。
图3为本发明提供的基于PPG的心率检测方法中步骤S200的流程图。
图4为Bayer型颜色滤波矩阵。
图5为本发明提供的基于PPG的心率检测方法中绿色G通道源信号波形和CWT变换后的脉搏波形示意图。
图6为本发明提供的基于PPG的心率检测方法中步骤S400的流程图。
图7为本发明提供的基于PPG的心率检测方法的应用例的流程图。
图8为本发明提供的基于PPG的心率检测系统的结构框图。
图9为本发明提供的计算机设备的结构框图。
具体实施方式
本发明通过本地摄像头拍摄RGB图片，采用人脸检测，获取人脸感兴趣区域ROI，利用PPG技术将图像感兴趣区域绿色通道做空间像素平均，通过插值预设帧后提取得到包含心脏搏动信息的时序信号；对信号进行连续小波变换得到血液容积脉搏波；之后用傅里叶变换计算心率值；最后显示心率部分采用连续显示方式得到较稳定心率。
PPG(光电容积描记法)是一种低成本的光学测量方法，其原理在于：由于人脸毛细血管中氧合血红蛋白和去氧血红蛋白对光的吸收特性不同，当心脏跳动时，两者的含量变化会导致皮肤表面相应的波长光反射强度的变化，即表现为皮肤颜色的变化，通过摄像头可以从中提取有限的颜色变化信号得到心率。
本发明可在windows操作系统平台下，用visual studio C++开发工具开发完成，可直接借助家用PC机和普通消费级摄像头，点击开始测量按钮，即可在10s内完成心率的测量。在测量过程中被测者只需对摄像头并保持静坐状态，收到开始测量命令后，开启摄像头拍摄获得总帧数为5000的人脸图像，设置摄像头帧率为30fps，分辨率为640×480对视频进行处理：对摄像头捕捉到的第一帧图像进行人脸和人眼检测，获取感兴趣区域ROI；将每帧图像感兴趣区域绿色通道做空间像素平均，得到包含心脏搏动信息的时序信号；之后对信号进行滤波得到血液容积脉搏波；再用傅里叶变换计算心率值。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明提供的基于PPG的心率检测方法，包括如下步骤：
S100、对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像(ROI)；
S200、对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号；
S300、利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
S400、利用傅里叶变换获得心率值。
优选地，在步骤S100之前，本发明的基于PPG的心率检测方法还包括：采集包含人脸的RGB图像。本实施例可采用摄像头捕捉整个人脸区域的彩色图像。
在所述步骤S400之后，本发明的基于PPG的心率检测方法还包括：每隔预设时间更新显示所述心率值，使计算获得的心率值，直观显示出来，以便于对被测者的身体状态及心理状态做进一步判断。本发明可以5步长为一个单位，实现连续显示心率。预设时间也可选用30ms(毫秒)，通过每隔30ms更新一次心率显示，实现实时显示计算结果。
请一并参阅图2，在具体实施时，所述步骤S100包括：、
S101、将所述人脸图像从RGB空间转换为YCbCr色度空间；
S102、在YCbCr空间内设定阈值进行皮肤粗检测，取图像中间预设区域和鼻子周边皮肤区域作为感兴趣的皮肤区域。
其中，在步骤S101之前，在接收到人脸视频图像后，采用opencv[OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和MacOS操作系统上]进行人脸检测。
步骤S101中的RGB空间利用三基色原理配出的各种不同的彩色，
YCbCr是颜色空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y为颜色的亮度(luma)成分、而Cb和Cr则为蓝色和红色的浓度偏移量成份。
所述步骤S102中，在进行皮肤粗检测时，在RGB转YCbCr色度空间内设定阈值((Y>80&&(Cb>85&&Cb<135)&&(Cr>135&&Cr<180)))进行。
在皮肤粗检测之后，将图像剪裁成600×400的人脸图像，并将裁剪的人脸图像取其中间区域作为皮肤粗检测区域。其中，中间区域为剪裁图像的中间0.6倍宽度及0.8倍长度的中间区域，且该区域图像包含鼻子附近的区域，作为ROI区域图像(即感兴趣的皮肤区域)。当然，感兴趣的皮肤区域也可先检测人眼区域，再选取眼睛以下60％的部位中间区域作为感兴趣的皮肤区域。在获取人眼区域可用灰度图像水平积分投影确定眼睛区域。
之后再选取中间区域图像中心的0.2宽度×0.5高度作为鼻子定位区域，再选择鼻子附近区域的皮肤作为感兴趣皮肤进行检测，执行步骤S200。本发明选用鼻子附近区域的皮肤作为感兴趣皮肤区域可消除背景和眼睛眨动的干扰，进一步提高检测准确度。
请一并参阅图3，所述步骤S200包括：
S201、获取一帧人脸区域的感兴趣的皮肤区域，计算该帧图像的绿色通道空间像素平均；
S202、根据所述空间像素平均获取该图像的源信号值并缓存，判断是否缓存到预设帧个值；
S203、当缓存达到预设帧人脸图像时，插值预设帧人脸图像的绿色通道像素平均，提取包含心脏搏动信息的时序信号作为源信号。
由于人眼对绿色分量更加敏感，如图4所示，该颜色滤波阵列中绿色像素的个数是其它2种像素个数的2倍，因此本发明选用噪声最小的绿色通道作为源信号通道即包含心脏搏动信息的时序信号，其计算准确度高，而且计算结果输出快，心率显示及时。
摄像头采集的图片是由每个像素均含有BGR三个通道的值构成一幅彩色的图片，并且通过opencv获取或转换将ROI区域内像素R，G，B通道分离得到绿色G通道信号，之后计算G通道的像素平均。BGR像素排列是连着的，行优先，从行到列依次读取，在像素点里排列规律是：每隔三个像素点就是G通道像素值，体现出的像素点index(索引)就是1，4，7，10，13等等。
本实施例中，G通道的像素平均采用以下公式实现：
strength+＝p[i*width*3+j*3+channel]
其中，strength为G通道的像素平均，channel为颜色通道，p为图片像素值矩阵，i和j分别对应的图像高和宽的像素值的序号。
在步骤S203中，所述预设帧人脸图像为1000帧以上的图像，取值越大获取到的傅里叶变换值越准确，而且又能确保图像处理速度。优选地，本发明取5000帧。
之后将5000帧的ROI区域图像G通道空间像素平均做插值计算,即当缓存到5000个值时，再进行插值计算。因为有时候受网络设备的影响，实际获取图像的过程中的帧率不是固定的，即每帧图片之间的时间间隔是不定的，本发明采用插值方式可以将时间间隔统一起来，通过每次插值5000帧以得到连续源信号来计算心率值。
在这5000帧以得到连续源信号中，通过连续小波变换后再逆变换重构得到源信号，从而得到脉搏波。如图5所示,绿色G通道源信号波形[如图5中的(a)]的频率不稳定，经过连续小波变换后得到图5中的(b)所示的连续源信号。
在步骤S300中，利用连续小波变换对所述时序信号滤波处理，获取脉搏波时，可利用G通道的像素平均与连续小波变换CWT卷积滤波后再用连续小波逆变换重构得到的干净的脉搏波。
本发明使用的傅里叶变换法采用加权平均的计算方式得到平滑的心率值，有效抑制信号局部异常对心率结果的影响。请参阅图6，所述步骤S400包括：
S401、对脉搏波信号采用傅里叶变换得到复数数组；
S402、根据复数数组的模计算出最大模对应的最大频率，依据最大频率得到频率上下限；
S403、将上下限之间的频率和对应的模进行加权平均得到心率频率；
S404、将所述心率频率转换得到心率值。
之后在显示心率值时先判断转换得到的心率值是否为第一个心率值；当为第一个心率值时，显示该心率值，并缓存；否则，将当前心率值与缓存心率值的差值记作chgR，取0.2*chgR作deltaR,若deltaR大于1或小于-1，则取deltaR为1或-1，并将缓存的心率值加上deltaR作为最新的心率值显示并缓存。
本发明在显示心率值时通过先判断计算的心率值是否为第一个心率值，如果是则直接输出这个计算结果，并缓存起来用作后面比对；如果前面已经有缓存的心率值，计算最新计算的心率和缓存的结果的差值，再计算新的心率值，并缓存起来，供其与下一个计算结果进行比较。
为了更好的理解本发明的技术方案，以下结合图7，以插值5000图像为应用实施例，基于PPG的心率检测方法进行详细说明：
S1、采集包含人脸的RGB图像；
S2、将所述人脸图像从RGB空间转换为YCbCr色度空间；
S3、在YCbCr空间内设定阈值进行皮肤粗检测，取图像中间预设区域和鼻子周边皮肤区域作为感兴趣的皮肤区域；
S4、获取一帧人脸区域的感兴趣的皮肤区域，计算该帧图像的绿色通道空间像素平均；
S5、将该帧图像的绿色通道的像素平均缓存，并判断是否缓存到5000帧ROI图像数据；如果是，是执行步骤S6，否则，执行步骤S1；
S6、当缓存达到5000个数值时，插值预设帧ROI图像的绿色通道像素平均，提取包含心脏搏动信息的时序信号作为源信号；
S7、利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
S8、利用傅里叶变换获得心率值；
S9、每隔预设时间更新显示所述心率值。
本发明还提供一种非接触式心率检测系统，请参阅图8，其包括：
检测模块10，用于对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
生成模块20，用于对所述皮肤区域图像的绿色通道做空间像素平均，插值预设帧人脸图像得到包含心脏搏动信息的时序信号；
盲源分离模块30，用于利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
心率计算模块40，用于利用傅里叶变换获得心率值。具体请参阅上述方法对应的实施例。
本发明还提供一种计算机设备，计算机设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。如图9所示，其处理器10、存储器20及显示器30。图9仅示出了计算机设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述计算机设备的应用软件及各类数据，例如所述安装计算机设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于PPG的心率检测方法40，该基于PPG的心率检测方法40可被处理器10所执行，从而实现本申请各实施例的基于教育系统的视频列表切换方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于教育系统的视频列表切换方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述计算机设备的信息以及用于显示可视化的用户界面。所述计算机设备的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于PPG的心率检测方法时实现以下步骤：
对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
对所述皮肤区域图像的绿色通道做空间像素平均，插值预设帧人脸图像得到包含心脏搏动信息的时序信号；
利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
利用傅里叶变换获得心率值。
具体请参阅上述实施例。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序所述计算机程序被处理器执行时实现基于PPG的心率检测方法的步骤。
综上所述，本发明基于opencv人脸检测，采用了改进型皮肤区域检测方法，并通过傅里叶变换法得到心率值，结果连续心率显示法得到连续心率值，大量减少内存占用和心率检测的实时性有效性。并且，其测量结果精确度高，可直接在医学、测谎等领域运用。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种基于PPG的心率检测方法，其特征在于，包括如下步骤：
对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号；
利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
利用傅里叶变换获得心率值。
2.根据权利要求1所述的基于PPG的心率检测方法，其特征在于，所述对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像的步骤之前，所述的基于PPG的心率检测方法还包括：
采集包含人脸的RGB图像。
3.根据权利要求1所述的基于PPG的心率检测方法，其特征在于，所述利用傅里叶变换获得心率值的步骤之后，所述的基于PPG的心率检测方法还包括：
每隔预设时间更新显示所述心率值。
4.根据权利要求1所述的基于PPG的心率检测方法，其特征在于，所述对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像的步骤包括：
将所述人脸图像从RGB空间转换为YCbCr色度空间；
在YCbCr空间内设定阈值进行皮肤粗检测，取图像中间预设区域和鼻子周边皮肤区域作为感兴趣的皮肤区域。
5.根据权利要求1所述的基于PPG的心率检测方法，其特征在于，所述对所述皮肤区域图像的绿色通道做空间像素平均，并插值计算预设帧人脸图像得到包含心脏搏动信息的时序信号的步骤包括：
获取一帧人脸区域的感兴趣的皮肤区域，计算该帧图像的绿色通道空间像素平均；
根据所述空间像素平均获取该图像的源信号值并缓存，判断是否缓存到预设帧个值；
当缓存达到预设帧人脸图像时，插值预设帧人脸图像的绿色通道像素平均，提取包含心脏搏动信息的时序信号作为源信号。
6.根据权利要求3所述的基于PPG的心率检测方法，其特征在于，所述利用傅里叶变换获得心率值包括：
对脉搏波信号采用傅里叶变换得到复数数组；
根据复数数组的模计算出最大模对应的最大频率，依据最大频率得到频率上下限；
将上下限之间的频率和对应的模进行加权平均得到心率频率；
将所述心率频率转换得到心率值。
7.根据权利要求3所述的基于PPG的心率检测方法，其特征在于，所述每隔预设时间更新显示所述心率值的步骤包括：
判断转换得到的心率值是否为第一个心率值；
当为第一个心率值时，显示该心率值，并缓存；否则，将当前心率值与缓存心率值的差值记作chgR，取0.2*chgR作deltaR,若deltaR大于1或小于-1，则取deltaR为1或-1，并将缓存的心率值加上deltaR作为最新的心率值显示并缓存。
8.一种非接触式心率检测系统，其特征在于，包括：
检测模块，用于对输入的人脸图像进行皮肤粗检测，获取感兴趣的皮肤区域图像；
生成模块，用于对所述皮肤区域图像的绿色通道做空间像素平均，插值预设帧人脸图像得到包含心脏搏动信息的时序信号；
盲源分离模块，用于利用连续小波变换对所述时序信号滤波处理，获取脉搏波；
心率计算模块，用于利用傅里叶变换获得心率值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811132117.XA CN109480808A (zh) | 2018-09-27 | 2018-09-27 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811132117.XA CN109480808A (zh) | 2018-09-27 | 2018-09-27 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109480808A true CN109480808A (zh) | 2019-03-19 |
Family
ID=65689946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811132117.XA Pending CN109480808A (zh) | 2018-09-27 | 2018-09-27 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109480808A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109770885A (zh) * | 2019-03-25 | 2019-05-21 | 合肥工业大学 | 一种基于预览帧的快速心率检测方法 |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
| CN110321782A (zh) * | 2019-05-06 | 2019-10-11 | 苏宁金融服务(上海)有限公司 | 一种检测人体特征信号的系统 |
| CN110348385A (zh) * | 2019-07-12 | 2019-10-18 | 苏州小阳软件科技有限公司 | 活体人脸识别方法和装置 |
| CN110647815A (zh) * | 2019-08-25 | 2020-01-03 | 上海贝瑞电子科技有限公司 | 一种基于人脸视频图像的非接触式心率测量方法及系统 |
| CN111027485A (zh) * | 2019-12-11 | 2020-04-17 | 南京邮电大学 | 一种基于人脸视频检测与色度模型的心率检测方法 |
| CN111134650A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111275018A (zh) * | 2020-03-06 | 2020-06-12 | 华东师范大学 | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 |
| CN111297347A (zh) * | 2020-02-21 | 2020-06-19 | 乐普（北京）医疗器械股份有限公司 | 一种生成光体积变化描记图法信号的方法和装置 |
| CN111310584A (zh) * | 2020-01-19 | 2020-06-19 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111626127A (zh) * | 2020-04-26 | 2020-09-04 | 杨铭轲 | 基于人脸图像的用户信息获取方法、装置和计算机设备 |
| CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113397519A (zh) * | 2021-08-05 | 2021-09-17 | 季华实验室 | 心血管健康状态的检测装置 |
| CN113591769A (zh) * | 2021-08-10 | 2021-11-02 | 北京航空航天大学 | 基于光电容积脉搏描记法的非接触式心率检测方法 |
| CN114403837A (zh) * | 2022-01-24 | 2022-04-29 | 佛山科学技术学院 | 一种基于皮肤微观图像的手持式心率检测装置及方法 |
| CN114557685A (zh) * | 2020-11-27 | 2022-05-31 | 上海交通大学 | 一种非接触式运动鲁棒心率测量方法及测量装置 |
| CN116999044A (zh) * | 2023-09-07 | 2023-11-07 | 南京云思创智信息科技有限公司 | 一种实时运动全连接双向一致光流场心率信号提取方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| CN104228838A (zh) * | 2014-09-19 | 2014-12-24 | 安徽工程大学 | 一种防止疲劳驾驶的预警系统及其方法 |
| CN104545864A (zh) * | 2014-12-25 | 2015-04-29 | 中国科学院深圳先进技术研究院 | 心理调节方法和装置 |
| CN104602594A (zh) * | 2012-09-07 | 2015-05-06 | 富士通株式会社 | 脉搏检测方法、脉搏检测装置以及脉搏检测程序 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| CN105147274A (zh) * | 2015-08-04 | 2015-12-16 | 河北工业大学 | 一种从可见光谱段人脸视频信号中提取心率的方法 |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN105763937A (zh) * | 2016-05-20 | 2016-07-13 | 京东方科技集团股份有限公司 | 具有健康监测功能的显示装置及健康监测方法 |
| CN105873503A (zh) * | 2013-12-25 | 2016-08-17 | 旭化成株式会社 | 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统 |
| US20170042446A1 (en) * | 2015-08-12 | 2017-02-16 | Korea Advanced Institute Of Science And Technology | Biosignal detecting apparatus and method therefor |
| CN106778695A (zh) * | 2017-01-19 | 2017-05-31 | 北京理工大学 | 一种基于视频的多人快速心率检测方法 |
| CN106845395A (zh) * | 2017-01-19 | 2017-06-13 | 北京飞搜科技有限公司 | 一种基于人脸识别进行活体检测的方法 |
| CN106934365A (zh) * | 2017-03-09 | 2017-07-07 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种可靠的青光眼患者自我检测方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107506716A (zh) * | 2017-08-17 | 2017-12-22 | 华东师范大学 | 一种基于视频图像的非接触式实时心率测量方法 |
| WO2018085945A1 (en) * | 2016-11-14 | 2018-05-17 | Nuralogix Corporation | System and method for camera-based heart rate tracking |
| CN108216254A (zh) * | 2018-01-10 | 2018-06-29 | 山东大学 | 基于面部图像与脉搏信息融合的路怒情绪识别方法 |
-
2018
- 2018-09-27 CN CN201811132117.XA patent/CN109480808A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| CN104602594A (zh) * | 2012-09-07 | 2015-05-06 | 富士通株式会社 | 脉搏检测方法、脉搏检测装置以及脉搏检测程序 |
| CN105873503A (zh) * | 2013-12-25 | 2016-08-17 | 旭化成株式会社 | 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统 |
| CN104228838A (zh) * | 2014-09-19 | 2014-12-24 | 安徽工程大学 | 一种防止疲劳驾驶的预警系统及其方法 |
| CN104545864A (zh) * | 2014-12-25 | 2015-04-29 | 中国科学院深圳先进技术研究院 | 心理调节方法和装置 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| CN105147274A (zh) * | 2015-08-04 | 2015-12-16 | 河北工业大学 | 一种从可见光谱段人脸视频信号中提取心率的方法 |
| US20170042446A1 (en) * | 2015-08-12 | 2017-02-16 | Korea Advanced Institute Of Science And Technology | Biosignal detecting apparatus and method therefor |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN105763937A (zh) * | 2016-05-20 | 2016-07-13 | 京东方科技集团股份有限公司 | 具有健康监测功能的显示装置及健康监测方法 |
| WO2018085945A1 (en) * | 2016-11-14 | 2018-05-17 | Nuralogix Corporation | System and method for camera-based heart rate tracking |
| CN106778695A (zh) * | 2017-01-19 | 2017-05-31 | 北京理工大学 | 一种基于视频的多人快速心率检测方法 |
| CN106845395A (zh) * | 2017-01-19 | 2017-06-13 | 北京飞搜科技有限公司 | 一种基于人脸识别进行活体检测的方法 |
| CN106934365A (zh) * | 2017-03-09 | 2017-07-07 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种可靠的青光眼患者自我检测方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107506716A (zh) * | 2017-08-17 | 2017-12-22 | 华东师范大学 | 一种基于视频图像的非接触式实时心率测量方法 |
| CN108216254A (zh) * | 2018-01-10 | 2018-06-29 | 山东大学 | 基于面部图像与脉搏信息融合的路怒情绪识别方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109770885A (zh) * | 2019-03-25 | 2019-05-21 | 合肥工业大学 | 一种基于预览帧的快速心率检测方法 |
| CN110321782A (zh) * | 2019-05-06 | 2019-10-11 | 苏宁金融服务(上海)有限公司 | 一种检测人体特征信号的系统 |
| CN110348385A (zh) * | 2019-07-12 | 2019-10-18 | 苏州小阳软件科技有限公司 | 活体人脸识别方法和装置 |
| CN110348385B (zh) * | 2019-07-12 | 2023-07-07 | 深圳小阳软件有限公司 | 活体人脸识别方法和装置 |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
| CN110269600B (zh) * | 2019-08-06 | 2021-12-21 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
| CN110647815A (zh) * | 2019-08-25 | 2020-01-03 | 上海贝瑞电子科技有限公司 | 一种基于人脸视频图像的非接触式心率测量方法及系统 |
| CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
| JP2023503174A (ja) * | 2019-11-25 | 2023-01-26 | アークソフト コーポレイション リミテッド | 心拍数の推定方法、装置及びそれを応用する電子機器 |
| EP4066736A4 (en) * | 2019-11-25 | 2023-01-11 | Arcsoft Corporation Limited | HEART RATE CALCULATION METHOD AND DEVICE AND ELECTRONIC DEVICE THEREFOR |
| CN111027485A (zh) * | 2019-12-11 | 2020-04-17 | 南京邮电大学 | 一种基于人脸视频检测与色度模型的心率检测方法 |
| CN111134650A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111310584A (zh) * | 2020-01-19 | 2020-06-19 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111297347B (zh) * | 2020-02-21 | 2022-07-29 | 乐普（北京）医疗器械股份有限公司 | 一种生成光体积变化描记图法信号的方法和装置 |
| CN111297347A (zh) * | 2020-02-21 | 2020-06-19 | 乐普（北京）医疗器械股份有限公司 | 一种生成光体积变化描记图法信号的方法和装置 |
| CN111275018A (zh) * | 2020-03-06 | 2020-06-12 | 华东师范大学 | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 |
| CN111626127A (zh) * | 2020-04-26 | 2020-09-04 | 杨铭轲 | 基于人脸图像的用户信息获取方法、装置和计算机设备 |
| CN114557685A (zh) * | 2020-11-27 | 2022-05-31 | 上海交通大学 | 一种非接触式运动鲁棒心率测量方法及测量装置 |
| CN114557685B (zh) * | 2020-11-27 | 2023-11-14 | 上海交通大学 | 一种非接触式运动鲁棒心率测量方法及测量装置 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113303776B (zh) * | 2021-05-28 | 2024-02-09 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
| CN113397519A (zh) * | 2021-08-05 | 2021-09-17 | 季华实验室 | 心血管健康状态的检测装置 |
| CN113591769A (zh) * | 2021-08-10 | 2021-11-02 | 北京航空航天大学 | 基于光电容积脉搏描记法的非接触式心率检测方法 |
| CN113591769B (zh) * | 2021-08-10 | 2023-09-15 | 北京航空航天大学 | 基于光电容积脉搏描记法的非接触式心率检测方法 |
| CN114403837A (zh) * | 2022-01-24 | 2022-04-29 | 佛山科学技术学院 | 一种基于皮肤微观图像的手持式心率检测装置及方法 |
| CN116999044A (zh) * | 2023-09-07 | 2023-11-07 | 南京云思创智信息科技有限公司 | 一种实时运动全连接双向一致光流场心率信号提取方法 |
| CN116999044B (zh) * | 2023-09-07 | 2024-04-16 | 南京云思创智信息科技有限公司 | 一种实时运动全连接双向一致光流场心率信号提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109480808A (zh) | 一种基于ppg的心率检测方法、系统、设备和存储介质 | |
| McDuff | Camera measurement of physiological vital signs | |
| CN105451646B (zh) | 用于提取生理信息的设备、系统和方法 | |
| WO2021068486A1 (zh) | 基于图像识别的视力检测方法、装置、及计算机设备 | |
| WO2019196909A1 (zh) | 基于光学指纹技术的指纹采集方法、装置和用户终端 | |
| US9839375B2 (en) | Device and method for processing data derivable from remotely detected electromagnetic radiation | |
| CN108549884A (zh) | 一种活体检测方法及装置 | |
| US20090226071A1 (en) | Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate | |
| US20190008402A1 (en) | Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array | |
| CN109977858A (zh) | 一种基于图像分析的心率检测方法及装置 | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| CN104616001A (zh) | 指纹识别系统以及指纹识别方法 | |
| US20200029891A1 (en) | Venipuncture and arterial line guidance via signal variation amplification | |
| CN111387966B (zh) | 信号波重构方法及心率变异性信息的检测设备 | |
| CN107330945A (zh) | 一种基于视频的快速心率检测方法 | |
| CN112788200B (zh) | 频谱信息的确定方法及装置、存储介质、电子装置 | |
| US20140163405A1 (en) | Physiological information measurement system and method thereof | |
| Zheng et al. | Heart rate prediction from facial video with masks using eye location and corrected by convolutional neural networks | |
| CN106777950A (zh) | 一种健康监控方法及装置 | |
| Wu et al. | Camera-based heart rate measurement using continuous wavelet transform | |
| Chari et al. | Diverse R-PPG: Camera-based heart rate estimation for diverse subject skin-tones and scenes | |
| Santra et al. | A non-invasive approach for estimation of hemoglobin analyzing blood flow in palm | |
| CN108814543B (zh) | 高速视频眼震仪系统 | |
| Karthick et al. | Analysis of vital signs using remote photoplethysmography (RPPG) | |
| WO2021218696A1 (zh) | 肤色检测方法、装置、终端和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |
|
| RJ01 | Rejection of invention patent application after publication |