CN105266787B - 一种非接触式心率检测方法及系统 - Google Patents
一种非接触式心率检测方法及系统 Download PDFInfo
- Publication number
- CN105266787B CN105266787B CN201510741006.9A CN201510741006A CN105266787B CN 105266787 B CN105266787 B CN 105266787B CN 201510741006 A CN201510741006 A CN 201510741006A CN 105266787 B CN105266787 B CN 105266787B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- face
- value
- region
- area image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 230000008859 change Effects 0.000 claims abstract description 35
- 230000003321 amplification Effects 0.000 claims abstract description 30
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 30
- 238000013341 scale-up Methods 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 24
- 230000001186 cumulative effect Effects 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 19
- 238000009825 accumulation Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 16
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical group O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 239000000049 pigment Substances 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 102000001554 Hemoglobins Human genes 0.000 claims description 4
- 108010054147 Hemoglobins Proteins 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种非接触式心率检测方法及系统。所述非接触式心率检测方法包括以下步骤：步骤a：获取被检测者的脸部视频图像数据，对图像数据中的人脸进行识别，并计算人脸的感兴趣区域图像；步骤b：通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，计算感兴趣区域图像的差分放大值，根据差分放大值计算感兴趣区域图像的时域变化波形；步骤c：将时域变化波形进行傅立叶变换，计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者的心率值。本发明可以有效避免环境光照对基于视觉的非接触式心率计算方法的影响，从而提供了更鲁棒、更准确的非接触式心率检测结果。
Description
技术领域
本发明属于心率检测技术领域，尤其涉及一种非接触式心率检测方法及系统。
背景技术
心率是人体重要体征之一，是监护仪监护的重要参数之一。目前，临床当中使用最多的是贴片式的心率检测仪，该类仪器利用的是从人体电信号中提取心率，虽然贴片式心率检测仪的精度高，但由于其使用时必须是与人体接触的，这给某些人群，比如新生婴儿及严重外科病人等患者的心率监护造成很大不便。
为此，一些研究人员提出了诸多非接触式的心率检测方法，比如：中国专利CN201310546070.2中公布了一种非接触磁感应心率和呼吸率同步检测方法及系统，该专利利用电磁感应原理捕捉并计算出心率。随着心跳的变化，人脸面部血液流动也随着心跳在变化，这种血液流动就会引起人脸面部颜色的变化。因此，有效的检测出颜色变化，理论上就可从颜色变化的周期中提取出心率值来。据此原理，有研究人员就提出利用视觉图像原理的非接触式心率检测方法，例如：中国专利CN201210526066.5提出的一种基于低端成像设备的心率测量方法，以及中国专利CN201310172275.9提出的非接触式自动心率测量系统及测量方法，都是基于视觉图像信息技术进行非接触式心率测量；该技术的优点是无辐射，完全非接触式地测量心率，但上述两个专利中利用的方法都是基于盲源分析算法(也叫独立主成份分析ICA)，该算法对光照非常敏感，测量心率时要求光照足够强、光照稳定，才能获得较准确的心率值，一旦环境光照有变化，或者环境光照不够强，心率测试就会变得不准确。
发明内容
本发明提供了一种非接触式心率检测方法及系统，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
本发明实现方式如下，一种非接触式心率检测方法，包括以下步骤：
步骤a：获取被检测者的脸部视频图像数据，对图像数据中的人脸进行识别，并计算人脸的感兴趣区域图像；
步骤b：通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，并计算感兴趣区域图像的差分放大值，根据差分放大值计算感兴趣区域图像的时域变化波形；
步骤c：将时域变化波形进行傅立叶变换，并计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者的心率值。
本发明实施例采取的技术方案还包括：在所述步骤a中还包括：判断是否识别到人脸，如果没有识别到人脸，则重新获取图像数据进行识别；如果识别到人脸，找到包含人脸的矩形区域，并计算能框住人脸的最小矩形框的宽和高。
本发明实施例采取的技术方案还包括：在所述步骤a中，所述对图像数据中的人脸进行识别的人脸识别方法为基于OpenCV所提供的人脸检测函数进行人脸识别；所述计算人脸的感兴趣区域图像具体为：保留矩形框的宽度中心区域的60％，去除矩形框中的背景区域；并采用纵向灰度累计法去除矩形框中的人眼区域，得到人脸的感兴趣区域图像。
本发明实施例采取的技术方案还包括：在所述步骤b中，所述时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立，所述皮肤颜色光照成像模型为：
log Pr＝-{vm(r)cm+vh(r)ch+SA0}+log kI(r)
log Pg＝-{vm(g)cm+vh(g)ch+SA0}+log kI(g)
log Pb＝-{vm(b)cm+vh(b)ch+SA0}+log kI(b)
在上述公式中，P表示图像中每个像素的强度，SA表示皮肤对光的吸收率，T表示透射光，I表示入射光，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白；
根据上述公式，定义感兴趣区域图像的红色与绿色分量差分值Q为：
Q＝logPr/Pg＝-(△vmcm+△vhch)+logEr/Eg
Q随时间的差分变化定义为：
△Qt＝Qt+1-Qt＝-△vh△ch+△logEr/Eg
△vh及△ch均为常量，不受环境光照的影响，因此时域差分颜色变化放大模型建立为：
本发明实施例采取的技术方案还包括：在所述步骤b中还包括：累积感兴趣区域图像的差分放大值，并判断累积次数是否达到预设值，如果累积次数没有达到预设值，则重复执行步骤a；如果累积次数达到预设值，则通过累积的差分放大值计算感兴趣区域图像的时域变化波形，通过带通滤波对感兴趣区域图像的时域变化波形进行滤波处理，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示。
本发明实施例采取的技术方案还包括：在所述步骤c后还包括以下步骤：
步骤c1：将所述心率值输出至心率显示模块显示心率检测结果；
步骤c2：保存并累积预定检测时间内的心率检测结果，并计算预定检测时间内心率检测结果的平均值；
步骤c3：将心率检测结果的平均值输出至心率显示模块进行显示。
本发明实施例采取的另一技术方案为：一种非接触式心率检测系统，包括人脸识别模块、感兴趣区域计算模块、差分放大值计算模块、差分放大值累积模块和频域变换模块；所述人脸识别模块用于获取被检测者的脸部视频图像数据，并对图像数据中的人脸进行识别；所述感兴趣区域计算模块用于计算人脸的感兴趣区域图像；所述差分放大值计算模块用于通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，并计算感兴趣区域图像的差分放大值；所述差分放大值累积模块用于根据差分放大值计算感兴趣区域图像的时域变化波形；所述频域变换模块用于将时域变化波形进行傅立叶变换，并计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者的心率值。
本发明实施例采取的技术方案还包括：所述时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立，所述皮肤颜色光照成像模型为：
log Pr＝-{vm(r)cm+vh(r)ch+SA0}+log kI(r)
log Pg＝-{vm(g)cm+vh(g)ch+SA0}+log kI(g)
log Pb＝-{vm(b)cm+vh(b)ch+SA0}+log kI(b)
在上述公式中，P表示图像中每个像素的强度，SA表示皮肤对光的吸收率，T表示透射光，I表示入射光，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白；
根据上述公式，定义感兴趣区域图像的红色与绿色分量差分值Q为：
Q＝logPr/Pg＝-(△vmcm+△vhch)+logEr/Eg
Q随时间的差分变化定义为：
△Qt＝Qt+1-Qt＝-△vh△ch+△logEr/Eg
△vh及△ch均为常量，不受环境光照的影响，因此时域差分颜色变化放大模型建立为：
本发明实施例采取的技术方案还包括：还包括视频拍摄模块和带通滤波模块，所述视频拍摄模块用于拍摄被检测者的脸部视频图像，所述带通滤波模块用于采用汉明窗对感兴趣区域图像的时域变化波形进行带通滤波，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示。
本发明实施例采取的技术方案还包括：还包括心率累积模块和心率显示模块，所述心率累积模块用于保存并累积预定检测时间内的心率检测结果，并在停止检测后计算预定检测时间内心率检测结果的平均值，将心率检测结果的平均值输出至心率显示模块进行显示；所述心率显示模块用于显示心率检测结果。
本发明实施例的非接触式心率检测方法及系统通过时域差分颜色变化放大模型有效去除了环境光照的影响，具有更强的抗环境光影响性；并通过汉明窗对时域变化波形进行带通滤波，增强心率检测结果的鲁棒性；可以有效避免环境光照对基于视觉的非接触式心率计算方法的影响，从而提供了更鲁棒、更准确的非接触式心率检测结果。
附图说明
图1是本发明实施例的非接触式心率检测方法的流程图；
图2是本发明实施例的非接触式心率检测系统的结构示意图；
图3是本发明实施例的非接触式心率检测系统与广告机结合的应用实例示意图；
图4是本发明实施例的非接触式心率检测系统在医疗静卧病人心率监护的应用实例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，是本发明实施例的非接触式心率检测方法的流程图。本发明实施例的非接触式心率检测方法包括以下步骤：
步骤100：通过摄像头拍摄被检测者的脸部视频图像；
步骤200：获取一帧图像数据，对图像数据中的人脸进行识别，并判断是否识别到人脸，如果没有识别到人脸，则重新执行步骤200；如果识别到人脸，则执行步骤300；
在步骤200中，由于人脸的颜色变化随心跳所引起的变化较为明显，且人脸便于拍摄，因此本发明通过从视频图像中识别人脸来计算皮肤的颜色变化，进而计算出心率值。本发明所采用的人脸识别方法是基于OpenCV(Open Source Computer Vision Library，一个基于(开源)发行的跨平台计算机视觉库)所提供的人脸检测函数实现的。
步骤300：找到包含人脸的矩形区域，并计算能框住人脸的最小矩形框的宽和高；
步骤400：去除矩形框中的背景区域及人眼区域，得到人脸的感兴趣区域图像；
在步骤400中，由于人脸识别方法中计算得到的矩形框中往往包含了耳朵旁边的背景区域，为了避免背景区域变化所带来的干扰，本发明保留矩形框的宽度中心区域的60％从而去除背景区域；进一步，由于检测时眨眼过程也会引起脸部颜色的变化，因此本发明采用纵向灰度累计法，从矩形框中去除掉人眼区域，得到人脸的感兴趣区域图像，避免眨眼引起的脸部颜色变化的影响。
步骤500：通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，并取对数进行放大，得到感兴趣区域图像的差分放大值；
在步骤500中，时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立；一般的光打在皮肤上，皮肤对光照的吸收模型可建立为：
SA＝-log(T/I) (1)
在公式(1)中，SA表示皮肤对光的吸收率，T表示透射光，I表示入射光。
根据Lambert-Beer定律，皮肤对光的吸收率与光照波长的关系为：
SA(λ)＝vm(λ)cm+vh(λ)ch+SA0 (2)
在公式(2)中，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白。
结合公式(1)和公式(2)，可得：
T＝I exp(-(vm(λ)cm+vh(λ)ch+SA0)) (3)
又根据光照成像模型，图像中每个像素的强度P与入射光和吸收率的关系为：
P＝∫T(λ)SA(λ)dλ (4)
而在成像过程中P是由r,g,b三个通道组成的，所以皮肤颜色光照成像模型可推导为：
log Pr＝-{vm(r)cm+vh(r)ch+SA0}+log kI(r)
log Pg＝-{vm(g)cm+vh(g)ch+SA0}+log kI(g)
log Pb＝-{vm(b)cm+vh(b)ch+SA0}+log kI(b) (5)
根据公式(5)，定义感兴趣区域图像的红色与绿色分量差分比值Q为：
Q＝logPr/Pg＝-(△vmcm+△vhch)+logEr/Eg (6)
Q随时间的差分变化可定义为：
△Qt＝Qt+1-Qt＝-△vh△ch+△logEr/Eg (7)
又因为△vh、△ch均为常量，其不受环境光照的影响，故可以整体略去不计，因此可建立时域差分颜色变化放大模型为：
公式(8)建立了人脸颜色变化的时域模型，该模型中只保留了红、绿分量的变化，有效去除了环境光照的影响，因此该模型较以往的模型具有更强的抗环境光影响性。
步骤600：累积感兴趣区域图像的差分放大值，并判断累积次数是否达到预设值，如果累积次数没有达到预设值，则重复执行步骤200；如果累积次数达到预设值，则执行步骤700；
在步骤600中，累积次数值可根据摄像头帧率进行设定，一般取摄像头帧率的整数倍，在本发明实施例中，摄像头帧率为24帧/秒，累积次数值设为120。
700：通过累积的差分放大值计算感兴趣区域图像的时域变化波形，通过带通滤波对感兴趣区域图像的时域变化波形进行滤波处理，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示；
在步骤700中，由于公式(8)中求得的时域变化信号中依然有部分噪声，为了增强鲁棒性，本发明采用汉明窗对时域变化波形进行带通滤波：
在公式(9)中，fhm为汉明窗带通滤波器，汉明窗带通滤波器的频率响应范围根据人体心率的最大最小变化范围确定为[0.75-4Hz]。
步骤800：将滤波处理后的时域变化波形进行傅立叶变换，并计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者心脏每分钟跳动次数的心率值，并将该心率值输出至心率显示模块显示心率检测结果；
在步骤800中，通过公式(9)得到的时域变化波形中，其主要分量是由心率变化引起的颜色变化分量，频域响应最大值所对应的频率值就反映了面部颜色变化的频率，对应于心脏跳动的频率，该频率值乘以60，即得到被检测者心脏每分钟跳动次数的心率值；当前心脏每分钟跳动次数心率值的计算公式为：
在公式(10)中，F表示傅立叶变换，f表示频率。
步骤900：保存并累积预定检测时间内的心率检测结果，当停止检测后计算预定检测时间内心率检测结果的平均值，并将心率检测结果的平均值输出至心率显示模块进行显示，实现心率实时监护。
请参阅图2，是本发明实施例的非接触式心率检测系统的结构示意图。本发明实施例的非接触式心率检测系统包括视频拍摄模块、人脸识别模块、感兴趣区域计算模块、差分放大值计算模块、差分放大值累积模块、带通滤波模块、频域变换模块、心率累积模块和心率显示模块；具体地：
视频拍摄模块用于拍摄被检测者的脸部视频图像；其中，视频拍摄模块为摄像头。
人脸识别模块用于获取一帧图像数据，对图像数据中的人脸进行识别，并判断是否识别到人脸，如果没有识别到人脸，则重新获取一帧图像数据进行识别；如果识别到人脸，则找到包含人脸的矩形区域，计算能框住人脸的最小矩形框的宽和高，并通过感兴趣区域计算模块计算感兴趣区域图像；其中，由于人脸的颜色变化随心跳所引起的变化较为明显，且人脸便于拍摄，因此本发明通过从视频图像中识别人脸来计算皮肤的颜色变化，进而计算出心率值。本发明所采用的人脸识别方法是基于OpenCV所提供的人脸检测函数实现的。
感兴趣区域计算模块用于去除矩形框中的背景区域及人眼区域，得到人脸的感兴趣区域图像；其中，由于人脸识别方法中计算得到的矩形框中往往包含了耳朵旁边的背景区域，为了避免背景区域变化所带来的干扰，本发明保留矩形框的宽度中心区域的60％从而去除背景区域；进一步，由于检测时眨眼过程也会引起脸部颜色的变化，因此本发明采用纵向灰度累计法，从矩形框中去除掉人眼区域，得到人脸的感兴趣区域图像，避免眨眼引起的脸部颜色变化的影响。
差分放大值计算模块用于通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，并取对数进行放大，得到感兴趣区域图像的差分放大值；其中，时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立；一般的光打在皮肤上，皮肤对光照的吸收模型可建立为：
SA＝-log(T/I) (1)
在公式(1)中，SA表示皮肤对光的吸收率，T表示透射光，I表示入射光。
根据Lambert-Beer定律，皮肤对光的吸收率与光照波长的关系为：
SA(λ)＝vm(λ)cm+vh(λ)ch+SA0 (2)
在公式(2)中，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白。
结合公式(1)和公式(2)，可得：
T＝I exp(-(vm(λ)cm+vh(λ)ch+SA0)) (3)
又根据光照成像模型，图像中每个像素的强度P与入射光和吸收率的关系为：
P＝∫T(λ)SA(λ)dλ (4)
而在成像过程中P是由r,g,b三个通道组成的，所以皮肤颜色光照成像模型可推导为：
log Pr＝-{vm(r)cm+vh(r)ch+SA0}+log kI(r)
log Pg＝-{vm(g)cm+vh(g)ch+SA0}+log kI(g)
log Pb＝-{vm(b)cm+vh(b)ch+SA0}+log kI(b) (5)
根据公式(5)，定义感兴趣区域图像的红色与绿色分量差分比值Q为：
Q＝logPr/Pg＝-(△vmcm+△vhch)+logEr/Eg (6)
Q随时间的差分变化可定义为：
△Qt＝Qt+1-Qt＝-△vh△ch+△logEr/Eg (7)
又因为△vh、△ch均为常量，其不受环境光照的影响，故可以整体略去不计，因此可建立时域差分颜色变化放大模型为：
公式(8)建立了人脸颜色变化的时域模型，该模型中只保留了红、绿分量的变化，有效去除了环境光照的影响，因此该模型较以往的模型具有更强的抗环境光影响性。
差分放大值累积模块用于累积感兴趣区域图像的差分放大值，并判断累积次数是否达到预设值，如果累积次数没有达到预设值，则通过人脸识别模块重复获取图像数据；如果累积次数达到预设值，则通过累积的差分放大值计算感兴趣区域图像的时域变化波形，并通过带通滤波模块对时域变化波形进行滤波处理；其中，累积次数值可根据摄像头帧率进行设定，一般取摄像头帧率的整数倍，在本发明实施例中，摄像头帧率为24帧/秒，累积次数值设为120。
带通滤波模块用于对感兴趣区域图像的时域变化波形进行滤波处理，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示；其中，由于公式(8)中求得的时域变化信号中依然有部分噪声，为了增强鲁棒性，本发明采用汉明窗对时域变化波形进行带通滤波：
在公式(9)中，fhm为汉明窗带通滤波器，汉明窗带通滤波器的频率响应范围根据人体心率的最大最小变化范围确定为[0.75-4Hz]。
频域变换模块用于将滤波处理后的时域变化波形进行傅立叶变换，并计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者心脏每分钟跳动次数的心率值，并将该心率值传递给实时心率输出模块显示心率检测结果；其中，通过公式(9)得到的时域变化波形中，其主要分量是由心率变化引起的颜色变化分量，频域响应最大值所对应的频率值就反映了面部颜色变化的频率，对应于心脏跳动的频率，该频率值乘以60，即得到被检测者心脏每分钟跳动次数的心率值；当前心脏每分钟跳动次数心率值的计算公式为：
在公式(10)中，F表示傅立叶变换，f表示频率。
心率累积模块用于保存并累积预定检测时间内的心率检测结果，并在停止检测后计算预定检测时间内心率检测结果的平均值，将心率检测结果的平均值输出至心率显示模块进行显示，实现心率实时监护。
心率显示模块用于显示心率检测结果；具体地，心率显示模块包括心率输出单元、实时心率输出单元和心率波形输出单元；
心率输出单元用于显示带通滤波模块输入的时域变化波形；
实时心率输出单元用于显示频域变换模块输入的心率值；
心率波形输出单元用于显示心率累积模块输入的心率检测结果的平均值。
请一并参阅图3，为本发明实施例的非接触式心率检测系统与广告机结合的应用实例示意图。在图3中，用户通过广告机画面显示屏18观看节目的同时，通过摄像头13拍摄用户脸部视频图像，通过拍摄画面显示屏16显示摄像头拍摄的视频图像，通过本发明所提出的心率计算方法计算心率，并通过实时心率输出单元14和心率波形输出单元15显示计算结果。
请一并参阅图4，为本发明实施例的非接触式心率检测系统在医疗静卧病人心率监护的应用实例示意图。在图4中，通过摄像头19拍摄静卧在床上的用户脸部视频图像，通过人脸识别模块21为识别人脸画面，并将识别的人脸画面传输到计算机，通过本发明所提出的心率检测方法计算得到心率值，并通过实时心率输出单元20和心率波形输出单元22为显示检测结果。
本发明实施例的非接触式心率检测方法及系统通过时域差分颜色变化放大模型有效去除了环境光照的影响，具有更强的抗环境光影响性；并通过汉明窗对时域变化波形进行带通滤波，增强心率检测结果的鲁棒性；可以有效避免环境光照对基于视觉的非接触式心率计算方法的影响，从而提供了更鲁棒、更准确的非接触式心率检测结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种非接触式心率检测方法，包括以下步骤：
步骤a：获取被检测者的脸部视频图像数据，对图像数据中的人脸进行识别，并计算人脸的感兴趣区域图像；
步骤b：通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，计算感兴趣区域图像的差分放大值，根据差分放大值计算感兴趣区域图像的时域变化波形；
步骤c：将时域变化波形进行傅立叶变换，计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者的心率值；
其中：在所述步骤b中，所述时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立，所述皮肤颜色光照成像模型为：
logPr＝-{vm(r)cm+vh(r)ch+SA0}+logkI(r)
logPg＝-{vm(g)cm+vh(g)ch+SA0}+logkI(g)
logPb＝-{vm(b)cm+vh(b)ch+SA0}+logkI(b)
在上述公式中，P表示图像中每个像素的强度，SA表示皮肤对光的吸收率，I表示入射光，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白；
根据上述公式，定义感兴趣区域图像的红色与绿色分量差分值Q为：
Q＝logPr/Pg＝-(Δvmcm+Δvhch)+logEr/Eg
Q随时间的差分变化定义为：
ΔQt＝Qt+1-Qt＝-ΔvhΔch+ΔlogEr/Eg
Δvh及Δch均为常量，不受环境光照的影响，因此时域差分颜色变化放大模型建立为：
2.根据权利要求1所述的非接触式心率检测方法，其特征在于，在所述步骤a中还包括：判断是否识别到人脸，如果没有识别到人脸，则重新获取图像数据进行识别；如果识别到人脸，找到包含人脸的矩形区域，并计算能框住人脸的最小矩形框的宽和高。
3.根据权利要求2所述的非接触式心率检测方法，其特征在于，在所述步骤a中，所述对图像数据中的人脸进行识别的人脸识别方法为基于OpenCV所提供的人脸检测函数进行人脸识别；所述计算人脸的感兴趣区域图像具体为：保留矩形框的宽度中心区域的60％，去除矩形框中的背景区域；并采用纵向灰度累计法去除矩形框中的人眼区域，得到人脸的感兴趣区域图像。
4.根据权利要求1所述的非接触式心率检测方法，其特征在于，在所述步骤b中还包括：累积感兴趣区域图像的差分放大值，并判断累积次数是否达到预设值，如果累积次数没有达到预设值，则重复执行步骤a；如果累积次数达到预设值，则通过累积的差分放大值计算感兴趣区域图像的时域变化波形，通过带通滤波对感兴趣区域图像的时域变化波形进行滤波处理，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示。
5.根据权利要求4所述的非接触式心率检测方法，其特征在于，在所述步骤c后还包括以下步骤：
步骤c1：将所述心率值输出至心率显示模块显示心率检测结果；
步骤c2：保存并累积预定检测时间内的心率检测结果，并计算预定检测时间内心率检测结果的平均值；
步骤c3：将心率检测结果的平均值输出至心率显示模块进行显示。
6.一种非接触式心率检测系统，其特征在于，包括人脸识别模块、感兴趣区域计算模块、差分放大值计算模块、差分放大值累积模块和频域变换模块；所述人脸识别模块用于获取被检测者的脸部视频图像数据，并对图像数据中的人脸进行识别；所述感兴趣区域计算模块用于计算人脸的感兴趣区域图像；所述差分放大值计算模块用于通过时域差分颜色变化放大模型计算感兴趣区域图像的红色与绿色分量差分值，并计算感兴趣区域图像的差分放大值；所述差分放大值累积模块用于根据差分放大值计算感兴趣区域图像的时域变化波形；所述频域变换模块用于将时域变化波形进行傅立叶变换，并计算频域响应最大值，根据频域响应最大值所对应的频率值计算得到被检测者的心率值；
其中，所述时域差分颜色变化放大模型根据皮肤颜色光照成像模型进行建立，所述皮肤颜色光照成像模型为：
logPr＝-{vm(r)cm+vh(r)ch+SA0}+logkI(r)
logPg＝-{vm(g)cm+vh(g)ch+SA0}+logkI(g)
logPb＝-{vm(b)cm+vh(b)ch+SA0}+logkI(b)
在上述公式中，P表示图像中每个像素的强度，SA表示皮肤对光的吸收率，I表示入射光，v表示光谱横截面系数，c表示色素浓度，m表示黑色素，h表示血红蛋白；
根据上述公式，定义感兴趣区域图像的红色与绿色分量差分值Q为：
Q＝logPr/Pg＝-(Δvmcm+Δvhch)+logEr/Eg
Q随时间的差分变化定义为：
ΔQt＝Qt+1-Qt＝-ΔvhΔch+ΔlogEr/Eg
Δvh及Δch均为常量，不受环境光照的影响，因此时域差分颜色变化放大模型建立为：
7.根据权利要求6所述的非接触式心率检测系统，其特征在于，还包括视频拍摄模块和带通滤波模块，所述视频拍摄模块用于拍摄被检测者的脸部视频图像，所述带通滤波模块用于采用汉明窗对感兴趣区域图像的时域变化波形进行带通滤波，并将滤波处理后的时域变化波形输出至心率显示模块进行波形显示。
8.根据权利要求7所述的非接触式心率检测系统，其特征在于，还包括心率累积模块和心率显示模块，所述心率累积模块用于保存并累积预定检测时间内的心率检测结果，并在停止检测后计算预定检测时间内心率检测结果的平均值，将心率检测结果的平均值输出至心率显示模块进行显示；所述心率显示模块用于显示心率检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510741006.9A CN105266787B (zh) | 2015-11-03 | 2015-11-03 | 一种非接触式心率检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510741006.9A CN105266787B (zh) | 2015-11-03 | 2015-11-03 | 一种非接触式心率检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105266787A CN105266787A (zh) | 2016-01-27 |
| CN105266787B true CN105266787B (zh) | 2018-07-06 |
Family
ID=55137236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510741006.9A Active CN105266787B (zh) | 2015-11-03 | 2015-11-03 | 一种非接触式心率检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105266787B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105520724A (zh) * | 2016-02-26 | 2016-04-27 | 严定远 | 一种测量人体心跳速率和呼吸频率的方法 |
| CN105615864A (zh) * | 2016-03-31 | 2016-06-01 | 四川东鼎里智信息技术有限责任公司 | 用于移动终端的信息采集方法 |
| CN105956556B (zh) * | 2016-04-29 | 2019-05-07 | 南京理工大学 | 一种测量运动目标生命体征的方法 |
| CN105997035B (zh) * | 2016-05-04 | 2020-03-27 | 深圳欧德蒙科技有限公司 | 一种非接触式心率测量方法及系统 |
| CN106326853B (zh) * | 2016-08-19 | 2020-05-15 | 厦门美图之家科技有限公司 | 一种人脸跟踪方法及装置 |
| CN106361316B (zh) * | 2016-08-30 | 2019-03-15 | 苏州涵轩信息科技有限公司 | 一种多人心跳检测系统及获取多人心跳变化曲线的方法 |
| CN106373111A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种心率检测装置及获取心率变化波形的方法 |
| CN106491114B (zh) * | 2016-10-25 | 2020-11-06 | Tcl科技集团股份有限公司 | 一种心率检测方法及装置 |
| CN106725411B (zh) * | 2017-02-15 | 2020-10-27 | 成都皓图智能科技有限责任公司 | 一种基于gpu加速的非接触式心跳检测方法 |
| WO2018192246A1 (zh) * | 2017-04-19 | 2018-10-25 | 中国电子科技集团公司电子科学研究院 | 一种基于机器视觉的非接触式情绪检测方法 |
| CN107506716A (zh) * | 2017-08-17 | 2017-12-22 | 华东师范大学 | 一种基于视频图像的非接触式实时心率测量方法 |
| US11471083B2 (en) * | 2017-10-24 | 2022-10-18 | Nuralogix Corporation | System and method for camera-based stress determination |
| TWI667635B (zh) * | 2018-01-09 | 2019-08-01 | 國立交通大學 | 應用於嬰幼兒的監測系統及監測方法 |
| CN108177685A (zh) * | 2018-02-08 | 2018-06-19 | 深圳市歌航科技有限公司 | 一种基于健康监测的新型交通工具 |
| CN108771539A (zh) * | 2018-03-21 | 2018-11-09 | 上海师范大学 | 一种基于摄像的非接触式心率的检测方法及其装置 |
| CN108960144B (zh) * | 2018-07-04 | 2022-07-19 | 泰康保险集团股份有限公司 | 心率检测方法及装置、存储介质和电子设备 |
| CN108937905B (zh) * | 2018-08-06 | 2021-05-28 | 合肥工业大学 | 一种基于信号拟合的非接触式心率检测方法 |
| CN109124613B (zh) * | 2018-08-17 | 2021-02-02 | 西安电子科技大学 | 基于语音交互的非接触式心率监测装置及方法 |
| CN109350030B (zh) * | 2018-08-17 | 2020-04-21 | 西安电子科技大学 | 基于相位放大处理人脸视频心率信号的系统及方法 |
| CN109480808A (zh) * | 2018-09-27 | 2019-03-19 | 深圳市君利信达科技有限公司 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
| CN109977858B (zh) * | 2019-03-25 | 2020-12-01 | 北京科技大学 | 一种基于图像分析的心率检测方法及装置 |
| CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
| CN112022131B (zh) * | 2020-09-16 | 2023-06-09 | 合肥工业大学 | 长时间连续性的非接触式心率测量方法和系统 |
| CN113951855A (zh) * | 2021-02-01 | 2022-01-21 | 南京云思创智信息科技有限公司 | 基于人脸的非接触式心率测量方法 |
| CN114403837A (zh) * | 2022-01-24 | 2022-04-29 | 佛山科学技术学院 | 一种基于皮肤微观图像的手持式心率检测装置及方法 |
| CN115299912A (zh) * | 2022-09-05 | 2022-11-08 | 重庆大学 | 一种便捷式心率监测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| CN103006195A (zh) * | 2013-01-10 | 2013-04-03 | 浙江大学 | 一种基于图像处理的非接触式生命体征数据监测系统和监测方法 |
| CN103251391A (zh) * | 2012-02-21 | 2013-08-21 | 施乐公司 | 从源视频图像获得动脉脉搏传导时间 |
| CN103654758A (zh) * | 2013-12-23 | 2014-03-26 | 韩山师范学院 | 一种抗干扰的心率检测方法 |
| CN103702014A (zh) * | 2013-12-31 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 非接触式生理参数检测方法、系统及装置 |
| CN103784127A (zh) * | 2012-11-01 | 2014-05-14 | 西安天动数字科技有限公司 | 一种心率测量系统 |
| CN104337509A (zh) * | 2013-07-26 | 2015-02-11 | 塔塔咨询服务有限公司 | 生理参数的测量 |
| CN104363831A (zh) * | 2012-06-12 | 2015-02-18 | 皇家飞利浦有限公司 | 用于基于相机的生命体征测量的系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002255568B8 (en) * | 2001-02-20 | 2014-01-09 | Adidas Ag | Modular personal network systems and methods |
| US20110152696A1 (en) * | 2009-12-22 | 2011-06-23 | Hall Ryan Laboratories, Inc. | Audible biofeedback heart rate monitor with virtual coach |
| US8977347B2 (en) * | 2012-06-25 | 2015-03-10 | Xerox Corporation | Video-based estimation of heart rate variability |
| JP6349075B2 (ja) * | 2013-11-22 | 2018-06-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 心拍数測定装置及び心拍数測定方法 |
-
2015
- 2015-11-03 CN CN201510741006.9A patent/CN105266787B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499664A (zh) * | 2011-10-24 | 2012-06-20 | 西双版纳大渡云海生物科技发展有限公司 | 基于视频图像的非接触式生命体征的检测方法及检测系统 |
| CN103251391A (zh) * | 2012-02-21 | 2013-08-21 | 施乐公司 | 从源视频图像获得动脉脉搏传导时间 |
| CN104363831A (zh) * | 2012-06-12 | 2015-02-18 | 皇家飞利浦有限公司 | 用于基于相机的生命体征测量的系统 |
| CN103784127A (zh) * | 2012-11-01 | 2014-05-14 | 西安天动数字科技有限公司 | 一种心率测量系统 |
| CN103006195A (zh) * | 2013-01-10 | 2013-04-03 | 浙江大学 | 一种基于图像处理的非接触式生命体征数据监测系统和监测方法 |
| CN104337509A (zh) * | 2013-07-26 | 2015-02-11 | 塔塔咨询服务有限公司 | 生理参数的测量 |
| CN103654758A (zh) * | 2013-12-23 | 2014-03-26 | 韩山师范学院 | 一种抗干扰的心率检测方法 |
| CN103702014A (zh) * | 2013-12-31 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 非接触式生理参数检测方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105266787A (zh) | 2016-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105266787B (zh) | 一种非接触式心率检测方法及系统 | |
| Feng et al. | Motion-resistant remote imaging photoplethysmography based on the optical properties of skin | |
| CN108701357B (zh) | 用于皮肤检测的设备、系统和方法 | |
| Lam et al. | Robust heart rate measurement from video using select random patches | |
| CN102499664B (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| Irani et al. | Improved pulse detection from head motions using DCT | |
| CN104994782B (zh) | 基于脑波信号进行分析的方法和设备 | |
| CN106073729B (zh) | 光电容积脉搏波信号的采集方法 | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| CN106236049A (zh) | 基于视频图像的血压测量方法 | |
| CN110236511A (zh) | 一种基于视频的无创心率测量方法 | |
| CN107392177A (zh) | 一种人体身份识别验证方法及其装置 | |
| CN111387959A (zh) | 一种基于ippg的非接触式生理参数检测方法 | |
| CN111127511B (zh) | 一种非接触式心率监测方法 | |
| US20180279935A1 (en) | Method and system for detecting frequency domain cardiac information by using pupillary response | |
| CN107169419A (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
| Alkali et al. | Facial tracking in thermal images for real-time noncontact respiration rate monitoring | |
| CN111248890A (zh) | 一种基于面部视频的非接触式新生儿心率监测方法及系统 | |
| Ernst et al. | Optimal color channel combination across skin tones for remote heart rate measurement in camera-based photoplethysmography | |
| Lamba et al. | Contactless heart rate estimation from face videos | |
| KR101996027B1 (ko) | 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치 | |
| Lin et al. | Step count and pulse rate detection based on the contactless image measurement method | |
| CN113397519B (zh) | 心血管健康状态的检测装置 | |
| CN113693573B (zh) | 一种基于视频的非接触式多生理参数监测的系统及方法 | |
| CN116509359A (zh) | 一种工地作业的多目标心率监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190411 Address after: 710119 Room 310, Zutong Building, No. 17 Information Avenue, New Industrial Park, Xi'an High-tech Zone, Shaanxi Province Patentee after: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR CO., LTD. Address before: 710119 Room 310, Zutong Building, No. 17 Information Avenue, New Industrial Park, Xi'an High-tech Zone, Shaanxi Province Co-patentee before: Cao Yihui Patentee before: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR CO., LTD. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Non-contact type heart rate detection method and system Effective date of registration: 20190614 Granted publication date: 20180706 Pledgee: Xi'an investment and financing Company limited by guarantee Pledgor: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR CO., LTD. Registration number: 2019610000120 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20200703 Granted publication date: 20180706 Pledgee: Xi'an investment and financing Company limited by guarantee Pledgor: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR Co.,Ltd. Registration number: 2019610000120 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Non-contact type heart rate detection method and system Effective date of registration: 20200707 Granted publication date: 20180706 Pledgee: Xi'an investment and financing Company limited by guarantee Pledgor: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR Co.,Ltd. Registration number: Y2020980003869 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20201228 Granted publication date: 20180706 Pledgee: Xi'an investment and financing Company limited by guarantee Pledgor: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR Co.,Ltd. Registration number: Y2020980003869 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A non-contact heart rate detection method and system Effective date of registration: 20201230 Granted publication date: 20180706 Pledgee: Xi'an investment and financing Company limited by guarantee Pledgor: XI 'AN CAS STAR TECHNOLOGICAL INCUBATOR Co.,Ltd. Registration number: Y2020610000253 |