CN114246570B - 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 - Google Patents
峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 Download PDFInfo
- Publication number
- CN114246570B CN114246570B CN202111477067.0A CN202111477067A CN114246570B CN 114246570 B CN114246570 B CN 114246570B CN 202111477067 A CN202111477067 A CN 202111477067A CN 114246570 B CN114246570 B CN 114246570B
- Authority
- CN
- China
- Prior art keywords
- signal
- heart rate
- noise ratio
- correlation coefficient
- near infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 230000035772 mutation Effects 0.000 abstract description 2
- 238000012880 independent component analysis Methods 0.000 description 12
- 210000003491 skin Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013186 photoplethysmography Methods 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000009532 heart rate measurement Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000005792 cardiovascular activity Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，包括如下步骤：数据采集、预处理、面部感兴趣区域(ROI)选取、信号去噪和心率估算；从近红外摄像头获得面部灰度图像，由于外部干扰或噪声，预定的ROI区域可能会存在低噪声比的问题。为此本发明不局限于某一预定ROI，而是在面部灰度图像中选取多个ROI。本发明在面部中选取多个ROI区域，来提高原始信号的信噪比。然后通过信号预处理算法来消除原始信号中的高频噪声、低频趋势、波形突变。并通过峰值信噪比和皮尔森相关系数的融合来挑选出心率信号。实验结果表明，该方法能够实时有效地完成心率检测，适合于不同光源环境下的心率检测，低于3％的误差。
Description
技术领域
本发明涉及一种近红外心率检测方法，具体涉及一种利用峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，属于计算机视觉技术领域。
背景技术
心率的测量方法按照是否需要与人体皮肤相接触分为接触式和非接触式测量两种。接触式测量方法按照原理可以分为光电法、心电法、生物阻抗法和压力振荡法。
光电法：当一定波长的光线照射到皮肤表面时，光线将通过透射或反射方式发送到光电接收器，在此过程中光线会受到皮肤、肌肉和血液吸收的衰减，导致接收器监测到光的强度减弱。其中人体的皮肤、骨骼等组织对光的反射是固定的，而毛细血管中血液容积随着心脏跳动呈周期性增加和减少，使光接收器接收到的光强度随之呈周期性变化。通过光线强度的变换就可以提取出心率信息。
心电法：通过心脏在每个搏动周期中，由起搏点、心房、心室相继兴奋，伴随着无数心肌细胞动作电位周期性变化检测心率。传感器可以通过测量心肌收缩的电信号来提取心率信息。心电法的准确度高，但是传感器必须紧贴皮肤，放置位置相对固定，是医疗上最常用的测量方法。
生物阻抗法：心脏的周期性搏动会引起血管中血液容积的周期性改变，从而导致血管内的电阻率随之改变。该方法就是通过监控生物肌体自身阻抗的改变来实现心率信息的提取。该方法的测量误差相对较大。
压力振荡法：通过血压计袖带给手臂加压，并利用薄膜压力传感器监控动脉血管的搏动振幅，再进行电信号转换，从而测量血压与脉率。
近年来，基于视频图像的光电容积描记法这一类的非接触方法越来越受到研究人员的重视。这项技术的原理与光电容积描计法(photoplethysmography， PPG)类似，都是利用心脏收缩和舒张时，皮肤表面的血管中血液容积会发生周期性改变的生理现象。与光电容积描记法区别的是，图像光电容积描记法(Image Photoplethysmography，IPPG)不主动释放绿光或者其它颜色光源,并且分析的是被相机捕捉的皮肤表面视频。皮肤表面的颜色会随着血管中血液容积的改变而改变，这种颜色的变化能够准确反映人体心血管活动的规律。通过检测和扑捉这些细微的颜色变化，再通过数字信号处理技术，可以得到心率、呼吸率以及心率变化率等人体各项生理参数。
2008年，Verkruysse等人提出在正常自然光照条件下，可以从消费级相机采集的人脸面部正面视频中提取出心率信息。研究人员从人脸区域手动选择感兴趣区域(Regionof Interest，ROI)，计算感兴趣区域中RGB三通道像素均值得到原始信号，并利用数字带通滤波器对原始信号进行去噪处理。研究发现，RGB三通道中都含有强度不同的心率信息，其中绿色通道含有的心率信息最多。
2013年，Poh等人利用Viola-Jones人脸检测算法[16]来检测人脸面部区域，计算检测人脸区域的RGB通道的平均强度值作为原始信号，同时还采用独立成分分析(Independent Component Analysis，ICA)技术将心率信号从原始信号中分离出来。研究表明，与从绿色通道轨迹提取的心率信号相比，通过 ICA算法提取的心率信号具有更高的信噪比。
2014年，Wang等人提出了一个运动鲁棒的IPPG算法，研究人员把面部每个像素作为远程IPPG传感器，并在空间域进行优化，提取其中的主要成分。研究人员使用Farneback的密集光流算法来跟踪两帧之间每个图像像素点的平移位移。
2015年，Kumar等人采用了KLT算法来逐帧跟踪感兴趣区域。此外，Kumar 等人使用加权平均法来组合面部不同跟踪区域的肤色变化信号，加权值取决于该区域的血液灌注和入射光强度。这是一种计算效率高的心率检测方法。
2018年，Prakash等人使用有界卡尔曼滤波器来追踪感兴趣区域，并利用模糊校正算法来校正运动模糊的视频帧来提高原始信号的信噪比。实验结果表明，该方法适用于日常头部和身体运动的场景。
目前为止，基于视频的非接触式心率检测方面的研究已经有很多，并且部分研究取得的心率测量的精度已达到很高的程度。但是大部分研究都是对彩色图像进行分析的，当外界光源稳定时，这些研究能够取得不错的心率检测结果，但是当处于一些特殊环境如黑暗环境时，这些基于彩色视频分析的算法很难取得理想的结果。为了拓展IPPG算法的应用范围，一些研究人员考虑使用近红外摄像头来采集单通道视频进行分析。
2018年，Qi等人使用KLT算法来追踪近红外图像中的人脸区域，研究人员计算每一帧中人脸矩形框中的单通道像素平均值作为原始信号，并且使用经验模态分析算法来滤除原始信号的高频噪声和趋势。研究表明，基于近红外图像分析的IPPG算法能在光照变化和黑暗场景下取得较高的心率检测精度。
2019年，Martinez等人使用人脸特征点检测算法构建人脸掩膜区域，并计算每个区域的单通道像素平均值作为原始信号，并且使用奇异值分解算法对原始数据进行降维，提取其中的主要成分。研究人员定义了一个信号质量指标来衡量多组IPPG信号的质量，并挑选具有最高值的信号作为心率信号。
2020年，王平等人提出了一种新的基于联合盲源分离技术和坐标延迟变换的近红外视频心率测量系统。研究人员在面部划分了多个感兴趣区域，并使用 KLT算法来对感兴趣区域进行追踪，计算每个感兴趣区域的像素均值作为原始信号，使用坐标延迟变换将每个单通道信号转换为多通道信号，并使用ICA算法来对信号进行去噪处理，最后选取其中信噪比最大的信号作为最终的心率信号。
综上所述，近红外摄像头具有能够适应多种复杂的环境，特别是暗场景的心率采集，不需要的稳定光源的依赖，并且次相机具有红外深度功能，且价格便宜，适合携带等的优点。非接触心率检测技术在地铁安检，航空航天，井下作业，特别是医院医疗有着不错的发展前景。因此，基于峰值信噪比和皮尔森相关系数融合的近红外心率检测方法会越来越受到研究者的关注，必将有着广阔的应用空间。
发明内容
基于现有技术中存在上述问题，本发明目的在于通过NIR摄像机采集近红外灰度视频，通过相对应的一些去噪算法，从复杂的原始信号中提取到真实有用的心率信号，该方法使得基于灰度图像的非接触心率信号的提取称为可能，并且具有较高的准确度。
本发明解决其技术问题所采取的技术方案是：一种峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，该方法包括如下步骤：
步骤1：对近红外视频数据采集和预处理：通过NIR即近红外摄像机捕捉近红外灰度图像并将其组合成视频，利用标椎化算法将原始信号进行标准化处理，以便于下述算法的统一计算；
步骤2：选取感兴趣的区域ROI：通过人脸识别定位到人体面部之后对面部进行特征点定位，通过特征点选取ROI，组合不同的ROI和测试不同的距离以及光线影响从而确定最佳实验环境、最佳距离及最佳组合ROI；
步骤3：进行相应算法去噪和计算心率：通过获得的标准化的心率数据，对其使用经验模态分解，滤除其中的高频噪声和低频趋势，通过盲源分析法提高信噪比，从而转到频域计算最终心率。
进一步的，所述步骤1中，心率信号的采集是通过NIR相机采集，所述NIR 相机与传统普通彩色摄像机相比，不需要稳定的光源，能够在暗环境中运行
进一步的，所述步骤1中，原始灰度图像只具有单通道的灰度信息，无法组成视频，通过将单通道的灰度信息复制三份，分别各R,G,B三通道，组成深度视频；对原始数据进行标准化处理，通过原始数据的均值和标准差进行数据标准化原始数据转变为无量纲的数据。
进一步的，所述步骤2中，运用使用人脸识别算法，通过对特征点进行标记来完成对区域ROI的追踪，再根据人体头部血管分布图，选取血管位置最为密集的区域标定为ROI；选取多个ROI来丰富心率信号的提取，通过多组实验反复验证实验的最佳ROI,最佳距离，是否可以适合各种不同光源的环境。
进一步的，所述步骤3中，将原始信号分解为多个IMF(本征模函数)和残余信号，从而滤除其中的高频噪声和低频趋势，对剩余的信号进行重构。
进一步的，所述步骤3中，对重构处理过后的信号信噪比较低，以及突变噪声未能去除的特性，提出使用盲源分离法来提高原始信号的信噪比，以及解决信号中噪声突变的情况，使心率计算更加准确。
进一步的，所述步骤3中，由面部呼吸和表情变化以及头部晃动带来的高频趋势和低频噪声均通过经验模态分解加以去除，将处理的信号通过盲源分析法以提高信噪比，使其波形具有明显的信息信号特征，经去噪处算法处理过的信号输出的的顺序未知，最终通过峰值信噪比和皮尔森相关系数融合的方法来确定最佳的信号。
进一步的，所述步骤3中，通过傅里叶变化，可直接在频率计算心率计算心率值的大小。
与现有技术相比，本发明的有益效果为：
1、本发明采用近红外摄像机采集灰度图像组成视频，有效的消除了不同彩色摄像机对稳定光源的依赖，能够适应所有环境下对心率信号的提取，并且有着较高的准确率。
2、本发明采用多组ROI来提高原始心率信号中真实有用的心率信息，不仅计算量比全脸检测少，而且有着较高的准确率。
3、本发明采用的经验模态分解和盲源分析法对原始信号去噪，不仅可以去除高频噪声，还可以修复低频趋势，还可以提高原始信号的信噪比，使其能够计算出真实有用的心率值。
附图说明
图1为本发明的基于近红外非接触心率检测方法的系统框图。
图2为本发明的数据采集和人脸的特征点标记效果图。
其中，图2(a)为近红外相机采集面部数据的正面，图2(b)为近红外相机采集面部数据的正面，图2(c)为采集过后人脸特征点和ROI定位的效果图，其中，蓝色的点为特征标记点，绿色矩形框为ROI选取框。
图3为本发明正面ROI组合选定的效果图。
图4为本发明侧面ROI组合选定的效果图。
图5为本发明的不同光源选定的流程图。
其中，图5(a)为原始心率的波形采集图，图5(b)为信号处理中的心率信号波形图。
图6为本发明的经ICA处理后的波形图。
图7为本发明的心率计算的流程框图。
图8最终频域输出心率的波形图。
具体实施方式
下面结合说明书附图对本发明创造作进一步详细的说明。
如图1所示，整个流程方法的步骤如下：
步骤1-1：数据采集；近红外摄像机通过一定的帧率和分辨率对灰度图像进行采集。红外发射器发射0.76-1.5微米的近红外光线并通过红外接收器接收灰度图像，分辨率为512*424，采集速率为21.3fbs。
步骤1-2：预处理；获取的灰度图像将其复制为三份，因为灰度图像只具备单通道，一般的视频都是三通道。近红外摄像机采集的近红外数据是一个整数的灰度值，变换范围从0～255。由于每个ROI的光照强度不等，本发明对每个ROI采用标准化，该方法基于原始数据的均值和标准差进行数据标准化，转为无量纲的纯数值，方便统一进行计算。标准化方法存在很多种，本实施例中采用以下的标椎化方法，其计算公式为：
其中，Pi'(t)是标准化后的值，Pi(t)是原始值。ui和σi分别是整个离散序列的平均值和标准差，i表示ROI区域中的某一个。
步骤2：选取感兴趣的区域(ROI)；
步骤2-1：ROI跟踪；考虑到近红外图像单通道的特性，本发明提出从面部区域构建多个ROI来提取多组原始信号。在读取视频流的过程中，使用人脸识别算法，通过特征点的进行标记来完成对区域多个ROI进行稳定追踪。人脸定位和ROI跟踪如图2所示。
步骤2-2：选取最佳位置；本作品根据人体头部血管分析示意图，将拍摄的角度分为正面拍摄和侧面拍摄。在正面拍摄角度中，ROI选取的位置分别为额头位置的左右滑车上动脉和眶上动静脉；鼻子部分的内眦动静脉；面部的鼻外侧动脉和唇部的唇动静脉，效果图如图3所示。在侧面拍摄角度中，ROI选取的位置分别为太阳穴颞浅动静脉；颧眶部位的颧眶动脉；和咬肌部分的上下咬肌动静脉，效果图如图4所示。
步骤3：进行相应算法去噪和计算心率；
步骤3-1：对于原始信号中的高频噪声和低频趋势可以用相应去噪算法加以消除，比如采用经验模态分解(EDM)方法；该方法是依靠数据自身的时间尺度特征来对信号进行分解，无须提前设定任何基函数。这一点与建立在先验性的谐波基函数或小波基函数上的傅里叶分解以及基于小波的分解方法具有本质性的差别。正是由于这样的特点，EMD算法在理论上可以应用于任何类型的信号的分解，因而在处理非平稳或者非线性数据上，具有非常明显的优势，适合于分析非线性、非平稳信号序列。本章中基于近红外图像提取的原始信号由于运动和光线的干扰变成非线性、非平稳的信号，因此非常适合用EMD算法进行分解重组。EMD算法将信号分解成一系列本征模函数(IMF)，使得各IMF分量是窄带信号，即IMF分量必须满足下面两个条件，其一在整个信号长度上，极值点和过零点的数目必须相等或者至多只相差一个，另一个在任何时刻，局部最大值和最小值的包络的均值必须为零。经EDM处理后的波形图如图5(b)所示。
步骤3-2：对于原始信号的波形突变和存在伪峰点的现象可以采用比如盲源分离算法，ICA就是其中之一，其算法目的在于把观测信号分离成统计独立的非高斯信号的信号源的线性组合。ICA算法由于其优越的去噪效果，已经被广泛应用于生物医学信号分析领域，如心电信号处理、脑电信号处理、影像图像去噪等。
盲源分离问题中信号的数学模型如下式所示：
X＝AS
上式中，X表示为n维的观测矩阵，S为m维的未知信号矢量，A表示为n*m 维的混合系数矩阵。其中，n要大于等于m。盲源分离问题就是求解矩阵A的逆矩阵W，从而得到输出矩阵U，继而获得原始信号中混合的信号，求解过程如下式所示：
U＝WX＝WAS
经ICA处理后的波形图如图6所示
步骤3-3：峰值信噪比和皮尔森相关系数的融合；由于ICA算法处理后的信号顺序未知，因此本发明需要通过使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和皮尔森相关系数(Person)来确定信号ICA的信号质量。
信号峰值信噪比的定义如下式所示：
其中，Se是信号经过FFT变换后获得的频谱，fh是信号频谱中峰值点对应的频率，fe为信号峰值点附近相邻的区域，相邻区域的大小设置为从fh所计算的心率值起5bpm的频域范围。
Perason相关系数的定义如式所示：
其中cov(X，Y)是原始信号与ICA输出信号的协方差，σX，σY是其对应的标准差，相关系数为负表示负相关，为正表示负相关，为0表示不相关。
在本发明中，每组ROI经过信号去噪处理之后，都会得到一个与原始信高度相关的去噪信号，本发明中去噪信号分别计算其峰值信噪比和皮尔森相关系数。将其进行比较，选出最优信号，并计算其心率。如果心率值浮动较大，则缩小ROI的范围，并通过峰值信噪比来确定最佳输出信号，因为在少量ROI 的情况下，峰值信噪比的准确率要比皮尔森相关系数要准确的多，最后通过频谱转换，计算心率。其流程图如图7所示。
步骤3-4：FFT变化，转到频域计算心率；本发明通过在0.9-2.5hz的频域上，选择心率信号的峰值点频率fh，再通过公式心率＝fh*60来计算出心率信号所对应的心率值的大小，频域峰值计算心率如图8所示。
综上所述，本发明通过NIR相机采集近红外深度图像实现了实时对心率的检测。为了完成对人体心率的非接触检测，本发明通过NIR摄像机捕获人体面部灰度视频，通过人脸识别和特征点定位，标记感兴趣的区域(ROI)，并用过对不同距离，不同光源，不同ROI组合的多人多组实验，确定最佳ROI选取位置8，最佳测量距离，以及可以适应多种不能光源强度的环境。接着通过经验模态分解去除原始信号的高频噪声和低频趋势，将处理过后的信号通过巴特沃斯带通滤波器滤除部分频段，再用盲源分析法增加心率信号的信噪比以及修复原始信号存在的突变，最后经过FFT，计算出最终心率数值。通过实验验证了本发明提出的基于近红外非接触心率检测结果的准确性、实时性和多场景适应性。
以上所述仅为本发明的一个具体实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：包括如下步骤：
步骤1：对近红外视频数据采集和预处理：通过NIR即近红外摄像机捕捉近红外灰度图像并将其组合成视频，利用标椎化算法将原始信号进行标准化处理；
步骤2：选取感兴趣的区域ROI：通过人脸识别定位到人体面部之后对面部进行特征点定位，通过特征点选取ROI，组合不同的ROI和测试不同的距离以及光线影响从而确定最佳实验环境、最佳距离及最佳组合ROI；
步骤3：进行去噪和计算心率：通过获得的标准化的心率数据，对其使用经验模态分解，滤除其中的高频噪声和低频趋势，通过盲源分析法提高信噪比，经去噪处算法处理过的信号输出的的顺序未知，最终通过峰值信噪比和皮尔森相关系数融合的方法来确定最佳的信号，从而转到频域计算最终心率，通过峰值信噪比和皮尔森相关系数融合的方法的过程为：每组ROI经过信号去噪处理之后，都会得到一个与原始信高度相关的去噪信号，根据去噪信号分别计算其峰值信噪比和皮尔森相关系数，从多组ROI信号对应的峰值信噪比中选取最佳的峰值信噪比，从多组ROI信号对应的皮尔森相关系数中选取最佳的皮尔森相关系数，并对最佳的峰值信噪比和皮尔森相关系数对应的心率进行比较，最终确定心率的最优信号。
2.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤1中，近红外灰度图像的采集是通过NIR相机采集，所述NIR相机与传统普通彩色摄像机相比，不需要稳定的光源，能够在暗环境中运行。
3.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤1中，原始灰度图像只具有单通道的灰度信息，无法组成视频，通过将单通道的灰度信息复制三份，分别各R,G,B三通道，组成深度视频；对原始数据进行标准化处理，通过原始数据的均值和标准差进行数据标准化原始数据转变为无量纲的数据。
4.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤2中，运用人脸识别算法来对多个ROI进行稳定追踪，并根据ROI，进行多种组合实验。
5.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤2中，根据人体头部血管分布图，选取血管位置最为密集的区域标定为ROI。
6.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于：所述步骤3中，将原始信号分解为多个IMF本征模函数和残余信号，从而滤除其中的高频噪声和低频趋势，对剩余的信号进行重构。
7.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于，所述步骤3中，对重构处理过后的信号信噪比较低，以及突变噪声未能去除的特性，提出使用盲源分离法来提高原始信号的信噪比，以及解决信号中噪声突变的情况，使心率计算更加准确。
8.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于，所述步骤3中，由面部呼吸和表情变化以及头部晃动带来的高频趋势和低频噪声均通过经验模态分解加以去除，将处理的信号通过盲源分析法以提高信噪比，使其波形具有明显的信息信号特征。
9.根据权利要求1所述的峰值信噪比和皮尔森相关系数融合的近红外心率检测方法，其特征在于，所述步骤3中，通过傅里叶变化，可直接在频率计算心率值的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111477067.0A CN114246570B (zh) | 2021-12-06 | 2021-12-06 | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111477067.0A CN114246570B (zh) | 2021-12-06 | 2021-12-06 | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114246570A CN114246570A (zh) | 2022-03-29 |
| CN114246570B true CN114246570B (zh) | 2023-10-20 |
Family
ID=80791728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111477067.0A Active CN114246570B (zh) | 2021-12-06 | 2021-12-06 | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114246570B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433539A (zh) * | 2023-06-15 | 2023-07-14 | 加之创(厦门)科技有限公司 | 一种用于无感知式健康检测的图像处理方法、介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010103112A1 (en) * | 2009-03-13 | 2010-09-16 | Thomson Licensing | Method and apparatus for video quality measurement without reference |
| CN105678780A (zh) * | 2016-01-14 | 2016-06-15 | 合肥工业大学智能制造技术研究院 | 一种去除环境光变化干扰的视频心率检测方法 |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3495994A1 (en) * | 2017-12-05 | 2019-06-12 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
-
2021
- 2021-12-06 CN CN202111477067.0A patent/CN114246570B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010103112A1 (en) * | 2009-03-13 | 2010-09-16 | Thomson Licensing | Method and apparatus for video quality measurement without reference |
| CN105678780A (zh) * | 2016-01-14 | 2016-06-15 | 合肥工业大学智能制造技术研究院 | 一种去除环境光变化干扰的视频心率检测方法 |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于自编码器结构的生成对抗网络人脸图像生成技术研究;李顼晟;中国优秀硕士学位论文全文数据库 (信息科技辑);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114246570A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| Feng et al. | Motion-resistant remote imaging photoplethysmography based on the optical properties of skin | |
| Feng et al. | Dynamic ROI based on K-means for remote photoplethysmography | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| CN109259749A (zh) | 一种基于视觉摄像头的非接触式心率测量方法 | |
| Subramaniam et al. | Estimation of the Cardiac Pulse from Facial Video in Realistic Conditions. | |
| Bobbia et al. | Remote photoplethysmography based on implicit living skin tissue segmentation | |
| CN111243739A (zh) | 抗干扰的生理参数遥测方法及系统 | |
| CN111387959A (zh) | 一种基于ippg的非接触式生理参数检测方法 | |
| CN111938622B (zh) | 心率检测方法、装置及系统、可读存储介质 | |
| Al-Naji et al. | Noncontact heart activity measurement system based on video imaging analysis | |
| Pourbemany et al. | Real-time video-based heart and respiration rate monitoring | |
| CN111839492A (zh) | 一种基于面部视频序列的心率非接触式测量方法 | |
| CN112200099A (zh) | 一种基于视频的动态心率检测方法 | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Cho et al. | Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Panigrahi et al. | Non-contact HR extraction from different color spaces using RGB camera | |
| CN113456042A (zh) | 一种基于3d cnn的无接触面部血压测量方法 | |
| Malasinghe et al. | A comparative study of common steps in video-based remote heart rate detection methods | |
| Han et al. | Exploration of the optimal skin-camera distance for facial photoplethysmographic imaging measurement using cameras of different types | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography | |
| CN113693573B (zh) | 一种基于视频的非接触式多生理参数监测的系统及方法 | |
| CN116012820A (zh) | 一种非接触式驾驶员心率检测方法 | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |