CN110584638A - 一种基于cmor小波的非接触式心率测量方法 - Google Patents

Abstract

本发明公开了一种基于CMOR小波的非接触式心率测量方法，首先以自然光为光源，录制一段60s的AVI格式的被试者正脸视频，对录制的视频进行检测，并将所检测的人脸区域用多边形框出、截取，设为重构人脸图像，然后选取眼睛、鼻子、嘴巴和脸部中心点为追踪特征点；将重构人脸图像转换到YCbCr空间进行皮肤检测；对录制的视频中除正脸外的其他帧依次记录Cg通道绿色浓度偏差；将Cg通道绿色浓度偏差值作为原始PPG信号进行带通滤波处理，滤除通带外的噪声信号，得到目标心率信号；将目标心率信号通过CMOR小波分析得到小波时频图。本发明可以准确、实时的测量心率，克服了以往波峰间隔算法误差较大以及傅里叶变换只能提取一段时间段内占主要成分心率参数的缺陷。

Description

一种基于CMOR小波的非接触式心率测量方法

技术领域

本发明涉及非接触式心率测量技术，尤其是涉及一种基于CMOR小波的非接触式心率测量方法。

背景技术

随着社会的不断发展，人们的生活水平日渐提高，因此，健康问题越来越引起人们的注意。心率是衡量人体健康指标的一项重要参数，可以反映人体的健康水平。近年来，心血管疾病、高血压、冠心病、糖尿病等接踵而至，不仅给人们的身体健康带来了极大伤害，而且给人们的心理造成了极大的困扰，因此，疾病的预防和控制对于我们的生活非常重要，定期进行心率测量可以有效预防各类心血管疾病的发生，对于人体健康有着不可替代的作用。

目前的心率测量设备主要有心率测量仪、心率带、心率手环、动脉血压计等。但是，这些设备都需要接触人体才能进行心率测量，并且操作过程复杂，有的还需要专人安装，且长时间接触皮肤会给测量者带来不适，也比较不方便，对于皮肤烧伤患者，更会增加患者的痛苦，特别是对新生儿的心率测量中，接触式测量还存在一定的难度。

近来一些研究发现，通过分析视频中人脸信号中的肤色变化可以提取心率，此方法可以非接触式测量人体心率，并且网络摄像头具有价格低廉的特点，可以同时满足测量的经济性与实用性，特别是对于皮肤受损、新生儿等需要在不易察觉的情形进行测量则更加适用。但是，现有采用的非接触式心率测量技术均存在测量误差较大的问题，其原因在于：一是通过脸部颜色变化提取到的信号强度十分微弱，信噪比低，易受外界环境干扰（如环境光发生变化，头部运动幅度过大导致不能准确跟踪人脸等），采用盲源分析算法得到的目标心率信号质量较差，且不能确定目标心率信号位于盲源分离后信号的哪一部分；二是对提取到的心率信号进行傅里叶变换，只能观察到一段时间的占主要成分的心率参数，达不到实时检测要求；三是通过计算波峰间隔算法来获取心率参数，但由于噪声干扰的存在，会出现波峰偏移、漏检、多检等情况，严重影响心率参数测量的准确性。

发明内容

本发明的目的在于提供一种基于CMOR小波的非接触式心率测量方法，该测量方法可以准确实时的测得被试者的心率参数。

为实现上述目的，本发明可采取下述技术方案：

本发明所述的基于CMOR小波的非接触式心率测量方法包括下述步骤：

第一步，以自然光为光源，录制一段60s的AVI格式的被试者正脸视频，此时摄像头读入帧率为20fps，分辨率为800×600像素；

第二步，对录制的被试者正脸视频进行检测，并将所检测的人脸区域用多边形框出、截取，设为重构人脸图像，然后选取眼睛、鼻子、嘴巴和脸部中心点为追踪特征点；

第三步，将重构人脸图像转换到YCbCr空间进行皮肤检测，RGB转换到YCgCr颜色空间的转换公式如下；

按照亚洲人皮肤颜色特征，式中Y、Cb、Cr三个通道的阈值如下式所示：

；

第四步，对录制的视频中除正脸外的其他帧按照第二步和第三步的方法依次记录Cg通道绿色浓度偏差；

第五步，将Cg通道绿色浓度偏差值作为原始PPG信号进行带通滤波处理，通带频率设置为40/60Hz，200/60Hz，对应于心率40-200bpm；滤除通带外的噪声信号，得到目标心率信号；

第六步，将目标心率信号通过CMOR小波分析得到小波时频图。

其中，第一步中录制视频期间，除有小幅度的面部表情和正常眨眼动作外，头部位置基本保持不变。

第三步中为了提取信噪比较高的PPG信号，还需要计算Cg通道即绿色浓度偏移量成分，其公式如下：

。

第六步中在小波变换中，子小波共轭后对PPG信号进行卷积得到小波变换系数：

式中表示共轭，子小波通过母小波或基小波伸缩和平移得到，如式所示：

。

由小波时频图，即可观察到清楚的心率能量谱图，然后通过Matlab编程，即可将能量谱图转化成为清晰可见的心率曲线图。

本发明的优点在于可以准确、实时的测量心率，通过将采集到RGB图像转换到YCgCrCg颜色空间，可准确提取到被试者脸部皮肤颜色变化；通过CMOR小波能量谱算法提取随时间变化的心率参数，克服了以往波峰间隔算法误差较大以及傅里叶变换只能提取一段时间段内占主要成分心率参数的缺陷；具体来说，本发明的创新点体现在以下三个方面：

1、信号源的创新：由于通过脸部颜色变化提取到的信号强度十分微弱，信噪比低，易受外界环境干扰，本申请结合皮肤表面血红蛋白对510~590nm波长段光谱有较好吸收的生物特性，采用特定矩阵组将采集到的R、G、B三个通道的信号变换YCgCrCg颜色空间到作为信号源，可精确提取到面部微弱的肤色变换信息，克服了环境光对人脸肤色产生的影响，并能在头部左右以及前后运动时，精确跟踪人脸；

2、心率提取算法的创新：不同于接触式设备提取到的高强度心率信号，普通摄像头提取到信号微弱且幅度不一，本申请通过改进的小波变换来提取随时间连续变换的心率信号，可准确实时测得被试者的心率参数；

3、实时处理的创新：以往的非接触式心率测量都是先通过摄像头录制一段视频，然后对视频进行分析获得相应心率参数，本申请通过剖析摄像头读入图像机制，设计了一种实时处理算法，对计算机硬件的要求较低，可在普通计算机上实现实时测量。

附图说明

图1是本发明中心率提取时的真实环境展示图。

图2是本发明中人脸测试图。

图3为人脸肤色检测结果图。

图4为心率提取技术路线框图。

图5是小波分析后生成的视频能量谱图和心率曲线。

图6为静止状态下视频测心率与脉搏血氧仪测量结果对比图。

图7本发明方法的心率测量结果图。

具体实施方式

下面结合具体测量实例对本发明做更加详细的说明，以便于本领域技术人员的理解。图中显示的被试者为模拟人物。

实施例1 本发明基于CMOR小波的非接触式心率测量方法

其技术路线如图4所示，具体测量步骤如下：

第一步，如图1所示，以自然光为光源，被试者采用电脑和摄像头录制一段60s的AVI格式的正脸视频，录制期间，除有小幅度的面部表情和正常眨眼动作外，头部基本保持不动；为保证摄像头读入帧率维持在20fps，摄像头的分辨率设为800×600像素；

第二步，如图2所示，对录制视频第一帧进行人脸检测，并将所检测人脸区域用多边形框出，截取多边形框出的人脸区域为重构人脸图像，并选取眼睛、鼻子、嘴巴和脸部中心点为追踪特征点；

第三步，将重构人脸图像转换到YCbCr空间进行皮肤检测，RGB转换到YCgCr颜色空间的转换公式如下；

按照亚洲人皮肤颜色特征，式中Y、Cb、Cr三个通道的阈值如下式所示：

，其肤色检测结果如图3所示；

为了提取信噪比较高的PPG信号，进一步计算了Cg通道即绿色浓度偏移量成分，其公式如下：

；

第四步，对录制视频的其他帧按照第一帧的方法（第二步和第三步的方法）依次记录Cg通道绿色浓度偏差；

第五步，将Cg通道绿色浓度偏差值作为原始PPG信号进行带通滤波处理，通带频率设置为[40/60，200/60]Hz，对应于心率40-200bpm；滤除通带外的噪声信号，得到目标心率信号；

第六步，将目标心率信号通过CMOR小波分析得到小波时频图；

其中，在小波变换中，子小波共轭后对PPG信号进行卷积得到小波变换系数：

式中表示共轭，子小波通过母小波或基小波伸缩和平移得到，如式所示：

。

由小波时频图，即可观察到清楚的心率能量谱图，然后通过Matlab编程软件，即可将能量谱图（图5中左图）转化成为清晰可见的心率曲线图（图5中右图）。

实施例2 对比结果

1、对同一测试者分别按本发明测量心率方法和脉搏血氧仪进行测量，其测量结果如图6所示，两者进行对比可以看出：本发明所用心率测量方法测量结果与脉搏血氧仪心率测量结果基本保持一致。

2、在医疗检测领域，常使用Bland-Altman散点图分析方法来评估新提出的测量方法同标准测量方法之间的一致性。下面将8名测试者按本发明的非接触式心率测量方法测得的测量数据同标准接触式仪器测量得到的结果进行Bland-Altman一致性分析，其分析结果如图7所示：横坐标代表两种方法测量结果的均值，纵坐标代表两种方法测量结果的差值，中间实线代表两种测量方法差值的均数，上下两条虚线代表95%的置信区间，即，其中为差值均数的标准差。越接近，95%置信区间范围越小，则两种测量方法的一致性程度越高。图中可看出，本发明提出的非接触式方法测量的结果同标准仪器测量结果差值的均数为0.2957bpm，95%置信区间为-3.3401bpm到3.9314bpm，表明两种测量方法之间具有较强的一致性。

3、将8名测试者分别利用本发明方法、傅里叶变换方法（FFT）和IBIS方法在人脸静止状态下测量心率，并采用3种指标对测量结果进行多方面定量评价：第一个指标为平均误差,记作,其中误差表示非接触心率测量值和标准方法测得的心率参考值之间的差值；第二个指标是误差的标准差,记作；第三个指标是误差的均方根误差,记作RMSE；计算结果如表1所示：

表1

从表1记载的数据可以看出，本发明所用方法误差较小，测量心率结果更加精确。

Claims (4)

1.一种基于CMOR小波的非接触式心率测量方法，其特征在于：包括下述步骤：

第一步，以自然光为光源，录制一段60s的AVI格式的被试者正脸视频，此时摄像头读入帧率为20fps，分辨率为800×600像素；

第二步，对录制的被试者正脸视频进行检测，并将所检测的人脸区域用多边形框出、截取，设为重构人脸图像，然后选取眼睛、鼻子、嘴巴和脸部中心点为追踪特征点；

第三步，将重构人脸图像转换到YCbCr空间进行皮肤检测，RGB转换到YCgCr颜色空间的转换公式如下；

按照亚洲人皮肤颜色特征，式中Y、Cb、Cr三个通道的阈值如下式所示：

第四步，对录制的视频中除正脸外的其他帧按照第二步和第三步的方法依次记录Cg通道绿色浓度偏差；

第五步，将Cg通道绿色浓度偏差值作为原始PPG信号进行带通滤波处理，通带频率设置为40/60Hz，200/60Hz，对应于心率40-200bpm；滤除通带外的噪声信号，得到目标心率信号；

第六步，将目标心率信号通过CMOR小波分析得到小波时频图。

2.根据权利要求1所述的基于CMOR小波的非接触式心率测量方法，其特征在于：所述第一步中录制视频期间，除有小幅度的面部表情和正常眨眼动作外，头部位置基本保持不变。

3.根据权利要求1所述的基于CMOR小波的非接触式心率测量方法，其特征在于：所述第三步中为了提取信噪比较高的PPG信号，还需要计算Cg通道即绿色浓度偏移量成分，其公式如下：

。

4.根据权利要求1所述的基于CMOR小波的非接触式心率测量方法，其特征在于：所述第六步中在小波变换中，子小波共轭后对PPG信号进行卷积得到小波变换系数：

式中表示共轭，子小波通过母小波或基小波伸缩和平移得到，如式所示：

。