CN108090410A - 一种非接触式面部心率监测动感单车及监测方法 - Google Patents

Abstract

本发明涉及一种非接触式面部心率监测动感单车及监测方法，该单车包括动感单车底座、设置在感单车底座上的系统控制台以及一端与感单车底座固接的倒U形穹顶，所述的系统控制台上设有控制面板、显示器和摄像头，所述的摄像头用于获取受测者面部和穹顶内侧白色背景板的视频流。与现有技术相比，本发明具有非接触监测、考虑复杂环境光源等优点。

Description

一种非接触式面部心率监测动感单车及监测方法

技术领域

本发明涉及数字化健康领域，尤其是涉及一种非接触式面部心率监测动感单车及监测方法。

背景技术

传统的动感单车心率监测装置主要采用探针、贴片或者按压的形式接触受测者，虽然这一技术准确度高、速度快，然而由于需要特殊设备、操作复杂并且给受测者带来体力负担，这一技术在实际运用中并没有取得很好的效果。

光学体积描记技术(Photoplethysmography，PPG)基于Lamber-Beer定律和光散射理论。当波长为λ的单色光照射在某物质的溶液上时，投射光强I与反射光强I₀之间关系如下：I＝I₀e^-ε(λ)CL。其中，ε(λ)为吸光系数，即介质在特定波长下的吸收系数，C为介质浓度，L为光程。当介质由多种物质组成时，只要各种物质不存在相互作用，该定律依旧适用。在恒定光强与距离的情况下，同一介质的反射光强I₀则与吸光系数ε(λ)有着较为强烈的关系。

2008年，Verkruysse等人提出了通过环境光线进行非接触的体积描记的方法，发现血液比身体的其他部分吸收更多的可见和红外光线，这也表明了通过自然光来估计心率的可行性。具体来说心室的舒张，即一次心跳可以反映在局部皮肤区域的血液容积变化所带来的反射光强变化上，由此，我们能够通过分析局部皮肤区域反射光强的变化情况来估计受测人的心率变化。然而，这一变化是及其细微的，不为裸眼可见的，且易受干扰光源影响的。由于健身场所环境的复杂性，往往会给非接触测量造成不小的干扰，如环境光线带来的影响——普通灯管的发光频率远高于人类心率，但是由于信号的混叠现象，灯光往往会在心率变化的频域范围内掺杂难以区分的噪声。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种非接触式面部心率监测方法。

本发明的目的可以通过以下技术方案来实现：

一种非接触式面部心率监测动感单车，该单车包括动感单车底座、设置在感单车底座上的系统控制台以及一端与感单车底座固接的倒U形穹顶，所述的系统控制台上设有控制面板、显示器和摄像头，所述的摄像头用于获取受测者面部和穹顶内侧白色背景板的视频流。

一种监测方法，包括以下步骤：

1)摄像头采集以受测者面部为受测目标的受测者面部视频流以及以穹顶内侧白色背景板为受测目标的参考目标视频流；

2)分别提取受测者面部视频流和参考目标视频流的每一帧图像中敏感区域的图像数据，得到对应的敏感区域视频流；

3)分别对受测者面部敏感区域视频流和参考目标敏感区域视频流进行颜色空间转换，获取对应的血容量脉搏视频流以及背景目标视频流；

4)采用多尺度的图像高斯金字塔对血容量脉搏视频流以及背景目标视频流进行空间分解去除多余的图像噪声，并且采用带通滤波和降采样去除血容量脉搏信号和参考目标信号中的冗余信息信号，最终获取血容量脉搏信号和参考目标信号；

5)分别对血容量脉搏信号和参考信号进行频域分析，去除血容量脉搏信号中的参考信号所含的灯光及干扰极点，并进行心率估计。

所述的步骤1)中，采集受测者面部视频流和参考目标视频流时，受测目标位于摄像头正前方0.25-0.75m范围内的同一空间中的同一平面上，摄像头的采样率大于等于10帧/秒，视频分辨率大于等于640×480。

所述的步骤1)中，所述的受测者面部视频流和参考目标视频流的颜色空间为RGB颜色空间，所述的颜色空间转换具体为将RGB颜色空间转换为Lab颜色空间。

所述的步骤2)中，受测者面部视频流的敏感区域为蕴含血容量脉搏变化的脸部区域，包括人眼下方60％的区域，参考目标视频流的敏感区域为蕴含与面部同样噪声源的背景区域，包括穹顶内侧白色背景板上100×100的像素区域。

所述的步骤3)中，选择Lab颜色空间的a通道作为血容量脉搏信号和参考目标信号的参考空间，并将a通道中所有像素点的灰度均值分别作为血容量脉搏视频流以及背景目标视频流。

所述的步骤4)中，采用8阶butterworth带通滤波器对血容量脉搏视频流进行滤波，同屏带选为0.67-4Hz，其上下限分别为成人的心率波动范围40-240bpm，所述的降采样的目标为10Hz。

所述的步骤5)具体包括以下步骤：

51)对采用自回归模型分别对血容量脉搏信号和参考信号进行频域分析，获取血容量脉搏信号和参考信号的频谱；

52)获取血容量脉搏信号和参考信号频谱中的所有极点；

53)比较血容量脉搏信号和参考信号频谱中的极点，当极点间的角度差小于阈值，则判定其属于同一干扰光源，并将该极点从血容量脉搏信号的极点集合中删除；

54)选择血容量脉搏信号极点集合内剩余的极点中量级最高的点进行心率估计。

所述的步骤54)中，心率估计的具体表达式为：

hr＝f_Index*60

其中，Ps_i为血容量脉搏信号的极点，abs(·)为极点的量级，f_Index为血容量脉搏信号中第Index个极点的频率，hr为估计得到的心率。

所述的步骤53)中，阈值取值为2°或3°。

与现有技术相比，本发明具有以下优点：

一、非接触监测：本发明无需接触受测者，借助摄像装置采取非接触的方式进行心率监测，减轻了受测者在监测过程中的不适感。

二、考虑复杂环境光源：本发明充分考虑了在运用场景中，复杂环境光源对监测的干扰，配合穹顶内侧的白色背景板采用参考信号的方式对灯光噪声特征进行同步分析，从而使得监测方法对室内灯光的干扰有一定的抗性，提高了心率监测的鲁棒性。

附图说明

图1为本发明的一种非接触式心率监测动感单车系统示意图。

图2为本发明的一种非接触式心率监测动感单车系统控制台示意图。

图3为本发明的一种非接触式心率监测方法敏感区域示意图。

图4为本发明的一种非接触式心率监测方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明公开了一种基于动感单车的非接触式心率监测方法，本发明采用的动感单车包括动感单车底座、系统控制台、穹顶。

单车底座拥有普通动感单车的常用功能，可为受测者提供与之相应的锻炼功能。

系统控制台内置控制面板及显示装置，用以受测者操纵系统和得到监测反馈，并且配置有摄像头，用以采集受测人的面部视频流和参考视频流。

穹顶大部分为透明或者非透明，即可透过或者提供监测过程中所需充足的光线；头部高度位置为白色背景板。

本发明提出了一种非接触式心率监测方法，即无需接触受测者，仅使用动感单车上配置的普通视频采集装置自动估计受测者的心率。本发明通过高斯金字塔以及带通滤波器除去绝大部分的信号噪声，再使用自回归模型除去信号中的其他光源干扰，能够有效地降低其他光源对心率估计的影响。

本发明包括以下流程：

(1)采集受测者面部视频流和若干参考目标视频流；

(2a)提取面部视频流中每一帧图像中敏感区域的图像数据，得到敏感区域视频流；

(3a)对敏感区域视频流进行颜色空间转换，提取含有心率信号的颜色通道，得到血容量脉搏视频流；

(4a)使用高斯金字塔去除视频流中的多余细节后，进行带通滤波和降采样，转换为血容量脉搏信号；

(5)对参考目标视频流重复(2)-(4)记为(2b)-(4b)，得到参考信号；

(6)使用自回归模型对血容量脉搏信号、参考信号进行频域分析，采用极点消除技术去除血容量脉搏信号中的参考信号所含的灯光及其他干扰的极点后，进行心率估计。

在流程(1)中，在采集受测者面部与参考视频流时，受测目标应该位于视频采集装置0.25-0.75m范围内的同一空间中的同一平面上，视频采集装置或者视频文件的采样率理论上应该大于等于10帧/秒，视频分辨率应该大于等于640×480，视频颜色空间一般为RGB或者采用一切便于转换为流程(3)所述的颜色空间。

在流程(2a)中，面部视频流的敏感区域为人眼下方60％的区域或者为蕴含血容量脉搏变化的其他脸部区域；所述流程(2b)中，参考视频流的敏感区域为白色背景墙适当位置上100×100像素区域或者为蕴含与面部同样噪声源的适当尺寸的其他背景区域。

在流程(3a)，(3b)中，目标颜色空间为CIE LAB又称为CIE^*a^*b^*(以下简称为Lab)，L表示亮度(0为黑色，100近乎为白色)，a、b分别表示红色/品红到绿色，黄色到蓝色的变化。由RGB转换为Lab可表述为如下公式：

其中，

X_n＝95.047,Y_n＝100.0,Z_n＝108.883

在本发明所述流程(4a)，(4b)中，利用一种多尺度的图像高斯金字塔对视频流进行空间分解，从而略滤去视频帧中所不需要的图像细节，而保留明显的血容量脉搏变化，高斯金字塔的分解层数由如下的经验公式确定：

其中，x,y分别为原始图像的长和宽，round表示四舍五入。

由于含氧血红蛋白和去氧血红蛋白对波长为540-577nm的光有较好的吸收性，而这一段波段正好位于红光与绿光之间，则人体血容量脉搏变化在光谱上反应为红绿光的交替变化；本发明选取Lab图像的a通道作为血容量脉搏的参考空间，取a通道的所有像素点的灰度均值作为血容量脉搏信号；本发明使用8阶butterworth带通滤波器对所得的血容量脉搏信号进行滤波，同屏带选为0.67-4Hz，其上下限分别对应成人的心率波动范围40-240bpm。接着我们对该信号进行目标为10Hz的降采样，除去信号中的冗余信号信息。

在流程(6)中，我们使用自回归模型(Autoregressive Model，以下简称AR模型)对血容量脉搏信号进行频谱分析，采用合适的阶数来分析频谱中的极点。AR模型可表述为如下公式：

其中，p为模型的阶数，x(n)为信号自身的线性回归，e(n)为损失。其转换函数可表述为如下公式：

如以上公式所示转换函数的分母可以被因数化到p项，每一项都表示一个转换函数的根，由于转换函数没有零点，所以AR模型是一个全极点的模型；极点都由共轭负数组成且每一点都对应信号频域中的一个峰值，所以他们可以被可视化到一个复变量平面中：与实数轴的角度对应该极点的频率，与原点的距离对应该极点的量级；这种对应关系可以由表述为如下公式：

其中，θ为角度，f_s为采样频率，f为频率。

其中，m为量级，r和i分别为极点的实部和虚部。通过以上的表述，本发明获得了一种极点可视化的表达，而这一表达助于理解极点消除。显而易见的，在角度上相邻的极点表现出相近的频率值，本发明分别通过AR模型分析血容量脉搏信号、参考信号并获得其所有极点，比较两个信号中的极点，如若极点的角度过于接近(角度差小于2°或者3°)，则认为他们属于同一干扰光源，则将该极点从血容量脉搏信号中删除，该过程可表述为如下公式：

其中，{Ps}_n为血容量脉搏信号(s)中n个极点所在的集合，Ps_k为血容量脉搏信号(s)中第k个极点；为血容量脉搏信号(s)中第k个极点的角度，为参考信号(r)中第l个极点的角度。最后，本发明选取所剩极点中量级最高的点进行心率估计，该过程可表述为如下公式：

hr＝f_Index*60

其中，abs()为极点的量级，Index为血容量脉搏信号(s)中第Index个极点的频率，hr为估计得到的心率。

如图1所示，受测者应坐于动感单车底座1上，借助穹顶3对光线的控制，通过操纵系统控制台2控制整个监测流程。

如图2所示，受测者通过开关按钮6打开系统控制台开始心率监测，系统通过摄像头5采集受测者面部数据及参考数据，通过显示装置4为受测者提供反馈。

如图3所示，摄像头采集到的图像帧包括受测者包含头部的上半身10和穹顶白色背景板8。受测者脸部区域的敏感区域9为人眼下方60％，参考区域的敏感区域为白色背景板8上适当位置的100×100像素区域。

如图4所示，在采集受测者面部与参考视频流11时，受测目标包括(受测人10和背景板8)应该位于视频采集装置0.25-0.75m范围内的同一空间中的同一平面上，摄像头5的采样率理论上应该大于等于10帧/秒，一般取30帧/秒，视频分辨率应该大于等于640×480，视频颜色空间由于采集设备的限制一般为RGB。受测者可以通过显示装置4得到关于自身心率估计的反馈。在提取敏感区域12时，受测者面部敏感区域视频流记为ROIs，参考视频流的敏感区记为ROIr。

本发明将视频流的颜色空间转换到Lab颜色空间13中，紧接着凭借经验公式确定层数使用高斯金字塔对原始图像进行空间分解，然后取a通道的所有像素点的灰度均值作为血容量脉搏信号，并使用butterworth滤波器对该信号进行频带为0.67-4Hz的带通滤波，再对信号进行降采样，使采样频率降至10帧/秒14。

接着，本发明使用自回归模型对血容量脉搏信号和参考信号进行分析15，阶数取8，得到信号中的极点；再运用极点消除技术从频域上去除血容量脉搏信号中所蕴含的灯光干扰信号。

最后，本发明对去除噪声的信号做进一步的频域处理，选取能量量级最高的峰值所对应的频率作为心率估计的结果16。

Claims (10)

1.一种非接触式面部心率监测动感单车，其特征在于，该单车包括动感单车底座(1)、设置在感单车底座(1)上的系统控制台(2)以及一端与感单车底座(1)固接的倒U形穹顶(3)，所述的系统控制台(2)上设有控制面板、显示器和摄像头，所述的摄像头用于获取受测者面部和穹顶(3)内侧白色背景板的视频流。

2.一种应用如权利要求1所述的动感单车的监测方法，其特征在于，包括以下步骤：

1)摄像头采集以受测者面部为受测目标的受测者面部视频流以及以穹顶内侧白色背景板为受测目标的参考目标视频流；

2)分别提取受测者面部视频流和参考目标视频流的每一帧图像中敏感区域的图像数据，得到对应的敏感区域视频流；

3)分别对受测者面部敏感区域视频流和参考目标敏感区域视频流进行颜色空间转换，获取对应的血容量脉搏视频流以及背景目标视频流；

4)采用多尺度的图像高斯金字塔对血容量脉搏视频流以及背景目标视频流进行空间分解去除多余的图像噪声，并且采用带通滤波和降采样去除血容量脉搏信号和参考目标信号中的冗余信息信号，最终获取血容量脉搏信号和参考目标信号；

5)分别对血容量脉搏信号和参考信号进行频域分析，去除血容量脉搏信号中的参考信号所含的灯光及干扰极点，并进行心率估计。

3.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤1)中，采集受测者面部视频流和参考目标视频流时，受测目标位于摄像头正前方0.25-0.75m范围内的同一空间中的同一平面上，摄像头的采样率大于等于10帧/秒，视频分辨率大于等于640×480。

4.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤1)中，所述的受测者面部视频流和参考目标视频流的颜色空间为RGB颜色空间，所述的颜色空间转换具体为将RGB颜色空间转换为Lab颜色空间。

5.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤2)中，受测者面部视频流的敏感区域为蕴含血容量脉搏变化的脸部区域，包括人眼下方60％的区域，参考目标视频流的敏感区域为蕴含与面部同样噪声源的背景区域，包括穹顶内侧白色背景板上100×100的像素区域。

6.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤3)中，选择Lab颜色空间的a通道作为血容量脉搏信号和参考目标信号的参考空间，并将a通道中所有像素点的灰度均值分别作为血容量脉搏视频流以及背景目标视频流。

7.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤4)中，采用8阶butterworth带通滤波器对血容量脉搏视频流进行滤波，同屏带选为0.67-4Hz，其上下限分别为成人的心率波动范围40-240bpm，所述的降采样的目标为10Hz。

8.根据权利要求2所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤5)具体包括以下步骤：

51)对采用自回归模型分别对血容量脉搏信号和参考信号进行频域分析，获取血容量脉搏信号和参考信号的频谱；

52)获取血容量脉搏信号和参考信号频谱中的所有极点；

53)比较血容量脉搏信号和参考信号频谱中的极点，当极点间的角度差小于阈值，则判定其属于同一干扰光源，并将该极点从血容量脉搏信号的极点集合中删除；

54)选择血容量脉搏信号极点集合内剩余的极点中量级最高的点进行心率估计。

9.根据权利要求8所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤54)中，心率估计的具体表达式为：

<mrow> <msub> <mi>f</mi> <mrow> <mi>I</mi> <mi>n</mi> <mi>d</mi> <mi>e</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <munder> <mi>argmin</mi> <mi>i</mi> </munder> <mo>{</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>Ps</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> </mrow>

hr＝f_Index*60

其中，Ps_i为血容量脉搏信号的极点，abs(·)为极点的量级，f_Index为血容量脉搏信号中第Index个极点的频率，hr为估计得到的心率。

10.根据权利要求8所述的一种非接触式面部心率监测方法，其特征在于，所述的步骤53)中，阈值取值为2°或3°。