CN105147274A - 一种从可见光谱段人脸视频信号中提取心率的方法 - Google Patents

Abstract

本发明公开一种从可见光谱段人脸视频信号中提取心率的方法，该方法采用的采集装置包括一个与被测对象连接的摄像头，与摄像头连接的一台计算机；该方法包括如下步骤：1：以可见光谱为光源，录制人脸正面的彩色图像；2：对录制视频的每一帧图像进行人脸检测；在人脸检测的基础上，再进行肤色检测，提取出肤色像素；3：将肤色像素进行R、G、B通道分离，分别求取R、G、B各个通道的亮度平均值，得到原始的观察信号；4：采用对角累积量方法对观察信号进行盲源分离，得到对原始PPG信号的估计信号；5：设置滑动窗口，对窗口内的估计信号进行快速傅里叶变换，截取心跳频率范围内的功率谱，其中最大功率谱对应的频率值即可转化为心率值。

Description

一种从可见光谱段人脸视频信号中提取心率的方法

技术领域

本发明的技术方案涉及无接触的生理信号测量技术，具体说是一种从可见光谱段人脸视频信号中提取心率的方法。

背景技术

近年来的研究表明，通过人脸视频信号中的肤色变化提取心率是一种无接触、低成本的方法，可用于某些特殊的情况，如皮肤受损，新生儿和需要不易察觉的监控方式等情形。视频心率的获得需要提取PPG信号，PPG信号采集依据朗伯-比尔光吸收基本定律：当一定波长的光束照射到皮肤表面时，将通过透射或反射的方式传送出去，在此过程中，由于光受到皮肤、肌肉、组织和血液的吸收，光的强度会减弱。其中静态组织等对光的吸收在整个血液循环中是保持恒定不变的，而皮肤内的血液容积在心脏作用下呈搏动性和周期变化。这样接收到的光强度就随心脏跳动呈现脉动性、周期性变化，而与心脏同步变化的透射和反射光中就包含PPG信号基本信息。PPG信号存在于皮肤表面的光变化，引起肤色变化，肤色的变化也就是反射光的间接反映，但是人眼是不能发现这一微小的颜色变化，因为人眼虽然分辨率高，但是对颜色的辨识能力不是很强，尤其是颜色的强弱变化，而对颜色变化的细微检测正是摄像头的强项，它可以很好的区分开颜色的变化，因此这为PPG信号的检测提供了可能。

传统的心率测量仪器，往往要使用探针和传感器，长期的佩戴会引起身体上的不适，也会增加传播感染的风险。

在申请人检索的范围内，从视频信号中提取心率的现有技术主要包括：

[1]文献“automatedcardiacpulsemeasurementsusingvideoimagingandblindsourceseparation”一文中，利用网络摄像头和JADE(JointApproximateDiagonalizationofEigenmatrice)算法成功得到血液脉搏波，再通过快速傅里叶变化转换成心率值。JADE方法从某种程度上可以减少运动所带来的噪声影响。但检测出来的心率与实际心率相比，精度仍需提高。

[2]文献“Validationofheartrateextractionusingvideoimagingonabuilt-incamerasystemofasmartphone”中，利用智能手机的摄像头非接触的进行了心率的检测。

[3]文献“Noncontactautomaticheartrateanalysisinvisiblespectrumbyspecificfaceregions”一文中，详细分析了人脸各个区域(共划分为9个区域)对心率检测的影响。实验结果显示：左右外脸颊检测心率的结果准确性最好，其次是左右内脸颊，最差的是眼睛区域。在选取受干扰最小的脸部区域的基础上，如果能采用另一种分离方法，进一步提高心率提取精度，则效果会更好。

上述的相关研究结论都表明，经典的JADE方法处理的结果虽然能够在信号混合结构未知的条件下估计出源信号，但是估计出的结果不满足实际需求，都需要设计补偿方法，来弥补精度上的不足。JADE方法通过联合对角化四阶累积量矩阵，使概率密度函数的峭度达到最大化。由于累积量估计本身需要大样本，运算量较大。因此，在样本数量相对较小的情况下，基于高阶统计的自适应算法有更好发展。本发明采用一种自适应盲源分离算法，即基于对角累积量的分离算法，从可见光谱段人脸视频信号中提取PPG信号，再经过FFT变换得到心率值，从而进一步提高检测结果的精度。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是：提供一种从可见光谱段人脸视频信号中提取心率的方法，该方法在满足实时提取心率的基础上，可以一种低复杂度的方法进一步提高了提取心率的精度。

本发明解决所述技术问题的技术方案是：设计一种从可见光谱段人脸视频信号中提取心率的方法，该方法采用如下采集装置和步骤：所述采集装置包括一个与被测对象连接的摄像头，与摄像头连接的一台计算机，被测对象的心率显示在计算机屏幕上；摄像头为任意一个帧率为30帧/秒，分辨率大于30万像素的摄像头；该方法包括如下步骤：

步骤1：以可见光谱为光源，录制人脸正面的彩色图像；录制期间头部位置和面目表情基本保持不变；

步骤2：对录制视频的每一帧图像进行人脸检测；在人脸检测的基础上，再进行肤色检测，提取出肤色像素；

步骤3：将肤色像素进行R、G、B通道分离，分别求取R、G、B各个通道的亮度平均值，得到原始的观察信号，即肤色亮度随时间变化的曲线；

步骤4：采用对角累积量方法对观察信号进行盲源分离，得到对原始PPG信号的估计信号；

步骤5：设置滑动窗口，对窗口内的估计信号进行快速傅里叶变换，截取心跳频率范围内的功率谱，其中最大功率谱对应的频率值即可转化为心率值。

与现有技术相比，本发明方法的有益效果是：基于四阶累积量的联合对角化算法用于视频心率的盲提取，由于累积量估计本身就要大样本，运算量较大，而对角累积量方法是一种自适应盲源分离算法，首先，它采用自适应方法求解白化矩阵，JADE的预白化是直接求得的，只有在有足够多的观测数据样本时才能直接求解白化矩阵，当按时间顺序观测到数据时，使用自适应的方法求白化矩阵的效果会更好。与JADE方法相比，对角累积量方法有若干优点，它使用递归方法估计四阶累积量，实际应用中，在四阶累积量引入前一个样本值可以得到更好的估计结果。JADE方法预白化，求高阶累积量，联合对角化是分步完成的，而本发明的对角累积量方法去相关和信号分离同时进行，可以实时的进行分离，算法本身的复杂度要低。对角累积量方法通过监控分离矩阵的变化，明确的控制分离是否成功的执行，成功分离时，分离矩阵每次迭代的变化值小于预先设定的ε值。通过自适应迭代在正交变化约束下盲源分离的基于对角累积量的准则函数，使估计的源信号尽可能的去高斯化，尽可能的实现统计独立。因此，估计出的源信号较JADE方法有更高的精度。

附图说明

图1为本发明方法使用的采集装置框图；

图2为本发明中提取心率的真实环境展示图。

图3为本发明中从视频信号中进行人脸检测的结果示意图。

图4为本发明中检测出的肤色区域图，即为图3中的白色区域。

图5为本发明中肤色像素经R、G、B分离之后，分别求得空间亮度平均值而得到的观察信号图。

图6为本发明中采用JADE方法对所得观察信号进行盲源分离的过程示意图。

图7为本发明中采用对角累积量方法对所得观察信号进行盲源分离的过程示意图。

图8为本发明中基于对角累积量方法的二层分离网络示意图。

图9为本发明方法估计出的源信号与传统方法估计出的源信号对比图。

图10为基于JADE方法提取出的心率值与参考的实际心率值的对比图。

图11为本发明中基于对角累积量方法提取出的心率值与参考的实际心率值的对比图。

图12为基于JADE方法计算心率信号的Bland-Altman一致性分析图。

图13为本发明中对角累积量方法计算心率信号的Bland-Altman一致性分析图。

图14为本发明中相同视频估计心率值的统计参数结果表，即表1。

图15为本发明中对角累积量方法所取的参数值和运行时间表，即表2。

具体实施方式

下面结合附图、实施例和附表对本发明做进一步说明。

本发明一种从可见光谱段人脸视频信号中提取心率的方法(简称方法，参见图1-13)，该方法采用如下采集装置和步骤：所述采集装置包括一个与被测对象连接的摄像头，与摄像头连接的一台计算机，被测对象的心率显示在计算机屏幕上；摄像头为任意一个帧率为30帧/秒，分辨率大于30万像素的摄像头；该方法包括如下步骤：

步骤1：以可见光谱为光源，录制人脸正面的彩色图像；录制期间头部位置和面目表情基本保持不变，基本是指可有轻微的面部表情，如正常眨眼；

步骤2：对录制视频的每一帧图像进行人脸检测；在人脸检测的基础上，再进行肤色检测，提取出肤色像素；

步骤3：将肤色像素进行公知的R、G、B通道分离，分别求取R、G、B各个通道的亮度平均值，得到原始的观察信号，即肤色亮度随时间变化的曲线；

步骤4：采用对角累积量方法对观察信号进行盲源分离，得到对原始PPG信号的估计信号；

步骤5：设置滑动窗口，对窗口内的估计信号进行快速傅里叶变换，截取心跳频率范围内的功率谱，其中最大功率谱对应的频率值即可转换为心率值。

下面对各个步骤的具体方法作进一步的介绍：

步骤1：以可见光谱为光源录制人脸正面的彩色图像。录制期间头部位置和面目表情基本保持不变，所述的基本保持是指可有小幅度的面部表情变化，如正常眨眼动作。

分步骤1.1：使用任意帧率为30帧/秒，分辨率大于30万像素的摄像头，录制长为15秒的视频。被测者与摄像头保持半米的距离，整个视频中被测者的正脸基本保持在视频画面的中央部分。

步骤2：对录制视频的每一帧图像进行人脸检测，在人脸检测的基础上再进行肤色检测，提取出肤色像素。

分步骤2.1：读入录制好的彩色视频，建立级联检测器，该检测器是基于Viola-Jones算法，对读入的每一帧图像进行人脸检测。

鲁棒性的人脸检测方法：

(1)如果某一帧图像没有检测出人脸，则沿用上一帧的检测结果。

(2)人脸检测的结果只能允许检测出一张人脸，如果某一帧图像同时检测出2张以上人脸，则选取与上一帧人脸检测结果更接近的矩形区域。

分步骤2.2：然后在人脸检测的基础上提取肤色像素。

在YCbCr颜色空间，通过对颜色空间的每个分量设定如下式的阈值，在人脸检测的基础上，再提取出肤色像素：

$\left\{\begin{array}{c}Y>0.31\\ 0.30<C_b<0.50\\ 0.52<C_r<0.68\end{array}\right.$

其中，Y为颜色的亮度分量，C_b和C_r则为蓝色和红色的浓度偏移量成分。

步骤3：将肤色像素进行R、G、B通道分离，分别求得R、G、B各个通道的亮度平均值，得到原始的观察信号，即肤色亮度随时间变化的曲线。

分步骤3.1：将得到的肤色像素进行R(665nm)、G(535nm)、B(445nm)通道分离。

分步骤3.2：对R、G、B三个通道分别求空间亮度平均值。即得到R、G、B三个通道的亮度随时间变化的信号曲线。

步骤4：采用对角累积量方法对观察信号进行盲源分离，得到对原始PPG信号的估计信号。

第三步得到的R、G、B三个通道的亮度随时间变化的信号，称之为观察信号。假设观察信号是原始PPG信号分量的线性混合，具体的混合系数是未知的。观察信号具有R、G、B三个分量，假设原始信号也具有三个分量。在混合矩阵未知的情况下，估计原始的PPG信号，需要采用盲源分离算法，这里采用对角累积量分离算法，基于对角累积量的盲源分离算法是基于高阶统计量的数学理论(公知技术，可参见文献“刘琚,孙建德,许宏吉.盲信号处理理论与应用[M].北京:科学出版社,2013.)，算法假设源信号是非高斯的，且各分量是互相统计独立的。

观察信号是按时间顺序观测得到的数据，用以下的自适应方法求白化矩阵：为使输出矩阵的自相关矩阵R_z＝E[z(t)z^T(t)]＝I，其中z(t)为输出矩阵，定义代价函数最小化代价函数使相关矩阵R_z趋于单位阵。

U(t+1)＝U(t)-μ(t)[z(t)z^T(t)]U(t)(1)

(1)式是使用随机梯度法得到的白化矩阵的更新公式，其中U为白化矩阵，μ为步长系数，以上自适应方法求白化矩阵，白化的过程也可以称为预白化，预白化是一个实时的过程。

${\mathrm{\&phi;}}_1\left(W\right)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{cum}}_4^2\left(y_i^4\right)---\left(2\right)$

(2)式是基于对角累积量的准则函数，cum₄是求四阶累积量的符号，以上的准则函数是在正交变换的约束下，即：W^T＝W^-1；W为正交阵，满足WW^T＝I。

${\mathrm{\&phi;}}_2\left(W\right)=\frac{1}{4}\left|\right|{\mathrm{WW}}^T-I|{|}^2---\left(3\right)$

(3)式是为使W符合正交阵的要求，定义的目标函数。

基于对角累积量的分离算法实现分离的过程就是同时使准则函数φ₁(W)和φ₂(W)达到最小。即：

$\mathrm{\&phi;}\left(W\right)={\mathrm{\&phi;}}_1\left(W\right)+\mathrm{\&rho;}\&times;{\mathrm{\&phi;}}_2\left(W\right)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{cum}}_4^2\left(y_i^4\right)+\frac{\mathrm{\&rho;}}{4}\left|\right|{\mathrm{WW}}^T-I|{|}^2---\left(4\right)$

(4)式便是无约束的代价函数。对上式求关于W的梯度，便得到如下公式：

$\frac{\&part;{\mathrm{\&phi;}}_1\left(W\right)}{\&part;W}=g\left(y\right(t\left)\right)z^T\left(t\right)---\left(5\right)$

$\frac{\&part;{\mathrm{\&phi;}}_2\left(W\right)}{\&part;W}=-\mathrm{\&mu;}(I-{\mathrm{WW}}^T)W---\left(6\right)$

其中，g(y(t))＝[g₁(y₁(t)),g₂(y₂(t)),…,g_N(y_N(t))]，z(t)＝U(t)x(t)按公式U(t+1)＝U(t)-μ(t)[z(t)z^T(t)]U(t)更新U(t)，累积量可用下式递归估计：

$G_0=y_i^4\left(t\right)---\left(7\right)$

$\begin{array}{c}{D}_0=3{\mathrm{cum}}_2^2\left(y_i^2\left(t-1\right)\right)-6{\mathrm{cum}}_2\left(y_i^2\left(t-1\right)\right)y_i^2\left(t\right){\mathrm{cum}}_4\left(y_i^4\left(t\right)\right)={\mathrm{cum}}_4\left(y_i^4\left(t-1\right)\right)+\mathrm{\&alpha;}\left(t\right)(G_0+D_0-\\ {\mathrm{cum}}_4\left(y_i^4\left(t-1\right)\right))\end{array}---\left(8\right)$

${\mathrm{cum}}_2\left(y_i^2\right(t))={\mathrm{cum}}_2\left(y_i^2\right(t-1))+\mathrm{\&alpha;}\left(t\right)\left(y_i^2\right(t)-{\mathrm{cum}}_2\left(y_i^2\right(t-1)\left)\right)---\left(9\right)$

其中，α为调整参数。

W(t+1)＝W(t)-β(t)g(y(t))z^T(t)+η(t)(I-W(t)W(t)^T)W(t)(10)

(10)式即是分离矩阵W的更新公式，其中β,η为步长系数。

步骤5：设置滑动窗口，对窗口内的估计信号进行快速傅里叶变换，截取心跳频率范围内的功率谱，其中最大功率谱对应的频率值即可转换为心率值。

采用15s的滑动窗口，1s的增量，对三组源信号成分进行FFT变换得到其功率谱，[0.75,4]Hz的频率范围对应的心率值为[45,240]，在此频率范围内最大功率谱所对应的频率即可转换为心率。

本发明方法的实验用采集装置包括两条支路(参见图1)：

第一条支路为本发明方法采集装置的主支路，包括一个与被测对象连接的摄像头，与摄像头连接的计算机，被测对象的心率显示在计算机屏幕上。

其中，摄像头为任意一个帧率为30帧/秒，分辨率大于30万像素的摄像头，采集人脸正面视频，将数据信号传送给计算机，通过公知的心率提取的各个步骤提取出心率，并将最终结果显示在计算机屏幕上。

第二条支路为本发明方法提取心率的对比数据支路，包括被测对象，脉搏血氧仪，通过脉搏血氧仪屏幕输出被测对象心率。用脉搏血氧仪夹于被测者右手食指，记录下同一时期的被测者的心率值，用来对比本发明方法心率提取结果的准确性。不难理解，第二条支路是本发明研究时专门设计的，在实际使用时，并不需要第二条支路。

图2所示为本发明方法提取心率的真实环境展示。其中，

图2-1为本发明方法录制视频时被测对象与录制视频装置的实际位置关系。

图2-2为本发明方法脉搏血氧仪在录制视频的同时，实时采集被测者的心跳值，在脉搏血氧仪的屏幕上显示被测者的实时心率。

图3所示为本发明从视频中进行人脸检测的结果图。其中，

图3-1，图3-2，图3-3，图3-4分别为视频中某个时刻，随机提取出的四帧图像人脸识别的结果。

图4所示为本发明肤色区域检测结果示意图。其中，

图4-1，图4-2，图4-3，图4-4分别为对图3中四帧图像人脸识别结果进行肤色区域检测的结果示意图，其中的白色区域即为肤色区域。

图5所示为本发明方法观察信号的R、G、B分量示意图。

图6所示为采用公知的JADE方法对所得观察信号进行盲源分离，求取成分，提取PPG信号的过程示意图，用来对比本发明方法提取心率的准确性。

图7所示为本发明方法对所得观察信号进行盲源分离，求取成分，提取PPG信号的过程示意图。

图8所示为本发明方法基于对角累积量的盲源分离算法的二层分离网络图。

图9所示为本发明方法估计出的源信号与公知方法估计出的源信号曲线图。

图9-1所示为本发明视频信号的R、G、B分量作为公知JADE方法的输入混合信号，盲源分离后得到估计源信号的三组成分图。

图9-2所示为本发明视频信号的R、G、B分量作为对角累积量方法的输入混合信号，盲源分离后得到估计源信号的三组成分图。

图10所示为本发明方法所取的data1,data2和data3对应用JADE方法估计信号三组成分转化得到的三组心率值。在图中分别用符号‘+’，‘Δ’和‘*’标出，PHILIPSDB12的脉搏血氧仪记录的参考心率值用‘○’标出。

图11所示为本发明方法所取data1,data2和data3对应用对角累积量方法估计信号三组成分转化得到的三组心率值曲线图。

图12所示为公知JADE方法计算心率信号的Bland-Altman一致性分析图。利用Bland-Altman图的差值法分析4段视频的测量心率结果，4段视频分别是在上午，中午，下午时间段录制，视频人物为3个不同的人物，每段视频测量出3组心率值，每组包含16个心率值，加上脉搏血氧仪测得的参考心率值，4段视频一共有192对结果。

图13所示为对角累积量方法计算心率信号的Bland-Altman一致性分析图。利用Bland-Altman图的差值法分析4段视频的测量心率结果，4段视频分别是在上午，中午，下午时间段录制，视频人物为3个不同的人物，每段视频测量出3组心率值，每组包含16个心率值，加上脉搏血氧仪测得的参考心率值，4段视频一共有192对结果。

表1所示为相同视频分别采用公知的JADE方法和本发明的对角累积量方法估计心率值的统计参数结果表。

采用统计的方法，分析使用JADE和对角累积量两种方法得到的心率值的统计特征，统计心率值与脉搏血氧仪测得的参考心率值差的绝对值，计算出均值(Mean,M)，标准方差(StandardDeviation,SD)和均方根误差(RootMeanSquareError,RMSE)，各个统计参数的计算公式如下式。

$h_M=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{d}_i$

$h_{SD}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{(d_i-h_M)}^2}$

$h_{RMSE}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{d}_i^2}$

其中d为恢复出的心率值与脉搏血氧仪测得的参考心率值差的绝对值的集合，即d＝{d₁,d₂,...,d_N}；N代表心率值的个数，h_M,h_SD和h_RMSE分别代表d的均值，标准差和均方根误差。这里用d_J表示JADE方法求得的心率值与参考心率值的绝对误差，用d_c表示对角累积量方法求得的心率值与参考心率值的绝对误差。两种方法的统计参数取值如表1所示。从表1中可以看出，与d_J相比，d_c的统计参数的值在总体上均变小。

以分量2为例，d_c的均值是4.19bpm(beatsperminute)d_J的均值0.69bpm，减小了3.5bpm，d_c的标准差是9.17bpm，d_J的标准差是0.95bpm，减小了8.22bpm；而d_J均方根误差是9.81，d_c的均方根误差是1.15，减小了8.66。

对三组数据做统计平均，对比总体恢复的效果，利用对角累积量方法恢复的三组数据相对于JADE方法恢复的三组数据在均值，标准差，均方根误差统计平均值分别下降了1.46，4.98和4.49。这些数据表明了采用对角累积量方法获得的心率值精度得到有效提高。

表2所示为对角累积量方法所取的参数值和运行时间表。

从表2中可以看出，对角累积量恢复估计信号的速度不及JADE方法，但通过调整参数α、β和η值，可以使迭代快速收敛，收敛的迭代次数可从几千次下降到几十次，而结果的准确性变化不大，通过选择合适的参数，可使对角累积量方法的时间复杂度控制在1s之内，基本满足快速提取心率的要求。

从图9和图10的心率值对比结果可以直观看出：两种方法中，用估计出的源信号成分1恢复得到的心率值严重偏离参考心率值，考虑到源信号成分1受噪声干扰较大，不具有分析价值，所以重点分析由两种方法估计出的源信号成分2和源信号成分3转化所得心率值，利用JADE方法估计出的源信号成分2和源信号成分3恢复出的心率值与参考心率值重合的点为15个，与参考心率差值在±3范围之外的点为5个；而利用本发明对角累积量方法估计出的成分2和成分3恢复出的心率值与参考心率值重合的点为18个，与参考心率差值在±3范围之外的点为0个。可以看出，利用对角累积量恢复出的心率值更接近实际心率值，波动更小，更稳定。

本发明方法未述及之处适用于现有技术。

Claims (1)

1.一种从可见光谱段人脸视频信号中提取心率的方法，该方法采用如下采集装置和步骤：所述采集装置包括一个与被测对象连接的摄像头，与摄像头连接的一台计算机，被测对象的心率显示在计算机屏幕上；摄像头为任意一个帧率为30帧/秒，分辨率大于30万像素的摄像头；该方法包括如下步骤：

步骤1：以可见光谱为光源，录制人脸正面的彩色图像；录制期间头部位置和面目表情基本保持不变；

步骤2：对录制视频的每一帧图像进行人脸检测；在人脸检测的基础上，再进行肤色检测，提取出肤色像素；

步骤3：将肤色像素进行公知的R、G、B通道分离，分别求取R、G、B各个通道的亮度平均值，得到原始的观察信号，即肤色亮度随时间变化的曲线；

步骤4：采用对角累积量方法对观察信号进行盲源分离，得到对原始PPG信号的估计信号；

步骤5：设置滑动窗口，对窗口内的估计信号进行快速傅里叶变换，截取心跳频率范围内的功率谱，其中最大功率谱对应的频率值即可转换为心率值。