CN112690771B - 一种利用线性回归模型的人脸视频心率检测方法 - Google Patents

Abstract

本发明公开了一种利用线性回归模型的人脸视频心率检测方法，该方法包括以下步骤：S1、从可见光人脸视频图像的三基色通道观测信号分离出三个独立信号源；S2、将分离出的三个独立源信号通过FFT转为频域信号，选择其中更具有最大功率谱幅值的源信号作为脉搏源信号，计算出心率值；S3、创建心率数据集，利用线性回归模型修正从人脸视频信号提取出的心率值。本发明针对人脸图像心率检测方法易受到人脸晃动，光线变化等外界因素影响的问题，提出通过一种创建心率数据集，利用线性回归模型，修正通过人脸视频获取心率值的方法，提高利用人脸视频检测心率方法的准确率。

Description

一种利用线性回归模型的人脸视频心率检测方法

技术领域

本发明涉及图像处理、心率检测领域，具体涉及一种利用线性回归模型的人脸视频心率检测方法。

背景技术

随着人们的生活提质，身体健康称为人们首要关心的大事。心率值过高过低，都指明人体处于亚健康甚至危险状态，因此，心率作为人体最重要的生命特征之一，心率的检测也将得到更多的重视。近些年，接触式心率检测设备发展迅速，虽然其朝着体积小、测量方便等方向做了许多改进，但它们都需要与测量者进行直接身体接触，接触式的传感器记录方式测量过程繁琐，且可能会引起患者的不适，尤其对于刚出生的婴儿之类的特殊人群有着不适用性。因此，利用iPPG原理的非接触式心率检测方法在医学领域及家庭健康防范等方面有着较为广泛的应用前景。现有的一些研究(黄继风周楠白国臣刘彦宏王栋，一种基于摄像的非接触式心率的检测方法及其装置，中国，CN201810236275.3，2018)也利用了非接触式的方式检测心率，但由于测量结果容易受到场地，光线变化及晃动等因素的影响，导致结果不准。针对以上不足，本发明提出了一种线性回归模型方案，能够提高通过iPPG原理所检测到的心率值的准确性，减少外界噪声影响，确保测量结果的准确性。

发明内容

为了解决非接触式心率检测在测量过程中，易受到外界光照，晃动，影响的结果的影响，本发明提供了一种利用线性回归模型的人脸视频心率检测方法。

本发明至少通过如下技术方案之一实现。

一种利用线性回归模型的人脸视频心率检测方法，包括以下步骤：

S1、从可见光人脸视频图像获取人脸感兴趣区域，基于三基色通道观测信号分离出三个独立信号源；

S2、将分离出的三个独立源信号通过FFT转为频域信号，选择其中更具有最大功率谱幅值的源信号作为脉搏源信号，计算出心率值；

S3、创建心率数据集，利用线性回归模型修正从人脸视频信号提取出的心率值。

优选的，获取人脸感兴趣区域是利用可见光摄像机获取人脸图像视频，采用多任务卷积(MTCNN，Multi-task convolutional neural network)检测人脸视频图像中的人脸关键点位置，确定人脸感兴趣区域(ROI)。

优选的，将每帧中ROI区域的R、G、B三基色通道分离，取其ROI区域内所有的像素三个分量的平均值，将每帧三个平均值构成三个时间序列的观测信号x₀(t)、x₁(t)、x₂(t)，利用FastICA算法，从三个观测信号中分离出来三个独立源信号。

优选的，FastICA算法具体如下：

假设存在三个基础源信号为s₀(t)、s₁(t)、s₂(t)，设观测信号为X(t)＝[x₀(t)，x₁(t)，x₂(t)]^T，基础源信号为S(t)＝[s₀(t)，s₁(t)，s₂(t)]^T，观测信号X(t)是基础源信号S(t)线性组合，即

X(t)＝A·S(t)

其中，A是混合矩阵，通过找到分离矩阵W，使混合矩阵近似等于A^-1，使得源信号近似信号Y(t)＝W*X(t)近似于源信号，FastICA算法通过混合信号的负熵为目标函数，极大化目标函数，目标函数如下：

J(W)＝[E{G(W^TZ)}-E{G(V)}]²

其中，非线性函数G(V)＝V³，非线性函数G(W^TZ)＝(W^TZ)³；Z＝VX(t),V为白化矩阵，W为分离矩阵，E{G(W^TZ)}-E{G(V)}为数学期望。

优选的，在步骤S2中，将分离出的独立源信号通过FFT变换到频域上分析，FFT变换公式如下所示：

f(t)表示时域上的独立源信号、j表示虚数单位、t表示时间、w表示角频率。

优选的，根据脉搏源信号频谱最大峰值对应的频率值计算出当前心率值，心率计算公式如下：

HR＝F_max*60

其中，F_max是最大峰值对应的频率。

优选的，步骤S3所述的心率数据集是利用可见光摄像机，采集若干名受试者的多个人脸视频片段，并在获取视频片段的同时利用生理传感器采集心率信号，生理传感器采集的心率信号作为因变量y_i，基于人脸视频所获得的心率信号作为解释变量x_i，所采集到的数据集为

其中n为数据集个数。

优选的，所述线性回归模型，模型形式如下：

y_i＝β₀+β₁x_i+ε_i

其中，i＝1，…，n，β₀表示线性回归模型的截距，β₁表示斜率，ε_i表示误差；

假设对于所有数据集i的误差期望值为0，使用普通最小二乘法估计β₀及β₁，最小化残差平方和，如下所示：

β₀及β₁的计算公式如下所示：

其中，x表示生理传感器采集的心率信号数据集合，y表示人脸视频所获得的心率信号数据集合，Cov(x，y)表示x，y的协方差，Var(x)表示x的方差，x_i表示第i个生理传感器采集的心率信号，y_i表示第i个人脸视频所获得的心率信号。

优选的，步骤S3提取出的心率值具体为：

随机选择数据集中的部分数据，利用人脸视频估计方法计算心率值，再根据步骤S302计算出β₀与β₁的值，以此剩余的部分数据用作预测估计，利用拟合优度指标来评价拟合效果。

优选的，所述拟合优度指标R²公式如下：

其中，Var(y)表示y的方差。

与现有的技术相比，本发明的有益效果为：

可以根据所采集心率数据集修正人脸视频检测出的心率值，克服了光线，晃动等多方因素对检测结果的影响，提高了人脸视频心率检测方法的准确性与可靠性。

附图说明

图1为本实施例的一种利用线性回归模型的人脸视频心率检测方法的流程图。

具体实施方式

接下来将结合本发明的附图对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，均属于本发明保护的范围。

下面将结合本发明实施例中的附图1，对本发明做出进一步详细说明。本发明介绍一种利用线性回归模型的人脸视频心率检测方法，该方法包括以下步骤：

S1、基于iPPG技术，光线通过皮肤组织照射到动脉血管再反射回接收端，获得的光强变化率和血液容积变化率呈一定关系，关系如下，

其中，

用于表示血液容积变化率，ΔV_a表示血液体积的变化，V_a表示血液的体积；

用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I₀表示关照强度。

获取人脸图像视频，检测人脸感兴趣区域(ROI)，利用FastICA算法，从人脸视频图像感兴趣区域(ROI)的三基色通道观测信号分离出三个独立信号源。具体的实现步骤如下：

步骤S101、在光线较好处利用高清的可见光摄像机标准长度为30s的获取人脸图像视频，采集视频是保持相对静止，并同时采用生理传感器采集心率信号，采样频率每秒15帧，约450帧，采集十名受试者，共200个相同时长的视频片段，并采用多任务卷积检测人脸视频图像中的人脸关键点位置，选择人脸双眼下方的矩形区域作为人脸感兴趣区域(ROI)。

步骤S201、将每帧中ROI区域的R、G、B三基色通道分离，取其ROI区域内所有的像素三个分量的平均值，将每帧三个平均值构成三个时间序列的观测信号x₀(t)、x₁(t)、x₂(t)，利用FastICA方法，从三个观测信号中分离出来三个独立源信号

假设存在三个基础源信号，设为s₀(t)、s₁(t)、s₂(t)，观测信号X(t)是源信号S(t)线性组合，即

X(t)＝A·S(t)

其中，A是混合矩阵。通过找到分离矩阵W，使其近似等于A^-1，使得Y(t)＝W*X(t)近似于源信号。FastICA算法通过混合信号的负熵为目标函数，，极大化目标函数，目标函数如下：

J(w)＝[E{G(w^TZ)}-E{G(V)}]²

其中，G(X)＝X³；

S2、由于分离出的三个独立源信号无顺序之分，也无法从时域中直接观测出三个独立源信号的区别，因此将分离出的三个独立源信号通过FFT转为频域信号，选择其中更具有最大功率谱幅值的源信号作为脉搏源信号，计算出心率值，FFT变换公式如下所示：

选择三个源信号中更具有最大功率谱幅值的源信号作为脉搏源信号，根据脉搏源信号频谱最大峰值对应的频率值计算出当前心率值，心率计算公式如下：

HR＝F_max*60

其中，F_max是最大峰值对应的频率。

S3、利用步骤S1所收集的人脸视频心率和生理传感器采集的心率创建心率数据集，利用线性回归模型修正从人脸视频信号提取出的心率值。具体实现步骤如下：

步骤S301、根据步骤1所采集的200段人脸视频图像，利用步骤S1及步骤S2计算其心率值，并同时利用生理传感器采集心率信号，生理传感器采集的心率信号作为因变量y_i，基于人脸视频所获得的心率信号作为解释变量x_i，所采集到数据集为

其中n为数据集个数。

步骤S302、构建线性回归模型，模型形式如下：

y_i＝β₀+β₁x_i+ε_i

其中，i＝1，…，n，β₀表示线性回归模型的截距，β₁表示斜率，ε_i表示误差。

假设对于所有i的误差期望值为0，使用普通最小二乘法，找到一组β₀及β₁，使得残差平方和最小，即求：

β₀及β₁的计算公式如下所示：

步骤S303、随机选择数据集中的70％个数据，利用人脸视频估计方法计算心率值，再根据步骤S302计算出β₀与β₁的值，以此剩余的30％用作预测估计，利用拟合优度指标R²来评价拟合效果，R²的值范围在0与1之间，公式如下：

Cov(x，y)表示x，y的协方差，Var(x)表示x的方差，Var(y)表示y的方差。

本发明通过构建心率数据集，利用线性回归模型修正人脸视频所获取的心率值。采用线性回归模型与没有用线性回归模型的对比如表1所示：

表1 有无线性回归模型修正心率值的对比结果

通过计算得拟合优度指标R²＝0.89，可知拟合程度较高。从表1的对比结果可知，经过线性回归模型修正后的心率检测的结果的平均偏差值和标准偏差等都有明显的下降，因此可以说明该方案对于心率测量精确度的提高有明显的作用，证实了本发明所提出方法的有效性。

以上所述仅为本发明的优选实施例，并非因此限制本发明范围凡是在本发明的，发明创造构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护范围内。

Claims (3)

1.一种利用线性回归模型的人脸视频心率检测方法，其特征在于，包括以下步骤：

S1、从可见光人脸视频图像获取人脸感兴趣区域，基于三基色通道观测信号分离出三个独立信号源；将每帧中ROI区域的R、G、B三基色通道分离，取其ROI区域内所有的像素三个分量的平均值，将每帧三个平均值构成三个时间序列的观测信号x₀(t)、x₁(t)、x₂(t)，利用FastICA算法，从三个观测信号中分离出来三个独立源信号；FastICA算法具体如下：

假设存在三个基础源信号为s₀(t)、s₁(t)、s₂(t)，设观测信号为X(t)＝[x₀(t)，x₁(t)，x₂(t)]^T，基础源信号为S(t)＝[s₀(t)，s₁(t)，s₂(t)]^T，观测信号X(t)是基础源信号S(t)线性组合，即

X(t)＝A·S(t)

其中，A是混合矩阵，通过找到分离矩阵W，使混合矩阵近似等于A^-1，使得源信号近似信号Y(t)＝W*X(t)近似于源信号，FastICA算法通过混合信号的负熵为目标函数，极大化目标函数，目标函数如下：

J(W)＝[E{G(W^TZ)}-E{G(V)}]²

其中，非线性函数G(V)＝V³，非线性函数G(W^TZ)＝(W^TZ)³；Z＝VX(t),V为白化矩阵，W为分离矩阵，E{G(W^TZ)}-E{G(V)}为数学期望；

S2、将分离出的三个独立源信号通过FFT转为频域信号，选择其中更具有最大功率谱幅值的源信号作为脉搏源信号，计算出心率值；FFT变换公式如下所示：

f(t)表示时域上的独立源信号、j表示虚数单位、t表示时间、w表示角频率；

S3、创建心率数据集，利用线性回归模型修正从人脸视频信号提取出的心率值：

HR＝F_max*60

其中，F_max是最大峰值对应的频率；

所述线性回归模型，模型形式如下：

y_i＝β₀+β₁x_i+ε_i

其中，i＝1，…，n，β₀表示线性回归模型的截距，β₁表示斜率，ε_i表示误差；

假设对于所有数据集i的误差期望值为0，使用普通最小二乘法估计β₀及β₁，最小化残差平方和，如下所示：

β₀及β₁的计算公式如下所示：

其中，x表示生理传感器采集的心率信号数据集合，y表示人脸视频所获得的心率信号数据集合，Cov(x,y)表示x，y的协方差，Var(x)表示x的方差，x_i表示第i个生理传感器采集的心率信号，y_i表示第i个人脸视频所获得的心率信号；

再根据计算出β₀与β₁的值，以此剩余的部分数据用作预测估计，利用拟合优度指标来评价拟合效果，所述拟合优度指标R²公式如下：

其中，Var(y)表示y的方差。

2.根据权利要求1所述的一种利用线性回归模型的人脸视频心率检测方法，其特征在于，

获取人脸感兴趣区域是利用可见光摄像机获取人脸图像视频，采用多任务卷积(MTCNN，Multi-task convolutional neural network)检测人脸视频图像中的人脸关键点位置，确定人脸感兴趣区域(ROI)。

3.根据权利要求2所述的一种利用线性回归模型的人脸视频心率检测方法，其特征在于，步骤S3所述的心率数据集是利用可见光摄像机，采集若干名受试者的多个人脸视频片段，并在获取视频片段的同时利用生理传感器采集心率信号，生理传感器采集的心率信号作为因变量y_i，基于人脸视频所获得的心率信号作为解释变量x_i，所采集到的数据集为

其中n为数据集个数。

Images