CN111275018B - 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 - Google Patents

Abstract

本发明公开一种基于环形感兴趣区域加权的非接触式心率信号提取方法，包括以下步骤：读取人脸视频的第一帧RGB图像检测人脸位置，提取人脸的特征点，并分别对两侧脸颊的质心进行定位；分别以两侧脸颊上质心为圆心做n个同心圆，将两侧脸颊区域分别分割成n个感兴趣区域；将RGB图像中每个感兴趣区域绿色通道的像素进行平均，获取2×n个信号值；对后续视频帧，采用上述步骤进行处理，最终得到2×n条信号流；对这2×n条信号流进行快速傅里叶变换得到2×n个频谱，根据心率信号的信号强度设置每条信号流的权重；对2×n个信号流进行加权处理，得到优化后的原始心率信号。本发明能够提取基于人脸视频图像的非接触式心率测量中的有效信号，有助于后续心率值的准确分析。

Description

一种基于环形感兴趣区域加权的非接触式心率信号提取方法

技术领域

本发明涉及数字图像处理技术与数字信号处理技术领域，特别涉及一种基于环形感兴趣区域加权的非接触式心率信号提取方法。

背景技术

心率是指心脏在每分钟内跳动的次数，它是人体的重要生理参数之一。通过对心率的实时监测能够帮助人们了解自己的身体状况变化，减少意外情况的发生，同时对心血管疾病的预防和控制具有重要的意义。

通常人们使用心电监护仪来测量心率，但是监护仪的成本很高、需要专业的医生指导使用，通常只用于医院的临床监护，难以进入人们的日常生活中，且无法进行实时监测。随后，便携式指夹式心率血氧仪、健康手环等的出现，在保证测量准确率的基础上，大大降低了设备成本，并且使用比较方便，只要将指夹式心率血氧仪夹在手指上或稳定接触皮肤就可以准确获取自己的心率。但是，这类方法必须与人体有直接的接触，长时间的接触会造成被试者的不适，同样不适合实时监护。近几年，随着计算机、摄像头等的普及，图像PPG(Photoplethysmography)技术的提出为实现无创、非接触的实时心率测量提供了切实可行的思路。由于人体心脏不断地收缩和舒张，会导致人体血管中的血液充盈程度也会随着心跳而不断地发生变化，从而引起人体皮肤对光的吸收随着血液容积的变化呈现出与心跳一致的脉动性变化，因此，皮肤表面反射光的强度也会发生相应的周期性变化，即表现为采集图像中皮肤颜色的变化。图像PPG技术能够实现被测对象在自然状态下的无创、非接触式的心率测量，且方便进行长时间的监测，该技术对婴幼儿监护、司机状态监测、审讯等应用中能够发挥重要的作用。

然而，在常见的非接触式的图像ppg测量过程中，易受到光照等各种干扰因素的影响，如何有效提取原始心率信号，并对心率进行准确分析仍然是该方法面临的主要问题。目前常常直接在脸部固定位置选择一个方形区域作为感兴趣区域，这种方法容易导致提取出的心率信号受到光照与人脸部分的阴影地影响。为了解决此问题，本发明采用一种基于环形感兴趣区域加权的非接触式心率信号提取方法，对每个小的感兴趣区域都进行信号的提取，并对这些信号进行加权处理以得到最终的优化后的原始心率信号。本发明成功地提高了所提取的原始心率信号的信噪比，有助于提高心率分析的准确性。

发明内容

本发明的发明目的在于提供一种基于环形感兴趣区域加权的非接触式心率信号提取方法，该方法能够有效地提高原始心率信号的信噪比。

实现本发明的技术方案是：

一种基于环形感兴趣区域加权的非接触式心率信号提取方法，所述方法包括以下步骤：

(1)读取人脸视频的第一帧RGB图像，使用haar方法检测人脸位置，并使用landmark方法提取人脸的特征点，分别对两侧脸颊的质心进行定位；

(2)分别以所述两侧脸颊的质点为圆心做n个同心圆(n为预设值)，将两侧脸颊区域分别分割成n个感兴趣区域；

(3)将所述第一帧RGB图像中每侧脸颊所述n个感兴趣区域的绿色通道像素进行平均，得到所述第一帧RGB图像的2×n个信号值；

(4)对后续视频帧，采用步骤(1)-(3)进行处理，将每一帧图像所述2×n个信号值按时间排序，最终得到2×n条信号流；

(5)对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱，根据心率信号的信号强度分别设置所述2×n条信号流权重；

(6)对所述2×n条信号流进行加权处理，得到心率信号。

所述读取人脸视频的第一帧RGB图像，使用haar方法检测人脸位置，并使用landmark方法提取人脸的特征点，分别对两侧脸颊的质点进行定位的步骤具体为：

读取人脸视频的第一帧RGB图像；

使用haar人脸检测方法，粗提取出所述第一帧RGB图像的人脸位置；

使用landmark方法对人脸的特征点进行精确的提取，精准获取人脸的68个特征点，标记为标记为F₁,F₂,F₃,…,F₆₈；

对于左侧脸颊，取所述特征点F₂,F₄,F₄₉,F₃₂,F₃₇五个点构成左脸颊多边形，确定所述左脸颊多边形的质心位置，对于右侧脸颊，取所述特征点F₁₆,F₁₄,F₅₅,F₃₆,F₄₆五个点构成右脸颊多边形，确定所述右脸颊多边形的质心位置。

所述分别以所述两侧脸颊的质点为圆心做n个同心圆(n为预设值)，将两侧脸颊区域分别分割成n个感兴趣区域的步骤具体为：

以所述左脸颊多边形的质心为圆心，以所述左脸颊多边形的质心位置与同侧鼻翼特征点F₃₂相隔的像素数作为最大圆的半径取圆，再将半径n等分，将最大圆分割成所述n个同心圆，将左侧脸颊区域分割成n个感兴趣区域；

对右侧脸颊进行相同地操作，同样得到所述n个同心圆，将右侧脸颊区域分割成n个感兴趣区域。

所述对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱，根据心率信号的信号强度分别设置所述2×n条信号流权重的步骤具体为：

对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱；

去除所有频谱的直流分量，再求出每一个频谱的0.5～3Hz的频谱分量之和占去除直流分量后所有频谱分量总和的比值，分别记为p₁～p_2n，该比值即为权重。

所述对所述2×n条信号流进行加权处理，得到优化后的原始心率信号的步骤具体为：

将所述权重p₁～p_2n按从大到小排序得到p’₁～p’_2n；

计算p’_i+1-p’_i(i＝1,..,n-1)得到2n-1个比例差值d₁～d_2n-1；

比较相邻的差值，当d_j>2*d_j-1时，确定最终选取的信号个数为j；

取权重p’₁～p’_j对应的j个信号流，表示为S’₁～S’_j，并进行加权求和，得到心率信号S_final。

加权的公式如下：

本发明提供的技术方案的有益效果是：本发明所提出的一种基于环形感兴趣区域加权的非接触式心率信号提取方法，通过人脸识别与人脸特征点的自动提取，将左右脸颊划分为多个环状的感兴趣区域，为非接触式的心率测量方法中感兴趣区域的选取提供了新的思路。同时通过每个感兴趣区域原始心率信号频谱分析，确定心率成分的强度，并对各个感兴趣区域的信号进行取舍，能够成功去除了大量含噪较高的信号，并将剩余感兴趣区域的信号按所包含心率信号的强弱进行加权，从而得到心率信号，该信号能够有效避免脸部光照不均带来的影响，提高了提取的心率信号的信噪比。

附图说明

图1为本发明的流程图；

图2为本发明中landmark方法提取的脸部特征点的标号示意图；

图3为本发明的2×n条信号流权重设置的流程图；

图4为本发明的2×n条信号流进行加权处理的流程图。

具体实施方式

为了更加清楚明白地说明本发明所述的技术手段、技术改进及有益效果，以下结合附图对本发明进行详细的说明。

参见图1-4，本发明所提供的一种基于环形感兴趣区域加权的非接触式心率信号提取方法，包括以下具体步骤：

S101：读取人脸视频的第一帧RGB图像，使用haar方法检测人脸位置，并使用landmark方法提取人脸的特征点，分别对两侧脸颊的质心进行定位。

该步骤具体为：

读取人脸视频的第一帧RGB图像；

使用haar人脸检测方法，粗提取出所述第一帧RGB图像的人脸位置；

使用landmark方法对人脸的特征点进行精确地提取，精准获取人脸的68个精准特征点，标记为F₁,F₂,F₃,…,F₆₈；

图2所示为本发明提供的landmark方法提取的脸部特征点的标号示意图。

其中，所述haar人脸检测方法为公知算法[Paul Viola,Michael J.Jones.RobustReal-Time Face Detection[J].International Journal of Computer Vision,57(2):137-154.]，在此不进行详细的介绍；所述landmark人脸特征点提取方法同样为公知算法，[J.M.Saragih,S.Lucey,and J.F.Cohn,“Deformable model fitting by regularizedlandmark mean-shift,”Int.J.Comp.Vis.91,200–215(2011).]在此不进行详细的介绍。

对于左侧脸颊，取所述特征点F₂,F₄,F₄₉,F₃₂,F₃₇,坐标分别为(x₂,y₂)，(x₄,y₄)(x₄₉,y₄₉)，(x₃₂,y₃₂)，(x₃₇,y₃₇)的五个点构成左脸颊多边形，确定所述左脸颊多边形的质心位置(x_l,y_l)，左侧脸颊的质心的横坐标x_l为(x₂+x₄+x₄₉+x₃₂+x₃₇)/5，纵坐标y_l为(y₂+y₄+y₄₉+y₃₂+y₃₇)/5；

对于右侧脸颊，取所述特征点F₁₆,F₁₄,F₅₅,F₃₆,F₄₆五个点构成右脸颊多边形，同样的方法确定所述右脸颊多边形的质心位置(x_r,y_r)。

S102：分别以所述两侧脸颊的质点为圆心做n个同心圆(n为预设值)，将两侧脸颊区域分别分割成n个感兴趣区域，即所述的环形感兴趣区域。

该步骤具体为：以所述左脸颊多边形的质心为圆心，以所述左脸颊多边形的质心位置(x_l,y_l)与同侧鼻翼特征点F₃₂相隔的像素数作为最大圆的半径取圆，再将半径n等分，将最大圆分割成所述的n个同心圆c₁～c_n，除最小的圆外，以相邻的圆形组合成环，得到1个小圆与n-1个环，将左侧脸颊区域分割成n个感兴趣区域,即所述的环形感兴趣区域；

对右侧脸颊进行相同地操作，同样得到所述n个同心圆，将右侧脸颊区域分割成n个感兴趣区域。

S103：将所述第一帧RGB图像中每侧脸颊所述n个感兴趣区域的绿色通道像素进行平均，得到所述第一帧RGB图像的2×n个信号值。

该步骤具体过程为：

对两侧脸颊2×n个个感兴趣区域的绿色通道像素值进行平均得到每个感兴趣区域的均值avg1₁～avg1_2n

S104：对后续视频帧，采用步骤S101-S103进行处理，将每一帧图像所述2×n个信号值按时间排序，最终得到2×n条信号流。

该步骤具体为：

对后续的视频中的每一帧，重复采用步骤S101-S103，将每一帧信号2×n值按时间组成的2×n条信号流S₁～S_2n，S₁为(avg1₁,avg2₁,avg3₁,……)，……，S_2n为(avg1_2n,avg2_2n,avg3_2n,……)。

S105：对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱，根据心率信号的信号强度分别设置所述2×n条信号流权重。

参见图3所示流程图，该步骤具体为：

对2×n条信号流分别进行快速傅里叶变换得到2×n条频谱f₁～f_2n；

去除所有频谱的直流分量，再求出每一个频谱的0.5～3Hz的频谱分量之和占去除直流分量后所有频谱分量总和的比值，分别记为p₁～p_2n，该比值即为权重。

S106：对所述2×n条信号流进行加权处理，得到优化后的原始心率信号。

参见图4所示流程图，该步骤具体为：

将所述权重p₁～p_2n按从大到小排序得到p’₁～p’_2n；

计算p’_i+1-p’_i(i＝1,..,n-1)得到2n-1个比例差值d₁～d_2n-1；

比较相邻的差值，当d_j>2*d_j-1时，确定最终选取的信号个数为j；

取权重p’₁～p’_j对应的j个信号流，表示为S’₁～S’_j，并进行加权求和，得到心率信号S_final。

加权的公式如下：

实施例

本实施例以一段30秒钟，fps为30帧每秒的成年男性的脸部视频为例。

1)读取人脸视频的第一帧RGB图像，使用haar人脸检测方法，粗提取出所述第一帧RGB图像的人脸位置，使用landmark方法对人脸的特征点进行精确地提取，精准获取人脸的68个精准特征点，标记为F₁,F₂,F₃,…,F₆₈，标记如图2所示；

对于左侧脸颊，取所述特征点F₂,F₄,F₄₉,F₃₂,F₃₇,坐标分别为(x₂,y₂)，(x₄,y₄)(x₄₉,y₄₉)，(x₃₂,y₃₂)，(x₃₇,y₃₇)的五个点构成左脸颊多边形，求取所述左脸颊多边形的质心位置(x_l,y_l)，左侧脸颊的质心的横坐标x_l为(x₂+x₄+x₄₉+x₃₂+x₃₇)/5，纵坐标y_l为(y₂+y₄+y₄₉+y₃₂+y₃₇)/5；

对于右侧脸颊，取所述特征点F₁₆,F₁₄,F₅₅,F₃₆,F₄₆五个点构成右脸颊多边形，同样的方法求取所述右脸颊多边形的质心位置(x_r,y_r)。

2)以所述左脸颊多边形的质心为圆心，以所述左脸颊多边形的质心位置(x_l,y_l)与同侧鼻翼特征点F₃₂相隔的像素数作为最大圆的半径取圆，再将半径7等分，将最大圆分割成所述的7个同心圆c₁～c₇，除最小的圆外，以相邻的圆形组合成环，得到1个小圆与6个环，将左侧脸颊区域分割成7个感兴趣区域,即所述的环形感兴趣区域；

对右侧脸颊进行相同地操作，同样得到所述7个同心圆，将右侧脸颊区域分割成7个感兴趣区域。

3)对两侧脸颊14个感兴趣区域的绿色通道像素值进行平均得到每个感兴趣区域的均值avg1₁～avg1₁₄

4)对后续的视频中的每一帧，重复采用步骤1)-3)，将每一帧信号14个值按时间组成的14条信号流S₁～S₁₄，S₁为(avg1₁,avg2₁,avg3₁,……)，……，S₁₄为(avg1₁₄,avg2₁₄,avg3₁₄,……)。

5)对14条信号流分别进行快速傅里叶变换得到14条频谱f₁～f₁₄；

去除所有频谱的直流分量，再求出每一个频谱的0.5～3Hz的频谱分量之和占去除直流分量后所有频谱分量总和的比值，分别记为p₁～p₁₄，该比值即为权重。

6)将所述权重p₁～p_2n按从大到小排序得到p’₁～p’₁₄，在该例中，p’₁～p’₁₄分别为0.25,0.23,0.22,0.21,0.20,0.19,0.11,0.10,0.095,0.09,0.085,0.08,0.08,0.07(i＝1,..,n-1)得到2n-1个比例差值d₁～d_2n-1，在该例中分别0.02,0.01,0.01,0.01,0.01,0.08,0.01,0.005,0.005,0.005,0.005,0,0.01,为比较相邻的差值，此时当d₆>2*d₅时，确定最终选取的信号个数为6；

取权重p’₁～p’₆对应的6个信号流，表示为S’₁～S’₆，并进行加权求和，得到优化后的原始心率信号S_final。

加权的公式如下：

综上所述，本发明所提出的一种基于环形感兴趣区域加权的非接触式心率信号提取方法。基于人脸识别方法与人脸特征点提取方法，自动将左右脸颊划分为多个环形区域，为非接触式的心率测量方法中的感兴趣区域的选取提供了新的思路；同时通过对每个环形区域所提取原始心率信号频谱的分析，确定每个环形区域心率成分的强度，并对各个环形区域的信号进行取舍，从而能够成功去除含噪较高的信号；最后将剩余环形区域的信号按所包含心率信号的强弱进行加权，得到最终优化后的信号，大幅度提高了原始心率信号的信噪比。利用本发明方法为非接触式的心率测量中心率值的准确分析提供了有效数据有效。根据不同的应用背景，本发明经过适当的修改同样适用于其他相关非接触式的生理特征的提取。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于环形感兴趣区域加权的非接触式心率信号提取方法，其特征在于，该方法包括以下具体步骤：

步骤1：读取人脸视频的第一帧RGB图像，使用haar方法检测人脸位置，并使用landmark方法提取人脸的特征点，构成左脸颊多边形和右脸颊多边形，分别对两侧脸颊多边形的质心进行定位；

步骤2：分别以所述两侧脸颊多边形的质心为圆心做n个同心圆，将两侧脸颊区域分别分割成n个感兴趣区域，得到所述的环形感兴趣区域；其中，所述n为预设值；

步骤3：将所述第一帧RGB图像中两侧脸颊2×n个感兴趣区域的绿色通道像素进行平均，得到所述第一帧RGB图像的2×n个信号值；

步骤4：对后续视频帧，采用步骤1-步骤3进行处理，将每一帧图像所述2×n个信号值按时间排序，最终得到2×n条信号流；

步骤5：对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱，根据心率信号的信号强度分别设置所述2×n条信号流权重；

步骤6：利用所述2×n条信号流权重，对所述2×n条信号流进行加权处理，得到心率信号。

2.根据权利要求1所述的非接触式心率信号提取方法，其特征在于，所述步骤1的具体过程为：

读取人脸视频的第一帧RGB图像；

使用haar人脸检测方法，粗提取出所述第一帧RGB图像的人脸位置；

使用landmark方法对人脸的特征点进行精确的提取，精准获取人脸的68个特征点，标记为F₁,F₂,F₃,…,F₆₈；

对于左侧脸颊，取所述特征点F₂,F₄,F₄₉,F₃₂,F₃₇五个点构成左脸颊多边形，确定所述左脸颊多边形的质心位置，对于右侧脸颊，取所述特征点F₁₆,F₁₄,F₅₅,F₃₆,F₄₆五个点构成右脸颊多边形，确定所述右脸颊多边形的质心位置。

3.根据权利要求2所述的非接触式心率信号提取方法，其特征在于，所述步骤2的具体过程为：

以所述左脸颊多边形的质心为圆心，以所述左脸颊多边形的质心位置与同侧鼻翼特征点F₃₂相隔的像素数作为最大圆的半径取圆，再将半径n等分，将最大圆分割成所述n个同心圆，n为预设值，将左侧脸颊区域分割成n个感兴趣区域，即所述的环形感兴趣区域；

对右侧脸颊进行相同地操作，同样得到所述n个同心圆，将右侧脸颊区域分割成n个感兴趣区域。

4.根据权利要求1所述的非接触式心率信号提取方法，其特征在于，所述步骤5的具体过程为：

对所述2×n条信号流分别进行快速傅里叶变换得到2×n个频谱；

去除所有频谱的直流分量，再求出每一个频谱的0.5～3Hz的频谱分量之和占去除直流分量后所有频谱分量总和的比值，分别记为p₁～p_2n，该比值即为权重。

5.根据权利要求4所述的非接触式心率信号提取方法，其特征在于，所述步骤6的具体过程为：

将所述权重p₁～p_2n按从大到小排序得到p’₁～p’_2n；

计算p’_i+1-p’_i，i＝1,..,2n-1，得到2n-1个比例差值d₁～d_2n-1；

比较相邻的差值，当d_j>2*d_j-1时，确定最终选取的信号个数为j；

取权重p’₁～p’_j对应的j个信号流，表示为S’₁～S’_j，并进行加权求和，得到心率信号S_final；

加权的公式如下：

Images