CN107529646B - 一种基于欧拉影像放大的无接触式心率测量方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于欧拉影像放大的无接触式心率测量方法及装置，用于解决目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。本发明实施例一种基于欧拉影像放大的无接触式心率测量方法包括：S1：通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；S2：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；S3：对所述桡动脉跳动区域进行时频分析计算心率。

Description

一种基于欧拉影像放大的无接触式心率测量方法及装置

技术领域

本发明涉及心率测量领域，尤其涉及一种基于欧拉影像放大的无接触式心率测量方法及装置。

背景技术

心率作为人体重要的生命体征，是评估人体健康的重要参数，其中，静息心率是鉴别心脏健康状况及其他临床诊断风险预测的重要因子，因此对静息心率的日常测量将有助于对人体身体状况的监测，以及相关疾病的预防，特别是对老年人的身体功能性下降和疾病风险的预测有着重要的意义。目前，心电图法是心率测量中应用最广、准确度高的一种方法，但是由于这类接触式测量法中传感器设备需要与人体皮肤接触，造成操作上的不便。

早些年的非接触式心率测量法有激光多普勒，微波多普勒雷达，超宽带脉冲雷达分析，以及热成像处理，然而这些方法成本昂贵，且需要专业的操作。另一方面，家庭式医疗诊断测量和远程健康状况监控得到越来越多的重视，并且正处于起步阶段，所以寻找一种低成本、操作方便且实时性较强的非接触式心率测量法具有重要的意义。近些年来，随着机器视觉技术的发展，有学者利用光电容积描记法原理(PPG)对人体皮肤采集到的视频进行处理，从而实现对心率的测量，这些方法在降低视频噪声中大多采用线性滤波器，所以无法降低与心率信号同频段的噪声，造成心率提取准确度的下降。Poh和Pursche等人采用独立成分分析算法(ICA)进行盲源分离去噪，对于测量对象人脸中的非皮肤区域,特别是眼睛的眨动带来的干扰会对信号波形产生较大的破坏，且干扰频率和心率相接近，不易被滤出。另外，盲源分离并没有提供一个判断方法来区分分离后哪一组独立信号相对于实际心率信号最具有真实性，从而影响到心率的计算精度。Xu et al.针对盲源分离的缺点，受光学血氧仪的启发,提出了对人体皮肤基于脉搏变化的交流信号成分分析的简单数学模型心率计算，该方法在测量的过程中要持续45秒到90秒，而且整个过程要求被测对象保持不动。短时傅里叶法测量心率，固定变换窗口宽度限制了心率的估计,不正确的窗口大小直接导致心率的错误测量。人脸视频PPG的基本应用原理是皮肤对光的吸收和反射随着皮肤下血管的血液灌注量的变化而变化，人脸视频通过捕获这种变化来估计心率。目前的非接触式视频心率估计方法，几乎都在脸部皮肤上根据PPG原理演变而来的，光电容积描记法的相关医学研究表明，人体周围环境温度和表皮组织温度直接影响到皮肤的血流灌注，对PPG信号产生较大的干扰，导致血氧饱和度及心率估计的精度下降。人脸直接与周围环境接触，受环境温度影响较大，所以造成了基于光电容积描记法原理的人脸心率测量精度和稳定性的下降。因此，以上非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端。

发明内容

本发明实施例提供了一种基于欧拉影像放大的无接触式心率测量方法及装置，解决了目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。

本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量方法，包括：

S1：通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

S2：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

S3：对所述桡动脉跳动区域进行时频分析计算心率。

优选地，所述步骤S1具体包括：

S11：对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

S12：对每一个拉普拉斯金子塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

其中B(x,t)为视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号；

S13：通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

S14：将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频。

优选地，所述步骤S2具体包括：

通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计，用亮度方差统计灰度图表示统计结果，同时对桡动脉跳动微小变化放大后的视频帧进行皮肤区域提取，并将提取的皮肤区域与所述亮度方差统计灰度图进行逻辑与运算去除手臂背景方差，通过去除手臂背景方差图和图像形态学处理进行桡动脉跳动区域定位，对桡动脉跳动区域进行提取。

优选地，所述步骤S2具体包括：

S21：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果，同时对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像，对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域，对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域，其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度。

S22：对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度，通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小，在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域。

优选地，所述步骤S3具体包括：

S31：前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

S32：对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量装置，包括：

放大单元，用于通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

提取单元，用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

计算单元，用于对所述桡动脉跳动区域进行时频分析计算心率。

优选地，所述放大单元具体包括：

分解子单元，具体用于对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

第一提取子单元，具体用于对每一个拉普拉斯金子塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

其中B(x,t)为视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号；

放大子单元，具体用于通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

重构子单元，具体用于将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频。

优选地，所述提取单元具体包括：

第二提取子单元，具体用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计，用亮度方差统计灰度图表示统计结果，同时对桡动脉跳动微小变化放大后的视频帧进行皮肤区域提取，并将提取的皮肤区域与所述亮度方差统计灰度图进行逻辑与运算去除手臂背景方差，通过去除手臂背景方差图和图像形态学处理进行桡动脉跳动区域定位，对桡动脉跳动区域进行提取。

优选地，所述第二提取子单元具体包括：

统计模块，具体用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果；

产生模块，具体用于对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像；

第一选择模块，具体用于对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域；

提取模块，具体用于对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域；

其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度。

消除模块，具体用于对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度；

第二选择模块，具体用于通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小；

获取模块，具体用于在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域。

优选地，所述计算单元具体包括：

计算子单元，具体用于前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

选择子单元，具体用于对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中提供的一种基于欧拉影像放大的无接触式心率测量方法及装置，其中一种基于欧拉影像放大的无接触式心率测量方法包括：S1：通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；S2：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；S3：对所述桡动脉跳动区域进行时频分析计算心率。本实施例中，通过应用欧拉影像放大技术实现桡动脉跳动微小变化放大，对放大后的视频帧作亮度统计分割实现桡动脉跳动部位的分割提取，并对所分割提取的桡动脉部位亮度通道进行时频分析，实现心率的自动测量，解决了目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量方法的一个实施例的流程示意图；

图2本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量装置的一个实施例的结构示意图；

图3本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量装置的另一个实施例的结构示意图；

图4本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量原理图；

图5本发明实施例提供的一种基于欧拉影像放大的无接触式心率算法流程图；

图6本发明实施例提供的一种欧拉影像放大技术流程图；

图7本发明实施例提供的一种桡动脉跳动部位提取流程图；

图8本发明实施例提供的一种皮肤分割结果的RGB图像和二值图像；

图9本发明实施例提供的一种原始生理信号图；

图10本发明实施例提供的一种生理信号频域能量谱；

图11本发明实施例提供的一种Bland-Altman法估计两种测量方法结果的一致性示意图。

具体实施方式

本发明实施例提供了一种基于欧拉影像放大的无接触式心率测量方法及装置，用于解决目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量方法的一个实施例包括：

101、通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

心率的测量可以通过对桡动脉的跳动次数计数来间接实现，而在影像中桡动脉很细微的跳动难以用人的肉眼观察出来，所以在实施例中先采用欧拉影像放大技术对影像中桡动脉微小跳动进行放大，使脉搏跳动可视化的同时方便后续桡动脉跳动部位的定位处理和时频分析。在欧拉影像放大技术中，对于微小运动对象采用空间多尺度的方法放大像素亮度的变化值，实现桡动脉跳动信号的放大。

102、通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

对经过放大处理后的视频帧，由于亮度包含了图像微小运动信息，图像变化主要在亮度上表达出来，因此亮度可被观察者用来确定桡动脉跳动情况。桡动脉微小跳动信息主要集中在视频帧中像素点亮度通道上的变化，所以对桡动脉采集的视频应用欧拉影像放大技术。经过放大处理过的视频帧，桡动脉跳动部位对应像素点的亮度值在时域上波动较大，所以在时域上对视频帧像素点亮度通道作亮度方差统计，以灰度值表示像素时域上亮度方差值大小，灰度值越大代表该像素点亮度变化幅度越大。由于手臂背景中可能存在的物体运动在亮度方差统计中也会产生较大的方差值，这些背景方差值对后续桡动脉定位产生很大影响，所以在进行视频帧亮度方差统计的同时对经过欧拉影像放大后的视频帧作皮肤分割，提取视频中皮肤区域，并将提取结果与亮度方差统计结果作逻辑与运算，去除背景方差。去除背景方差结果后仅剩皮肤区域的亮度方差，所以对该区域作形态学处理实现桡动脉跳动的定位。

103、对所述桡动脉跳动区域进行时频分析计算心率。

对所定位区域进行亮度通道上的时频分析，实现心率的自动测量，心率测量原理图如图4所示。

本实施例中，算法流程图如图5所示，主要包括以下几个部分：桡动脉跳动微小变化放大；桡动脉跳动区域提取；心率计算。通过欧拉影像放大技术对桡动脉的微小跳动动作幅度进行放大，通过数字图像处理技术对视频帧皮肤分割以及方差统计方法实现对桡动脉跳动部位提取，然后对视频帧所提取的区域亮度通道进行时频分析，实现心率的自动测量，解决了目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。

上面是对基于欧拉影像放大的无接触式心率测量方法的过程进行详细的描述，下面将对具体过程进行详细的描述，本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量方法的另一个实施例包括：

201、对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

欧拉影像放大技术主要通过对视频帧空间域和时域上处理，实现视频中人裸眼难以察觉到的微小运动放大，其中包括手腕附近桡动脉跳动。对于微小运动放大空间域上的处理主要是建立视频帧的拉普拉斯金字塔，拉普拉斯金字塔是在高斯金字塔基础上得到的。

对输入视频每一帧根据上面所述的拉普拉斯金字塔构建原理进行空间多分辨率分解，每一帧对应一个拉普拉斯金字塔，其中原图像作为金字塔的底层(空间频率最高)，多分辨率金字塔中层次越高，空间频率越低，信噪比越高。

202、对每一个拉普拉斯金子塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

原图像经过高斯低通滤波并以步长为2的隔行隔列采样即可得到高斯金字塔第1层图像(第0层为原图像)，对得到的图像进行同样滤波和采样，迭代若干次可得到高斯金字塔，所以高斯金字塔把原图像分解为低通子带，在所得低通子带依次对高斯金字塔的上一层进行上采样，再将上采样结果与高斯金字塔下一层作差运算即可得到拉普拉斯金字塔。在空间多分辨率分解过程中结合采集视频分辨率提高金字塔层数，可实现伪影抑制和运动放大同时提高视频信噪比。完成空间域多分辨率分解处理之后，在时域上处理运用时域滤波器对每一视频帧金字塔分辨率相同图像进行时域滤波，提取视频中感兴趣的微小运动信号。时域滤波的对象是视频帧中像素点，视频中脉搏跳动引起对应的像素值作同样的周期变化，所以可以根据人可能出现的脉搏频率范围、视频帧速率和奈奎斯特采样定理来设定所设计滤波器的截止频率。时域处理原理和算法，以及与运动放大之间的关系可根据光流分析中基于一阶泰勒级数展开的微分近似法进行分析，一维运动信号的具体分析说明如下所示。

函数I(x,t)表示在空间点位置为x，时间为t时的图像亮度，令I(x,0)＝f(x)，经过时间t之后产生的动作位移为δ(t)，则：

I(x,t)＝f(x+δ(t)) (1)

对于微小运动信号给予适当放大因子放大，可对式(1)进行关于x一阶泰勒级数展开分析，如式(2)所示：

令经过时域带通滤波所要放大的动作信号为：

对每个拉普拉斯金字塔中空间分辨率一样的图像根据式(2)作时域带通滤波，将式(3)作为时域滤波结果，即提取视频L通道中的脉搏信号，视频帧时域滤波的截止频率由脉搏频率范围(0.3-3Hz)，视频帧速率(30FPS)决定。

203、通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

204、将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频。

将该信号放大α(放大因子)倍后，回叠到原信号I(x,t)，如式(4)所示：

联立(2)、(3)、(4)可得：

将式(5)作关于一阶泰勒级数展开逆方向运算，得到逼近运动放大后的图像亮度信号：

由式(1)与式(6)比较可知道经过运动放大后的运动幅度是没经过放大的(1+α)倍。为了防止放大失真，对所构造金字塔中不同空间频率的基带应该使用合理的放大因子进行限制。

假设信号的空间波长为

其中ω为信号的空间频率，则放大因子α的限制公式如式(7)所示：

根据放大因子关系式(7)对滤波结果所提取的信号进行放大，其中放大因子随着空间频率的增大(信噪比的下降)而减小，即由金字塔顶层到底层逐渐减小，然后将放大后的多分辨率金字塔合成图像。物体的微小位移主要与亮度有关，因此在L亮度通道放大脉搏跳动信号的同时，抑制a、b通道信号的放大，可提高输出视频的信噪比。根据式(4)所示放大后信号与原信号相加，将放大后的图像叠加到原视频帧，完成图像最后合成并转换回RGB空间，重构视频再输出视频。对桡动脉视频应用欧拉影像放大技术，由RGB空间转换到Lab空间上进行处理，实现桡动脉跳动幅度放大，欧拉影响放大技术流程图如图6所示。

205、通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果，同时对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像，对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域，对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域，其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度。

206、对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度，通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小，在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域。

桡动脉跳动区域提取：

完成桡动脉跳动微小变化放大之后，桡动脉跳动区域时域上亮度值变化幅度增大，根据放大后视频帧像素点时域上亮度值的变化可实现对桡动脉跳动区域的提取。物体在运动过程中伴随着视频帧对应位置像素点亮度通道上发生变化，所以经过桡动脉跳动微小变化放大后，相对于皮肤其它区域，桡动脉跳动部位所对应的像素的亮度值幅度变化明显较大。因此对视频前1秒(30帧)像素亮度值根据方差计算公式作时域上像素点亮度方差统计，统计结果以亮度方差统计灰度图表示，其中灰度值较高的表示该像素点亮度变化幅度较大。同时对桡动脉跳动微小变化放大后的视频帧进行皮肤区域提取，提取结果与亮度方差统计灰度图进行逻辑与运算，去除手臂背景方差，避免可能存在的复杂运动背景和皮肤边缘部分对后续处理产生影响，以便进一步确定桡动脉的跳动位置。最后，根据去除背景方差图和图像形态学处理进行桡动脉跳动区域定位，从而实现桡动脉跳动区域提取，桡动脉跳动区域提取流程图如图7所示。

统计方差：

桡动脉细微跳动放大后的视频帧中，像素点在前30帧时域上的亮度方差计算如式(8)所示，其中N＝30，xi代表时域上像素点的亮度，

表示像素点x时域上N个亮度值的平均值。公式(8)在计算

时遍历每个像素点一次，计算σ²时需要再次遍历每个像素点，虽理解起来直观容易，但不利于心率计算的实时性，所以用公式(9)，不仅能实现同样的功能，而且每个像素点仅需遍历一次，提高运算速度。

利用前30帧计算出每个像素点时域上的亮度方差，以亮度方差灰度图表示，方差灰度图中灰度值越高表示像素亮度的幅度波动越大。

皮肤分割：

对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，提取皮肤区域，可实现去除亮度方差统计灰度图中运动背景的影响，降低皮肤的边缘存在亮度变化的干扰，使后续提取的脉搏信号信噪比更高，因此有必要将视频画面中的皮肤区域进行分割提取。Cr、Cb分别是红色、蓝色的色度，为了对亮度的变化具有较高的适应性，通过在Cr、Cb通道设置阈值实现皮肤分割，符合式(10)的认为是皮肤区域，该方法简单易行，而且运算速度快。

本实施例经过式(10)阈值后产生二值图像，对该二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域，对最大连通域中可能存在的孔洞经行检测和填充，从而分割提取出皮肤区域。皮肤分割结果的RGB图像和二值图像如图8所示。

桡动脉跳动区域定位：

亮度方差灰度图与皮肤分割结果进行逻辑与运算之后，得到仅有皮肤区域亮度方差的方差灰度图。通过对所提取的皮肤区域方差灰度图作阈值分割、腐蚀、最大连通域选择、膨胀，最后，取最大连通域外接矩形区域作为提取生理信号的区域，其中阈值分割中阈值由经验值和皮肤区域方差值范围作动态设置，具体步骤如下：

步骤1：将统计方差灰度图矩阵与皮肤分割结果二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度，避免背景中出现的较高方差灰度值对桡动脉跳动区域定位造成影响。

步骤2：对皮肤区域方差灰度图做动态阈值分割，阈值取值如式即第四公式(11)所示，其中1/6是经验值，σ_min和σ_max分别是皮肤区域方差灰度图中的最小和最大灰度值。

步骤3：对步骤2的阈值分割结果进行灰度腐蚀，使灰度最高的连通域最大化，灰度较低的连通域最小化；然后进行连通域大小计算，并选择最大连通域作为膨胀对象，将其恢复到腐蚀前的大小；最后在亮度通道对该连通域取外接矩形，并将此矩形中的像素点作为桡动脉跳动部位提取的结果。

207、前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

通过桡动脉跳动区域提取得到桡动脉跳动矩形区域，心率计算将对该区域中像素亮度求加权平均值，并将由这些加权平均值构成的信号作快速傅里叶变换得到傅里叶能量谱，将能量谱中能量最高的频率乘于60，即可实现心率计算。

由于最后提取的桡动脉矩形区域中方差值大小不一，即桡动脉跳动部位对应的像素点亮度波动幅度存在差异，直接对矩形中像素点的亮度取均值作为该帧脉搏的亮度值，会造成生理信号信噪比的下降。因此，根据桡动脉跳动的矩形部位方差灰度图中灰度值的大小，对采集的视频帧的桡动脉跳动部位矩阵像素点的亮度值求加权平均值，加权平均值在时域上形成计算心率所需的脉搏波，亮度加权平均值计算具体步骤如下：

桡动脉跳动矩形区域中像素亮度求加权平均值，权值w_i如公式(12)所示：

这里的σ_min和σ_max分别对应指矩形区域中的最小和最大的亮度方差灰度值，不同于公式(11)中的σ_min和σ_max，公式(11)中的σ_min和σ_max分别对应指皮肤区域方差灰度图中的最小和最大灰度值。

前15秒(450帧)所求的加权平均值形成时域上的原始生理信号，即脉搏波，如图9所示。

208、对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

基于傅里叶能量谱分析的心率计算具体步骤如下：

对脉搏波信号做快速傅里叶变换，结合人体可能出现的心率，选取频率带宽为0.3-3Hz(18-180次/min)作为分析频段，并在此频段范围内选择能量最高点对应的频率作为心率测量结果，生理信号频域能量谱如图10所示。由傅里叶能量谱可得能量最高所对应的频率为fh＝1.401Hz，心率HR可由下式求出：HR＝fh×60＝1.401×60＝84次/min。

为了验证本实施例的准确性，按照以上方法步骤，本实施例对10个测试志愿者进行非接触式心率测量，并将测量结果与脉搏血氧仪的同步测量结果对比分析。其中，10个测试者分为10组，即每组1人，每人的非接触式和同步接触式心率测量各进行5次。对得到的50对数据采用Bland-Altman法对本次试验与脉搏血氧仪测量进行一致性评估。如图11所示，坐标上点S的数学表达式表示为：

其中s₁，s₂分别为同一次实验中用本实施例方法和脉搏血氧仪测量的心率值，横坐标x表示同一次测量中两种方法测量的平均值，纵坐标y表示同一次测量中两种方法测量值的差值，置信率取95％(1.96标准差)。如图11中Bland-Altman法一致性估计，对50对测量数据做符合度分析，误差均值为0.1200，标准方差为2.2914，95％的置信区间为[-4.371,4.611]，可说明本实施例心率测量方法与脉搏血氧仪测量法具有很好的一致性，实验的10组数据的误差具体如表1所示。

表1实验测量误差

实验计算得出10组误差的平均绝对误差为1.76beat/min，平均最大绝对误差为3.7beat/min，根据中华人民共和国医药行业标准(误差≤5beat/min)的要求，本实施例方法满足心率测量应用，适用于个人家庭应用或远程医疗应用。

本实施例针对接触式心率测量所带来的不便，盲分离信号准确性缺乏判断，以及基于PPG原理非接触式心率测量受外部环境温度影响较大等不足，提出一种新的非接触式心率测量方法，该方法由桡动脉跳动微小变化放大，桡动脉跳动区域提取，心率计算三部分组成。桡动脉跳动微小变化放大中运用欧拉影像放大技术，主要通过空间域和时域上视频帧处理放大桡动脉跳动幅度，使脉搏跳动可视化，即对桡动脉跳动信号放大；对已放大过的视频帧进行像素点亮度通道上方差统计以及皮肤分割提取，并取两者结果逻辑与运算所得的皮肤区域方差灰度图，根据方差大小实现对桡动脉跳动部位提取；计算视频帧中桡动脉跳动部位亮度通道上的加权平均值，并对这些加权平均值所形成的生理信号进行能量谱分析，实现心率提取。通过Bland-Altman法一致性估计对50对测量数据做符合度分析，实验结果表明，本实施例心率测量方法与脉搏血氧仪测量法具有很好的一致性，使用本实施例方法和脉搏血氧仪测量两种方法所得的10组误差数据中，平均绝对误差为1.76beat/min，平均最大绝对误差为3.7beat/min，符合中华人民共和国医药行业标准(误差≤5beat/min)，所以该心率测量方法成本低，操作简单，速度快，误差小，测量精度较高，可达到预期心率测量效果，在日常家庭保健和远程医疗上应用具有较大的发展前景。

请参阅图2，本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量装置的一个实施例包括：

放大单元301，用于通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

提取单元302，用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

计算单元303，用于对所述桡动脉跳动区域进行时频分析计算心率。

上面是对一种基于欧拉影像放大的无接触式心率测量装置各单元进行详细的描述，下面将对一种基于欧拉影像放大的无接触式心率测量装置各子单元进行详细的描述，请参阅图3，本发明实施例提供的一种基于欧拉影像放大的无接触式心率测量装置的另一个实施例包括：

放大单元401，用于通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

所述放大单元401具体包括：

分解子单元4011，具体用于对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

第一提取子单元4012，具体用于对每一个拉普拉斯金子塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

放大子单元4013，具体用于通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

重构子单元4014，具体用于将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频。

提取单元402，用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

所述提取单元402具体包括：

第二提取子单元4021，具体用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计，用亮度方差统计灰度图表示统计结果，同时对桡动脉跳动微小变化放大后的视频帧进行皮肤区域提取，并将提取的皮肤区域与所述亮度方差统计灰度图进行逻辑与运算去除手臂背景方差，通过去除手臂背景方差图和图像形态学处理进行桡动脉跳动区域定位，对桡动脉跳动区域进行提取。

所述第二提取子单元4021具体包括：

统计模块40211，具体用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果；

产生模块40212，具体用于对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像；

第一选择模块40213，具体用于对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域；

提取模块40214，具体用于对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域；

其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度。

消除模块40215，具体用于对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度；

第二选择模块40216，具体用于通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小；

获取模块40217，具体用于在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域。

计算单元403，用于对所述桡动脉跳动区域进行时频分析计算心率。

所述计算单元403具体包括：

计算子单元4031，具体用于前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

选择子单元4032，具体用于对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

本实施例中，通过放大单元401对桡动脉的微小跳动动作幅度进行放大，通过提取单元402对视频帧皮肤分割以及方差统计方法实现对桡动脉跳动部位提取和计算单元403对视频帧所提取的区域亮度通道进行时频分析，实现心率的自动测量，解决了目前非接触式心率测量方法存在心率同频段噪声干扰大，受环境温度影响较大，分离信号真实性缺乏判断等弊端的技术问题。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (2)

1.一种基于欧拉影像放大的无接触式心率测量方法，其特征在于，包括步骤：

步骤S1：通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

步骤S2：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

步骤S3：对所述桡动脉跳动区域进行时频分析计算心率；

所述步骤S1具体包括：

S11：对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

S12：对每一个拉普拉斯金字塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

其中B(x,t)为视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号；

S13：通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

S14：将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频；

所述步骤S2具体包括：

S21：通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果，同时对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像，对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域，对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域，其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度；

S22：对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度，通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小，在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域；

所述第四公式为：

其中，σ_min和σ_max分别是皮肤区域方差灰度图中的最小和最大灰度值；

所述步骤S3具体包括：

S31：前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

S32：对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

2.一种基于欧拉影像放大的无接触式心率测量装置，其特征在于，包括：

放大单元，用于通过欧拉影像放大技术对视频中桡动脉跳动微小变化进行放大；

提取单元，用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道进行亮度方差统计并同时对桡动脉跳动微小变化放大后的视频帧进行皮肤分割，对桡动脉跳动区域进行提取；

计算单元，用于对所述桡动脉跳动区域进行时频分析计算心率；

所述放大单元具体包括：

分解子单元，具体用于对输入视频每一帧通过拉普拉斯金字塔构建原理进行空间多分辨率分解；

第一提取子单元，具体用于对每一个拉普拉斯金字塔中空间分辨率一样的图像通过第一公式进行时域带通滤波，通过第二公式提取视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号B(x,t)，其中所述第一公式为

I(x,t)表示在视频通道中空间点位置为x，时间为t时的图像亮度信号，I(x,0)＝f(x)，δ(t)为所述空间点经过时间t后的动作位移，所述第二公式为

其中B(x,t)为视频通道中的空间点位置为x，时间为t时的脉搏跳动信号对应的图像亮度变化信号；

放大子单元，具体用于通过放大因子关系式对脉搏跳动信号对应的图像亮度变化信号进行放大α倍；

重构子单元，具体用于将放大α倍的脉搏跳动信号对应的图像亮度变化信号叠加到在视频通道中空间点位置为x，时间为t时的图像亮度信号I(x,t)，完成图像合成并转换回RGB空间进行重构视频，并输出重构后的视频；

所述提取单元具体包括：

统计模块，具体用于通过在时域上对桡动脉跳动微小变化放大后的视频帧像素点亮度通道通过像素点亮度方差计算公式进行亮度方差统计，并用亮度方差灰度图显示统计结果；

产生模块，具体用于对桡动脉跳动微小变化放大后的视频帧通过第三公式阈值后产生二值图像；

第一选择模块，具体用于对所述二值图像在阈值分割后进行连通域大小计算，并选择面积最大的连通域；

提取模块，具体用于对最大连通域中存在的孔洞经行检测和填充，分割提取出皮肤区域；

其中像素点亮度方差计算公式为

其中σ²为桡动脉跳动微小变化放大后的视频帧像素点x在前30帧时域上的亮度方差，N＝30，x_i代表时域上像素点的亮度，所述第三公式为

其中Cr、Cb分别是红色、蓝色的色度；

消除模块，具体用于对亮度方差灰度图与皮肤区域二值图像矩阵作点乘运算，消除皮肤背景对应的方差灰度；

第二选择模块，具体用于通过第四公式对皮肤区域方差灰度图作动态阈值分割，对阈值分割结果进行灰度腐蚀，然后进行连通域大小计算，并选择最大连通域为膨胀对象，对所述膨胀对象恢复到腐蚀前的大小；

所述第四公式为：

其中，σ_min和σ_max分别是皮肤区域方差灰度图中的最小和最大灰度值；

获取模块，具体用于在亮度通道对最大连通域取外接矩形，获取桡动脉跳动矩形区域；

所述计算单元具体包括：

计算子单元，具体用于前15秒对桡动脉跳动矩形区域中像素亮度进行加权平均值计算，形成时域上的原始生理信号，即脉搏波；

选择子单元，具体用于对所述脉搏波做傅里叶变换，通过人体出现的心率，选取频率带宽为0.3-3Hz作为分析频段，并在所述分析频段内选择能量最高点对应的频率。

Images