CN111345803B

CN111345803B - 一种基于移动设备摄像头的心率变异性测量方法

Info

Publication number: CN111345803B
Application number: CN202010203507.2A
Authority: CN
Inventors: 陈垣毅; 陈文望; 郑增威
Original assignee: Zhejiang University City College ZUCC
Current assignee: Zhejiang University City College ZUCC
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2022-04-12
Anticipated expiration: 2040-03-20
Also published as: CN111345803A

Abstract

本发明涉及一种基于移动设备摄像头的心率变异性测量方法，包括：对移动设备摄像头获取的视频图像信息进行预处理；正则化提取出来的叠加图像，并创建多通道图像。本发明的有益效果是：将面部划分为5个区域，利用面部非接触式移动设备提取视频帧信息，并进一步得到其中光谱信息的绿色通道信息；利用滑动窗口机制进行绿色通道信息图像的叠加并计算出事实脉冲数据作为标签数据；引入双阶段的深度卷积神经网络对训练数据信息进行学习，建立基于面部图像的心率变异性识别模型，并应用于不同的手机安卓系统；所提出发明技术通过移动设备提取面部信息，并应用模型自动计算心率变异性，操作简便，实现了自动化分析计算，且精确率高。

Description

一种基于移动设备摄像头的心率变异性测量方法

技术领域

本发明涉及一种心率变异性测量方法，具体涉及一种基于移动设备摄像头的非接触式心率变异性测量方法。

背景技术

心率变异性(HRV，Heart rate variability)是反映自主神经系统交感-副交感神经平衡变化的重要生理指标，其在心血管疾病、糖尿病自主神经功能障碍、高血压、精神疾病和心理疾病的各种研究和临床研究中被证明是一种有效的诊断工具。此外，心率变异性监测可用于筛查和跟踪有严重健康风险患者的健康状况。除了临床应用外，心率变异性测量还可以帮助测量用户执行各种任务时的压力和参与程度，以及监测和改善睡眠质量。

传统的心率变异性测量技术有两个明显的缺点：首先，传统心率变异性测量技术需要额外的专业电子或光学传感设备，而大多数人通常无法获得这些设备；其次，传统心率变异性测量技术需要直接接触受测者皮肤来获取可靠的信号，使得对患者的连续测量变得繁琐。最近，基于光电容积脉搏冲(PPG)的技术可以基于手指或人脸的视频记录来测量心脏活动，但大多PPG技术仅限于检测心率而非心率变异性。

发明内容

本发明旨在克服传统心率变异性测量方法需要专业医学设备和繁琐步骤的不足，提出一种利用移动设备摄像头的非接触式心率变异性测量方法。将人体面部划分为5个区域，利用移动设备摄像头获取对每个区域吸收的光谱信息，在此基础上建立双阶段深度卷积神经网络的心率变异性测量方法。

这种基于移动设备摄像头的心率变异性测量方法，包括如下步骤：

步骤1、对移动设备摄像头获取的视频图像信息进行预处理；将医用仪器测量的事实脉冲数据作为标签数据；

步骤2、应用滑动窗口机制，正则化提取出来的叠加图像，并创建多通道图像；对叠加图像进行差值运算，将差值运算后的图像与标签数据作为心率变异性测量模型的输入；

步骤3、应用双阶段深度卷积神经网络对差值运算后的图像与标签数据进行模拟学习，得到心率变异性测量模型；所述双阶段深度卷积神经网络的第一阶段为：重建心电信号的帧序波形，从视频序列中识别心跳周期峰值；所述双阶段深度卷积神经网络的第二阶段为：预测估计每一个峰值的精确时间戳。

作为优选，步骤1具体包括以下步骤：

步骤1.1、先将人体面部划分为5个区域：下颌角、下巴中心、上嘴唇、左眼或右眼下方、前额；根据已划分的5个面部区域，使用设定固定频率帧值以及分辨率的移动设备摄像头获取视频图像信息；

步骤1.2、根据获得的视频图像信息，将视频中的每一帧的清晰度调整到合适的分辨率，利用血液和其他组织的吸光率的不同，将心跳信号转化为可操作的光谱信号，提取出其中的RGB光谱信息；

步骤1.3、进一步处理RGB光谱信息，对获取的每一帧图像中的绿色通道信息进行正则化处理，得到原始的光谱序列信号。

作为优选，步骤2具体包括以下步骤：

步骤2.1、根据获取到的正则化绿色通道序列数据，利用滑动窗口机制，进行图像叠加，对于叠加图像进行正则化处理；所述滑动窗口机制从连续的视频帧中提取多个绿色通道叠加创建一个多通道图像；

步骤2.2、设置固定的窗口大小，滑动窗口，根据5个面部区域所得的叠加图像进行差值运算，将差值运算后的图像与标签数据作为心率变异性测量模型的输入。

作为优选，步骤3所述双阶段深度卷积神经网络的第一阶段使用基于CNN的回归模型，基于CNN的回归模型包含多滤波模块；所述重建心电信号的帧序波形及从视频序列中识别心跳周期峰值的方式为：

1)将预处理获得的原始的光谱序列信号输入基于CNN的回归模型，将n通道图像中最中心的帧标记为最近的峰值；

2)使用卷积层和池化层对关键数据信息进行提取：使用卷积层提取关键数据特征，使用池化层对关键数据特征进行初步模糊，再次使用卷积层提取模糊后的关键数据特征，使用池化层进一步模糊关键数据特征；

3)使用多滤波模块和全连接层对关键数据特征进行进一步处理：使用多滤波模块整合关键数据特征，使用全连接层对特征进行非线性化处理，识别心跳周期峰值发生的精确子帧；利用嵌入在25通道堆叠输入图像中的颜色变化重建心电信号的帧序波形。

作为优选，步骤3所述双阶段深度卷积神经网络的第二阶段中预测估计每一个峰值的精确时间戳的方式为：

1)输入预处理获得的标签数据；

2)使用卷积层和池化层对关键数据信息进行提取：使用卷积层提取关键数据特征，使用池化层对关键数据特征进行初步模糊；

3)使用正规化层对关键数据特征进行概率筛选后，利用全连接方式进行非线性化处理；对心电图R峰出现的实际时间进行细粒度估计。

作为优选，将训练得到的心率变异性测量模型应用于不同手机的安卓系统以设置和调节实验参数。

本发明的有益效果是:基于人体血液吸光性原理，将面部划分为5个区域，利用面部非接触式移动设备提取视频帧信息，并进一步得到其中光谱信息的绿色通道信息；利用滑动窗口机制进行绿色通道信息图像的叠加并计算出事实脉冲数据作为标签数据；引入双阶段的深度卷积神经网络对训练数据信息进行学习，建立基于面部图像的心率变异性识别模型，并应用于不同的手机安卓系统；所提出发明技术通过移动设备提取面部信息，并应用模型自动计算心率变异性，操作简便，实现了自动化分析计算，且精确率高。

附图说明

图1为实施例中的总体框架流程图；

图2为实施例中的对获得视频信息预处理流程图；

图3为实施例中的基于深度卷积神经网络的重建帧序波形流程图；

图4为实施例中的基于深度卷积神经网络的估计峰值子帧时间戳流程图。

具体实施方式

下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

本发明旨在克服传统心率变异性测量方法需要专业医学设备和繁琐步骤的不足，提出一种非接触式的心率变异性测量方法，对于人体吸收的光而言，血液吸收的比周围组织吸收的多，吸收水平与血量成正比。这种现象会导致人类皮肤上出现细微的颜色变化，这些变化是人眼看不到的，但可以被摄像机捕捉到。仅依靠移动设备摄像头的图像视频数据实现心率变异性进行测量，不需要专业的测量仪器且去除了繁琐的测量步骤。

本发明基于一个重要的假设：根据面部动脉的结构，面部不同部位在不同的时间会出现PPG“峰值”，本发明可以利用这些信息获得更精确的峰值出现时间，比帧速率粒度更细。

本发明采用了两阶段卷积神经网络(CNN)。第一个CNN学习心电信号与PPG信号之间的相关关系(从视频中估计)，从捕获的视频中重构心电波形，识别出包含峰值的视频帧。第二个CNN学习面部图像(多个面部区域的反射光强度)与实际峰值时间和图像捕捉时间之间的时间距离之间的关系。

实施例：

如图1所示，一种基于移动设备摄像头获取信息的心率变异性测量方法，其步骤如下：

S1、提取移动设备摄像头获取的信息，对于移动设备摄像头获取的粗糙视频帧数据，对其进行预处理；将人体面部分为5个区域获取面部信息，然后从移动设备的前置摄像头捕获的视频中提取并正则化每一帧的绿色通道。根据获得的视频信息，正则化绿色通道信息。

S2、利用滑动窗口机制创建多通道图像；

本发明模型对绿色通道信息进行处理，以预测所拍摄图像中的人的HR和心率变异性。然而，处理相机产生的每一帧在算力要求上极为高昂。因此，利用滑动窗口机制创建了一个多通道图像，该图像由从连续视频帧中提取的多个绿色通道叠加而成。根据正则化多绿色通道信息创建模型输入。

S3、应用双阶段CNN对提取数据进行模拟学习；

可靠的心率变异性测量需要准确识别心电图的R峰及其在心脏向全身泵血时产生的心血管脉搏信号中的发生时间戳。这与仅仅测量心率不同，心率计算使用心跳数分钟(bpm)的平均值，而心率变异性测量心跳间隔时间(以毫秒为单位)。

利用用户面部的视频图像进行有效地提取心率变异性,本发明模型使用了双阶段CNN：

(1)从视频序列中重建心电信号的帧序波形来识别心跳周期峰值；

(2)然后估计每个峰值的准确时间戳。在两个阶段，心电参考信号仅用于模型训练和评估。

第一阶段重建心电信号的帧序波形；

训练CNN模型来识别心跳周期峰值发生的精确子帧，标记中心帧的偏移量来标记数据并消除心电峰值振幅变化带来的影响。

在静息状态下，帧序波形的范围将随着搏动间隔的不同而变化，因为每个人的搏动间隔的典型范围是500毫秒到1470毫秒。例如，对于一个心跳间隔为600ms的人，输出值将从0到9(以帧为单位，假设15帧/秒)，而一个人的间隔为1000毫秒，输出值将从0到15不等。

第二阶段估计每个峰值的准确时间戳；

使用叠加图像作为训练数据，在该阶段，对R峰出现的实际时间进行细粒度估计。

如图2所示，对于移动设备摄像头获取的粗糙视频帧数据，对其进行预处理获得模型可处理的形式，具体包括：

S2.1、人体面部划分5个区域；

将人体面部分为5个区域获取面部视频信息：下颌角，下巴中心，上嘴唇，左眼下方，前额。

S2.2、提取光谱信息；

将视频中的每一帧调整到224x224分辨率，然后从移动设备的前置摄像头捕获的视频中提取RGB光谱信息，其基于人体血液吸光性原理。

S2.3、提取绿色通道信息并正则化；

对于获得的光谱信息，提取出其中的绿色通道信息，RGB相机捕获的绿色通道在检测这些颜色变化方面要优于红色和蓝色通道。这是因为血液的两大主要成分血红蛋白(Hb)和氧合血红蛋白(HbO2)的吸收光谱在520–580纳米处达到峰值，处于绿色光谱的中间位置。因此，与其他颜色相比，使用绿色通道信息更容易检测出心跳等引起的血量变化。之后，对绿色通道信息进行正则化处理。

S2.4、通过移动窗口获得叠加图像；

本发明对绿色通道信息进行处理，以预测所拍摄图像中的人的心率和心率变异性。然而，处理相机产生的每一帧在算力要求上极为高昂。因此，利用滑动窗口机制创建了一个多通道图像，该图像由从连续视频帧中提取的多个绿色通道叠加而成。

这种叠加图像的方法主要有三个目的：(1)减少输入大小，使模型复杂度最小化；(2)叠加单一颜色通道形成图像，允许图像的深度维度包含时间信息——这分离了颜色/光谱信息，使本模型更加健壮；(3)对于一个包含面部视频时空信息的单一图像，使用一个二维卷积从图像中提取脉冲信息。

特别地，本发明在n个样本集合中提取绿色通道样本，形成一个单一的图像，该图像结合了n个样本中包含的特征。这样，这个叠加图像的深度维度将包含连续的绿色通道的时间信息，并作为后续机器学习阶段的输入。实验发现，n＝25对于帧率为15(通常的移动设备前置摄像头的帧率为15左右)视频源效果最好，代表绿色通道在1.67秒内的变化。即使心率低至每分钟36次也足以让检测一个完整的心跳周期。

S2.5、计算事实脉冲数据；

本发明将心电峰值与在峰值检测通道中R峰发生的确切位置相关联。考虑到峰值探测通道的颜色分布在不同的(更具体的)R峰出现位置会有所不同，开始对R峰出现的实际时间进行细粒度估计(在毫秒级别)，其粒度比帧速率的粒度更细。除外，即使在一个人的面部区域，脉搏也会以缓慢的速度传播。这意味着，对于一些图像，会在面部的下巴区域有峰值，而对于一些图像，峰值会在前额。每个图像都有不同的点，在这些点上，心电图标签数据呈现出R峰。

如图3所示，引入的双阶段深度学习模型中的第一阶段重建心电信号的帧序波形，具体包括：

S3.1、输入预处理获得的数据；

将上述获得的预处理数据输入模型，在此基础上，本发明将n通道图像中最中心的帧标记为最近的峰值。例如，如果峰值出现在第13个子帧(25通道图像的最中央帧)，模型将输出值0。如果峰值出现在子帧10上，则在中心之前的三个子帧，模型将输出3。本发明只根据先前观察到的峰值，通过标记中心帧的偏移量来标记数据。因此，中心帧的偏移量总是一个正数。使用这个简单的方案，对于每个25通道的图像，本发明可以根据最近的峰值来确定心跳峰值的位置。对所有的图像序列进行处理后，本发明可以构造一个帧序波形，它与心电图在帧级粒度上大致相关。

S3.2、使用卷积层和池化层对关键数据信息进行提取；

在输入预处理获得的数据后，模型对该数据特征进行进一步地提取，消除心电峰值振幅变化带来的影响。帧序波形是心电图的一种归一化形式，利用帧序波形消除了心电峰值振幅变化所带来的影响，便于模型关注样本内局部血量的相对变化，在关注不同相邻帧间颜色分布差异的同时进行学习。其次，帧序波形的使用使得该模型能够很容易地区分两个连续的心跳(即一个心跳周期的结束和下一个心跳周期的开始)。一旦该值降低，本发明可以很快注意到一个心跳周期已经结束。通过应用帧序波形，该模型在其训练阶段，如果对不同的后续心跳周期进行估计，可以施加更大的惩罚权重。

S3.3、使用多滤波模块和全连接层对特征进行进一步处理；

利用卷积和池化操作获得了输入信息地数据特征，对该数据特征使用多滤波模块整合特征并使用全连接层对特征进行非线性化处理，来识别心跳周期峰值发生的精确子帧。先前的研究使用基于光电容积脉搏冲(PPG)的方法直接从视频记录中重建血量信号。然而，这些方法仅局限于对心率的检测，用于对心率的检测效果较差。为了检测心率变异性，利用嵌入在25通道堆叠输入图像中的颜色变化来重建帧单元中的脉冲波形。具体来说，在至少一个完整的心跳周期中，本发明训练CNN模型来识别这个堆叠图像中心跳周期峰值发生的精确子帧。本发明这样做是基于这样一种直觉，即由于大量的血液流经动脉，这个峰值会(在摄像机上)引起明显的颜色变化。

如图4所示，引入的双阶段深度学习模型中的第二阶段估计每个峰值的准确时间戳，具体包括：

S3.4、输入预处理获得的标签数据；

本发明将第一个CNN模型中标记为“0”的n通道图像(即峰值出现在图像最中心的子通道上)，并以不对称的方式切断为子通道。因此，本发明只在原始n通道图像的中心保留m通道(其中m<n)，并在叠加图像的中心保留峰值检测通道。然后，本发明利用这些图像和心电图标签数据输入第二个基于CNN的回归模型。

S3.5、使用卷积层和池化层对关键数据信息进行提取；

在输入预处理获得的数据后，模型对该数据特征进行进一步地提取，该设计思路同第一阶段S3.2。

S3.6、使用正规化层对特征进行概率筛选并利用全连接方式进行非线性化处理：

在获得模糊化特征后，为了确定R峰出现的精确子帧，使用正规化层对数据特征进行概率筛选，并利用全连接方式对筛选获得的特征进行非线性化处理。从而对R峰出现的实际时间进行细粒度估计。

实验验证：

为验证本发明所提出的心率变异性测量方法的有效性，将本发明与目前基于远程光电容积脉搏冲(PPG)的心率变异性测量技术进行比较，计算这两种测量方案的测量值与真实心率变异性(由专业医学心率变异性测量仪器获得)的平均绝对误差，并以此作为评价指标。实验结果如表1所示，其结果标明不同光照强度下的本发明模型的测量性能优于基于光电容积脉搏冲的测量方案，且在不同的光照条件下都可以可靠地测量心率变异性。

表1：在不同光照条件下本发明模型与远程PPG模型的测量性能对比

Claims

1.一种基于移动设备摄像头的心率变异性测量方法，其特征在于，包括以下步骤：

步骤2、应用滑动窗口机制，正则化提取出来的叠加图像，并创建多通道图像，对叠加图像进行差值运算，将差值运算后的图像与标签数据作为心率变异性测量模型的输入；

2.根据权利要求1所述基于移动设备摄像头的心率变异性测量方法，其特征在于，步骤1具体包括以下步骤：

步骤1.2、根据获得的视频图像信息，将视频中的每一帧的清晰度调整到合适的分辨率，将心跳信号转化为光谱信号，提取出其中的RGB光谱信息；

3.根据权利要求1所述基于移动设备摄像头的心率变异性测量方法，其特征在于，步骤2具体包括以下步骤：

4.根据权利要求1所述基于移动设备摄像头的心率变异性测量方法，其特征在于，步骤3所述双阶段深度卷积神经网络的第一阶段使用基于CNN的回归模型，基于CNN的回归模型包含多滤波模块；所述重建心电信号的帧序波形及从视频序列中识别心跳周期峰值的方式为：

1）将预处理获得的原始的光谱序列信号输入基于CNN的回归模型，将n通道图像中最中心的帧标记为最近的峰值；

2）使用卷积层和池化层对关键数据信息进行提取：使用卷积层提取关键数据特征，使用池化层对关键数据特征进行初步模糊，再次使用卷积层提取模糊后的关键数据特征，使用池化层进一步模糊关键数据特征；

3）使用多滤波模块和全连接层对关键数据特征进行进一步处理：使用多滤波模块整合关键数据特征，使用全连接层对特征进行非线性化处理，识别心跳周期峰值发生的精确子帧；利用嵌入在25通道堆叠输入图像中的颜色变化重建心电信号的帧序波形，在测量过程中在n个样本集合中提取绿色通道样本，形成一个单一的图像，该图像结合了n个样本中包含的特征，n＝25时对于帧率为15视频源效果好，代表绿色通道在1.67秒内的变化，故采用25通道的图像进行输入计算。

5.根据权利要求1所述基于移动设备摄像头的心率变异性测量方法，其特征在于，步骤3所述双阶段深度卷积神经网络的第二阶段中预测估计每一个峰值的精确时间戳的方式为：

1）输入预处理获得的标签数据；

2）使用卷积层和池化层对关键数据信息进行提取：使用卷积层提取关键数据特征，使用池化层对关键数据特征进行初步模糊；

3）使用正规化层对关键数据特征进行概率筛选后，利用全连接方式进行非线性化处理；对心电图R峰出现的实际时间进行细粒度估计。