CN109717858B - 一种智能手机测量心率变异性（hrv）的方法 - Google Patents

Abstract

本发明公开了一种智能手机测量心率变异性(HRV)的方法。利用手机带有的RGB彩色相机、3D深度相机以及IR红外传感器，通过手机中央处理器对RGB相机、IR传感器得到的受试者面部信息提取心率信号；通过对3D深度相机得到的受试者距离信息提取呼吸信号，由心率信号与呼吸信号测量呼吸性窦性心律不齐(RSA)参数，并结合RSA实时变化获得心率变异性(HRV)参数。

Description

一种智能手机测量心率变异性(HRV)的方法

技术领域

本发明涉及手机领域，具体涉及一种智能手机测量心率变异性(HRV)的方法。

背景技术

心率变异性(HRV)测量目前已广泛应用于医学与心理学领域，日常生活中医疗保健和健身追踪设备的日益改进也推动了HRV测量在其他领域中的发展。我们可以通过多种不同设备测量HRV，从复杂的高精度多传感HRV测量设备(ECG)到简单的单传感设备(例如PPG，智能手表，IR传感器)等，几乎所有已知的HRV测量装置都需要附着在受试者的身体上，这些接触给测量带来一定程度的不便的同时也容易引起受试者不适。因此，缺乏一种高可用性和可靠性的非接触式测量HRV的方法。从当前情况来看，我们需要获得HRV测量数据必须携带相应的设备，然后通过无线方式或拷贝方式将数据传输到智能手机或是电脑客户端进行分析处理，这样对日常生活实现HRV测量造成不便。

发明内容

有鉴于此，本发明目的旨在对现有技术进行创新，提供一种智能手机测量心率变异性(HRV)的方法，让HRV测量能广泛用于日常生活中，且测量方式方便简单，测量结果高效可靠。

为实现以上目的，本发明采用如下技术方案：

利用手机带有的RGB彩色相机、3D深度相机以及IR红外传感器，通过手机中央处理器对RGB相机、IR传感器得到的受试者面部信息提取心率信号；通过对3D深度相机得到的受试者距离信息提取呼吸信号，由心率信号与呼吸信号测量呼吸性窦性心律不齐(RSA)参数，并结合RSA实时变化获得心率变异性(HRV)参数。

进一步地，所述智能手机带有RGB相机、3D深度相机以及IR传感器。

进一步地，所述手机RGB相机、IR传感器得到受试者面部信息，步骤如下：

选定受试者面部特定区域作为测量区域，通过手机相机的RGB相机非接触式采集受试者面部变化的RGB图像信息；

在该测量区域内通过IR传感器非接触式采集受试者面部温度变化信息；

采用RGB分离方法分离图像的三原色，获得原始帧数据的红色通道，绿色通道、蓝色通道的独立数据；

通过Z分数标准化对三原色原始帧数据进行处理，分别获得红色通道、绿色通道、蓝色通道的标准化值y_i′(t)：

其中，i＝1，2，3(分别表示R，G，B通道)，其中u_i表示单帧数据的平均值，δ_i表示单帧数据和y_i(t)的标准差，y_i(t)表示单个通道的原始数据。

将所述标准化后的数据进行盲源信号分离，定义为：

y(t)＝Ax(t)

式中：y(t)＝[y₁(t)，y₂(t)，y₃(t)，y₄(t)]^T，y₁(t)，y₂(t)，y₃(t)，y₄(t)分别为R、G、B、IR序列，x(t)表示源信号，A为4×4的混合系数矩阵。

通过矩阵性质，得到：

x(t)＝Wy(t)，矩阵W为解混矩阵，其与矩阵A互为逆矩阵，为得到解混矩阵W，通过迭代法近似分离混合矩阵A，求逆即可得到矩阵W。

则x(t)输出源信号可近似为：

其中，W为解混矩阵，可分离RGB-IR混合数据，得到分离后的RGB-IR图像信号。

进一步地，所述提取心率信号的方法采用快速傅里叶变换(FFT)提取分离的RGB-IR分量信号，找到和血液脉冲相匹配的亮度和热量变化信号，得到心率信号。

进一步地，所述手机3D深度相机得到受试者距离信息，步骤如下：

通过智能手机3D深度相机的飞行时间(ToF)技术进行测距，公式为：

2d＝T*c

其中d表示深度，T表示3D深度相机从发出光信号到接收到反射回的光信号所经历的时间周期，c为光速，获得受试者胸腔与3D深度相机的实时距离。

进一步地，所述提取呼吸信号方法采用在时间序列域内选取规定区域，在该区域内受试者与3D深度相机的距离变化的平均值为受试者的呼吸信号。

进一步地，所述采用心率信号与呼吸信号测量RSA，步骤如下：

设定普通健康受试者初始RSA变化值Var_i；

提取呼吸状态改变i时刻的呼吸信号和心率信号，预算RSA，状态由呼气转为吸气的时候，估算得下一时刻RR'_i+1＝RR_i-Var_i；而当状态由吸气转为呼气的时候，估算得下一时刻RR'_i+1＝RR_i+Var_i，RR'_i+1为i+1时刻心率信号估算值。

进一步地，所述结合RSA实时变化获得HRV参数，步骤如下：通过手机中央处理器提取下一时刻的心率信号，记为RR”_i+1，通过取i+1时刻心率信号测量值和i+1时刻心率信号估算值的平均值得：

其中，RR_i+1为i+1时刻HRV(RR_i+1)输出值；

将i+1时刻心率信号测量值RR”_i+1与i+1时刻心率信号估算值RR'_i+1进行比较计算得到下一时刻的误差值：Err_i+1＝RR”_i+1-RR'_i+1；

将计算得到的误差值替换RSA变化：Var_i+1＝Var_i-Err_i+1，从而实时获得HRV参数。

由上述对本发明地描述可知，与现有技术相比，本发明具有如下

有益效果：

1、本发明基于RSA校正的手机非接触式HRV测量方法，相比于传统的接触式HRV测量，如多传感器设备ECG，其提供了无创的非接触式测量方法且测量方法简单，测量过程快速，能够及时反映心脏的状况；相比于PPG，智能手表，IR传感器等单传感器设备，其提供的无创的非接触式测量方法且体现了高可靠性与可用性，让HRV测量能够广泛应用于日常生活之中。

2、在测量精确度上，通过心率信号与呼吸信号测量RSA，并结合RSA实时变化得到HRV参数，精度较高，各方面优势显著，具有实质性的测量作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明根据一示例性实施例示出的一种智能手机测量心率变异性(HRV)的方法的结构示意图；

图2为本发明运用手机RGB相机与IR传感器采集面部图像信息的示意图；

图3为本发明运用手机3D深度相机获得距离图像的示意图；

图4为本发明获得距离信息时测量区域的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种智能手机测量心率变异性(HRV)的方法，所选用的测量HRV的智能手机带有RGB相机、3D深度相机以及IR传感器，该手机不仅可以作为正常手机使用，还可以在日常生活中实现非接触式的HRV测量，免去了携带专门测量设备的麻烦。

为便于对本实施例进行理解，首先对本发明实施例所公开的智能手机测量心率变异性(HRV)的方法进行详细介绍：

参见图1所示，为本发明实施例所提供一种智能手机测量心率变异性(HRV)的方法的结构示意图，利用手机带有的RGB彩色相机、3D深度相机以及IR红外传感器，通过手机的中央处理器对RGB相机、IR传感器得到的受试者面部信息提取心率信号；通过对3D深度相机得到的受试者距离信息提取呼吸信号，由心率信号与呼吸信号测量呼吸性窦性心律不齐(RSA)参数，并结合RSA实时变化获得心率变异性(HRV)参数。

本发明实施例所提供的手机RGB相机、IR传感器得到受试者面部信息的方法包括：

选定受试者面部特定区域作为测量区域，通过手机相机的RGB相机非接触式采集受试者面部变化的RGB图像信息；

在该测量区域内通过IR传感器非接触式采集受试者面部温度变化信息；

在具体实现的时候，所选的面部特定区域为以眉毛上部和嘴唇下沿为高度，脸颊两边外侧为宽度的长方形，为了保证获得的亮度以及面部数据的可靠性，需要受试者与手机所在平面的距离控制在1m以内(参照图2)。

采用RGB分离方法分离图像的三原色，获得原始帧数据的红色通道，绿色通道、蓝色通道的独立数据；

通过Z分数标准化对三原色原始帧数据进行处理，分别获得红色通道、绿色通道、蓝色通道的标准化值y_i′(t)：

其中，i＝1，2，3(分别表示R，G，B通道)，其中u_i表示单帧数据的平均值，δ_i表示单帧数据和y_i(t)的标准差，y_i(t)表示单个通道的原始数据。

将所述标准化后的数据进行盲源信号分离，定义为：

y(t)＝Ax(t)

式中：y(t)＝[y₁(t)，y₂(t)，y₃(t)，y₄(t)]^T，y₁(t)，y₂(t)，y₃(t)，y₄(t)分别为R、G、B、IR序列，x(t)表示源信号，A为4×4的混合系数矩阵。

通过矩阵性质，得到：

x(t)＝Wy(t)，矩阵W为解混矩阵，其与矩阵A互为逆矩阵，为得到解混矩阵W，通过迭代法近似分离混合矩阵A，求逆即可得到矩阵W。

则x(t)输出源信号可近似为：

其中，W为解混矩阵，可分离RGB-IR混合数据，得到分离后的RGB-IR图像信号。

本发明实施例所提供的提取心率信号的方法采用快速傅里叶变换(FFT)提取分离的RGB-IR分量信号，找到和血液脉冲相匹配的亮度和热量变化信号，得到心率信号。

在具体实现的时候，快速傅里叶变换(FFT)应用于分离数据集，将分量信号由时域信号转为频域信号进行分析，找到频域信号范围内与血液脉冲相匹配的亮度和热量变化信号，提取出心率信号。

本发明实施例所提供的手机的3D深度相机得到受试者距离信息的方法包括：

通过智能手机3D深度相机的飞行时间(ToF)技术进行测距，公式为：

2d＝T*c

其中d表示深度，T表示3D深度相机从发出光信号到接收到反射回的光信号所经历的时间周期，c为光速，获得受试者与3D深度相机的实时距离。

在具体实现的时候，c为光在空气中的飞行速度约为c＝3*10⁸m/s通过手机的3D深度相机获取受试者距离信息数据(参照图4)，为了在真实的环境中保证数据的可靠性，需要保证3D深度相机与受试者距离在一米之内(参照图3)。

本发明实施例所提供的提取呼吸信号方法采用在时间序列域内选取规定区域，在该区域内受试者与3D深度相机的距离变化的平均值即为受试者的呼吸信号。

在具体实现的时候，受试者吸气时，肋骨向上和向外移动，空气被吸入肺部，受试者胸口位置与3D深度相机的距离不断变小，而在呼气的过程中受试者胸部与3D深度相机的距离不断增大。在所获得呼吸信号数据中，局部最小值是呼气槽，而局部最大值是吸气槽。因此可以通过手机3D传感器反映的受试者距离信息的变化来实时获得受试者的呼吸信号，在时间序列域中所选规定区域内受试者与3D深度相机的距离变化平均值表示受试者的呼吸信号，而受试者上身微小的运动会在记录的数据中产生一些噪音干扰，因此，我们在提取的信号上应用了卡尔曼滤波器和一个阈值为20mm的的截止滤波器，以消除可能产生的噪声，提取出更可靠的呼吸信号。

本发明实施例所提供的采用心率信号与呼吸信号测量RSA包括：

设定普通健康受试者初始RSA变化值Var_i。

在具体实现的时候，HRV的大小与呼吸相关。HRV在呼气期间增加并且在吸气期间减少。可以通过从健康受试者中提取出准确的心率信号来测试呼吸信号。相应地，可以通过呼吸信号来估计下一个RR间隔。因此在本研究中，通过手机的RGB相机、3D深度相机以及IR传感器提取呼吸信号和心率信号测量RSA。根据健康受试者的常规RSA变化值，将RSA初始值设定为Var＝108ms。

提取呼吸状态改变i时刻的呼吸信号和心率信号，预算RSA，状态由呼气转为吸气的时候，估算得下一时刻RR'_i+1＝RR_i-Var_i；而当状态由吸气转为呼气的时候，估算得下一时刻RR'_i+1＝RR_i+Var_i。

RR'_i+1为i+1时刻心率信号估算值。

在具体实现的时候，通过呼吸信号特征的改变，即呼气吸气之间状态的改变以估计基于RSA的下一个RR间隔波动，当呼吸信号的一阶导数改变符号时，呼吸状态正在改变。则其二阶导数改变符号即表示当前状态将变换为呼气状态或是吸气状态。在呼吸状态切换这一时刻，预算RSA值，应用RSA变化来估计下一个RR值。如提取呼吸状态改变的i时刻的呼吸信号和心率信号，来预算RSA，并通过应用RSA变化来估计i+1时刻的RR间隔。当呼吸状态由呼气转为吸气的时候，RR间隔变小，估算得RR’_i+1＝RR_i-Var_i；而当呼吸状态由吸气转为呼气的时候，RR间隔变长，估算得：RR’_i+1＝RR_i+Var_i。

本发明实施例所提供的结合RSA实时变化获得HRV参数包括：

通过手机中央处理器提取下一时刻的心率信号，记为RR”_i+1，通过取i+1时刻心率信号测量值和i+1时刻心率信号估算值的平均值得：

其中，RR_i+1为i+1时刻HRV(RR_i+1)输出值；

将i+1时刻心率信号测量值RR”_i+1与i+1时刻心率信号估算值RR'_i+1进行比较计算得到下一时刻的误差值：Err_i+1＝RR”_i+1-RR'_i+1；

将计算得到的误差值替换RSA变化：Var_i+1＝Var_i-Err_i+1，从而实时获得HRV参数。

在具体实现的时候，RSA的初始变化值为Var＝108ms，而随着受试者测量时的状态变化，RSA的变化值在接下来的呼吸周期内会朝着个性化值发展，所获得的HRV参数也会实时改变，通过选取一段时间内HRV变化的平均值即可得到HRV的测量数据。

本实施例中提供的一种智能手机测量心率变异性(HRV)的方法通过无创的非接触式测量能够实时获得HRV参数，其测量方式简单快速，测量精确度高，具有良好的用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围。

Claims (6)

1.一种智能手机测量心率变异性HRV的方法，其特征在于，包括：

利用手机带有的RGB彩色相机、3D深度相机以及IR红外传感器，通过手机的中央处理器对RGB相机、IR传感器得到的受试者面部信息提取心率信号；通过对3D深度相机得到的受试者距离信息提取呼吸信号，由心率信号与呼吸信号测量呼吸性窦性心律不齐RSA参数，并结合RSA实时变化获得心率变异性HRV参数；

其中，采用心率信号与呼吸信号测量RSA包括：

设定普通健康受试者初始RSA变化值Var_i；

提取呼吸状态改变i时刻的呼吸信号和心率信号，预算RSA，状态由呼气转为吸气的时候，估算得下一时刻RR'_i+1＝RR_i-Var_i；而当状态由吸气转为呼气的时候，估算得下一时刻RR'_i+1＝RR_i+Var_i，RR'_i+1为i+1时刻心率信号估算值；

所述结合RSA实时变化获得HRV参数包括：

通过手机中央处理器提取下一时刻的心率信号，记为RR”_i+1，通过取i+1时刻心率信号测量值和i+1时刻心率信号估算值的平均值得：

其中，RR_i+1为i+1时刻HRV(RR_i+1)输出值；

将i+1时刻心率信号测量值RR”_i+1与i+1时刻心率信号估算值RR'_i+1进行比较计算得到下一时刻的误差值：Err_i+1＝RR”_i+1-RR'_i+1；

将计算得到的误差值替换RSA变化：Var_i+1＝Var_i-Err_i+1，从而实时获得HRV参数。

2.根据权利要求1所述的测量HRV的智能手机，其特征在于，所述智能手机带有RGB相机、3D深度相机以及IR传感器。

3.根据权利要求1所述一种智能手机测量心率变异性HRV的方法，其特征在于，所述手机RGB相机、IR传感器得到受试者面部信息包括：

选定受试者面部特定区域作为测量区域，通过手机相机的RGB相机非接触式采集受试者面部变化的RGB图像信息；

在该测量区域内通过IR传感器非接触式采集受试者面部温度变化信息；

采用RGB分离方法分离图像的三原色，获得原始帧数据的红色通道，绿色通道、蓝色通道的独立数据；

通过Z分数标准化对三原色原始帧数据进行处理，分别获得红色通道、绿色通道、蓝色通道的标准化值y'_i(t)：

其中，i＝1，2，3分别表示R，G，B通道，其中u_i表示单帧数据的平均值，δ_i表示单帧数据和y_i(t)的标准差，y_i(t)表示单个通道的原始数据；

将所述标准化后的数据进行盲源信号分离，定义为：

y(t)＝Ax(t)

式中：y(t)＝[y₁(t)，y₂(t)，y₃(t)，y₄(t)]^T，y₁(t)，y₂(t)，y₃(t)，y₄(t)分别为R、G、B、IR序列，x(t)表示源信号，A为4×4的混合系数矩阵；

通过矩阵性质，得到：

x(t)＝Wy(t)，矩阵W为解混矩阵，其与矩阵A互为逆矩阵，为得到解混矩阵W，通过迭代法近似分离混合矩阵A，求逆即可得到矩阵W；

则x(t)输出源信号可近似为：

W为解混矩阵，可分离RGB-IR混合数据，得到分离后的RGB-IR图像信号。

4.根据权利要求3所述的RGB-IR信号分离的方法，其特征在于，所述提取心率信号方法采用快速傅里叶变换(FFT)提取分离的RGB-IR分量信号，找到和血液脉冲相匹配的亮度和热量变化信号，得到心率信号。

5.根据权利要求1所述智能手机测量心率变异性的方法，其特征在于，所述手机的3D深度相机得到受试者距离信息包括：

通过智能手机3D深度相机的飞行时间(ToF)技术进行测距，公式为：

2d＝T*c

其中d表示深度，T表示3D深度相机从发出光信号到接收到反射回的光信号所经历的时间周期，c为光速，获得受试者与3D深度相机的实时距离。

6.根据权利要求5所述3D深度相机测距的方法，其特征在于，所述提取呼吸信号方法采用在时间序列域内选取规定区域，在该区域内受试者与3D深度相机的距离变化的平均值即为受试者的呼吸信号。

Images