CN105869144A - 一种基于深度图像数据的非接触式呼吸监测方法 - Google Patents

Abstract

本发明公开了一种非接触式呼吸监测的方法。该方法包括：定位深度视频流中被监测者胸腹部区域；对深度视频流中每一帧图像的胸腹部区域数据降维；对降维后的数据计算方差，得到胸腹部变化程度序列；对胸腹部变化程度序列进行低通滤波，得到降噪后的呼吸变化序列；根据呼吸变化序列计算出呼吸频率以及呼吸暂停时间。本方法解决了接触式监测呼吸可能带来的干扰被监测者呼吸过程的问题，降低了硬件成本与设备的复杂性。

Description

一种基于深度图像数据的非接触式呼吸监测方法

技术领域

本申请涉及医疗领域、图像处理、计算机视觉等领域，尤其涉及通过深度图像非接触式监测呼吸的方法。

背景技术

呼吸是重要的生理过程，监测呼吸是医学上诊断一些呼吸疾病的基本手段之一。例如阻塞性呼吸睡眠暂停综合症(OSA)主要依赖监测呼吸来确诊。OSA在临床上表现为每晚7小时睡眠过程中呼吸暂停反复发作30次以上。通过监测被测试者睡眠呼吸状态，便可判断该测试者是否患有OSA。具体为通过监测患者的呼吸频率、呼吸暂停次数以及呼吸暂停时间判断被监测者是否患有OSA。监测呼吸可以使该病患者及时获得医疗救治，避免病情的进一步恶化，最终保障患者生命健康。

目前呼吸监测方式主要分为接触式和非接触式两大类。接触式呼吸监测主流方法有使用腹带压力监测、采用小型传感器监测鼻腔气流状态。腹带压力监测法主要原理：通过腹带监测腹部起伏变化状态，从而实时监测佩戴者的呼吸状态。小型传感器监测鼻腔气流法主要原理：通过监测鼻腔气流速度、气流方向得出被监测者当前呼吸状态。通过以上表述可知，人长期佩戴这些设备可能会产生不适。更近一步的，这些设备可能会干扰人的呼吸过程，影响测量结果的准确性，这是接触式方法主要不足。

非接触式呼吸监测主要通过红外摄像头获取数据并结合图像处理算法完成呼吸监测。利用红外摄像头监测原理为：被监测者在呼吸时，胸腹部会随之起伏变化，因此红外摄像头拍摄到的每一帧图像的胸腹部区域都与前后相邻几帧的胸腹部区域有所差别。根据相邻红外图像帧间胸腹部区域的差异便可得到被监测者的呼吸变化序列。利用红外摄像头监测呼吸具有不受环境光照影响、精度高等优点，但是总体来说红外摄像头相对来说价格高，不利于大规模应用。

综上所述，接触式呼吸监测方案可能存在着干扰被监测者正常呼吸过程的问题，而利用红外摄像头进行非接触式呼吸监测方案实现所依赖的硬件平台并不廉价，限制了非接触式呼吸监测的普及。

发明内容

本发明针对以上问题，提出一种基于深度图像数据的非接触式呼吸监测方法，该方法既有非接触式的优点又能降低硬件成本。

本发明提供了一种通过深度图像监测呼吸的方法包括：定位深度视频流中被监测者胸腹部区域；对深度视频流中的每一帧图像的胸腹部区域数据降维；对每一帧降维后的胸腹部区域数据计算方差，得到胸腹部变化程度序列；对胸腹部变化程度序列进行低通滤波，得到降噪后的呼吸变化序列；根据呼吸变化序列计算出呼吸频率以及呼吸暂停时间。图1是本发明方法的流程图，下面结合流程图对本发明所提出的方法做进一步说明。

进一步地，定位深度视频流中被监测者胸腹部区域包括：通过与深度图像帧一一对应的深度骨骼帧确定深度图像帧中被监测者的胸腹部区域。

进一步地，对深度视频流中的每一帧图像的胸腹部区域数据降维包括：为了说明方便，设胸腹部区域深度数据为m×n的矩阵。将原始胸腹部区域二维矩阵进行降维处理得到m′×n′胸腹部区域深度矩阵(其中m′＜＜m,n′＜＜n)。并记m′×n′胸腹部区域深度矩阵为A。显而易见降维后的胸腹部区域深度矩阵维度远小于原始矩阵维度。

进一步的，对“胸腹部区域深度数据”中深度含义做详细说明：构成传统图像的每一个像素记录的是色彩信息，而构成深度图像的每一个像素记录的是目标物体与摄像头之间的距离。

进一步地，对降维后的数据计算方差，得到胸腹部变化程度序列包括：计算矩阵A中所有元素的方差，该方差值反映了当前深度图像帧中被监测者胸腹部起伏程度。

进一步地，作为优选方式，在对胸腹部变化程度序列进行低通滤波时，结合实际被监测者的呼吸频率不会太高这一常识，将胸部变化序列中所有高频成分置零。

进一步地，根据呼吸变化序列计算出呼吸频率包括：统计呼吸变化序列中每一个局部极大值。局部极大值个数便对应了被监测者在该序列的呼吸次数，根据每分钟呼吸的次数计算出呼吸频率。

进一步地，根据呼吸变化序列计算出呼吸暂停时间包括：利用序列的增减性及序列的波动程度来筛选出呼吸暂停区间。

由于采用了上述技术方案，本发明提供的基于深度图像的呼吸监测方法具有以下优势

1)通过计算深度图像中胸腹部方差得到胸腹部变化程度，降低呼吸监测算法的复杂度，很好地保证了实时性，便于实际应用推广。

2)与接触式设备例如腹带压力传感器、肺活量计相比，做到了非接触且保证被监测者的正常行为活动。

3)与目前较流行的热红外摄像头监测呼吸相比，在保证监测呼吸的准确性基本不变的条件下，降低了硬件设备及维护费用。本方法采用的深度摄像头在市场上售价较专业红外摄像头低。

附图说明

为了更清楚的说明本发明的实施或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出任何创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1描述发明方法流程图

图2为发明实施例中监测呼吸算法流程图

图3为发明实施例中采用的Kinect骨骼帧示意图

图4为序列中相邻几项增减性示例图

图5为发明实施例中摄像头放置以及被监测者被监测呼吸示意图

图6为Kinect追踪的骨骼点的三维空间坐标映射到深度图像帧对应二维坐标的流程示意图

图7为Kinect追踪的骨骼点的三维空间坐标映射到深度图像帧对应二维坐标的示例代码

图8为发明实施例中被监测者在进行呼吸监测的场景图

图9为被监测者胸腹部变化序列的频域信号

图10为发明实施例中被监测者呼吸中有暂停行为的曲线

具体实施方式

一、实现过程

本发明所提供的方法主要步骤如下:获取一段时间内深度视频流中被监测者的胸腹部图像；对获取的每一帧胸腹部区域图像做降维处理并计算方差，由此得到该段时间内的胸腹部变化序列；对胸腹部变化序列进行低通滤波得到呼吸变化序列；由呼吸变化序列计算出呼吸频率和呼吸暂停时间。

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明的附图2，对本发明实施例中的技术方案进行完整清晰的描述：

步骤S201：将提供深度图像的摄像头放置于合适位置，使被监测者完整的暴露于摄像头监测视野范围内，并获取一段时间内的深度视频流。

步骤S202：抽取深度视频流的第一帧图像，同时提取与深度图像帧一一对应的骨骼帧中的ShoulderLeft、ShoulderRight、HipCenter三维骨骼点坐标，并将这三个点的三维坐转换成深度图像帧中对应的二维坐标。完成坐标映射后，便开始定位深度图像帧中的胸腹部区域。如附图3所示，将ShoulderLeft、ShoulderRight作为矩形的一条边AB的两个顶点，HipCenter作为与AB边平行的另一条矩形边DE的中点，矩形ABED便是该深度图像帧中被监测者的胸腹部区域。截取ABED区域中的深度图像数据。

步骤S203：为了表述方便，用m×n的矩阵A_mn描述胸腹部区域深度图像数据，同时令X＝A_mn则X可以看做有m个样本，每个样本是具有n个维度的列矩阵，即X＝(x₁,x₂,…,x_i,…,x_m)，x_i＝(A_1i,A_2i,…,A_ni)^T。对X使用快速PCA处理得到降维后的胸腹部区域深度矩阵Y。

步骤S204：对Y中所有元素计算方差，得到衡量该胸腹部区域变化程度的值Ψ₁

步骤S205：依次对深度视频流中剩余图像帧重复步骤203-204，直至深度视频流中所有帧均被处理完毕。由Ψ₁至Ψ_n构成此段时间内胸腹部变化序列Ψ，即Ψ＝{Ψ₁,…,Ψ_t,…,Ψ_n}。

步骤S206：对胸腹部变化序列Ψ进行低通滤波。具体做法是用快速傅里叶变换将胸腹部变化程度序列转化成频域信号，将频域信号中的高频成分置零，再使用逆傅里叶变换处理频域信号得到呼吸变化序列Ω。

根据呼吸变化序列便可以计算被监测者在一段时间内呼吸频率以及呼吸暂停时间。具体算法如下：

步骤S207：根据呼吸变化序列计算呼吸频率。统计呼吸变化序列中局部的极大值便可以得到被监测者的在该段序列中的呼吸次数。计算每分钟局部极大值的个数得出被监测者在该段时间内的呼吸频率。

步骤S208：利用序列的增减性及序列的波动程度来筛选出呼吸暂停区间。

对步骤S203中“对X使用快速PCA降维得到处理后的数据Y”的计算过程包括：

1)对胸腹部区域深度图像矩阵X进行标准化处理，即：

$X=\frac{X_{ij}-\stackrel{\‾}{x_j}}{s_j}$

i＝1,2,…,m；j＝1,2,…,n

式中：为x_j的均值；s_j为x_j的标准差。

2)计算经标准化数据矩阵X的协方差矩阵V

3)求V的前n个特征值λ₁≥λ₂≥…≥λ_n及对应的特征向量

U＝(u₁,u₂,…u_n)

4)取前m个成分(m＜＜n)

Y＝U^TX

式中：U＝(u₁,u₂,…u_m)；Y＝(y₁,y₂,…,y_m)

Y就是X使用快速PCA降维后的胸腹部区域深度图像数据。

对步骤S208中利用序列的增减性及序列的波动程度来筛选出呼吸暂停区间做做进一步说明，其步骤为：

1.根据呼吸变化序列的增减性找出序列中相邻极小值对应的项(为了表述方便这两项分别记作Ω_s、Ω_e)。

2.计算从Ω_s到Ω_e之间的波动程度记作μ。

3.若μ≤Τ则认为从Ω_s到Ω_e所有项为呼吸暂停区间的一部分。

4.若μ>T则计算下一对相邻极小值之间序列的波动程度，直至遍历Ω中所有极小值。

5.将所有的相邻的呼吸暂停区间相并得到最后呼吸暂停区间，在区间并操作过程中忽略孤立的区间。

对步骤S208中“计算呼吸变化序列的增减性”做进一步说明：

1)将Ω平均分成m等分，记其中每一等分序列分别为Ρ₁、Ρ₂、…、Ρ_m。为了表述简练，仅以子序列Ρ₂为例加以说明。设Ρ₂有项α₁、α₂、…、α_k。

2)子序列Ρ₂的增减性可以分为以下三种情况：

a)若α₁≤α₂≤…≤α_k则认为序列Ρ₂是增序列。附图4的(a)符合描述。

b)若min(Ρ₂)＝α₁且max(Ρ₂)＝α_k则认为序列Ρ₂是增序列。附图4的(b)符合描述。

c)若α₁≥α₂≥…≥α_k或min(Ρ₂)＝α_k且max(Ρ₂)＝α₁则认为序列Ρ₂是减序列。附图4的(c)符合描述。

d)若min(Ρ₂)＝α_k且max(Ρ₂)＝α₁则认为序列Ρ₂是减序列。附图4的(d)符合描述。

e)若子序列Ρ₂不满足(a)、(b)则Ρ₂中可能存在极值。若Ρ₁为增序列且Ρ₃为减序列则Ρ₂存在极大值；若Ρ₁为减序列且Ρ₃为增序列则Ρ₂存在极小值；若Ρ₁、Ρ₃不符合上述描述则忽略Ρ₂的增减性。

对步骤S208中进一步说明中的步骤2中“计算从Ω_s到Ω_e所有项的波动程度μ”做进一步说明：记p为从Ω_s到Ω_e所有项中最大项，q为从Ω_s到Ω_e所有项中最小项。则波动程度可以用以下公式计算：

$\mathrm{\μ}=\frac{p-q}{e-s}$

对步骤S208中进一步说明中的步骤3、4中“阈值T”的计算做进一步说明:

$T=\frac{max\left(\mathrm{\Ω}\right)-min\left(\mathrm{\Ω}\right)}{2\×t}$

其中t为给定间隔值，T表示在该间隔内所允许的最大波动程度。

二、具体实施例

2.1硬件平台描述

Kinect是微软开发的一款3D体感摄像头，该摄像头主要功能包括人体骨骼追踪、提供三维景深图像、语音识别、人脸识别等。Kinect定位基本原理为：Kinect的红外线发射器发射一种特殊的激光，当该激光照射到粗糙物体或者穿透毛玻璃后会形成随机衍射斑点，这些散斑具有高度随机性，并且随着距离的不同变化图案。空间中任意两点的散斑图案均不相同。利用这种激光特性结合光编码技术便可以对空间中所有物体定位。附图3展示了一代Kinect在空间中实时追踪被监测者所有骨骼点，同时Kinect能测量出这些骨骼点的三维空间坐标。

2.2实施例

为了更好地描述本发明提出的非接触式监测呼吸方法，下面结合一名被监测者的一次呼吸监测进行描述：

步骤1：呼吸监测开始前，先将摄像头如附图5所示放置。被监测者如附图5平躺于床上。当呼吸监测程序检测到被监测者骨骼点时，便开始执行步骤2；否则，应该反复调整摄像头位置，直至检测到被监测者的骨骼点。

步骤2：获取一段时间内的深度视频流，按顺序抽取深度视频流中的第一帧图像。同时获取与该深度图像帧对应的骨骼帧，提取其中的ShoulderLeft、ShoulderRight、HipCenter三维骨骼点坐标。利用KinectSDK中的API将这三个点的三维坐转换成深度图像帧中对应的二维坐标。附图6描述了KinectSDK的API使用流程。根据这些坐标点确定被监测者胸腹区域。附图8为被监测者某时刻深度图像帧，获取ABDC围成的区域数据。该数据便是胸腹部区域数据A_mn。

步骤3：使用快速PCA对A_mn进行降维，根据实际经验取A_mn前5个主要成分，即Y＝(u₁,u₂,…u₅)^TX。

步骤4：对Y中所有元素计算方差，得到衡量该胸腹部区域变化程度的值Ψ_t。

步骤5：按顺序处理深度视频流中剩余的每一帧图像。剩余每一帧图像的处理方法与第一帧完全相同。在处理完深度视频流中的每一帧图像后，便获得被监测者在该段时间内胸腹部变化序列Ψ＝{Ψ₁,…,Ψ_t,…,Ψ_n}。

步骤6：对胸腹部变化序列Ψ使用快速傅里叶变换转化成频域信号。附图9便是频域信号的幅值频谱图，从频谱图可以看出胸腹部变化序列主要由低频成分构成。将幅值频谱序列从第10项开始都置零，然后使用逆傅里叶变换重建胸腹部变化程度序列。该胸腹部变化程度序列便是被监测者的呼吸变化序列Ω。

步骤7：统计呼吸变化序列中每一个局部极大值。局部极大值个数便对应了被监测者的呼吸次数，根据呼吸次数/呼吸持续时间计算出呼吸频率。被监测者的呼吸曲线见附图10，通过计算可知

步骤8：计算呼吸变化序列的增减性找出序列中相邻极小值对应的项(为了表述方便这两项分别记作Ω_s、Ω_e)，计算从Ω_s到Ω_e所有项的波动程度μ并与阈值Τ比较。若μ≤Τ则认为从Ω_s到Ω_e所有项为呼吸暂停区间的一部分；若μ>T则计算下一对相邻极小值之间序列的波动程度，直至到最后一对相邻极小值。将所有的相邻的呼吸暂停区间相并得到最后呼吸暂停区间，在区间并操作过程中忽略孤立的区间。

对步骤8中的阈值Τ计算做进一步说明：

$T=\frac{max\left(\mathrm{\Ω}\right)-min\left(\mathrm{\Ω}\right)}{2\×60}$

因为kinect一秒最多采集30帧数据及根据实际人呼吸最快是2s一次，所以取t＝60。则附图10的阈值为

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应该在本发明的保护范围内。

Claims (6)

1.一种基于深度图像数据的非接触式呼吸监测方法，其特征在于，包括以下步骤：

定位深度视频流中被监测者胸腹部区域；

对深度视频流中的每一帧图像的胸腹部区域数据降维；

对每一帧降维后的胸腹部区域数据计算方差，得到胸腹部变化程度序列；

对胸腹部变化程度序列进行低通滤波，得到降噪后的呼吸变化序列；

根据呼吸变化序列计算出呼吸频率以及呼吸暂停时间。

2.如权利要求1所述的一种基于深度图像数据的非接触式呼吸监测方法中，其特征在在于，

所述的对深度视频流中的每一帧图像的胸腹部区域数据降维包括：

为了说明方便，设胸腹部区域深度数据为m×n的矩阵。将原始胸腹部区域二维矩阵进行降维处理得到m′×n′胸腹部区域深度矩阵(其中m′＜＜m，n′＜＜n)。并记m′×n′胸腹部区域深度矩阵为A。

3.如权利要求1所述的一种基于深度图像数据的非接触式呼吸监测方法中，其特征在在于，

所述的对降维后的数据计算方差，得到胸腹部变化程度序列包括：

计算矩阵A中所有元素的方差，该方差值反映了当前深度图像帧中被监测者胸腹部起伏程度。

4.如权利要求1所述的一种基于深度图像数据的非接触式呼吸监测方法中，其特征在在于，

所述的对胸腹部变化程度序列进行低通滤波，得到降噪后的呼吸变化序列包括：

用快速傅里叶变换将胸腹部变化程度序列转化成频域信号；

将频域信号中的高频成分置零；

再使用逆傅里叶变换处理频域信号得到呼吸变化序列。

5.如权利要求1所述的一种基于深度图像数据的非接触式呼吸监测方法中，其特征在在于，

所述的根据呼吸变化序列计算出呼吸频率包括：

统计呼吸变化序列中局部的极大值便可以得到被监测者的在该段序列中的呼吸次数；

计算每分钟序列中局部极大值的个数得出被监测者在该段时间内的呼吸频率。

6.如权利要求1所述的一种基于深度图像数据的非接触式呼吸监测方法中，其特征在在于，

所述的根据呼吸变化序列计算出呼吸暂停时间包括：

根据呼吸变化序列的增减性找出序列中相邻极小值对应的项(为了表述方便这两项分别记作Ω_s、Ω_e)；

计算从Ω_s到Ω_e所有项的波动程度μ并与阈值T比较；

若μ≤T则认为从Ω_s到Ω_e所有项为呼吸暂停区间的一部分；

若μ＞T则计算下一对相邻极小值之间序列的波动程度；

重复以上步骤直至找出最后一对相邻极小值；

将所有的相邻的呼吸暂停区间相并得到最后呼吸暂停区间，在区间并操作过程中忽略孤立的区间。