CN103445782B - 一种用于估算呼吸频率的视频处理技术 - Google Patents

Abstract

本发明公开一种用于估算呼吸频率的视频处理技术，具体公开了一种系统和方法，通过分析捕获的包含被测主体胸部区域的图像中结构照明图案在反射过程中的失真来估算呼吸频率。在一个实施方式中，接收到被测主体的躯体目标区域的视频图像。通过对视频数据帧的处理估算目标区域的3D时间序列数据。本发明进一步披露利用3D时间序列数据估算被测主体的呼吸频率。检测过程可以在一系列的光照条件下完成。本教导提供了一种对病人呼吸功能的非接触式监测方法，适用于重症监护病房以及家庭监控，用于帮助检测病人由于呼吸频率的变化引起的生理条件的迅速恶化。本教导为非接触式呼吸功能研究和分析提供了一种有效的手段。

Description

一种用于估算呼吸频率的视频处理技术

技术领域

本发明总体上涉及用于估算呼吸频率的视频处理技术。

背景技术

监测呼吸状况对于早期发现潜在致命情况具有重要的临床意义。目前的技术包括病人必须持续佩戴的接触式传感器。这样的要求可能导致患者的不适感、依赖性、尊严丧失，并进一步由于种种原因，包括病人拒绝佩戴监测装置，导致监测失败。老年患者和新生婴儿更容易由于持续监测的副作用而受到伤害。无干扰的、非接触性的、基于成像的方法越来越成为理想的呼吸功能监测手段。

在此之前的方法通过捕获被测主体上相关区域的视频图像并对视频进行处理以获得与心脏和呼吸系统功能相关的生理测量值。这些系统跟踪由裸露的皮肤区域反射的照片体积描记信号。对这些反射信号进行处理以识别和分离与脉动血容量相关的信息。如果不存在裸露的皮肤区域，则摄像机将无法注册这些信号。虽然非皮肤区域的2D视频的记录包含运动相关的信息，但之前关于单纯根据运动来分离呼吸信号的尝试未能成功。本发明的目的是克服这些缺点。

发明内容

本发明公开一种用于估算被测主体的呼吸频率的系统和方法，该被测主体被捕获在包含被测主体的胸部区域的图像的视频中。在一个实施方式中，接收被测主体躯体的目标区域的视频。本发明进一步披露，被测主体的胸部区域的运动被视频记录下来。通过对视频图像帧进行处理以获得连续的时间序列信号。然后对此信号进行处理以得到频率信息，从该频率信息可以分离出被测主体的呼吸频率。有利地，测量结果可以在一系列多样化的光照条件得到，而不会对病人造成干扰。本教导提供了一种非接触式呼吸功能监测方法，尤其适用于重症监护病房以及家庭监测，以帮助检测由于呼吸频率的变化造成的生理条件的迅速恶化。本发明披露的系统和方法为非接触式呼吸功能分析提供了有效的手段。

更具体地，本发明提供了一种在非接触的、远程感测环境中对进行呼吸功能监测的被测主体的呼吸频率进行估算的方法，该方法包括：接收进行呼吸功能监测的被测主体的躯体上的目标区域的视频；对所述视频图像进行处理从而重构场景中的3D深度信息以及根据所述目标区域的所述3D深度信息估算3D时间序列数据；以及根据所述3D时间序列数据估算所述主体的呼吸频率。在进一步的实施方式中，所述视频是通过使用摄像机和被配置为照射结构照明的图案的光源捕获的，所述摄像机对在所述结构照明的波长的电磁辐射是灵敏的，所捕获的所述视频的每幅图像包括通过来自所述目标区域的表面的对所述结构照明的反射所发射的辐射的采样，来自所述表面的所述照射的图案的反射造成空间失真。在更进一步的实施方式中，其中估算所述3D时间序列数据包括：针对所述视频的每幅图像：将所述空间失真的空间属性与已知的未失真的照射图案的空间属性进行比较，使得所述失真能够表征在所述图像中；根据所表征的所述失真计算在所述目标区域的所述表面的不同位置处的深度地图；并根据所述深度地图估算3D体积；并将所估算得到的所述3D体积并置起来从而得到所估算的所述3D时间序列数据。在替代的进一步的实施方式中，所述方法进一步包括监测所述呼吸频率在下列任一情况下的递增变化量：医院意外死亡模式I（PUHDType I）和医院意外死亡模式II（PUHD Type II）。

本发明还提供了一种在非接触的、远程感测环境中对进行呼吸功能监测的被测主体的呼吸频率进行估算的系统，所述系统包括：被配置为照射结构照明的图案的光源；用于捕获进行呼吸功能监测的被测主体的目标区域的视频的摄像机，所述摄像机至少对在所述结构照明的波长的电磁辐射是灵敏的；和与所述摄像机和显示装置通信的处理器，所述处理器执行机器可读程序指令以实施以下操作：接收由所述摄像机捕获的视频，所述视频的每幅图像包括通过来自所述目标区域的表面的对所述结构照明的反射所发射的辐射的采样，来自所述表面的所述照射的图案的反射造成空间失真；处理所述视频从而估算所述目标区域的3D时间序列数据；根据所述3D时间序列数据估算呼吸频率；和将所估算的所述呼吸频率传送给所述显示装置。在一种实施方式中，所述摄像机包括在可见光波长范围内灵敏的摄像机和在红外光波长范围内灵敏的IR摄像机中的一种。

附图说明

图1所示为成年人的前视图和后视图。

图2所示为测量进行7次潮汐呼吸，随后进行深呼吸的正常人的肺活量计的输出。

图3为根据本教导所示的用结构光源照射的示例场景和主动捕获被测主体的胸部区域的视频以估测呼吸频率的摄像机。

图4所示为图像传感器、结构光投影仪以及目标表面点之间的以三角形表达的几何关系。

图5所示为三种投影图案和示例条纹图像的相变换。

图6所示为相位展开过程的示例性实施方式。

图7所示为根据本发明的一种实施方式采用图像传感器感测图案化源投影仪所发射的反射光的系统。

图8所示为从男性被测主体的测量得到的持续60秒的样本归一化零平均体积的时间序列信号，以及去趋势的所述时间序列信号。

图9A所示为去趋势前的呼吸信号的功率谱密度曲线。

图9B所示为去趋势(λ=80)后的呼吸信号的功率谱密度曲线。

图10为图解本发明方法的示例性实施方式的流程图，该方法对进行呼吸功能监测的被测主体的呼吸频率进行判定。

图11所示为用于实施根据图10的流程图所描述的本发明方法的各个方面的一种示例性视频处理系统的模块图。

具体实施方式

“被测主体”是指根据本教导进行呼吸功能监测的以确定其呼吸频率的主体。图1所示为成年人的前视图101（正面图）和后视图102（背面图）。目标区域103描绘了被测主体的胸前区域轮廓线。目标区域104描绘了被测主体的胸后区域轮廓线。此处所使用的目标区域也指被测主体的躯体执行呼吸功能的区域的任意视图。应当理解，在本文中使用的术语“人类”，“人”，或“患者”不应当被视为是将所附权利要求的范围限制成仅仅针对被测人类主体。本教导对其他具有呼吸功能的被测主体同样适用。这样的其他的主体包括，例如，哺乳类动物、鸟类、鱼类及爬行类动物。

“呼吸功能”是一个多阶段过程，其包括将空气吸入肺中（吸气），气体交换以及将空气呼出肺（呼气），接着是呼气后暂停。吸气使胸腔内的肺部被空气充满从而引起胸腔体积增大。“吸气”由隔膜肌引起并由肋间肌支持完成。在正常情况下，隔膜是吸气的基本驱动器。当隔膜收缩时，胸腔体积增大，腹腔内其他器官向下移动。从而导致胸廓体积增大和胸腔内的负压（与大气压相比）。气体交换是呼吸系统的基本功能。气体分子在外部环境与肺循环中的血液循环系统之间进行交换。气体交换过程促进了血液的氧合作用进而促进了组织的氧合作用，并且除去体内的二氧化碳以及其他代谢产物。气体交换过程也帮助维持体内的酸碱平衡。气体交换过程的细胞机理可以通过简单的气压差异现象来解释。当外部大气压较低时，肺部气体流出进入外部环境中。而当肺部气压低时，相反的情况发生。呼气通常是由于肺部组织的自然弹性引起的被动过程，肺部组织的弹性使其从吸气过程的舒张状态发生收缩从而迫使气体排出直至胸内气压与外部大气压达到平衡。在强迫呼气过程中（如吹灭蜡烛时），包括腹部肌肉和内部肋间肌的呼气肌肉引起腹部与胸部的压力，从而帮助将气体从肺部压出。在强迫吸气过程中（如深呼吸时），外部肋间肌以及辅助呼吸肌帮助扩充胸腔并使更多气体充入肺部。在较强的呼吸过程（每分钟呼吸超过35次的频率）中或在接近呼吸衰竭时，比如胸锁乳突肌、颈阔肌、颈部斜角肌以及胸肌和背阔肌等辅助呼吸肌将参与呼吸过程。当肺部与大气之间的压强平衡时发生呼气后暂停。呼气后暂停的持续时间随着体力活动的增加而变短，在高度劳累时甚至可能会下降为零。当被测主体在休息时，呼气后暂停的持续时间相对较长。被测主体的呼吸周期是指吸气开始和呼气后暂停结束之间的时间间隔。呼气后暂停结束后紧接着是下一个周期的开始。

“呼吸频率”是指在一定的时间内被测主体的呼吸（吸气和呼气）次数（通常以呼吸次数/分钟表示）。呼吸频率通常是在被测主体休息时测量，并且仅仅包括确定被测主体每分钟的潮汐呼吸次数。休息状态的成年人每分钟的潮汐呼吸次数在12到20次之间，具体取决于其心血管和呼吸系统的总体状况。成年人的肺容量为大约6.0升空气，潮汐呼吸过程中呼气和吸气后仅置换相对较小部分的体积。严重的肺部疾病，如肺部纤维化、气胸、婴儿呼吸窘迫综合症等，会缩小肺容量；然而阻塞性肺疾病，例如哮喘、支气管炎以及肺气肿等，阻塞气体流动。图2示出了测量进行7次潮汐呼吸然后进行深呼吸的正常人的肺活量计的输出。

“遥感环境”涉及从被测主体获取数据的非接触、不明显的非侵入性的手段，即被测主体与感测装置之间无物理接触。感测装置与被测主体之间可以为任意距离，例如从近到一英寸至远到远程医疗情况下的数英里。本教导在使得休息中的心脏病患者在被测过程中可以不受干扰的这样的遥感感测环境中找到了其有目的的应用。

正如通常所理解的那样，“视频”是指用摄像机随时间变化拍摄的场景的时变序列的图像帧。例如，使用三通道彩色摄像机拍摄的完全填充的2D图像是2D阵列的像素，该阵列中的每个像素具有从每个通道收集到用于像素的颜色值。而例如使用单通道摄像机拍摄的完全填充的2D图像是2D阵列像素，该阵列中的每个像素具有在相关的所需波长带被测得的用于该像素定位的强度值。所述视频也可包括例如音频、时间基准信号等其他分量。对于较长的视频序列，视频数据可能会增大。为了弥补由于皮肤表面弧度引起的不均匀照射、由于躯体或表面移动引起的运动诱发模糊、影像模糊以及缓慢的光照变化的影响，可以对视频进行处理或预处理。例如，视频中的运动图像可以通过基于视频的2D图像或3D表面稳定技术进行弥补。

“视频接收”将进行广义解释并且是指利用摄像机进行检索、接收、捕获视频，或者通过其他方式获得视频以根据本发明方法对潮汐胸廓容量进行估测处理。可以通过摄像机系统的存储器或内部存储装置接收视频，或通过网络从远程设备得到视频。也可以通过诸如CDROM或DVD等媒体检索到视频。也可以从能对视频进行预处理或后处理的网站下载获得视频。还可以使用诸如广泛应用于手持移动设备的那些应用程序之类的应用程序检索到视频并在用户的手机上或者利用其他手持计算装置（例如iPad）来对视频进行处理。

“摄像机”是指用于捕获视频的设备。摄像机可以是在可见光波长范围内灵敏的摄像机或在红外光波长范围内灵敏的IR摄像机，例如近红外（NIR），短距离近红外（SWIR），中红外（MWIR）和长波红外（LWIR）。摄像机也可以包括在可见和红外两种波长范围内捕获视频的混合装置。

“结构照明光源”是指通过图案化的网格或具有已知空间特性的窗口发射光源光的光源。图案可以是具有已知空间特性的伪随机图案。利用结构光的原理和三角测量为基础的图像重建技术，可以计算出场景中物体的精确的3D表面轮廓。

现参考图3，该图示出了所捕获的图1中相关的被测主体的胸围区域的目标区域303的单个二维图像帧300。摄像机310捕获由结构光源311发射的从目标区域反射的能量。摄像机310被示出包含用于实现与远程设备（例如计算机工作站）双向通信的通信元件313，该远程设备接收视频以进行处理。控制器314和315用于分别实现对结构光源311和312的控制以减少伪像。仅仅需要操控以捕获用于提取与其他参数相对的呼吸频率的视频。在本申请中，可以使用混合视频采集技术利用结构照明采集第一2D图像，以用于估算呼吸频率，随后利用非结构照明采集第二2D图像，以用于估算心率。应当认识到，当结合需要非结构照明光源提取其他重要生理参数的系统进行工作时，可以构思这样的系统。视频采集系统可以进一步包含视频分析模块。在一个实施方式中，视频分析模块包括诸如专用集成电路（ASIC）之类的硬件装置，该装置具有至少一个能够执行机器可读程序指令的处理器，以根据本发明的教导在逐帧数据的基础上对视频图像进行分析，从而估算呼吸频率。这样的模块也可以整体上或部分地包括单独工作的或与一种或多种硬件资源共同工作的软件应用程序。软件应用程序可以在不同的硬件平台由处理器执行或在虚拟环境中模拟。视频分析模块的方案可以利用现成的软件。

“深度地图”是指包含深度值的地图，该深度值是根据对图像区域内的表面反射导致的结构光源图案失真的程度的分析得到的。一旦深度地图被绘制出来，就可以计算体积。在图4中，结构照明光源403将正弦光栅404照射到目标405上，并且当冲击正弦光栅从目标反射时，冲击正弦光栅的反射被摄像系统402所捕获。正弦光栅具有已知的无失真的投影图案的空间特征。如图所示，摄像系统402具有用于与远程设备进行双向通信的通信元件406，该远程设备如工作站（未示出），在该工作站将捕获的视频被传送以进行处理。如果场景是没有任何3D表面变化的平坦表面并且与摄像传感器处于大致平行的方向，则所取得的图像中所示的图案将与照射的结构光图案相似。然而，当表面是非平坦的、与摄像传感器不平行或包含3D目标405时，目标的形状使照射的结构光图案失真。这样的光失真可以由摄像机402检测到。摄像机402、结构照明光源403以及3D目标405的表面P点之间的几何关系可用三角函数表示如下：

准确的3D图像再现可以基于相位变换和相位调制技术，该技术测量位于目标表面不同位置的相位并通过这些相位计算深度信息。图5示出了具有照射在目标表面的汇集在501处的3种不同图案的相位变换，以及示例条纹图像502。通过相位变换进行图像重现是众所周知的方法，该方法中三种照射条纹图案中的每一像素（x,y）的强度可用以下关系式表示：

I₁(x，y)=I₀(x,y)+I_mod(x,y)cos(φ(x,y)-θ), (2)

I₂(x,y)=I₀(x,y)+I_mod(x,y)cos(φ(x,y)， (3)

I₃(x,y)=I₀(x,y)+I_mod(x,y)cos(φ(x,y)+θ)， (4)

其中I₁(x,y),I₂(x,y)和I₃(x,y)是指三种条纹图案的强度，I₀(x,y)是指DC分量（背景），I_mod(x,y)是指调制信号的幅值，φ(x,y)是指相位，θ是指相位变换角常数。相位去包裹是指将包裹相位转换成绝对相位的过程。相位信息φ(x,y)可以通过三个条纹图案的强度恢复（即去包裹）。

反正切函数在2π处的不连续性可以通过在φ'(x,y)值的基础上加上或减去2π的整数倍来消除（图6）：

φ(x,y)=φ'(x,y)+2kπ (6)

其中，k为代表照射周期的整数。注意，展开方法只提供了一个相对的展开，不解决绝对相位。根据测得的相位φ(x,y)与基准面的相位值之差可以计算出的3D坐标（x,y,z）。

现在参考图7所示系统，该系统利用摄像机702感测由图案化照明光源投影仪705照射的（在704处）发射的从对象706上的点P（即被检测者的胸部的位置）反射的反射光。深度数据可以通过几何学公式计算如下：

其可以简化为

由于因基于三角测量的3D表面成像系统存在固有的视差以及因3D表面特征的吸收造成的可能的图像条纹缺失，导致观察到的条纹的顺序与投影的条纹顺序不尽相同，所以条纹索引也可以用来实现3D表面重建。像素的汇集形成图像。在投影图案中使用彩色进行条纹检索有助于缓解使用单色图案的相位转换或多条纹技术所面临的模糊问题。这种类型的系统能将多个图案编码到单色的投影图像，每个图案具有独特的颜色值。为了减少解码错误率，可以选择颜色组，在该颜色组中，每个颜色与组合中任何其他颜色具有最大距离。颜色的最大数量受限于在所获得的图像中产生最小串扰的颜色之间的距离。应当理解的是，如果目标3D对象是静态的，比如在呼吸短暂停止，并且该应用对采集时间无严格限制的情况下，可以利用多拍（连续）技术并且通常会产生更可靠和准确的结果。另一方面，如果目标是移动的，则利用单拍技术以在特定的时间获得3D目标的3D表面图像快照。单拍技术可被划分为使用连续变化的结构光图案的技术、使用1D编码方案（条纹索引）的技术、和使用2D编码方案（网格索引）的技术。每种技术都有其自身的优点和缺点，具体取决于特定的应用环境。一些技术可以组合。

还应当理解的是，照明光源可以被调整，即在摄像机捕捉视频过程中在空间上和/或频谱上可以变化。通过例如移动照明光源可以使照明光源在空间上发生变化，从而使得光源光从不同角度照射到场景中的某些区域上。通过例如根据时间表或预期的周期触发光源光照射的开/关，可以使照明光源在时间上变化。通过例如调整电磁辐射的波长带可以使照明光源发生频谱变化，从而使得它不会干扰系统中其他照明光源和/或摄像机。设备控制器可以被配置为改变照明光源照射的光源光的强度。

为了将设备相关的深度读数（以字节为单位）转换为与设备无关的公知的度量，需要执行校正。设备的空间坐标的校正(从像素到毫升或米或英寸)可以通过与校正传统RGB相机的方式基本相同的方式进行。深度输出的校正需要立体像对（照明和成像模块）的几何结构知识。来自3D成像传感器的空间坐标和深度读数可以被转换成与设备无关的单位（如毫升或米或英寸）。然而，这并不能保证估计的体积与测量的体积相符，其原因在于胸腔和肺的弹性差异造成胸腔体积的改变与肺部体积的改变不一致。因此，额外的校正可能是可取的。假设估算体积与实际体积之间存在线性关系，通过对测量所需范围内不同呼吸水平的实验测量，可以估算出比例常数。可以使用肺活量计测量实际肺活量。肺活量计的测量值与3D成像系统获得的数据之间的线性回归线斜率可以作为校正常数。

在估算呼吸频率前，优选在图像中将深度地图的对应于被测主体躯体的部分进行区域划分。这一过程可以通过多种方法实现。例如，由于从摄像机到床的表面的距离是已知的，因此被测主体的躯体的位置可以通过检测床的表面所包围的并比床本身更靠近摄像机的像素而求出。另一种方法是进行定位，然后使目标区域局部变化以包含具有相似深度信息的像素。这将产生最终的二进制掩码。胸廓定位可以通过正确地应用对躯体区域划分阶段得到的二进制掩码进行形态学运算而完成。例如，用适当的掩模尺寸的构建元素的形态学开运算可以去除与相对于胸部区域的有其关联尺寸的四肢和头部对应的像素。另一种方法是对掩码应用形态骨架分析，并确定得到的骨架分支点。这些分支点可以大约定位于被测主体的颈部和肩部，从而提供被测主体的胸部区域的位置的指示。

估算3D时间序列数据

通过处理所接收到的视频的每一图像帧来估算时间序列数据。图像帧的处理包括将捕获的空间失真的空间属性与已知的未失真的投影图案的空间属性进行比较，以便将该失真表征在图像中。然后根据目标区域表面不同位置处的所表征的失真计算深度分布地图。每一个图像的3D体积可以根据相应的深度地图估算出来。由处理过的图像帧得到的最终的估算的3D体积值并置（concatenate）在一起以产生估算的3D时间序列数据。为了在本方法后续步骤中进行频率分析，对得到的时间序列数据进行了归一化和平均减法处理。归一化是通过将信号除以其最大值来实现的。图8示出了从一个男性主体的测量获得的60秒期间的归一化的零均体积时间序列信号的样本。

由于呼吸频率是采用传统的FFT（即频谱分析）方法，根据归一化的零均值时间序列信号求出来的，因此对于长时间持续监测，信号稳定是重要的。时间序列信号的缓慢变化趋势会引起信号的不稳定分量，这一分量会进一步导致呼吸频率周围较大的子频带。此外，在这种特定情况下，去趋势化可以去除缓慢变化的、运动引起的频率分量。一种方法使用平滑方法，通过去除低频分量类似时变高通FIR滤波器那样操作。去趋势化的、几乎恒定的呼吸信号R_stat可以通过下式得到：

其中，R_original是指归一化零去除时间序列信号，I是单位矩阵，λ是用于调整去趋势算法的频率响应的参数，T是指矩阵转换运算，D₂是二阶差分矩阵，其形式如下：

如果R_original的大小为N，那么I是大小为N×N的单位矩阵。参数λ是通过利用样本数据在临床/家庭/工作环境中，以不丢失低频分量的任何有用信息的方式，对患者进行实验而事先设定的。

现在参考图9A-B，该些图图解了用于分析去趋势呼吸时间序列信号的频谱的非参数方法（基于FFT）的使用。非参数方法，例如自回归（AR）时间序列建模法，也可以被用来代替FFT。图9A示出了去趋势前的呼吸信号功率谱密度曲线。图9B示出了去趋势后（λ=80）的呼吸信号功率谱密度曲线。通过确定频谱信号最大值的位置来估算呼吸频率。在此分析的基础上，一分钟的时间间隔内所观察到的每分钟10次循环与最初的时间序列信号中的呼气与吸气周期数目刚好相一致。

现在参考图10所示的流程图，图中示出了本发明方法的对进行呼吸功能监测的被测主体的呼吸频率进行测定的一个示例性实施方式。流程图从步骤1000开始，并立即进行到步骤1002。

在步骤1002，接收进行呼吸功能监测的被测主体的目标区域的视频。该视频已通过利用摄像机和被配置为照射结构照明图案的光源而捕获。该摄像机被配置为对在结构照明的波长中的电磁辐射是灵敏的。所捕获的视频的每幅图像包括由目标区域表面反射的结构光源发射的辐射抽样。通过被测表面的照射图案的反射造成空间失真。图1所示为被测主体的目标区域的示例。

在步骤1004，处理视频图像以得到目标区域的估算的3D时间序列数据。

在步骤1006，根据3D时间序列数据估算被测主体的呼吸频率。

在步骤1008中，将呼吸频率传送到显示设备上。在本实施方式中，不进行进一步处理。在另一实施方式中，当被测主体的呼吸频率不在合理的参数之内时启动报警。启动报警可以是，例如，发光、发出可听噪声或以其他方式产生可激活某一装置的信号，该装置反过来执行操作或提供警示。产生的报警信号类型将取决于实施本发明教导的特定的实施方式。在这一替代实施方式中，一旦报警信号被激活，则停止进一步的处理。在另一实施方式中，重复处理使得被测主体的呼吸频率被持续监测。本系统可以与其他健康监测设备一起使用或与其集成，从而使启动的报警信号引起这些其他的设备发挥预期的功能。

应当理解的是，此处所述的流程图是说明性的。流程图中任意一个所示的一个或多个操作步骤可以以不同的顺序进行。其他的操作，例如，可以添加、修改、增强、简化、集成或综合到这些步骤中。意在使这些变化方案落入所附权利要求书的范围。流程图的全部或部分可以在硬件中结合机器可执行指令部分或全部执行。

现在参考图11，该图示出了一种示例性视频的处理系统的模块图，该处理系统用于实施根据如图10所述的本发明方法的各个方面。

在图11中，工作站1100被设置成与通信元件1102通信，以接收来自例如图3中的摄像机310的检测到的结构照明图案，或者经由网络1101实现不同装置和计算机工作站1100之间的通信。工作站1100包括：用于实现信息显示的显示装置1103以及用于实现用户输入和选择的键盘1105。本系统的操作者可以使用工作站的图形用户界面来识别或选择视频图像进行加工或再加工，并提供本发明实施可能需要的用户输入。接收到的视频可以通过网络1101从远程设备检索。视频的各个部分可以被存储到与工作站1100通信的存储器或存储装置（未示出），或可以通过网络1101利用例如设备1102之类通信装置与远程设备通信以进行远程存储或进一步处理。工作站1100和通信设备1102与视频处理单元1106处于通信状态，以根据本发明的教导处理视频。

视频处理单元1106显示包括缓冲器1107。这种缓冲器可以用来对有关接收到的图像的信息进行排队，例如，诸如图像帧内的一个或多个目标区域、视频大小、时间/日期以及类似信息。缓冲器也可以被配置为存储数据、数学公式和其他表征信息以促进根据本发明的教导方法对图像进行处理。视频预处理器1108对视频进行任何期望或要求的预处理，以补偿由于皮肤表面的弯曲造成的不均匀照射、由于躯体或表面的运动导致的运动诱发模糊、成像模糊以及缓慢的照明变化。视频预处理器1108可被编程以对数据进行降维并对视频信号进行独立分量分析（ICA）。光失真测定仪1109测定接收到的反射的结构光图案中的失真量。空间失真处理器1110接收所测定的失真量，并对所测定的空间失真的空间属性与已知的未失真的照明图案的空间属性进行对比，从而使失真表征在每一个图像帧中。空间失真数据将提供给存储装置1111。对于视频中的每一帧，深度地图处理器1112从存储装置1111逐个像素地检索所测定的空间失真量并将失真信息转换为深度值。然后根据目标区域表面的不同位置的所表征的失真绘制深度地图并将其存储在存储装置1111中。3D体积估算器1113根据深度地图在每帧的基础上估算3D体积。时间序列信号发生器1114检索所得到的3D体积数据并将这些信息并置（concatenate）在一起以得到估算的3D时间序列数据。呼吸频率估算器模块1115，以本发明披露的方式，根据3D时间序列数据估算被测主体的呼吸频率。被测主体的呼吸频率传送给传输元件1116，传输元件1116进而将呼吸频率传送给病人的医师、或例如传送给护士或呼吸治疗师。这样的传送信息可以包括原始视频的部分或全部和/或所得到的3D时间序列数据中的部分或全部。所发送的信号的部分或全部被进一步传送给工作站1100并显示在图形显示设备1103，以进行可视审查。在另一实施方式中，患者的呼吸频率与针对该患者设定的一个或多个参数相对比，当被测主体的呼吸频率不在可接受的限度或范围内时，激发通知信号。通知信号可以包括可听见的声音以提示用户或专家患者需要照料。这种通知的形式可以是录音音频信息，或，例如，振铃音或声波警报。所传送的通知消息可以为文本、音频和/或视频消息，这些消息可以被直接传送到移动手持设备。这种通知可以包括，或另外包括，启动可见光用以提供诸如，例如，闪烁的彩色光之类的视觉通知。意在将这样的实施方式包含在所附的权利要求书的范围之内。

图11所示的各种模块和处理单元与显示器1103通信以在其上呈现供用户选择的信息。图11中任何的模块和/或处理单元通过显示或未显示的路径与存储装置1111通信并可存储/检索执行其不同功能所需的数据、参数值、函数、网页、记录和机器可读/可执行程序指令。视频处理系统1106中的每一个模块和处理单元也均通过未示出的路径与工作站1100通信，并可进一步通过网络1101与一个或多个远程设备通信。应当理解的是，任一模块中的部分或全部功能可以全部或部分地由工作站内部部件执行。还应当理解的是，该工作站具有操作系统和其他专业软件，该软件被配置为显示各种数值、文本、滚动条、用户可选择的下拉菜单、和类似信息，以便输入、选择或修改显示在装置1103上的信息。

本发明的实施方式中的各种模块可指定一个或多个部件，这些部件进而可包括用于执行预定功能的软件和/或硬件。多个模块可以共同执行一项功能。每个模块都可以具有能够执行机器可读程序指令的专门处理器。模块可以包括单个的硬件，例如专用集成电路（ASIC）、电子电路、或专用处理器。多个模块可以由单个特殊用途的计算机系统或多个专用计算机系统平行执行。模块间的连接包括物理连接和逻辑连接。模块可进一步包括一个或多个软件/硬件模块，这些软件/硬件模块可进一步包括操作系统、驱动器、设备控制器和其它装置，这些装置中的部分或整体可以通过网络连接。还可以设想，本发明方法的一个或多个方面可以在专用计算机系统上被实现，并且还可以在分散的计算环境中实践，其中任务由通过网络链接的远程设备完成。

在不脱离本发明的主体和范围的情况下，可以对上述实施方式进行各种改变。

Claims (6)

1.一种在非接触的、远程感测环境中对进行呼吸功能监测的被测主体的呼吸频率进行估算的方法，该方法包括：

接收进行呼吸功能监测的被测主体的躯体上的目标区域的视频，其中，所述视频是通过使用摄像机和被配置为照射结构照明的图案的光源捕获的，所述摄像机对在所述结构照明的波长的电磁辐射是灵敏的，所捕获的所述视频的每幅图像包括通过来自所述目标区域的表面的对所述结构照明的反射所发射的辐射的采样，来自所述表面的所述照射的图案的反射造成空间失真；

对所述视频图像进行处理从而重构场景中的3D深度信息以及根据所述目标区域的所述3D深度信息估算3D时间序列数据；以及

根据所述3D时间序列数据估算所述主体的呼吸频率，

其中估算所述3D时间序列数据包括：

针对所述视频的每幅图像：

将所述空间失真的空间属性与已知的未失真的照射图案的空间属性进行比较，使得所述失真能够表征在所述图像中；

根据所表征的所述失真计算在所述目标区域的所述表面的不同位置处的深度地图；并

根据所述深度地图估算3D体积；并

将所估算得到的所述3D体积并置起来从而得到所估算的所述3D时间序列数据。

2.如权利要求1所述的方法，其中，所述摄像机包括在可见光波长范围内灵敏的摄像机和在红外光波长范围内灵敏的IR摄像机中的一种。

3.如权利要求1所述的方法，其进一步包括监测所述呼吸频率在下列任一情况下的递增变化量：医院意外死亡模式I和医院意外死亡模式II。

4.一种在非接触的、远程感测环境中对进行呼吸功能监测的被测主体的呼吸频率进行估算的系统，所述系统包括：

被配置为照射结构照明的图案的光源；

用于捕获进行呼吸功能监测的被测主体的目标区域的视频的摄像机，所述摄像机至少对在所述结构照明的波长的电磁辐射是灵敏的，其中，所述视频是通过使用摄像机和被配置为照射结构照明的图案的光源捕获的，所述摄像机对在所述结构照明的波长的电磁辐射是灵敏的，所捕获的所述视频的每幅图像包括通过来自所述目标区域的表面的对所述结构照明的反射所发射的辐射的采样，来自所述表面的所述照射的图案的反射造成空间失真；和

与所述摄像机和显示装置通信的处理器，所述处理器执行机器可读程序指令以实施：

接收由所述摄像机捕获的视频，所述视频的每幅图像包括通过来自所述目标区域的表面的对所述结构照明的反射所发射的辐射的采样，来自所述表面的所述照射的图案的反射造成空间失真；

处理所述视频从而估算所述目标区域的3D时间序列数据；

根据所述3D时间序列数据估算呼吸频率；和

将所估算的所述呼吸频率传送给所述显示装置，

其中估算所述3D时间序列数据包括：

针对所述视频的每幅图像：

将所述空间失真的空间属性与已知的未失真的照射图案的空间属性进行比较，使得所述失真能够表征在所述图像中；

根据所表征的所述失真计算在所述目标区域的所述表面的不同位置处的深度地图；并

根据所述深度地图估算3D体积；并

将所估算得到的所述3D体积并置起来从而得到所估算的所述3D时间序列数据。

5.如权利要求4所述的系统，其中，所述摄像机包括在可见光波长范围内灵敏的摄像机和在红外光波长范围内灵敏的IR摄像机中的一种。

6.如权利要求4所述的系统，其进一步包括监测所述呼吸频率在下列任一情况下的递增变化量：医院意外死亡模式I和医院意外死亡模式II。