CN112074226A - 用于生命体征的远程测量的系统和方法 - Google Patents

Abstract

一种远程光容积描记(RPPG)系统包括：输入接口，所述输入接口接收人的皮肤的不同区域的强度的测量序列，所述测量序列指示人的生命体征；解算器，所述解算器对优化问题进行求解以确定与所述不同区域处的测得的强度相对应的光容积描记波形的频率系数，其中，所述解算器对所述频率系数施加联合稀疏性，并且确定所述频率系数以缩短从所述频率系数重构的皮肤的强度和皮肤的对应的测得的强度之间的距离；以及估计器，所述估计器从光容积描记波形的确定的频率系数估计人的生命体征。

Description

用于生命体征的远程测量的系统和方法

技术领域

本发明总体上涉及远程地监视人的生命体征，更具体地涉及生命体征的远程光容积描记(RPPG)测量。

背景技术

人的生命体征，例如心率(HR)、心率变化性(HRV)、呼吸率(RR)或血氧饱和度，用作人的当前状态的指示符和严重的医疗事件的潜在预测符。由于这个原因，生命体征在住院病人和门诊病人护理设置、在家里、以及在其他健康、休闲和健身设置中被广泛地监视。测量生命体征的一种方式是容积描记术。容积描记术一般是指器官或身体部分的体积变化的测量，特别是指由于每一次心跳时行进通过人的身体的心血管脉搏波而导致的体积变化的检测。

光容积描记术(PPG)是评估感兴趣的面积或体积的光反射或透射的时变的变化的光学测量技术，该技术可以用于检测组织的微血管床中的血容量变化。PPG基于血液与周围组织不同地吸收和反射光的原理，所以每一次心跳时的血容量的变化对应地影响透射或反射。PPG常用于非侵入性地在皮肤表面进行测量。PPG波形包括归因于每一次心跳时的血容量中的心脏同步变化的脉动生理波形，并且叠加在具有归因于呼吸、交感神经系统活动和体温调节的各种低频分量的缓慢变化的基线上。尽管PPG信号的分量的起源没有被充分理解，但是一般接受的是，它们可以提供关于心血管系统的有价值的信息。

用于测量人的心率和(动脉)血氧饱和度的常规的脉搏血氧仪附连到这个人的皮肤，例如附连到指尖、耳垂或额头。因此，它们被称为“接触”PPG装置。典型的脉搏血氧仪可以包括作为光源的绿色LED、蓝色LED、红色LED和红外LED的组合、以及用于检测已经透射通过病人组织的光的一个光电二极管。市场上可买到的脉搏血氧仪在不同波长上的测量之间快速地切换，从而测量同一面积或体积的组织在不同波长上的透射率。这被称为时分复用。每个波长上的随着时间的过去的透射率为不同波长给出PPG波形。尽管接触式PPG被认为是基本上非侵入性的技术，但是接触式PPG测量通常被体验为使人不愉快的，因为脉搏血氧仪直接附连到人，并且任何线缆限制移动的自由度。

最近，用于不引人注意的测量的非接触远程PPG(RPPG)装置已经被引入。RPPG利用光源或者、一般来说、远离感兴趣的人设置的辐射源。类似地，检测器，例如，相机或光检测器，可以远离感兴趣的人设置。因此，远程光容积描记系统和装置被认为是不引人注意的，并且非常适合于医疗以及非医疗每日应用。

基于相机的生命体征监视与身体上传感器相比的优点之一是非常容易使用：不需要附连传感器；仅使相机瞄准人就够了。基于相机的生命体征监视较于身体上传感器的另一个优点是实现运动鲁棒性的潜能：相机具有比多数包括单一元件检测器的接触式传感器大的空间分辨率。

对于RPPG技术的挑战之一是能够在运动/光失真下提供准确的测量。使得能够实现鲁棒的基于相机的生命体征测量的几种方法已经被开发。对于这样的测量，通常基于捕捉的图像序列的图像处理来捕捉多个信号。所述多个信号可以来源于传感器的与人的皮肤的不同区域相对应的不同像素，和/或来源于与同一空间位置相对应的一个像素的不同的颜色通道。然后，从所述多个信号推导光容积描记波形。这些光容积描记波形指示可以通过这些波形的进一步的分析确定的人的生命体征。

然而，光容积描记波形的质量降至由感测的测量的信噪比(SNR)的值确定的程度。由于光变化而导致的低SNR和由于运动而导致的光容积描记波形中的假峰具有使PPG信号混淆的可能性。为了解决这些挑战，一些方法执行多个光容积描记波形的广泛分析。例如，U.S.2016/0220128中描述的方法估计多个光容积描记波形的加权的组合以减少由噪声引起的异常值(outlier)。然而，这样的方法不一定能够从信号移除足够的噪声，并且不一定能够总是导致最佳的结果。

因此，需要降低人的皮肤的强度(例如，图像像素强度)的测量中的RPPG估计对于噪声的敏感度。

发明内容

[技术问题]

一些实施例是基于以下认识的，即，人的皮肤的强度(例如，相机图像中的像素强度)的测量中的远程光容积描记术(RPPG)对噪声的敏感度至少部分是由于从在不同的空间位置处测得的、人的皮肤的强度独立推导光容积描记波形而引起的。一些实施例是基于以下认识的，即，在不同的位置处，例如，在人的皮肤的不同区域处，测量强度可能遭受到不同的、有时甚至无关的噪声。为此，从人的皮肤的不同区域的强度独立估计光容积描记波形可能无法相互协助以识别这样的噪声。

一些实施例是基于以下认识的，即，可以通过总体地估计在人的皮肤的不同区域测得的、该皮肤的强度的不同的光容积描记波形来降低噪声对RPPG估计的质量的影响。实际上，当RPPG用于估计人的生命体征(例如，心率)时，心跳是皮肤的所有区域中存在的强度变化的共同的来源。为此，可以有益的是，总体地、即，使用共同的度量来估计不同区域的光容积描记波形。

一些实施例是基于以下认识的，即，两种类型的噪声作用于皮肤的强度，即，外部噪声和内部噪声。外部噪声由于外部因素，诸如光变化、人的运动、以及测量强度的传感器的分辨率，影响皮肤的强度。内部噪声由于内部因素，诸如心血管血液流动对人的皮肤的不同区域的外观的不同影响，影响皮肤的强度。例如，心跳对人的额头和脸颊的强度的影响可以大于它对鼻子的强度的影响。

一些实施例是基于以下认识的，即，可以在强度测量的频域中处理两种类型的噪声。具体地说，外部噪声通常是非周期性的，或者具有与感兴趣信号(例如，脉动信号)不同的周期性频率，因此可以在频域中被检测到。另外，内部噪声虽然导致皮肤的不同区域中的强度变化的强度幅值变化或时移，但是在频域中保留了强度变化的共同的来源的周期性。为此，一些实施例是基于以下认识的，即，需要在强度测量的频域中、而不是在强度测量本身的域中，在估计光容积描记波形时施加共同的度量。

一些实施例是基于以下认识的，即，如果光容积描记波形的频率系数是直接从强度测量推导的，则对这样的直接估计在频域中施加共同的度量可能是有问题的。然而，可以有利的是，在频率系数的估计期间、而不是在频率系数被估计之后施加共同的度量。为此，一些实施例利用优化框架来重构光容积描记波形的频率系数以与测得的频率匹配，而不是从测得的强度直接计算频率系数。频率系数估计时的这样的相反方向使得可以以可以对不同区域的不同的光容积描记波形的频率系数施加共同的度量为约束来执行重构。因为这样的重构与从强度测量直接估计频率系数的方向相反，所以这样的重构在本文中被称为反向重构。

一些实施例是基于以下认识的，即，在频域中，对不同的光容积描记波形施加的共同的度量可以是光容积描记波形的频率系数的联合稀疏性。频率系数的联合稀疏性使得不同的光容积描记波形在相同的频率区间中稀疏地在一起，和/或只在相同的频率区间中具有大的能量。这样的联合稀疏性足以反映强度变化的共同的来源的概念，并且可以联合地帮助不同的光容积描记波形移除由外部噪声和内部噪声引起的不同的且可能无关的异常值，使得RPPG对噪声更不敏感。

为此，一些实施例以使使用确定的频率系数估计的对应的强度信号和测得的强度信号之间的差最小化的方式，确定人的皮肤的不同区域的强度信号的光容积描记波形的频率系数，并且对确定的频率系数施加联合稀疏性。例如，一些实施例使用确定的频率系数的逆傅里叶变换来估计强度信号。这样的反向重构使得可以降低RPPG估计对测量噪声的敏感度。

一些实施例是基于以下认识的，即，频率系数的确定可以被表示为优化(例如，最小化)问题，而联合稀疏性的施加可以被表示为对优化的约束。以这样的方式，可以降低对于找到频率系数的计算要求。一些实施例是基于以下认识的，即，约束可以被作为禁止其违反的硬约束或惩罚其违反的软约束施加。一些实施例在期望恢复的生命体征的周期性时施加硬约束。否则，一些实施例施加软约束。例如，一个实施例将联合稀疏性作为软约束施加以用于测量心率。

一些实施例通过在优化中包括不同的光容积描记波形的频率系数的加权的2-1范数来将联合稀疏性作为软约束施加。优化的2-1范数分量促进频率系数的联合稀疏性，而2-1范数分量的权重确定对于违反该软约束的惩罚。因此，2-1范数分量的权重可以用于根据正被测量的生命体征的类型来改变非零频率系数的数量。

一些实施例在较长的时间段(例如，数分钟、数小时或者甚至数天)期间获取强度测量作为连续的信号。为了降低计算要求，一些实施例对于这些连续的信号的时间段序列顺序地确定生命体征。这些段可以彼此重叠或邻接。然而，一些实施例是基于以下认识的，即，从频率系数反向重构光容积描记波形在跨所述连续的信号的不同段估计生命体征时可能引入不连续。

为了解决该不连续问题，一个实施例使用重叠的段来确定生命体征。在每个控制时间步长，当前段包括第一部分和第二部分，第一部分对应于先前处理的强度测量(来自在前一个控制时间步长中被处理的前一个段)，第二部分对应于新测量的强度。对于所述段的第一部分，实施例使用从前一个控制步长期间对第一部分确定的频率系数重构的强度信号。然后使用加权的平均值将重构的强度与第二部分的测得的强度联接以形成当前段的强度测量。这样的联接具有使处理的信号和未被处理的信号之间的差平滑的效果，该效果减少估计的生命体征的不连续。

一个实施例的目的是提供适合于估计驾驶车辆的人的生命体征的RPPG系统。这样的RPPG系统对于检测驾驶者警觉的变化是有用的，并且可以帮助防止事故。不幸的是，RPPG对于驾驶者监视的应用呈现出几个独有的挑战。具体地说，在驾驶期间，对驾驶者的面部的照射可能急剧地改变。例如，在白天，太阳光在到达驾驶者的面部之前被树、云和建筑物过滤。随着车辆移动，该直接照射可能在幅度和空间广度这二者上频繁地且急剧地改变。在晚上，高架路灯和靠近的汽车的头灯引起大的强度、照射中的空间上不均匀的变化。这些照射变化可能很急剧且遍及各处以至于缓解这些照射变化的若干种方法不实用。

为了解决这些挑战，一个实施例使用窄频带中的主动车内照射，在该照射中，太阳光和路灯光谱能量这二者都是最小的。例如，由于大气中的水，到达地球表面的太阳光在940nm的频率左右具有比它在其他频率具有的能量少得多的能量。路灯和车辆头灯输出的光通常在可见光谱中，在红外频率具有非常小的功率。为此，一个实施例使用940nm的主动窄带照射源和同一频率的相机滤波器，这确保由于环境周围照射而导致的照射变化中的很多被滤掉。此外，因为这个940nm的窄频带超出可见范围，所以人类感知不到该光源，因此不会由于其存在而分散注意力。而且，主动照射中所用的光源的带宽越窄，相机上的带通滤波器可以越窄，这进一步排除由于周围照射而导致的变化。例如，一些实现使用具有10nm带宽的LED源和相机带通滤波器。

因此，一个实施例使用窄带宽近红外(NIR)光源和NIR相机，所述NIR光源以包括940nm的近红外频率的窄频带照射人的皮肤，所述NIR相机在该窄频带中测量皮肤的不同区域的强度。以这样的方式，所述不同区域中的每个的强度的测量都是单通道测量。

一些实施例是基于以下认识的，即，在包括940nm的近红外频率的窄频带中，通过NIR相机观察的信号远弱于通过彩色强度相机(诸如RGB相机)观察的信号。然而，实验证实了一些实施例在处理弱强度信号时所用的稀疏重构RPPG的有效性。

另外，一些实施例是基于以下认识的，即，因为通过NIR相机测得的强度信号弱，所以附加方法对提高测得的强度的SNR可能是有益的。为此，一个实施例使用滤波器来使用异常值鲁棒的主成分分析(RPCA)对不同区域中的每个的强度的测量去噪。该实施例所用的RPCA在计算上要求高，并且当强度信号具有高SNR时，如使用RGB相机的情况下那样，可能不是必要的。然而，对于940nm频带上的测量，这些附加的计算可以是合乎情理的。

附图说明

图1A示出例示说明一些实施例使用远程光容积描记术(RPPG)确定人的生命体征所用的一些原理的示意图。

图1B示出一些实施例对针对人的皮肤的不同区域的光容积描记波形的联合估计在频域中施加联合稀疏性所用的一些原理的示意图。

图1C示出根据一些实施例的远程光容积描记(RPPG)系统100c的框图。

图1D示出根据一个实施例的RPPG方法的框图。

图2示出一些实施例的示例RPPG方法的示意图。

图3示出用于确定一些实施例估计不同区域的有用性所用的RPPG信号的信噪比(SNR)的功率谱曲线的示意图。

图4A示出根据一个例子的RPPG系统的示意图。

图4B示出根据另一个例子的RPPG系统的示意图。

图5示出一些实施例所用的、地球表面处的太阳光的光谱的绘图。

图6示出用于IR和RGB中的RPPG信号频谱的比较的绘图。

图7示出根据一个实施例的包括处理器的车辆的示意图，所述处理器用于运行RPPG方法以生成该车辆中的人的生命体征。

具体实施方式

图1A示出例示说明一些实施例使用远程光容积描记术(RPPG)确定人的生命体征所用的一些原理的示意图。一些实施例是基于以下认识的，即，在人110a的皮肤的强度(例如，相机图像中的像素强度)的测量中RPPG对噪声的敏感度至少部分是由于从在不同的空间位置处测得的、人的皮肤的强度120a和130a独立推导140a光容积描记波形而引起的。一些实施例是基于以下认识的，即，在不同的位置处，例如，在人的皮肤的不同区域处，测量强度可能遭受到不同的、有时甚至无关的噪声。为此，从人的皮肤的不同区域的强度独立估计140a的光容积描记波形可能无法相互协助以识别这样的噪声。

一些实施例是基于以下认识的，即，在人的皮肤的不同区域处测得的强度可能遭受到不同的、有时甚至无关的噪声。相对于此，心跳是皮肤的不同区域中存在的强度变化的共同的来源。因此，当独立估计140a被替换150a为在人的皮肤的不同区域处测得的、该皮肤的强度的不同的光容积描记波形的联合估计160a时，噪声对RPPG估计的质量的影响可以被降低。这样，实施例可以提取对于许多区域(包括还可以包含相当大的噪声的区域)共同的PPG波形，并且忽略在许多区域上不被共享的噪声信号。

一些实施例是基于以下认识的，即，可以有益的是，总体地、即，使用共同的度量180a来估计不同区域的PPG波形。一些实施例是基于以下认识的，即，两种类型的噪声作用于皮肤的强度，即，外部噪声和内部噪声。外部噪声由于外部因素，诸如光变化、人的运动、以及测量强度的传感器的分辨率，影响皮肤的强度。内部噪声由于内部因素，诸如心血管血液流动对人的皮肤的不同区域的外观的不同影响，影响皮肤的强度。例如，心跳对人的额头和脸颊的强度的影响可以大于它对鼻子的强度的影响。

一些实施例是基于以下认识的，即，可以在强度测量的频域中处理两种类型的噪声。具体地说，外部噪声通常是非周期性的，或者具有与感兴趣信号(例如，脉动信号)不同的周期性频率，因此可以在频域中被检测到。另外，内部噪声虽然导致皮肤的不同区域中的强度变化的强度幅值变化或时移，但是在频域中保留了强度变化的共同的来源的周期性。

为此，一些实施例是基于以下认识的，即，应在强度测量的频域180a中、而不是在强度测量本身的域中施加用于估计不同区域的光容积描记波形的共同的度量。另外，频率系数的联合稀疏性使得不同的光容积描记波形在相同的频率区间中稀疏地在一起，和/或只在相同的频率区间中具有大的能量。因此，联合稀疏性足以反映一些实施例所用的强度变化的共同的来源的概念。

图1B示出一些实施例对针对人的皮肤的不同区域的光容积描记波形的联合估计在频域中施加联合稀疏性所用的一些原理的示意图。一些实施例是基于以下认识的，即，因为一些生命体征(诸如心跳信号)是局部周期性的并且存在于所有区域内，所以应在频域中施加这个共同的度量。然而，强度测量可能受也是周期性的噪声的影响。因此，如果光容积描记波形的频率系数是直接从强度测量推导的，则对这样的直接估计在频域中施加共同的度量是有问题的。

然而，一些实施例是基于另一认识的，即，光容积描记波形的直接估计110b(即，从测量推导波形)可以被替换120b为优化框架，来重构130b光容积描记波形的频率系数以与测得的强度匹配，而不是从测得的强度直接计算频率系数。估计频率系数时的这样的相反方向使得可以以可以对不同区域的不同的光容积描记波形的频率系数施加共同的度量(即，联合稀疏性)为约束来执行重构。

图1C示出根据一些实施例的远程光容积描记(RPPG)系统100c的框图。系统100c包括处理器120c和存储器140c，处理器120c被配置为执行存储的指令，存储器140c存储处理器可执行的指令。处理器120c可以是单核处理器、多核处理器、计算集群或任何数量的其他的配置。存储器140c可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其他的合适的存储器系统。处理器120c通过总线106c连接到一个或多个输入装置和输出装置。

存储在存储器140c中的指令实现用于从人的皮肤的强度的测量估计这个人的生命体征的RPPG方法。为此，RPPG系统100c还可以包括适于存储强度值134c的存储装置130c、以及被处理器120c执行从而执行生命体征估计的各种模块(诸如组件131c、132c和133c)。存储装置130可以使用硬盘驱动器、光学驱动器、拇指驱动器、驱动器阵列或它们的任何组合来实现。

例如，RPPG系统100c包括解算器131c，解算器131c对优化问题进行求解以确定与不同区域处的测得的强度相对应的光容积描记波形的频率系数。根据不同实施例所用的一些原理，解算器对频率系数施加联合稀疏性，并且确定频率系数以缩短从频率系数重构的皮肤的强度和皮肤的对应的测得的强度之间的距离。频率系数的这样的反向重构使得可以在频域中施加共同的度量，即，联合稀疏性。

RPPG系统100c包括估计器132c，估计器132c从光容积描记波形的确定的频率系数估计人的生命体征。在一些实现中，RPPG系统100c包括滤波器133c，滤波器133c使用鲁棒主成分分析(RPCA)来对不同区域中的每个的强度的测量去噪。

系统100c包括输入接口150c，输入接口150c接收人的皮肤的不同区域的强度的测量序列，该测量序列指示这个人的生命体征。例如，输入接口可以是适于通过总线106c将RPPG系统100c连接到网络190c的网络接口控制器。通过网络190c，强度测量195c的值可以被下载，并且被作为强度值134c存储在计算机的存储系统130c中以用于存储和/或进一步的处理。

附加地或可替代地，在一些实现中，RPPG系统100c连接到远程传感器112c，诸如相机，以收集强度值134c。在一些实现中，系统100c内的人机接口(HMI)110c将该系统连接到输入装置111c，除了别的之外，诸如键盘、鼠标、轨迹球、触控板、操纵杆、指点杆、手写笔或触摸屏。

RPPG系统100c可以通过总线106c链接到输出接口以呈现人的生命体征。例如，RPPG系统100c可以包括适于将系统100c连接到显示装置165c的显示接口160c，其中，除了别的之外，显示装置165c可以包括计算机监视器、相机、电视机、投影仪或移动装置。

RPPG系统100c还可以包括适于将该系统连接到成像装置175c的成像接口170c，和/或还可以连接到成像接口170c。成像装置175c可以包括摄像机、计算机、移动装置、网络摄像头或它们的任何组合。

在一些实施例中，RPPG系统100c通过总线106c连接到应用接口180c，应用接口180c适于将RPPG系统100c连接到应用装置185c，应用装置185c可以基于远程光容积描记术的结果来进行操作。例如，在一个实施例中，装置185是使用人的生命体征来决定如何控制(例如，操控)汽车的汽车导航系统。在其他实施例中，所述装置可以用于控制车辆的组件。例如，在一个实施例中，装置185是使用驾驶者的生命体征来确定驾驶者何时能够安全地驾驶(例如，驾驶者是否困倦)的驾驶者监视系统。

图1D示出根据一个实施例的RPPG方法的框图。使用输入接口110(诸如随着从皮肤反射出来的光在一段时间段期间变化，测量该光的强度的摄像机)来测量人的一组不同的皮肤区域120，以生成原始的RPPG矩阵P 100。示图示出位于面部上的皮肤区域(面部区域)，但是理解各种实施例不限于使用面部；其他实施例使用暴露的皮肤的其他区域，诸如人的颈部或手腕。使用解算器150来处理包括随着时间的过去的面部区域的测得的强度的原始的RPPG矩阵100，解算器150是解算器131c的实现，通过迭代过程来确定140与人的生命体征相对应的频率系数150。

在一些实现中，所述迭代过程从将所有的面部区域的估计的频率系数185设置为0并且计算频率系数185的逆傅里叶变换170以生成估计的区域强度175开始。然后从原始的RPPG矩阵100减去191表示系统对RPPG信号的估计的这些估计的区域强度175。使用傅里叶变换160对原始的RPPG矩阵100和估计的区域强度175之间的差值191进行变换以生成暂时的频率系数161。将暂时的频率系数161与估计的频率系数185相加192以生成更新的频率系数162。对更新的频率系数162进行修改以施加联合稀疏性180，并且使用结果所得的频率系数作为新的估计的频率系数185。使用取代前一次迭代的估计的频率系数185的新的估计的频率系数185用于解算器过程150的下一次迭代。

在一些实施例中，解算器将联合稀疏性作为优化问题的软约束施加，以使得施加联合稀疏性180使得估计的频率系数185仅在少数频率区间中具有非零值，以使得非零区间在所有的面部区域上都是相同的频率区间。重复迭代解算器过程150，直到满足收敛条件186为止，例如，当新的估计的频率系数185与前一次迭代的估计的频率系数185基本上没有变化时。在收敛186之后，解算器输出估计的频率系数185，并且使用估计的频率系数185来估计生命体征140。例如，在一个实施例中，估计的生命体征是时间段期间的人的心跳130的频率。

图2示出适于可以被应用于与NIR照射和未知的周围照明的组合一起记录的视频的RPPG信号跟踪和去噪的一些实施例的示例RPPG方法的示意图。在一些实现中，RPPG方法提取、跟踪RPPG信号并对RPPG信号去噪以获得心率测量。所述方法自适应地选择面部区域，即，期望的生命体征对原始的RPPG信号有重要贡献的多个面部区域，并且通过依赖于脉动信号在频域中应是稀疏的并且在面部区域上是低阶的事实来对它们的估计的RPPG信号去噪。

RPPG方法通过在每个时间步长(例如，每个视频帧)对N个皮肤区域120中的每个中的所有的像素上的像素强度求取平均来从人的视频获得210原始的RPPG信号。在一些实施例中，这些皮肤区域120是集中于额头、脸颊和下巴区域周围的面部区域。在一些实施例中，RPPG方法排除沿着面部边界的区域以及眼睛、鼻子和嘴巴，因为这些区域表现出弱的RPPG信号。

对于每一个面部区域j∈{1,...,N}，测得的强度p_j(t)是一维时间系列信号，其中，t∈{1,...,T}是长度T的时间窗口内的时间视频帧索引。在一些实施例中，测得的强度p_j(t)是区域j中的所有像素在时间t时的强度的均值。在其他实施例中，测得的强度可以是区域强度的另一个测度，诸如时间t时的区域j中的像素上的中值强度、或区域的强度的某个其他的鲁棒的平均测度。

在一般的表达方法中，RPPG方法按照多通道信号获取场景对来自N个面部区域的RPPG测量进行建模，其中，每一个面部区域j提供被噪声污染的基础的心跳信号的不同的通道测量。具体地说，一个实施例如下对测得的信号p_j(t)进行建模：

p_j(t)＝h_j(t)*y_j(t)+n_j(t), (1)

其中，*是线性卷积算子，y_j(t)表示在通道j处观察到的心跳信号，h_j(t)和n_j(t)分别表示通道响应函数和通道噪声。因为心跳信号在频域中已知是稀疏的，所以我们以如下所示的矢量形式来重写(1)：

p_j＝h_j*F^-1x_j+n_j, (2)

其中，F是大小为T的一维离散傅里叶变换，x_j∈C^T表示心跳信号y_j∈R^T的稀疏频谱。

(2)中的信号模型是在诸如无线通信和传感器标定的领域中出现的盲多通道估计问题。具体地说，如果

在所有的区域j上都是固定的，则所述问题被构造为从多快照模型的自标定。这些模型的可恢复性依赖于找到通道响应h_j和稀疏信号

的低维表征的能力。这些实施例考虑以下信号模型：

p_j＝F^-1x_j+n_j, (3)

其中，稀疏谱信号x_j相互不相等，但是它们共享相同的支持，即，具有非零能量的频率在所有的面部区域上几乎都是相同的。

在一些实施例中，RPPG方法使用鲁棒主成分分析(RPCA)来对不同区域中的每个的强度的测量去噪。例如，一个实施例通过考虑长度为T的滑动时间窗口来处理RPPG数据。如图2所示，对于每个时间窗口，一些实施例将N个RPPG信号堆积到T×N RPPG矩阵P 100中。在一个实施例中，矩阵P的列通过将每列的条目除以该列中的平均能量而被预处理。除以平均强度的处理使矩阵P中的强度的范围规范化，使得处理可以同样地处置所有的区域。

RPPG矩阵100包含原始的RPPG信号，这些信号由于诸如不准确的运动对齐、突然的照射变化、以及区域上的RPPG信号的强度的变化的因素而可能被大量噪声污染。然而，所有的区域都应表达由心脏周期引起的相同的周期性生理学信号(即，脉动信号)。而且，当噪声被移除时，时间窗口的持续时间期间的基础的心跳信号的周期性导致低阶矩阵。因此，一些实施例将RPPG矩阵P 100建模为包含心跳信号的低阶矩阵Y和噪声矩阵N＝E+S的叠加，其中，E表示正常值(inlier)噪声232，S表示异常值噪声222，以使得

P＝Y+N＝Y+E+S＝Z+S. (4)

例如，异常值噪声222产生于突然的照射变化和区域跟踪误差。这些一般在相对于时间处理窗口短的持续时间期间发生，并且影响少量区域。正常值噪声232表征面部的其中心跳信号不是主导的驱动谐波的区域。在这种情况下，一些实施例抑制这样的区域的心跳信号估计。为了从P提取Y的估计并且抑制异常值，实施例遵循鲁棒主成分分析(RPCA)240方法，并且用公式表达以下优化问题：

其中，||Z||_*＝∑_kσ_k(Y)表示矩阵Z的等于其奇异值σ_k之和的核范数。矩阵S的l₁范数被定义为等于其条目的绝对值之和的||S||1＝∑_t，j|S(t，j)|。参数γ控制将被吸收到噪声分量S中的信号能量的相对比例(例如，在一个实施例中，我们设置γ＝0.05)。γ的值越小使得信号中的越多部分被认为是噪声。

各种实施例使用不同的方法来对优化问题(5)进行求解。例如，一个实施例将低阶矩阵Z划分为两个因子Z＝LR^T，其中，L∈R^T×r,R∈R^N×r,并且r<T,N是阶次估计参数(例如，在一个实施例中，我们设置阶次r＝12)。注意，RPCA模型能够从RPPG测量消除异常值噪声222，使得该方法快且准确。

对RPPG信号去噪的例示说明是图2的部分220中所示的RPCA 240。然而，在一些情况下可能发生来自面部区域的信号在整个时间窗口内是有噪声的。这样的噪声分布仍可以被建模为低阶的，因此将不被RPCA移除。一些实施例使用稀疏谱估计250来解决这样的噪声伪像。

例如，在短的时间窗口期间，心跳信号大致上是周期性的，由主导频率连同其谐波组成。结果，心跳信号的频谱应是稀疏的。而且，相同的心跳信号在所有的面部区域上的RPPG信号中都驱动周期性行为。因此，来自所有区域j的信号y_j的无噪声频谱x_j应具有相同的支持。

考虑(4)中的信号模型，该信号模型被重写以将RPCA的去噪的输出建模为z_j＝F^{- 1}x_j+e_j，并且被书写为以下矩阵形式：

其中，E 232对应于区域级别噪声。因此，如果区域有噪声，则一些实施例将该区域的整个时间窗口(所有的采样)都吸收到矩阵E中。这可以通过使得E的所有列为零或非零来实现。另一方面，因为X 130中的频率分量应是稀疏的，并且在所有的区域上都具有相同的支持，所以X的列是联合稀疏的，即，X的所有行要么是全都是零，要么全都是非零。

因此，一些实施例定义以下优化问题来从Z 221计算X 130和E 232：

其中，我们将矩阵A定义为块矩阵A＝[F^-1 I]，矩阵X的l_2,1范数被定义为：

在一个实施例中，我们设置λ＝0.2,μ＝1。可以使用迭代收缩/阈值化方法(诸如FISTA)来获得以上问题的解，其中，收缩函数应被适当地应用于X的行范数和E的列范数以生成恢复的信号X 130和噪声E 232的频谱230。

以这样的方式，优化问题包括频率系数的2-1范数、以及测得的强度和从频率系数重构的强度之间的差值，其中，频率系数的2-1范数被加权或者不被加权。使用l_2,1范数正则化施加X的联合稀疏性使得面部区域最多在多个面部区域共有的少数的频率区间中具有非零的频率系数，并且将所有的其余的频率系数设置为零。

时间窗口的融合

因为心跳信号随着时间的过去缓慢地变化，所以我们可以将RPPG观察认为是来自几乎静止的过程的多通道测量。因此，我们使用滑动窗口来处理RPPG信号：

其中，P_n表示不存在于前一个窗口中的新的RPPG数据，P_o是前一个(旧的)窗口的RPPG数据的也在当前窗口中的部分。为了更好地抑制噪声，我们构造加权平均的时间融合的窗口：

其中，

是前一个时间窗口的滤波的输出，

是

的也存在于当前时间窗口中的部分。然后使用RPCA过程来进一步对时间融合的窗口

去噪，并且如上所述那样估计新的稀疏谱。

以这样的方式，在限定测量序列的不同段的时间窗口内迭代地确定生命体征。对于当前迭代的测量段包括第一部分和第二部分，第一部分由从在与当前迭代的段的第一部分相对应的时间段内在前一次迭代期间确定的频率系数重构的强度形成，第二部分由在段的第二部分的时间段内测得的强度形成。以这样的方式，可以减少生命体征估计的不连续。

例如，一个实施例使用持续时间为10秒的时间窗口、以及时间窗口之间的重叠，其中，只有10个帧(对于以每秒30帧(30fps)记录的视频为0.33秒)来自新的时间窗口，并且我们将用于时间融合的窗口的求取平均的权重设置为α＝0.03。

排除面部区域的预处理

一些面部区域在生理学上已知包含更好的RPPG信号。然而，这些面部区域的“良好性”也取决于特定的视频条件、面部毛发或面部遮挡。因此，有益的是识别哪些区域有可能包含大多数噪声，并且在任何处理之前移除它们，以使得它们不影响信号估计。

图3示出一些实施例用于确定评估不同区域的有用性所用的RPPG信号的信噪比(SNR)的功率谱曲线的示意图。例如，一些实施例通过以下方式来这样做，即，如果区域的SNR低于阈值θ_SNR(例如，θ_SNR＝0.2)，或者如果区域的最大振幅高于阈值θ_amp，则丢弃该区域。例如，一个实施例将θ_amp设置为平均RPPG信号振幅的四倍，和/或SNR被确定300为在包含心跳信号的生理范围320(例如，从每分钟30跳到每分钟300跳(bpm))的频率范围中、围绕频谱中的最大峰的区域310中的功率谱曲线下面的面积除以频谱的其余部分中的曲线下面的面积的比率。

一些实施例在每个时间窗口内可以排除不同的面部区域。为了执行时间窗口的融合，实施例首先通过从相邻的区域进行插值来在缺失的区域中重组信号X。

(一个或多个)示例实现

为了计算原始的RPPG信号P 100，一些实施例首先使用面部对齐(即，面部标志物检测)方法来检测面部标志物211的数量(例如，68个)，然后将检测到的标志物内插和外插到大量(例如，145个)内插的标志物212以包括额头区域，并且将面部细分为更多个区域。我们使用面部标志物来将面部划分为若干个(例如，48个)面部区域120。

因为由于心跳而导致的像素强度变化是每个像素的强度的小部分，所以有必要对面部的区域上的像素的强度求取平均以便得到一致的信号。然而，该信号依然对于哪些像素包括在区域中是敏感的。在一些实施例中，我们重新检测每个视频帧中的面部区域。然而，将面部对齐算法独立地应用于每个帧可能使区域少量从一个帧移到下一个帧，并且哪些像素包括在区域中的这个变化可能增加额外的噪声，这使得难以估计感兴趣的生命体征。为了使这样的噪声最小化，一些实施例跟踪感兴趣的面部标志物或面部区域。例如，一个实施例使用Kanade-Lucas-Tomasi(KLT)跟踪器和RANSAC方法来跟踪面部区域。在每个帧中，实施例对每个面部区域中的像素强度在空间上求取平均以获得原始的RPPG信号。实施例减去每个区域的信号的随着时间的过去的均值强度，并且使用带通滤波器来将信号限制到频率范围[30bpm,300bpm]，该频率范围包括感兴趣的心脏信号的生理范围。

为了组合来自每个面部区域的去噪的信号，我们在X的区域上的每个频率区间中采取中值。我们使用中值是因为它获得对于异常值鲁棒的平均值，但是其他实施例可以使用其他的平均化方法(诸如均值)来代替中值。时间窗口中的心率的估计值是频谱的功率最大的频率分量。

图4A示出根据一个例子的RPPG系统的示意图。在该例子中，病人10正在医院病床上住院治疗。在这样的住院治疗场景下，病人10的生命体征需要被监视。常规的监视系统从而通常依赖于可附连的传感器，即，身体安装的传感器。为了提高病人舒适度，可以使用远程监视系统，这可以减少所需的线缆布线。在图4A中，例示说明了根据本发明的一方面的用于远程地监视病人10的生命体征的监视系统12。例示说明的系统12从而使用远程光容积描记测量原理。从而，相机14被用于捕捉图像，即，病人10的视频序列。

该相机可以包括用于将入射光和其强度变化转换为电子信号的CCD或CMOS传感器。相机14特别是非侵入性地捕捉从病人10的皮肤部分反射的光。皮肤部分从而可以特别是指病人的额头或胸部。光源(例如，红外光源或可见光源)可以用于照射病人或包括病人的皮肤部分的感兴趣区域。还可能的是，病人10被用某个限制的光谱的光照射，或者两个特定的光谱(即，颜色)被分别捕捉以便分析由其导致的差异。基于捕捉的图像，可以确定关于病人10的生命体征的信息。具体地说，可以确定诸如病人10的心率、呼吸率或血氧的生命体征。确定的信息通常显示在操作者界面16上以用于呈现确定的生命体征。这样的操作者界面16可以是病人床边监视器，或者也可以是医院中的专用房间中的或者甚至远程医疗应用中的远程位置上的远程监视站。在能够显示生命体征信息之前，检测到的图像需要被处理。然而，检测到的图像可能包括噪声分量。噪声的主要来源是病人10的运动和(周围)光波动。因此，需要适当的信号处理。通常，获取或多或少表示生命体征(心率、呼吸率、血氧饱和度)的多个时间信号。从而可以对特定的光谱范围(可见频带、红外频带、选定频带的组合)操作所述获取，可以在全局或局部水平上操作所述获取(每个皮肤测量区域一个时间信号、或者来源于皮肤测量区域的几个信号)，并且可以涉及比如以下的技术：主成分分析、独立成分分析、局部密度逼近、到颜色子空间中的线性投影、或比如小波、正弦建模和经验模态分解(EMD)的信号分解技术。

图4B示出根据另一个例子的RPPG系统的示意图。在该例子中，系统12从医院房间的控制环境改为驾驶者监视系统(DMS)40的易变的环境以在运动/光失真下提供准确的测量。

为此，一些实施例提供适合于估计驾驶车辆的人的生命体征的RPPG系统。这样的RPPG系统对于检测驾驶者警觉的变化是有用的，并且可以帮助防止事故。不幸的是，RPPG对于驾驶者监视的应用呈现出几个独有的挑战。具体地说，在驾驶期间，对驾驶者的面部的照射可能急剧改变。例如，在白天，太阳光在到达驾驶者的面部之前被树、云和建筑物过滤。随着车辆移动，该直接照射可能在幅度和空间广度这二者上频繁地且急剧地改变。在晚上，高架路灯和靠近的汽车的头灯引起大的强度、照射中的空间上不均匀的变化。这些照射变化可能很急剧且遍及各处以至于缓解这些照射变化的若干种方法不实用。

为了解决这些挑战，除了以上公开的利用联合稀疏性的稀疏重构之外或者代替该稀疏重构，一个实施例使用窄频带中的主动车内照射，在该照射中，太阳光和路灯光谱能量这二者都是最小的。

图5示出一些实施例所用的地球表面处的太阳光的光谱的绘图。例如，由于大气中的水，到达地球表面的太阳光在940nm的频率左右具有比它在其他频率具有的能量少得多的能量。路灯和车辆头灯输出的光通常在可见光谱中，在红外频率具有非常小的功率。为此，一个实施例使用940nm的主动窄带照射源和同一频率的相机滤波器，这确保由于环境周围照射而导致的照射变化中的很多被滤掉。此外，因为这个940nm的窄频带超出可见范围，所以人类感知不到该光源，因此不会由于其存在而分散注意力。而且，主动照射中所用的光源的带宽越窄，相机上的带通滤波器可以越窄，这进一步排除由于周围照射而导致的变化。例如，一些实现使用具有10nm带宽的LED源和相机带通滤波器。

因此，一个实施例使用窄带宽近红外(NIR)光源和NIR相机，所述NIR光源以包括940nm的近红外频率的窄频带照射人的皮肤，所述NIR相机在该窄频带中测量皮肤的不同区域的强度。以这样的方式，所述不同区域中的每个的强度的测量都是单通道测量。

一些实施例是基于以下认识的，即，在包括940nm的近红外频率的窄频带中，通过NIR相机观察的信号远弱于通过彩色强度相机(诸如RGB相机)观察的信号。然而，实验证实了一些实施例在处理弱强度信号时所用的稀疏重构RPPG的有效性。

图6示出用于IR和RGB中的RPPG信号频谱的比较的绘图。IR610中的RPPG信号比RGB620中的RPPG信号弱大约10倍。因此，一个实施例的RPPG系统包括：照射人的皮肤的近红外(NIR)光源，其中，所述NIR光源提供第一频带中的照射；以及在与第一频带重叠的第二频带中测量不同区域中的每个的强度的相机，以使得从皮肤的区域的图像的像素的强度计算皮肤的该区域的测得的强度。

第一频带和第二频带包括940nm的近红外频率。所述系统包括使用鲁棒主成分分析(RPCA)来对不同区域中的每个的强度的测量去噪。在一个实施例中由相机上的带通滤波器确定的第二频带具有小于20nm的宽度的通带，例如，带通滤波器具有其半峰全宽(FWHM)小于20nm的窄通带。换句话说，第一频带和第二频带之间的重叠小于20nm宽。与稀疏重构组合的这样的系统能够对DMS环境执行RPPG。

一些实施例合并了以下理解，即，诸如带通滤波器和长通滤波器的滤波器(即，阻挡其波长小于截止频率的光的透射、但是允许其波长大于通常相等的第二截止频率的光的透射的滤波器)对于通过该滤波器的光的入射角可能非常敏感。例如，滤波器可以被设计为当光平行于该滤波器的对称轴(大致垂直于滤波器的表面)进入该滤波器(我们将称其为0°的入射角)时，透射和阻挡指定的频率范围。当入射角从0°变化时，许多滤波器表现出“蓝移(blue shift)”，其中，滤波器的通带和/或截止频率有效地转移到更短的波长。为了解释该蓝移现象，一些实施例使用第一频带和第二频带之间的重叠的中心频率来具有大于940nm的波长(例如，它们移动带通滤波器的中心频率或长通滤波器的截止频率以具有比940nm长的波长)。

此外，因为来自皮肤的不同部分的光将以不同的入射角入射在滤波器上，所以滤波器允许来自皮肤的不同部分的光不同地透射。为了对这进行补偿，一些实施例使用具有更宽的通带的带通滤波器，例如，所述带通滤波器具有比20nm宽的通带，因此，第一频带和第二频带之间的重叠大于20nm宽。

图7示出根据一个实施例的包括处理器702的车辆702的示意图，处理器702用于运行RPPG 705以生成该车辆中的人的生命体征726。在该实施例中，NIR光源和/或NIR相机720被布置在车辆701中。例如，NIR光源被布置在车辆中以照射驾驶车辆的人的皮肤，NIR相机720被布置在车辆中以测量驾驶车辆的人的皮肤的不同区域的强度。该实施例还包括基于驾驶车辆的人的估计的生命体征执行控制动作的控制器750。例如，控制器可以降低车辆的速度和/或改变车辆的操控。

本发明的上述实施例可以以许多方式中的任何一种方式实现。例如，实施例可以使用硬件、软件或它们的组合来实现。当用软件实现时，可以在任何合适的处理器或处理器集合上执行软件代码，不管处理器是设置在单个计算机中还是分布在多个计算机之中。这样的处理器可以被实现为集成电路，其中一个或多个处理器在集成电路组件中。处理器可以使用任何合适的格式的电路系统来实现。

此外，本发明的实施例可以被实施为其例子已经被提供的方法。作为所述方法的一部分执行的动作可以按任何合适的方式排序。因此，可以构造其中按与例示说明的次序不同的次序执行动作(可以包括同时执行一些动作，即使在说明性实施例中被示为顺序的动作)的实施例。

诸如“第一”、“第二”的序数术语在权利要求中修饰权利要求元素的使用本身并不暗示一个权利要求元素较于另一个权利要求元素的任何优先、优先级或次序、或执行方法的动作的时间次序，而是仅仅用作区分具有某个名称的一个权利要求元素和具有相同名称(但是使用序数术语)的另一个元素的标签以区分权利要求元素。

Claims (20)

1.一种远程光容积描记(RPPG)系统，包括：

输入接口，所述输入接口接收人的皮肤的不同区域的强度的测量序列，所述测量序列指示所述人的生命体征；

解算器，所述解算器对优化问题进行求解，以确定与所述不同区域处的测得的强度相对应的光容积描记波形的频率系数，其中，所述解算器对所述频率系数施加联合稀疏性，并且确定所述频率系数以缩短从所述频率系数重构的皮肤的强度和皮肤的对应的测得的强度之间的距离；以及

估计器，所述估计器从光容积描记波形的所确定的频率系数估计所述人的生命体征。

2.根据权利要求1所述的RPPG系统，其中，所述解算器将联合稀疏性作为所述优化问题的软约束来施加。

3.根据权利要求1所述的RPPG系统，其中，所述优化问题包括所述频率系数的2-1范数、以及测得的强度和从所述频率系数重构的强度之间的差，其中，所述频率系数的2-1范数被加权或者不被加权。

4.根据权利要求1所述的RPPG系统，其中，对于所述测量序列的不同段迭代地确定生命体征，其中，用于当前迭代的测量的段包括第一部分和第二部分，所述第一部分由从在与当前迭代的所述段的第一部分相对应的时间段内在前一次迭代期间确定的频率系数重构的强度形成，所述第二部分由在所述段的第二部分的时间段内测得的强度形成。

5.根据权利要求1所述的RPPG系统，其中，使用相机来测量皮肤区域的强度，并且其中，从与皮肤的所述区域相对应的像素的图像强度计算测得的强度。

6.根据权利要求5所述的RPPG系统，其中，在包括940nm的近红外频率的窄频带中测量所述人的皮肤的不同区域的强度。

7.根据权利要求1所述的RPPG系统，进一步包括：

近红外(NIR)光源，所述NIR光源照射所述人的皮肤，其中，所述NIR光源提供第一频带中的照射；以及

相机，所述相机在与所述第一频带重叠的第二频带中测量所述不同区域中的每个区域的强度，以使得从皮肤的区域的图像的像素的强度计算皮肤的所述区域的测得的强度。

8.根据权利要求7所述的RPPG系统，其中，所述第一频带和所述第二频带包括940nm的近红外波长，其中，所述第一频带和所述第二频带之间的重叠小于或等于20nm宽，所述RPPG系统进一步包括：

滤波器，所述滤波器使用鲁棒主成分分析(RPCA)来对所述不同区域中的每个区域的强度的测量进行去噪。

9.根据权利要求7所述的RPPG系统，其中，所述第一频带和所述第二频带之间的重叠以大于940nm的波长为中心，其中，所述第一频带和所述第二频带之间的重叠大于20nm宽，所述RPPG系统进一步包括：

滤波器，所述滤波器使用鲁棒主成分分析(RPCA)来对所述不同区域中的每个区域的强度的测量进行去噪。

10.一种用于控制车辆的至少一个组件的控制系统，包括：

根据权利要求7所述的RPPG系统，其中，所述NIR光源被布置在所述车辆中以照射驾驶所述车辆的人的皮肤，并且其中，所述NIR相机被布置在所述车辆中以测量驾驶所述车辆的人的皮肤的不同区域的强度；以及

控制器，所述控制器基于驾驶所述车辆的人的估计的生命体征来执行控制动作。

11.根据权利要求5所述的RPPG系统，其中，所述皮肤的所述区域的测得的强度是所述皮肤的所述区域的图像的像素的强度的均值或中值。

12.根据权利要求11所述的RPPG系统，其中，像素的强度属于所述图像的单个通道。

13.根据权利要求5所述的RPPG系统，其中，所述皮肤的所述区域是通过所述相机使用自动面部标志物定位来识别的所述人的面部上的区域。

14.根据权利要求1所述的RPPG系统，其中，所述估计器将每个时刻的生命体征估计为在所述时刻对所述不同区域中的每个区域确定的频率系数的区域上的中值。

15.根据权利要求1所述的RPPG系统，其中，所述生命体征包括所述人的脉搏率。

16.根据权利要求1所述的RPPG系统，进一步包括：

输出接口，所述输出接口呈现所述人的生命体征。

17.一种远程光容积描记(RPPG)方法，其中，所述方法使用与存储的实现所述方法的指令耦合的处理器，其中，所述指令在被所述处理器执行时执行所述方法的步骤，所述步骤包括：

接收人的皮肤的不同区域的强度的测量序列，所述测量序列指示所述人的生命体征；

对优化问题进行求解，以确定与所述不同区域处的测得的强度相对应的光容积描记波形的频率系数，其中，所述解算器将联合稀疏性作为所述优化问题的软约束来对所述频率系数施加，并且确定所述频率系数以缩短从所述频率系数重构的皮肤的强度和皮肤的对应的测得的强度之间的距离；以及

从光容积描记波形的所确定的频率系数估计所述人的生命体征。

18.根据权利要求17所述的RPPG方法，其中，所述优化问题包括所述频率系数的2-1范数、以及测得的强度和从所述频率系数重构的强度之间的差，其中，所述频率系数的2-1范数被加权或者不被加权，其中，对于所述测量序列的不同段迭代地确定生命体征，其中，用于当前迭代的测量的段包括第一部分和第二部分，所述第一部分由从在所述段的第一部分的时间段内在前一次迭代期间确定的频率系数重构的强度形成，所述第二部分由在所述段的第二部分的时间段内测得的强度形成。

19.根据权利要求17所述的RPPG方法，其中，在包括940nm的近红外频率的窄频带中测量所述人的皮肤的不同区域的强度。

20.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上包含程序，所述程序能够由处理器执行以用于执行方法，所述方法包括：

接收人的皮肤的不同区域的强度的测量序列，所述测量序列指示所述人的生命体征；

对优化问题进行求解，以确定与所述不同区域处的测得的强度相对应的光容积描记波形的频率系数，其中，所述解算器对所述频率系数施加联合稀疏性，并且确定所述频率系数以缩短从所述频率系数重构的皮肤的强度和皮肤的对应的测得的强度之间的距离；

从光容积描记波形的所确定的频率系数估计所述人的生命体征；以及

呈现所述人的生命体征。

Images