CN102549621A - 用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统 - Google Patents

Abstract

一种处理至少包含代表生物中的周期现象的分量的信号的方法包括获得至少具有代表生物中的周期现象的分量的至少一个第一信号。通过获得显示生物的与所述至少一个第一信号同步的图像序列并且对于该图像序列执行基于视频的运动分析而获得至少代表生物的运动周期分量的单独的数据。使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量。

Description

用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统

技术领域

本发明涉及一种用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统。本发明也涉及一种计算机程序。

背景技术

US5431170公开了一种包括传感器单元的脉率计，所述传感器单元附接到头带（headband），使得当穿戴头带时靠着前额施加传感器单元。传感器单元包括两个光发射器以及用于在来自各发射器的光在前额身体组织内反射之后接收该光的光传感器。一个发射器发射红外光，并且由接收来自该发射器的光的传感器提供的电信号将依照通过前额中的血管的血流的脉动而变化。另一个发射器发射不同的以及优选地短得多的波长的光，例如黄色光，使得来自其传感器的信号相对独立于由于流量脉动而引起的变化。然而，这两个信号确实依照由于运动而引起的前额振动而变化。噪声消除电路可以对来自各传感器的输出信号执行频率分析：所述两个信号中的相应频率或频率范围处的峰值被认为是噪声，并且来自红外传感器的信号中的其余频率代表脉率。

该已知系统的一个问题在于，它相对显眼（obtrusive）并且只能补偿一个特定身体部分（即传感器单元所附接的部分）的运动。例如手臂的运动将影响血流，但是不会被工作于较短波长处的发射器和接收器组合拾取，而该运动将使得检测由于呼吸或心跳而引起的血流变化更加困难。

发明内容

希望的是提供一种上述类型的方法、系统和计算机程序，其允许提供至少包含代表生物中的周期现象的分量的相对纯净的信号以供分析以便量化该周期现象，并且其能够补偿大范围的运动类型。

为此目的，依照本发明的一个方面，提供了一种用于处理至少包含代表生物中的周期现象的分量的信号的方法，该方法包括：

获得至少具有代表生物中的周期现象的分量的至少一个第一信号；

通过获得显示生物的与所述至少一个第一信号同步的图像序列并且对于该图像序列执行基于视频的运动分析而获得至少代表生物的运动周期分量的单独的数据；以及

使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量。

通过获得显示生物的与所述至少一个第一信号同步的图像序列并且对于该图像序列执行基于视频的运动分析，可以以不显眼且相对高效的方式量化大范围的运动类型。只要图像序列中表示了生物的大部分，就可以检测甚至局部化的运动（例如仅仅手臂或腿的运动）。这可以利用单个视频照相机而不是大量传感器来完成。也避免了附接到身体的传感器。与其他类型的远程感测相比，可以检测许多不同方向上的运动，尤其是朝向和远离照相机的运动以及与图像平面平行的运动。据观察，获得至少代表生物的运动周期分量的单独的数据在使用涉及图像对准或者图像中的感兴趣区（ROI）的图像分析从图像序列中提取第一信号的情况下也是有益的。这样的对准对于由于运动而间接引入的图像伪像（例如阴影）并非总是鲁棒的。因此，甚至在这样的情形下，获得至少代表生物的运动周期分量的单独的数据并且使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量将提高第一信号的质量。

从属权利要求中限定了本发明的优选实施例。应当理解的是，要求保护的系统和要求保护的计算机程序具有与要求保护的方法相似和/或相同以及如从属权利要求中所限定的优选实施例。

在一个实施例中，获得所述至少一个第一信号包括从图像序列中提取至少一个第一信号。

该实施例是相对高效的，因为它可以使用仅仅一个照相机形式的传感器以便拍摄一系列数字图像来实现。在这种情况下，第一信号与至少代表运动周期分量的单独的数据的同步问题变得微不足道。因此，使用所述数据以便至少抑制第一信号的与生物的运动周期分量相应的分量的步骤也变得更易于实现。

在一种变型中，从图像序列中提取所述至少一个第一信号包括从对应图像中获得与像素值组合相应的变量的值。

通过组合像素值，可以检测颜色和/或视亮度的非常小的变化。随机噪声通过该组合步骤而被移除，该组合步骤通常将包括可能地为加权和形式的求和操作。因此，利用该实施例可以提供一种形式的远程光电体积描记术（photoplethysmography）。

在另一变型中，从序列中提取所述至少一个第一信号包括仅仅确定所述变量在所述序列上的变化。

该变型基于以下认识：当表征周期生物现象时，只有视亮度或颜色的变化是令人感兴趣的。

依照本发明，允许使用视频照相机或者远程光电体积描记术进行不显眼的生命体征（例如心率/呼吸速率）监控。在一个实施例中，算法跟踪人的平均肤色，所述肤色随着血容量和血氧而变化。然而，所述方法对于运动、局部肤色变化以及照度水平/光谱变化敏感，这使得它不那么适合商业上可行的应用。对于运动的敏感性使得不显眼的生命体征监控尤其不太适合个人想要自由移动的应用。这种情况的一个良好的实例是健身应用中的心跳监控。

因此，依照优选的实施例，提出了抑制平均肤色信号中的由于运动而引起的不希望的分量。这在运动是周期性的并且运动频率落入感兴趣频率范围内（比如40次跳动/分钟（BPM）与210 BPM之间）时是特别重要的。在这种情况下，难于区分心跳信号和运动信号并且移除该不希望的分量对于稳定的心率估计是非常重要的。然而，所述方法并不仅仅限于周期运动。

因此，该方法的一个实施例包括计算图像中表示的至少一个对象的至少一个运动矢量并且分析运动矢量值的重复性。

该实施例允许分离出例如特定幅值的涉及仅仅特定类型的周期运动的信息。它对于区分图像序列中表示的多个生物也是有用的。

一种变型包括计算图像中表示的对象的多个部分中的每个部分的运动矢量值。

该变型在获得至少具有代表生物中的周期现象的分量的多个信号的情况下是有用的，因为可以形成用于这些信号中的每个信号的适当校正信号。而且，如果确定所述多个部分的运动的差异超过特定量，那么有可能在将这些信号组合成代表生物中的周期现象的一个信号之前单独地校正这些信号中的每个信号。另一方面，如果差异更小，那么可以组合至少具有代表生物中的周期现象的分量的信号，并且可以通过抑制与生物的运动周期分量相应的分量而校正该组合。这是所述方法的相对高效的实施例。

在一个实施例中，获得至少代表运动周期分量的单独的数据包括量化生物的至少一部分的空间位移。

该实施例具有以下效果：有可能抑制第一信号的仅仅代表特定类型的周期运动（例如大尺度位移）的分量。

所提出的方法的另外的实施例基于自适应回波消除。已经发现，在时间上描述感兴趣皮肤区的运动的运动矢量是非常纯净的信号。而且，这些运动矢量并不包含任何心跳信号，并且因而非常适合用作自适应滤波器的参考信号。事实证明，通常只需非常少量的系数以大大减少运动伪像。作为从信号中移除运动伪像的直接结果，可以获得纯净得多的心跳信号，这允许以可替换的方式在时域中通过峰峰检测估计心率。纯净信号的一个附加优点在于，可以估计HRV（心率变异性）。

因此，所述方法的一个实施例包括步骤：计算图像中表示的至少一个对象的至少一个运动矢量，对所述至少一个运动矢量滤波，以及从所述第一信号中减去滤波的运动矢量以便抑制第一信号的与生物的运动周期分量相应的分量并且获得干扰减少的第一信号。优选地，所述滤波包括自适应滤波，其中自适应地更新所述滤波的系数。

优选地，应用规格化算法，尤其是最小均方（NLMS）算法。NLMS算法是LMS算法的特殊情况。该规格化应用于运动信号（参考信号）并且因而间接地应用于系数更新。而且，对于运动矢量的能量近似已知的系统而言，无需一定使用NLMS算法，而是有可能在更新系数的同时考虑该能量。

优选地更新所述滤波的系数，使得干扰减少的第一信号（即减去滤波的运动的第一信号）的能量被最小化。

在一个优选的实施例中，单独地计算尤其是第一方向（例如水平方向或x方向）和垂直于第一方向的第二方向（例如垂直方向或y方向）上的至少两个运动矢量并且对其单独地滤波。

依照本发明的另一个方面，提供了一种用于处理至少包含代表生物中的周期现象的分量的信号的系统，该系统包括：

用于获得至少具有代表生物中的周期现象的分量的至少一个第一信号的至少一个部件；

用于获得至少代表生物的运动周期分量的单独的数据的至少一个部件，该部件包括用于获得显示生物的与所述至少一个第一信号同步的图像序列的接口以及用于对于该图像序列执行基于视频的运动分析的图像数据处理系统；以及

被配置成使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量的至少一个数据处理部件。

在一个实施例中，所述系统被配置成执行依照本发明的方法。

依照本发明的另一个方面，提供了一种计算机程序，其包括指令集合，这些指令在结合到机器可读介质中时能够使得具有信息处理能力的系统执行依照本发明的方法。

附图说明

下面将参照附图进一步详细地解释本发明，在附图中：

图1为用于形成时变信号的系统的示意性框图，该时变信号至少包含代表生物中的周期现象的分量；

图2为示出形成时变信号的方法的第一普通实施例的流程图；

图3为示出形成时变信号的方法的第二实施例的流程图；

图4为从覆盖图像序列的有限间隔的图像中获得的若干组像素值子集的图示；

图5为从选定组的像素值子集中提取信号部分的图示；

图6为用于处理至少包含代表生物中的周期现象的分量的信号的可替换系统的示意图；

图7为示出从在跑步机上跑步的个人获得的没有运动引起的干扰消除的信号的谱图的示图；

图8为用于减少心跳信号中运动引起的污染的运动补偿单元的实施例的框图；以及

图9为示出从在跑步机上跑步的个人获得的经过运动引起的干扰消除之后的信号的谱图的示图。

具体实施方式

在这里，将解释适合于执行远程光电体积描记术（PPG）的系统的若干实施例。光电体积描记术是一种用于使用皮肤反射率变化表征特定周期性生理现象的方法。可以将人类皮肤建模为具有至少两层的目标，其中一层为表皮（薄表面层）并且另一层为真皮（表皮下面的较厚层）。进入的光线的近似5%在表皮中被反射，对于所有波长和肤色而言情况都是这样。其余的光在称为身体反射（在二色反射模型中被描述）的现象中在所述两个皮肤层内被散射和吸收。表皮的行为类似于主要吸收光的滤光器。光根据其波长以及表皮中的黑色素浓度而被透射。在真皮中，光被散射和吸收。吸收取决于血液组成，即血及其诸如血红蛋白、胆红素和β-胡萝卜素之类的成分的含量，从而吸收对于血流变化敏感。真皮的光学特性通常对于所有人种都是相同的。真皮包含稠密的血管网络，即成人的总血管网络的大约10%。这些血管依照身体中的血流而收缩。它们因而改变真皮的结构，这影响皮肤层的反射率。因此，可以根据皮肤反射率变化确定心率。

要描述的系统和方法并不限于光电体积描记术，而是也可以用在其中捕获代表感兴趣周期现象的信号并且针对运动对其校正的其他情形中。在光电体积描记术的情况下，本文描述的方法对于运动伪像以及与感兴趣周期现象（光电体积描记术情况中的脉动血流）无关的照度变化是鲁棒的。

所述系统包括若干部件，图1中仅仅示出了其中一些部件。该系统包括数据处理系统1，该数据处理系统可以是通用计算机或者用于特定应用的特制计算设备，并且包括数据处理单元2和主存储器3。它进一步包括用于存储软件的大容量存储设备4，所述软件包括用于执行这里概述的方法的软件。数据处理系统1具有到用于获得数字图像序列的视频照相机6的接口5。它也具有到用于以可感知的形式再现输出的输出设备8（例如视觉显示单元）的接口7。当然，数据处理系统1进一步包括图1中未单独示出的常用功能部件，例如用户输入设备、网络接口等等。

在一个实施例（未示出）中，数据处理系统1进一步包括到至少一个光源的接口，所述光源可以是调谐到电磁辐射频谱的可见光部分或近红外部分的特定范围的光源。

数据处理系统1被设置成产生至少代表基于来自视频照相机6捕获的图像序列的每幅图像的像素值的值变化的第一信号。它进一步被设置成处理该第一信号以便抑制或移除通过捕获的图像的单独的分析而确定的运动。

在第一实施例（图2）中，数据处理系统1执行的方法包括获得（步骤9）图像序列。分割（步骤10）这些图像中的至少一幅图像，并且选择（步骤11）一个或多个感兴趣区。

执行分割步骤10和选择步骤11以便标识代表特定类型的表面的区域，尤其是满足特定准则的那些区域。在一个实施例中，标识代表图像中表示的一些或全部人脸的感兴趣区。Viola, P. and Jones, M.J., “Robust real-time object detection”, Proc. of IEEE workshop on statistical and computational theories of vision, 13 July 2001中描述了用于实现该实施例的一种适当的算法。用于识别具有特定形状、颜色和/或模式的图像段的其他适当的算法是已知的，并且可以代替该算法或者与该算法相结合地使用。

当前的描述以假设选定一个感兴趣区而继续。在整个图像序列中跟踪该感兴趣区。De Haan et al., “True-motion estimation with 3-D recursive search block matching”, IEEE transactions on circuits and systems for video technology, 3 (5), October 1993, pp. 368-379中描述了这样做的一种适当的算法。

对于序列中的第一图像配对，数据处理系统1继续以便从感兴趣区内选择具有至少一个像素值的子集。特别地，在第一图像中从感兴趣区选择多个子集（步骤12）。对于每个选定的子集，在子序列的相邻图像（通常为当前图像之后的图像，但是它可以是前面的图像）中寻找（步骤13）相应子集。

通常，每个子集具有多个像素值，使得在另外的图像中寻找相应子集的步骤13包括依照某个准则搜索相似子集。换言之，寻找下一图像中的感兴趣区内的最佳匹配子集。来自第一图像的每个选定的子集以及来自下一图像的最佳匹配子集形成子集组。由于来自第一图像的子集彼此都不相同，因而对于任何组配对而言，来自第一图像和下一图像的子集是不同的。

在下一帧中寻找相应子集可以包括在下一图像中对于与来自第一图像的选定子集集合相应的组合子集集合的全局搜索。这是一种低成本的解决方案，但是很可能相对不精确。可替换地，可以对于选自第一图像的每个像素值子集执行穷举搜索。这是一种相对精确的方法，但是计算上相对昂贵。在另一个实施例中，通过获得该子集的预测运动矢量并且修改预测运动矢量以便选择用于相对于至少一个相似性准则评估的候选子集而找到相似的子集。所述修改处于更新矢量的形式，其可以是随机的。这样的方法代表一种预测搜索，其可以在当前图像中的子集上迭代若干次。由于针对初始步骤12中选定的每个子集单独地寻找运动矢量这一事实，组中的子集相对良好地匹配。预测运动矢量的使用允许具有相对较低计算成本的实现方式。预测运动矢量可以通过对于当前帧中选定的子集中的第一子集执行穷举搜索并且然后例如将得到的运动矢量用作用于其他子集的预测运动矢量而获得。

接下来（步骤14），分析每个组。丢弃不满足至少一个预定准则的那些组（步骤15）。在一个实施例中，所述至少一个准则是在一个或多个最佳匹配组被选定的意义下的相对准则。然而，通常所述至少一个准则是绝对准则，因为形成的组的数量将非常大，从而总是存在满足所述至少一个准则的一些组。

在一个特定的实施例中，所述至少一个准则包括以下准则：每个像素值子集都应当具有最小空间均匀性。在另一个实施例中，所述至少一个准则包括至少一个相似性准则。该相似性准则可以涉及例如颜色和/或纹理的相似性。在一个实施例中，在连通像素从图像到图像不可以移动超过特定距离的意义下，使用运动准则。这些准则中的每一个被设计成确保对于与感兴趣现象（在光电体积描记术的情况下为周期性生物现象）无关的运动和/或照度变化的鲁棒性。

然后，对于仅仅选定的子集组中的每组构造（步骤16）信号段。在一个实施例中，例如通过取加权平均或者通过寻找均值而将来自子集内的像素值组合成单个值。这是针对组中的每个子集完成的，从而每幅图像存在一个这样的值。效果在于，对于噪声的鲁棒性相对较高。然而，提取信号值的其他方式是可能的。在一个实施例中，图像序列包括两个或更多图像帧序列，每个图像帧序列与不同的通道相应并且由代表在电磁辐射频谱的有限范围内捕获的电磁辐射的强度的像素值组成。例如，图像序列可以包括不同颜色通道（例如红色、绿色和蓝色）内的图像帧序列。在这个可替换方案中，所述组合可以涉及对于来自形成完整图像的每个图像帧的像素值取加权和。它也可以涉及减法运算，例如从与绿色光相应的通道内的像素值中减去跨所有通道的平均亮度。

然后，取与组的各子集关联的值之差。因此，在其中每组仅仅包括来自两幅图像的子集的实施例中，信号段仅仅包括一个值。应当指出的是，尤其为了使用基于值组合或者基于图像之间的组合差值的选择准则，可以将选择步骤15推迟到构造信号段之后。因此，只能选择导致强信号值的那些组。

对于每个下一图像配对重复步骤12-16，从而获得代表由图像序列限定的时基上的不同时间间隔的不同信号段。

这些信号段在最终的步骤中融合（fuse）（步骤17）以便获得覆盖与图像序列覆盖的时间间隔相应的时间间隔的信号。各种不同的方法可以用于融合这些信号段。融合可以例如基于寻找信号之间的最高相关性或者基于异常值的照度。可选地，信号部分可以参与融合过程，不同的权重确定它们影响作为融合步骤17结果的时变信号的程度。例如，权重值可以取决于在寻找相似子集的步骤13中确定组中的子集匹配的可靠性。在另一个实施例中，组中的子集之间的空间距离至少部分地确定权重。如果距离是大的，那么权重将较低。

尽管使用来自相邻子集的成组子集配对的实例解释了图2的方法，但是图2的方法可以利用来自序列的连续图像的成组的三个或更多子集。这些组限定的间隔可以重叠。例如，一个组可以包括来自第一至第三图像的子集并且另一个组可以包括来自第二至第四图像的子集。

在又一个可替换的实施例中，特定的组不是由来自相邻图像的子集形成，而是通过跳过特定图像而形成。例如，在一个实现方式中，从第一图像中选择子集并且寻找第二图像中的最相似子集，从而获得来自第一和第二图像的子集配对。如果特定的配对不满足特定的准则，那么丢弃该配对并且确定来自第三图像的相似子集。然后，可以例如使用插值以便形成从中提取信号部分的子集配对。因此，在该实施例中，在丢弃不满足至少一个准则的集合的像素值子集配对的步骤15之后，在进一步从图像序列中的当前图像移除的图像上重复在另外的图像中寻找相似子集的步骤13。

图2示出了提高对于运动的鲁棒性的额外校正中包含的步骤。在并行步骤18中，确定图像序列中表示的至少一个对象的至少一部分的运动度量，以便获得至少代表图像序列中表示的对象的至少特定类型的周期运动的单独的信号。然后，该信息用来抑制（步骤19）信号的作为融合过程的结果而获得的分量。应当理解的是，仅仅与感兴趣区相应的对象的运动被分析。

运动分析可以通过确定代表整个图像序列上的感兴趣区的运动的运动矢量序列而完成。然后，通过分析这些运动矢量的重复性而确定代表生物的运动周期分量的数据。在一个实施例中，仅仅考虑特定幅度范围内的运动。

作为使用运动矢量的替换方案，像素值或者像素值集合中的照度变化可以用来推断运动。然而，这是不太可靠的，并且不能非常良好地确定运动频率。

在一个可替换的实施例中，存在多个可能部分地重叠的感兴趣区，每个感兴趣区代表图像序列中表示的单个对象的部分。以图2中所示的方式对于每个感兴趣区确定至少代表基于像素值的值变化的信号。类似地，单独地分析每个感兴趣区的运动。然后，确定这些不同感兴趣区的运动的差异是否超过特定值。如果情况就是这样，那么进一步将至少代表基于像素值的值变化的信号融合成一个信号。此外，形成基于与感兴趣区关联的运动信号的单个运动信号。该单个运动信号用来抑制通过进一步融合至少代表基于像素值的值变化的信号而获得的信号的分量。另一个方面，如果与不同感兴趣区关联的运动信号的差异超过特定量，那么使用与关联的感兴趣区关联的运动信号单独地校正至少代表基于像素值的值变化的信号。然后，进一步将校正的至少代表基于像素值的值变化的信号融合成一个信号。

运动抑制可以在时域中或者在频域中执行。在一个实施例中，执行对于运动信号以及其中要抑制与运动周期分量相应的周期分量的信号二者的小波分析。

据观察，作为融合步骤17的结果的信号、作为运动抑制步骤19的结果的信号以及对于不同的间隔获得（步骤16）的信号段中的任何一个可以并且通常将经历进一步的处理，该处理可以包括以下步骤：提取与感兴趣生物统计信号相应的信息，例如使用阿尔法趋势均值滤波器进行滤波。另一可能的滤波操作是带通滤波。

可以分析得到的信号例如以便获得与例如心率或呼吸速率相应的感兴趣周期现象的频率值。它也可以用来对成像装置（例如CT扫描仪）进行门控。

形成至少代表基于来自图像序列的像素值的值变化的时变信号的一种可替换方法（图3）省略了在两幅或更多图像中寻找相似子集以便形成像素值子集组的步骤13。相反地，形成位置相应的子集组。

所述方法利用特定数量的图像的缓冲器，随着该方法的每次迭代，最近的图像被添加到该缓冲器（步骤20），并且不太近的图像从该缓冲器中移除。因此，缓冲器包含图像序列的子序列。这些图像用来通过在图像集合22的每幅图像上放置网格（图4）而组成空间-时间体积（步骤21）。集合22中的图像至少基于视频照相机6提供的图像。它们可以是补偿运动、照相机运动等等的滤波和/或图像处理操作（未示出）的结果。

网格限定了具有宽度Δx和高度Δy的空间孔径。每个空间-时间体积包括集合22中的每幅图像的孔径中的给定孔径内的像素值。图5中示出了与空间孔径内的像素值相应的像素值子集序列23的一个实例。集合22中的图像数量确定时间间隔Δt。

根据至少一个准则的集合评估（步骤24）每个空间-时间体积内的像素值子集。仅仅保留满足所述至少一个准则的那些子集并且将其用于获得至少包含代表生物中的周期现象的分量的信号。

通常，可以在图3的实施例中使用与结合图2的实施例的选择步骤14描述的选择准则相同种类的选择准则。在网格放置在整个图像上的情况下，图3的方法的选择步骤24将至少也包括以下步骤：评估像素值子集是否代表特定类型的表面，例如人类的暴露的皮肤。另外的选择准则涉及每个像素值子集的均匀性以及子集序列23的时间均匀性。仅仅保留最均匀的空间-时间体积或者满足某个绝对均匀性准则的那些空间-时间体积。空域和时域中的均匀性的计算可以通过使用若干方法中的任何方法进行，所述方法包括计算动态范围、方差、熵等等。

组成空间-时间体积的步骤21可以使用缺省的空间孔径和时间间隔Δt。在一个实施例中，随着图3的方法的每次迭代，即对于处理的总图像序列的每个间隔，使用不同尺寸的孔径。此外或者可替换地，改变间隔的长度，即集合22中的图像数量。可以将孔径尺寸（宽度Δx或高度Δy）与分析的区域的均匀性相联系。于是，更均匀的区域将导致更大的孔径。其他适当的影响因素包括视频照相机6的传感器的空间分辨率和这些传感器的其他特征。在其他实施例中，网格在不同孔径具有不同维度的意义下是不规则的。适当的维度也可以通过对图像集合22中的至少一幅图像执行目标分割、颜色分割和背景-前景分割中的至少一个而确定。如果分割得到相对较小的段，那么网格的孔径也应当是小的。图像集合22覆盖的间隔Δt的适当尺寸通常取决于每幅图像中存在的运动量。因此，在这些实施例中，将已经执行了与选择步骤24有关的一些分析以便组成空间-时间体积。可以确定间隔Δt的尺寸的其他因素包括视频照相机6的帧速率、图像中表示的对象的运动强度以及照度的变化。

在选择了空间-时间体积中的特定空间-时间体积之后，对于每个选择的空间-时间体积提取（步骤25）基于空间-时间体积的像素值的值的时间变化。在该步骤25中，例如通过取加权平均或者通过寻找均值将来自子集内的像素值组合成单个值。这是针对序列23（图5）中的每个子集完成的，从而每幅图像存在一个这样的值。组合像素值的效果在于，对于噪声的鲁棒性相对较高。然而，提取信号值的其他方式是可能的。在一个实施例中，每幅图像包括两个或更多图像帧，每个图像帧与不同的通道相应并且由代表在电磁辐射频谱的有限范围内捕获的电磁辐射的强度的像素值组成。例如，图像序列可以包括不同颜色通道（例如红色、绿色和蓝色）内的图像帧序列。在这个可替换方案中，所述组合可以涉及对于来自形成完整图像的每个图像帧的像素值取加权和。它也可以涉及减法运算，例如从与绿色光相应的通道内的像素值中减去平均亮度。

如图5中所示，计算针对一个像素值子集计算的值与针对序列23中的所有子集的值的时间平均之间的差值。通常，可以使用提取特定时间段上的颜色值的空间平均亮度的时间波动的任何其他方法。这些变化应当处于幅度变化和频率值的特定范围内。

在所示的实施例中，使用滑动窗口以便形成并且选择空间-时间体积。因此，在每次迭代处，将针对当前图像集合22获得的信号段与彼此融合以及与先前的迭代处获得的重叠信号段融合（步骤26）。该融合可以例如基于寻找信号之间的最高相关性或者基于照度异常值。信号段可以利用不同的加权参数参与融合操作。这些加权参数可以取决于例如关联的空间-时间体积的时间间隔Δt的长度（更多的权重分配给具有更大间隔Δt的体积）。

融合的信号用来提取最重要的信息，该信息在心跳信号监控的情况下为心率。阿尔法趋势均值滤波器可以用来从融合信号中提取融合信号的感兴趣的部分。

如图所示，使用了如关于图2所描述的相似的抑制代表周期运动的分量的方法。换言之，获得至少代表被处理的图像序列中表示的生物的运动周期分量的单独的数据的并行步骤27通过对于图像序列执行基于视频的运动分析而获得。在所示的实施例中，示出了其中一个运动信号被获得并且用来至少抑制（步骤28）融合信号的与该周期运动相应的分量的情形。

在一个可替换的实施例中，可以针对图像的单独的部分获得单独的运动信号，并且将其用于抑制针对与这些部分相应的空间-时间体积获得的信号部分的分量。在一个特定的实施例中，是否获得用于至少抑制从单独的空间-时间体积中提取的信号部分的周期分量的单独的运动信号取决于运动信号之间的差异程度。

为了将运动抑制限制为特定类型的运动，分析步骤27通常将例如通过计算运动矢量而量化运动。在后一种情况下，可以通过确定运动矢量的重复性而获得运动信号，以便在与重复频率相应的范围内抑制融合信号或者提取的信号部分的分量。

图6示出了用于实现上文描述的方法的潜在的运动抑制原理的可替换系统。与图1系统相应的该系统的部分被给予相似的附图标记。图6的数据处理系统601的不同之处在于，附加地包括到至少一个传感器610的接口609，所述传感器610用于捕获代表生物中的周期现象的信号。

在一个实施例中，传感器610被设置成捕获至少包含代表生物的心跳的分量的信号。在一种变型中，传感器610适于仅仅在与生物接触时捕获这样的信号。例如，传感器610可以包括被设置成紧邻人体而被保持以便捕获一个或多个心电图信号的电极。

数据处理系统601同时从视频照相机606接收图像序列。执行基于视频的分析以便确定至少代表被传感器610监控的生物身体的至少一部分的运动周期分量的信号。这不必是传感器610靠着其而被保持的相同身体部分。例如，视频照相机606可以捕获健身自行车上的人的上身的图像，传感器610集成到健身自行车的手柄中。由于来自传感器610的信号通常将受到锻炼的人的上身的摇摆的影响，因而有用的是确定代表该摇摆运动的信号以便抑制来自传感器610的信号的相应分量。这通过数据处理系统1执行，该数据处理系统经由输出设备608向用户提供基于校正的信号的信息。

在一个实施例中，作为基于视频的分析的一部分，数据处理系统计算运动，至少一个时变运动矢量。然后，分析运动矢量值的重复性以便获得至少代表运动周期分量的信号。该信号用来校正来自传感器610的信号。

在特定实施例中，获得至少代表特定类型的运动的周期分量的信号。例如，可以仅仅确定特定平面内的运动。可替换地或者此外，可以仅仅确定特定幅值的或者特定频率范围内的运动。

来自传感器610的信号可以通过阻止与信号中的周期运动相应的频率而被校正。在另一个实施例中，对于运动信号和来自传感器610的信号二者执行时频（例如小波）分析。这允许在针对相对较小的连续时间窗口单独地分析周期分量的意义下估计以及补偿非重复运动。这样的时间窗口的尺寸可以取决于不同的参数，包括期望运动强度以及视频照相机606与对象之间的距离。

接下来，将描述本发明的另一实施例。一种用于测量肤色变化的方法基于拍摄脸部图像并且计算人工选择的皮肤区（例如脸颊）上的像素平均值的照相机。通过考察该平均信号的周期变化，可以在实验室设置下提取心率。

照相机获得的平均信号包含与心跳信号相应的非常小的信号，并且容易被个人的运动污染。如果个人的运动是周期性的，比如某人在跑步机上跑步，并且频率落入感兴趣频率范围以内，比如介于40BPM与210BPM之间，那么区分运动频率和心跳频率是困难的。作为一个实例，图7中示出了从在跑步机上跑步的个人获得的信号的谱图。

在图7中，水平轴与以分钟为单位的时间相应，而垂直轴与每分钟跳动（频率）相应。在150BPM附近可以清楚地看见水平暗线。线越暗，该频率处的信号的能量越大。该暗线与运动相应。此外，可以看见三条线，其在150BPM、300BPM附近具有较低的强度并且在450BPM附近稍微更暗淡。这些线与心跳信号的基频和两个谐波相应。显然，运动显著地污染了该信号，因为运动信号的能量与心跳信号相比是大的。因此，为了正确地估计心率，必须降低运动的影响。此外，如果有可能从信号中移除运动，那么可以获得纯净得多的心跳信号，其允许在时域中通过峰峰检测估计心率。纯净信号的一个附加优点在于，可以估计HRV（心率变异性）。

已经发现，在时间上描述感兴趣皮肤区的运动的（平均）运动矢量是非常纯净的信号并且以精确的方式描述该运动。而且，这些运动矢量并不包含任何心跳信号，并且因而非常适合用作例如自适应滤波器（如例如B. Widrow and S.D. Stearns, Adaptive Signal Processing, Prentice-Hall, Inc., Englewood Cliffs, New Jersey 07632, 1985中所描述的，该文献提供了自适应滤波器的综述）的参考信号（在自适应回波消除术语中，其称为远端信号）以便降低平均肤色信号中的运动引起的失真。

注意每个像素的各运动矢量，可以看出这些运动矢量不全相同（例如，如果存在头的旋转，但是具有平移，那么这些矢量更加相似）。优选地，仅仅取所有像素（或者像素组）的平均运动矢量并且将其用作参考信号。也可能将目标（例如脸部）分区并且使用这些区的平均运动矢量以便局部地补偿。

图8绘出了运动补偿单元800的实施例的框图，该单元用在上面描述的系统中，优选地作为处理单元7或607的一部分，以便降低心跳信号中（通常，在上面参照图2或图3描述的处理所获得的信号中，尤其是在步骤17或步骤26的输出中）的运动引起的污染。所述运动补偿单元800因此例如适于实现参照图2或图3说明的所述方法的步骤19或步骤28。

运动补偿单元800包括两个自适应滤波器801、802，这些滤波器对作为输入x运动信号809和输入y运动信号810而提供的感兴趣皮肤区的（平均）x运动和y运动滤波。这些运动信号809、810可以例如由所提出的方法的上面描述的实施例的步骤18或步骤27提供，和/或可以由图6中所示的传感器610提供。应当指出的是，两个滤波器的数量以及两个运动信号（针对x方向和y方向上的运动）的使用不是强制性的。通常，也可以使用一个滤波器和（例如假设的最强的运动的）希望的方向上的一个运动信号或者更多滤波器和更多运动信号（在希望的方向上）。

在该实施例中，在规格化单元803、804中借助于规格化最小均方（NLMS）算法更新自适应滤波器801、802的系数，但是可以使用其他的自适应算法。在减法单元807中从输入信号808中减去滤波的x运动和y运动信号805、806，所述输入信号与通过照相机获得的被运动引起的信号污染的心跳信号相应。规格化单元803、804适应性调节所述系数，使得输出信号811（理想地，从中移除了运动引起的污染的心跳信号）的能量被最小化。由于x运动和y运动信号809、810不包含心跳信号，因而当输出信号811不包含任何与运动相关的信号时，达到该最小值。因此，依照该实施例，自适应滤波器801、802优选地简单地改变参考信号的幅度和相位，从而减小由于运动而引起的失真。

在图9中，绘出了从在跑步机上跑步的个人获得的谱图，这时感兴趣皮肤区的平均运动矢量用来借助于自适应滤波器减少心跳信号中的运动引起的信号。与图7中所示的绘图相比，可以清楚地看出运动引起的污染很大程度地被移除了。在这种情况下，仅仅使用了用于两个自适应滤波器801、802 的四个系数。

在上面描述的参照图7-9解释的实施例中，假设x运动和y运动完全不相关，并且所述两个规格化单元803、804独立地适应性调节。在实践中，情况不一定如此，而是通常作为自适应滤波器801、802的多输入单输出自适应滤波器用来考虑两个输入运动信号809、810之间的相关性。然而，如果相关性小，那么上面描述的实施例将如实例所示的非常良好地起作用。例如，依照本发明，有可能可靠地提取心跳信号，该心跳信号甚至进一步通过运动引起的失真的降低而改进。应当指出的是，上述实施例说明了而不是限制了本发明，并且本领域技术人员在不脱离所附权利要求书的范围的情况下应当能够设计出许多可替换的实施例。在权利要求书中，置于括号之间的任何附图标记都不应当被视为限制了权利要求。动词“包括/包含”并没有排除存在权利要求中未列出的元件或步骤。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。在相互不同的从属权利要求中记载了特定的技术措施这一事实并不意味着这些技术措施的组合不可以加以利用。

计算机程序可以存储/分布于适当的非暂时性介质上，例如存储/分布于与其他硬件一起提供或者作为其他硬件的一部分而提供的固态介质或者光学存储介质上，但是也可以以其他的形式分发，例如通过因特网或者其他有线或无线电信系统分发。

用来在图2的方法中寻找相似子集的相似性度量可以限于纹理相似性。确切的像素值相似性不是所要求的。

Claims (14)

1.用于处理至少包含代表生物中的周期现象的分量的信号的方法，包括：

获得至少具有代表生物中的周期现象的分量的至少一个第一信号；

通过获得显示生物的与所述至少一个第一信号同步的图像序列并且对于该图像序列执行基于视频的运动分析而获得至少代表生物的运动周期分量的单独的数据；以及

使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量。

2.依照权利要求1的方法，其中获得所述至少一个第一信号包括从图像序列中提取至少一个第一信号。

3.依照权利要求2的方法，其中从图像序列中提取所述至少一个第一信号包括从对应图像中获得与像素值组合相应的变量的值。

4.依照权利要求3的方法，其中从序列中提取所述至少一个第一信号包括仅仅确定所述变量在所述序列上的变化。

5.依照权利要求1的方法，包括计算图像中表示的至少一个对象的至少一个运动矢量并且分析运动矢量值的重复性。

6.依照权利要求5的方法，包括计算图像中表示的对象的多个部分中的每个部分的运动矢量值。

7.依照权利要求1的方法，其中获得至少代表运动周期分量的单独的数据包括量化生物的至少一部分的空间位移。

8.依照权利要求1的方法，包括

计算图像中表示的至少一个对象的至少一个运动矢量，

对所述至少一个运动矢量滤波，以及

从所述第一信号中减去滤波的运动矢量以便抑制第一信号的与生物的运动周期分量相应的分量并且获得干扰减少的第一信号。

9.依照权利要求8的方法，其中所述滤波包括自适应滤波，其中自适应地更新所述滤波的系数。

10.依照权利要求9的方法，其中更新所述滤波的系数，使得干扰减少的第一信号的能量被最小化。

11.依照权利要求8的方法，其中单独地计算尤其是第一方向和垂直于第一方向的第二方向上的至少两个运动矢量并且对其单独地滤波。

12.用于处理至少包含代表生物中的周期现象的分量的信号的系统，包括：

用于获得至少具有代表生物中的周期现象的分量的至少一个第一信号的至少一个部件（1-3，5；601-603，609）；

用于获得至少代表生物的运动周期分量的单独的数据的至少一个部件（1-3，5；601-603，605），该部件包括用于获得显示生物的与所述至少一个第一信号同步的图像序列的接口以及用于对于该图像序列执行基于视频的运动分析的图像数据处理系统（1；601）；以及

被配置成使用该数据以便至少抑制第一信号的与生物的运动周期分量相应的分量的至少一个数据处理部件（1-3；601-603）。

13.依照权利要求8的系统，被配置成执行依照权利要求1-11中任何一项的方法。

14.计算机程序，包括指令集合，这些指令在结合到机器可读介质中时能够使得具有信息处理能力的系统执行依照权利要求1-11中任何一项的方法。

Images