CN104254876A

CN104254876A - 用于从远程检测的特征信号中提取信息的设备和方法

Info

Publication number: CN104254876A
Application number: CN201380022876.XA
Authority: CN
Inventors: C.达卡特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2012-05-01
Filing date: 2013-04-19
Publication date: 2014-12-31
Anticipated expiration: 2033-04-19
Also published as: CN104254876B; WO2013164724A1; BR112014027085A2; RU2014148166A; EP2845168A1; US9443304B2; JP2015515873A; RU2625947C2; EP2845168B1; US20150125051A1; JP6138920B2

Abstract

本发明涉及用于从远程检测的特征信号中提取信息的设备和方法。可从由对象（12）发射或者反射的电磁辐射（14）导出的数据流（24）被接收。数据流（24）包括帧（66，70，92，94；108，110，112，122，124；164，66，168）序列，所述帧的至少一些包括代表可归因于对象（12）的感兴趣区域（56）的帧区段（68，72；174，180，186）。感兴趣区域（56）展示出包含生理信息（200）的连续或者离散特征信号（136；192），所述生理信息指示至少一个至少部分周期性的生命信号（20；208）。帧（66，70，92，94；108，110，112，122，124；164，66，168）序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分。特征信号（136；192）可以通过从所述帧（66，70，92，94；108，110，112，122，124；164，66，168）序列的至少一些帧中通过维度降低来导出导出信号形式（78，88，98，100，102；172，176）而被稳定化。可以估计当前导出信号形式（88，98，100，102；176）相关于之前导出信号形式（78，172）的位置移位（74，178）。当前帧区段（72；180，186）可以考虑所估计的位置移位（74，178）而被确定。因此，感兴趣区域（56）可以被跟踪，以用于至少部分地补偿不合期望的对象运动。由此，扰动信号部分可以被至少部分地补偿。特征信号（136；192）可以考虑所确定的帧区段（68，72；174，180，186）序列，从帧（66，70，92，94；108，110，112，122，124；164，166，168）序列中提取。

Description

用于从远程检测的特征信号中提取信息的设备和方法

技术领域

本发明涉及用于从远程检测的特征信号中提取信息的设备和方法，其中所述特征信号嵌入在数据流中，所述数据流可从电磁辐射中导出，特别地，其中所述数据流包括连续或者离散的特征信号，其包含指示至少一个至少部分周期性的生命信号的生理信息。

背景技术

WO2011/021128 A2公开了用于图像分析的方法和系统，包含：

- 获得图像序列；

- 在图像序列的至少一个图像中执行基于视觉的分析，从而获得用于对图像中代表的主体的状态分类的数据；

- 确定在图像序列的至少一个图像中所代表的生物的生理参数的至少一个值，其中该生理参数的该至少一个值通过对图像数据的分析而确定，该图像数据是来自对其执行基于视觉的分析的该至少一个图像所取自的相同图像序列；

- 使用利用基于视觉的分析所获得的数据和该生理参数的该至少一个值，对主体的状态分类。

该文档进一步公开了方法和系统的几种细化。例如，设想了远程光电容积脉搏波描记术（photoplethysmography）（PPG）分析的使用。

WO2011/042858 A1公开了另外的方法和系统，其致力于处理包含至少一个代表生物中的周期性现象的分量的信号。在Verkruysse，W等人（2008）在Optics Express， Optical Society of America，Washington，D.C.，USA，Volume 16，No. 26，pages 21434－21445中的“Remote plethysmographic imaging using ambient light”中对远程光电容积脉搏波描记术的附加基本方案进行了描述。

但是，诸如捕获的、反射的或者发射的电磁辐射那样的记录的数据（例如，记录的图像帧）总是除了将从中提取的所期望的信号之外还包括从整体扰动中导出的另外的信号分量，作为示例，诸如因为改变的照度条件或者所观测的对象（object）的移动所导致的噪声。因此，对于所期望的信号的详细的、精确的提取依然对于处理这样的数据提出了重大挑战。

虽然在计算性能的领域已经获得了相当大的进步，但是提供即时的图像识别和图像处理，使得能够进行所期望的生命信号的即刻的或者可以说在线的检测，依然是个挑战。这特别适用于依然缺乏充足计算能力的移动设备应用。此外，数据传输能力在几种环境中可能是受限的。例如，大量的移动用户依然依赖于所谓的“现购现付（pay as you go）”的移动合同。假设是上面的情况，则依然存在使数据量和计算成本保持较小的需求。

对于这个挑战的一种可能方案可以针对当捕获感兴趣的信号（其中嵌入有所期望的信号分量）时，提供准备好的并且稳定的环境条件，以便最小化叠加在该信号上的扰动信号分量。然而，这样的实验条件不能迁移到日常的现场应用中，因为为此将需要大量的努力和准备工作。

毕竟，当扰动信号分量的振幅和/或标称值比将被提取的、所期望的信号分量的振幅和/或标称值大得多时，更加难以作出生命信号检测。在远程PPG的领域，可以预见到在相应分量之间的差值的幅度甚至包括几个数量级。

发明内容

因此，本发明的一个目的是提供用于从远程检测的特征信号中提取信息的系统和方法，从而提供进一步的细化，有助于以更高的精度和优选地以减少的计算工作来获得这些所期望的信号。

此外，将有利的是，提供更进一步适配于使得能在相当不佳的环境条件下对所期望的信号进行健壮的提取的设备和方法，所述相当不佳的环境条件例如是至少部分由将被观测的对象的稳定的或者甚至是不稳定的运动造成的小的信噪比，或者由测量设备其自身的运动造成的小的信噪比。将进一步有利的是，提供适配于对影响将被处理和分析的所捕获信号的扰动较不敏感的设备。

在本发明的第一方面，给出了用于从远程检测的特征信号中提取信息的设备，所述设备包括：

- 接口，用于接收从由对象发射或者反射的电磁辐射中可导出的数据流，所述数据流包括帧序列，所述帧的至少一些包括代表可归因于（attributable to）对象的感兴趣区域的帧区段（frame section），所述感兴趣区域展示出包含生理信息的连续或者离散特征信号，所述生理信息代表至少一个至少部分周期性的生命信号，所述帧序列进一步包括扰动信号部分，其至少部分地指示不合期望的对象运动，所述扰动信号部分不利地影响该特征信号，

- 稳定化处理装置，包括：

　- 转换器，用于从所述帧序列的至少一些帧中通过维度降低来导出导出信号形式（derivative signal form），所述导出信号形式至少包括指示位置信息的第一信号分量和第二信号分量，

　- 比较器，用于估计当前导出信号形式相对于之前导出信号形式的位置移位，所述位置移位代表不合期望的对象运动，

　- 补偿器，用于考虑所估计的位置移位，确定当前帧区段，所述当前帧区段至少部分地代表感兴趣区域，使得感兴趣区域可以被跟踪，从而至少部分地补偿不合期望的对象运动，　

- 提取器，用于考虑所确定的帧区段的序列，而从帧序列提取特征信号，其中所述特征信号与代表电磁辐射的特征的信号空间相关联。

对象运动对信号检测提出了重大挑战，特别是当要求即时信号检测时和/或当计算能力受限时。但是，计算能力可以被认为是对于生命信号检测的瓶颈，尤其是当利用移动设备时。此外，对象运动可能导致照明改变，并且导致相关扰动更进一步地不利地影响特征信号。因此，致力于运动补偿是有益的。

上文给出的设备被配置用于执行有利的运动补偿算法。通常，运动补偿需要极大的计算能力和成本。因此，即时运动补偿很难达到，尤其是对于移动设备而言。例如，运动补偿可以基于被应用到序列的每单个帧的面部检测。因此，可以相应地跟踪将被监控和观测的对象。然而，假使是普通移动设备的计算性能，则面部检测是耗费时间的，并且对于生命信号的即时检测可能很难实现。应该理解的是，本文使用的即时检测同样包括几乎即时的检测。换言之，当用户没有注意到显著的时间延迟时，信号检测可以被认为是即时的。

要理解的是，高价的当前技术水平的移动设备实际上实现了面部检测方案。然而，这些传统的方案针对独特的（或者：单个的）检测运行而不是永久的面部检测和跟踪。例如，可以利用面部检测来选择性地“解锁”锁定的设备。但是，这些方案易于出错。作为示例，在相当好的照明条件下，可以实现正面的面部检测或者靠近正面的面部检测。除此之外，由于对象不利的取向和/或不佳的照明条件，面部检测常常失败。

因此，上文给出的方案是有益的，因为运动补偿不需要在每一帧（或者：在大量帧）处进行面部检测以及诸如此类的检测。这通过将根本问题转移为相当简化的“替代品”问题而达到。

例如，耗费计算时间的图像处理可以被转移为处理简化的导出元素（derivative element）。换一种说法而言，根据优选的实施例，二维图像处理任务可以被转移成两个一维的计算任务。

这个方案基于这样的见解：从给定的二维（图像）模式所导出的至少两个特征一维模式可以包括足够的位置信息，使得能估计将被观测的对象的位置移位。此外，设备不必“意识到”将被跟踪的对象的性质。但是，位置移位可以通过随着时间对特征一维模式进行观测（比较）而估计。例如，可以在感兴趣对象的观测的开始选择代表感兴趣区域的帧区段。这个选择可以人工地执行，或者通过使用模式检测算法执行。然而，初始帧区段选择可以被认为是基本上独特的过程，以便确定将被跟踪的参考区段。后续的运动补偿基于帧的替代品，包括将被跟踪的帧区段的替代品。替代品（即导出信号形式）很容易计算和处理。特别地，不必明确地对每单个帧的感兴趣区域（其在所选择的帧区段背后（behind））建模。

应该注意，众所周知的模式检测方案基本需要的是：必须观测对象的某些明显不同的区域。例如，人类的面部可以被认为是这样的明显不同的区域，因为眼睛、鼻子和嘴可以通过已经在几种图像处理设备中实现的传统算法检测到，例如数码相机的面部检测和/或微笑检测功能性。然而，感兴趣的生命信号同样由对象的不同区域展示出，这些区域不是必然地必须含有对象面部。例如，远程PPG可以应用到感兴趣对象的面部的皮肤部分（而不是整个面部）、脖子、胳膊或者甚至是手。因此，上文给出的方案远比依赖于按每个图像的面部检测等等的方案灵活得多。

应该进一步注意的是，根据上文给出的方案，可以使得能进行对于多于一个的感兴趣区域的跟踪。多个感兴趣区域可以属于相同或者甚至是不同的将被观测的对象。基本地，替代的导出信号形式依然包括整个帧的位置信息。因此，假设比较器和补偿器被相应地适配，则可以跟踪多于一个感兴趣区域。为了这个目的，比较器可以被配置用于估计当前导出信号形式相对于之前导出信号形式的、多于一个的特征移位。相应地，补偿器可以被配置用于考虑对将被跟踪的感兴趣区域的（一个或多个）所估计的位置移位，来确定多于一个当前的帧区段。

应该理解的是，对象运动可以包括将被观测的对象相对于设备的运动，并且反之亦然，包括设备相对于感兴趣的对象的运动。因此，术语对象运动包括在感兴趣对象与设备之间的相对运动，其可以被相应地补偿。

帧序列可以由一连串包括颜色信息的图像帧（诸如RGB图像）来体现。图像帧可以代表感兴趣的对象以及另外的元素。基本地，另外的元素中的至少一些不指示将从特征信号中提取的、所期望的信号。

存在几种提取器和包括转换器、比较器和补偿器的稳定化处理装置的实施例。在第一个相当简单的实施例中，稳定化处理装置和提取器通过一处理单元（特别是移动设备的处理单元）体现，其由相应的逻辑命令所驱动（或者：控制）。这样的处理单元同样可以包括适当的输入和输出接口。

然而，在可替换方案中，包含转换器、比较器和补偿器的稳定化处理装置以及提取器中的每一个都可以通过单独的处理单元体现（或者：控制）或者可通过相应的命令控制。因此，每个相应的处理单元可以适配于其特定的目的。因此，可以应用任务的分布，其中明显不同的任务在多处理器处理单元的信号处理器上处理（或者：执行），或者其中图像处理相关的任务在图像处理器上执行，而其它操作的任务在中央处理单元上执行。

根据有利的实施例，设备进一步包括分析器，用于确定特征信号的时间的变化，以及用于检测由嵌入在特征信号中的生理信息代表的至少一个至少部分周期性的生命信号。

合理的是，分析器同样由中央处理单元体现或者至少由分别通过逻辑命令控制的多处理器处理单元的一部分体现。不用说，可以先于至少一个至少部分周期性的生命信号的检测而将进一步的信号优化措施应用到特征信号。以这种方式，甚至更多的、基本上不指示所期望的生命信号的扰动信号分量可以被衰减，或者甚至从数据流中移除。

根据设备的进一步的方面，转换器被配置用于沿着所述帧序列的至少一些帧的第一方向和沿着所述帧序列的至少一些帧的第二方向聚集（agglomerate）帧实体，以便导出导出信号形式，其中第一信号分量优选地包括帧行的维度降低的映射，而其中第二信号分量优选地包括帧列的维度降低的映射。

换言之，帧实体可以沿着第一方向和第二方向的行投影，所述第一方向和第二方向包括不同的取向。优选地，第一方向和第二方向彼此成直角（例如，水平的和垂直的）。投影可以包括沿着帧的行和列对帧实体（例如，相应的RGB值）进行积分或者相加。

当在本文中使用时，实体可以包括单个像素或者像素的子聚集。假设有实体（像素）的行和列，则帧可以包括像素模式。换言之，帧的每个都可以包括矩阵结构。在可替换方案中，帧同样可以包括蜂房结构。不必说，可以设想更多的形状。帧的行和列可以按照坐标系来安排，所述坐标系优选为笛卡尔坐标系。可替换地，还可以利用极坐标系、另外的适当的坐标系以及它们的派生物。

不必说，在维度降低之前坐标变换同样可以被应用到原始的帧坐标系。因此，将被处理的帧区段可以被转移到适当的取向，使得将被处理的行和列展示出清晰的位置信息。例如，存在于帧中的、可归因于对象的（或者可归因于对象-背景的过渡）的边缘可以至少基本上与为了导出而将被处理的行或者列正交地对准（align）。一般而言，基本正交的（例如，水平的或者垂直的）边缘可能导致可以被容易地检测和处理的强的位置信息信号。同样，可归因于对象的高对比度区域导致强的位置信息信号。

根据设备的另一方面，至少一个至少部分周期性的生命信号选自由心率、心跳、呼吸率、心率变异性、特劳伯－赫林－迈尔（Traube-Hering-Mayer）波和氧饱和度组成的组。

有利地，这些生命信号的至少一些可以相互转换。例如，特征信号可以包括单个像素的RGB值或者展示出感兴趣对象的皮肤颜色的像素模式。这些值随着时间的轻微波动可以被称为生理信息。特征信号的处理和分析使得能进行（一个或多个）感兴趣的生命信号的检测。例如，可以分析和解译特征信号的轻微振荡，以便达成心跳或者心率信号的检测。此外，应该理解的是，一般而言（一个或多个）所期望的生命信号可以从感兴趣的对象展示出的至少一个至少部分周期性的信号中直接或者间接地导出。不用说，本发明的设备（和方法）可以与进一步的检测和分析措施相结合，以便进一步增强所提取的信号。

远程光电容积脉搏波描记术可以利用几种方案，以便检测感兴趣的生命信号。例如，特别是当帧包括RGB值或者相似的颜色信息时，可以确定在红色（R）与绿色（G）信号之间的比率。该比率可以被认为是高度指示将被提取的所期望的信号的。此外，可以应用规格化，其中红色和绿色信号除以它们相应的（时间的）平均值。规格化可以使得信号分量至少部分地独立于整体扰动。根据可替换的方案，可以留意去考虑在红色（R）与红外（IR）信号之间的比率，以用于提取感兴趣的生命信号。

感兴趣的生命信号可以包括离散值，例如心率值（每分钟的跳数）。在可替换的方案中，随着时间的信号波形同样可以是感兴趣的，以便允许更进一步的结论。

根据所述设备的另一方面，信号空间是包括至少两个补充通道的颜色信号空间，所述至少两个补充通道与限定谱位置相关，其中特征信号包括至少两个主要分量，其每个都与相应的补充通道相关。

在示范性的实施例中，信号空间可以是RGB信号空间或者相应的派生物。因此，信号空间可以包括三个分量，代表特征信号的三个主要分量的值。可替换的信号空间可以包括CIE XYZ、HSV、HSL、sRGB和xvYCC信号，或者由CIE XYZ、HSV、HSL、sRGB和xvYCC信号导出。同样也可以利用其派生物。应该注意的是，基本线性的RGB信号可以被用于所期望的信号检测。因此，可以相应地变换非线性信号空间（例如，经伽马校正的信号）。可以进一步设想的是，将几个明显不同的信号空间至少部分地组合，以便提供用于所需要的分析过程的更宽的谱基础。例如，也可以应用所谓的RGBY信号。在RGBY信号空间中，除了红色、绿色和蓝色之外，黄色信号同样可以传递颜色信息。倘若输入数据流与例如CMYK那样的主观颜色模型相关，则可以相应地转移数据，以便达成附加的信号空间。另外的谱分量可以被用来从数据流中提取（一个或多个）所期望的生命信号。在这一点上，同样可以应用红外或者近红外辐射分量。例如，在红色和红外信号之间的比率可以高度指示所期望的信号。

进一步优选的是，信号空间被配置，使得至少一个部分周期性的生命信号嵌入到特征信号的至少两个主要分量的至少一个的轻微时间波动中。

根据用于提取信息的设备的再一个实施例，转换器被进一步配置用于在初始阶段期间从所述帧序列的一帧中导出参考导出信号形式，所述参考导出信号形式至少包括指示参考位置信息的第一参考分量和第二参考分量，并且其中比较器进一步被配置用于在后续阶段期间估计多个后续导出的信号形式的每个相对于参考导出信号形式的位置移位。

换言之，多个后续帧的每个的导出信号形式可以回溯（或者：链接）到在信号处理过程开始时处理的单个（或者：静态）参考帧。例如，可以处理序列的第一帧，以便导出（静态）参考导出信号形式。因此，参考导出信号形式（或者：第一参考分量和第二参考分量）可以被缓冲，以便提供用于稳定化处理的稳定基础。以这种方式，可以避免利用需要永久计算变化的导出信号形式作为参考的“滚动”处理过程。

这是有益的，因为被损坏的帧不能作为用于导出参考导出信号形式的基础，其可阻碍确定用于随后帧的随后帧区段。当在本文中使用时，被损坏的帧可以被认为包括感兴趣区域的错误表达。例如，被损坏的帧可以包括遮挡，例如另外的对象将感兴趣的对象隐藏。被损坏的帧可以由（图像）干扰，例如噪声等等不利地影响。此外，在被损坏的帧中，感兴趣的对象可以位于帧的被捕获区域之外。而且，感兴趣的对象可以以不利的方式在被损坏的帧中被取向，例如弯曲的、扭曲的或者转向的。

在这一点上，优选的是设备进一步包括被适配用于贯穿整个处理过程来缓冲参考导出信号形式的缓冲装置。以这种方式，可以提供用于移位估计和运动补偿的稳定基础。不必从与将被处理序列的每个当前帧具有设定间隔（或者：序列间距）的帧中导出参考导出信号形式。

这个实施例可以进一步发展，因为稳定化处理装置被进一步配置用于触发转换器装置，使得至少一个另外的参考导出信号形式可以在随后阶段期间从帧中导出。

作为示例，触发事件可以选自包括过去的时间段、若干被处理的帧和另外的处理参数的组。因此，触发事件可以基本是周期性的。另一方面，可以应用非周期性的触发。例如，可以触发转换器装置，从而在一定数量的被损坏的帧已经被处理的事件中导出新的参考导出信号。可以设想进一步的、与质量相关的触发事件。以这种方式，处理过程可以被分成几个子期间，每个子期间都具有包括参考导出信号的参考帧，所述参考导出信号作为那个特定期间用于位置移位估计的基础。优选地，同样可以允许人工触发。以这种方式，用户可以重新发起（或者：刷新）信号处理过程。

根据设备的另一个实施例，稳定化处理装置进一步包括模式检测器，用于在初始阶段期间确定至少部分代表所述帧序列的至少一帧中的感兴趣区域的帧区段，使得初始帧区段可以被确定为参考帧区段。

应该理解的是，同样在这个实施例中，仅仅需要将模式检测用于单个帧或者关于被处理的帧的绝对数量而言数量较少的帧（例如，参考帧）。

优选地，模式检测器可以与稳定化处理装置耦合，使得触发转换器同样触发（自动的）模式检测。例如，这可以当位移估计由于被损坏的帧而失败时发起。模式检测器可以被配置用于面部检测、皮肤检测等等。

根据再一个实施例，稳定化处理装置进一步包括偏置装置，用于考虑当前的绝对移位估计和/或当前移位估计的时间连贯性，校正所估计的位置移位值。

所估计的位置移位值的校正可以包括减小对于移位值的影响，所述移位值从相当大的偏移量和/或时间不连贯的位移估计中导出。可以考虑几种假设来用于应用偏置功能，其中的某些将在下文中给出。

根据进一步优选的方面，设备包括集成的传感器装置，其能够捕获包括帧序列的数据流。

优选地，设备是移动设备，诸如移动电话、个人数字助理（PDA）、移动计算机、移动平板电脑、和/或移动的单用途或者多用途医疗扫描或者监控设备。此外，设备可以安放于车辆中，作为组成部分或者作为可拆卸的车辆设施。

根据另一个实施例，用于提取信息的设备进一步包括用于选择性地衰减或者增强特征信号的分量的滤波器。

例如，频率滤波器可以被用来增强带宽在0.05Hz到10Hz之间，优选地在0.5Hz到3.5Hz之间的信号分量。这可被认为是对于心跳测量特别合适的范围。对于呼吸率测量而言，例如，范围可以包括在大约0.1Hz到大约2Hz之间的频率值。对于特劳伯－赫林－迈尔波的检测而言，范围可以包括在大约0.05Hz到大约0.2Hz之间的频率值。被处理信号的后置滤波可以进一步改进信噪比。以这种方式，甚至更多的不指示所期望的生命信号的扰动信号分量也可以从数据流中移除。

替换地，或者附加地，可以应用递归时间滤波器。例如，设备可以进一步包括用于选择性地影响特征信号的分量的加权装置。在这一点上，要记得的是，感兴趣的生命信号被认为是嵌入在由特征信号代表的生理信息的轻微波动中。可以预期整体扰动的幅度比所期望的感兴趣信号要大得多。

在本发明的进一步的方面中，给出了用于从远程检测的特征信号中提取信息的方法，包括以下步骤：

- 接收从由对象发射或者反射的电磁辐射可导出的数据流，所述数据流包括帧序列，所述帧的至少一些包括代表可归因于对象的感兴趣区域的帧区段，所述感兴趣区域展示出包含生理信息的连续或者离散特征信号，所述生理信息代表至少一个至少部分地周期性的生命信号，所述帧序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分，所述扰动信号部分不利地影响特征信号，

- 将特征信号稳定化，包括：

　- 导出从所述帧序列的至少一些帧中通过维度降低形成的导出信号，导出信号形式至少包括指示位置信息的第一信号分量和第二信号分量，

　- 估计当前导出信号形式相对于之前导出信号形式的位置移位，所述位置移位代表不合期望的对象运动，

　- 考虑所估计的位置移位，来确定当前帧区段，所述当前帧区段至少部分代表感兴趣区域，使得感兴趣区域可以被跟踪，以用于至少部分地补偿不合期望的对象运动，并且

- 考虑所确定的帧区段的序列，来从帧序列中提取那个特征信号，其中该特征信号与代表电磁辐射的特征的信号空间相关联。

有利地，可以利用本发明的用于提取信息的设备来执行该方法。

根据一个实施例，该方法进一步包括以下步骤：

-在初始阶段期间导出从所述帧序列的一帧形成的参考导出信号，其中所述参考导出信号形式至少包括指示参考位置信息的第一参考分量和第二参考分量，并且

-在后续阶段期间估计多个后续导出信号形式的每个相对于所述参考导出信号形式的位置移位。

以这种方式，可以建立具有设定的（或者：静态的）参考基础段的循环功能。不需要“滚动波”控制循环。由于循环功能基本依赖于可用的参考值，所以只需要减少的计算资源。

在本发明的又一方面中，提供了计算机程序，其包括用于当所述计算机程序在计算机上实行时导致计算机执行处理方法的步骤的程序代码装置。

当在本文中使用时，术语计算机代表多种多样的处理设备。换言之，具有相当的计算能力的移动设备同样可以被称为计算设备，尽管它们比标准台式计算机提供更少的处理能力资源。

本发明的优选实施例在从属权利要求中限定。应该理解的是，所要求保护的方法和所要求保护的计算机程序具有与所要求保护的设备和与从属设备权利要求中所限定的相似的优选实施例。

附图说明

本发明的这些和其它方面将根据下文描述的（一个或多个）实施例变得明显，并且参考下文描述的（一个或多个）实施例阐明。在下面的附图中：

图1示出可以使用本发明的设备的一般布局的示意性图示，

图2a、2b示出具有代表感兴趣区域的帧区段的帧；

图3示出可以使用本发明的示范性移动设备，

图4示意性地图示出具有可以应用坐标变换的某个帧区段的帧；

图5a示出对其应用导出信号形式导出的帧；

图5b示出具有代表对象的感兴趣区域的帧区段的另外的帧，其中对象相对于图5a中示出的相应位置移位；

图6示出代表移动对象的帧序列，

图7示出了代表对象的另外的帧，其中图示出示范性的感兴趣区域；

图8示出代表移动对象的另外的帧序列，

图9示出包括特征信号的信号空间的、示范性的示意性图示，

图10a、10b描绘出两个图表，每个图表示出对象运动的方向性运动分量，

图10c、10d描绘出两个图表，每个图表示出嵌入生理信息的特征信号，感兴趣的生命信号可以从所述特征信号中导出，以及

图11示出代表根据本发明方法的实施例的几个步骤的说明性方框图。

具体实施方式

以下段落描述对远程光电容积脉搏波描记术的示范性方案，利用了本发明的设备和方法的几个方面。应该理解的是，所示出的方案的单个步骤和特征可以从相应的整体方案的上下文中提取。这些步骤和特征因此可以是依然被本发明的范围覆盖的单独实施例的一部分。

图1示出用于提取信息的设备的示意性图示，所述设备由参考标记10表示。例如，设备10可以用于记录代表远程对象12的图像帧，以用于远程PPG监控。图像帧可以从由对象12发射或者反射的电磁辐射14中导出。对象12可以是人类或者动物或者一般而言，是生物。此外，对象12可以是人类的高度指示所期望的信号的一部分，例如面部部分或者一般而言，皮肤部分。

诸如日光16a或者人造辐射源16b这样的辐射源以及几种辐射源的组合可以影响对象12。辐射源16a、16b基本发射照射对象的入射辐射18a、18b。为了从例如图像帧序列这样的所记录的数据中提取信息，对象12的限定部分或者局部可以被传感器装置22检测。传感器装置22可以由（作为示例）适配于捕获属于电磁辐射14的至少某个谱分量的信息的相机体现。不用说，设备10同样可以被适配成处理预先记录好的并且同时被存储和缓冲的输入信号，即输入数据流。如上文所指示的，电磁辐射14可以含有连续或者离散特征信号，其可以高度指示至少一个至少部分周期性的生命信号20。特征信号可以被嵌入在（输入）数据流24中。根据一个实施例，对于数据捕获，可以选择（或者：利用像素模式掩蔽）对象12的潜在地、高度指示性的部分。当瞬时聚集像素模式的相应的信号像素值时，可以从像素模式中导出平均像素值。以这种方式，所检测的信号可以被规格化，并且在某种程度上补偿整体的扰动。平均像素值可以由特征信号代表。感兴趣的生命信号20可以被嵌入在特征信号的轻微波动（轻微周期性的属性改变）中。在下文中，所捕获的数据流24可以被认为是对象12的某个感兴趣区域的表达，其可以覆盖聚集的像素区域，所述聚集的像素区域覆盖多个像素。在图1中，生命信号20可以允许有关于心率、心跳、心率变异性、呼吸率、或者甚至是氧饱和度的几种结论。

用于获得这样的生命信号的已知方法包括触觉心率监控、心电图、或者脉搏血氧定量法。然而，为了这个目的，需要引人注目的（obtrusive）监控。如上文所指示的，一种可替换的方案针对利用图像处理方法的、不引人注目的远程测量。

包括连续或者离散特征信号的数据流24可以从传感器装置22递送到接口26。不用说，缓冲装置同样可以插入到传感器装置22和接口26之间。在接口26的下游，提供稳定化处理装置28，其被适配成用于所接收的数据流24'的信号处理。基本地，信号处理可以针对运动补偿。不合期望的对象运动或者传感器装置22相对于对象12的运动依然可以对生命信号检测方案提出重大挑战。运动补偿算法本身是众所周知的，然而，其一般需要大量计算工作。尤其是对移动设备而言，存在对于需要较少计算成本的、改进的运动补偿方案的需求。

按照本发明的实施例，稳定化处理装置28包括转换器30、比较器32和补偿器34。转换器30、比较器32和补偿器34的每个都可以被相同的或者明显不同的处理单元体现。换言之，根据示范性实施例，转换器30、比较器32和补偿器34的每个都可以被包括在相同处理单元的逻辑部分中。

如由虚线框35、36所指示的，稳定化处理装置28可以进一步包括模式检测器35和/或偏置装置36。模式检测器35和偏置装置36两者都可以以与转换器30、比较器32和补偿器34相似的方式而被体现。

假设输入数据流24、24'包括帧序列，转换器30可以被配置用于将导出信号形式从所述帧序列的至少一些帧中导出。所述导出信号形式可以是维度降低的，使得针对运动补偿的进一步处理可以得以简化。比较器32可以被配置用于估计在当前导出信号形式与之前导出信号形式之间的位置移位。所述位置移位可以代表将被补偿的对象运动。如上文提到的，之前的导出信号形式可以被存储和保留在缓冲器中，用于基于这个明显不同的（静态的）导出信号形式，处理该序列的、多于一个的后续帧。因此，比较算法的至少一部分，即参考导出信号形式的导出仅需在初始阶段期间执行一次。

补偿器34可以被适配用于基于估计的位置移位，确定当前帧区段（例如，代表对象12的感兴趣区域的当前像素模式）。感兴趣区域可以以这种方式跟踪，以用于补偿不合期望的对象运动。值得一提的是，补偿器34不必“意识到”当前帧区段的背后是什么。将当前导出信号形式与之前的导出信号形式相比较基本包括对未清楚地展示出或者代表感兴趣区域的平面表达（例如，可见的图像表达）的导出物（或者：替代品）的比较。换言之，导出信号形式可以从帧中导出，而一般地，帧不能从相应的导出信号形式中导出，因为导出信号形式在维度上是降低的。因此，不需要对于将被比较用于运动估计的每单个帧进行模式检测或者面部检测。

然而，稳定化处理装置28仍可以包括模式检测器35，其被适配用于模式检测，诸如面部检测和/或皮肤检测。根据优选的实施例，仅仅需要将模式检测器35用于运动补偿过程的初始阶段，以便考虑估计的位置移位来检测帧中代表感兴趣区域的某个帧区段，作为用于在后续帧中后续地确定相应帧区段的基础。

在可替换的实施例中，模式检测可以由设备的用户人工地执行。例如，用户可以在代表初始帧的屏幕上掩蔽（mask）对象12的面部部分或者皮肤部分，以用于确定初始的帧区段。

偏置装置36可以被配置为进一步细化位置移位估计。可以在偏置装置36中实现的示范性偏置功能将在下文中引入并且进一步解释。

例如，稳定化处理装置28（更准确地：比较器32）可以被适配以便将几种匹配函数应用到所获得的导出信号形式分量中。如上文所指示的，导出信号形式可以通过沿着（图像）帧的第一和第二方向的积分投影而获得。在这方面，同样参考图5a和5b。以这种方式导出的导出信号形式分量可以被称为投影轮廓。这些投影轮廓的比较可以在不同偏移量的情况下使用各种匹配函数而执行。

例如，可以应用诸如相关函数这样的统计措施。在优选的实施例中，可以使用绝对差的总和或者平均值。作为示例，沿着第一和第二方向（例如，水平和垂直方向或者x方向和y方向）的位移可以如下地从积分投影中估计出：

并且（1）

（2）

其中项Pref(x）表示来自分量（或者：参考投影）实体的参考导出信号。项Pt _n (x）表示来自分量（或者：当前处理的投影）实体的（当前）导出信号。下标ver和hor代表第一方向和第二方向。项S(d）表示支集（support），即在导出信号分量（或者：投影轮廓）与相应的参考（信号）分量（或者：参考投影轮廓）之间的重叠。支集值||S(d）||基本取决于实际偏移量d，其代表在相应方向上的估计的移位。

这种方案可以进一步发展，因为至少一个偏置功能（或者：正则化功能）被应用到估计算法中，以便进一步增强信号质量。例如，可以加入项F _sup，从而引入对于相当大偏移量的惩罚。这样的偏移量对于估计而言常常价值较小，因为它们不太可靠。作为示例，F _sup可以如下计算：

（3）

其中C _sup是常数，其限定对于检测到的最大移位d _max的惩罚值。

替换地，或者附加地，可以加入项F _temp，从而引入对于时间不连贯的（或者：不稳定的）移位估计的惩罚。例如，F _temp可以如下算出：

（4）

其中C _temp是用于时间影响的常数，其中t表示时间（或者：实际的帧编号）并且其中σ _temp是期望的移位估计的标准差。

等式（1）和（2）可以相应地细化：

并且（5）

（6）。

因此，位移估计的健壮性和稳定性可以被改进，并且因此对于不合期望的对象运动的补偿可以更进一步增强。应该理解的是，示范性等式（1）至（6）以及下层算法的方案可以加上必要的变更而应用到本文描述的几个实施例中。

在稳定化处理装置28的下游，提取器40可以被包括在设备10中。被处理的经补偿的数据流38可以被转移到提取器40中。提取器40可以被配置用于从依然包括在被处理的经补偿数据流38中的帧序列（或者：所确定的帧区段的序列）中提取（被处理的）特征信号。例如，将被提取的特征信号可以由实际的RGB值组成，所述实际的RGB值通过含在感兴趣区域中的皮肤像素值的聚集而获得。特征信号随着时间的轻微波动可以包括生理信息，从所述生理信息中，可以最终提取所期望的信号20。

根据另一个可替换的实施例，设备10可以进一步包括由虚线框所指示的滤波器44，所提取的数据流42可以被转移到所述滤波器44中。滤波器44可以被配置用于增强预期包含所期望的信号20的频率部分。

替换地，或者附加地，时间滤波可以被应用到嵌入在被处理的经补偿数据流38或者所提取的数据流42中的特征信号。假设特征信号的较大改变（或者：波动）（例如，颜色改变）一般不可归因于感兴趣的生命信号，则这些改变可以被认为是不合期望的失真并且因此被抑制。例如，递归的时间滤波可以被应用到信号，以便进一步增强信号质量：

（7）

有

（8）

其中x和y代表随着时间t跟踪和观测的帧区段的单个实体v _x，y的实际位置。再一次，t可以表示时间或者实际的帧编号。实体可以包括单个像素或者聚集的像素的子集。引入分量K用于将权重应用到每个实体v _x，y，权重取决于实体v _x，y经历的改变的幅度。受此影响，受到较小改变的实体v _x，y可以被处理（例如，实际位置的更新），而受到较大改变的实体v _x，y可被忽略，以使得之前的位置得以保留。不用说，示范性等式（7）和（8）以及下层算法的方案可以加上必要的变更而应用到本文描述的几个实施例中。

在可选的滤波器44的下游，被滤波的数据流46可以转移到分析器48，所述分析器48被配置用于检测至少一个至少部分周期性的感兴趣的生命信号20。例如，分析器48可以被适配用于检测占主导的信号峰值，诸如心率指示性频率峰值。最终可以获得输出信号50。

虚线箭头52a、52b、52c图示出被预处理的数据可以在设备10的几个阶段输出，以用于在设备10之外的进一步处理。可以经由箭头52a、52b、52c递送的数据可以被存储或者缓冲，以用于后续处理。此外，可以利用输出数据来代表（图像）数据流。

稳定化处理装置28、提取器40、（可选的）滤波器44和分析器48可以共同地由共用的处理单元54体现，处理单元54例如是具有单个处理器或者多个处理器的中央处理单元。接口26也可以在收容相应的子组件的共用处理单元54中与其连接。作为示例，处理单元54可以在由相应的逻辑命令和软件代码驱动（或者：控制）的移动计算设备中实现。稳定化处理装置28、提取器40、（可选的）滤波器44和分析器48可以通过处理单元54以“虚拟的”方式体现。如果传感器装置22同样共同地连接到接口26，则共用的外壳可以收容相应的子组件。这样的移动设备10可以是移动电话、一般的移动计算机、平板电脑和移动远程PPG扫描仪（参考图3）。

应该理解的是，设备10可以进一步适配成实行所接收数据的附加的预处理或者后处理，使得更进一步增强信号质量。

值得注意的是，信号处理的至少一部分可以在远程环境中执行。在图1中，箭头60指示稳定化处理装置28、提取器40、（可选的）滤波器44和分析器48的至少一部分可以由云计算设备60（虚拟地）体现。例如，云60包括示范性的、可替换的稳定化处理装置28'，其可以接管用于跟踪所期望的帧区段的计算任务的部分。换言之，云60可以作为远程虚拟处理单元，如由云60中的示范性处理器64所指示的。转移自云60的数据和转移到云60的数据可以包括无线数据转移，如由虚线箭头62所指示的。替换地，数据转移同样可以包括经由有线线缆网络的线缆转移。

一般而言，“虚拟”和“云计算”的概念包含一组共享的计算资源（例如，服务器）的利用，所述共享的计算资源典型地整合在一个或者多个数据中心位置。例如，云计算系统可以实现为web服务，使用户能够启动和管理在第三方数据中心中的计算资源（例如，虚拟服务器实例）。在云环境中，计算机资源可以以不同的大小和配置可用，使得不同的资源类型可以被指定，从而满足几个用户的特定需求。云计算可以提供灵活的资源，而不必管理在（最终的）用户终端处的附加硬件资源的购买和操作。基于云的计算资源被认为是在“云”的某个地方存在或执行，所述“云”可以经由内部的企业网络或者有线的公共互联网访问。从应用开发者或者信息技术管理者的角度而言，云计算使得能开发和部署展示出可伸缩性（例如，按要求增加或者减少的资源利用）、性能（例如，高效并且快速地执行）和可靠性（例如，从不或者至少很少面临故障时间）的应用，所有这些都不用考虑下层的基础结构的性质或者位置。

如上文提到的，依赖于对感兴趣对象中血容量搏动的远程检测的远程PPG测量对于对象运动非常敏感。例如，对象运动可能对所期望的信号检测是有害的，因为将被观测的对象12简单地变成看不见。这特别适用于手持式设备。然而，假设对象12保持为看得见，对象运动可能会转变从对象皮肤上反射的入射辐射。此外，普通的生命信号检测方案基本依赖于将被观测的对象12的某个感兴趣区域的模式检测或者选择。因此，所期望的是，选择代表感兴趣区域的帧区段，其排他地或者几乎排他地包括皮肤像素。因此，给定帧的常常只是较小的区段可以被选择用于处理。给定的区段越小，（不利的）运动影响越大。

在这一点上，图2a和图2b示范性地图示出取自帧序列的单个帧66、70。帧66可以被认为是在生命信号检测过程的初始阶段期间捕获的帧。帧66包括代表可归因于将被观测的对象12的感兴趣区域56的帧区段68。例如，感兴趣区域56可以包括人的面部或者至少面部的一部分。感兴趣区域一般包括对象12的皮肤部分。在图2b中图示出的帧70代表后续帧。应该理解的是，后续帧70不必是紧接地接续初始帧66的帧。帧70包括帧区段72，所述帧区段72依然代表（同时位移的）对象12'的感兴趣区域56。对象12的初始位置由虚线代表。箭头74图示出对象12或者相应的帧区段68、72的移位或者位移。

当在本文中使用时，帧可能覆盖可以由传感器装置（例如，相机）捕获的整个视场。然而，根据某些实施例，帧可以仅包括传感器装置可以捕获的、整体帧的子集。

传统运动补偿算法基本需要在每单个帧66、70中检测感兴趣区域56，以便确定移位74。基于这个昂贵的计算，帧区段68、72可以被选择用于进一步处理，以便提取感兴趣的生命信号20。在下文中，将图示和解释用于远程PPG设备中的对象运动补偿的可替换的方案。

示范性远程PPG设备10在图3中图示出。例如，设备10可以由移动电话、移动平板设备、或者移动医疗监控设备实现。设备10可以被认为是手持式设备。优选地，设备被配置用于向用户示出将被观测的对象的表达。进一步优选的是，设备10被配置用于在信号处理过程的初始阶段期间人工地和/或自动地选择初始帧66中的初始帧区段68。

图4示出其中帧区段68已经被选择的示范性帧66的示意性的可替换表达。例如，帧66对准参考坐标系76。相比之下，所选择的帧区段68可以对准倾斜的坐标系76'。不用说，坐标系76、76'可以通过适当的变换处理相互转换。值得一提的是，帧66和所选择的帧区段68都不是必然地必须定形成长方形框。特别地，所选择的帧区段68可以展示出适当地适配于给定感兴趣区域的不同形状。

包含应用到每一个单个帧的模式检测（面部检测）的传统运动补偿方案常常在确定两个连续帧之间的相对移位时失败。如果感兴趣的区域在被处理的帧的至少一个中被遮挡或者甚至看不见，则这可能会发生。由于传统运动补偿方案利用逐步应用到连续帧（参考具有到相应帧的、设定的，即恒定的相对间隙的相应帧）的滚动移位估计，所以相应的参考帧和相应的将被处理的“当前”帧两者都在滚动。换言之，参考帧可以是将被处理的当前帧的直接或者间接的前趋（predecessor）。当感兴趣区域至少部分地、且暂时地被遮挡时，传统方案显示出较差的性能。基本地，当单个帧包括由于某种原因被损坏的感兴趣区域而所有另外的帧展示出恰当定形的感兴趣区域时，滚动运动补偿算法可能崩溃。在这样的失败之后恢复传统运动补偿算法很难达到，并且需要大量的计算工作。

假设该缺点是传统运动补偿方案所固有的，则所期望的将是，提供用于远程光电容积脉搏波描记术的健壮的运动补偿方案，其对于包括被损坏帧区段的帧不太敏感，并且需要较少的计算性成本。

这样的方案可在下文中略述。参考图示出帧66、70的图5a和5b，帧66、70与在图2a和2b中示出的帧66、70相似。图5a示出初始帧66，而图5b示出后续帧70。再一次，将被观测的对象12已经在图5b（参见参考标记12'）中相对于它的初始位置进行了移动。相应地，图5a的代表将被选定用于生命信号提取的区域的帧区段68也应该被移动，以便跟踪对象12的感兴趣区域（例如，面部），参见在图5b中的（移位的）帧区段72。移位或者位移由箭头74代表。箭头74可以被认为是位移向量。将有利的是，确定或者至少估计位移向量74，而不用为了每个后续帧70而将模式检测应用到对象12。

为了这个目的，创建初始帧66的在维度上降低的表达。再一次参见图5a，第一帧方向80（例如，行或者水平线）和第二帧方向82（例如，列或者垂直线）由相应的箭头指示。例如，第一方向80和第二方向82可以与坐标系76（参见图4）的相应轴相重合。图像实体可以沿着第一方向80的行和沿着第二方向82的列聚集（例如，积分）。因此，沿着第一方向80的聚集可以导致导出信号形式78的第一分量78a。沿着第二方向82的聚集可以产生第二导出信号形式分量78b。例如，第一导出信号形式分量78a可通过具有某种密度或者权重分布的第一一维索引（index）元素84体现。相应地，第二导出信号形式分量78b可以通过具有某种密度或者权重分布的第二一维索引元素86体现。如上文提到的，在第一方向80上的或者在第二方向82上的聚集像素实体可以包括将相应的RGB（通道）值或者相似的颜色属性值沿着每行或者列相加。在优选的实施例中，只需要聚集单个通道的值来用于检测所期望的信号。例如，在RGB环境中，G通道可以被认为是高度指示性的。在YUV环境中，Y通道可以被认为是高度指示性的。

以这种方式，可以确定第一一维索引元素84和第二一维索引元素86上的每个实体的密度或者权重。在第一索引元素84处的实体数量可以对应于帧66的行80的数量。在第二索引元素86处的实体数量可以对应于帧66的列82的数量。

假设感兴趣的对象12展示出与背景和周围对象相比而言相当清晰的边缘和/或高对比度区域，则包括第一导出信号形式分量78a和第二导出信号形式分量78b的导出信号形式78可包括清楚的位置信息。作为示例，第一导出信号形式分量78a可以展示出替代的垂直位置信息。因此，第二导出信号形式分量78b可以包括替代的水平位置信息。初始处理的帧66的导出信号形式78可以被用作参考导出信号形式78，其包括第一参考导出信号形式分量78a和第二参考导出信号形式分量78b。

在接续的帧70的序列的每个帧中，参考导出信号形式78可以用作为用于位置移位估计的参考。为了这个目的，同样在图5b中，帧70被处理，使得可以获得包括第一导出信号形式分量88a和第二导出信号形式分量88b的当前导出信号形式88。由于对象12'在帧70中位移，所以导出信号形式分量88a、88b同样被相应地移位。

图5b进一步包括由虚线指示的第一和第二参考导出信号形式分量78a、78b的示意性表达。导出信号形式分量78a、78b保持在原位中（参见图5b中对象12的虚线表达），使得可以估计第一和第二当前导出信号形式分量88a、88b相对于第一和第二参考导出信号形式分量78a、78b的清楚的移位。示范性方案在上文中结合等式（1）和（2）示出。

所估计的移位或者位移由移位向量74代表。移位74可以由第一移位分量74a（例如，垂直移位）和第二移位分量74b（例如，水平移位）组成。第一移位分量74a描述在第一参考导出信号形式分量78a与第一当前导出信号形式分量88a之间的相对移位。第二移位分量74b描述在第二参考导出信号形式分量78b与第二当前导出信号形式分量88b之间的移位。

在已经估计移位分量74后，可以确定假设性地包括对象12'的所期望感兴趣区域的当前帧区段72。再次值得一提的是，当前帧区段72可以被确定，而不用面临对实际检测或者重构移动的对象12'在帧70中的表达的需要。因此，运动补偿可以不考虑实际帧内容而执行。所提出的算法是健壮的，并且可以提供防抖动的功能性。因此，手持式设备10（参见图3）同样可以被用于检测和提取所期望的信号。

图6示出图像帧66、92、94、96的示范性序列90。例如，远程PPG测量可以包括大约10到40秒的持续时间，优选为大约30秒。将被处理的帧序列可以以大约每秒20到40帧的刷新速率（或者：频率）捕获，所述刷新速率（或者：频率）优选为大约每秒30帧。

如早先结合图5a和5b所讨论的，后续帧92、94、96的每个可以回溯到用于运动补偿措施的参考帧66。例如，初始帧66（n=1）可被认为是参考帧，参考导出信号形式78a、78b可以从所述参考帧导出，参见图5a。后续帧92、94、96（n=2，3，……）的每个都可以被处理，以便导出相应的导出信号形式98、100、102，其每个都可以包括第一分量98a、100a、102a和第二分量98b、100b、102b。虚线104a、104b、104c指示导出信号形式98、100、102的每个可以回溯到参考导出信号形式78，用于估计相对于参考帧66的每个相应的移位。以这种方式，后续帧92、94、96（的替代品）的每个都可与合适的参考相比较。不存在将移位估计建立在被损坏参考的基础上的风险。此外，假设后续帧92、94、96的某些可能被损坏，则没有被损坏的每个跟随的“可用（working）”帧依然可以被处理。因此，运动补偿算法在失败后可以很容易地恢复。

图7示出了展示出对象12的表达的（图像）帧66。如上文提到的，将被观测的对象12的几个部分可以作为高度指示所期望的生命信号的感兴趣区域56。例如，面部部分作为整体可以在感兴趣区域56中被代表。然而，远程光电容积脉搏波描记术的生命信号检测同样可以应用到较小的感兴趣区域。例如，感兴趣区域56a可以包括面部的前额部分。可替换的感兴趣区域56b可以包括面部的面颊部分。此外，感兴趣区域56c可以包括颈部部分。另外的可替换的感兴趣区域56d基本包括将被观测的对象12的前臂部分。对象12的手部部分同样可以作为感兴趣区域观测。给出的方案并不必然地需要应用到对象12的面部部分。由于不管感兴趣区域56实际是什么，运动补偿基本都会执行，所以可以避免昂贵的、用于面部检测的（在每一帧处）计算过程。按照实施例，用户自己可以定义初始的（参考）帧区段。一般地，帧区段56可以被认为是帧66的、在测量期间必须被跟踪的区域。

图8图示出将被处理用于在远程PPG环境中的运动补偿的帧108、110、112、122、124的另外的序列106。

根据示范性实施例，设备10确实可以包括模式检测器35（参见图1），其被配置用于模式检测，优选地用于面部检测。帧108、110、112、122、124可以是直接的或者紧接的连续帧。帧108作为参考帧。通过应用模式检测算法，代表将被观测的对象12的一部分的所检测的模式114可以被选择和掩蔽。相应地，可以确定帧区段116作为在后续帧110、112中将被跟踪的参考帧区段。再一次，维度降低的导出信号形式可以从参考帧108和后续帧110、112中导出，参见图5a和图5b。如上文提到的，后续帧110、112的每个都可以回溯到参考帧108，用于比较相应的导出信号形式，使得对象移位可以被检测到，如由虚线118a、118b所指示的。在帧112中，对象12几乎看不见。因此，运动估计可能导致失败。这样的失败可以被用作如由参考标记120指示的触发事件。触发事件120可重新启动运动补偿过程的初始阶段。帧122基本可以作为（新的）参考帧。模式检测算法可以应用到参考帧122。以这种方式，描述被认为指示将被提取的生命信号的对象12的区域的某个模式将被检测，参见参考标记114'。因此，可以确定（新的）参考帧区段126，其将在后续帧124中被跟踪。为了进一步的移位估计和运动补偿，后续帧124的每个可以与（新的）参考帧122比较。以这种方式，运动补偿过程可以甚至更健壮，因为算法可以依据某个触发事件120来“刷新”。应该理解的是，存在几种触发事件。如上文示出的，对象12位于看不见的地方可以导致触发事件120。此外，被遮挡的对象12可以导致触发事件120。

图9图示出包括特征信号136的示范性信号空间130。信号空间130可以由补充通道134a、134b、134c组成。例如，信号空间130可以代表RGB信号空间。因此，补充通道134a、134b、134c可以代表相应的R-、G-、和B-通道。特征信号136可由信号空间130中的某个点（或者：向量）代表或者体现。特征信号136可以由相应的主要分量138a、138b、138c组成，其每个都代表相应的补充通道134a、134b、134c处的某个值。

特征信号136可以是在某个瞬间的（图像）帧的子实体的表达。例如，特征信号136可以代表感兴趣区域的平均像素值。换言之，例如，当感兴趣区域主要包括皮肤像素时，特征信号136基本代表将被观测的对象12展示出的平均皮肤颜色。皮肤颜色的轻微波动可以导致特征信号136的轻微波动。这些轻微波动可以被解译为生理信息。感兴趣的所期望的生命信号可以从生理信息中提取。

参见图10a、10b、10c和10d，可以突显对象运动和用于远程PPG测量的信号质量之间的示范性关系。图10a、10b、10c和10d描绘出几个图表。图表142a、142b、148a、148b已经通过示范性远程PPG测量过程获得，其中相对于传感器装置（例如，相机）的对象运动发生。图10a和10b图示出随着时间在第一帧方向（dx）和第二帧方向（dy）上的对象运动。图10c图示出在尚未应用运动补偿的环境中对象运动对特征信号的强烈影响。相比之下，图10d基于同样的测量，但是包括已经从对其应用示范性运动补偿措施的数据流中获得的特征信号。所有的图表覆盖同样的时间段。在每个图表中，时间轴由箭头144表示。在图表的每个中，时间以被处理帧的数量“计数”。

方向性移位图表142a示范性地图示出水平移位分量74b。方向性移位图表142b示范性地图示出垂直移位分量74a。结合起来考虑，整体的移位74可以由移位分量74a、74b组成，同样参见图5b。在方向性移位图表142a、142b中的纵坐标146a、146b两者都可以包括在开始时间（帧数量=0）处关于开始位置（dx=0；dy=0）的无维的参考位置信息。

图10c图示出图表148a，示出从尚未对其应用运动补偿措施的帧的帧区段中获得的特征信号136a。当将图10c与图10a和10b相比较时，变得清楚的是，高的方向性移位振幅可以由图表148中的特征信号136a的强的振幅反映出。例如，在大约270帧处的极大移位导致特征信号136a在同样的时刻处的极大振幅。在图10c和10d中示出的图表148a、148b两者的纵坐标152可以针对特征信号136a、136b的、明显不同的特征（例如R/G比率等等）的无维的实际表达。根据上文略述的示范性方案，在图表148b中的特征信号136b是经运动补偿的。在图10c的图表148a中的特征信号136a清楚地受图表142a、142b中示出的对象运动影响。在已经应用了运动补偿措施后，运动引起的失真不再在图表148b的特征信号136b中占主导地位。大括弧150a、150b图示出在图10c和10d的相应图表148a、148b中的纵坐标方向上覆盖的范围。应该注意的是，由图10c的图表148a含有的范围150a远远大于由图10d的运动补偿图表148b含有的范围150b。因此，在图表148b中变得明显的特征信号136b的剩余信号特征（例如，极值、反转点等等）被认为高度指示了其中嵌入的所期望的生命信号。

相比之下，图10c的未补偿的图表的特征信号136a不允许这样的结论，因为所期望的生命信号因为对象运动而“隐藏”在扰动后面。

在已经演示了几种由本发明覆盖的、可替换的示范性方案后，参看图11，其示意性地图示出用于从特征信号中提取信息的方法。

最初，在步骤160中，接收到包括几个帧164、166、168的输入数据流或者序列162。时间轴由箭头t所指示。数据流可以从传感器装置22或者数据缓冲器或者存储装置中递送。数据流可以（作为示例）通过随着时间变化的图像帧序列来体现。图像帧可以包括基于RGB的像素数据。数据流包括感兴趣对象的表达。

在后续步骤170中，包括第一和第二参考导出信号形式分量172a、172b的参考导出信号形式172可以从参考帧164中导出。此外，参考帧区段174可以在参考帧164中确定。参考帧区段174将在后续运动补偿措施期间被跟踪。参考帧区段174可以被人工地确定，或者通过应用模式检测（例如，面部检测）算法来确定。

在另一个随后的步骤182中，可以处理后续帧166，以便导出包括第一和第二导出信号形式分量176a、176b的当前导出信号形式176。通过将当前导出信号形式176与参考导出信号形式172相比较，可以估计位置移位178。因此，可以在帧166中确定帧区段180，以便跟踪将被观测的感兴趣区域。参考帧区段174的参考位置由参考标记174'指示。

应该理解的是，步骤182可以对帧序列162的每个后续帧重复，参见虚线循环箭头187。以这种方式，包括感兴趣区域的帧区段可以随着时间被跟踪，参见帧164中的帧区段174、帧166中的帧区段180和帧168中的帧区段186。步骤184可以包括对帧区段序列的相应确定。要进一步留意的是，后续帧166、168的每个可以回溯到参考帧164，以用于运动检测和补偿。如由虚线188指示的，（新的）参考帧的处理可以在处理期间基于触发事件的发生而启动。

在已经确定了帧区段174、180、186的序列后，帧区段可以在后续步骤190中进一步处理，其中特征信号192从帧区段174、180、186的序列中提取。例如，特征信号192可以代表帧区段174、180、186的平均像素值。

另一个信号处理步骤194可接着进行，其中可以进一步处理特征信号192的实例。例如，特征信号192可以含有属于信号空间（或者：颜色空间）196的颜色属性。因此，特征信号192可以被分成与信号空间通道相关联的、相应的主要分量198。进一步的信号处理可以接着进行，使得生理信息200可以被获得。例如，生理信息200可以包括从特征信号192的、被认为是高度指示将被获得的所期望生命信号的轻微波动中导出的信息。进一步的信号处理步骤202可以接着进行，其可以包括（作为示例）信号滤波或者信号加权措施。在步骤202中，可以强调限定的频带204，同时可以衰减相邻的频带。此外，频率分析可以应用到被处理的数据中。

最终，在进一步的步骤206中，可以更进一步分析被处理的生理信息信号200，以便提取所期望的生命信号208。应该理解的是，感兴趣信号208的基于时间的表达和/或基于频率的表达都可能是感兴趣的。

作为示例，本发明可以在卫生保健领域得以应用，例如不引人注目的远程患者监控、常规监测、安全监控和所谓的生活方式环境，诸如健身器材等等。应用可以包含氧饱和度（脉搏血氧定量法）、心率、血压、心输出量、血液灌注改变、自主神经功能的评价、以及周围血管疾病的检测的监控。不用说，在按照本发明的方法的实施例中，此处描述的步骤中的几个步骤可以以改变的顺序或者甚至是同时实行。进一步地，步骤中的某些步骤还可以被略过，而不脱离本发明的范围。这特别适用于几种可替换的信号处理步骤。

虽然本发明已经在附图和前述的描述中被详细地图示和说明，但是这样的图示和说明将被认为是说明性或者示范性的，而不是限制性的；本发明不受限于所公开的实施例。那些本领域技术人员在根据对附图、公开内容和所附权利要求的研习而实践所要求保护的发明时可以理解和实现其它对于所公开的实施例的变化。

在权利要求中，单词“包括”不排除其它元件或者步骤，而不定冠词“一”或者“一个”不排除多个。单个元件或者其它单元可以满足权利要求中记载的几项的功能。某些措施在相互不同的从属权利要求中记载的单纯事实并不指示这些措施的组合不能被用来获益。

计算机程序可以在适当的非瞬时性介质中存储/分发，非瞬时性介质是诸如被与其它硬件一同提供的或者作为其他硬件的一部分提供的光学存储介质或者固态介质，但是计算机程序也可以以其它形式分发，诸如经由互联网或者其它有线或者无线的电信系统分发。

权利要求中的任何参考标记不应被解读为限制其范围。

Claims

1.用于从远程检测的特征信号中提取信息的设备，包括：

- 接口（26），用于接收从由对象（12）发射或者反射的电磁辐射（14）中可导出的数据流（24），所述数据流（24）包括帧（66，70，92，94；108，110，112，122，124；164，166，168）序列，所述帧中的至少一些包括代表可归因于对象（12）的感兴趣区域（56）的帧区段（68，72；174，180，186），所述感兴趣区域（56）展示出包括生理信息（200）的连续或者离散特征信号（136；192），所述生理信息（200）指示至少一个至少部分周期性的生命信号（20；208），所述帧序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分，所述扰动信号部分不利地影响该特征信号（136；192），

- 稳定化处理装置（28），包括：

　- 转换器（30），用于从所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的至少一些帧中通过维度降低而导出导出信号形式（78，88，98，100，102；172，176），所述导出信号形式至少包括指示位置信息的第一信号分量（78a，88a，98a，100a，102a；172a，176a）和第二信号分量（78b，88b，98b，100b，102b；172b，176b），

　- 比较器（32），用于估计当前导出信号形式（88，98，100，102；176）相对于之前导出信号形式（78，172）的位置移位（74，178），所述位置移位（74，178）代表不合期望的对象运动，

　- 补偿器（34），用于考虑所估计的位置移位（74，178），确定当前帧区段（72；180，186），所述当前帧区段（72；180，186）至少部分代表感兴趣区域（56），使得感兴趣区域（56）能被跟踪，以用于至少部分补偿不合期望的对象运动，

- 提取器（40），用于考虑所确定的帧区段（68，72；174，180，186）的序列，从帧（66，70，92，94；108，110，112，122，124；164，166，168）序列中提取该特征信号（136；192），其中所述特征信号（136；192）与代表电磁辐射（14）的特征的信号空间（130；196）相关联。

2.如权利要求1中所要求的设备，进一步包括分析器（48），用于确定特征信号（136；192）的时间变化，并且用于检测由嵌入在特征信号（136；192）中的生理信息（200）所代表的至少一个至少部分周期性的生命信号（20）。

3.如权利要求1中所要求的设备，其中转换器（30）被配置用于沿着所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的至少一些帧的第一方向（80）和沿着所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的至少一些帧的第二方向（82）聚集帧实体，以便导出导出信号形式（78，88，98，100，102；172，176），其中所述第一信号分量（78a，88a，98a，100a，102a；172a，176a）优选地包括帧行（80）的维度降低的映射，而其中第二信号分量（78b，88b，98b，100b，102b；172b，176b）优选地包括帧列（82）的维度降低的映射。

4.如权利要求1中所要求的设备，其中至少一个至少部分周期性的生命信号（20；208）选自由心率、心跳、呼吸率、心率变异性、特劳伯－赫林－迈尔波和氧饱和度组成的组。

5.如权利要求1中所要求的设备，其中信号空间（130；196）是包括至少两个补充通道（134a，134b，134c）的颜色信号空间，所述至少两个补充通道（134a，134b，134c）与限定的谱部分相关，以及其中特征信号（136；192）包括至少两个主要分量（138a，138b，138c；198），其每个与相应的补充通道（134a，134b，134c）相关。

6.如权利要求5中所要求的设备，其中至少部分周期性的生命信号（20）被嵌入在特征信号（136；192）的至少两个主要分量（138a，138b，138c；198）的至少一个的轻微时间波动中。

7.如权利要求1中所要求的设备，其中转换器（30）被进一步配置用于在初始阶段期间从所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的一帧中导出参考导出信号形式（78；172），所述参考导出信号形式（78；172）至少包括指示参考位置信息的第一参考分量（78a；172a）和第二参考分量（78b；172b），并且其中比较器（32）被进一步配置用于在后续阶段期间估计多个后续导出信号形式（88，98，100，102；176）的每个相对于该参考导出信号形式（78；172）的位置移位（74，178）。

8.如权利要求7所要求的设备，其中稳定化处理装置（28）被进一步配置用于触发转换器装置（30），以使得至少另外的参考导出信号形式（78；172）能在后续阶段期间从帧中导出。

9.如权利要求1所要求的设备，其中稳定化处理装置（28）进一步包括模式检测器（35），用于在初始阶段期间确定至少部分地代表在所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的至少一帧中的感兴趣区域（56）的帧区段（68；116，126），使得初始帧区段（68；116，126）能被确定为参考帧区段。

10.如权利要求1所要求的设备，其中稳定化处理装置（28）进一步包括偏置装置（36），用于考虑当前的绝对移位估计和/或当前移位估计的时间连贯性而校正估计的位置移位值（74，178）。

11.如权利要求1所要求的设备，进一步包括集成的传感器装置（22），其能够捕获包括帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的数据流（24）。

12.如权利要求1所要求的设备，进一步包括滤波器（44），用于选择性地衰减或者增强所述特征信号（136；192）的分量。

13.用于从远程检测的特征信号中提取信息的方法，包括以下步骤：

- 接收从由对象（12）发射或者反射的电磁辐射（14）中可导出的数据流（24），所述数据流（24）包括帧（66，70，92，94；108，110，112，122，124；164，166，168）序列，所述帧的至少一些包括代表可归因于对象（12）的感兴趣区域（56）的帧区段（68，72；174，180，186），所述感兴趣区域（56）展示出包括生理信息（200）的连续或者离散特征信号（136；192），所述生理信息（200）指示至少一个至少部分周期性的生命信号（20；208），所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分，所述扰动信号部分不利地影响该特征信号（136；192），

- 将特征信号（136；192）稳定化，包括：

- 从所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的至少一些帧中通过维度降低而导出导出信号形式（78，88，98，100，102；172，176），所述导出信号形式（78，88，98，100，102；172，176）至少包括指示位置信息的第一信号分量（78a，88a，98a，100a，102a；172a，176a）和第二信号分量（78b，88b，98b，100b，102b；172b，176b），

- 估计当前导出信号形式（88，98，100，102；176）相对于之前导出信号形式（78，172）的位置移位（74，178），所述位置移位（74，187）代表不合期望的对象运动，

- 考虑所估计的位置移位（74，178），确定当前帧区段（72；180，186），所述当前帧区段（72；180，186）至少部分代表感兴趣区域（56），使得感兴趣区域（56）能被跟踪，以用于至少部分补偿不合期望的对象运动，并且

- 考虑所确定的帧区段（68，72；174，180，186）序列，从帧（66，70，92，94；108，110，112，122，124；164，166，168）序列中提取该特征信号（136；192），其中所述特征信号（136；192）与代表电磁辐射（14）的特征的信号空间（130；196）相关联。

14.如权利要求13中所要求的方法，还包括以下步骤：

- 在初始阶段期间从所述帧（66，70，92，94；108，110，112，122，124；164，166，168）序列的一帧中导出参考导出信号形式（78；172），其中所述参考导出信号形式（78；172）至少包括指示参考位置信息的第一参考分量（78a；172a）和第二参考分量（78b；172b），并且

- 在后续阶段期间估计多个后续导出信号形式（78，88，98，100，102；172，176）的每个相对于该参考导出信号形式（78；172）的位置移位（74，178）。

15.计算机程序，包括程序代码装置，用于当所述计算机程序在计算机上实行时，导致计算机实行如权利要求13中所要求的方法的步骤。