CN102598666A - 用于提供媒体数据和元数据组合的方法和系统 - Google Patents

Abstract

一种提供视频数据（37）和元数据（34）的组合的方法包括获取由视频摄影机（5）捕获的图像序列（23）。从图像序列（23）中提取至少一个信号（24），其中每个提取的信号（24）特征化光强度和颜色的至少一个的局部时间变化。对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）。所提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取。提供具有用于特征化在图像的至少部分中表示的主体中的至少一个过程的元数据（34）的压缩的视频数据（37），这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化。元数据（34）至少基于所提取的信号（24）的至少一个。

Description

用于提供媒体数据和元数据组合的方法和系统

技术领域

本发明涉及一种提供媒体数据和元数据组合的方法、一种用于提供媒体数据和元数据组合的系统。本发明还涉及包括压缩视频和元数据组合的信号，其中压缩视频是可通过对来自图像序列的图像的图像数据应用至少一个视频压缩技术获取的。本发明还涉及一种处理此信号的方法、用于处理此信号的系统和计算机程序。

背景技术

US 2009/0192961 A1描述了一种用于基于用户兴趣适配媒体流的比特率的系统。收集的生物信息数据可以用来确定用户的情感兴趣并且可选地调节媒体的比特率和/或将导航选项呈现给存储的媒体的一个或多个选择的部分。生物信息数据可以包括心率、呼吸率、皮肤电反应、瞳孔扩张、血压、体温等。可以从传感器收集生物信息，该传感器可以包括皮肤电传感器、麦克风、温度计、加速计等。在实施例中，用户兴趣的变化可以触发可变比特率编码器基于配置选项来调节所捕获的音频/视频的比特率处理。例如，数码摄影机可以在图片捕获期间获取生物信息数据。当用户兴趣被检测为高时，图像分辨率和百万像素计数会增加，将该图片存储为高保真度图像。收集的生物信息数据可以作为元数据存储在图像中以用在重放和导航。

已知系统的问题在于其限于在捕获时可以获取的生物信息数据。仅获取了特征化附连到传感器的人的生物信息数据。每个另外的人都需要所描述类型的附加生物信息传感器，并且每个人必须合作。

发明内容

期望的是提供一种上面所提及类型的方法、系统、信号和计算机程序，其允许利用特征化在视频中表示的主题中的过程的元数据来高效提供视频数据。

为此，根据第一方面，提供了一种提供视频数据和元数据组合的方法，包括：

- 获取由视频摄影机捕获的图像序列；

- 从图像序列中提取至少一个信号，

其中每个提取的信号特征化光强度和颜色的至少一个的局部时间变化；

- 对来自该序列的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据；

其中所述至少一个信号从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及

- 提供具有用于特征化在所述图像的至少部分中表示的主体（subject）中的至少一个过程的元数据的压缩的视频数据，

这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，

其中所述元数据至少基于所提取的信号的至少一个。

图像序列中表示的主体通常将是有生命的主体，但是可以是无生命的物体。引起光的强度和颜色的至少一个的局部时间变化的过程一般将是独立于主体的任何外部可见部分的任何移动的内部过程。然而，在一些应用中它可以是主体的可见部分的内部移动（例如，主体的部分相对于针对该主体固定的参考帧的旋转或相互移动）的过程。在有生命的主体和内部过程的情况下，提取的信号携带与至少一个生物信息信号相对应的信息。

通过提供压缩的视频数据，该方法是相对高效的。因为压缩的视频数据，尤其是使用预测编码获取的压缩视频数据，通常不再适合于提取表示光强度和颜色的至少一个中的局部时间变化的信号，该信号可以用来获取特征化在图像中表示的主体中的至少一个生物现象的数据，所以本方法提供了这样的元数据，其对应于特征化生物现象的这些数据，或者适合用于获取这些数据。该方法基于从压缩前的图像序列中提取至少一个信号，以使得由图像的至少部分中表示的主体中的过程引起的强度和/或颜色的小规模变化仍旧表示在所提取的信号中。通过基于这样提取的信号，也即通过提取多个信号，该方法能够用来获取特征化图像序列中表示的多个人的数据而无需提供附加的传感器。该方法主要还独立于有生命的主体的合作意愿，因为不需要在身体上放置传感器。该方法例如在监督应用中适合于结合压缩的视频来提供生物信息数据。该生物信息数据可以用来标识需要更严密监视的压缩视频部分。因为视频被压缩，具有相对低容量的数据传输网络可以用于从摄影机系统收集视频和元数据。该系统可以容易地被布置为使得通过能够获得压缩的视频的人确定事件的性质来实现对由元数据信号传递的事件的短期响应。

该方法的实施例包括取决于至少基于提取的信号的至少一个的获取部分的数据的分析结果来适配至少一个压缩技术的应用。

这个实施例可以用来提供对于以下问题的解决方案，即如果存在在图像序列中表示的更多的人并且与他们的每一个单独相关的生物信息数据将可从元数据恢复，则可能需要更多的元数据。包括的元数据的数量可以根据需要（信息的数量）而变化，同时保持数据（压缩的视频和元数据）的总量在界限内。可替换地或另外，该实施例可以用来，根据图像序列的特定空间部分是否表示感兴趣的主体，将或多或少的压缩应用在那些特定空间部分上。例如，提取的信号可以用来确定在图像中表示的有生命的人的面部位于何处。可以对图像的这些空间部分进行编码以便保留更多的细节。在预测编码用作压缩技术的一部分的情况下同样如此。如果确定特征化该过程的参数在对应于图像序列的特定段的间隔期间的时间上快速地变化，则可以应用更少的插值来对作为压缩的部分的这些段进行编码。

方法的实施例包括，在获取图像序列时，引起取决于至少基于所提取的信号的至少一个的获取部分的数据的分析结果来调节使用至少一个摄影机捕获图像的过程的参数。

该实施例使得可以使用相对廉价的摄影机而不会生成不可靠的特征化图像序列中表示的主体中的过程的数据。代替必须使用高清摄影机，可以调节参数以使得携带与主体中的过程有关的信息的一个或多个提取信号的分量更清晰地存在于提取的信号中。在该实施例的一个变形中，影响用来将光聚焦到传感器阵列上的光学系统设置的参数被适配。因此，可以放大以捕获与图像序列中表示的情景中的特定部分有关的更多信息。因此可以增加用来创建一个或多个提取信号的像素数目。可替换地，可以生成携带与同一过程有关的信息的更多的提取信号，其将随后导致更加可靠的、特征化主体中的过程的合意信号（consensus signal）或值。在另一变形中，取决于至少基于所提取的信号的至少一个的获取部分的数据的分析结果来调节用于将光强度转换成离散的像素值的系统的至少一个参数。这些参数的示例包括图像传感器阵列的增益和离散化（discretisation)阈值。在此实施例中，典型地由于内部（尤其是生物）过程，像素值携带更加可靠的表示颜色或强度中小规模变化的信息。可以调节的其他参数包括曝光时间和帧速率（典型地用于将光强度转换成离散像素值的系统的参数，因为数码摄影机将通常不具有机械快门）。

在实施例中，该方法通过包括在摄影机中的处理系统来执行。

这意味着处理系统被包括在与图像传感器阵列相同的外壳内。该实施例极大地避免了未压缩视频数据的传送，并且因而相对廉价地来实施。在特定变形中，摄影机提供有至少一个网络接口，以使得由摄影机自身通过网络可发送视频数据和元数据的组合。在一个实施例中，该组合是压缩的视频和与压缩的视频流同步的元数据流的多路复用。合适的摄影机（所谓的IP摄影机）已经存在。该方法的这个变形仅要求它们被合适地配置来执行该方法。

在实施例中，元数据包括特征化图像序列中的光强度和颜色的至少一个中的局部时间变化的至少一个信号。

因此，元数据包括基本上与提取的信号类似的信号。然而，它们可以是组合所提取的信号的两个或更多个的操作的结果，例如取平均或聚类操作。在此实施例中，提供元数据和压缩视频的组合的系统无需以简洁方式执行得出特征化主体中的过程的可获得的信息所必需的处理。该类型的处理由被布置为处理压缩的视频数据和元数据的组合的外部系统来执行。相应地，可以变化处理类型。此外，提供元数据和压缩视频的组合的系统可以更简单。例如，一个昂贵的系统可以处理由若干摄影机提供的压缩视频数据和元数据。

根据本发明的另一方面，提供了一种用于提供视频数据和元数据组合的系统，包括：

- 用于捕获图像序列的摄影机的至少一个接口；

- 视频数据处理系统，被配置为：

- 对来自该序列的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据,

- 从图像序列中提取至少一个信号，每个提取的信号特征化光强度和颜色的至少一个中的局部时间变化以及

- 生成用于特征化在图像的至少部分中表示的至少一个主体中的至少一个过程的元数据，

其中提取的信号从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取，并且其中元数据特征化引起从主体捕获的光的强度和颜色的至少一个中的局部时间变化的过程并且元数据至少基于所提取的信号中的至少一个；以及

输出接口，用于提供具有元数据的压缩视频数据

在实施例中，系统被配置为执行根据本发明的方法。

根据本发明的另一方面，提供了一种包括压缩的视频和元数据组合的信号，其中可通过对来自图像序列的图像的图像数据应用至少一个视频压缩技术获取压缩视频，并且元数据包括特征化图像序列中的光强度和颜色的至少一个中的局部时间变化的至少一个信号。

一种被布置为接收和处理信号的系统可以获取特征化图像中表示的主体中的过程的信息。因为元数据包括至少一个特征化图像序列中光强度和颜色的至少一个中的局部时间变化的信号，所以可以获取各种类型这样的信息。例如，提取的信号可以用来确定在图像中表示的有生命的主体的心率或呼吸率。为此仅需要一种类型的元数据，也即提取的信号。一个效果是信号可以由相对不复杂的摄影机系统来生成。另一效果是不必实现大量不同类型的元数据的标准化（即关于指示元数据中的特定数值表示的变量的代码的一致性）。一种类型的元数据是足够的。在变形中，元数据将指示表示光强度和颜色的至少一个中的局部变化的特定信号所属的空间位置。

在实施例中，可通过执行根据本发明的方法获取信号。

根据本发明的另一方面，提供了一种处理根据本发明的信号的方法，其包括计算特征化图像序列的至少部分中表示的主体中的至少一个过程的参数的至少一个值，这个过程引起从主体捕获的光的强度和颜色的至少一个中的局部时间变化，将特征化图像序列中的光强度和颜色的至少一个中的局部时间变化的信号的至少一个用作输入。

根据本发明的又一方面，提供了一种用于处理包括压缩视频和元数据的组合的信号的系统，包括：

- 接口，用于获取根据根据本发明的信号，以及

- 数据处理系统，用于计算特征化图像序列的至少部分中表示的主体中的至少一个过程的参数的至少一个值，这个过程引起从主体捕获的光的强度和颜色的至少一个中的局部时间变化，将特征化图像序列中的光强度和颜色的至少一个中的局部时间变化的信号的至少一个用作输入。

根据本发明的再一方面，提供了一种包括指令集合的计算机程序，该指令集合当包含在机器可读介质中时能够引起具有信息处理能力的系统执行根据本发明的方法。

附图说明

将参考附图进一步详细地描述本发明，其中：

图1是系统的示意框图，该系统包括用于生成将压缩视频流与元数据组合的信号的摄影机系统和用于处理该组合的信号的系统；

图2是示出通过用于生成信号的系统执行的方法中的一些步骤的流程图；

图3是详细示出作为图2中示出的方法的实施例部分的生成表示图像序列中强度和颜色的至少一个中的局部时间变化的信号的步骤的流程图；

图4是给出处理经组合的信号的第一方法的概要的流程图；和

图5是给出处理经组合的信号的第二方法的概要的流程图。

具体实施例

包括第一和第二摄影机系统1、2、网络3和视频信号处理系统4的系统在此用来解释提供和处理压缩视频数据和元数据组合的方法。在示出的实施例中，第一摄影机系统1包括具有网络接口6的单个摄影机5。在另一实施例中，第一摄影机系统1包括计算设备和例如经由直接链路与之连接且在该计算设备的控制下操作的摄影机的组合，该计算设备还处理原始未压缩的视频数据以生成压缩视频数据和元数据的组合。

第二摄影机系统2可以具有与第一摄影机系统1相同的组成（build-up），并且因此没有被更详细地示出。

摄影机5包括图像传感器阵列7，例如已知类型的CCD或CMOS传感器阵列。它还包括光学系统8以用于将来自情景的光聚焦到图像传感器阵列7上。该光学系统8将通常包括一个或多个透镜、滤镜、光圈等，其每一个可以在摄影机处理器9的控制下来调节。类似地，摄影机处理器9可以设置图像传感器阵列7的参数，包括积分时间、增益、离散化阈值等。注意的是，在在此参考图像序列的情况下，其可以包括在不同颜色通道中的图像序列的组合。因此，图像可以意指两个或更多个（例如3个）图像帧的组合，每个像素值阵列表示所捕获的在电磁频谱的特定范围内的光强度。还要注意的是，摄影机5可以被布置为在电磁频谱的可见部分或不可见部分中或者在两者中操作。因此，图像可以由表示在频谱的红外部分中的捕获强度的像素值阵列组成，或者包括该像素值阵列。

在示出的实施例中，提供了视频编码器10来压缩原始图像数据，并且从而生成压缩的视频。然而，处理器9也能够处理原始未压缩的图像数据，为此提供了易失性存储器单元11。

在其他实施例中，与图1示出的相比，摄影机5的组件的功能结合到更少的分离设备中或者分布在更多的设备上。

示出的摄影机5被提供有用户控制12和显示器13。

摄影机5和第二摄影机系统2每个被配置为提供包括压缩的视频数据流和元数据数据流的数据流。压缩的视频数据流和元数据数据流被提供有共同的时基（time base），以使得同步元数据和压缩的视频。在特定的实施例中，元数据数据流和压缩的视频数据流被提供在多路复用中（in a multiplex）。

这里以示例的方式使用特定的应用，其中摄影机5用来结合携带信息的元数据数据流提供压缩的表示一个或多个人的视频数据流，该信息或者直接特征化所表示的人中的一个或多个生物过程或者允许视频信号处理系统4来导出该信息。摄影机5通过首先从未经压缩的图像序列中提取一个或多个第一信号来生成元数据，每一个第一信号表示光强度或颜色或两者的局部时间变化。因此，在此要描述的过程适合于获取有关生物过程的元数据，所述生物过程引起通过有生命的人反射或传递的光的颜色或强度的变化。该过程尤其用来获取有关（准）周期生物过程的元数据，诸如心跳和呼吸。然而，也可以尤其通过专注于电磁频谱内的适当范围来特征化其他现象，诸如排汗。

在一个在此将被更完全地描述的实施例中，摄影机5和第二摄影机系统2仅提供直接表示代表光和颜色的至少一个中的局部变化的信号的元数据，意指这些信号可以根据元数据被完全地重构，或者至少只是针对相位差来被重构。在另一实施例中，元数据表示直接特征化生物现象的参数值。在此实施例中，元数据所基于的、表示光和颜色的至少一个中的局部变化的信号不再能够根据元数据被重构。假设表示直接特征化生物现象的参数值的元数据要求摄影机5的更多智能，但是这意味着元数据的尺寸更小。在另一方面，视频信号处理系统4仅获得摄影机5被编程提供的生物信息（例如，在压缩的视频流中表示的人的心率值，但是没有呼吸率值）。此外，必须存在使得视频信号处理系统4能够确定元数据中的数字值所相关的变量的性质的协议。

视频信号处理系统4可以以通用计算机的形式来实现。因此，在图1中，该系统示出为包括网络接口6、中央处理器15（CPU）和主存储器16、用户输入设备17、大容量存储设备18和图形单元19。该系统以示例的方式连接到两个显示设备20、21。在可替换实施例中，可以提供用于解压缩所接收的压缩视频流的单独解码器设备，但是在示出的实施例中，这通过CPU 15或者图形单元19来完成。在示出的实施例中，经解压缩的视频可以示出在显示设备20、21之一上，而有关视频中表示的有生命的主体中的生物过程的信息可以示出在另一个显示设备上。该显示可以是以图形显示的形式，包括与视频中示出的情景相对应的图形表示，其中生物信息在与该生物信息与之相关的主体在视频中表示的屏幕位置基本上相对应的屏幕位置处示出。在可替换实施例中，生物信息叠加在视频上。在一个实施例中，响应于经由用户输入设备17提供的输入来叠加该生物信息。在又一实施例中，来自摄影机5的视频和来自第二摄影机系统2的视频可以例如示出在两个显示设备20、21的分离设备上以实现用于安全目的的监督系统。生物信息可以用来突出（highlight）潜在有兴趣的情景，例如那些表示具有升高的心率或排汗的人的情景。

转至图2，现将描述可能在摄影机5中通过处理器9执行的提供压缩的视频数据和元数据组合的方法示例。

随着每个获取的下一个图像（步骤22），已经获取的图像的子序列23被更新。在示出的实施例中，随后使用远程光体积描记术方法获取第一信号集合24a-n的每一个中的下一个点（步骤25）。

在图3中概要地示出一种可以获取第一信号的方式。获取图像序列26（步骤27），该图像序列可以是不同颜色通道中的两个或三个图像序列的组合。

随后，在可选但是有用的步骤中，向图像26应用校正。这可以包括从图像中的像素值中减去整个光强度等级（例如通过对图像中的所有像素，实际上是不同颜色通道中的所有相应的图像帧的所有像素，取平均来确定）中的变化。目的是尽可能多地去除由于背景光照或者摄影机移动而导致的变化，以便隔离由于图像中表示的主体中的过程而导致的图像的空间区域中的局部变化。

随后（步骤29），将定义多个测量地区的网格（每个包括多个像素点）叠加在图像26上。

接下来（步骤30），建立提取信号31a-n的第一集合，提取信号31a-n的每个值基于来自测量地区之一的像素值组合。这可以例如是平均数（average）。它也可以是均值（mean value）。它还可以是利用用于来自不同颜色通道的像素值的不同权重的加权平均数。因此，例如，绿色可以是偏重的，因为它尤其对皮肤组织中的氧合血红蛋白水平的变化敏感。类似地，可以给予蓝色额外的权重，因为它对皮肤组织的含水量的变化和对皮肤表面的水分含量的变化敏感，并且因此表示脉动的血浆流动和排汗的变化等级。要注意的是，可以执行聚类而不是执行空间平均。也即，为测量地区中的多个像素位置的每一个生成表示强度变化的信号或信号段，并且这些信号或新号段随后被聚类以针对每个测量地区生成单个提取信号31。

在示出的实施例中，生成信号32a-n的第二集合（步骤33），每个信号32a-n表示信号31的第一集合中的相应的一个中的变化。可以通过使信号31以它们的均值（mean value）或者平均值（average value）为中心来生成信号32的第二集合。在可替换实施例中，执行用于获取小的信号变化的不同或者又一技术，例如高通或带通滤波。

如图所示，第二集合的信号32a-n对应于第一信号24a-n。在其他实施例中，可以进行选择。例如，可以丢弃那些具有很少或者没有信息内容的第二集合的信号32a-n。

要注意的是，其中不使用网格的可替换实施例（未详细示出）是可能的。作为代替，图像分割用来标识与有生命的人相对应的那些图像部分。随后，在每个兴趣区域内选择至少一个测量地区。贯通图像序列26跟踪兴趣区域或测量地区，并且以针对图2的实施例解释的方式从每个测量地区中提取信号。这个实施例稍微更加复杂，因为摄影机5中的处理器9必须能够执行图像分割，以及用于识别特定类型的兴趣区域的算法（例如面部识别算法）和用于贯通图像序列跟踪测量地区和/或兴趣区域的算法。然而，例如在第二摄影机系统2包括摄影机和计算设备的情况下，该实施例可以是可行的并且会具有生成更少的第一信号24a-n的效果，这些信号而且都有可能与对引起光强度和/或颜色中的局部变化的现象进行特征化相关。用于面部识别的算法在Viola, P.和Jones, M.J.于2001年7月13日在视觉统计和计算理论IEEE工作组学报上发表的“Robust real-time object detection”中描述。跟踪算法在De Haan等人于1993年10月在有关视频技术的电路和系统的IEEE会报的第3卷，第5期，368-379页中发表的“True-motion estimation with 3-D recursive search block matching”中描述。

在获取第一信号24a-n的进一步的点的步骤25（图2）之后，可以创建元数据的流34中的新值（步骤35）。元数据可以是预定的格式，它可以是私有的或者标准化的。

如所提及，在一个实施例中，该步骤35使得必需进一步处理第一信号24a-n，或者迄今获取的其部分，以便于获取直接对兴趣现象进行特征化的参数的值。例如，可以使用滑动窗口将第一信号24a-n变换成频域，以便获取在时间的连续点处的每个第一信号的频谱。确定频谱的至少有限范围内的优势频率的值以便获取例如表示心率或呼吸率的时变信号。这些值随后可以被编码成元数据。在实施例中，这些值与图像中标识空间区域的数据相关联，以使得心率或呼吸率值可以与在图像序列中表示的若干生物中的相应生物相关联。

在本文更详细描述的实施例中，直接表示第一信号24a-n的数据，与标识所关注的第一信号24a-n从其提取的测量地区的位置的关联数据一起，被编码成元数据。标识测量地区的位置的数据可以是暗含的，例如按照其中值在包括在元数据中的表中被记录的顺序。

迄今获取的子序列23中的图像的图像数据被压缩（步骤36）以获取压缩的视频帧37。在示出的该方法的实施例中，至少一个帧间压缩技术被应用于迄今获取的子序列23中的图像。此外，使用至少一个有损压缩技术。通常，这些压缩技术将去除小规模的强度和颜色变化。因此，提取表示由经压缩的视频帧37中所表示的主体中的内部过程引起的强度和颜色中的至少一个的时间变化的信号通常将是不可能的。为此，对获取的未压缩图像23并行执行提取步骤25和压缩步骤36，或者首先执行提取步骤25。

元数据的流34和压缩的视频帧37被多路复用成单个数据流（步骤38）。每个都参考共同的时基，以使得第一信号24a-n或者特征化内部过程的参数的时变值与压缩的视频流同步，该内部过程引起由第一信号24a-n特征化的时间变化。例如，通过MPEG-4系统标准（ISO/IEC 14496-1）提供组合数据流的合适格式。

图2中示出并在以上描述的方法的步骤构成了提供压缩视频数据和元数据的组合的方法的独立和完整的第一实施例。

图2中还示出了提供进一步效果的第二实施例的特定附加特征。

在该实施例中，执行进一步的步骤39，其涉及迄今获取的第一信号24a-n的部分的分析。在示出的实施例中，在压缩（步骤36）正在进行的同时并且也在图像获取（步骤22）正在进行的同时执行该步骤39。

这样做是因为分析结果用来并行引起捕获图像过程的至少一个参数的调节（步骤40）以及引起被应用的至少一个压缩技术（步骤36）的适配（步骤41）。

可以使用各种类型的分析和适配。在一个实施例中，分析是直接针对第一信号24a-n的。在另一实施例中，执行从表征引起强度和/或颜色的局部时间变化的内部过程的第一信号24a-n导出信息的过程的部分或全部，并且分析是针对以这种方式导出的信息的。例如，分析可以是针对第一信号24a-n的光谱。

在一个实施例中，第一信号24a-n或者特征化相应的第一信号24a-n的值比较进行比较。因此，可以确定第一信号24a-n是否具有在一定精度内的共同的优势频率。在某种意义上，这确定了图像中表示了多少不同的人。如果存在若干人，则存在较少的范围用于减少元数据的数量，以使得视频压缩率将增加。这确保了跨网络3发送的数据的整体数量可以处于特定的限制内。如果优势频率仅存在于与图像的特定空间区域相关联的第一信号24a-n中，则那些区域中的压缩可以比其他区域中的压缩低。这是因为它们可能是人类观察者最感兴趣的区域。倘若是人类主体，则这些区域很可能对应于人的身体。如果优势频率在时间上快速改变，则帧间压缩技术可以适于使用更少的预测，因为可能存在由图像23所表示的情景中的许多变化，例如人来来往往。

就结合捕获图像23的过程的参数调节的分析而言，这些包括对应于图像传感器阵列7和用来将光聚焦到图像传感器阵列7上的光学系统8的至少一个的设置的参数。这尤其意味着情景的特定部分可以用更高的分辨率来捕获，即使图像传感器阵列7的像素计数可能非常低。相关的分析可以是例如确定第一信号24a-n的动态范围和/或信噪比。如果信噪比为低，则摄影机5可以放大。如果动态范围为低，则可以例如使得图像传感器阵列7中的模数转换器的量化步骤更小。进一步可能的分析包括确定与感兴趣的生物现象（心率、呼吸率）的频率相对应的第一信号24a-n的一致的优势频率，或者确定针对第一信号24a-n的频域变换的频率分布。

通过以这样的方式适配图像捕获过程和/或压缩，在用来捕获图像的摄影机5硬件与生物信息信号的检测器之间实现了闭合反馈回路。摄影机5的控制参数被连续自动地调节以便将检测的生物信息信号的可靠性保持在恒定高的水平。

在其中第一信号24a-n的至少一些被直接编码为元数据的示例中，视频信号处理系统4可以执行如图4所示的方法或者如图5所示的方法。

在图4所示的方法中，视频信号处理系统4接收多路复用（步骤42），并且将该元数据与经压缩的视频流分离（步骤43）。该经压缩的视频流被解压（步骤44）。

根据元数据，视频信号处理系统4和标识该第一信号24a-n与之关联的图像中的空间位置的关联信息一起，确定第一信号24a-n（步骤45）。应用频率变换以确定每个第一信号24a-n的频谱的至少有限范围内的优势频率（步骤46）。这使用滑动窗口来重复完成，以使得可以跟踪优势频率随时间的发展。具体地，优势频率的值可以和在时间上与在并行步骤44中获取的解压缩视频序列中的点相对应的点相关联。因此，频率信息和经解压缩的视频可以一起显示在显示设备20、21之一上（步骤47）。在一个实施例中，确定显示区域内经解压缩的视频中表示的有生命的主体的位置。基于从元数据中提取的信息为每个这样的人确定特征化生物现象的至少一个参数的值，并且利用到表示人的位置处的可见链路来叠加显示在解压缩的视频上。在另一实施例中，无论何时特征化在解压缩的视频中表示的主体的内部过程的参数值满足特定标准时，都会提供警告。因此，例如，无论何时视频示出其心率值满足特定标准（例如，指示医学问题或安全风险的标准）的人时，都可以提供可听或可见的警告。

图5示出了处理包括压缩视频数据和元数据（尤其是直接表示多个表示强度和颜色的至少一个的局部变化的第一信号24a-n 的元数据）的组合的信号的类似方法。该元数据使得能够针对每个第一信号24a-n确定关联的图像位置。因此，视频信号处理系统4能够处理每个第一信号24a-n以确定特征化信号的参数的至少一个关联值，并随后生成这些参数值的图。

在示出的示例中，获取包括以元数据流34形式的第一信号24a-n和压缩视频流的多路复用（步骤48）。将元数据流34与压缩视频流分离（步骤49）。随后，获取50第一信号24a-n和将其每一个链接到图像区域中的位置的关联信息。第一信号24a-n每一个都被分析以确定在它们的频谱的至少有限范围内的优势频率（步骤51）。随后，在示出的实施例中，为每个第一信号24a-n确定优势频率处的相位（步骤52）。在示出的实施例中，该信息用来生成相位图（步骤53）。并行地，解压缩该压缩视频流（步骤54），并且还显示该解压缩的视频（步骤55）。例如，相位图可以显示在第一和第二显示设备20、21之一上，并且压缩视频可以显示在另一个上。

在可替换实施例中，解压缩的视频和相位图之一用来增强另一个的显示。因此，例如，在定义图3的方法中的测量地区的网格相对粗糙的情况下，在解压缩的视频上执行的图像分割可以用来增强由相位图提供的图像。

要注意的是，在其中提供给视频信号处理系统4的元数据与第一信号24a-n不再直接对应的备选方案中，第一和第二摄影机系统1、2的一个或两者可以执行图3的方法随后的根据图4或5的方法，以使得元数据流34将携带表示每个第一信号24a-n的频谱的至少有限范围内的优势频率的数据，或者将携带表示相位图的信息。在任一情况下，提供了使得能够特征化摄影机捕获的图像中表示的多个主体中的每个主体的内部过程的附加信息。

应当注意的是，上述实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多可替换的实施例而不脱离所附权利要求的范围。在权利要求中，放置在括号之间的任何附图标记不应被理解为限制权利要求。词语“包括”不排除存在除了权利要求中列出的那些之外的元素或步骤。在元素之前的词语“一”或“一个”不排除存在多个这样的元素。彼此不同的从属权利要求中叙述特定措施的纯粹事实并非指示这些措施的组合不能有利地使用。

在实施例中，代替提供时域中的第一信号24a-n，在元数据流34中提供了表示第一信号24a-n变换成时频域的信息。

Claims (12)

1. 一种提供视频数据（37）和元数据（34）的组合的方法，包括：

- 获取由视频摄影机（5）捕获的图像序列（23）；

- 从所述图像序列（23）中提取至少一个信号（24），

其中每个提取的信号（24）特征化光强度和颜色的至少一个的局部时间变化；

- 对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）；

其中所述至少一个提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及

- 提供具有用于特征化在所述图像的至少部分中表示的主体中的至少一个过程的元数据（34）的所述压缩的视频数据（37），

这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，

其中所述元数据（34）至少基于所提取的信号（24）的至少一个。

2. 如权利要求1所述的方法，包括取决于至少基于所述至少一个提取的信号（24）的至少一个的获取部分的数据的分析结果来适配所述至少一个压缩技术的应用。

3. 如权利要求1所述的方法，包括，当获取所述图像序列（23）时，引起取决于至少基于所提取的信号（24）的至少一个的获取部分的数据的分析结果来调节使用至少一个摄影机（5）捕获所述图像的过程的参数。

4. 如权利要求1所述的方法，其中该方法通过包括在摄影机（5）中的处理系统（9、11）来执行。

5. 如权利要求1所述的方法，其中所述元数据（34）包括特征化所述图像序列（23）的光强度和颜色的至少一个中的局部时间变化的至少一个信号（24）。

6. 用于提供视频数据和元数据（34）的组合的系统，包括：

- 用于捕获图像序列（23）的摄影机的至少一个接口；

- 视频数据处理系统（9、11），被配置为：

- 对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）,

- 从图像序列（23）中提取至少一个信号（24），每个提取的信号（24）特征化光的强度和颜色中的至少一个的局部时间变化以及

- 生成用于特征化在图像的至少部分中表示的至少一个主体中的至少一个过程的元数据（34），

其中所述至少一个提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取，并且其中所述元数据（34）特征化引起从主体捕获的光的强度和颜色的至少一个的局部时间变化的过程并且所述元数据（34）至少基于所提取的信号（24）中的至少一个；以及

- 输出接口（6），用于提供具有元数据（34）的所述压缩的视频数据（37）。

7. 如权利要求6所述的系统，被配置为执行根据权利要求1-5中任一项所述的方法。

8. 包括压缩的视频和元数据（34）的组合的信号，其中通过对来自图像序列（23）的图像的图像数据应用至少一个视频压缩技术可获取所述压缩的视频（37），并且所述元数据（34）包括特征化图像序列（23）中的光强度和颜色的至少一个的局部时间变化的至少一个信号（24）。

9. 如权利要求8所述的信号，可通过执行根据权利要求1-5中任一项的方法来获取。

10. 处理根据权利要求8所述的信号的方法，包括：计算特征化图像序列（23）的至少部分中表示的主体中的至少一个过程的参数的至少一个值，这个过程引起从所述主体捕获的光的强度和颜色的至少一个的局部时间变化；将特征化图像序列（23）中的光强度和颜色的至少一个的局部时间变化的信号(24)的至少一个用作输入。

11. 用于处理包括压缩的视频（37）和元数据（34）的组合的信号的系统，包括：

- 接口14，用于获取根据权利要求8所述的信号，以及

- 数据处理系统（15、16），用于计算特征化图像序列（23）的至少部分中表示的主体中的至少一个过程的参数的至少一个值，这个过程引起从所述主体捕获的光的强度和颜色的至少一个的局部时间变化；将特征化图像序列（23）中的光强度和颜色的至少一个的局部时间变化的信号(24)的至少一个用作输入。

12. 包括指令集合的计算机程序，该指令集合当包含在机器可读介质中时能够引起具有信息处理能力的系统执行根据权利要求1-5或权利要求10所述的方法。

Images