CN1372761A - 图像数据处理方法及摄像系统 - Google Patents

Abstract

本发明涉及一种图像数据处理方法,这种方法将图像数组中在显示图像前景的目标数据(目标数组)与显示图像背景的数组(背景数组)分开,以根据摄像机的摄像频率所确定的频率改变由摄像机要拍摄的背景。所述背景的改变通过例如两种状态间的转换,或利用多个中间状态在两种状态间逐渐过渡来实现。本发明还涉及一种摄像系统,特别是用于实现本发明的方法的摄像系统。

Description

图像数据处理方法及摄像系统

本发明涉及一种图像数据处理方法，这种方法将图像数组中在显示图像前景的目标数据与显示图像背景的数组分开，本发明还涉及一种尤其适用于实现这种方法的摄像系统。

在电视技术中，已知有所谓的兰盒方法(Blue-Box-Verfahren)，在这种方法中，将形成有待拍摄的调节背景的一个表面设计成单色的、特别是兰色的背景。在这种背景前对目标一般是用第一电视摄像机以每秒50至60半帧的图像频率摄像，而同时用第二电视摄像机对替代第一图像的兰色背景的替代背景，例如气象图进行摄像。两个并行拍摄的图像序列在混合器中被同步叠加，兰色背景区域被第二电视摄像机所拍摄的图像替代。

在所谓的兰盒方法中，有两种不同的基本方法，其中，第一种方法基于对颜色值的定义(背景显示色被定义为透明的)，而在第二种工业上特别是由Ultimatte公司实现的方法中，通过恒定的背景亮度和/或色域饱和度来定义背景。

已知方法的优点是，对模拟图像数据的处理相对简单，并能实时进行。而其缺点是，在大多数情况下须对兰色，经常也须对绿色背景作非常好的照明，因为颜色及颜色的亮度和/或饱和度在高质量的拍摄图像序列中必须非常均匀，而这只能通过对显示背景的彩色表面非常好的照明实现。但这种照明的费用却很大，因为对摄影室来说典型的照明时间约为一周，通常甚至更长。不算与之相关的人力，也需要耗费很多电力，并且对参与摄制的人来说会产生令人不适的高温。其缺点还在于，必须避免阴影和/或反射，这又增加了照明的难度。用已知的方法不能解决反射的问题，对阴影的纠正也很有限。

本发明提供了一种与之不同的、具有权利要求1特征的图像数据处理方法，以及具有权利要求13特征的摄像系统。

本发明出于这样的考虑，以一个与摄像机的摄像频率相调协的频率改变背景。这里对“调协”理解为，背景变化的频率与摄像频率之间的的比例已知。这里它可以是整数也可以是摄像频率的任意倍数。摄像频率优选是重现频率的若干倍，例如为通常电视图像频率的两倍，即约为每秒100至120半帧。如下面将要描述的，本发明的方法基本上可以在达到每秒数千帧的任意摄像频率下，以及据此调协的背景变化频率下工作。前提是，两个前后相接摄制的帧的内容(前景)不能改变或者至少没有明显的改变，因为图像序列中的每个第二帧被作为参考帧使用。

本发明的方法使数码相机的使用成为可能，并利用其技术上的优点。用双倍频率拍摄图像序列，以及用根据此频率确定的相应的频率改变背景，导致一个图像对序列，其中，构成图像对的两个图像(以常规运动速度拍摄的目标)，除了从一次拍摄到下一次拍摄按规定变化的背景外，相互间没有或几乎没有不同。因此图像对中的一幅图像可以作为另一幅图像的参考图像。

利用数字摄像技术的优点，即，可以将每个被拍摄的图像的图像点(像素)直接与接续其后的图像的相应的图像点进行比较，对图像对中的两个图像进行比较，其中例如将参考图像的每个图像点从另一幅图像中的相应图像点减去。对构成拍摄前景的目标的比较结果在没有变化的情况下(非运动或缓慢运动物体)为零或接近于零，在轻微变化的情况下(快速运动的物体)为非零的不同的任意值，而对背景平面的比较结果为预先确定的值，因为一幅拍摄的图像的背景与下一幅图像的背景间的变化是按规定进行的。背景的变化可以通过两种状态间的转换或在两种状态间逐渐连续地，例如正弦振荡的形式实现。

为了将构成摄像前景的目标与其背景分开，即所谓的“截取”，将所有在比较构成图像对的两个图像时具有一定内容的图像点删除，并在必要时用并行拍摄的图像内容(例如气象图)替代之。第二帧图像的来源是任意的。除了所述并行拍摄的图像，还可以用单一图像(固定图像)作为背景，或者还可以例如用计算机产生的图像或图像序列。

在本发明的优选实施方式中，为了确定将摄像图像数组的元素分配给目标数组还是背景数组，对以重现频率拍摄的摄像图像在不同时刻的数组进行比较。摄像频率可以例如是之后重现频率的三倍，因此，在重现频率内，即在一个重现频率的相应周期内，可以拍摄三幅图像。为了识别摄像图像中的任意元素是目标还是背景，将这三幅图像进行比较。所述比较是以有利的方式成对进行的。例如将该三幅图像序列中的第一幅摄像图像首先与第二幅图像进行比较，然后与第三幅图像进行比较，最后将第二幅图像与第三幅图像进行比较。为了经济地实施所述方法，可以分步骤进行比较，其中，只有当前面的步骤没有得出明确结果时，即不能明确分辨出摄像图像元素是目标元素还是背景元素时，才实施后面的比较步骤。

在特别有利的实施方式中，所述比较是减去摄像图像数组中具有相同坐标或区域的元素，其中，摄像图像数组中相互比较的元素可以是单个像素，也可以是像素域。像素域的比较尤其具有优点，它使本方法可以更快地实施。这里可以首先选取较大的像素域，以便以后在需要时将其逐步划分为较小的域。按照本发明的方法不仅能够比较两维像素域，而且也能对n维像素域进行比较。

如前所述，按照本发明的方法可以在达到每秒数千帧的任意摄像频率下实现。摄像频率越高，在一个重现周期内所拍摄的具有不同背景状态(尤其是背景亮度)的图像就越多，由此，比较次数，即比较对的排列明显上升。由此也为将摄像图像元素分配给背景数组或目标数组提供了更好的基本条件。

本发明还提供了这种可能性，即在高摄像频率及渐进改变背景的情况下，在摄像图像中对目标的反射特性进行分析，并由此推断出目标的折射率及材料。这又使得目标数组的相关数组元素能与新的、替代原始摄像背景的替代背景相适应。与现有技术中的方法不同，按照本发明的方法不仅能够纠正反射(及阴影)，而且还能对其进行分析，以识别图像元素的目标属性或背景属性，或使图像及目标与替代背景相匹配。因此按照本发明可以识别目标及背景上的阴影和/或反射，并根据应用或用户的愿望将其删除或以其他的方式方法调节和处理。

本发明方法的实现首选所谓的人工智能(KI)的神经网络或其他方法。由此能够很好地实现对图像元素是目标、背景、反射、阴影等的识别和分配。

最后，本发明还提供了这种可能性，不仅能对摄像图像数组在两维区域(目标及背景属性)的排列进行分析，而且还能获得目标及背景的其他信息，如速度等。这使得可以进一步推断出摄像图像数组的三维数据(与摄像机的距离等)，因此本发明不仅适用于两维图像数据处理，而且也适用于多维图像数据处理。

本发明的另一优点是，在摄像过程中，摄像背景只部分地改变。

为了实现本发明的方法，首选应用薄膜状或片状元件，它们可以很快达到目标光学变化，即，它们的颜色和/或亮度和/或饱和度能够在极短的时间内从第一预定值变为第二预定值。这里电致发光或电致变色平面元件尤其适用，如在现有技术中已知的那样。

本发明的其他优点及实现在下面的描述及附图中给出。

应该理解，前面所提及的以及后面将要描述的特征，在本发明的范围内，不仅能够用于已给的组合，而且能够用于其他组合或所有设备。

下面将借助本发明的一种优选实施方式结合附图对本发明加以详细描述。

图1所示为本发明的图解框图。

图2所示为应用于本发明的一个分析单元的框图。

本发明的中心构成部件是通过一个或多个摄像机(摄像机1至n)对一个或多个目标(目标1至m)摄像，其中，所述目标处于背景前。按照本发明，所述背景是受高频影响的，及可改变的。其中，变化频率与摄像机的摄像频率相调协。背景的变化特别是涉及到背景的颜色和/或亮度和/或饱和度。

影响背景变化的参数除了变化频率外，还有颜色、亮度和/或饱和度。对摄像机来说，影响变化的参数除了常规的摄像机参数外，还有摄像频率，必要时还有限定的某一图像区域x^*y。这些参数由分析单元控制，其中直接控制，特别是对在背景上调节摄像机的控制，是可能的。

利用摄像机1至摄像机n，对由背景包围的目标，即由背景环绕的目标1至目标m摄像，其中摄像机的摄像频率是其后重现频率的若干倍。作为结果，有n个摄像机在单位时间z内，所摄制的Az个摄像图像，它们被送入在图2中较详细地示出的分析单元。

图2所示的分析单元为摄像机1至n配有各自的摄像机相关的分析单元，Az个摄像图像的数据被分别送入其中。同样考虑送入每个摄像机相关的分析单元的附加参数，如前所述，在每个摄像机相关的分析单元中将目标与背景分开，其中将每个摄像图像元素(像素或像素域)识别并分类为“目标”或“背景”。在成功分类之后，将属于背景的图像元素去除，并用替代背景的图像元素替代之。在简单应用中，这种替代背景为静态不变的图片，例如气象图。但较复杂的应用也是可能的，并可通过本发明的方法使之易于实现，如在摄影室摄像时，淡入分别摄制的、或由计算机产生的动态图像作为背景。识别的过程已在前面叙述过。

由每个摄像机相关的分析单元产生的图像数据然后被送入一个与拍摄时刻相关的中央分析单元，该中央分析单元具有一个用于分析多个时间单位的缓冲器，用于同步和确认由摄像机相关的分析单元所传递的数据。使用多台摄像机可以产生适用于再现观察者可以从不同视角观察的“三维”图像的图像数据。对这种拍摄并再现方法有例如在德国专利申请199 13 853.2中所描述的。

分析单元输出由与拍摄时刻相关的中央分析单元产生的数据，作为结果(比较图1)，有单幅图像(帧)，其中背景和目标相互分开。所产生的帧的典型再现频率约为25至30秒^-1(电视图像频率)。

Claims (15)

1.一种图像数据处理方法，这种方法将图像数组中显示图像前景的目标数据(目标数组)与显示图像背景的数组(背景数组)分开，其中，以一个与摄像机的摄像频率相调协的频率改变摄像机所要拍摄的背景。

2.如权利要求1所述的方法，其中，背景的改变通过两种状态间的转换实现。

3.如权利要求1所述的方法，其中，背景的改变通过利用多个中间状态在两种状态间进行逐渐转换来实现。

4.如权利要求1至3中任一项所述的方法，其中，背景的颜色和/或亮度和/或饱和度被改变。

5.如权利要求1至4中任一项所述的方法，其中，摄像机的摄像频率是重现频率的若干倍。

6.如权利要求5所述的方法，其中，摄像频率是常规电视图像频率的两倍。

7.如权利要求1至6中任一项所述的方法，其中，为了确定将摄像图像数组的元素分类为目标数组或背景数组，对在一个重现频率内的不同时刻拍摄的摄像图像数组进行比较。

8.如权利要求7所述的方法，其中，所述比较包含减去摄像图像数组中具有相同坐标或区域的元素。

9.如权利要求7或8所述的方法，其中，相互比较的摄像图像数组的元素是像素。

10.如权利要求8或9所述的方法，其中，相互比较的摄像图像数组的元素是多维像素域。

11.如权利要求1至6中任一项所述的方法，其中，为了识别和分类摄像图像数组的元素，使用人工智能的方法，如神经网络。

12.如权利要求6至11中任一项所述的方法，其中，作为摄像图像数组中属于背景数组而标识的元素，由替代背景数组中具有相应坐标或区域的元素取代。

13.一种摄像系统，特别是用于实现如权利要求1至12中任一项所述方法的摄像系统，它具有至少一个摄像机，用于对背景前的目标摄像，其中背景的改变以一个与摄像机的摄像频率相调协的频率进行。

14.如权利要求13所述的摄像系统，其中，用光学上可被影响的薄膜状或片状元件作为背景。

15.如权利要求14所述的摄像系统，其中，所述背景元件是一个电致发光或电致变色平面元件。