CN103155539A - 区分场景背景和前景的方法和替换场景图像中背景的方法 - Google Patents

Abstract

本发明涉及一种用于将由电子摄像机记录的场景的图像或者影像中的背景和前景区分开的方法。本发明还涉及一种用于替换所记录的场景图像或场景影像中的所述背景、同时保留所述前景的方法。

Description

区分场景背景和前景的方法和替换场景图像中背景的方法

技术领域

本发明涉及一种用于区分由电子摄像机记录的场景的图像或影像中的背景和前景的方法。本发明还涉及一种用于替换所记录的场景影像的图像中的背景同时保留前景的方法。

背景技术

为了分离由摄像机所记录的物体或人，其中，所述物体或人在实际场景中相互前后排列且因此彼此互相遮挡，依据现有技术存在多种方法。由此最广泛使用的方法为已经被使用很长时间的色度键控，其中，在实际场景中的背景具有限定的颜色，该限定的颜色未存在于前景物体中。通过对记录图像进行简单的色彩分析，则可检测到该背景并且将该背景与前景分离。该方法的不足在于：实际场景中的背景必须以限定的色彩出现，这在许多场合下是不可实现的。

发明内容

本发明的目的在于提出一种用于区分由电子摄像机记录的场景的图像或影像中的背景和前景的方法，该方法允许自由设计背景和前景。另外，本发明的目的在于提出一种用于替换场景的图像或影像中的背景的方法，其中背景和前景可被自由设计。

通过根据权利要求1所述的用于区分由电子摄像机记录的场景的图像中的背景和前景的方法、根据权利要求28所述的用于替换场景图像中的背景的方法以及根据权利要求29所述的电子显示系统来实现所述目的。从属权利要求指出根据本发明的方法的有利的改进。

根据本发明，提供了一种方法，通过该方法，由电子摄像机记录的场景的图像中的背景和前景可被彼此区分开。因此，场景的远离摄像机的一部分被视为背景，而该场景的接近摄像机的部分被视为前景。场景为背景的对象和前景的对象的整体。本文如果提到图像，则这些图像可为固定的图像或者优选地影像的帧。因此，背景和前景均不必完全充满图像，也可仅仅在图像中部分出现或根本不出现。根据本发明的方法还可用在图像的局部区域上。因此，例如在记录体育赛事中，场地周边广告可与位于广告前面的运动员区分开来。通常，假设从摄像机的角度看，前景局部覆盖背景。

可在通过电子摄像机（即，例如具有CCD图像传感器或CMOS图像传感器的摄像机）记录的场景的静止图像中以及影像中实施根据本发明的方法。原则上，也可基于由模拟电子摄像机记录的图像信号实施该方法，然而，优选地通过数码摄像机实施本方法。

根据本发明，背景可显示任意图像。例如，其可为具有多种颜色和/或多个亮度级别的图像。尤其，优选地，从该文件的意义上讲，单色且亮度均匀的表面不被理解成图像。

因此，背景的图像通过编码显示，该编码保持图像对于场景的直接的人类观察者的可见性，或者甚至该背景的图像对于场景的这样的观察者而言是完全不可见的。具有编码的图像为场景的直接观察者可见是指：如果观察者原地直接观察场景和在距离背景有足够的距离处（然而在该距离处观察者仍然能够识别图像的内容），则至少提供这种可见性。因此，图像的编码可包括图像的结构化或者背景的结构化，条件是该结构化如此细微使得观察者在足够的距离处识别出图像而结构化不具有干扰效应或不可觉察。

现通过电子摄像机记录具有背景和编码、以及位于背景前的前景的场景的图像或影像。从而，记录场景的图像的摄像机的图像传感器产生信号。在该信号中，背景与前景通过编码相区分。因此，这是利用背景具有编码而前景不具有编码。

由于在图像传感器（其记录场景的图像或影像以用于后续显示或进一步处理或传输）的信号中进行前景与背景的区分，因此可通过仅仅具有一个图像传感器（即记录图像的传感器）的摄像机来实施本方法，而不需要多个图像传感器。因此，优选地，确切地通过一个图像传感器实施本方法。因此，根据本发明，也只需要该一个图像传感器的确切的一个图像信号。

在一些实施方式中，为了通过编码识别背景，需要适当改动待被摄像机或图像传感器记录的图像。因此，如果改动记录的场景图像以用于保存、进一步处理或传输，则恰好在记录图像之前改动未完成是优选的，从而在最终产生的图像中至少前景是纯正的，正如其在未改动的图像中会出现的那样。

在本发明的有利的实施方式中，图像的编码或背景的编码可包括背景显示该图像的周期性交替的不同组成部分，相应地一个周期的组成部分组成完整的图像。周期持续时间（即在该时间内，图像的所有组成部分显示一次）从而被选择成如此短以致完整的图像对于场景的直接观察者可见。现在使摄像机的曝光时间与所述组成部分的显示同步，以使摄像机总是只记录图像的一个组成部分，该组成部分被选择成使得其允许通过键控方法、优选地通过基于颜色的键控（例如色度键控）将前景和背景区分开。如果m是图像被细分成的组成部分的数目，则如果摄像机精确地记录每一周期的一个组成部分，有利地，在显示时，所述组成部分改变的频率为摄像机的曝光频率的m倍。

在示出这样的组成部分的过程中，影响图像显示的至少一个成像参数可在一个周期的过程中改变。成像参数可被理解成例如以下参数：适合于控制各个像素、成组的像素（图案）或完整的图像的颜色通道、对比度、亮度和/或饱和度的权重因子或比例因子的一个值或成组的值。

对于键控，在摄像机曝光期间记录的背景的组成部分提供遮罩，该遮罩允许将前景与背景区分开。因此，例如，曝光的组成部分可显示增强的背景的图像的特定的颜色组成部分，或者专门地，优选地该颜色组成部分被选择成使得其不存在于或仅仅较弱地存在于前景中。在这种情况下，例如通过基于颜色的键控，尤其色度键控，可将前景与背景区分开。

根据本发明，在本发明的所有实施方式中，任何能够产生遮罩（通过该遮罩，可将前景与背景区分开）的方法意欲被理解为键控方法。通常，“键控”描述一种用于检测图像或视频中的组成部分的过程。由此，所述组成部分可被识别或滤掉（图像分析）并且可以被其他图像源所替换（图像合成）。在图像分析中，检测图像中的特定特征或编码且由所述特定特征或编码产生与待被检测的图像组成部分相对应的遮罩。遮罩可作为图像合成中的模板。基于属性或编码计算遮罩不必是完全的并且可通过另外的过程进行补充。例如，本文包括图像分析过程，例如：光流法，根据颜色、边缘等的图像分割法或试探法（即，关于场景中的物体的假设）。尤其，可从摄像机追踪得到信息，在该信息的帮助下，得知摄像机在场景中的视角使得可预先确定图像中的背景的位置和尺寸或者甚至前景的位置和尺寸。

因此，通常，将前景中不存在的属性或者在前景中仅仅较弱出现的属性作为编码添加到背景中，以使在基于该属性的遮罩中，将前景与背景区分开。

在上文描述的实施方式中，用于曝光的组成部分使用于键控的遮罩可使用。一个周期的其他组成部分使图像完整以形成对于场景的直接观察者而言完整的图像。在显示这些其他组成部分期间，优选地摄像机不记录。

例如，在曝光期间示出的组成部分可显示图像的增强的或减弱的特定的颜色成分，从而通过该颜色成分，可将背景与前景区分开。因此，当前景示出该颜色成分减弱时，曝光的组成部分示出该颜色成分增强；或者，当前景示出该颜色成分增强时，曝光的组成部分示出该颜色成分减弱。则背景在一个周期中示出的组成部分或其他组成部分可示出相应地减弱或增强的互补的颜色成分，以使场景的直接观察者感知到图像的实际颜色。

在本发明的有利的实施方式中，背景的图像可被相应地恰好分为两个组成部分，该两个组成部分以特定的频率交替显示。则摄像机可以以交替频率的一半进行同步记录。因此，在摄像机的一个周期期间，总是显示图像的两个组成部分。因此，所示出的组成部分改变的频率是摄像机的曝光频率的两倍。

在上述实施方式的另一实现中，例如，可将颜色分成三个组成部分且仅有三分之一的组成部分曝光。因此，摄像机仅曝光三个组成部分中的一个组成部分。在该情况下，改变组成部分的频率将被选择成为摄像机的曝光频率的三倍。

根据本发明的方法的另一实施方式提供了，图像的编码或背景的编码包括背景显示按照时间而交替的图案，该交替的图案在一个周期内互补以形成完整的图像。通过周期性交替的图案，在图像传感器的信号中，可将前景与背景区分开。

由此，在本发明的有利的实施方式中，图案检测（例如基于傅里叶变换和/或傅里叶滤波的图案检测）可在图像传感器的信号中实施。因此，通过图案交替示出的频率，可将前景与背景区分开。在傅里叶变换中，背景区域示出交替频率的成分，而前景没有示出交替频率的成分。

有利地，背景示出的图案在图像传感器的扫描方向上可以是周期性的，并且可尤其为例如棋盘图案。图案的各个区域（即例如棋盘方格）可在亮和暗之间振荡，正如在不同的颜色成分之间振荡。

为了产生振荡图案，背景可尤其为自发光的，例如LED显示器；或者，与图案对应的可控滤光片也可设置在背景的图像的前面，该滤光片周期性交替地阻挡图像的不同部分。

对于棋盘图案而言，振荡图案可交替地以棋盘图案和与该棋盘图案反演的棋盘图案的形式示出。

优选地，图案是二元的，即图案在两个状态之间精确地转换。在一个状态中，给定的图案区域使图像的光完全通过或者以最大亮度发光；在另一状态中，给定的图案区域使图像的光减弱或者以降低的亮度发光。减弱也可是完全减弱或者完全黑暗。

在本发明的另一实施方式中，图像的编码或背景的编码可包括在背景幕上以彩色点形式表示在网格中的图像。从而，彩色点与围绕它们的背景幕一起构成图像的彩色点的位置处的颜色。因此，图像的背景幕也可以是黑色的从而通过彩色点的颜色而精确地给出图像的颜色。

现在，彩色滤光片被设置在图像传感器的前面或者设置在摄像机的前面，该彩色滤光片精确地使彩色点的颜色减弱或者滤掉彩色点的颜色，以及可以使背景的颜色通过而不使其减弱。由于实际上背景并非完全是黑色的，因此，即使在黑色背景的情况下，彩色滤光片使那些不是彩色点的颜色的颜色通过，而不使其减弱。

在图像传感器记录的图像中，由于滤光片的存在，图像的背景幕的颜色相对于彩色点的颜色增强地存在。如在本发明的所有基于颜色的实施方式中，如果现在所选择的背景幕的颜色在前景中不存在或者仅较弱地存在于前景中，则通过基于颜色的键控可将前景与背景区分开。还可以选择彩色滤光片以使场景的除了彩色点的颜色之外的所有颜色可由穿过该彩色滤光片的颜色组成。

为了在最终产生的图像中显示前景而没有颜色偏差，可计算出图像传感器的前面的彩色滤光片的作用。

在特别优选的实施方式中，图像传感器前面的彩色滤光片可为光谱滤光片，尤其是干涉滤光片，其滤掉在整个可见光范围中分布的特定范围的可见光谱。相应地在每一个彩色点的前面，可设置与摄像机前面的滤光片互补的光谱滤光片或干涉滤光片，该滤光片本身使均匀分布在可见光谱中的颜色通过，以使得从这些通过的颜色中，可显示图像显示所需的全部颜色。彩色点的彩色滤光片和摄像机的彩色滤光片互补这一事实是指：在可见光范围内，这些滤光片使不同的、基本上非重叠范围的可见光谱通过。例如，也可使用陷波滤光片来代替干涉滤光片。

由于彩色点，背景在网格中表示图像。因此，优选地，该网格的分辨率选择成使得场景的观察者从特定的距离识别出图像。

背景的彩色点可被配置成反光的或者自发光的。例如，通过灯泡或发光二极管（LED）可产生自发光的彩色点。由于发光二极管可通过仅单色光来实现，因此可通过发光二级管构成背景的彩色点，且通过图像传感器或摄像机前面的滤光片（例如干涉滤光片），可以精确地滤掉或减弱所述发光二级管发出的频率。如果摄像机前面的滤光片使非发光二级管发出的频率通过而没有减弱，则图像的背景幕以及前景可由这些颜色显示。

在本发明的另一实施方式中，图像的编码可包括仅发出或反射选自光谱中彼此间隔的可见光谱的至少一个范围、优选地至少两个范围的颜色的背景。现在，场景发出的光在入射在图像传感器上之前所通过的彩色滤光片被设置在图像传感器或摄像机的前面。所述彩色滤光片被选择成使得其使图像的颜色所选自的那些范围的可见光谱减弱，而使位于这些范围之间的可见光谱范围通过而不发生减弱。以此方式，背景以减弱或黑暗的形式出现在图像传感器上，同时前景呈现为由通过彩色滤光片的那些颜色构成。如果合适地选择滤掉的光谱范围或者通过的光谱范围，则从而可显示前景的所有颜色。尤其，通过的范围的选择也可适于在前景中出现的那些颜色。

在图像传感器记录的图像中，通过对颜色减弱的区域进行键控可将背景与前景区分开。因此在该情况下，颜色减弱产生键控遮罩。如果图像传感器前面的滤光片进行的减弱作用不完全，则假定其是必须的，则颜色减弱区域，尤其是前景，可通过计算重建以显示最终的图像。

有利地，在该情况下，通过在背景的前面和前景的后面（即在背景和前景之间）设置相应的彩色滤光片（即例如干涉滤光片），可实现背景的编码。以此方式，从背景发出的光穿过该彩色滤光片使得基本上只有来自背景的被位于背景和前景之间的滤光片滤掉的光入射在摄像机前面的彩色滤光片上。从而，仅仅没有被摄像机前面的滤光片滤掉或者减弱的颜色成分出现于前景中。

在本发明的另一可行的实施方式中，背景的编码可包括至少发出一个非可见光谱范围的电磁辐射的背景。现可将转换装置设置在图像传感器的前面或者摄像机的前面。这可具有平面构型，具有基本上平行于图像传感器和/或平行于摄像机的入光面而取向的表面。

一方面，转换装置具有这样的区域，即在该区域中可见光可不受阻地穿过该装置。在其他区域中，该装置具有实现将非可见光辐射转换为可见光的元件，并且该元件包括在背景发出的光的光路中的被转换的光。例如，光路中的所述包括可通过一个或者多个合适的包括在摄像机透镜系统的光路中的光转换元件的透镜而发生，使得所述包括对于摄像机而言呈现为背景的一部分。有利地，这种类型的单独的透镜被分配至每一光转换元件。

优选地，转换元件以网格形式设置在转换装置的表面上。因此，该转换元件以等间距的间隔存在于该表面上。可见光可在转换元件之间穿过转换装置。

非可见电磁辐射可为紫外线辐射或红外线辐射。

在图像传感器记录的图像中，转换装置产生遮罩，利用该遮罩，通过键控方法将背景与不发出或者在较小的程度上发出相应的非可见光辐射的前景区分开。有利地，转换装置将非可见光转换成在前景中不存在的或者仅在较小程度上存在的颜色。

荧光材料的点或磷光材料的点可以作为光转换元件。接着，优选地对于每一点，提供用于将相应的点整合到摄像机的光路中的背景中的装置。通过荧光材料或磷光材料进行的光转换产生非定向的具有特定颜色的可见光。因此，优选地使用随后定位且集成在滤光片中的透镜以使该散射光对应于光路成束。作为协助，相应地补充透镜功能的光障也可用在滤光片中。因此，光障可吸收或反射散射光的由于其穿过透镜的方向（例如，由于其相对于光路横向延伸）而不能够在摄像机的光路中成束的部分。对于与光路相反的散射光，光障可以是半反射性的（即，使入射的非可见电磁辐射通过，相反，材料转换成的散射光在反方向反射并且再次退回到光路中）。

在本发明的另一可行的实施方式中，图像的编码可包括仅发出和/或反射一个特定的偏振方向或旋转的偏振方向的偏振光的背景或图像。这里可使用线性偏振或圆偏振。在摄像机的前面或图像传感器的前面设置彩色滤光片和偏振滤光片，场景发出的光在入射在图像传感器上之前穿过这些滤光片。优选地，由此，彩色滤光片设置在偏振滤光片的前面，因此使得从场景发出的光在入射在图像传感器上之前，首先穿过彩色滤光片然后穿过偏振滤光片。优选地，彩色滤光片可减弱或提高或增强一个颜色成分。

因此，在图像传感器前面的偏振滤光片被定位成该偏振滤光片滤掉图像所发出的或反射的偏振光。因此，通过对由图像传感器产生的图像中的暗图像成分进行键控，可实现将前景与背景区分开。因此，不具有彩色滤光片的色调的暗图像成分作为用于键控的遮罩。

可以参考这样一个事实：本文的彩色滤光片优选地仅减弱相应的颜色成分但并不完全滤掉相应的颜色成分。以此方式，由于偏振滤光片滤掉背景的偏振光而产生的那些黑色区域可与前景的可能的黑色区域区分开，这是因为前景包括具有彩色滤光片的色调的较浅的黑色。记录的自然场景中的黑色并不是完全黑色的而是深灰色。因此，此外，由于彩色滤光片，对象获得非感知的但是可测量的色调。然而，由偏振滤光片所减少的光多数被广泛吸收，而与颜色无关。

在本发明的另一可行的实施方式中，图像的编码或背景的编码包括背景至少发出一个非可见光谱范围的电磁辐射（例如紫外线或红外线）。在图像传感器的前面设置转换装置，场景发出的光在入射在图像传感器上之前穿过转换装置。该转换装置使从场景发出的非可见电磁辐射转换成可见光，并且从图像传感器的角度将该可见光并入场景中。

有利地，转换装置具有分束器，光在入射在图像传感器上之前穿过该分束器，并且，该分束器使非可见光辐射至少部分地偏转向转换器，该转换器检测非可见光辐射且产生与背景精确对应的可见光的相应图案。该可见光可被并入朝向图像传感器的光路中（例如通过半透镜），使得图像传感器通过半透镜和分束器看到场景。因此，在该实施方式中，首先通过分束器使非可见光辐射至少部分地偏转在光路之外，然后，通过半透镜使与背景对应的图像并入光路中。

转换器可具有图像传感器和成像透镜系统，通过成像透镜系统，由非可见光辐射在图像传感器上生成背景图像。例如，转换装置可产生相应的可见光辐射，接着，通过图像显示器，该相应的可见光辐射的图像被并入摄像机的光路中，如描述的。显示器的并入的图像在由摄像机的图像传感器生成的图像中的背景区域中形成附加的色调或图案。随后的键控由此生成遮罩，通过该遮罩可将前景与背景区分开。

在所有的实施方式中，元件设置在摄像机前面或设置在图像传感器前面是指该元件被设置在图像传感器和场景的前景之间。因而，该元件可被容纳在摄像机透镜系统的前面、摄像机透镜系统中、或者在摄像机透镜系统和图像传感器之间。滤光片可被设置在背景的前面是指滤光片被设置在图像或背景与前景之间。

在示出背景的或背景图像的周期性交替的组成部分的本发明的全部实施方式中，交替频率优选地大于最大可感知的交替频率25Hz，高于25Hz时，所示出的交替组成部分被观察者感知为该交替组成部分所组成的图像。优选地，交替频率大于或等于50Hz。

附图说明

参考一些附图，通过示例随后说明本发明。因此，相同的附图标记对应于相同的特征或相应的特征。在示例中示出的特征也可在各个示例中组合并且独立于具体的示例而产生。

这里示出：

图1为根据本发明的第一实施方式的用于实施根据本发明的方法的构造；

图2为根据本发明的第二实施方式的用于实施根据本发明的方法的构造；

图3为根据本发明的第三实施方式的用于实施根据本发明的方法的构造；

图4为根据本发明的第四实施方式的用于实施根据本发明的方法的构造；

图5为根据本发明的第五实施方式的用于实施根据本发明的方法的构造；

图6为根据本发明的第六实施方式的用于实施根据本发明的方法的构造

图7为根据本发明的第七实施方式的用于实施根据本发明的方法的构造；和

图8为两个互补的干涉滤光片的两条光谱的示意图。

具体实施方式

图1示出根据本发明的第一实施方式的用于实施根据本发明的方法的装置。通过摄像机1拍摄具有前景2和背景3的场景。摄像机1具有图像传感器（未示出），该图像传感器产生图像信号4，该图像信号被提供到用于图像分析和/或图像处理的装置5。例如，摄像机1可具有成像透镜系统1a和摄像机壳体1b，图像传感器设置在摄像机壳体1b中。

在示出的示例中，前景2为简单的立方体。然而，在全部实施方式中，根据本发明的方法可对任何前景2实施，尤其是对例如体育赛事的运动员实施。同样，只要背景3允许实施本发明所需的编码，则背景3可为任何类型。例如，背景可为演播室背景或体育场内的场地周边广告。

在图1示出的示例中，背景3示出一图像。因而，示出图像的相应的一个周期中的周期性交替的不同的组成部分，这些组成部分构成该完整的图像。在时间t₁，t₂，t₃，…，t₈，…时的图像的组成部分的显示现与摄像机的曝光同步，使得在至少一个周期中，优选地在每一周期中，摄像机仅记录组成部分中的特定的一个t₁，t₃，t₅，…，选择该特定的一个组成部分以便其允许通过键控来区分图像信号中的前景和背景。例如，键控可为基于颜色的键控，优选地色度键控。然后，分析装置5区分摄像机1的图像传感器所记录的图像4中的前景和背景。

在示出的示例中，例如，背景的图像可被分成两个图像，第一图像包括来自背景的原始图像的可选地减色的组成部分，第二图像包括补色的组成部分，使得原始图像以这两个图像的组合形式生成。则两个图像可以以高频率（例如100Hz）交替示出以使得这两个图像不再单个地为观察者所感知。则记录用的摄像机1可以以该频率的一半（例如50Hz）和减小的曝光时间（例如1/100秒）同步操作，从而仅有两个图像中的具有所选择的颜色成分的第一图像被摄像机记录。针对反射背景还可被动地产生该方法。出于该目的，可驱动的LCD彩色滤光片可被设置在背景的前面，该滤光片相应地使图像的相应的组成部分通过。在背景自发光（例如LCD显示器）的主动情况下，背景可被特定地驱动以相应地显示图像的组成部分。

图2示出用于实施根据本发明的方法的另一有利的设置。由此，用于编码的背景示出周期性交替的图案，所述周期性交替的图案在一个周期内互补以形成完整的图像。因此，如果将一个周期的所有图案考虑在一起，则生成了完整的图像。

通过摄像机1的图像传感器记录包含背景3和前景2的场景并且通过分析装置5分析图像信号4。在图像传感器记录的图像中，现在通过周期性交替的图案可将前景2与背景3区别开。出于该目的，例如在图像传感器的信号4中可执行傅里叶转换，并且通过图案的交替显示的频率可将前景2与背景3区别开。因此，例如可对图像传感器进行行扫描，且可直接对扫描信号执行分析。周期性交替的图案通过交替频率在傅里叶转换中产生频率成分，与对何种背景进行成像无关。

可以通过分析连续图像而在一段时间中以及在一个图像内实现所述分析。因此，可寻求在摄像机1的图像分析中的对应的图案。来自摄像机追踪的信息可帮助分析。例如，来自摄像机追踪的信息可有助于确定图案尺寸。

不同的图案是可行的。在示出的情况中，背景3示出棋盘图案，该棋盘图案具有交替的黑色方格和以下这样的方格：其示出在该相应方格的位置处自该图像剪下的图案。在这里交替示出棋盘图案以及与其互补的棋盘图案，在该与其互补的棋盘图案的情况下，黑色方格和示出图像的方格相对于实际的棋盘图案互换。

这里选择高振荡频率以至于观察者不能感知到该频率（例如50Hz）。该频率也可与摄像机的图像频率耦合。

可被动地产生背景的图案，例如通过可驱动的滤光片，例如LCD滤光片。也可将背景主动配置成自发光背景，例如LED显示器。

图3示出用于实施根据本发明的方法的另一可行布置。对于编码，这里通过背景幕7上的彩色点6示出图像。优选地，背景幕7上的彩色点6布置在网格中。彩色点6相应地与围绕它们的背景幕一起表示在相应的位置处的图像的颜色。背景幕也可是黑色的，以便使得图像颜色完全由彩色点提供。彩色滤光片8现设置在摄像机1的图像传感器的前面，优选地设置在摄像机1的透镜1a的前面，该彩色滤光片精确地减弱或滤掉由彩色点发出的颜色。优选地，背景3的背景幕7的颜色选择成使得该颜色在前景2中不出现或者仅在小的程度上出现。在由摄像机1的图像传感器产生的图像信号4中，通过对背景幕7的色调进行键控，则可在分析装置5中将背景3与前景2区分开。因此，背景幕7形成待分析的颜色（或图案）以生成用于键控的遮罩。

优选地，点被设置成：对于在特定最小距离处的直接观察者来讲，网格不呈现为网格形。例如，该最小距离可通过在场景本身中的观察者的正常位置而提供，例如，在体育场中的场地周边广告的情况下，通过离场地周边广告最近的座位距该场地周边广告的距离而提供最小距离。则如果彩色点6以相对于彼此有较小的间距的方式被设置在具有特定颜色的背景幕7或黑色背景幕7上的网格中，则实际的图像对于观察者可见。此外，网格还应被选择成非常窄以便使得在特定的最小距离处从摄像机的位置处摄像机不能检测到该网格。则对于摄像机和场景中的观察者而言，由相对于背景的相应距离产生所需的彩色印象。

彩色点现在仅发出来自可见光范围的特定波长的光，所述特定波长的光精确地被图像传感器前面的彩色滤光片8滤掉，因此只有背景幕的颜色基本上保留在图像传感器上。

可特别有利地实现在图3中示出的且后来参照图8进行更详细论述的利用干涉滤光片的解决方案。由此，仅使可见光谱的频率的一部分通过的干涉滤光片被设置在每一彩色点6的前面。因此，优选地该部分具有在可见光谱范围内分布的彼此间隔的多个区域，从而可由此形成图像的颜色。则彩色滤光片8为与彩色点6的前面的彩色滤光片互补的干涉滤光片，该干涉滤光片精确地滤掉或减弱那些通过彩色点6前面的彩色滤光片而没有被减弱的颜色。优选地，彩色点6为自发光的，即，例如灯泡或LED。

图4示出用于实施根据本发明的方法的另一可行实施方式。将彩色滤光片9设置在背景3和前景2之间，彩色滤光片9仅发出选自在光谱中彼此有间隔的可见光的至少一个范围、优选地两个范围的颜色。在摄像机1的图像传感器的前面或者摄像机1的透镜系统1a的前面设置有另一彩色滤光片8，从场景发出的光穿过该彩色滤光片8进入图像传感器中。该彩色滤光片8精确地滤掉或减弱穿过彩色滤光片9的那些范围的光谱。因此，在图像传感器上，背景相对于前景2呈现出减弱或者黑色，前景2尤其发出穿过彩色滤光片8的那些频率范围的光。因此，暗区域在图像传感器的图像信号4中形成遮罩，利用该遮罩可实施对于暗区域且因此对于背景进行键控。以此方式，图像分析装置5可将前景2与背景3区分开。

在该实施方式中，优选地，滤光片8和滤光片9也为彼此互补（即，可透过不同范围的可见光谱、优选地非重叠范围的可见光谱）的干涉滤光片。

如果背景3自身只发出滤光片8所滤掉的特定频率范围的光，则可省去彩色滤光片9。例如，可利用发出限定光谱的LED产生这样自发光的背景。因此，彩色滤光片8可被设计成使得其精确地降低或滤掉LED发出的频率。

彩色滤光片9可被选择成使得穿过该彩色滤光片9的可见光谱的颜色区域足以显示背景中出现的颜色。相应地，彩色滤光片8也可被选择成使得穿过该彩色滤光片8的频率足以显示在前景2中出现的颜色。以此方式，由图像传感器产生的图像可被进一步使用，而不需校正。然而，在图像传感器记录的图像中校正前景的颜色始终是可能的，其校正由于滤光片8引起的可能的颜色偏差。

图5示出用于实施根据本发明的方法的另一构造。对于编码，背景发出非可见光辐射10，例如该辐射10可为紫外线辐射或红外线辐射。平面转换装置11被设置在摄像机1的图像传感器的前面或者摄像机1的透镜1a的前面，该转换装置使入射在其区域上的辐射通过，并且在其区域中具有例如发荧光或发磷光的元件15，通过元件15，非可见光辐射10被转换成可见光13。因此，可使元件15均匀设置，尤其设置在装置11的表面上的网格中，以便一方面，可见光12可在每一区域中穿过，另一方面，可使非可见光辐射10转换成可见光。所有入射在图像传感器上的辐射通过装置11。因此，在图像传感器上，一方面显示未变化地穿过装置的光，另一方面显示通过非可见光辐射10的转换而产生的光13。由于非可见光辐射10由背景3发出，因此摄像机1的图像传感器精确地记录光13，在图像传感器处对背景3进行成像。优选地，由装置11产生的光13的颜色被选择成使得可将光13的该颜色与前景2中出现的颜色区分开。因此，所产生的光13形成遮罩，利用该遮罩，通过键控方法可将前景2与背景3区分开。

假定用于使非可见光辐射转换成可见光13的元件15发出不定向光13，则透镜14可被分配给每一元件15，该透镜被设置成使得其从图像传感器的视角示出背景3中的未转换的光13。优选地，还可对每一元件提供遮光件，该遮光件仅仅使沿着光路方向的光穿过。

图6示出用于执行根据本发明的方法的另一可行布置。背景3发出特定偏振方向的偏振光16。彩色滤光片17和偏振滤光片18被设置在摄像机1的图像传感器的前面，偏振滤光片的通过方向与背景发出的光16的偏振方向相垂直。当使用圆偏振时，旋转的通过方向会补充偏振旋转。优选地，场景发出的光在入射在图像传感器上之前，首先通过彩色滤光片17，然后通过偏振滤光片18。在该布置中，在图像传感器记录的图像中，背景呈现黑色，而没有色调。相反，对于场景的直接观察者来讲，由于这些观察者可感知到偏振光16，因此背景3呈现出正常的颜色。由于彩色滤光片17的存在，由摄像机1的图像传感器产生的图像中的前景2具有的色调可随后通过计算机在图像信号4中得到补偿。

在本方法的该实施方式中，没有色调的黑暗图像组成部分，即来自于背景3的图像组成部分形成遮罩，通过该遮罩，可实施键控以将前景2与背景3区分开。

图7示出用于实施根据本发明方法的另一布置。由此，除了实际图像外，背景3还发出非可见光辐射10，例如紫外线辐射或红外线辐射。在该实施方式中，转换装置19被设置在图像传感器的前面，优选地在摄像机1的成像透镜系统1a后面的光路方向上，通过该转换装置19，可从非可见光生成背景3的可见图像。因此，装置19具有分束器20和半透镜21，它们两个相继设置在自场景入射在图像传感器上的光的光路中。分束器20使非可见光至少部分地偏转到转换装置19的图像传感器22上。转换器24记录通过图像传感器22由非可见光辐射10生成的图像，并且在图像显示器23上产生可见光的图像，该图像对应于图像传感器所记录的图像因而精确地示出由非可见光辐射10所预设的图案。然后，由图像显示器产生的图像通过半透镜21被并入到来自场景的入射在摄像机1的图像传感器上的光的光路中，并且在由摄像机1的图像传感器产生的图像信号中作为图案以产生键控遮罩，利用该遮罩，通过键控可将背景3与前景2区分开。

图8在上部和下部以示意图方式示出两个互补的干涉滤光片的光谱。在水平轴上绘制出光的频率，该频率旨在基本上包括在所示出的示例中的可见光范围。如果用包含相同强度的所示出的范围的全部频率的白光辐射干涉滤光片，则在纵轴上绘制出穿过相应的干涉滤光片的光的相应强度。可检测到：干涉滤光片使光谱中相间隔的多个范围的可见光通过。因此，可在两个干涉滤光片中选择通过光的区域，以便可由此形成背景3的所需颜色或前景2的所需颜色。所示出的两个干涉滤光片互补，这意味着在穿过上部示出的干涉滤光片的光谱的区域精确地被在下部分示出的干涉滤光片滤掉，同时那些被上部的干涉滤光片所滤掉的频率精确地通过下部的干涉滤光片。可参考这样的事实：滤光片不必完全滤掉相应的颜色成分以使根据本发明的方法可行。减弱也是适当的。此外，如在图8中示意性示出的，也不需要频率范围彼此分隔十分清晰。允许穿过不同滤光片的范围在一定程度上重叠。

Claims (29)

1.一种用于区分由电子摄像机记录的图像中的场景的背景和前景的方法，其中，

所述背景示出利用编码而被编码的任一图像，使得所述图像对于所述背景的直接观察者可见，

以及借助于所述编码，在由所述摄像机的记录图像的图像传感器所产生的信号中，将所述背景与未编码的前景区分开。

2.根据前一项权利要求所述的方法，其中，所述编码包括所述背景将所述图像显示为组成该图像的组成部分的周期性序列，影响所述图像的显示的至少一个成像参数在每一周期过程中相应地改变，且所述摄像机的图像传感器的曝光与特定的组成部分的显示同步实现。

3.根据前一项权利要求所述的方法，其中，所编码的所述图像在至少一个周期内的时间均值化与所述图像相对应。

4.根据前两项权利要求中的任一项所述的方法，其中，所述图像传感器的记录周期的周期持续时间小于或等于所述组成部分的显示的周期性序列的周期持续时间。

5.根据前述权利要求中的任一项所述的方法，其中，所述编码包括所述背景显示所述图像的周期性交替的不同的组成部分，相应地每一周期的所述组成部分构成完整的图像，

所述组成部分的显示与所述摄像机的曝光同步，使得所述摄像机在至少一个周期中、优选地在每一周期中，仅记录所述组成部分中的一个组成部分。

6.根据前一项权利要求所述的方法，其中，所述摄像机记录的所述组成部分被选择成使得该组成部分允许通过键控、优选地通过色度键控将所述前景与所述背景区分开，

以及通过键控、优选地通过色度键控，将所述图像传感器记录的图像中的所述背景与所述前景区分开。

7.根据前一项权利要求所述的方法，其中，由所述图像传感器记录的一个周期的所述组成部分显示出增强的颜色成分，该增强的颜色成分基本上不存在于所述前景中，并且其他的组成部分显示出相应地减弱的该颜色成分，使得所述组成部分一起构成所述图像的颜色。

8.根据权利要求2至7中的任一项所述的方法，其中，两个组成部分以所述摄像机的曝光频率的两倍高的频率交替显示。

9.根据前述权利要求中的任一项所述的方法，其特征在于，所述图像的编码包括所述背景显示周期性交替的图案，所述周期性交替的图案在一个周期内互补以形成完整的图像，以及通过所述周期性交替的图案，在所述图像传感器的信号中将所述背景与所述前景区分开。

10.根据前一项权利要求所述的方法，其中，所述图像传感器的曝光频率和所述图案的显示彼此同步和/或在所述图像传感器的信号中执行傅里叶转换，并且通过所述图案的交替显示的频率将所述背景与所述前景区分开。

11.根据前两项权利要求中的任一项所述的方法，其中，所述图案以数学上可辨别的结构的形式存在，优选地在所述图像传感器的扫描方向上是周期性的，所述图案优选地为棋盘图案。

12.根据权利要求9至11中的任一项所述的方法，其中，一个周期的所述图案中的每一图案为二元图案，该二元图案在一些区域中是完全透光的或者自发光的以及在一些区域中是较不透光的或者对于一个颜色的光而言是较不透光的，或者对相应的光而言是不透光的或者发出较弱的对应颜色的光或者根本不发出对应颜色的光。

13.根据权利要求1所述的方法，其中，所述编码包括所述背景显示仅具有选自彼此间隔的可见光谱的一个范围、优选地至少两个范围的颜色的图像，并且从所述背景发出的光在入射在所述图像传感器上之前穿过彩色滤光片、优选地穿过干涉滤光片，该彩色滤光片滤掉或减弱这些范围的可见光谱，且使其他范围的可见光谱穿过而没有被减弱。

14.根据权利要求1或13所述的方法，其特征在于，所述编码包括所述图像以背景幕上的彩色点的网格示出，所述彩色点相应地与围绕所述彩色点的背景幕一起构成所述图像的颜色，并且

彩色滤光片被设置在所述图像传感器的前面，该彩色滤光片减弱所述彩色点的颜色且优选地使背景幕的颜色通过而不被减弱，通过键控、优选地色度键控，基于所述背景幕的颜色将所述背景与所述前景区分开。

15.根据前一项权利要求所述的方法，其中，所述彩色点的颜色和所述背景幕的颜色形成所述可见光谱的不相交部分，优选地，所述彩色点的光穿过至少一个光谱滤光片、优选地至少一个干涉滤光片，所述背景幕发出的光不穿过所述至少一个光谱滤光片、优选地所述至少一个干涉滤光片，以及设置在所述图像传感器前面的所述滤光片为光谱滤光片，优选地为干涉滤光片，其与所述彩色点前面的干涉滤光片互补。

16.根据前两项权利要求中的任一项所述的方法，其中，所述彩色点为自发光的，优选地为发光二极管。

17.根据权利要求1或13所述的方法，其中，所述编码包括所述背景仅发出选自光谱中彼此间隔的可见光谱的至少一个范围、优选地至少两个范围的颜色，从所述场景发出的光在入射在所述图像传感器上之前穿过彩色滤光片，该彩色滤光片减弱所述图像的颜色所选自的那些范围的可见光谱，且使位于所述那些范围之间的范围的可见光谱穿过而没有被减弱，通过键控被所述图像传感器前面的彩色滤光片减弱的光谱范围的光谱，将所述背景与所述前景区分开。

18.根据前一项权利要求所述的方法，其中，在所述场景中，干涉滤光片被设置在所述前景后面且被设置在所述图像的前面，该干涉滤光片减弱与所述背景的颜色所选自的可见光谱范围不同的范围的可见光谱，其中，光在入射在所述图像传感器上之前所穿过的所述彩色滤光片为与所提到的干涉滤光片互补的干涉滤光片。

19.根据权利要求1所述的方法，其中，所述编码包括所述背景辐射至少一个非可见光谱范围的电磁辐射、允许至少一个非可见光谱范围的电磁辐射通过或反射至少一个非可见光谱范围的电磁辐射，并且转换装置设置在所述图像传感器的前面，该转换装置使非可见电磁辐射转换成可见光，所述可见光被所述图像传感器检测。

20.根据权利要求19所述的方法，其中，所述转换装置是平面型的且至少在所述转换装置的表面的一部分上将所述背景辐射的、通过所述背景的或者由所述背景反射的非可见光辐射转换成可见光，所述图像传感器检测所述可见光，并且

通过键控所转换的光将所述背景与所述前景区分开。

21.根据前一项权利要求所述的方法，其中，所述滤光片具有在所述滤光片的表面上分布的、优选地设置在网格中的荧光材料的或磷光材料的点，通过被所述非可见光辐射激发，该点发出特定波长的光，一装置、优选地透镜被分配给所述点中的每一点以使相应的荧光点或磷光点在所述图像传感器上成像。

22.根据权利要求1所述的方法，其中，所述编码包括所述背景辐射或者反射仅一个特定的偏振方向的或者偏振旋转的偏振光，

所述场景发出的光在入射在所述图像传感器上之前穿过彩色滤光片和偏振滤光片，该偏振滤光片被定位成使得其滤掉所述背景辐射的或者反射的偏振光，并且

通过键控由所述图像传感器记录的图像的较暗的区域而实现将所述背景与所述前景区分开，该较暗的区域不具有所述彩色滤光片的色调，从所述场景发出的光优选地首先穿过所述彩色滤光片，然后穿过所述偏振滤光片。

23.根据权利要求19所述的方法，其中，从所述场景发出的所述电磁辐射在入射在所述图像传感器上之前、优选地在穿过所述摄像机的成像透镜系统后，穿过所述转换装置，该转换装置使非可见电磁辐射转换成可见光且从所述摄像机的角度将所述可见光并入所述背景的位置处的场景中。

24.根据前一项权利要求所述的方法，其中，所述转换装置具有分束器，该分束器使所述辐射和/或所述非可见电磁辐射的一部分偏转向转换器，借助于所辐射的电磁辐射，该转换器使对应于所述背景的图像优选地通过部分透光的镜并入所述图像传感器前面的光路中。

25.根据前述权利要求中的任一项所述的方法，其中，所述图像的编码包括图像序列的振荡，并且在将所述前景与所述背景区分时考虑所述振荡。

26.根据前述权利要求中的任一项所述的方法，其中，在区分开所述背景和所述前景后，在图像信号中重建所述前景。

27.根据前述权利要求中的任一项所述的方法，其中，借助于摄像机追踪定位所述图像在所述图像传感器的图像中的位置，和/或所述摄像机追踪有助于将所述背景和所述前景区分开。

28.一种用于替换场景的图像中的背景的方法，其中，通过根据前述权利要求中的任一项所述的方法将所述背景与前景区分开，以及所述背景被不同的背景所替换。

29.一种电子显示系统，所述电子显示系统具有至少一个显示器和至少一个摄像机，其中，根据前述权利要求中的任一项所述的方法能够利用所述电子显示系统来实施。

Images