CN116894852A

CN116894852A - 校准背景显示和记录系统的方法

Info

Publication number: CN116894852A
Application number: CN202310364068.7A
Authority: CN
Inventors: H·布伦德尔
Original assignee: Arnold and Richter Cine Technik GmbH and Co KG
Current assignee: Arnold and Richter Cine Technik GmbH and Co KG
Priority date: 2022-04-08
Filing date: 2023-04-06
Publication date: 2023-10-17
Also published as: US20230326385A1; DE102022108578A1; EP4258640A1

Abstract

在一种校准包括背景显示设备和相机的背景显示和记录系统的方法中，由所述背景显示设备显示至少一个校准展示并且由所述相机生成所述至少一个校准展示的图像，基于所述图像来确定与所述背景显示设备的控制有关的至少一个第一转换规则。此外，确定与所述相机的相机图像数据的转换有关的至少一个第二转换规则。确定所述转换规则使得所述虚拟背景的展示可以由所述相机在所述虚拟背景中如同在自然光条件下捕获，并且真实物体可以由所述相机在所述虚拟图像记录工作室中如同在自然光条件下捕获。

Description

校准背景显示和记录系统的方法

技术领域

本发明涉及一种校准背景显示和记录系统的方法，所述系统包括背景显示设备和相机。所述背景显示和记录系统的所述背景显示设备被配置为在真实物体的后面或上方显示虚拟背景的展示以用于在虚拟图像记录工作室中进行记录，并且所述背景显示设备具有多个光源，所述多个光源产生在多个不同的发射光谱中的光。所述相机被配置为在记录期间对虚拟背景的展示和真实物体进行成像，其中所述相机具有图像传感器，所述图像传感器具有多个光敏传感器元件以根据多个不同的灵敏度光谱将入射光转换成图像信号。

背景技术

在这种背景显示和记录系统中，可以借助于背景显示设备显示虚拟背景的展示，使得虚拟背景的这种展示可以在虚拟图像记录工作室中的记录期间被相机直接成像。因此，风景或空间的展示可以例如在虚拟图像记录工作室中显示以立即记录在所展示的风景或所展示的空间中发生的场景。与例如绿幕记录相反，虚拟背景可能因此在记录期间已经可见地显示并且可以由相机直接成像而无需之后进行添加。

例如，借助于这种背景显示和记录系统，可以在虚拟图像记录工作室中记录例如电影的移动图像序列，同时借助于背景显示设备来显示所提供背景的展示。在这方面，虚拟背景中的移动通常也可以是可通过适当地控制光源来显示的，使得演员可以直接对在背景中发生的事件做出反应并且可以相应地调整表演。

此外，当在虚拟图像记录工作室中拍摄静止图像或照片时，也可以使用此类背景显示设备，其中特别是位于前景中的人或物体与虚拟背景之间的交互——再次与绿幕记录形成对比——可以是可立即识别的并且可以直接在相机的图像中进行检查。这种背景显示和记录系统因此使得可以在虚拟图像记录工作室中进行记录，但是这样做允许出现记录正在对应于虚拟背景的真实环境中发生的印象。

然而，这种背景显示和记录系统存在一个问题，即通过借助于具有相应特征发射光谱的多个光源生成虚拟背景的展示，虚拟背景的展示被以人工发射光谱来显示。这种人工发射光谱与对应于虚拟背景的真实背景将反映自然光并因此将被感知的光谱不同。光源的控制确实可以发生，使得人类观看者以自然的颜色、即基于人眼的光谱敏感性来感知虚拟背景的展示。然而，在由相机生成的虚拟背景的展示的图像中，由于光源的发射光谱和与其不同的相机的光敏传感器元件的灵敏度光谱的叠加，在由光源实际发射的光谱与由相机注册和成像的光谱之间可能发生偏差。然而，这种转变可能导致图像的不自然印象，特别是不自然的颜色印象。

此外，由于背景显示设备的发射光谱与自然光不同，在记录过程中被背景显示设备照亮并反射由背景显示设备发射的光的真实物体在由相机生成的图像中也可能出现与由自然光照耀下所预期不同的情况。因此，借助于这种背景显示和记录系统进行的记录可能会给人一种不期望的不自然的印象。

发明内容

因此，本发明的目的是提供在上述这种背景显示和记录系统中实现虚拟背景的展示和真实物体的看上去自然的图像的可能性。

所述目标通过包括如权利要求1所述的特征的校准背景显示和记录系统的方法来满足。

所述方法包括以下步骤：

-由背景显示设备显示至少一个校准展示，并且由相机生成该至少一个校准展示的图像；

-基于该校准展示的图像来确定至少一个第一转换规则，其中该至少一个第一转换规则与背景显示设备的控制有关；

-确定至少一个第二转换规则，其中该至少一个第二转换规则与相机的相机图像数据的转换有关，

其中所述至少一个第一转换规则和所述至少一个第二转换规则被确定成使得虚拟背景的展示可以由相机在虚拟背景中如同在自然光条件下捕获，并且使得真实物体可以由相机在虚拟图像记录工作室中如同在自然光条件下捕获。

在该方法中，因此在背景显示设备处显示校准展示并且由相机对该校准展示进行成像，以便基于校准展示的图像来确定与背景显示设备的控制有关的至少一个第一转换规则。因此，第一转换规则尤其可以适于在虚拟图像记录工作室中的后续记录期间应用于背景显示设备的输入图像数据，以便转换该输入图像数据。校准展示尤其可以通过适当地控制光源来显示，并且可以专门显示以确定所述至少一个第一转换规则。因此，特别地，校准展示可以不形成虚拟背景的展示，该虚拟背景旨在用于在虚拟图像记录工作室中的记录，然而，其中一般来说，也可以基于也适合作为虚拟背景的展示的校准展示来确定第一转换规则。

例如，背景显示设备可以包括控制设备和图像生成器，或者可以连接到图像生成器，该图像生成器生成输入图像数据，这些输入图像数据将在记录期间代表虚拟背景的展示。这种图像生成器例如可以被配置为游戏引擎或者包括游戏引擎，该游戏引擎可以形成软件模块，借助于该软件模块可以生成虚拟背景的展示。游戏引擎尤其可以被配置为根据相机的位置生成或调整虚拟背景的展示，以根据玩家的位置生成虚拟背景的展示——类似于在计算机游戏中。为此，游戏引擎可以例如访问一个或多个数据库，在该数据库中可以存储虚拟背景的模型，特别是三维模型。然而，也可以规定输入图像数据例如被作为视频或照片文件接收并在背景显示设备处显示。

为了在背景显示设备处显示输入图像数据，背景显示设备可以进一步特别包括控制单元，该控制单元也可以被称为显示控制器。该控制单元可以被配置为根据显示转换规则来转换输入图像数据转换和/或转换成标准色彩空间，以便能够借助于光源来显示由输入图像数据代表的虚拟背景的展示。

正如已经解释的，输入图像数据可以能够被转换为标准颜色空间，使得虚拟背景的显示的展示在人类观看者看来像对应于虚拟背景的真实背景，为此可以提供例如对REC709视频标准的转换。然而，由于相机的光敏传感器元件的灵敏度光谱只与背景显示设备的发射光谱部分匹配，虚拟背景的展示可能与其实际被显示相比被相机不同地捕获。因此，光敏传感器元件，也可以称为图像传感器的像素，例如可以设置有各自的滤色器，这些滤色器确定传感器元件的光谱灵敏度。由于这种滤光器，例如，可以根据专利文件US 3971065 A中已知的所谓的拜尔模式来布置，特别是可以为传感器元件定义各自的窄带灵敏度光谱，使得单个传感器元件可以对窄带波长范围和预定的颜色敏感。例如，在图像传感器中可以实现特别是仅在各自的光谱边缘区域重叠的这种类型的三种、四种或五种不同的灵敏度光谱。在这方面，特别是可以选择和分配滤光器，使得由于传感器元件的个别灵敏度光谱的叠加，图像传感器的总体上重现了自然光光谱的灵敏度光谱产生。

相机还可以包括控制单元，该控制单元被配置为根据相机转换规则转换由相机生成的图像数据，其中该相机转换规则具体地可以是预先确定的。由于白光，这种相机转换规则可以从自然光条件下的记录开始。因此，相机转换规则可以适于转换由相机生成的图像数据，假设环境光的光谱分布在可见波长范围内是连续的，并且与多个几乎不相干的发射光谱相比，尤其可以是基本均匀分布的。然而，由于背景显示设备以偏离自然光条件的发射光谱(特别是有明显的最大值和最小值或者甚至间隙)显示虚拟背景的展示，相对于背景显示设备的发射光谱，在生成的图像中可能会发生光谱偏移，该生成的图像是由传感器元件的灵敏度光谱和/或相机转换规则确定的。光谱偏移可能特别表现为颜色偏移，这可能导致图像的不自然印象。

由于该第一转换规则，相反地，可以调整输入图像数据，使得虚拟背景的展示可以由相机在虚拟背景中如同在自然光条件下捕获，即，由相机生成的虚拟背景的展示的图像看起来像真实背景的图像，该真实背景与虚拟背景相对应，并且在该真实背景中自然光条件占优势。通过应用该第一转换规则，可以转换代表虚拟背景的展示的输入图像数据，因而在背景显示设备处显示改变后的所述展示。这确实可能导致所显示的展示对人类观看者而言显得并不自然，然而可以实现的是，图像中的虚拟背景的展示显得自然。

结合本发明，自然光条件应被理解为具有漫反射的白色环境光的照明，其例如在正午多云的天空下作为日光普遍存在。

为了确定所述(至少一个)第一转换规则，在背景显示设备处显示校准展示，特别是具有多个定义的颜色或一个定义的颜色的展示，并且借助于相机对该校准展示进行成像。于是可以检查校准展示的图像是否与对应的输入图像数据所代表的校准展示相匹配，其中，特别是可以检查该图像中的校准展示的颜色是否与所显示的校准展示的颜色相匹配。如果在这种比较中确定出偏差，则可以将第一转换规则确定成使得在将第一转换规则应用于输入图像数据之后，由输入图像数据定义的颜色实际出现在由相机生成的图像中。

背景显示设备尤其可以有不同的光源，这些光源被配置为发射具有不同光谱或不同颜色的光，使得可以通过混合这些光谱来实现各自颜色的显示。为了确定第一转换规则，特别是还可以通过激活各自颜色的光源和停用其他光源以便生成各自的校准展示来显示多个校准展示。然而，通过混合不同的光源，也可以规定显示特定的但先前定义的颜色作为校准展示，然后可以借助于相机进行成像，以便将成像的颜色与实际显示的颜色进行比较。这尤其可以使确定与波长相关或与颜色相关的第一转换规则成为可能。

通过确定基于由相机生成的校准展示的图像的(至少一个)第一转换规则，背景显示设备尤其可以直接和具体地与也提供用于虚拟图像记录工作室中的后续记录的相机相匹配。因此，在背景显示设备的校准中可以特别利用相机内在的和在这方面相机特定的颜色校正，这通过使用相机作为关于由背景显示设备发射的光的测量设备，并且具体地通过基于对光敏传感器元件的特定灵敏度光谱和/或已经提到的相机转换规则的校准。这尤其可以实现背景显示设备和/或相机的自动校准，而不需要首先对所有部件并且特别是相机进行手动表征。相反，为了能够进行校准和确定(至少一个)第一转换规则，不一定需要对背景显示设备的光源的发射光谱、相机的灵敏度光谱和/或相机转换规则有确切的了解。

除了(至少一个)第一转换规则外，进一步确定至少一个第二转换规则，该第二转换规则与相机的相机图像数据的转换有关，即其适于应用于相机图像数据。通过应用第二转换规则，展示由相机生成的图像的相机图像数据也可以因此被调整为将由相机生成的图像近似于自然光条件下的图像。因此，第二转换规则可以适于应用于相机图像数据，以便转换相机图像数据。

由相机生成的所述图像最终可能以包括相机图像数据的图像数据集的形式存在。相机图像数据与由图像传感器生成的图像信号相对应，并且例如可以包括单个传感器元件或像素的各自颜色值。这种图像数据集可以被生成为静止图像数据集或移动图像数据集，以展示静止图像记录或移动图像序列的记录或其中包括的图像信息(包括各自的颜色值)。

由于第二转换规则可以应用于相机图像数据，因此可以对已经提到的相机转换规则进行调整。在此可以考虑到，记录是在虚拟图像记录工作室中进行的，并且在那里发生由背景显示设备发射的光(特别是其光谱分布)与自然光的偏差。因此，对于由背景显示设备产生的环境光，可以进行相机侧校正(即应用于相机图像数据的校正)。因此，与通过自然光的照明相比，被背景显示设备照亮的真实物体的变化的反射可以特别在相机图像数据中得到补偿，使得在由相机生成的图像中出现这些真实物体，如同在自然光条件下的记录中一样。虽然相机转换规则和至少一个第二转换规则两者通常可以由集成到相机中的控制单元执行，但相机转换规则和/或第二转换规则也可能只在后期制作过程中被应用到下游。在这方面，来自相机的相机图像数据通常也可以被不改变地传输到外部控制单元，该外部控制单元被配置为根据第二转换规则来转换相机图像数据。

因此，(至少一个)第一转换规则可以特别涉及虚拟背景的展示，该展示可以通过应用第一转换规则进行调整，使得通过相机的展示的图像看起来像在自然光条件下与虚拟背景相对应的真实背景的图像。与此相反，(至少一个)第二转换规则尤其可以针对调整相机图像数据，使得由背景显示设备发射的光的成像反射被真实物体调整，使得它们近似于自然光的反射图像。因此，通过应用第一转换规则和第二转换规则，虚拟背景的展示可以被相机捕获，就像自然光条件在虚拟背景中占优势一样，并且同时，真实物体可以被相机捕获，就像自然光条件在虚拟图像记录工作室中占优势一样。

在这方面，在一些实施例中，各自的转换规则可以例如应用于由相机生成的图像中的各自的图像区域，如下文更详细地解释的。然而，在一些实施例中，也可以使第一转换规则和第二转换规则相互匹配，使得当将第一转换规则应用于虚拟背景的总展示并且当将第二转换规则应用于总的相机图像数据时，在虚拟图像记录工作室中记录的场景可以被相机如同在自然光条件下进行捕获。例如，这种相互匹配也可以迭代进行，以说明第一转换规则的应用可能影响第二转换规则的应用结果(反之亦然)的事实。这还在下文更详细地解释。

因此，相机与背景显示设备之间的匹配可以由校准方法来执行，使得在虚拟背景的展示和虚拟图像记录工作室中的真实物体的随后的记录中重现自然光条件，在每种情况下都与通过相机的采集有关。由于背景显示设备的发射光谱和相机的光敏传感器元件的灵敏度光谱的叠加最终也可以由相机来确定，所以这种匹配可以特别针对所使用的相机或图像传感器的光谱特性来进行。因此，可以规定在虚拟图像记录工作室中在记录之前执行校准方法，以便使背景显示设备与相机相互匹配。如果在记录过程中使用不同的相机，特别是一个接一个地使用，背景显示和记录系统可以为每个相机分别进行校准。然而，在这方面，针对相机类型或相机的各自转换规则可能被存储在存储器中，以便能够在随后的记录过程中直接使用这些转换规则。

另外的实施例可以从从属权利要求、说明书和附图中看出。

在一些实施例中，第一转换规则和第二转换规则可以针对各自的颜色转换。这将在下面更详细地解释。

在一些实施例中，所述至少一个第一转换规则可以与借助于背景显示设备显示的颜色的颜色转换有关。正如已经解释的那样，由背景显示设备接收和/或生成的、代表虚拟背景的展示的输入图像数据尤其可以借助于第一转换规则进行调整，使得由相机生成的图像中的展示显得自然。例如，如果通过对校准展示的成像而确定出由于光源的发射光谱与相机的光敏传感器元件的灵敏度光谱的叠加而在图像中在特定颜色处发生向更长波长的偏移，则可以将所述至少一个第一转换规则确定成使得该颜色在背景显示设备处被有意地显示为向更短波长偏移，以最终在图像中产生所需的颜色。通过应用所述至少一个第一转换规则，虚拟背景的展示因此可以被显示为发生了改变，使得预定的颜色只在相机的图像中变得可见。

例如，可以通过单独偏移相应的RGB(红-绿-蓝)值(这些值定义了待在背景显示设备处显示的特定颜色)来进行这种颜色转换，使得各自的颜色可以通过改变红光、绿光和蓝光的混合来定义。这尤其可以在其中背景显示设备的光源被布置成光源组的实施例中提供，其中每个组都具有各自的发射红光的光源、各自的发射绿光的光源和各自的发射蓝光的光源以及颜色混合器，以便能够通过适当地设置各个光源的强度来定义由一组光源发射的光的颜色。在这方面，第一转换规则尤其可以描述与待在背景显示设备处显示的特定颜色相关联的光源的各自强度的调整或变化。

在一些实施例中，校准展示可以是单色的或多色的。在单色校准展示中，特别地可以显示预定义的颜色，以比较该颜色是如何借助于相关联的相机成像的。然后可以基于可能的偏差来确定至少一个第一转换规则。在多色校准展示中，特别地可以将定义的颜色分配给校准展示的不同区域，使得图像中的对应区域可以与所显示的展示进行比较。

为了确定至少一个第一转换规则，在一些实施例中可以显示和成像第一校准展示、第二校准展示、第三校准展示和第四校准展示，其中校准展示的颜色可以彼此不同。然后，至少一个第一转换规则可以基于校准展示的图像来确定。各个校准展示具体地可以是单色的，其中校准展示的颜色可以彼此不同。通常，为了确定至少一个第一转换规则，也可以对多于四个校准展示进行显示和成像。

在一些实施例中，第一校准展示可以是红色，第二校准展示可以是绿色，第三校准展示可以是蓝色，并且第四校准展示可以是白色。背景显示设备具体地可以包括多个发光二极管作为光源，其中这些发光二极管可以再次被分成发光二极管组。各个组发光二极管可以因其发射光谱而彼此不同，其中，例如，一组发光二极管可以发射红光，一组发光二极管可以发射绿光，并且一组发光二极管可以发射蓝光。通过适当地控制发光二极管，不同的颜色最终可以被混合，并且从而产生虚拟背景的展示。

为了确定第一转换规则，所有发射红光的发光二极管可以例如被激活，而其他发光二极管被停用，以便生成第一校准展示。第二校准展示可以由发射绿光的激活的发光二极管生成，并且第三校准展示可以由发射蓝光的激活的发光二极管生成。基于这些校准展示，然后可以确定第一转换规则，具体地也取决于波长，这通过将由发光二极管的发射光谱定义的颜色与由相机捕获或成像的颜色进行比较。为了进一步检查由背景显示设备发射的复制自然白光的光如何通过相机来成像，可以通过适当控制光源或发光二极管来生成白色校准展示并对其进行成像。该图像也可以用于确定至少一个第一转换规则。

在一些实施例中，为了确定至少一个第一转换规则，校准展示的图像中的颜色值可以与所显示的校准展示的颜色值进行比较。因此，可以具体地检查在背景显示设备处设置的颜色值或由输入图像数据代表的颜色值是否通过相机相应地成像。

在一些实施例中，可以通过在应用第一转换规则时显示校准展示来检查第一转换规则。在这种实施例中，第一转换规则可以因此被确定，其中相同的输入图像数据可以然后再次被显示，但同时在背景显示设备处应用所确定的第一转换规则。这种被如此转换的校准展示可以借助于相机来成像，其中可以在相机的图像中检查是否现在可以借助于相机来捕获与输入图像数据相对应的校准展示，即没有应用第一转换规则的校准展示。如果尽管对输入图像数据应用了至少一个第一转换规则，但在图像与由输入图像数据定义的校准展示之间仍有偏差，则可以对第一转换规则进行调整，并且如果必要，在应用该调整后的第一转换规则时可以进行进一步的检查。

在一些实施例中，关于至少一个校准展示的信息可以从相机传输到背景显示设备，并且校准展示可以根据传输的信息来显示。

在这种实施例中，相机可以被配置为请求在背景显示设备处显示校准展示，然后能够将其图像与所请求的校准展示进行比较。例如，相机可以被配置为将展示校准展示的输入图像数据传输到背景显示设备。然而，作为替代方案，相机也可以向背景显示设备传输特定的颜色值，以使后者显示具有各自颜色值的校准展示。然后，所请求的校准展示可以由相机成像，并且可以确定至少一个第一转换规则。如有必要，相机可以再次请求显示校准展示或特定颜色值，其中，在此步骤中，已确定的第一转换规则可以应用于输入图像数据，以检查在应用至少一个第一转换规则时，所成像的校准展示是否对应于所请求的校准展示。因此，至少一个第一转换规则尤其可以由相机的控制单元和/或图像评估单元确定，并且可以被传输到背景显示设备的控制单元。

在一些实施例中，至少一个第二转换规则可以与相机图像数据的颜色转换有关。展示被成像的真实物体的相机图像数据尤其可以借助于至少一个第二转换规则进行调整，使得可以补偿由于背景显示设备的照明而偏离自然光的照明的反射以及与此相关联的颜色偏移。然而，也可以规定通过至少一个第二转换规则来转换所有的相机图像数据，即也是与虚拟背景的展示有关的相机图像数据。

为了进行这种颜色转换，可以特别规定在RGB(红-绿-蓝)颜色空间中的相机图像数据的各个值相互转换，为此，第二转换规则可以特别包括3x3矩阵或由3x3矩阵定义。第二转换规则可以进一步特别包括一个或多个3x3矩阵转换，以便能够在相机图像数据中实现对应的颜色偏移。

在一些实施例中，可以计算和/或在查找表中查找至少一个第二转换规则。至少一个第二转换规则尤其可以根据至少一个第一转换规则来计算和/或查找。

背景显示设备的光源的发射光谱通常可以是已知的，使得在应用所述至少一个第一转换规则后该背景显示设备的发射光谱也可以是已知的或可确定的。因此，例如也可以计算或查找出由位于背景显示设备前方或下方并被其照亮的真实物体所反射的光谱。这使得有可能基于光源的已知发射光谱和所述至少一个第一转换规则来直接确定第二转换规则，以转换相机图像数据，使得特别是在随后的记录过程中被成像的真实物体在虚拟图像记录工作室中如同出现在自然光条件下的记录中。

在一些实施例中，所述确定至少一个第二转换规则可以包括以下步骤：

-由背景显示设备照亮真实的校准物体，并且使用相机生成被照亮的校准物体的图像；以及

-基于校准物体的图像来确定所述至少一个第二转换规则。

由于真实的校准物体可以被背景显示设备照亮，并且此后可以通过相机进行成像，因此可以将成像的校准物体与校准物体本身进行比较，以基于该比较来确定所述至少一个第二转换规则。具体地，校准物体的真实颜色(其可以由校准物体对自然光的反射来定义)可以与由相机生成的图像中的校准物体的颜色进行比较。如果在这种比较中发现了偏差，则可以将所述至少一个第二转换规则确定成使得通过将所述至少一个第二转换规则应用于代表校准物体的图像的相机图像数据来补偿这些偏差。为此，校准物体的颜色尤其可以是已知的或预定的，使得校准物体的图像中的颜色值可以与预期的颜色值进行比较。

在一些实施例中，为了确定所述至少一个第二转换规则，将图像中的校准物体的至少一种颜色与真实校准物体的颜色进行比较。为此，校准物体可以是单色的或多色的，其中，在校准物体为多色设计的情况下，特别是可以将图像中的不同区域与校准物体的对应区域进行比较。

在一些实施例中，所述至少一个第二转换规则可以被确定为使得图像中的颜色近似于真实颜色。为此，真实校准物体和成像的校准物体的各自颜色值尤其可以相互比较，以便能够对应地借助于第二转换规则来调整由相机生成的相机图像数据。

在一些实施例中，校准物体可以是比色图表，在该比色图表上显示多个定义的颜色，其中，为了确定所述至少一个第二转换规则，将图像中的颜色与比色图表上的颜色进行比较。

具体地通过对这种比色图表进行成像，但通常也通过对校准物体进行成像，可以确定色彩还原指数。例如，为此可以在比色图表上显示根据DIN 6169定义的十四种测试色或者根据DIN 6169定义的至少前八种测试色(其通常用于计算色彩还原指数)。在这方面，例如可以将所述至少一个第二转换规则确定成使得实现尽可能高的色彩还原指数或尽可能接近100的色彩还原指数。此外，第二转换规则可以被确定为其中色彩还原指数得以优化的转换规则。替代性地或者除了考虑色彩还原指数外，还可以确定校准物体的颜色与相机所生成的图像中的颜色之间的一个或多个颜色距离，也可以称为德尔塔E(ΔE)，以确定所述至少一个第二转换规则，使得所述颜色距离最小化。

为了确定或限定所述至少一个第二转换规则，例如可以规定确定一个或多个颜色距离，并且例如在控制设备的显示器处输出这些颜色距离，使得用户可以决定所实现的所述一个或多个颜色距离是否可接受，或者是否必须调整第二转换规则。在这种程序中，因此尤其可以调整第二转换规则，直到用户认为所确定的颜色距离是合适的为止。然而，作为用户检查的替代方案，也可以通过应用随机算法或人工智能、特别是机器学习算法来提供第二转换规则的全自动化确定，以最小化颜色距离或者优化色彩还原指数。例如，为了这个目的，所确定的颜色距离可以是预定义的或者可以由用户预定义，并且第二转换规则可以被确定为这种转换规则，其中所确定的颜色距离降到低于所确定的颜色距离，而其中可以应用和检查校准物体的照明的另外的转换规则否则可以由算法来建议。同样在由用户检查的情况下，要检查的转换规则可以以随机的方式和/或通过应用人工智能来确定。

在一些实施例中，背景显示设备可以被控制为在应用至少一个第一转换规则时照亮校准物体。在这种实施例中，至少一个第一转换规则可以因此首先被确定，以便随后例如用复制白光和自然光的光来照亮校准物体，然而，其中该白光可能已经被根据第一转换规则调整。因此，在这种实施例中，至少一个第二转换规则可以已经在虚拟图像记录工作室中的实际记录期间提供的条件下确定，其中至少一个第一转换规则被应用于输入图像数据。因此，可以在记录过程中由真实物体检查由背景显示设备生成的光的哪些反射是预期的。

在一些实施例中，至少一个第一转换规则和至少一个第二转换规则可以相互匹配，使得在应用至少一个第一转换规则和至少一个第二转换规则时，虚拟背景的展示和真实物体都由相机如同在自然光条件下进行成像。由于第一转换规则和第二转换规则的这种相互匹配，因此可以实现的是，当将至少一个第一转换规则应用于代表虚拟背景的展示的所有输入图像数据时，并且当将至少一个第二转换规则应用于代表虚拟背景的展示和真实物体的图像的所有相机图像数据时，实现了像在自然光条件下的图像那样的图像。

在一些实施例中，可以通过在应用第一转换规则和第二转换规则的同时生成图像并且通过迭代地调整第一转换规则和/或第二转换规则而使至少一个第一转换规则和至少一个第二转换规则相互匹配。在这种实施例中，第一转换规则可以例如首先被确定，即至少一个校准展示被显示在背景显示设备处并且通过相机成像。因此，例如在应用所确定的第一转换规则时，校准物体可以由背景显示设备照亮并由相机进行成像，以确定应用于由相机生成的相机图像数据的至少一个第二转换规则。这尤其可以旨在调整相机图像数据，使得校准物体在图像中出现，就像它在自然光条件下成像一样。

随后可再次显示校准展示，其中第一转换规则可以应用于代表校准展示的输入图像数据，并且相机图像数据可以借助于第二转换规则进行转换。在应用两种转换规则时所获得的图像可以与由输入图像数据代表的校准展示、即未应用第一种转换规则的校准展示进行比较，以便检查尽管应用了两种转换规则并且特别是第二转换规则，成像的校准展示是否对应于预期的校准展示。如果发现这方面的偏差，可以调整第一转换规则和/或第二转换规则。在调整第一转换规则后，例如可以在应用经调整的第一转换规则时再次对校准物体进行照明和成像，其中先前确定的第二转换规则可以应用于相机图像数据。然后可以检查校准物体是否已以预期方式成像，以便在必要时对第一转换规则和/或第二转换规则进行调整。这个过程可以反复进行，直到已确定可以应用于总输入图像数据和总相机图像数据的令人满意的匹配转换规则为止。

在一些实施例中，可以确定多个第一转换规则和多个第二转换规则，其中可以从所述多个第一转换规则和所述多个第二转换规则中选择一对第一转换规则和第二转换规则，使得在应用第一转换规则和第二转换规则时，虚拟背景的展示和真实物体都由相机如同在自然光条件下进行成像。如上所述，可以反复进行所述选择，或者可以确定多个潜在合适的第一转换规则和第二转换规则，并且可以从中选择在应用时能获得最自然图像的一对第一转换规则和第二转换规则。这可能通过测试不同的配对来进行。

然而，作为这种匹配的替代方案，然而也可以规定分别确定这两个转换规则。例如，当第二种转换规则仅应用于代表真实物体的相机图像数据时，可以提供这种规定。在这种实施例中，虚拟背景的展示像对应于具有自然光条件的虚拟背景的真实背景一样被成像可以借助于第一转换规则来实现，其中通过有意地将至少一个第二转换规则应用于代表真实物体的相机图像数据，所述真实物体可以被成像，如同其在虚拟图像记录工作室中被自然光照亮。尽管如此，即使是这种单独应用第二转换规则，也可以规定在应用第一转换规则的同时控制背景显示设备以确定第二转换规则。

在一些实施例中，背景显示设备可以被配置为LED墙，并且多个光源可以具有多个主动照明的发光二极管或发光二极管单元。光源尤其可以被配置为各自的发光二极管，它们可以单独可控制，并且可以被配置为显示具有各自发射光谱的光。这些发射光谱尤其可以不同，以便通过适当地控制和混合发光二极管来产生不同的颜色。然而，也可以预定义的是，光源被配置为包括多个不同颜色的发光二极管和颜色混合器的发光二极管单元，以便能够通过适当地控制发光二极管单元的发光二极管来在发光二极管单元处设置特定光谱或特定颜色的发射。

在一些实施例中，背景显示设备可以以竖直和/或水平取向延伸。背景显示设备尤其可以竖直地延伸到例如演员的真实物体的后方，和/或水平地延伸到这种物体的上方，以便例如能够显示真实物体上方的天花板或天空。

背景显示设备可以被配置为在至少5m的宽度和至少2m的高度上显示虚拟背景的展示。此外，在一些实施例中，背景显示设备可以至少是部分弯曲和/或拱形的。例如，背景显示设备可以在真实物体后方以竖直取向延伸，以通过弯曲段过渡到水平取向，并且在真实物体的上方以水平取向延伸。

在一些实施例中，可以根据至少一个第一转换指令和/或根据至少一个第二转换指令来确定用于相关联的照明装置、特别是聚光灯的设置指令，该聚光灯被配置为产生具有可调整的发射光谱的照明光。

例如，这种照明装置可以作为工作室照明来提供，以在虚拟图像记录工作室的记录过程中照亮真实物体。为此，可以特别使用一个或多个聚光灯，这些聚光灯可被配置为产生具有不同发射光谱或不同颜色的照明光。

为了实现自然的照明和对应的自然状图像，照明装置可以特别被配置成发射光谱，该光谱复制自然光并且具有尽可能高的色彩还原指数。而在自然光条件下，用相机和/或适用于记录的相机转换规则，这种照明通常可能导致所需的图像，其中特别是由真实物体反射的光也以所需的颜色进行成像，特别是将第二转换规则应用于相机图像数据可能导致由聚光灯发射的以及由真实物体反射的光被成像成具有颜色偏移。

然而，这个问题可以得到解决，即在背景显示和记录系统的校准期间或作为校准的结果，为照明装置确定考虑第一转换指令和/或第二转换指令的设置指令。例如，可以确定设置指令，使得由照明装置发射的发射光谱近似于背景显示设备在显示白光期间发射的发射光谱，使得在记录期间，照明装置也可以生成与相机相匹配的发射光谱。因此，设置指令可以特别与由照明装置产生的发射光谱有关。

设置指令尤其可以通过考虑照明装置的已知发射光谱来确定，使得未必要通过相机来进行由照明装置照亮的真实物体的测量或成像。相反，设置指令可以例如根据第一转换指令和/或第二转换指令计算和/或在查找表中查找。因此，例如基于第一转换指令，可以确定在背景显示设备处生成白光时使用哪个发射光谱，以便在照明装置处通过对应的设置指令来复制该发射光谱。此外，相机图像数据的颜色偏移尤其可以由第二转换规则来确定，使得第二转换规则可以直接定义如何或以何种颜色对从真实物体反射的光进行成像。因此，例如可以基于第二转换规则来确定设置指令，使得由真实物体反射的光的由第二转换规则引起的颜色偏移导致甚至在由照明装置进行照明时在图像中有自然颜色印象。然而，也可以规定在确定第一转换规则和第二转换规则之后使用照明装置照亮校准物体，并且使用相机对所述校准物体进行成像，以确定用于照明装置的设置指令，其中再次以预期的颜色对所成像的校准物体进行成像。

所确定的设置指令尤其可以被存储，以便能够在虚拟图像记录工作室的后续记录中使用。因此，在一些实施例中，设置指令可以被输出到存储器。此外，可以规定将设置指令直接输出到照明装置，以便执行对应的控制或者能够在虚拟图像记录工作室中的后续记录期间执行该指令。

本发明进一步涉及一种通过背景显示和记录系统在虚拟图像记录工作室中记录虚拟背景的展示和真实物体的方法，其中虚拟背景的展示由背景显示设备在真实物体的后方和/或上方显示，并且虚拟背景的展示和真实物体由相机进行成像，其中背景显示和记录系统根据本文所公开的那种方法进行校准。此外，在记录虚拟背景的展示和真实物体时应用第一转换规则和第二转换规则。

正如已经解释的，通过应用第一转换规则和第二转换规则，在虚拟图像记录工作室中记录的场景可以借助于相机来成像，如同在自然光条件下进行的记录一样。因此，虚拟背景的展示可以被成像，如同与虚拟背景相对应的并且其中自然光条件占优势的真实背景被成像一样。真实物体也可以被成像为在真实背景下的记录或自然光条件下的记录。

通常，相机图像数据可以通过在相机中直接应用至少一个第二转换规则来进行转换，或者通过与相机有关的外部设备来应用第二转换规则，特别是在后期制作期间。因此，在记录期间应用第二转换规则不一定要求在记录期间适时地直接应用第二转换规则。然而，可以规定相机图像数据在相机中通过应用第二转换规则直接进行处理，使得由相机输出的图像数据可能已经借助于第二转换规则进行了转换。

在记录虚拟背景的展示的方法中，在一些实施例中可以规定，首先在虚拟图像记录工作室中执行上述解释的校准方法，以便随后开始记录。然而，也可以规定事先已经执行了校准方法，并且在虚拟图像记录工作室中提供了已经校准的背景显示和记录系统，使得可以立即开始所解释的记录虚拟背景的展示的方法。

在一些实施例中，可以使用第一转换规则来转换和显示待在背景显示设备处显示的输入图像数据。因此，输入图像数据可以在背景显示设备处显示改变，使得由输入图像数据代表的虚拟背景的展示可以首先出现在由相机生成的图像中。

在一些实施例中，至少一个第二转换规则可以被应用于由相机生成的所有图像数据。如果至少一个第一转换规则和至少一个第二转换规则已经相互匹配，则尤其可以提供这种规则。

作为替代方案，然而，在一些实施例中，也可以规定第二转换规则仅被应用于代表真实物体的相机图像数据。在这种实施例中，第一转换规则可以因此被应用于对虚拟背景的展示进行成像，使得其看起来像在自然光条件下的真实背景的图像，而第二转换规则可以被具体应用于对真实物体进行成像，如同它在记录期间被自然光照亮一样。

在一些实施例中，可以生成元数据，该元数据将由相机生成的图像中的各个图片元素(即图像元素)与虚拟背景的展示或者与真实物体相关联。在这种实施例中，特别是可以基于元数据来决定是否将第二转换规则应用于各个图片元素，以便将第二转换规则仅应用于代表真实物体的相机图像数据。

在其中第二转换规则仅应用于代表真实物体的相机图像数据的实施例中，第二转换规则通常可以应用于不代表虚拟背景的展示的所有相机图像数据。因此，在这种实施例中，第二转换规则可以应用于所有成像的前景物体。

在一些实施例中，虚拟背景的展示在记录期间可以在时间上变化。特别是在记录过程中可以显示虚拟背景中的移动。

在一些实施例中，虚拟背景的展示可以进一步展示三维场景。这个三维场景尤其可以投射到背景显示设备以及例如二维LED墙上。

在一些实施例中，可以根据所述至少一个第一转换规则和/或根据所述至少一个第二转换规则来设置照明装置，特别是聚光灯，该照明装置被布置在虚拟图像记录工作室中并且被配置为生成具有可调整的发射光谱的照明光。照明装置的发射光谱和/或由照明装置发射的光的颜色尤其可以根据所述至少一个第一转换规则和/或根据所述至少一个第二转换规则来设置。例如，照明装置可以被设置成在应用第一转换规则时使得其发射光谱近似于由背景显示设备发射的白光的发射光谱，使得与背景显示设备的该发射光谱相匹配的相机也可以按照预期对由照明装置发射的并且由真实物体反射的光进行成像。为此，可以在记录期间实施特别是在背景显示和记录系统的校准过程中确定的照明装置的设置指令。

本发明进一步涉及一种用于虚拟图像记录工作室的背景显示和记录系统，该系统包括背景显示设备和相机。背景显示设备被配置为在真实物体的后方或上方显示虚拟背景的展示，以便在虚拟图像记录工作室中进行记录，并且相机被配置为对虚拟背景的展示和真实物体进行成像。该背景显示和记录系统进一步具有控制设备，该控制设备被配置为执行本文所述的那种校准方法。

背景显示和记录系统的控制设备尤其可以在相机和背景显示设备中或在背景显示设备处具有各自的部件。例如，控制设备可以包括图像评估设备，该图像评估设备被布置在相机中，并且被配置为将校准展示的图像与所显示的校准展示进行比较，以便确定至少一个第一转换规则。此外，这种图像评估设备还可以被配置为基于真实校准物体的图像来确定至少一个第二转换规则。背景显示设备的控制单元尤其可以被配置为根据接收或生成的输入图像数据显示校准展示和/或将第一转换规则应用于输入图像数据。然而，也可以规定，相机被配置为将校准展示的图像或展示该图像的相机图像数据传输到相对于相机在外部布置并且具有图像评估设备的控制单元，其中可以由该控制设备执行对应的图像评估。不管图像评估设备的布置如何，它可以被配置为将至少一个第一转换规则传输到背景显示设备的控制单元。

在一些实施例中，背景显示设备和相机可以有各自的接口，相机和背景显示设备经由该接口彼此进行通信。相机可以被配置为向背景显示设备传输关于校准展示的信息，其中背景显示设备可以被配置为根据接收到的信息来显示校准展示。

在这种实施例中，相机可以因此被配置为请求显示校准展示，以便随后能够对其进行成像，并且使得能够确定至少一个第一转换规则。在这方面，相机可以如此控制或启动校准方法，并且可以例如请求显示不同的颜色值，以便比较如何对这些颜色值进行成像。背景显示和记录系统的控制设备、特别是相机的图像评估设备尤其可以通过这种比较来确定至少一个第一转换规则。所确定的至少一个第一转换规则可以进一步同样地可经由接口传输到背景显示设备的控制单元。

在一些实施例中，控制设备，特别是相机，可以包括图像评估设备，该图像评估设备被配置为将校准展示的图像与校准展示进行比较并且确定第一转换规则。正如已经解释的，这尤其可以通过比较各自的颜色值来进行。

在一些实施例中，控制设备可以被配置为确定第二转换规则。例如，特别是在知道第一转换规则的情况下，这可以通过计算或通过在查找表中查找来进行。作为替代方案，然而，控制设备也可以被配置为控制背景显示设备来照亮真实的校准物体，以便基于由相机成像的校准物体与真实的校准物体、特别是与其颜色的比较来确定第二转换规则。在此，第二转换规则也可以例如由相机内的控制设备的对应部件或者由相对于相机而言是外部的并且相机将校准物体的图像和/或对应的相机图像数据传输给其的部件来确定。

在一些实施例中，控制设备可以进一步被配置为执行上文解释的由背景显示和记录系统在虚拟图像记录工作室中记录虚拟背景的展示和真实物体的方法。

所述控制设备、所述控制单元和/或所述图像生成器例如可以包括以技术信号方式彼此连接的以下装置中的一个或多个：集成电路、中央处理单元(CPU)、微控制器、现场可编程门阵列(FPGA)、或专用集成电路(ASIC)。

在一些实施例中，控制设备可以被配置为根据至少一个第一转换指令和/或根据至少一个第二转换指令来确定和输出用于相关联的照明装置、特别是聚光灯的设置指令，该聚光灯被配置为产生具有可调整的发射光谱的照明光。照明装置的发射光谱尤其可以通过这种设置而调整背景显示设备的发射光谱，为此，尤其是在校准方法期间确定的照明装置的设置指令可以在记录期间来实施。例如，控制设备可以被配置为将在校准方法期间确定的设置指令输出到存储器，使得可以在后续的记录过程中使用该设置指令并因此控制照明装置。然而，替代性地或附加地，控制设备也可以直接连接到照明装置，以便根据设置指令来控制照明装置生成对应的发射光谱。

附图说明

下文将参考实施例并参考附图借助示例解释本发明。

附图中示出：

图1示出具有背景显示和记录系统的虚拟图像记录工作室的示意图，该背景显示和记录系统包括背景显示设备和相机；

图2示出相机的示意图；

图3A至图3D示出背景显示设备的发射光谱和借助于相机成像的光谱的示意图，以阐释第一转换规则的确定，可以应用该第一转换规则以将光谱近似为在背景显示设备处接收的输入图像数据；以及

图4示出背景显示设备在照亮由相机成像的真实校准物体以确定第二转换规则的期间的示意图，该第二转换规则可以应用于由相机生成的相机图像数据。

具体实施方式

图1示意性地示出虚拟图像记录工作室13，在该虚拟图像记录工作室中，可以由相关联的相机23特别是以移动图像记录和/或静止图像记录的形式来记录场景。相机23可以例如被设计为移动图像相机，以便能够进行移动图像记录，该移动图像记录可以被存储为由相机23生成的一系列图像。为此，相机23具有镜头59(也称为物镜)，其可以特别地被设计为可互换镜头(也称为可互换物镜)并且可以选择性地连接到相机23的外壳。因此，可以始终使用针对图像记录工作室13中的环境进行最佳调整的相应的镜头59，以便能够生成最佳可能的记录。包括多个光敏传感器元件的图像传感器1可以特别地布置在相机23的外壳中，经由光阑(也称为孔径光阑)的光阑光圈进入的光可以由镜头系统或至少一个镜头导引到传感器元件上以生成图像(参见图2)。

此外，背景显示设备15被布置在图像记录工作室13中，并且连同相机23一起形成背景显示和记录系统10。背景显示设备15包括被配置为LED墙33的有源照明装置31，并且被配置为显示虚拟背景21的展示19以供相机23进行记录。为此目的，照明装置31或LED墙33具有多个有源照明光源35，该多个有源照明光源以二维布置彼此相邻地布置。例如，光源35可以被配置为可单独地控制的发光二极管44或可单独地控制的发光二极管单元，其中这种发光二极管单元中的每一者可以包括多个发光二极管44、特别是三个发光二极管44。可以特别地规定，光源35被配置为具有三个相应发光二极管44的发光二极管单元，其中该三个发光二极管44中的一者可以发射红光，一个发光二极管44可以发射绿光，并且一个发光二极管44可以发射蓝光。发光二极管单元还可以包括混色器，以能够通过对发光二极管单元的发光二极管44的相应单独控制来设定由光源35发射的相应颜色和/或亮度。发光二极管44可以例如被设计为LED或者被设计为有机发光二极管44或OLED。通常，还可以在图像记录工作室13中使用用于显示虚拟背景的展示的背景显示设备，该虚拟背景通过背后投影生成该展示。

背景显示设备15还包括多个面板41。相应多个有源照明光源35被布置在多个面板41中的每个面板41处，使得可以在面板41中的每一者处显示虚拟背景21的展示19的某一区段。面板41特别地是矩形和/或正方形的，并且被形成为没有边缘，使得还可以在面板41之间的过渡处没有可见中断的情况下显示虚拟背景21的展示19。面板41还被布置成二维矩阵以形成背景显示设备15。在这方面，在所示出的实施例中，有源照明装置31包括多个面板41。

虚拟背景21的展示19在这里反映例如具有物体91、92、93和94(即，三棵树和一条路)的三维场景43，可以通过适当地控制光源35、特别是通过适当地设定该光源的相应颜色和亮度来生成该三维场景。三维场景43被投影到照明装置31的光源35的基本二维布置上，其中特别地，物体91、92和93出现在距照明装置31或背景显示设备15的不同距离处，以便重现与虚拟背景21相对应的真实背景的三维性。

具体地，借助于背景显示设备15的虚拟背景21的展示19用于生成用于真实物体17(例如，演员)的记录的背景，在该真实物体前面，可以进行记录或者可以播放电影场景。因此，可以在图像记录工作室13中创建基本任何种类的景观、空间或环境，在该景观、空间或环境前面或之中，将拍摄例如用于电影的场景。还可以通过光源35的时变控制来显示在虚拟背景21中的移动，例如正在经过的汽车，与在绿幕前面的动作相比，演员17可以以容易且改善的方式对该移动做出反应。

背景显示设备15在这里基本上在竖直方向上延伸，使得演员17可以在虚拟背景21前面移动。然而，为了能够更广泛地描绘虚拟背景21，背景显示设备15还可以在演员17周围或上方延伸，其中背景显示设备15在演员17的上方可以特别地具有水平取向。为了能够包围演员17或产生从所示出的竖直取向到水平取向的过渡，背景显示设备15或照明装置31或LED墙33还可以至少分段地是拱形或弯曲的。

除了展示虚拟背景21之外，背景显示设备15还可以用于照亮真实物体17并且因此可以例如支持具有聚光灯107并且被提供作为图像记录工作室13的另外的工作室照明并且用于生成照明光C的照明装置105。通过由背景显示设备15照亮真实物体17，可以特别地改善真实物体17或演员17与虚拟背景21中存在的光源(例如，灯笼或灯)的交互，因为真实物体17投射对应于在由相机23生成的图像中可见的光条件的阴影。另一方面，可以提供照明装置105以产生通常足够的光条件以用于在虚拟图像记录工作室13中进行记录。为此，照明装置105可以被配置为根据相应设置发射具有不同发射光谱或不同颜色的光，以便能够在不同的光条件下执行记录。然而，具体地，照明装置105还可以被配置为发射复制自然光谱的白色的发射光谱，以便能够在虚拟图像记录工作室13中提供看起来自然的照明。

为了能够生成虚拟背景21的展示19并控制光源35来显示该展示，背景显示设备15具有连接到存储器39的控制单元37。虚拟背景21的模型可以特别地存储在存储器39中，使得控制单元37可以基于该模型来生成虚拟背景21和对应的输入图像数据E(其展示该展示19)。此外，控制单元37可以被配置为将虚拟背景21投影到背景显示设备15并且特别是光源35的二维布置上。在这方面，控制单元37形成背景显示和记录系统10的控制设备73的部件，该系统进一步包括例如布置在相机23中的图像评估设备71。

背景显示设备15还具有接口103并且相机23具有接口101，经由这些接口，信息I可以特别地从相机23传输到背景显示设备15。如下文更详细地解释的，背景显示设备15的控制单元37可以特别地被配置为根据从相机23接收的信息I来控制有源照明装置31。

在图2中，示意性地示出相关联的相机的可能的实施例。相机23具有相机主体53，镜头59紧固到该相机主体。镜头59可以特别地被配置为可互换镜头，使得不同种类的镜头59可以选择性地连接到相机主体53，并且可以始终选择对于相应记录最佳的镜头59。镜头59具有三个镜头圈81，镜头59的相应参数可以由该三个镜头圈设定。例如，聚焦距离、焦距、变焦因子和/或光阑光圈、特别是虹彩光阑的光圈可以通过旋转镜头圈81中的相应一者来进行设定或调整。相机23可以特别地被配置为运动图片相机或移动图像相机，以便能够连续地生成可以例如作为电影播放的图像序列。

为了能够调整镜头圈81，镜头圈驱动单元85经由保持杆87连接到相机主体53并包括用于镜头圈81中的每一者的相应镜头设定马达83。可以由这些镜头设定马达83旋转镜头圈81，并且因此，可以做出对镜头59的调整。特别地，可以远程致动镜头圈驱动单元85，使得可远程设定或改变所述镜头参数。

此外，显示设备49被布置在相机主体53处，经由该显示设备可以向用户显示关于相机23的设置的信息。显示设备49可以具体地是显示器。此外，相机23具有输入设备51，该输入设备被布置在相机主体53处，并且用户可以经由该输入设备做出对相机23的设定。特别地可以在输入设备51处设定相机23的曝光时间，其中连接到输入设备51的控制设备25可以被配置为根据输入曝光时间来控制相机23。显示设备49和输入设备51可以特别地由触摸屏形成，经由该触摸屏，既可以向用户显示信息又可以接收用户输入。

为了通过穿过镜头59的入射光生成图像，相机23还具有图像传感器1，该图像传感器被布置在相机主体53内。该图像传感器1可以基于例如CMOS技术或CCD技术来进行配置并且包括多个光敏传感器元件，该多个光敏传感器元件可以被布置成多个行和列。为了能够借助于这种图像传感器1生成颜色信息，传感器元件可以具有相应的滤色器，其中滤色器可以例如根据从专利文件US 3971065A已知的拜尔模式来布置。

此外，相机23具有读出电路97，该读出电路被配置为对相应传感器元件的信号进行读出和处理，以便将它们数字化成相应的相机数据K并且向或经由信号输出99输出该数据。为此目的，读出电路97可以特别地包括放大器、复用器、模数转换器、缓冲存储器和/或微控制器。最终地，因此，可以由相机23生成与图像或相机23的视场的图像相对应的图像数据集B，并且可以经由信号输出99输出图像数据集B。为了能够检查相机23的视场并且能够将相机23对准到相应图像区段上，在相机主体53处还布置了取景器79，相机操作者可以通过该取景器查看。此外，控制设备25连接到存储器47，并且可以例如被配置为选择性地将图像数据集B写入到存储器47或经由信号输出99输出该图像数据集。

虽然任何期望的虚拟背景21的展示19通常可以由这种背景显示设备15显示以便能够在虚拟图像记录工作室13中记录通常任何期望的虚拟环境中的场景，但是这种背景显示和记录系统10存在问题，即虚拟背景21的展示19被显示有人工发射光谱，该人工发射光谱由光源35预定义并且不同于真实背景中的光谱，该真实背景对应于虚拟背景21并且其中自然光条件占优势。光源35确实可以被控制，使得这种差异对于人类观察者来说是不可察觉的并且所显示的展示19看起来很自然，但是由于与自然光光谱的这种偏差，在由相机23生成的虚拟背景21的展示19的图像中可能会出现不希望的效果。

相机23的光敏传感器元件尤其可以具有各自的灵敏度光谱，光敏传感器元件根据该灵敏度光谱将入射光转换成图像信号。也可以称为图像传感器1的像素的传感器元件可以被设置有相应的滤色器，使得可以为各个传感器元件预定义窄带灵敏度光谱并且传感器元件可以对特定波长敏感。基于传感器元件的信号，可以根据相机转换规则来确定成像的颜色，其中该相机转换规则可以具体地从自然光条件下的图像开始。然而，如果灵敏度光谱与光源35的发射光谱不匹配，则背景显示设备15处的发射光光谱与成像光光谱之间可能发生偏移，如图3A和图3B所示。

图3A示意性地示出了可以借助于背景显示设备15生成的人造准白光光谱。为此，混合第一发射光谱61、第二发射光谱63和第三发射光谱65，其中第一发射光谱61可以例如由蓝色发光二极管44生成，第二发射第三发射光谱63可以由绿色发光二极管44生成，并且第三发射光谱65可以由红色发光二极管44生成，使得发射光光谱70由窄带发射光谱61、63和65的叠加产生。即使由叠加的发射光谱61、63和65发射的光在人类观察者看来可能是自然白光，但是在背景显示设备15处生成的光明显偏离由虚线示意性地展示的自然光的连续白光光谱67。

然而，相机23的感光传感器元件的灵敏度光谱可以被配置用于在自然光条件下记录，即假设自然光谱67，使得图像传感器1的灵敏度光谱作为整体可以复制光谱67。光敏传感器元件或图像传感器1因此可以对自然光光谱67达到最大值的那些波长λ特别敏感。

如图3B所示，所发射的光谱70与复制自然光67的相机23的光敏传感器元件的灵敏度光谱之间的叠加可能导致发射光谱61和63相对于由相机23成像的光谱69中的发射光谱65被放大，使得由相机23成像的光谱69与由光谱61、63和65在背景显示设备15处产生的光谱70不同，并且发生颜色偏移。

为了解决这个问题，背景显示和记录系统10的控制设备73被配置为控制背景显示设备15显示至少一个校准展示75，其中，如图4展示的，单色白色展示可以例如被显示为校准展示75。该校准展示75可以借助于相机23成像，其中控制设备73可以被配置为基于由相机23生成的校准展示75的图像来确定至少一个第一转换规则T1，该第一转换规则与背景显示设备15的控制有关。该第一转换规则T1在这方面被确定为使得虚拟背景21的展示19可以如同在自然光条件下一样被相机23捕获。

为了在背景显示设备15中显示单色白色校准展示75，可以控制光源35以通过混合发射光谱61、63和65来产生人造白光。相机23可以对校准展示75进行成像，并且可以将其传输到图像评估设备71，使得后者可以在图像中特别地将由成像的光谱69(参见图3B)定义的颜色与预期的颜色或由发射光谱70定义的颜色进行比较。由于该比较，第一转换规则T1然后可以由背景显示和记录系统10的控制设备73和/或由也可以布置在相机23中的图像评估设备71来确定。

在这方面，第一转换规则T1可以具体应用于代表虚拟背景21的输入图像数据E。如图3C所示，在所展示的示例中，可以选择第一转换规则T1使得当请求显示白光或展示白光的输入图像数据E时，发射光谱61和发射光谱63的贡献相对于发射光谱65的贡献减少，使得在背景显示设备15处显示经转换的发射光谱70a而不是实际请求的发射光谱70。如果该发射光谱70a随后借助于相机23成像，则成像的发射光谱69a对应于最初预期的发射光谱70，使得由相机23生成的图像的人类观察者获得自然白光的印象。

为了确定第一转换规则T1，通常也可以在背景显示设备15处显示多个校准展示75。因此，例如可以规定显示红色校准展示、绿色校准展示、蓝色校准展示和白色校准展示，并且借助于相机23对它们成像以通过将相应生成的校准展示与成像的校准展示进行比较来确定第一转换规则T1。显示的校准展示75和成像的校准展示的各自的颜色值可以为此特别地彼此进行比较，并且可以特别地由显示的和成像的光谱的各自的最大值来确定。

相机23还可以被配置为经由接口101和103将关于校准展示75的信息I传输到背景显示设备15的控制单元37并且可以说是请求校准展示75。例如，相机23可以将展示校准展示75的输入图像数据E传输到控制单元37或者可以请求特定颜色值的显示以便随后能够检查该颜色值是如何被成像的。此外，当第一转换规则T1在相机23中确定后，也可以经由接口101和103传输至控制单元37，使得控制单元37可以将第一转换规则T1应用于代表虚拟背景21的展示19的输入图像数据E。

然而，另外的问题在于，由于发射光谱70相对于自然光发生了变化，真实物体17在由相机23生成的图像中也可能看起来与在自然光条件下的图像中不同。真实物体17被背景显示设备15照亮，使得由背景显示设备15发射的光被真实物体17反射并且该反射被相机23成像。由于与自然光的光谱差异，因此与自然光的照明相比，真实物体17的颜色可能特别地出现变化。

也为了解决这个问题，可以确定第二转换规则T2，该第二转换规则可以应用于由相机23生成的相机图像数据K。例如，这可以在了解背景显示设备15的光源35的发射光谱61、63和65和/或通过计算或通过在例如可以存储在存储器39中的查找表中查找来了解第一转换规则T1的情况下发生。用于计算第二转换指令T2的计算指令也可以存储在存储器中，并且控制设备73可以被配置为基于计算指令来计算第二转换指令T2。

作为计算或查找的替代方案，如图4所示，背景显示设备15的控制单元37可以被配置为控制背景显示设备15照亮这里被配置为比色图表的真实校准物体49，该比色图表具有多个颜色区域51，这些颜色区域具有相对于自然光条件下的照明明确定义的颜色。由背景显示设备15产生的照明L因此入射在反射该照明L的校准物体49上，使得相机23可以记录反射R。由相机23生成的真实校准物体49的图像然后可以对于图像评估设备71可用，该图像评估设备可以将图像中的颜色与相应颜色区域51的颜色进行比较。如果在该比较期间确定了偏差，则可以确定第二转换规则T2。第二转换规则T2可以应用于由相机23生成的相机图像数据K，使得成像的校准物体49的颜色对应于颜色区域51的定义颜色，即自然光照明的颜色。

在虚拟图像记录工作室13中记录场景期间，例如可以将第一转换规则T1应用于输入图像数据E，使得虚拟背景21的展示19可以由相机23成像为将在对应于虚拟背景21并且其中自然光条件占优势的真实背景的图像中所预期的。另一方面，第二转换规则T2可以应用于代表真实物体17的相机图像数据K，使得真实物体17也可以在虚拟图像记录工作室13中如同在自然光条件下通过相机23进行成像。为此，例如可以生成元数据，该元数据将由相机23生成的图像中的相应图片元素与虚拟背景21或与真实物体17相关联。为此，第二转换规则T2的应用特别是在后期制作期间可以例如发生在相机23内或外部。

作为将第二转换规则T2单独应用到由相机23生成的图像中的区域的替代方案，还可以规定转换规则T1和T2在校准期间相互匹配，使得转换规则T1可以应用于所有输入数据E并且转换规则T2可以应用于所有相机图像数据K，以便能够借助于相机23生成看起来像自然光条件下的图像的图像。为此，可以例如在应用相应的先前确定的转换规则T1和T2的同时迭代地应用上文解释的用于确定转换规则T1和T2的步骤，以便由此确定相应的一对转换规则T1和T2，在其应用期间实现了所需的自然效果。

此外，控制设备73可以被配置为根据第一转换指令T1和/或第二转换指令T2确定用于照明装置105的设置指令A，以便在记录期间相应地设置照明装置105(参见图1)。照明装置105的发射光谱因此可以在应用第一转换规则T1的同时适用于由背景显示设备15发射的发射光谱70a，特别是由背景显示设备15发射的白光的光谱。从而可以实现真实物体17以与由背景显示设备15发射的光类似的方式来反射由照明装置105发射的光，使得通过应用第二转换指令T2，真实物体17可以被成像为具有在自然光条件下预期的颜色，而不论相机23是否吸收由背景显示设备15或照明装置105发射的光。

附图标记列表

1图像传感器

10 背景显示和记录系统

13 图像记录工作室

15 背景显示设备

17真实物体、演员

19 展示

21 虚拟背景

23 相机

31 照明装置

33 LED墙

35 光源

37 控制单元

39 存储器

41 面板

43 三维场景

35 发光二极管

47 存储器

49 校准物体

51 颜色区域

53 相机主体

59相机镜头、可互换镜头

61 第一发射光谱

63 第二发射光谱

65 第三发射光谱

67 自然光光谱

69 成像的光谱

69a 成像转换光谱

70 发射光光谱

70a 转换光光谱

71 图像评估设备

73 控制设备

75 校准展示

79 取景器

81 镜头圈

83 镜头设定马达

85 镜头圈驱动单元

87 保持杆

91 第一物体

92 第二物体

93 第三物体

94 第四物体

97 读出电路

99 信号输出

101 接口

103 接口

105 照明装置

107 聚光灯

A设置指令

B图像数据集

C照明光

E输入图像数据

K相机图像数据

L照明

R反射

T1第一转换规则

T2第二转换规则。

Claims

1.一种校准包括背景显示设备(15)和相机(23)的背景显示和记录系统(10)的方法，

其中所述背景显示设备(15)被配置为在真实物体(17)的后方或上方显示虚拟背景(21)的展示(19)，以用于在虚拟图像记录工作室(13)中进行记录，其中所述背景显示设备(15)具有多个光源(35)，所述多个光源生成多个不同发射光谱(61、63、65)的光，并且其中所述相机(23)被配置为在记录过程中对所述虚拟背景(21)的展示(19)和所述真实物体(17)进行成像，其中所述相机(23)具有图像传感器(1)，所述图像传感器具有多个光敏传感器元件，以根据多个不同的灵敏度光谱来将入射光转换成图像信号，

所述方法包括以下步骤：

-由所述背景显示设备(15)显示至少一个校准展示(75)，并且由所述相机(23)生成所述至少一个校准展示(75)的图像；

-基于所述校准展示(75)的图像确定至少一个第一转换规则(T1)，其中所述至少一个第一转换规则(T1)与所述背景显示设备(15)的控制有关；

-确定至少一个第二转换规则(T2)，其中所述至少一个第二转换规则(T2)与所述相机(23)的相机图像数据(K)的转换有关，

其中确定所述至少一个第一转换规则(T1)和所述至少一个第二转换规则(T2)，使得所述虚拟背景(21)的展示(19)能够由所述相机(23)在所述虚拟背景(21)中如同在自然光条件下捕获，并且使得所述真实物体(17)能够由所述相机(23)在所述虚拟图像记录工作室(13)中如同在自然光条件下捕获。

2.根据权利要求1所述的方法，

其中所述至少一个第一转换规则(T1)与由所述背景显示设备(15)显示的颜色的颜色转换有关。

3.根据权利要求1所述的方法，

其中所述校准展示(75)是单色的或多色的。

4.根据权利要求1所述的方法，

其中，为了确定所述至少一个第一转换规则(T1)，显示第一校准展示(75)、第二校准展示(75)、第三校准展示(75)和第四校准展示(75)并对其成像，其中所述校准展示(75)的颜色彼此不同，并且其中基于所述校准展示(75)的图像来确定所述至少一个第一转换规则(T1)。

5.根据权利要求1所述的方法，

其中，为了确定所述至少一个第一转换规则(T1)，将所述校准展示的图像中的颜色值与所显示的校准展示(75)的颜色值进行比较。

6.根据权利要求1所述的方法，

其中将关于所述至少一个校准展示(75)的信息(I)从所述相机(23)传输到所述背景显示设备(15)，并且其中取决于所述传输的信息(I)来显示所述校准展示(75)。

7.根据权利要求1所述的方法，

其中所述至少一个第二转换规则(T2)与所述相机图像数据(K)的颜色转换有关。

8.根据权利要求1所述的方法，

其中取决于所述至少一个第一转换规则(T1)来计算或在查找表中查找所述至少一个第二转换规则(T2)。

9.根据权利要求1所述的方法，

其中所述至少一个第二转换规则(T2)的确定包括以下步骤：

-通过所述背景显示设备(15)照亮真实的校准物体(49)，并且使用所述相机(23)生成被照亮的校准物体(49)的图像；以及

-基于所述校准物体(49)的图像来确定所述至少一个第二转换规则(T2)。

10.根据权利要求9所述的方法，

其中，为了确定所述至少一个第二转换规则(T2)，将所述图像中的所述校准物体(49)的至少一种颜色与真实校准物体(49)的颜色进行比较。

11.根据权利要求10所述的方法，

其中确定所述至少一个第二转换规则(T2)使得所述图像中的颜色近似于所述真实校准物体(49)的颜色。

12.根据权利要求9所述的方法，

其中所述校准物体(49)具有比色图表，在所述比色图表上显示多个定义的颜色，其中，为了确定所述至少一个第二转换规则(T2)，将所述图像中的颜色与所述比色图表上的颜色进行比较。

13.根据权利要求9所述的方法，

其中控制所述背景显示设备(15)以在应用所述至少一个第一转换规则(T1)时照亮所述校准物体(49)。

14.根据权利要求1所述的方法，

其中所述至少一个第一转换规则(T1)和所述至少一个第二转换规则(T2)相互匹配，使得在应用所述至少一个第一转换规则(T1)和所述至少一个第二转换规则(T2)时，所述虚拟背景(21)的展示(19)和所述真实物体(17)两者都由所述相机(23)如同在自然光条件下进行成像。

15.根据权利要求14所述的方法，

其中通过在应用所述第一转换规则(T1)和所述第二转换规则(T2)时生成图像并且通过迭代地调整所述第一转换规则(T1)和所述第二转换规则(T2)中的至少一者而使所述至少一个第一转换规则(T1)和所述至少一个第二转换规则(T2)相互匹配。

16.根据权利要求1所述的方法，

其中确定多个第一转换规则(T1)和多个第二转换规则(T2)，其中从所述多个第一转换规则(T1)和所述多个第二转换规则(T2)中选择一对第一转换规则(T1)和第二转换规则(T2)，使得当应用所述第一转换规则(T1)和所述第二转换规则(T2)时，所述虚拟背景(21)的展示(19)和所述真实物体(17)两者都由所述相机(23)如同在自然光条件下进行成像。

17.根据权利要求1所述的方法，

其中取决于所述至少一个第一转换指令(T1)和所述至少一个第二转换指令(T2)中的至少一个来确定用于相关联的照明装置(105)的设置指令(A)，所述照明装置被配置为产生具有可调整的发射光谱的照明光(C)。

18.一种通过背景显示和记录系统(10)在虚拟图像记录工作室(13)中记录虚拟背景(21)的展示(19)和真实物体(17)的方法，

其中通过背景显示设备(15)将所述虚拟背景(21)的展示(19)显示在所述真实物体(17)的后方或上方，并且由相机(23)对所述虚拟背景(21)的展示(19)和所述真实物体(17)进行成像，

其中根据权利要求1所述的方法来校准所述背景显示和记录系统(10)，并且

其中在记录所述虚拟背景(21)的展示(19)和所述真实物体(17)时应用所述第一转换规则(T1)和所述第二转换规则(T2)。

19.根据权利要求18所述的方法，

其中使用所述第一转换规则(T1)来转换和显示待在所述背景显示设备(15)处显示的输入图像数据(E)。

20.根据权利要求18所述的方法，

其中将所述第二转换规则(T2)应用到由所述相机(23)生成的所有图像数据(B)，

或者

其中将所述第二转换规则(T2)仅应用于代表所述真实物体(17)的相机图像数据(K)。

21.一种用于虚拟图像记录工作室(13)的背景显示和记录系统(10)，

其包括背景显示设备(15)和相机(23)，

其中所述背景显示设备(15)被配置为在真实物体(17)的后方或上方显示虚拟背景(21)的展示(19)，以便在所述虚拟图像记录工作室(13)中进行记录，并且其中所述相机(23)被配置为对所述虚拟背景(21)的展示(19)和所述真实物体(17)进行成像，

其中所述背景显示和记录系统(10)具有控制设备(73)，所述控制设备被配置为执行根据权利要求1至17中任一项所述的校准方法和/或根据权利要求18至20中任一项所述的记录虚拟背景(21)的展示(19)的方法。

22.根据权利要求21所述的背景显示和记录系统(10)，

其中所述背景显示设备(15)和所述相机(23)具有各自的接口(101、103)，所述相机(23)和所述背景显示设备(15)经由所述接口相互通信，其中所述相机(23)被配置成将关于所述校准展示(75)的信息(I)传输到所述背景显示设备(15)，其中所述背景显示设备(15)被配置为取决于所接收的信息(I)来显示所述校准展示(75)。

23.根据权利要求21所述的背景显示和记录系统(10)，

其中所述控制设备(73)包括图像评估设备(71)，所述图像评估设备被配置为将所述校准展示的图像与所述校准展示(75)进行比较并且确定所述第一转换规则(T1)。

24.根据权利要求21所述的背景显示和记录系统(10)，

其中所述控制设备(73)被配置为取决于所述至少一个第一转换指令(T1)和所述至少一个第二转换指令(T2)中的至少一个来确定和输出用于相关联的照明装置(105)的设置指令(A)，所述照明装置被配置为产生具有可调整的发射光谱的照明光(C)。