CN113052294A - 用于模拟第二摄影机物镜的方法及配置方法和电影摄影机 - Google Patents

Abstract

一种用于模拟第二摄影机物镜的方法及相应的配置方法和电影摄影机，其中配置方法包括：确定使用第一摄影机物镜录制的多幅第一图像；确定使用第二摄影机物镜录制的多幅第二图像，第二图像的图像内容与第一图像的图像内容相对应；基于多幅第一图像和多幅第二图像，配置用于模拟第二摄影机物镜的模拟方法。

Description

用于模拟第二摄影机物镜的方法及配置方法和电影摄影机

技术领域

本申请涉及用于模拟摄影机物镜（摄影机镜头）的方法和装置，尤其涉及用于适配照相物镜的成像特征的方法和装置，以及涉及用于配置这种适配方法和装置的方法和装置。

背景技术

电子电影摄影机通常包括集成光学系统（例如摄影机物镜，可简称为物镜或镜头）或用于安装可互换式物镜（可互换式镜头）的镜头座；进一步还可包括用于从入射光产生图像信号的电子图像传感器；以及用于根据图像信号生成数字图像数据流的图像信号处理设备。图像数据流可以包括多个图像数据集或由多个图像数据集组成，多个图像数据集可以简称为图像。

在专业电影摄影中，主要使用具有可互换式物镜的摄影机。例如，各个物镜的焦距不同，从而由于焦距变化可以考虑采用不同的录制情况。此外，已知这组物镜中各个物镜相互适应，以使图像给人的印象（例如色彩再现或分辨率表现）在从一个焦距变化到另一个焦距时保持不变。

众所周知，每一个真实物体在成像性能上都有物理上的限制。根据物镜的计算、设计和制造方式，或多或少会出现可见成像误差，如颜色误差、畸变或散射光反射。一方面，人们试图将这些误差最小化；另一方面，最小的残余误差也被视为物镜成像特性的一部分。从所录制的图像的美学效果来看，这些特性也可能是有意的。这方面的美学效果不仅与图像的清晰成像区域有关，而且物镜表示图像模糊区域的方式也可能有助于整体效果。

到目前为止，物镜的优化主要集中在对比度传递（调制传递函数，MTF）、失真度、色差等可定量测量的参数上。已知的模拟程序可以根据光学定律计算预定的物镜设计的这些参数，以支持优化过程。

关于物镜设计的具体信息可用于改善校正图像处理。特别是在可互换式物镜的情况下，如果图像处理可以单独地适配，则可能是有利的。例如，可以将相关信息存储在相应的物镜中，然后在物镜连接到摄影机时将其传递给图像处理软件。此外，有可能通过图像处理软件识别特定目标，并从相应的数据库中获取与校正有关的信息。

所使用的摄影机物镜对由电影摄影机录制的图像的效果具有决定性的影响，即对物镜成像特征的主观感知，也可以称为物镜的“景象”（look）。

这样的景象可以由所使用的镜头的具体特性和设置产生，该具体特性和设置例如可以是某个物镜制造商和/或某个时间段的特征。这样的特征景象对于本领域技术人员而言是可以识别的。

用户总是在寻找物镜的新景象。在这方面，开发具有特定景象的物镜是非常复杂和/或昂贵的。滤光片的使用或单个光学参数的调整只能在一定程度上近似导致产生特定景象的真实物镜的细微效果。

当要在物镜的设计中（例如通过最小化残余误差、适应现有物镜、或产生特定的美学印象等方式）实现非常特殊的成像特征时，所有已知的方法都依赖于根据已知的物理定律对光学条件建模。

为了实现成像行为的精确建模，需要对物理条件进行非常复杂的数学表示。诸如散射光或模糊区域的表示之类的效果可能非常难以建模，因为它们依赖于大量参数。

因此，基于随后的图像处理，对物镜的校正在实现时受到限制。特别是在要实时或直接在摄影机中产生效果的实施方式中，可以迅速达到可用处理能力的极限。于是，只能使用简化的处理过程，这些处理过程反过来只能在有限的程度上模拟期望的光学效果。

因此，物镜的物理模型只能在有限的程度上描述物镜的主观属性，或者会过于复杂以至于无法实时使用。

发明内容

本申请的一个目的是提供一种方法和装置，其能够在不直接使用相应物镜的情况下生成具有特定物镜景象的图像。

该目的通过一种用于配置用于模拟具有以下特征的第二摄影机物镜的模拟方法、一种用于模拟具有以下特征的第二摄影机物镜的方法、一种具有以下特征的计算机程序产品、以及一种具有以下特征的电影摄影机来实现。说明书或附图描述了这些方法、计算机程序产品、电影摄影机的优选实施例。

这种用于配置用于模拟第二摄影机物镜的模拟方法的方法至少包括以下步骤：第一图像确定步骤：确定使用第一摄影机物镜录制的多幅第一图像；第二图像确定步骤：确定使用第二摄影机物镜录制的多幅第二图像，第二图像的图像内容与第一图像的图像内容相对应；配置模拟方法步骤：基于多幅第一图像和多幅第二图像，配置关于模拟第二摄影机物镜的模拟方法。

换句话说，这种方法配置了一种模拟方法，该模拟方法基于由第一物镜录制的图像来模拟第二图像的景象（无需更改所录制图像的实际内容，即录制的图像上显示的内容）。这种方法基于由第一物镜录制的多幅第一图像来配置模拟方法。在这方面，第二图像与每个第一图像相关联，使得第一图像和相关联的第二图像具有相同的图像内容（但是他们由不同的物镜进行录制）。

在这方面，第二摄影机物镜的“模拟”可以理解为是使用第二摄影机物镜获得的图像的再现。第二摄影机物镜也可以被指定为待模拟的物镜。模拟的结果可以称为模拟图像。

可以看出的是，第一图像和第二图像以这种方式被提供给该方法以配置（又称：训练）模拟方法，即提供第一图像作为模拟方法的输入，提供模拟方法的输出（即模拟图像），其中该模拟方法由第二图像进行评价。理想的情况是，至少在图像印象或效果或主观印象（即景象）方面，模拟图像与第二图像相似或相同。多幅第一图像和多幅第二图像可以被称为训练数据集。训练数据集可以包括任何期望的真实场景或透射光图像模板。训练数据集可以包括多幅图像，其中多幅图像的设置，诸如分辨率、对比度范围、颜色或深度等级等，各不相同。

在这方面，可以例如通过反馈对模拟图像的评价来迭代地配置模拟方法。该反馈可以包括对于第一图像和第二图像之间的相似性或同一性的图像印象或效果或主观印象的评估。

模拟方法或执行模拟方法的装置也可以被视为发生器。用于评价模拟图像的方法或装置可以被视为鉴别器。

根据一实施例，配置模拟方法的步骤包括确定代表第二摄影机物镜的参数。因此，不同的参数（或不同的参数组）可以表征不同的第二摄影机物镜。

根据一实施例，在预定条件下录制多幅第一图像，并且在预定条件下录制多幅第二图像，其中，预定条件包括至少一种预定义的照明情况；和/或至少一种预定义的摄影机物镜光圈设置；和/或至少一种预定义的摄影机物镜聚焦设置；和/或至少一种预定义的摄影机物镜焦距设置；和/或至少一种摄影机传感器灵敏度设置；和/或至少一种摄影机传感器白平衡设置。由于第一图像和第二图像对应于相同的预定条件，例如相同的用于生成各个图像的物镜的光圈设置和相同的焦点设置，因此可以特别精确地配置模拟方法。

因此，每幅第一图像具有在相同条件下录制的对应的第二图像。这些相应的图像可以配置模拟方法。模拟方法可以被明确地配置以使得第一图像处理成使得它们对应于第二图像，特别是在景象方面。然后，以这种方式配置的模拟方法还可以为由第一物镜录制但未包含在训练数据集中的图像生成模拟图像（并因此模拟第二物镜），即没有与第二物镜录制的图像相对应的图像。

根据一实施例，该方法包括生成多幅第一图像的步骤和生成多幅第二图像的步骤，其中多幅第一图像和多幅第二图像被两个不同的图像传感器同时（即成对地）录制。

根据一实施例，为了同时录制多幅第一图像和多幅第二图像，第一摄影机物镜经由分光器（例如部分透射镜）将相应的图像母题成像到第一图像传感器上，且第二摄影机物镜经由分光器将相应的图像母题成像到（例如通过透射或反射）第二图像传感器上。由于分光器，第一物镜的光轴和第二物镜的光轴可以相互叠加。在这方面，第一图像传感器和第二图像传感器可以是相同的类型（即在设计上是相同的）和/或可以设置相同，使得第一图像和第二图像之间的差异基本上仅是由于对第一图像使用第一物镜以及对第二图像使用第二物镜所致。

在不同的实施例中，多幅第一图像和多幅第二图像可以由同一图像传感器一个接一个地录制。对于静态图像内容，即在录制第一图像的时间点和录制对应于第一图像的第二图像的时间点之间的图像内容不变，这尤其是可能的。

或者，第一图像和/或第二图像也可以基于现有的（例如过去的）图像素材。通常，第一图像和/或第二图像也可以被人工生成或进行后期数字处理。

根据一实施例，可以将多幅第二图像和相应的模板或图像母题可作为训练数据集而提供，该训练数据集使得可以从第二图像在空间和时间上解耦生成多幅第一图像，以便配置用于模拟第二物镜的模拟方法。由此可以提供训练数据集，该训练数据集尤其可以对应于由第二摄影机物镜生成的图像的历史记录。由于具有这样的训练数据集，因此不需要直接使用第二摄影机物镜来配置模拟方法。可以规定，该模拟方法的配置方法是，通过不同的（第一）摄影机物镜确实产生多幅第一图像，然而，优选的方式是采用相同的图像传感器或者相同类型的图像传感器或者以与多幅第二图像的原始生成相同的方式配置的图像传感器。可以基于训练数据集的模板来生成多幅第一图像。

根据一实施例，模拟方法使用第一人工神经网络。据一实施例，第一人工神经网络具有反卷积神经网络。这样的反卷积神经网络可以包括至少一个反卷积层。反卷积神经网络还可以包括多个反卷积层。反卷积神经网络除了至少一个反卷积层之外还可以包括其他层（不是反卷积层）。

在这方面，可以使用预定结构的人工神经网络，特别是反卷积神经网络，其中参数描述了人工神经网络内各个神经元之间的链接。

模拟方法的配置，即人工神经网络的配置，然后可以包括对这些参数的确定。特别地，可以确定参数，以使得模拟图像（即模拟方法从第一图像生成的图像）与第二图像尽可能重合。

根据一实施例，尤其可以通过优化目标函数来配置模拟方法。

根据一实施例，根据（多幅第一图像中的）第一图像不同于与模拟方法处理后的（多幅第二图像中的）相应第二图像的程度，得到目标函数。在这方面，两个图像之间的差异可以逐个像素（即由图像元素）地确定，或者逐个像素组（即由多个图像元素，尤其是相邻的图像元素组成的组）地确定，或者其他方式进行确定。例如，根据一实施例，根据各第一图像在通过模拟方法进行处理后给（人类）观察者产生的已经被第二物镜录制的印象，得到目标函数。

根据一实施例，代替人类观察者，可以使用第二人工神经网络，该第二人工神经网络被训练以识别是否借助于第二摄影机物镜录制图像。根据一实施例，基于第二人工神经网络（其可以是鉴别器的一示例），得到目标函数。根据一实施例，第二人工神经网络具有卷积神经网络。这种卷积神经网络可以包括至少一个卷积层。卷积神经网络还可以包括多个卷积层。除了至少一个卷积层之外，卷积神经网络还可以包括其他层（不是卷积层）。

因此，在第一人工神经网络协作下，在第一人工神经网络和第二人工神经网络之间可能会产生竞争，其中第一人工神经网络尝试生成与通过第二物镜录制的图像尽可能不可区分的模拟图像，第二人工神经网络尝试将未借助第二物镜录制的任何图像（也就是任何模拟图像）识别为此类图像。因此，根据一实施例，可以基于第一人工神经网络和第二人工神经网络之间的零和游戏来配置模拟方法。博弈论等技术领域的技术人员公知零和游戏的原理。训练第一人工神经网络（即模拟方法）的目标是，第一人工神经网络生成模拟图像，以使得第二人工神经网络将模拟图像视为源自第二物镜。

根据一实施例，该方法还包括以下步骤：交替地优化第一人工神经网络和第二人工神经网络。

在这方面，可以多次使用用于优化的输入数据（即在多个优化步骤中，例如用于模拟方法和用于配置模拟方法的方法）。

用于优化发生器（即模拟方法）的输入数据可以是由第一物镜录制的第一图像和由第二物镜录制的（相同内容的）第二图像。

用于优化发生器的输入数据还可以包括由第二物镜（不再可用）录制的历史图像或历史电影素材。由于在产生旧电影素材的过程中可能仅使用了第二物镜，因此有必要使用配置模拟方法的方法来提供通过第一物镜录制的相应图像（或相应电影素材）目的。这可以例如通过手动处理来进行，使得第一图像给人产生由第一物镜录制的印象。

用于优化鉴别器（即评价单元）的输入数据可能如下：

- 由第二物镜实际录制的图像以及关于这些图像由第二物镜录制的信息（鉴别器应将这些图像识别为源自第二物镜，即通过第二物镜录制的图像）；

- 实际源自第一物镜的模拟图像（但其是通过模拟方法对第二物镜的景象的模拟）以及关于这些图像不是由第二物镜录制的信息（鉴别器应将这些图像识别为不是源自第二物镜）；和

- 由第一物镜录制的图像以及关于这些图像并非由第二物镜录制的信息（鉴别器应将这些图像识别为并非源自第二物镜）。

本申请还涉及一种用于模拟第二摄影机物镜的方法，该方法包括以下步骤：确定使用第一摄影机物镜录制的图像；确定表征第二摄影机物镜的参数；以及使用参数将处理规则应用于所确定的图像，以模拟第二摄影机物镜。

在这个意义上，模拟方法可以使用参数来基于由第一物镜录制的第一图像来生成图像，该图像具有与第一图像相同的内容，但是具有第二物镜的景象。在这方面，通过执行所描述的用于配置模拟方法的方法，可以为不同的第二摄影机物镜准备不同的参数组，其中每个参数组表征多个第二摄影机物镜中的一个。因此，从第一图像开始，可以（通过选择相应的参数组）模拟多个不同的第二摄影机物镜。

模拟方法可以具有固定的结构，即，它可以包括关于如何通过参数来处理图像以便以这种方式获得模拟图像的固定规则。在这方面，参数将这些规则参数化。

该模拟方法可以在摄影机中（即时地，基本上直接在通过真实物镜录制图像之后）或在摄影机中执行，即在存储图像数据集特别是在与摄影机无关的位置存储之后。例如，可以借助于第一摄影机物镜录制和存储多幅图像或者一个或多个运动图像序列（每个图像序列包括多幅图像），然后可以基于这些图像或运动图像序列生成模拟图像或运动图像序列。

根据模拟方法的一实施例，处理规则具有人工神经网络，例如反卷积神经网络。

根据一实施例，根据如上所述的配置方法或根据相对于其描述的实施例来配置模拟方法。

根据模拟方法的一实施例，该方法的配置包括确定参数。例如，参数可以存储在电影摄影机中或数据库中，并且可以从电影摄影机或数据库中读出。数据库也可以存储在分散的服务器上（例如云存储）。

多个参数组可以存储在数据库中。每组参数可以表征待模拟的特定物镜。每组参数还可以表征特定的第一物镜（作为实际使用的物镜），通过该特定的第一物镜录制待模拟第二物镜的图像。

根据模拟方法的一实施例，以加密形式提供参数，其中，确定参数的步骤包括基于用户密钥（也可以被指定为使用密钥）来解密参数。用户密钥可以显示用户可以获取多个参数组中的哪一个（即用于要进行模拟的多个物镜中的哪个模拟和/或用于实际使用的多个物镜中的哪个）。从而，可以定义不同的用户授权。

用户密钥可以适用于处理后的图像、第一物镜和/或第二物镜以及相对于第一物镜和第二物镜（即相对于一对物镜）的模拟方法（即变换）。使用密钥在时间上可能会受到限制。

根据模拟方法的一实施例，提供了多个参数组，其对应于多个不同的第二摄影机物镜；和/或多个摄影机物镜光圈设置；和/或多个不同的第一摄影机物镜；和/或多个摄影机物镜焦点设置；和/或多个摄影机物镜焦距设置；和/或多个摄影机传感器的灵敏度设置；和/或多个摄影机传感器白平衡设置。该方法还包括以下步骤：选择一个第二摄影机物镜、和/或一个第一摄影机物镜、和/或摄影机物镜光圈设置、和/或摄影机物镜焦点设置、和/或摄影机物镜焦距设置、和/或摄影机传感器灵敏度设置、和/或摄影机传感器白平衡设置；确定参数组，该参数组包括表征所选择的第二摄影机物镜的参数、和/或选择的第一摄影机物镜、和/或选择的摄影机物镜光圈设置、和/或所选的摄影机物镜焦点设置、和/或所选摄影机的物镜焦距设置、和/或所选的摄影机传感器灵敏度设置、和/或所选的摄影机传感器白平衡设置；以及使用确定的参数组的参数将处理规则应用于确定的图像，以模拟第二摄影机物镜（即使用第一摄影机物镜、和/或所选摄影机物镜光圈设置、和/或选定的摄影机物镜焦点设置、和/或选定的摄影机物镜焦距设置、和/或选定的摄影机传感器灵敏度设置、和/或选定的摄影机传感器白平衡设置模拟所选的第二摄影机物镜）。

对于一对物镜（即特定的第一物镜和特定的第二物镜），可能有多个用于模拟方法的参数组，例如用于物镜的不同设置（例如焦点或光圈孔径）。在使用第二物镜时，可以检测其设置，并且可以使用数据来选择用于变换的合适参数组。

在这方面，根据用户的输入可以从多个第二摄影机物镜中选择出其中之一相应的摄影机物镜设置可以基于用户输入而进行选择，或者其选择可以自动进行（例如基于电子标识，如基于（由第一物镜录制的）图像数据集所包括的元数据，比如例如LDS（镜头数据系统）数据）。电子标识可以在录制第一图像时转发，以便为模拟方法选择正确的参数。

如果参数（或参数组）可用于不同的第一物镜，则与实际使用的第一物镜相关的参数的选择可能会因用户输入而发生，或者例如通过包括关于第一物镜模型的信息的LDS（镜头数据系统）数据而可能会自动进行，例如基于（由第一物镜录制的图像的）图像数据集所包括的元数据。

根据一实施例，为了确定图像，第一摄影机物镜将图像母题成像到图像传感器上，并且图像传感器生成相应的图像信号。图像数据集包括数字形式的图像信号，并且还可以被进一步处理（例如以线性或对数方式）。图像数据集还可以另外包括元数据，例如时间信号、声音信号和/或摄影机物镜设置。图像数据集也可以简称为图像。

本申请还涉及一种计算机程序产品，其包括当由计算机执行时使所述计算机执行上述方法之一（配置方法，模拟方法）的命令。本文中将电子计算部件视为计算机。

本申请还涉及一种用于录制按时间顺序的帧序列的电影摄影机，该电影摄影机具有用于根据上述一种模拟方法例如实时处理帧的控制单元。

该控制单元可以例如包括以下装置中的一个或多个：集成电路（IC）；微处理器；中央处理器（CPU）；图形处理单元（GPU）；专用集成电路（ASIC）；或现场可编程门阵列（FPGA）。控制单元可以位于摄影机的壳体内。或者，控制单元的部件可以位于摄影机的壳体的外部和/或形成单独的计算设备，该单独的计算设备永久地或可拆卸地连接至摄影机。

根据一实施例，控制单元用于形成人工神经网络。如上文结合模拟方法所描述的，可以通过参数对人工神经网络进行参数化。

根据一实施例，控制单元具有解密模块，该解密模块用于解密参数。

根据一实施例，电影摄影机具有壳体，该壳体容纳用于生成图像信号的图像传感器，并且具有可互换式物镜镜头座，第一摄影机物镜可选择性地固定在该镜头座上。在这种情况下，参数不仅可以表征第二摄影机物镜（以便可以模拟不同的第二摄影机物镜），还可以表征第一摄影机物镜（以便可以基于不同的第一物镜模拟第二摄影机物镜）。显然，可以因此提供用于第一摄影机物镜（即实际录制图像的摄影机物镜）与第二摄影机物镜（即待模拟的摄影机物镜）的不同的关联的参数。

在根据本申请的方法中，图像的变换不能基于第二物镜的物理参数，而是基于图像印象；从而可以免去了基于光学定律的复杂建模的必要性。在训练一次之后，较少计算量的变换可以随后用来对齐录制（例如，发生器的已训练的人工神经网络）。

此外，无需对物镜特性进行物理描述。因此也可以检测到非常主观的成像特征。

即使没有详细的技术数据，该方法也可以检测任何期望的新物镜。

附图说明

下面将参考实施例并结合附图对本申请进行描述。在附图中，相同或同类的部件用相同的附图标记进行标记。附图包括：

图1是具有模拟器的系统的示意图；

图2是用于配置模拟器的系统的示意图；

图3是用于借助于不同的物镜提供图像的系统；

图4是用于配置模拟器的系统的示意图；

图5是评价单元的期望工作模式的示意图；

图6是用于配置评价单元的系统的示意图。

具体实施方式

图1示意性地示出了具有模拟器104的系统100，其从由第一物镜录制的第一图像102开始（即：使用第一物镜），生成模拟图像106，该模拟图像106给人类观察者产生的印象已经被不同于第一物镜的第二物镜录制。就这点而言，模拟图像106的图像内容与第一图像102的图像内容相同。但是，模拟图像106与第一图像102的不同之处在于各个物镜的特征印象（characteristic impression）。

在各附图所示的图像中，为了使附图清晰易辨，图像的右上角指示出了该图像是否是通过第一物镜录制（未经模拟方法处理）的图像（右上角标“1”），或是通过第二物镜录制的图像（右上角标“2”），亦或由第一物镜录制的并意在模拟第二物镜的图像印象的模拟图像（右上角标“1→2”）。

通过机器学习可以配置（即：设定；亦即：训练）模拟器104。例如，模拟器104可以是（人工）神经网络。

图2示意性地示出了用于配置模拟器104的系统200。为此，可以设置由第二物镜录制的第二图像202，实际上，第二图像202显示的内容与第一图像102显示的内容相同（即，例如相同的场景或者相同的母题）。因此第一图像102和第二图像202的不同之处仅在于，例如下面结合图3所进一步描述的那样，第一图像是由第一物镜录制的，而第二图像202是由第二物镜录制的。

模拟图像106表征第二物镜基于由第一物镜录制的第一图像102的模拟。可以使用评价单元204对模拟图像106和由第二物镜实际录制的第二图像202进行比较。执行评价单元204得到的比较结果可以用于配置（如箭头206所示）模拟器104。在配置期间，根据第一图像102和相关联的第二图像202形成的每一对图像，可以更新（例如稍微修改）模拟器104的参数。模拟器104的参数可以例如包括人工神经网络内的各个神经元的链接。

在图2中未示出的实施例中，可以将第一图像102和第二图像202直接传送至一配置单元，该配置单元基于第一图像102和第二图像202来配置模拟器104。因此，将模拟图像106与第二图像202进行对比不是绝对必要的。

尽管图2仅显示了一幅第一图像102及其相关联的一幅第二图像202，但是通常也需要多幅第一图像102和多幅第二图像202来配置模拟器104，其中多幅第二图像202中的一幅图像与多幅第一图像102中的每一幅相关联。因此，基于正常操作中的可能输入（即第一图像102）可以明白地配置模拟器104，且为响应输入（即第二图像202）该模拟器104应生成所期望的输出。

图3示意性地示出了通过不同的物镜306、308提供的图像102、202的系统300。模板302是所录制图像102、202的内容，它也可以表示为图像母题，并且通过分光器304和第一物镜305可以对其成像以获得第一图像102。而且，通过分光器304和第二物镜308对模板302进行成像可以获得第二图像202。第一物镜306和第二物镜308可以具有相同的焦距，以使得模板302在第一图像102和第二图像202中的表现至少基本上相同（换言之：使得第一图像102的图像内容至少基本上对应于第二图像202的图像内容）。因此，第一图像102和第二图像202的不同之处仅在于所使用的物镜（第一物镜306和第二物镜308）的成像特征（即景象）不同。为消除或尽量减小图像检测单元（例如图像传感器的图像检测单元，或者摄影机中发生的图像处理/预处理）对图像102、202的影响，第一物镜306和第二物镜308可以在相同的摄影机硬件（特别是相同的图像传感器）下工作。

使用分光器304来生成具有（至少基本上）相同内容的两幅图像102、202能使图像的生成同时发生，这尤其有利于运动内容302。然而，特别是对于静态内容302，第二图像202也可以使用第二物镜308直接录制（即不使用分束器304），并且在此之后或之前，可以使用第一物镜306（不使用分束器304）来录制第一图像102。

图4示意性地示出了用于配置模拟器104的系统400。如箭头402所示，模拟器104的训练目标是，第一物镜306录制的图像通过模拟器104变成模拟图像后不能与来自第二物镜308的图像区分开。评价单元204的训练目标是对其进行训练，且在训练之后，第一物镜306录制的图像在通过模拟器104变成模拟图像后仍可以与来自第二物镜308的图像区分开。

利用（固定的或确定的）第一物镜306，可以由不同的第二物镜308执行多个训练，于是可产生不同配置的模拟方法（例如，其具有不同的参数或不同的参数组）。从而，可以存储不同的参数（并使它们与（固定的或确定的）第一物镜306和相应的第二物镜308相关联），并根据需要将某个参数组用于模拟方法。因此可以使来自第一物镜306的图像看起来像来自某个第二物镜308的图像。

利用（固定的或确定的）第二物镜308，可以由不同的第一物镜306执行多个训练，于是可产生不同配置的模拟方法（例如，其具有不同的参数或不同的参数组）。从而，可以存储不同的参数（并使它们与（固定的或确定的）第二物镜308和相应的第一物镜306相关联），并根据需要将某个参数组用于模拟方法。因此可以使来自不同的第一物镜306的图像看起来像来自第二物镜308的图像。

图5示出了评价单元204的期望工作模式的示例500。评价单元204对作为输入的图像进行处理，并输出关于图像是否由第二物镜录制的信息。在图5所示的示例中，评价单元204输出“是”（由核对标记即√表示）或“否”（由X表示）来表示关于图像是否由第二物镜录制的信息。不过，关于图像是否由第二物镜录制的信息通常也可以采用几率的方式来表示，而不是采用“是”或“否”（即二元的方式）的方式。这种几率的方式可以是例如以百分比表示，例如用0到1之间或0％到100％之间的实数或自然数表示，或用比如“非常肯定是”“可能是”“不能确定”“可能不是”“非常肯定不是”等等“模糊”语气表示。又例如，可以采用图像与实际由第二物镜录制的图像在像素上是否存在间距的方式，来表示关于该图像是否由第二物镜录制的信息。或者，关于图像是否由第二物镜录制的信息可以包括关于人类观察者判断该图像与实际由第二物镜录制的图像有多相似的信息。

对于输入为由第二物镜录制的第二图像202，评价单元204输出的关于第二图像202是否由第二物镜录制的信息应当显示出第二图像202是由第二物镜录制，并用核对标记502予以表示。对于输入为由第一物镜录制的图像102，评价单元204输出的关于第一图像102是否由第二物镜录制的信息应当显示出第一图像102并非由第二物镜录制，并用标记504即X予以表示。对于输入为由模拟器104生成的图像（即模拟图像106），评价单元204输出的关于模拟器104生成的图像106是否由第二物镜录制的信息应该显示出该模拟器104生成的图像106并非由第二物镜录制，并用标记506即X予以表示。

如以上进一步描述的，可以配置（即：训练）模拟器104。评价单元204也可以被配置（即：训练）。在这方面，目标是训练模拟器104，使其生成的图像无法与由第二物镜录制的图像区分开；而对评价单元204进行训练的目标是使其以识别出并非由第二物镜录制的任何图像。在这方面，评价单元204还应该能够识别出通过模拟器104生成的但并非由第二物镜录制的图像。因此，在这种意义上，模拟器104和评价单元204彼此竞争，从而可以将模拟器104的配置和评价单元204的配置视作是一种零和游戏。模拟器104“越好”，评价单元204就越难识别出模拟图像并非第二物镜实际录制的图像。

评价单元204可以通过机器学习来进行配置。例如，评价单元204可以是（人工）神经网络。

图6示意性地示出了用于配置评价单元204的系统600。用于配置评价单元204的数据输入可以是图像602及其相关联的关于该图像602是否由第二物镜录制的信息。图像602及其相关联的信息604的数量也可以被指定为训练数据集。

每幅图像602被馈送到评价单元204，评价单元204输出关于图像602是否由第二物镜录制的信息606（在评价单元204进行评估之后）。比较单元608对评价单元204输出的信息606与表征图像602实际是由第二物镜录制的图像602的信息604进行处理（例如进行比较）。基于该处理来配置（如箭头610所示）评价单元204。在这方面，该配置可以包括确定评价单元204使用的参数。根据待处理的每幅图像602及其相关联的信息604，可以例如使用梯度方法来更新（例如稍微修改）参数。该配置可以明白地包括设置评价单元204的参数，使得对于尽可能多的输入图像602，输入信息604和由评价单元204确定的信息604可以尽可能地一致。

附图标记列表

100 具有模拟器的系统

102 第一图像

104 模拟器

106 模拟图像

200 用于配置模拟器的系统

202 第二图像

204 评价单元

206 指示配置的箭头

300 提供图像的系统

302 模板

304 分光器

306 第一物镜

308 第二物镜

400 用于配置模拟器的系统

402 评价单元的训练目标

500 评价单元的期望工作模式的示例

502 核对标记

504 X

506 X

600 用于配置评价单元的系统

602 图像

604 属于图像的信息

606 所确定的关于图像是否由第二物镜录制的信息

608 比较单元

610 指示配置的箭头

Claims (27)

1.一种用于模拟第二摄影机物镜（308）的模拟方法的配置方法，其特征在于，包括以下步骤：

第一图像确定步骤：确定使用第一摄影机物镜（306）录制的多幅第一图像（102）；

第二图像确定步骤：确定使用第二摄影机物镜（308）录制的多幅第二图像（202），所述第二图像的图像内容与所述第一图像（102）的图像内容相对应；

配置模拟方法步骤：基于所述多幅第一图像（102）和所述多幅第二图像（202），配置用于模拟第二摄影机物镜（308）的模拟方法。

2.根据权利要求1所述的配置方法，其特征在于，配置模拟方法的步骤包括：确定表征第二摄影机物镜（308）的参数。

3.根据权利要求1所述的配置方法，其特征在于：

在预定条件下录制所述多幅第一图像（102）；

在预定条件下录制所述多幅第二图像（202）；

所述预定条件包括以下至少之一：

至少一种预定义的照明情况；

至少一种预定义的摄影机物镜光圈设置；

至少一种预定义的摄影机物镜聚焦设置；

至少一种预定义的摄影机物镜焦距设置；

至少一种摄影机传感器灵敏度设置；或者

至少一种摄影机传感器白平衡设置。

4.根据权利要求1所述的配置方法，其特征在于，所述方法包括生成所述多幅第一图像（102）的步骤和生成所述多幅第二图像（202）的步骤，其中所述多幅第一图像（102）和所述多幅第二图像（202）同时由两个不同的图像传感器录制。

5.根据权利要求4所述的配置方法，其特征在于，为了同时录制多幅第一图像（102）和多幅第二图像（202），第一摄影机物镜（306）经由分光器（304）将相应的图像母题成像到第一图像传感器上，且第二摄影机物镜（308）经由分光器（304）将相应的图像母题成像到第二图像传感器上。

6.根据权利要求1所述的配置方法，其特征在于，所述模拟方法使用第一人工神经网络。

7.根据权利要求6所述的配置方法，其特征在于，第一人工神经网络具有反卷积神经网络。

8.根据权利要求1所述的配置方法，其特征在于，通过优化目标函数来配置所述模拟方法。

9.根据权利要求8所述的配置方法，其特征在于，根据第一图像（102）不同于与所述模拟方法处理后的相应第二图像（202）的程度，得到所述目标函数。

10.根据权利要求8所述的配置方法，其特征在于，根据各第一图像（102）在所述模拟方法进行处理后给观察者产生的已经被第二物镜（308）录制的印象，得到所述目标函数。

11.根据权利要求8所述的配置方法，其特征在于，基于第二人工神经网络，得到所述目标函数。

12.根据权利要求11所述的配置方法，其特征在于，所述第二人工神经网络具有卷积神经网络。

13.根据权利要求11所述的配置方法，其特征在于，所述模拟方法使用第一神经网络；基于所述第一人工神经网络和所述第二人工神经网络之间的零和游戏来配置所述模拟方法。

14.根据权利要求11所述的配置方法，其特征在于，所述模拟方法使用第一人工神经网络，所述方法还包括：交替地优化第一人工神经网络和人工神经网络。

15.一种用于模拟第二摄影机物镜（308）的方法，其特征在于包括以下步骤：

确定使用第一摄影机物镜（306）录制的图像（102）；

确定表征第二摄影机物镜（308）的参数；

使用参数将处理规则应用于所确定的图像（102）以模拟所述第二摄影机物镜（308）。

16.根据权利要求15所述的方法，其特征在于，所述处理规则具有人工神经网络。

17.根据权利要求16所述的方法，其特征在于，所述人工神经网络具有反卷积神经网络。

18.根据权利要求15所述的方法，其特征在于，所述方法是根据权利要求1所述的配置方法来进行配置。

19.根据权利要求18所述的方法，其特征在于，所述方法的配置包括确定参数。

20.根据权利要求15所述的方法，其特征在于，所述参数以加密形式提供，所述确定参数的步骤包括：基于用户密钥对所述参数进行解密。

21.根据权利要求15所述的方法，其特征在于，提供对应于以下至少之一的多个参数组：

多个不同的第二摄影机物镜；

多个不同的第一摄影机物镜；

多个摄影机物镜光圈设置；

多个摄影机物镜焦点设置；

多个摄影机物镜焦距设置；

多个摄影机传感器灵敏度设置；或者

多个摄影机传感器白平衡设置；

该方法还包括以下步骤：

选择以下至少一项：

第二摄影机物镜，

第一摄影机物镜，

摄影机物镜光圈设置，

摄影机物镜焦点设置，

摄影机物镜焦距设置，

摄影机传感器灵敏度设置，或者

摄影机传感器白平衡设置；

确定包括表征以下至少一项的参数的参数组：

所选的第二摄影机物镜，

所选的第一摄影机物镜，

所选的摄影机物镜光圈设置，

所选的摄影机物镜焦点设置，

所选的摄影机物镜焦距设置，

所选的摄影机传感器灵敏度设置，或者

所选的摄影机传感器白平衡设置；

使用所确定的参数组中的参数将所述处理规则应用于所录制的图像以模拟第二摄影机物镜。

22.根据权利要求15所述的方法，其特征在于，为了确定图像，第一摄影机物镜将图像母题成像到图像传感器上，所述图像传感器生成相应的图像信号。

23.一种计算机程序产品，其特征在于包括当由计算机执行时使所述计算机执行根据权利要求1所述的配置方法的命令。

24.一种电影摄影机，其用于录制时间帧序列，并且所述电影摄影机具有用于根据权利要求15所述的方法处理帧的控制单元。

25.根据权利要求24所述的电影摄影机，其特征在于，所述控制单元用于形成人工神经网络。

26.根据权利要求24所述的电影摄影机，其特征在于，所述控制单元具有用于解密参数的解密模块。

27.根据权利要求24所述的电影摄影机，其特征在于，所述电影摄影机具有壳体，该壳体容纳用于生成图像信号的图像传感器，且所述壳体具有可互换式物镜镜头座，第一摄影机物镜可选择性地固定在该镜头座上。

Images