CN112513933A - 用于合成图像的方法和数据处理系统 - Google Patents

Abstract

本发明涉及一种用于借助第一单张图像序列来创建第二单张图像序列的方法，其中，第一单张图像序列中或第二单张图像序列中的单张图像已经借助镜头拍摄，该方法具有以下步骤：确定用于第一序列中的单张图像的镜头的入射光瞳和视野，以及在考虑第一序列中的相应单张图像的镜头的入射光瞳和视野的情况下创建或调整第二序列中的单张图像。

Description

用于合成图像的方法和数据处理系统

发明背景

1.技术领域

本发明涉及一种用于借助第一单张图像序列来创建第二单张图像序列的方法，其中第一单张图像序列中的单张图像已经借助镜头拍摄。特别地，本发明涉及一种用于基于预定义的参数来修改和/或创建运动图像的基于软件的方法。

2.背景技术

如今，例如为故事片、计算机游戏、医学成像、用于人脸识别的安全应用，在基于计算机的模拟中、在虚拟现实应用中或者还在工业测量技术中借助图像合成(也称为渲染或rendering)生成动画。例如在此所应用的技术是，计算从虚拟传感器点通过虚拟针孔照相机光圈到虚拟三维场景的虚拟光束路径，并根据虚拟场景中的碰撞点将对应的颜色和强度与传感器点相关联。

通常，存在将以这种形式的图像合成来生成的电影序列与真实拍摄的场景叠加或组合的愿望。因此，例如应当在真实拍摄的图像序列中嵌入具有如所描述地生成的图像内容的图像序列，该真实拍摄的图像序列例如示出了带有真实演员的工作室情况，该具有如所描述地生成的图像内容的图像序列例如示出了虚拟的、计算机动画的生物或背景。

在此，存在尽可能无缝地集成待嵌入到真实图像序列中的图像内容的愿望。根据图像内容，在此不一定非要向观看者暗示该图像内容实际上是真实的内容，而是应当产生一种印象，即整个图像内容是在没有后期处理的条件下原始创建的。为了该印象，当前做出很大的努力，其主要包括后期制作中的逐图像篡改(Bild-für-Bild-Manipulation)。在此，借助图像处理程序，对各个图像内容进行更改，以使各个图像内容尽可能好地适配到真实拍摄的场景中。这些图像后期处理大部分必须手动地来执行并且基于经验值。对于令人信服的观看体验，至关重要的是，已建模的特殊效果在一定程度上与真实的图像内容融合，并且观看者不感觉到中断。适用于对应情况的设置(FOV、光圈、入射光瞳、方位、焦距等)借助物理模型来模拟。

发明内容

本发明要解决的技术问题是，提供一种用于借助第一单张图像序列来创建第二单张图像序列的方法，该方法满足以上所提到的要求，提供更高程度的无缝集成，并且同时需要较少的人工成本。

该技术问题通过根据独立权利要求1的方法来解决。根据本发明的用于借助第一单张图像序列来创建第二单张图像序列的方法(其中，第一或第二单张图像序列中的单张图像已经借助镜头拍摄)包括以下步骤：针对第一序列中的单张图像，确定镜头内光束特性；以及在考虑第一序列中的相应单张图像的镜头内光束特性的情况下，创建或调整第二序列中的单张图像。

第二序列中的单张图像的图像内容的调整可以是对已经计算出或以其他方式生成的单张图像序列的后续换算。在此，第一序列中的单张图像例如可以与第二序列中的图像精确地组合。第二序列中的单张图像的创建可以是借助镜头创建单张图像序列，即在传统意义上的对图像序列的拍摄，或者是在图像合成(渲染)意义上基于虚拟场景的对单张图像序列的计算。在此，例如可以从第二序列的图像中提取诸如人或物体的各个元素，并将其集成到第一序列的图像中。

在优选的实施方式中，确定镜头内光束特性的步骤包括确定用于第一序列中的单张图像的镜头的入射光瞳和视野。

确定镜头的入射光瞳和视野(也称为Field of View(FoV))的步骤能够实现，在调整或创建第二序列中的单张图像的图像内容时，考虑准确的视线方向、由镜头实际采集的视野和入射光瞳，以用于计算或换算第二序列的图像内容。

例如，在用于匹配于另外的镜头-物体距离的镜头对焦过程中，入射光瞳和/或视野可能轻微变化，但仍然明显。此外，作为图像部段的变化，这种效果明显，并且也被称为“拉风箱”(英语：“focus breathing”)。虽然这种效果在单张拍摄中几乎不重要，但在电影序列中明显，并且特别是在事后插入模拟或虚拟(即计算出的)图像内容时对于传统处理方法而言提出了重大挑战。反之，如果在计算待添加的图像内容时就已经考虑了入射光瞳和视野，则可以以明显更简单的方式并且特别是尽可能在没有人工干预的条件下进行图像内容的组合。

本发明的优选实施方式包括将第一单张图像序列的图像内容与第二单张图像序列的图像内容组合的步骤，其中，该组合包括分别在考虑第一序列中的相应单张图像的镜头的入射光瞳和视野的情况下，使第二序列中的单张图像的图像内容与第一序列中的单张图像的图像内容匹配或者创建第二序列中的单张图像。在知晓镜头的入射光瞳和视野的方位方面的信息的情况下已进行了对第二单张图像序列的生成或调整之后，可以在无需较大调整的条件下组合两个图像序列，例如，将两个图像序列叠加或者将第二单张图像序列的图像内容插入到第一图像序列的图像内容中。

在本发明的另外的实施方式中规定，在调整或创建单张图像的步骤中，除了入射光瞳和视野之外，还考虑了出射光瞳的位置、景深、必要时取决于颜色的渐晕、畸变、散景、颜色误差、焦点、透镜元件在镜头内的位置、光圈、曝光时间、色彩表现和/或照相机内部的反射。可以单独或以任意组合的方式考虑所提及的参数。此外，还可以采集其他相关的参数，诸如光源的位置、光源的类型、阴影的分布和强度、运动模糊等。在光源的情况下，例如可以采集光的光谱分布、发射特性、辐射强度等。在调整或创建的步骤中可用并且考虑的镜头或场景的特性越多，就越有可能使第二图像序列的图像内容与第一图像序列的图像内容更好地匹配。

如果在调整或特别是创建单张图像的步骤中考虑了足够多数量的所提及的参数，则可以给观看者以不是事后组合形成的组合图像序列的印象。

在本发明的一种实施方式中规定，创建第二序列中的单张图像的步骤包括借助渲染虚拟场景来创建单张图像。这代表了常见的要求，并且这可以借助针对第一序列中的单张图像采集场景中的入射光瞳的方位和镜头的视野以简单的方式来解决。

对此替换地，在本发明的一种实施方式中，可以在调整第二序列中的单张图像的步骤之前借助用于照相机的镜头来创建单张图像。用于照相机的镜头不必是以其拍摄第一单张图像序列的同一个镜头。更确切地说，基于对入射光瞳和视野的确定，可以执行对第二单张图像序列的图像内容的换算，使得可以无问题地进行对第一和第二单张图像序列的组合。

在本发明的扩展方案中规定，确定的步骤包括在拍摄第一单张图像序列时记录镜头的一个或多个成像参数。在创建或调整第二单张图像序列时，可以使用例如为每个单张图像或者为多个单张图像采集的成像参数(如入射光瞳、视野等)。这减少了用于组合第一和第二单张图像序列的成本。例如，在所谓的蓝幕拍摄或绿幕拍摄中(其中演员或物体在中性(例如蓝色或绿色)背景下被拍摄)，可以采集、特别是还时间分辨地采集在该拍摄中所使用的参数，并且在创建虚拟场景时基于该拍摄使用这些参数。这提供了以下优点：不必在可能使用的设置方面执行事后的计算，可以以简单的方式组合两个单张图像序列的图像内容，并且使得最终结果非常真实/可信。

在该实施方式的扩展方案中规定，镜头的成像参数被实时地用于创建第二序列中的单张图像。例如，这可以用于在形成(即，拍摄)期间将绿幕/蓝幕场景实时地转发到模拟计算机，该模拟计算机实时地执行所规定的与已准备好的图像内容或者与当前计算出的图像内容的组合，并将其显示在显示器上(诸如监视器或目镜)。由此，已经可以在形成时评估并且必要时校正或重复对应的蓝幕拍摄/绿幕拍摄。

在本发明的一种实施方式中规定，确定光束特性的步骤是针对第一镜头进行的，并且附加地在考虑第二镜头内光束特性的情况下进行创建第二序列中的单张图像的步骤。因此，例如可以将已经利用第一镜头(例如广角镜头)拍摄的第一单张图像序列换算为第二单张图像序列，因此产生一个印象，即第二单张图像序列已经以另外的镜头(例如远摄镜头)拍摄。

在本发明的扩展方案中规定，确定的步骤包括记录成像参数的时间序列。因此，特别是在包括以严格的时间顺序拍摄一系列单张图像的电影拍摄的情况下，可以为所有的单张图像或为单张图像的特定子集采集或考虑对于组合所需的参数。例如，在真实开始拍摄之前，摄影师可以在虚拟场景中以虚拟工作的照相机预先进行拍摄，从而规划待拍摄的场景。这可以被称为预可视化(Previsualizing)。

以该方式，例如可以在艺术方面和/或可能的技术可行性方面尝试并检查不同的照相机设置或不同的镜头类型。可能的时间分辨地采集的参数例如可以是镜头的位置、镜头的方向、在焦点、光圈和/或变焦方面的当前设置。这些记录可在之后的工作步骤中用于规划布景。

由于电影的拍摄时间通常昂贵并且经常受到限制，因此借助渲染应用预可视化，以最小化总开销。预可视化(英语：“Previsualisation”)的优点在于，导演、摄影师或VFX(视觉特效)主管可以以不同的舞台布置应用选项和艺术指导应用选项、如照明、照相机放置、照相机运动和镜头的光学设置(诸如焦点部段、焦距或景深)、导演定向和处理来进行实验，而不会产生显著的用于制作的开销。对于具有较大预算的项目，导演在视觉效果部门或特殊房间与演员一起工作。

预可视化可以添加音乐、声音效果和对话框，以模拟完全制作和编辑的场景序列的外观。它们最常用于具有特技和特殊效果(例如色度键)的场景。在预可视化期间，结合了数字视频、摄影、手绘艺术、剪贴画和3D动画。除了电影业和摄影业外，渲染还可用于建筑规划、整容手术或医疗植入物定位中的预可视化。

在此，如先前所描述的，根据本发明的方法可以附加地包括根据对成像参数的时间序列的记录来规划第一单张图像序列的拍摄和/或在使用对成像参数的时间序列的记录的情况下拍摄第一单张图像序列。如已经阐述地，这使得能够借助非常逼真的拍摄模拟来以高度的预规划创建图像序列。

此外，本发明涉及一种具有用于实施根据本发明的方法的装置的数据处理系统以及一种计算机程序。

利用本发明，可以将光学设计、即镜头内的透镜的尺寸、特性和方位用于对场景的模拟中。如已经阐述的，借助渲染为故事片制作现代动画。在此，虚拟射线从虚拟传感器像素通过虚拟针孔照相机光圈追踪到虚拟的三维场景中。然后，根据射线出现在场景中的何处，像素获得对应的颜色和强度。通过本发明，用光学设计程序的光线追踪代替了简单的针孔光圈模型。这导致对镜头的极其逼真的模拟。为了进一步提高真实度，除了或者附加于光线追踪方法，还可以模拟波光学效果。在此，例如可以借助衍射积分来计算点扩散函数。

本发明的一种可能的实施方式可以在于，使用电影布景的三维计算机模型来规划场景(预可视化)。在这种模型中，例如可以对待拍摄的场景仅粗略地建模和/或动画化，并据此(根据所期望的场景)推导出对演员、照相机(及其设置和位置)、所需的设备、风景和/或特殊效果的要求。在开始拍摄之前，摄影师利用虚拟照相机在虚拟场景中规划拍摄。通过对照相机进行逼真的模拟，例如在真实的拍摄之前，在此可以测试不同的照相机设置。因此，可以节省开销、可以识别不期望的情况以及可以更好地规划场景。例如，可以特别地在快速运动的题材方面练习通常手动执行的对焦设置，或者可以测试某些类型的镜头(真实或尚未实现的原型)的适用性。也可以尝试与艺术方面和技术可行性有关的设置。例如，可以在模拟中时间分辨地存储位置、方向、焦点、光圈、变焦设置。然后，将该信息用于规划布景。可选地，然后可以将该数据传输到电子控制的真实照相机，并且可以在真实照相机上播放该设置序列。

另外的实施方式可以包括基于3D模型的对电影场景的部分或完整的、具照片真实感的创建。真实电影场景可以与计算机动画化的场景叠加，例如，真实场景中的虚拟生物和/或虚拟场景中的演员或两者的组合。为此经常使用所谓的绿幕。对于真实场景与计算机动画的组合的质量，重要的是模型中的光照条件、运动模糊、色彩渲染、噪声等与真实场景的拍摄一致得有多好。这些建模后的特殊效果未与场景融合的作品会立刻在观众看来不够专业。利用针孔照相机模型对镜头进行建模仅以非常简化的方式考虑了镜头的(恒定)焦距。场景的立体图播放仅取决于入射光瞳和出射光瞳的方位以及镜头的焦距变化。在此，这些光瞳方位是单独取决于镜头的、聚焦距离和变焦设置的函数。此外，光圈数很重要，该光圈数决定了场景的景深。此外，还有一系列的镜头参数，诸如失真、边缘光下降、显色偏差、色差、反射依赖性等。具体地，在绿幕场景中，例如可以以时间分辨的方式存储图像拍摄中的位置、方向、焦点设置、光圈设置和变焦设置。这些设置在创建虚拟场景时使用。优点是真实可信的外观和图像的简单叠加。

替换地或附加地，在绿幕场景的情况下，例如可以将位置、方向、焦点设置、光圈设置和变焦设置在图像拍摄时直接转发给实时模拟，并将两个图像叠加在目镜或显示器上。

总体而言，根据实施方式，利用本发明可以实现一系列优点：通过在虚拟场景内预先创建设置，可以缩短照相机的设置时间。可以预先规划整个照相机拍摄，并且可以将照相机设置及其更改记录在虚拟照相机中，并且在真实照相机上播放。可以通过事先培训摄影师来改善特别是在无法任意频繁重复的场景中特定的电影拍摄的拍摄质量。在拍摄虚拟场景时，可以通过对真实镜头的精确模拟来生成与在拍摄真实场景时相同的印象。可以对利用真实照相机模拟出的场景进行动画化/生成。可以对仍然真实存在的镜头/照相机执行虚拟原型制作。

本发明的一种实施方式规定了，在计算机程序的范围内利用所存储和内插的点扩散函数数据来执行3D图像模拟。该方法具有以下步骤：

为所选择的一组图像点确定镜头的出射光瞳的大小、形状和方位；例如，可以为此选择具有大约5.4mm网格间距的2D点网格。

对于另外的图像位置，在所选择的图像点之间内插图像点的大小、形状和方位；

输入对象空间函数；对象空间函数可以理解为取决于相对于镜头的入射光瞳的距离的、强度的三维函数；对象空间函数例如包括光谱特性、诸如RGB数据或灰度数据，和/或从对象到入射光瞳的距离(深度图)；

通过将对象空间函数与镜头函数关联来创建点扩散函数，该镜头函数进行对象空间与图像空间的相关联；以该方式，点扩散函数包括镜头的光学设计数据，必要时包括镜头中单个或所有光学元件的镀膜数据在内；

关于对象坐标对点扩散函数进行积分；

关于在出射光瞳的形状对点扩散函数进行积分，以便考虑通过出射光瞳的波前变形；

生成所渲染的对象空间。

附加地，在该实施方式中，可以对数字像差(失真和/或阴影等)进行补偿。

本发明的另外的替换实施方式规定，利用光学传递函数的数据执行3D图像模拟。该方法具有以下步骤：

为所选择的一组图像点确定镜头的出射光瞳的大小、形状和方位；例如，可以为此选择具有大约5.4mm网格间距的2D点网格。

对于另外的图像位置，在所选择的图像点之间内插图像点的大小、形状和方位，以便获得出射光瞳函数；

输入对象空间函数；对象空间函数可以理解为取决于相对于镜头的入射光瞳的距离的、强度的三维函数；例如可以从波长和光学传递函数的组合获得对象空间函数；为了获得光学传递函数，对出射光瞳函数执行卷积(自相关)。

根据对象空间函数计算连续傅立叶变换；

针对固定的波长，关于出射光瞳坐标对光学传递函数与经傅里叶变换的对象空间函数的乘积进行积分；

关于多个波长，重复进行计算；

关于在每个颜色通道(光谱响应函数)和光源的光谱分布上的波长进行积分；

针对每个颜色通道(RGB)生成图像；

叠加针对每个颜色通道(RGB)的图像，以获得逼真的图像。

在所提到的实施方式中，出现了对强烈散焦的对象空间点执行傅立叶变换的问题。这要求出射光瞳的非常高的栅格采样，例如10000×10000，而不是30×30。这很耗时，并且运行时间很长。

对应地，本发明的替换的实施方式规定了，对3D图像模拟执行基于射线追踪(Raytracing)的渲染。该方法基于：进入镜头的光束可追溯到光源。

该方法具有以下步骤：

为所选择的一组图像点确定镜头的出射光瞳的大小、形状和方位；例如，可以为此选择具有大约5.4mm网格间距的2D点网格。

对于另外的图像位置，在所选择的图像点之间内插图像点的大小、形状和方位；

计算光束方向；例如放置在通过出射光瞳定义的边界内；

创建光束函数；该光束函数例如可以表示概率函数，并说明了取决于方向的射线分布，并且例如将输入坐标与输出坐标关联；每个输入光束可以形成数百到几百万个输出光束，具体取决于需要实现的渲染质量。

模拟直至光源的所有光束；

对于所有离散的输出光束，关于光源的角度空间和到光源的距离进行积分；

对于从镜头引导到对象的每个输入光束、例如为10000条光束，重复该方法；

对于所有输入光束，对到达光源的所有输出光束进行积分；

生成图像。

附图说明

下面，根据附图更详细地阐述本发明的实施例。附图中：

图1A、1B示出了根据本发明的第一方法的流程图和示意图；

图2A、2B示出了根据本发明的第二方法的流程图和示意图；

图3A、3B示出了根据本发明的第三方法的流程图和示意图；以及

图4示出了根据本发明的第四方法的示意图。

具体实施方式

图1A、图1B示出了根据本发明的用于借助第一单张图像序列来创建第二单张图像序列的第一方法。在第一步骤S11中，第一单张图像序列借助真实照相机10来生成。对于第一方法，是否真实存储了该第一单张图像序列并不重要。可以储存单张图像序列，但是也还可以仅生成并且不记录该单张图像序列。

在第二步骤(S12)中，采集第一图像序列的照相机设置和照相机位置。优选地，这在生成图像序列，即，借助真实照相机10拍摄第一图像序列期间发生。如果这在拍摄期间执行，则可以省去记录第一图像序列。照相机设置和照相机位置至少可以是入射光瞳的位置和进行拍摄的镜头的视野，但是还可以附加地采集另外的参数，诸如光圈/孔径、曝光时间、变焦设置、焦点等。

在另外的步骤(S13)中，将照相机设置和照相机位置作为数据11传输到虚拟照相机12。该步骤也可以在前两个步骤S11、S12之后或与其同时地进行。因此，第一图像序列的拍摄(S11)、照相机设置和照相机位置的采集(S12)及其传输(S13)可以同时进行，或者还可以在适当的中间存储的情况依次地具有时间偏移地进行。对应地，可以传输照相机设置和照相机位置。

虚拟照相机12例如可以是用于图像合成程序18的设置的参数组，利用该参数组，由虚拟场景16形成的虚拟图像序列14可以相应于另外的步骤S14借助照相机设置和照相机位置生成第二图像序列。图像合成程序例如可以是使用射线追踪算法的计算程序。借助从真实照相机10获得的数据以及可能预先已知的数据，可以在图像合成程序中设立照相机10的模型。一方面，借助该模型、确切地说虚拟照相机12，可以将特定于镜头的并且因此对于光学成像来说相关的效果计算在内。这使得能够对所使用的镜头或整个照相机10进行逼真模拟。另一方面，基于必要时对入射光瞳和视野的时间分辨的采集，真实照相机10的运动以及必要时还与此相关的、如不同位置处的照明条件的影响的效果，或者如运动模糊、彩色渲染或噪声的效果可以对虚拟图像的生成产生影响。

在该方法的具体设计方案中，真实照相机10例如可以在一定程度上被用作虚拟照相机12的控制器，该虚拟照相机用于在虚拟场景16内生成虚拟图像序列14。以该方式，可以以简单的方式生成计算机动画场景。

图2A、图2B示出了根据本发明的方法的第二实施方式。针对下面的实施方式，对于相同或可比较的特征使用了相同的附图标记，并且为了避免重复不再赘述。如先前所描述的方法中的一样，图2A、2B的方法同样规定，借助真实照相机10拍摄第一图像序列(S21)。在此，在该方法中规定，第一图像序列的拍摄在真实存在的真实场景20中进行并且产生真实图像序列22。如先前已经阐述的，在该方法中，照相机设置和照相机位置也被采集(S22)，并被传输到虚拟照相机12(S23)。

现在，在这些步骤S21-S23中所获得的信息被用于在另外的步骤(S24)中借助图像合成程序18在考虑照相机设置和照相机位置11的情况下利用虚拟照相机12在虚拟场景16内生成第二图像序列24。在生成第二虚拟图像序列24时，例如关于真实图像序列22的入射光瞳的方位和照相机10的视野的信息11已经可用。在具体的应用中，第一真实图像序列22例如可以是在电影拍摄时的绿幕场景。在这种情况下，例如可以在图像拍摄时以时间分辨的方式采集照相机10的位置和方向、焦点、光圈、变焦设置。然后，可以在创建虚拟场景16时并最终在创建虚拟图像序列24时相应地使用这些信息。

在另外的步骤S24中，可以将第一真实图像序列22和第二虚拟图像序列24组合以形成组合图像序列26。在此，在提到的绿幕技术的示例中，虚拟图像序列24的虚拟图像内容可以被集成到真实图像序列22的图像内容中。由于在很大程度上无缝的插入可能性，得到了组合图像序列26的真实可信的外观。此外，叠加/插入可以以非常简单的方式来进行。

图3A、图3B中示出了根据本发明的方法的另外的实施方式。在第一步骤(S31)中，在考虑真实场景20的空间数据和其他数据13的情况下创建虚拟场景16。在第二步骤(S32)中，借助虚拟照相机12拍摄第一图像序列24。因为在该实施方式中，存储该第一图像序列24并不重要。更确切地说，该实施方式的目的是，使摄影师有机会在实际拍摄真实图像序列22之前测试和规划照相机的不同设置。利用通过虚拟照相机12对真实照相机10的逼真模拟，以该方式例如还可以在艺术方面和技术可行性方面规划和尝试不同的照相机设置和照相机位置。

对应地，在另外的步骤(S33)中，采集虚拟照相机12的照相机设置和照相机位置。这在优选的方式下以时间分辨的方式来进行，即，每个所采集的照相机设置和照相机位置与时间标记相关联。优选地，针对单张图像序列中的每个单张图像采集设置和位置。根据设计方案，采集频率也还可以与实际情况匹配。例如，可以设置比对于每个图像更低的频率。在此，可以将频率调整为固定频率(每n个图像)，或者可以依据发生的变化来进行调整。所采集的设置例如可以包括位置、方向、焦点、光圈或变焦设置。然后可以将以此方式采集的信息用于规划布景和照相机拍摄。

可选地，如此采集的照相机设置和照相机位置可以在另外的步骤中(S34)被传输到真实照相机10。然后可以在第二单张图像序列的真实拍摄中考虑这些设置。例如，可以在真实照相机20中的拍摄期间以设置序列的形式回放照相机设置，使得减轻了摄影师的负担，并且在拍摄期间只需关心较少的拍摄细节。

图4中示出了根据本发明的方法的另外的实施方式。如图4中所描述的，该方法设置有步骤S41和S42这两个方法步骤，这两个方法步骤在时间上可以彼此独立地进行。

利用步骤S41，生成用于后续渲染的起始基础，在此称为VFX生成。起始基础例如可以是包含所需的三维信息的虚拟场景的数据。

也可以使用任何其他基础，其使得能够根据三维信息执行渲染，从而创建单张图像序列。例如，其也可以是带有附加深度信息的预处理二维图像，或者是在三维场景中将每个像素与3D位置相关联的二维图像。在此，例如可以基于已经通过例如借助3D传感器采集所显示的真实场景而获得了的三维数据，将3D信息集成到在所显示的场景方面预先定义的、针对所显示的场景仿真或针对所显示的场景生成的二维图像中。

在步骤S42中，拍摄可以与单张图像序列(电影序列的帧)相关联的镜头数据/照相机数据。该采集例如可以涉及照相机的镜头并且例如可以借助镜头来进行。

优选地，电影序列的采集(S43)可以与镜头数据/照相机数据的采集(S42)同时进行。

镜头数据/照相机数据可以包括镜头数据序列，其中，序列例如分别具有用于单张图像(帧)的一组镜头数据/照相机数据。替换地或附加地，可以仅采集可以与整个单张图像序列(电影序列)相关联的镜头数据/照相机数据。

镜头数据/照相机数据例如可以包括关于镜头本身的可能的特性和/或设置的信息，诸如镜头类型或单个镜头的标识、关于镜头类型的信息、镜头的焦距、校准的焦距、校准的光阑值(T-Stop-Wert)、景深、超焦距、水平视角或入射光瞳的位置和/或大小。这些镜头数据/照相机数据例如可以在记录第一单张图像序列(电影序列)期间由真实照相机或真实的镜头拍摄。镜头数据/照相机数据的确定/计算和/或记录例如可以针对每个焦点和每个有效的光阑值和/或针对每个单张图像(帧)进行。

替换地或附加地，镜头数据/照相机数据可以包括特定的物理数据，该特定的物理数据表征一个或多个、优选地所有光学元件，诸如透镜、光圈和/或镜头中的滤光器。这些物理数据例如可以是透镜形状、元件的孔径、例如镜头的最大孔径(最小光圈数)、光谱透射率等。通常，特定的物理数据可以是这样的数据，其能够得出关于镜头的光学设计的结论并且由此计算出成像特性和/或执行使用射线追踪、射线投射、点扩散函数或光学传递函数的方法。

附加地或替换地，镜头数据/照相机数据可以包括关于真实拍摄的场景的三维结构的信息。该3D数据的采集(S44)例如可以与镜头的特性和/或设置的采集(S42)并行地进行。

3D数据可以集成到镜头数据/照相机数据中。替换地或附加地，还可以将3D数据添加(S45)到电影序列数据中。

在采集3D数据时，例如可以使用一个或多个3D传感器，其通过对拍摄场景进行光学扫描或声学扫描来生成空间数据，该空间数据可以与拍摄的单张图像序列(电影序列)相关联。一个或多个传感器例如可以与镜头或照相机分开地布置。优选地，一个或多个传感器位于照相机或镜头上或集成到照相机或镜头中。

替换地或附加地，镜头数据/照相机数据可以包括位置数据、方位数据和/或运动数据，其附加地以时间分辨的方式来记录，即，例如可以与单张图像序列(电影序列)中的单张图像(帧)相关联。位置信息、方位信息和/或运动信息使得能够确定照相机和/或镜头相对于所拍摄的真实场景的位置以及照相机和/或镜头相对于所拍摄的场景的取向。通过时间分辨的采集，也可以直接或间接地采集或导出关于照相机和/或镜头的运动的信息。例如，照相机和/或镜头的运动可以从方位或位置的变化中导出。替换地或附加地，可以使用直接采集照相机/镜头的运动的传感器，诸如陀螺仪传感器。

总之，镜头数据/照相机数据可以包括特定于镜头的数据、真实场景的3D数据和/或位置数据/方位数据/运动数据。

可以规定，已经在记录期间实时地进一步处理该镜头数据/照相机数据，并使其可用于(S46)渲染。

替换地或附加地，镜头数据/照相机数据可以被记录并且仅在时间上在记录之后进行的随后的进一步处理步骤中被使用(S47)。

在步骤S48中，进行渲染，即，基于三维数据生成二维图像。

在渲染中，可以考虑镜头数据/照相机数据(S46，S47)。

可以在使用以下算法的情况下进行渲染：该算法使用以下方法中的一个或多个：射线追踪(光束函数)、射线投射、点扩散函数或/和光学传递函数。

替换地或附加地，如上面已经阐述的，在生成二维图像时，例如可以使用已经预处理的具有深度信息的二维图像或具有集成的三维信息的二维图像。渲染也只能表示基于镜头数据/照相机数据对已经存在的二维图像的校正。

借助使用镜头数据/照相机数据，可以给予所渲染的单张图像(帧)或单张图像序列(电影序列)如下外观：该外观给人以其已经利用属于镜头数据/照相机数据的镜头/照相机拍摄的印象。

在此，镜头数据/照相机数据可以在拍摄镜头数据/照相机数据时实时地被用于渲染。在此，可以例如借助将镜头数据/照相机数据无线或有线地传输到渲染计算机，来将镜头数据/照相机数据实时地用于(S46)渲染过程，并且可以用于渲染。

替换地或附加地，可以规定，先前已经拍摄的镜头数据/照相机数据被用于(S47)渲染。

在此，可以规定，镜头数据/照相机数据例如仅包含非时间分辨的特定于镜头的和/或特定于透镜的数据。

替换地或附加地，镜头数据/照相机数据例如可以仅包括位置数据和/或方位数据和/或运动数据。

在一种实施方式中，在渲染中也可以组合地使用不同的镜头数据/照相机数据。例如，可以将第一镜头的非时间分辨的特定于镜头和/或特定于透镜的数据与第二镜头/第二照相机的位置数据和/或方位数据和/或运动数据组合。例如，利用第一镜头拍摄的电影序列可以提供位置数据和/或方位数据和/或运动数据，用于与第二透镜的特定于镜头和/或特定于透镜的数据一起进行渲染。因此可以给人以电影序列已经以不同的镜头拍摄的印象。在此，渲染可以实时地或在后续步骤中进行。

渲染例如可以以24fps的帧率实时地生成分辨率为2K的电影序列。随着计算能力的提高，具有提到的帧率的4K或8K分辨率也是可能的。

可以在生成(S44)期间或之后在渲染监视器上可观察地显示(S49)所渲染的电影序列。

在考虑镜头数据/照相机数据的情况下渲染的第一单张图像序列(第一电影序列)可以在随后的步骤S50中与真实拍摄的第二单张图像序列(第二电影序列)组合(“Composite”复合)。如果已经利用已经以其拍摄了第二电影序列的镜头数据/照相机数据来渲染或校正了第一电影序列，则可以以轻松且无缝的方式组合两个电影序列。

可以记录(S51)组合成一个电影序列的电影序列，并将其可观察地显示(S52)在复合监视器上。

Claims (16)

1.一种用于借助第一单张图像序列来创建第二单张图像序列的方法，其中，第一单张图像序列中或第二单张图像序列中的单张图像已经借助镜头拍摄(S11)，所述方法具有以下步骤：

-针对第一序列中的单张图像，确定(S12)镜头内光束特性；

-在考虑第一序列中的相应单张图像的镜头内光束特性的情况下，创建或调整(S14)第二序列中的单张图像。

2.根据权利要求1所述的方法，其中，确定(S12)镜头内光束特性的步骤包括确定用于第一序列中的单张图像的镜头的入射光瞳和视野；或/和

其中，在考虑第一序列中的相应单张图像的镜头的入射光瞳和视野的情况下，进行创建或调整第二序列中的单张图像的步骤。

3.根据权利要求2所述的方法，其中，创建或调整的步骤包括使用点扩散函数或/和光学传递函数或/和光束函数。

4.根据上述权利要求中任一项所述的方法，所述方法具有将第一单张图像序列的图像内容与第二单张图像序列的图像内容组合(S25)的步骤，其中，所述组合包括分别在考虑第一序列中的相应单张图像的镜头的入射光瞳和视野的情况下使第二序列中的单张图像的图像内容与第一序列中的单张图像的图像内容匹配或者创建第二序列中的单张图像。

5.根据权利要求4所述的方法，其中，调整或创建单张图像的步骤除了考虑入射光瞳和视野之外，还包括考虑出射光瞳的位置、景深、渐晕、畸变、散景、颜色误差、焦点、透镜元件在镜头内的位置、光圈、曝光时间、色彩表现和/或镜头内部的反射。

6.根据上述权利要求中任一项所述的方法，其中，创建第二序列中的单张图像的步骤包括借助渲染虚拟场景来创建(S24)单张图像。

7.根据权利要求1至5中任一项所述的方法，其中，在调整第二序列中的单张图像的步骤之前借助用于照相机(21)的镜头来创建单张图像。

8.根据上述权利要求中任一项所述的方法，其中，确定光束特性的步骤是针对第一镜头进行的，并且附加地在考虑第二镜头内光束特性的情况下进行创建第二序列中的单张图像的步骤。

9.根据上述权利要求中任一项所述的方法，其中，确定的步骤包括：

-在拍摄第一单张图像序列时记录(S22)镜头的一个或多个成像参数；

并且其中，调整或创建的步骤包括：

-在调整或创建第二序列中的单张图像时，使用(S24)所述成像参数。

10.根据权利要求9所述的方法，其中，镜头的成像参数被实时地用于创建第二序列中的单张图像。

11.根据上述权利要求中任一项所述的方法，其中，确定的步骤包括记录成像参数的时间序列。

12.根据权利要求11所述的方法，所述方法具有步骤：

a)根据对成像参数的时间序列的记录(S34)来规划第一单张图像序列的拍摄；或/和

b)在使用对成像参数的时间序列的记录(S34)的情况下拍摄第一单张图像序列。

13.一种根据上述权利要求中任一项所述的方法在以下领域中的一个或多个上的应用，所述领域是电影摄影、摄影、计算机游戏、医学成像、例如面部识别的安全应用、基于计算机的模拟、虚拟现实和/或工业测量技术。

14.一种数据处理系统，所述数据处理系统具有用于实施权利要求1至13中任一项的步骤的装置。

15.一种计算机程序，所述计算机程序具有命令，当所述命令在数据处理系统上实施时，所述命令使得所述数据处理系统实施以下步骤：

-对于预定的一组图像点，确定镜头的出射光瞳的大小、形状或/和方位；

-输入对象空间函数；

-创建点扩散函数或/和输入光学传递函数或/和创建光束函数；

-生成图像。

16.一种易失性或非易失性的计算机可读的存储介质，所述计算机可读的存储介质具有根据权利要求15所述的计算机程序。

Images