CN101743756A - 用于编辑立体图像的程序 - Google Patents

Abstract

本发明涉及一种用于处理由部分图像组成的空间图像或这种图像的时间序列的方法，其中，通过根据执行顺序并且根据可调节的处理参数在各个单独处理模块内处理所述图像数据而完全地或部分地按照顺序的或并行的方式来进行对图像的处理；其中每个处理模块执行一个或更多处理步骤，并且执行顺序由所述处理模块的可选链接确定；以及其中每个处理模块能够与其根据所述执行顺序所链接到的处理模块交换数据。如果用于两个在所述执行顺序中互相链接的处理模块的一个或更多处理参数发生改变，则(a)上游处理模块向下游处理模块传送存在于该上游处理模块处的图像数据的哪些区域受到所述改变的影响；(b)所述下游处理模块向所述上游处理模块传送其要求利用改变后的处理参数重新确定的哪些图像数据来执行其处理步骤。所述上游处理模块仅仅重新计算所述图像数据并且将其传送到所述下游处理模块。

Description

用于编辑立体图像的程序

技术领域

本发明涉及到对包括来自n个部分图像i的图像数据的立体图像或者对按照时间顺序排列的这种图像序列进行编辑，其中n＞1并且i＝1，...，n，其中通过根据执行顺序并且根据可变编辑参数在各个单独的编辑模块内编辑所述图像数据，对图像的编辑(整体上或部分地)顺序地和/或并行地被实施，其中每个编辑模块实施一个或几个编辑步骤并且被分配给一个节点；而且所述编辑顺序由与节点的可选链接来确定，其中每个节点根据所述编辑顺序与节点链接并且能够交换数据。本发明涉及到对三维图像进行高效的图像编辑的问题，其中与二维图像的情况相比，必须编辑数据量更大的三维图像。

背景技术

在当前现有技术已经公知数种可以借助于计算机对图像或视频之类的图像序列进行编辑的方法，其中总是表明编辑状态。对于最简单的图像编辑方法，用户必须选择他想要把哪个过滤器或编辑模块应用于图像。例如有漫射屏模块、锐化模块(sharpness module)以及颜色校正模块，这里只举出几个。在选择过滤器时，该过滤器将分别被用于所有图像数据或者用于可自由限定的段中的图像数据。所得到的图像将被计算及被显示。对于所得到的图像将重新计算所有图像数据。

在当今的图像编辑方法中，各种各样的编辑模块可以被加入到编辑顺序或批处理中，并且这样的执行顺序随后将被显示为优选的图形。在这种情况下，用户自己可以选择编辑模块并且类似于树结构来组装编辑模块。所述各编辑模块于是对应于各节点；所述各编辑模块或节点于是可以彼此链接，从而例如使得来自几个在前编辑模块的数据流向后继编辑模块。例如，当要把来自两个不同图像的数据组合成完整图像时就是这种情况。在这种情况下，还有可能自己设计编辑模块并且将其作为所谓的插件并合到所述程序和执行顺序中。如果有两个链接的编辑模块，则首先在执行顺序中的在前编辑模块实施必要的编辑步骤；随后把至少部分地由该编辑模块修改的全部图像数据传送到所述执行顺序中的在前编辑模块，随后也在该处编辑所述全部图像数据。

在对图像序列的编辑中(例如在视频编辑程序中)也建立了类似的图像编辑方法。各个单独的图像序列被称作流，正如两个图像可以被叠加成一个图像那样，当例如要给一个图像序列加字幕时，同样可以把几个流组合成一个流。在这种情况下，每个流可以独立于其它流被编辑。在这种情况下也可以应用上面提到的过滤功能。一旦完成了对这种序列或序列组合的编辑，就将在屏幕上示出结果。即使在编辑过程中，也可能分开指示各个单独的步骤或各个单独的图像序列。

在这个处理中，如果编辑参数有任何改变(比如添加了滤色器或漫射屏)，则重新计算所有图像数据，并且分别根据所述树结构或执行顺序，从其中发生参数改变的模块开始或者从可全局调节的参数的开头开始向下传送所有图像数据，并且根据分级结构向下传送所有图像数据。所有图像数据都将被重新计算并且根据分级结构被向下传送。

在US 6,768,490中描述了允许图形表面的用户来编辑视频序列的这些方法。根据分级树结构中的执行顺序图形地编译各编辑模块。所述树结构包括在其上组合例如各种各样的流或轨道(track)的节点，其它节点则构成编辑模块。所述节点通过所述树结构相连。

例如在WO 99/52276中描述了使用类似方法的装置。在此，也对几个数据流进行编辑和组合，其中可以通过同时编辑几个数据流来加速所述编辑。这样就应当可以使得实时编辑成为可能，也就是说可以即时在屏幕上示出结果，并且通过同时拍摄可以把所获得的结果无延迟地显示在屏幕上。

在这两种方法中以及在先前描述的处理中，所有计算都是在处理器主板上实施的。虽然所描述的方法对于二维图像内容而言足够了，但是在将这些方法应用于三维内容时会很快达到极限，这是因为将要编辑的数据量大许多倍。虽然在原理上取自对象的不同视角的两个视图就足以产生能够传达立体感的立体图像或立体图像序列，但是可能会大大约束观看者在屏幕前的移动性；通常，从不同的视角取得几个视图或者追溯地产生几个视图。通常使用8个视图。根据公知的现有技术方法，不可能实时显示3D视频编辑，也就是说在实施了一个工作步骤之后，总是有一定的间隔，直到结果可以在屏幕上被示出为止。主要的问题在于应对高数据量。

在US2003/0156822中尝试了减小数据量。该文献描述了一种编辑分别包括几个轨道或流的图像序列的方法。如果在编辑过程中删除了一段这样的轨道，则在硬盘或存储介质上将不会有任何实际的数据删除，而是放置指向所述轨道内的相应位置的某些标记(所谓的指针)。

所述轨道本身将不会受到干扰，这简化了数据管理并且节省了编辑时间。在US 2003/0156822A1中编辑的图像序列涉及到所谓的多视图流、即具有共同时间轴的图像序列。但是，内容可以是不同的。例如可以涉及到在演出期间拍摄的电视图像，其中两个是从不同的视角拍摄主持人，而第三个摄影机可以拍摄观众。

在使用这种多视图流的情况下，有可能开发所述流来使得每个流都示出相同的场景，但是从略微不同的视角来示出。随后可以对各种各样的视图的数据流进行处理和编辑并且在适当的屏幕上将其示为立体图像。在WO2006/049382中描述的方法之一中，对所有视图的数据流进行编辑。在初始的校正消除了噪声之后，确定摄影机参数并且计算场景的模型。这种方法提供关于放置单独对象的(从摄影机位置来看的)深度的信息。根据该信息，在另外的编辑步骤之后可以产生可立体呈现的图像。然而由于需要编辑的数据量很大，在图像序列上的传送非常麻烦，并且由于必须实施许多计算，因此所述传送是不令人满意的。虽然为了能够产生可立体呈现的图像而必需这些计算，但是如果这样的画面或图像序列在后面的某一阶段被编辑的话则不可能使用所述画面或图像序列。

公知的现有技术方法不太适用于延误的图像编辑，并且特别不适用于分别用于立体显示或多视图流的图像序列，其中要对图像数据使用过滤器或功能，因为即使是利用当前可得到的高效处理器也还是不可能实时产生编辑结果，使得观看者必须等待一定时间才能看到其所做的任何改变(即漫射屏或颜色校正)的效果。因此，对于这种图像内容的编辑非常耗时且代价高昂。

发明内容

本发明的目的是进一步开发一种用于编辑可立体呈现的图像或图像序列的方法，使得至少接近于实时的编辑是可能的，即操作员可能在没有任何时间延迟的情况下看到其对于调节所做的改变的效果，特别是在立体显示方面尤其如此。

在前面描述的方法中，上述问题得以解决是在于，如果用于执行顺序中的每两个节点(其在该执行顺序中彼此链接)的一个或几个编辑参数发生改变，则

(a)被分配给所述执行顺序中的在前节点的在前编辑模块向被分配给该执行顺序中的后继节点的后继编辑模块传送当前图像数据的哪些区域受到所述在前编辑模块上的变化的影响；

(b)所述后继编辑模块向所述在前编辑模块传送要求哪些利用改变后的编辑参数重新确定的图像数据，并且所述在前图像模块仅仅计算这种图像数据并且将这些图像数据传送到所述后继编辑模块。

优选地对应于包括n个部分图像i的图像的图像数据或者一个按时间顺序排列的这种图像序列(其中n＞1，并且i＝1，…，n)可能已被创建为计算机图形或者被记录为拍摄了n个部分图像的摄影机摄影。二者的混合也是可能的，即具有部分实际拍摄以及部分利用计算机图形学产生的对象的多视图流。为了进行编辑，基于计算机图形学(在市面上可买到的动画程序，比如Autodesk Maya或者Autodesk 3DStudio MAX)的部分图像是合适的；利用这些动画程序可以把所述部分图像渲染为具有略微不同的摄影机位置的单独的透视图。可替换地，深度卡的n个部分图像i中的一个可以与所显示的场景相匹配。

编辑参数可能涉及到可直接在所述在前编辑模块上调节的或者在所述在前编辑模块之一上调节的局部编辑参数，或者涉及到影响整个执行顺序的全局编辑参数。例如如果使用两个流，其中一个示出从左向右移动的有色文字并且应当保持在前景中，而第二个流示出并不移动的或者缓慢移动或转动的背景场景，从而在所述背景上立体地显示所述文字，于是所述第一个流的文字颜色、字体和字符串(即文字本身)就是局部编辑参数。由于这涉及到所述文字在其中从左向右移动的图像序列，因此例如时间t就是全局编辑参数。

例如，如果所述文字的颜色发生改变，则仅仅必须改变描绘所述文字的流。在这两个流的组合中，只在所述文字对其有影响的图像区段(sector)内重新确定图像数据。没有必要重新计算其它图像数据。虽然在当前的现有技术中，这种处理中的数据和信息仅在一个方向上行进(在树中从上向下流动)，两个链接的编辑模块同样也可以在相反的方向上进行通信。如果编辑参数发生改变，则首先分别确定图像和图像数据中的该编辑参数对其有影响(即受到所述参数改变的影响)的区域，这例如对应于存储在至少二维矩阵内的数据，该矩阵的索引对应于所述图像或部分图像中的坐标并且对应于一个或几个索引值组。这个区段相继地或者甚至直接地被传送到后继节点处的所有编辑模块。按照这种方式，每个后继编辑模块都能够把被传送到后继节点的所有段编译成一个段。所述后继编辑节点本身检查所保持的图像数据是否对受到所述参数改变影响的区段有影响。如果文字的排版发生改变，则不必重新计算涉及背景场景的图像数据。

所述执行顺序中的最后的编辑模块首先检查是否必须重新计算图像数据，并且如果是的话则检查为了那个目的要求哪些数据。该信息随后被传递到接着实施所述检查的在前编辑模块。用于该在前编辑模块的必要图像数据可能是相同的；也可能是其它图像数据。该数据随后将与关于后继编辑模块的信息一起被继续传送到下一在前编辑模块，直到按照递归方式找到受到所述改变的影响并且必须重新计算至少新图像数据的第一被影响的编辑模块(如果存在分支的话也可能是几个第一编辑模块)。同样地，在其上发生所述执行顺序中的最后的重新计算的相应的编辑模块不一定是所述执行顺序中的最后的编辑模块。

如果后继编辑模块向在前编辑模块通知必须重新确定哪些图像数据或通知其要求哪些具有重新确定的形式的图像数据以使得该后继编辑模块可以实施其编辑步骤，则将重新计算来自所述在前编辑模块的图像数据，其中必须诉诸于附加的在前编辑模块。所述重新计算过的图像数据(并且仅有所述重新计算过的图像数据)被传送到所述后继编辑模块。不需要重新计算所有图像数据。按照这种方式，与现有技术相比可以节省时间和计算能力。

由于仅仅所述图像数据的一个部分或者一区域被重新计算并被传送到后继编辑模块，因此这意味着由该编辑模块存储至少该编辑模块进行计算所需要的初始数据。由所述编辑参数的改变而导致重新确定并重新传送的图像数据于是重写原始图像数据的部分并且流入到所述处理中。所述编辑模块计算其起始值(所述编辑模块随后将该起始值传送到下一后继编辑模块)，然后完全地或部分地更新其，但是仅仅把所请求的或必要的图像数据分别传送到后面的编辑模块。

在本发明的功能性实施例中，并且当对编辑参数做出了改变时，取决于在编辑模块中采取的编辑步骤的类型，为各编辑模块中的已经处理过的图像数据给出存储优选项。这意味着，不仅部分地存储对于编辑所必需的输入数据，而且还至少部分地存储在编辑参数发生改变的情况下并不发生改变的该部分初始数据。如果针对所述图像数据的部分的颜色值发生改变，则会意味着针对浮在背景场景前方的场景中的不同对象(例如上面已经提到的文字)的深度信息并不发生改变。如果后继编辑模块确定了所述深度，则不需要重新计算这些数据。如果在各编辑模块中采取的编辑步骤仅仅涉及到可以容易地并且快速地实施的操作，则可能有用的是放弃存储图像数据以节省存储位置并且每次都重新计算这些数据。

在本发明的特别优选的实施例中，至少部分地或优选地在图形卡上实施所述编辑步骤。这样做的话，实施所述编辑模块的编辑步骤的操作被转化成用于所述图形卡的图形命令，其因此服从特殊要求。当前这些图形命令特别是Open GL 2.0标准，此外还必须在所述图形卡上实现像素着色器模型(pixels hader Model)3和/或Open GL着色语言(shading Language)1.0或适当的程序。还可以使用没有在这里提到的高级扩展或相关功能库。这样做的附加优点在于，可以独立于原始图像格式(通常是每通道各有八位色彩深度的RGB-Alpha)实施编辑。所述图形卡在内部确定将要使用的计算格式。

明显具有更高质量的其它格式也是可能的，例如对于每个颜色通道具有十位深度的RGB-Alpha或者16/32位浮点格式。甚至还可以分别地使用除了RGB之外的其它颜色空间或其它格式，例如存储亮度和其它数据的那些格式。将图形卡包括到所述计算操作中还有助于能够几乎实时地在屏幕上观看所述编辑参数改变的结果，这有利于交互式编辑。如果参数改变很大并且如果为了获得最终图像而必须计算许多中间图像，则还会有可能在所述计算中省去某些中间结果图像(掉帧)。此外还合理的做法是，不把所有的计算操作转移到图形卡上，而是确保均等地利用图形卡的处理器和主板上的处理器。

在屏幕上便利地显示对各编辑模块的处理和所述执行顺序。用户可以立即观看所述执行顺序，并且例如可以通过使用拖放功能添加或去除编辑模块以及在所述执行顺序中创建新节点。

利用本发明的方法，有可能使用许多编辑参数并做出改变。这样做可以把许多所述编辑参数耦合到特定的编辑模块。已经用在图像和视频处理中很长时间的典型的编辑模块例如有扩射透镜或高清晰度透镜，其中所规定的功能被分别应用于所述图像数据和像素。在影响颜色的模块(其中例如可以把像素直接分配给各种颜色或者根据所选择的颜色空间进行分配)中，还可以改变颜色饱和度、灰阶或色调。还可以显示其它的编辑模块，例如叠加功能、混合功能以及可以显示数学函数的模块、可以在屏幕上按照关于排版和其它属性的规定方式描绘给定文字的文字渲染(text-rendering)、产生几何形式或线的模块和最后还有从二维到三维图像数据的变换。这些编辑模块中的许多编辑模块被分配给局部编辑参数，例如色相(hue)、饱和度、基于高斯函数的漫射屏的半径等等。其它功能参数是全局编辑参数。

出于实用的目的，指明从区域1到n的部分图像的索引i被用作编辑参数。在(自动地或通过用户)选择部分图像i时，这随后将优选地被显示在第一屏幕上。所述部分图像本身是二维的；因此适用于二维观看的屏幕就足够了。在这种情况下，所述部分图像可被视为其在与其它部分图像组合成立体图像之前出现在所述执行顺序的末尾，或者(在选择编辑模块时)甚至被视为其在该节点上被示出。

在本发明的优选实施例中，包括n个部分图像i的图像被立体地显示在第二屏幕上。按照这种方式，用户的眼前将总是会有总体结果。所述第二屏幕适用于三维观看，其可以被仅用于三维观看，但是也可以在二维与三维观看之间进行切换。还可行的是把所述第一屏幕和第二屏幕集成到一个共同的显示器中，该显示器至少部分地被配置用于三维显示。在这种情况下，所述第二屏幕适于根据一个或几个公知的处理进行三维显示，例如可以通过使用没有眼镜的栅栏或过滤器阵列处理m、透镜处理(lenticular process)、基于眼镜的处理或者按时间顺序排列的顺序处理进行显示，这里仅举出几个例子。

应用于单独的图像的处理在原理上同样也应用于诸如数字视频之类的图像序列。在这种情况下，被分配给该序列中的图像的时间t被用作编辑参数，可选的还有部分图像的索引i。在选择时间t和部分图像i时，相关的部分图像被投影到第一屏幕上。包括n个部分图像i的图像也可以在时间t被立体地呈现在适用于立体显示的第二屏幕上。该屏幕还可以在二维与三维显示模式之间进行切换，并且还可以与所述第一屏幕一起被集成到共同的显示器中。

根据本发明，优点是分别显示三维图像或三维图像序列，这是因为在改变所述编辑参数时所必需的计算操作的数目大大减少，并且优选地将所述图形卡用于所述编辑步骤的计算。按照这种方式，在针对操作员的反馈方面几乎没有任何时间延迟。

在本发明的另一优选实施例中，在用户选择编辑模块时，由可用于该编辑模块的图像数据构造(put together)所述图像和/或一个或几个帧i，也就是说所显示的不是最终结果而是在该编辑模块处可得到的图像，从而掩蔽了后继编辑步骤的效果。从而在第一屏幕上显示一个帧和/或几个帧i，并且在第二屏幕上立体地显示由所述帧i构造的图像。

应当理解的是，上面提到的以及后面描述的特征不仅可以在这里所阐述的组合被使用，而且在不超出本发明的范围的情况下还可以其它组合被使用或者被单独使用。

附图说明

下面将通过附图对本发明进行更加详细的示例性描述，这些附图还公开了对于本发明而言所必需的特征。

图1示出了可以被利用于图像处理的装置的结构；

图2示出了图像编辑过程中的屏幕；以及

图3示出了图2中所示的执行顺序的互相链接的编辑模块。

具体实施方式

图1首先示出了可以利用来编辑包括来自n个帧i的图像数据的立体图像或者按照时间顺序排列的这种图像序列的装置，其中n＞1并且i＝1，…，n。因此，可以完全地或部分地按照顺序的和/或并行的方式实施对所述图像的编辑，其中根据执行顺序并且根据可调节的编辑参数在各个单独的编辑模块中编辑所述图像数据。这种装置例如可以包括计算机1，其中这例如可以是功能强大的PC或功能强大的笔记本电脑。所述计算机1包括主板2作为必需组件，在该主板2上还设置有随机存取存储器模块。在进行编辑之前和之后把所述图像和/或图像序列存储在硬盘3上或者存储在等效的可读可写存储介质上，例如如果编辑状态需要临时存储的话，在必要情况下还可以将所述硬盘3用于临时存储图像数据。图形卡4是所述装置的另一必需组件。所述图形卡4优选地具有用于两个屏幕5a和5b的出口，其中屏幕5a适用于二维显示并且可选地适用于三维显示，而屏幕5b则适用于三维显示。所述屏幕5a和5b通过数据线6a和6b被连接到图形卡4的出口。

图2示出了一段屏幕5a。在此，与在图1中也没有示出通常作为计算机的部分的附加组件类似地，没有示出例如对于操作而言是必要的非必需图形单元。屏幕5a被细分成两半，在右半屏幕7上显示出执行顺序，在左半屏幕8上，在视窗9内可以示出一个或几个帧或者整个图像的二维或三维显示。如果视窗9示出合成的立体图像的话，该视窗9也可以被显示在屏幕5b上。

显示在右半屏幕7上的执行顺序示出了几个编辑模块10、11、12、13、14、15和16。在这些节点中，对图像的编辑是总体上或部分地按照顺序的和/或并行的方式发生的。从而，根据所述执行顺序并且根据可调节的编辑参数，在各个单独的编辑模块中编辑所述图像数据。因此，每个编辑模块实施一个或几个编辑步骤。此外，每个编辑模块被分配给节点，并且这一分配是明确的。通过由用户或程序根据规范链接各节点而确定所述执行顺序，其中所述链接是可选择的。

在图2中，各节点和各编辑模块类似地通过所绘制的矩形来用符号表示；根据所绘制的连接线实施链接。因此，编辑模块13例如在其输入侧与编辑模块11和12链接，并且在其出口侧与编辑模块14链接。另一方面，编辑模块16不与任何其它模块链接，但是用户可以通过交互方式将其插入到自顶到底执行的树结构中。从而，用户可以通过交互方式选择编辑模块，并且随后可以根据可用于该编辑模块的图像数据来构造所述图像和/或一个或几个帧i。随后，在屏幕5a的视窗9中显示所述一个帧i或几个帧i，在屏幕5b上立体地显示所述图像。可替换地，还有可能仅仅在所述执行顺序的末尾显示最终的结果，在这种情况下是在编辑模块15的出口处显示最终的结果。如果有按照时间顺序排列的图像序列，则这一点同样适用，其中时间t被分配给图像并且还附加地把i用作编辑参数。如果选择了时间t和帧i，则在视窗9中示出相应帧，并且在屏幕5b上显示在时间t处所得到的整个图像。此外，每个所述节点可以与其根据所述执行顺序所链接到的节点交换数据。

在本情况下，所示出的执行顺序将限定从左向右经过场景的前景的文字。因此，除了三维显示之外，所述文字必需以所限定的速度从左向右移动，同时背景场景相对于特定的没影点以较慢的速度分别从右向左移动或转动或保持静止。在编辑模块11中确定所述文字的必需属性。这些属性尤其包括所述文字本身、字体颜色、字体以及深度信息。因此由编辑模块11的数据产生的图像序列只示出有色文字。关于所述背景场景的信息在编辑模块10中可得到。编辑模块10和11例如都可以从硬盘读取其数据。本实例还表示按照时间顺序排列的图像序列，但是其被预先编辑，从而不必对该图像序列做出改变。

编辑模块10将其图像数据传送到编辑模块12。在该编辑模块中，例如有可能编辑背景的色调色彩(tinge)。随后把来自编辑模块12和11的图像数据传送到另一编辑模块13。在编辑模块13中组合所述两个编辑模块的图像数据，这意味着根据深度信息叠加所述图像数据，并且生成新的整个图像。因此，如果观看者仅仅选择帧i，则在视窗9中仅显示对于该帧i的结果。但是由于所有帧i都互相联系(其例如包括从不同角度捕获的相同场景的不同视图或者示出相同视图的不同深度的层图像(layer image))，因此在任何时候都有可能基于该信息计算整个图像，该整个图像随后被显示在屏幕5b上。因此，如果仅对某帧做出改变，例如如果改变文字的颜色，则有可能将这些改变自动转移到其它帧。但是，这些计算是在背景中进行的并且这些计算仅仅是可选的。

在组合了所述图像数据之后，编辑模块13将所述图像数据传送到编辑模块14，其中例如对整个图像应用高斯柔焦镜头(soft-focuslens)，或者其中可以实施对比度加强、边缘加强等等。在编辑模块14中编辑的图像数据随后被传送到另一也是最后的编辑模块15。在编辑模块15中，所述图像序列的数据被写入到硬盘上。

所描述的模块仅仅是作为例子被选择的；当然还可以利用附加的编辑模块，比如通常被用在图像和视频编辑中的那些编辑模块。还可以设想集成把二维内容变换成三维内容的模块。此外，还可以应用所有通行的输入和输出格式。举例来说，所述格式在静止图像的情况下包括bmp-、jpg-、gif-、png-、ria-、tga-、tiff-以及open-exr-格式，而在视频文件的情况下包括avi-、mpeg2-以及mpeg4-格式，并且在所有情况下还作为多流格式。

如果编辑参数发生改变，则可以优选地根据将要在编辑模块内实施的编辑步骤的类型将已经编辑过的图像数据存储在所述编辑模块中。举例来说，如果用户在各帧i之间进行了几次切换，则是特别有利的，这是因为如果发生帧间切换则不必重新计算先前编辑过的帧的图像数据。这同样适用于在前节点处的编辑模块：如果当前选择的编辑模块中的局部编辑参数发生改变，则不需要重新计算在前编辑模块的图像数据。举例来说，如果在编辑模块13中改变了文字的位置，则编辑模块10、11和12维持其图像数据，使得如果编辑模块13请求这些图像数据的话，并不需要重新计算这些图像数据。

图3示出了图2的一段执行顺序，并且其用来解释如何优化或最小化将要传输的数据量，特别是允许对显示在屏幕5b上的3D视频序列进行实时编辑。各编辑模块之间的通信有可能双向进行。如果一个或几个编辑参数发生改变，例如如果显示时间t发生改变或者如果另一帧i被选择或者如果背景色调色彩在编辑模块12中被改变，则对于每两个在所述执行顺序中互相链接的节点，(被分配给所述执行顺序中的在前节点的)在前编辑模块向(被分配给该执行顺序中的后继节点的)后继编辑模块传送可用于该在前编辑模块的图像数据段中的哪些受到所述编辑参数改变的影响。为了在所述后继编辑模块处重新确定图像数据，该后继编辑模块向所述在前编辑模块通知其要求哪些利用改变后的(多个)编辑参数重新计算的图像数据以用于执行其编辑步骤。所述在前编辑模块仅仅重新计算这个图像数据并且将其传送到所述后继编辑模块。如果该后继编辑模块并不要求图像数据，则也就不传送到所述在前编辑模块。

举例来说，如果应当经过画面前景的文字的字体颜色(作为编辑模块11中的编辑参数)从红色改变到绿色，则编辑模块11例如将向编辑模块13通知所述文字根据编辑模块11而位于其中的图像或帧的整个区域受到这一改变的影响。在编辑模块13中重新计算所述图像数据的过程中或者在此之前，该编辑模块13向编辑模块11通知其要求重新计算针对图像中的所述文字的色彩说明被修改的区域的图像数据，以便在组合图像时正确地考虑这一点。所述区域的尺寸是可变的，并且如果所述文字在编辑模块13内生成的合成图像中被部分地覆盖，则所述区域的尺寸还可能更小。在前模块只需要重新确定针对所请求的区域的图像数据。相应地，编辑模块13和14还彼此通信。在编辑模块13已向编辑模块14通知了哪个区域受到所述改变的影响之后，编辑模块14向编辑模块13通知其将再次要求来自该区域的哪些图像数据(即哪个部分区域)。在本实例中，所述柔焦镜头影响整个图像数据。但是，如果不重传所述图像数据并且如果在编辑模块14中不重新计算所述图像数据，则编辑模块14中的文字将仍然以原始的颜色出现。由编辑模块12传送到编辑模块13的图像数据并不要求重新计算。

因此，可以至少部分地在图形卡上实施所述编辑步骤。这样就有可能进一步加速所述处理，并且进一步改进用户的实时感。为此，来自各编辑模块的操作被转化成用于所述图形卡的图形指令。因此，所述图形卡必须符合规定的标准，比如OpenGL2.0标准。如果所述图形卡是集成的，则可以独立于原始图像格式(一般来说是分别具有八位色彩深度的RGB-Alpha)实施所述编辑步骤。为了进行计算，可以使用以最优水平利用所述图形卡的结构并且也给予较高精度的那些格式，例如分别具有十位色彩深度的RGB-Alpha或者16/32位浮点格式。例如，存储亮度的格式也是可能的。因此不必在图形卡上实施所有编辑步骤，仍然可以在上游的、并行的或下游的处理器上实施简单的和一般的操作，以便合理地利用附加的计算资源。

在编辑参数发生改变之后，如果后继节点处的编辑模块并不要求来自在前节点的新图像数据，则该后继节点不向所述在前节点处的编辑模块发送通知，从而也不会在该在前节点处重新计算图像数据。例如，如果经过屏幕的文字近似在中部停止，则是这种情况，从而动画时间(编辑参数t)不发生改变并且不需要进行重新计算。如果编辑参数在某模块内发生改变或者发生全局改变，则每个编辑模块都确定其所计算的哪些图像数据将发生改变，并且随后递归地通知所有后继编辑模块。此后，每个后继编辑模块确定其要求哪些改变后的图像数据。所有后继编辑模块都递归地向所有在前模块通知其要求哪些新数据。这意味着，在每个节点处可得到详细说明在前节点并且还详细说明哪些在前节点会影响在当前节点处可用的图像数据的信息。通过由用户编制所述执行顺序以及通过各编辑模块的上述功能，自动得出该信息。如果连同编辑模块一起插入新的节点，则由相应的编辑模块更新该信息。

如果编辑模块中的编辑参数发生改变，则确定所有可能的后继节点，并且在被分配给这些节点的编辑模块内确定所述图像数据将维持有效还是将失效。因此也可能所有图像数据都会失效，从而必需进行完全重新计算。例如，当在所述图像序列的动画时间t中有大的跳跃时就可能是这种情况。

借助于上面描述的方法，有可能对3D图像数据和3D视频序列进行编辑并且实时跟随编辑结果或者各个单独的编辑步骤。按照这种方式，显著提高对可立体显示的图像和图像序列的图像编辑效率。

附图标记列表

1计算机

2主板

3硬盘

4图形卡

5a、5b屏幕

6a、6b数据线

7右半屏幕

8左半屏幕

9视窗

10-16编辑模块

Claims (9)

1.用于对包括n个帧i的图像数据的立体图像或者按照时间顺序排列的这种图像序列进行编辑的方法，其中n＞1并且i＝1，...，n，其中，

-完全地或部分地按照顺序的和/或并行的方式来实施对图像的编辑，其中根据执行顺序并且根据可调节的编辑参数在各个单独的编辑模块内编辑图像数据；

-其中每个编辑模块执行一个或几个编辑步骤，并且所述编辑序列由编辑模块的可选的链接确定；

-以及其中每个编辑模块能与根据所述执行顺序所链接到的编辑模块交换数据，

-其特征在于，用于每两个在所述执行顺序中互相链接的编辑模块的一个或几个编辑参数发生改变时，

(a)在前编辑模块向后继编辑模块传送所述在前编辑模块现有的图像数据的段中的哪些受到所述改变的影响；

(b)所述后继编辑模块向所述在前编辑模块传送必需根据改变后的一个或多个编辑参数确定的新图像数据中的哪些来执行所述后继编辑模块的编辑步骤；

(c)以及所述在前编辑模块仅仅重新计算所述图像数据并且将所述图像数据传送到所述后继编辑模块。

2.根据权利要求1所述的方法，其特征在于，如果编辑参数发生改变，则已经在所述编辑模块中编辑过的图像数据优选地根据将要在编辑模块内实施的编辑步骤的类型而被存储。

3.根据权利要求2所述的方法，其特征在于，至少部分地在图形卡上实施所述编辑步骤。

4.根据前述权利要求之一所述的方法，其特征在于，所述编辑模块和所述执行顺序在一个屏幕上被示出。

5.根据前述权利要求之一所述的方法，其特征在于，i被用作编辑参数，并且如果选择了帧i，则所述帧i被显示在第一屏幕上。

6.根据权利要求5所述的方法，其特征在于，由n个帧i构造的合成图像被立体地显示在第二屏幕上。

7.根据权利要求1到4之一所述的方法，其特征在于，在按照时间顺序排列的图像序列的情况下，被分配给一个图像的时间t和i被用作编辑参数，并且如果选择了时间t和帧i，则在第一屏幕上显示相应的帧。

8.根据权利要求7所述的方法，其特征在于，在时间t处的由n个帧i构造的合成图像被立体地显示在第二屏幕上。

9.根据前述权利要求之一所述的方法，其特征在于，如果用户选择了编辑模块，则由该编辑模块现有的图像数据构造所述图像和/或一个或几个帧i，其中所述帧中的一个和/或所述几个帧i被显示在第一屏幕上，而所述图像被立体地显示在第二屏幕上。

Images