CN104982033B - 用于生成中间视图图像的系统 - Google Patents

Abstract

公开了用于从立体图像（710）生成中间图像（721）的系列的方法（700），所述立体图像(701)包括对应于左视角的左图像（101）和对应于右视角的右图像（102）。中间图像（721）的系列对应于视角范围中的在空间上连续的视角，所述视角范围包括所述左视角和所述右视角中的至少一个。所述方法（700）包括基于对应于以目标视角（711）为中心的在空间上连续的视角的中间图像（721）的系列的预测的图像质量确定（710）目标视角（711），以及从针对以所确定的目标视角（711）为中心的在空间上连续的视角的立体图像（701）生成（720）中间图像（721）的系列。

Description

用于生成中间视图图像的系统

技术领域

本发明涉及从立体数据生成中间图像的系列。

立体图像是针对三维（3D）图像数据的常见表示。立体图像包括对应于左视角的左图像和对应于右视角的右图像。使用用于观看立体图像的立体显示构件，观看者的左眼看到左图像，以及观看者的右眼看到右图像，在观看者中引起3D图像的感知。

使用多视图显示器，借助对应于相应的在空间上连续的视角的图像的系列，3D图像被示出。多视图显示器的多个视图中的每个视图示出对应于在空间上连续的视角中的视角中的一个的图像。相应地，当输入图像是立体图像时，在多视图显示器上示出3D图像要求从立体图像生成中间图像的系列。该中间图像的系列对应于位于视角范围中的相应的在空间上连续的视角，所述视角范围通常至少包括左视角和右视角中的至少一个。

背景技术

US2011/00268009A1描述了使用针对自动立体3D TV显示器的左图像像素数据图像和右图像像素数据图像以及视差图，生成来自不同的视角的中间视图像素数据的方法。该方法使用左图像和右图像来计算左图像视差图和右图像视差图。然后该方法生成针对中间视角的第一中间视图像素数据以及第二中间视图像素数据。从左图像像素数据和左图像视差图来生成第一中间视图像素数据。从图像像素数据和右图像视差图生成第二中间视图像素数据。然后通过组合左中间视图像素数据和右中间视图像素数据生成中间视图像素数据。通过针对（多个）不同的中间视角重复该过程，从左图像像素数据和右图像像素数据生成多视图三维图像像素数据。

中间视图像素数据的图像质量随中间视角以及随立体内容变化，所述立体内容是左图像和右图像的内容。影响图像质量的可见的图像伪像是图像细节伪像（模糊或者重影）以及遮挡伪像。细节伪像对于左视角和右视角之间的中间视角以及对于包含大量的细节的立体图像通常是可见的。遮挡伪像对于横向的中间视角通常是可见的，因而在左视角的左侧以及在右视角的右侧是可见的，并且对于包含大的深度相变的立体图像通常是可见的。

视角范围包括左视角和右视角之间的中间视角。如以上所描述的，对于一些立体内容，对应于该视角范围中的相应的中间视角的中间视图像素数据（即，中间图像）不具有高图像质量。现有技术方法的缺陷在于针对视角范围中的中间视角的中间视图像素数据的图像质量因而对于不同的立体内容是不高的。

WO2009/125988 A2公开了一种快速多视图三维图像合成装置，包括：用于通过使用左和右图像像素数据来生成左图像视差图的视差图生成模块；用于通过使用左和右图像像素数据以及左图像视差图从不同的视角生成中间视图像素数据的中间视图生成模块；以及用于通过使用左图像像素数据、右图像像素数据以及中间视图像素数据生成多视图三维图像像素数据的多视图三维图像生成模块。每个中间视图生成模块包括：用于生成粗糙的右图像视差图的右图像视察图生成单元；用于通过从粗糙的右图像视差图去除遮挡区生成右图像视差图的遮挡区补偿单元；以及用于从不同的视角生成中间视图像素数据的中间视图生成单元。

EP2348733A2公开了虚拟视图图像合成方法，包括：通过调换来自于第一视角的参考图片和来自于第二视角的参考图片生成来自于第一视角的中间图片以及来自于第二视角的中间图片；确定来自于第一视角的所述中间图片中是否存在孔；如果所述的来自于第一视角的中间图片中存在孔，则基于所述孔的位置获取所述的来自于第二视角的中间图片的像素值；以及将所述的来自于第二视角的中间图片的像素值分配至所述孔，其中所述孔是其中像素值未被分配至所述的来自第一视角的中间图片的区域。使用参考图片来合成虚拟图片，由此减小由于对虚拟视角图片进行编码导致的信息的量，因而能够有效地执行图像信号处理。

发明内容

本发明的一个目的是提供用于从立体图像生成中间图像的系列的方法，该中间图像具有改进的图像质量。

本发明公开了用于从立体图像生成中间图像的系列的方法，所述立体图像包括对应于左视角的左图像和对应于右视角的右图像，中间图像的系列对应于在空间上连续的视角，所述在空间上连续的视角中的第一视角和最后一个视角定义包括所述左视角和所述右视角中的至少一个的视角范围，所述方法包括通过以下来定位目标视角处的在空间上连续的视角的中心：基于针对以不同的目标视角为中心的空间上连续的视角的中间图像的系列的预测的图像质量确定所述目标视角，所预测的图像质量是基于所述立体图像的图像特性，所述图像特性是图像细节或者遮挡伪像；以及从针对以所确定的目标视角为中心的空间上连续的视角的立体图像生成中间图像的系列。

确定目标视角包括针对以目标视角为中心的中间视角的系列预测图像质量，中间视角的系列是空间上连续的视角。视角范围由中间视角的系列中的第一个和最后一个定义，并且通过作为视角范围的中心处的中间视角的目标视角来确定中间视角的系列的位置。如果中间视角的系列中是偶数数目的视图，因而目标视角对应于两个中央视角之间的“虚拟”视角，而如果中间视角的系列中是奇数数目的视图，目标视角对应于该中央视图。

被用于作为中间视角的系列的中心的目标视角由对应的中间图像的系列的预测的图像质量来确定。预测中间图像的系列的图像质量可包括基于立体图像中的检测到的图像细节预测图像细节伪像的可见性，或者可基于对应于立体图像的视差数据中的检测到的视差/深度转变来预测遮挡伪像的可见性。确定该目标视角还可包括从耦合至立体图像的元数据检索预计算的目标视角。

针对以目标视角为中心的相应的中间视角的系列生成中间图像的系列。从立体图像针对中间视角的系列中的每个视角生成中间图像，并且因而生成中间图像的系列。

本发明进一步公开了被布置用于从立体图像生成中间图像的系列的系统，所述立体图像包括对应于左视角的左图像和对应于右视角的右图像，所述中间图像的系列对应于在空间上连续的视角，空间上连续的视角中的第一个和最后一个定义包括所述左视角和所述右视角中的至少一个的视角范围，被布置用于定位目标视角处的在空间上连续的视角的中心的系统包括：确定单元，用于针对以不同的目标视角为中心的在空间上连续的视角基于中间图像的系列的预测的图像质量来确定所述目标视角，所预测的图像质量是基于所述立体图像的图像特性，所述图像特性是图像细节或者遮挡伪像；以及生成单元，用于针对以所确定的目标视角为中心的在空间上连续的视角从立体图像生成中间图像的系列。

本发明的效果在于中间图像的系列具有高图像质量。在本发明的上下文中，“高图像质量”与包括少量或者没有可见的图像伪像的图像有关。

附图说明

从在下文描述的实施例，本发明的这些以及其它的方面将是显然的，并且将参照它们来阐明本发明的这些以及其它的方面。

在绘图中，

图1a图示用于从立体数据生成中间图像的方法，

图1b图示以离线的方式确定混合策略的策略确定过程，

图1c图示使用图像细节的检测的策略确定过程，

图2图示多视图显示器的多个视图，

图3a图示线性混合策略，

图3b图示两个非线性混合策略，

图4图示包括立体视频帧的立体视图视频序列的三个连续的场景，

图5在6个子图中的每个子图中图示包括对应于以目标视角为中心的中间视角的系列的多个显示视图的多视图显示，

图6以三种配置图示用于从立体数据生成中间图像的系统以及用于示出中间图像的显示器，以及

图7图示用于从立体图像生成中间图像的系列的方法。

应当注意，不同图中的具有相同附图标记的项目具有相同的结构特征以及相同的功能，或者是相同的信号。在这样的项目的功能和/或结构已经被解释的地方，在详细的描述中不必重复其解释。

具体实施方式

图1a图示用于从立体数据105生成中间图像的方法。方法的输出是对应于中间视角B 155的中间图像IB 161。中间视角B 155指的是视角范围中的相对位置处的视角，其中该范围通常包括左视角和右视角，并且中间视角B 155至少包括左视角和右视角中的一个。该方法的输入是包括左数据SL 103和右数据SR 104的立体数据。左数据SL包括左图像IL101和左视差DL数据111。右数据SR包括右图像IR 102和右视差数据DR 112。

正如对本领域技术人员将清楚的，深度与视差成反比，然而，显示设备中的深度到视差的实际映射从属于诸如可以由显示器生成的视差的总量、向零视差分配特定的深度值的选择、允许的交叉的视差的量等各种设计选择。然而，被提供有立体数据和/或源自于输入的立体数据的深度数据被用来以依赖于深度的方式扭曲图像。因此，视差数据在这里被定性地解析为深度数据。

扭曲过程WARP 130从以下的三个输入生成左中间图像IBL 131：（i）左图像IL，（ii）左视差数据DL,和（iii）中间视角B 155。使用左视差数据DL来将左图像IL“扭曲”至中间视角B，左扭曲过程WARP 130有效地生成左中间图像IBL。同样地，扭曲过程WARP 140从右图像IR、右视差数据DR和中间视角B生成右中间图像IBR 141。US5929859A公开了这样的使用针对基于图像的渲染的深度/视差扭曲过程的示例。US7689031呈现了更复杂的扭曲的示例。

混合过程MIX 180执行左中间图像IBL和右中间图像IBR的混合。混合依赖于中间视角B，并且依赖于描述该混合如何依赖于中间视角B的混合策略POL 156。混合过程MIX的输出是中间图像IB 161。策略确定过程POLDET 170基于立体图像（即基于左图像IL和右图像IR）确定混合策略POL。

可选地，该方法包括从左图像IL和右图像IR计算左视差数据DL和右视差数据DL的视差计算过程。深度/视差估计算法的示例对3D视频处理领域的普通技术人员是已知的，在US6625304和US6985604中提供了这样的算法的示例。可选地，扭曲过程WARP 130和WARP140使用从立体视图视频序列获取的预计算的视差数据生成中间图像，其中每个立体视图视频帧包括立体图像以及对应的视差数据。

混合过程MIX由如图1a中描绘的因数计算过程ACOMP 150和调和过程BLEND 160组成。因数计算过程ACOMP 150从中间视角B和混合策略POL计算混合因数A，其中混合策略POL描述混合因数A如何依赖于中间视角B。因数计算过程ACOMP根据混合策略POL从中间视角B计算混合因数A。然后调和过程BLEND通过使用混合因数A将中间图像IBL和IBR混合来生成中间图像IB。可选地，调和过程BLEND包括通常被称作“阿尔法调和”的技术，在下面对其进一步描述。

混合策略POL描述中间图像IBL和IBR的混合如何依赖于中间视角B。策略确定过程POLDET确定混合策略POL使得混合过程MIX生成具有高图像质量的中间图像IB。过程POLDET使用关于混合策略对通过混合生成的中间图像的图像质量的影响的知晓，预测混合策略对中间图像IB的图像质量的影响。换言之，策略确定过程POLDET针对若干个混合策略中的每个并且针对给定的立体图像内容预测中间图像的图像质量，并且然后从这若干个混合策略确定哪个混合策略POL将生成具有高图像质量的中间图像。

可选地，混合策略过程POLDET从包括混合策略的元数据确定混合策略POL，其中立体数据包括该元数据。例如，通过算法来离线地产生元数据，该算法（1）使用各种混合策略、使用图1的方法从立体数据生成中间图像，（2）测量所生成的中间图像的图像质量，（3）确定所生成的具有高图像质量的中间图像，以及（4）确定对应于所生成的具有高图像质量的中间图像的混合策略。

图1b图示以离线的方式确定混合策略的策略确定过程。混合策略确定过程179接收立体图像作为输入，即左图像IL 101和右图像IR 102。由使用第一混合策略POL1 171和立体图像的生成方法GEN 175生成第一中间图像IB1 173。同样地，由使用第二混合策略POL2 172和立体图像的生成方法GEN 176生成第二中间图像IB2 174。使用相应的混合策略POL1和POL2，生成方法GEN 175、176利用图1a的方法以生成中间图像。生成方法GEN 175、176选择中间视角来生成将被用于测量其图像质量的中间图像。在评判过程JDG 177中，一个或多个观看者评判中间图像IB1、IB2的图像质量，并且选择具有被评判为高的图像质量的中间图像IB1、IB2中的一个。然后，对应于具有高图像质量的中间图像的混合策略被确定为混合策略POL 156。例如，如果中间图像IB1被评判为相比于第二中间图像IB2具有高图像质量，则混合策略POL被确定为第二混合策略POL2，因而POL＝POL2。

可选地，评判过程JDG不是由观看者执行，而是替代由量化和评判中间图像IB1和IB2的图像质量的算法自动执行。

可选地，图1b的策略确定过程179基于针对策略POL1和POL2中的每个的多个中间图像的图像质量确定混合策略156。生成过程GEN 175、176每个生成针对相应的多个视图的多个中间图像IB1和IB2。然后评判过程JDG评判中多个中间图像IB1的平均图像质量，并且评判多个中间图像IB1的平均图像质量，并且选择具有被评判为高的平均图像质量的多个中间图像。然后，对应于具有高平均图像质量的中间图像的混合策略被确定为混合策略POL156。

替代性地，策略确定过程POLDET包括检测立体图像中的图像细节的存在，并且在混合策略的确定中使用检测到的存在。当使用一些混合策略时，所生成的中间图像中的图像细节的图像质量高于在使用其它的混合策略时的图像质量。视差数据DL、DR方面的不准确性导致不准确地在相应的中间图像IBL、IBLR中生成的图像细节。因此，从中间图像IBL、IBR不准确地生成的图像细节的混合导致源自于该混合的中间图像IB中的伪像。伪像包括细节模糊（即，细节清晰度的损失）和/或重影（即，图像细节的双出现）。当根据主要地使用中间图像中的一个来定义混合的混合策略执行混合时，这些伪像较少地出现。然而，而主要地使用中间图像中的一个又导致遮挡伪像。因此，主要地使用中间图像中的一个来定义混合的混合策略只是在立体图像包括足够的图像细节时才被确定，使得遮挡伪像比细节模糊伪像更少地影响图像质量。

图1c图示使用图像细节的检测的策略确定过程。策略确定过程189图示如何基于立体数据中的检测到的图像细节的存在来确定混合策略POL 156。混合策略确定过程189接收立体图像作为输入，即，左图像IL 101和右图像IR 102。过程DTLDET 181包括检测立体图像中的图像细节DTL 184的细节检测算法。质量预测过程QPRED 182接收检测到的图像细节DTL和第一混合策略POL1 171，并确定使用第一混合策略POL1将被生成的中间图像的预测的图像质量Q1 185。质量预测过程QPRED 183接收检测到的图像细节DTL和第二混合策略POL2 172，并且确定使用第二混合策略POL2将被生成的中间图像的预测的图像质量Q2186。质量预测过程QPRED 182、183使用关于混合策略POL1、POL2对使用混合策略POL1、POL2所生成的中间图像的图像质量的影响的统计知晓来预测图像质量。过程SEL 187确定预测的图像质量Q1、Q2中的高的一个，并且将对应于预测到的高图像质量的混合策略确定为混合策略POL 156。例如，如果相比于预测的图像质量Q1，预测的图像质量Q2是高的，则将混合策略POL确定为第二混合策略POL 2，因而POL＝POL2。预测的图像质量Q1和Q2每个可以由单个值来表示，而两个预测的图像质量Q1、Q2中的较高的一个被确定为是高的。

可选地，细节检测算法仅使用立体图像的左图像和右图像中的一个。

可选地，基于遮挡伪像来确定预测的图像质量。例如，以类似的方式来使用细节检测算法，过程确定过程使用视差转变检测算法，视差转变检测算法接收视差数据DL、DR中的至少一个并且检测视差中的大的转变。使用关于视差转变对利用各种混合策略所生成的中间图像的图像质量的影响的统计知晓，策略确定过程确定混合策略。注意，该示例暗示策略确定过程接收视差数据DL、DR中的至少一个。

可选地，图1b和图1c的确定混合过程179、189从多个混合策略确定混合策略，其中多个混合策略包括比两个混合策略POL1和POL2更多的混合策略。例如，多个包括三个另外的混合策略POL3、POL4和POL5。

在下文中，使用图2来解释图像质量、混合策略方面关于生成中间图像的影响。

图2图示对应于多视图显示中的视图的多个视角。多个视角被指示为竖直条，形成在水平方向上相邻的视图的系列。对于每个视角，多视图显示示出对应的中间图像IB。数字201、202和210-213指示若干个视角。所有的视角都在视角范围230中。立体图像的原始的视角被指示为左视角L 201和右视角R 202。视角范围230被划分成三个部分：(i) 中央视角范围220,（ii）左横向视角范围221，以及(iii)右横向视角范围222。视角210是位于左视角L和右视角R之间的中途的中央立体视角。相反，视角211和212分别位于横向视角范围221和222中。

如图2中所示的视角配置表示可以由基于透镜或者基于屏障的自动立体显示器的使用得到的示例性视图配置。这样的基于透镜的多视图显示器的示例在US6064424中公开。

在下文中的图2的解释中，使用典型混合策略，该典型混合策略(a)使用针对中央视角范围230中的视角的中间图像IBL、IBR二者来定义混合，(b)仅使用针对左横向视角范围211中的视图的左中间图像IBL来定义混合，以及(c)仅使用针对右横向视角范围212中的视图的右中间图像IBR来定义混合。混合包括添加左中间图像IBL的相对贡献以及右中间图像IBR的相对贡献。

对于中央视角范围230中的视图，中间图像IBL和IBR二者都被混合到中间图像IB中，其中左中间图像IBL对混合的相对贡献对于靠近视角L的视角是大的，并且对于远离视角L的视角是低的，并且其中因此，右中间图像IBR对混合的相对贡献对于靠近视角R的视角是大的，并且对远离视角R的视角是低的。

在包括左视角L的横向视角范围221处，左中间图像IBL的相对贡献是100％，并且右中间图像IBR的相对贡献是0％，使得混合过程只是将中间左图像IBL拷贝至其输出IB，因而IB＝IBL。这暗示在左横向视图处的中间图像仅通过扭曲过程WARP 130生成，并且因而有效地从左原始图像IL推断出。在左视角L的具体情形中，扭曲过程WARP 130只是将输入IL拷贝至其输出IBL，使得IBL＝IL并且因而IB=IBL=IL，这暗示在视角L处示出原始的左图像IL。

在包括右视角R的右横向视角范围222处，右中间图像IBR的相对贡献是100％，并且左中间图像IBL的相对贡献是0％，使得混合过程只是将中间右图像IBR拷贝至其输出IB，因而IB=IBR。这暗示右横向视图处的中间图像仅通过扭曲过程WARP 140生成，并且因而有效地从右原始图像IR推断出。在右视角R的具体情形中，扭曲过程WARP 140只是将输入IR拷贝至其输出IBR，使得IBR=IR并且因而IB=IBR＝IR，这暗示在视角R处示出原始的右图像IR。

图2示意性地示出了观看者230，观看者具有看见视角210处的中间图像的左眼231以及具有看见视角213处的中间图像的右眼232。视图210和213位于中央视角范围220中，因而在原始的视图L和R之间，使得观看者的眼睛231和232中的每个看见通过混合中间图像IBL和IBR生成的中间图像。针对中央视角范围220中的视图的混合具有中间图像的图像质量方面的益处和缺陷。益处在于遮挡伪像没有显著地存在于中间图像中，而缺陷在于中间图像中的图像细节遭受模糊和重影。益处归因于有效地作为中间图像IBL和IBR之间的内插的混合，并且因此（内插的）中间图像不包括显著的遮挡伪像。缺陷归因于视差数据DL和DR方面的不准确性，并且如下面那样被解释。左视差数据DL中的单个数据值包括（1）原始的左图像IL中的图像细节的像素位置和（2）原始的图像IR中的相同的图像细节的对应的像素位置之间的像素距离。左视差数据DL被扭曲过程WARP 130使用来从原始的左图像IL生成中间视角B处的左中间图像IBL。右视差数据DR被扭曲过程WARP 140用来从原始的右图像IR生成视角B处的右中间图像IBR。因此，视差数据DL、DR方面的不准确性使得在中间图像IBL和IBR的不准确的像素位置处生成图像细节，并且因此中间图像IBL和IBR的图像细节的混合通常导致生成包括遭受模糊或者重影伪像的图像细节的中间图像IB。

图2示意性地示出了观看者240，观看者240具有看见视角211处的中间图像的左眼241，以及看见视角201处的中间图像的右眼242。因而，右眼242看见原始的左图像，该图像通过定义具有高图像质量。相反，左眼241看见在左横向中间视角211处从原始的左图像IL生成的、并且有效地从原始的左图像推断出的中间图像。视角211处的中间图像具有图像质量方面的益处和缺陷。益处在于图像细节不遭受图像细节的模糊或重影。缺陷在于由于仅从左图像的推断而导致的遮挡伪像的出现。相同的益处和缺陷对于诸如视角212的右横向视角成立。

在本发明的实施例中，在生成中间图像中使用的混合策略适应于原始的立体数据的内容。对于包括大量细节的立体图像，策略确定过程POLDET确定仅使用中间图像IBL和IBR中的一个、而不是使用中间图像IBL和IBR二者来定义混合的混合策略。作为实施例的第一示例，混合策略定义对于视角范围230中的所有的中间视图只是将左中间图像IBL拷贝至中间图像IB的混合。作为实施例的第二示例，混合策略定义对于视角范围230中的所有的中间视图只是将右中间视图IBR拷贝至中间图像IB的混合。作为实施例的第三示例，混合策略定义对于中央立体视角210的左侧处的视图从（a）左中间视图IBL拷贝中间视图IB、并且对于在中央立体视角210的右侧处的视图从（b）右中间图像IBR拷贝中间视图IB的混合。在原始的立体图像包括少量的图像细节使得图像细节的模糊不是明显可见的情形中，确定定义使用中间图像IBL、IBR二者的混合的混合策略。

在下文中，混合过程MIX 180包括调和过程BLEND和因数计算过程ACOMP。图3a和3b图示定义用于混合两个中间图像数据IBL和IBR的混合因数的混合策略。

图3a图示线性混合策略。两条组合的曲线AL 301和AR 302表示单个的混合策略。曲线AL 301和AL 302描述混合因数A 304如何依赖于中间视角B 303。曲线AL 301描述对应于左中间图像IBL的混合因数，以及曲线AR 302描述对应于右中间图像IBR的混合因数。曲线AL和AR的混合因数是互补的，并且合计达到总数1，即AL＋AR＝1。混合因数AL和AR线性地依赖于中间视角B。注意，值B＝0处的刻度线311对应于原始的左视角，值B＝1处的刻度线312对应于原始的右视角R，以及值B＝0.5处的刻度线313对应于中央立体视角，例如图2中的视角210。调和过程BLEND中的混合的示例是根据阿尔法调和的混合，其按照以下来执行：

IB=AL*IBL + AR * IBR,其中 AL+AR = 1。

在图3a和3b中，原始的视角L处的中间图像IB等于B＝0处的原始的左图像IL，因而IB=IBL=IL。原始视角R处的中间图像IB等于B＝1处的原始的右图像IR，因而IB=IBR=IR。中央视角处（因此，B=0.5处）的中间图像IB等于中间图像IBR和IBL的平均，因而IB=0.5*IBL+0.5*IBR。

注意，混合因数AL表示左中间图像IBL在混合中的相对贡献，以及混合因数AR表示右中间图像IBR在混合中的相对贡献。混合因数在该上下文中也常被称作“调和因数”。

注意，对于横向视角范围（因而，对于B<0且对于B>1）的混合策略没有在图3a中指示。因此，在此暗示对于左横向视角范围（因而，对于B<0）中的视图，AL＝1，以及对于右横向视角范围（因而，对于B>1）中的视图，AL＝0。因此，对于左横向视图范围中的视图，AR＝0，以及对于右横向视图范围中的视图，AR＝1。

图3b图示两个非线性混合策略。曲线351和352类似于图3a的相应曲线AL 301和AL302，其中不同之处是曲线351和352以非线性的方式依赖于中间视角B。曲线351和352呈现了对图3a的线性曲线的替代。使用曲线351、352的非线性混合策略的效果在于：与使用线性曲线301相比，当使用非线性曲线351时，对于中央立体视角的左侧处的视图，左中间图像IBL在混合中的相对贡献更大。同样地，与使用线性曲线302相比，当使用非线性曲线352时，对于中央视角的右侧处的视图，右中间图像IBR在混合中的相对贡献更大。

图3b还示出了非对称的非线性混合策略。非线性的非对称曲线361、362在非线性的意义上与相应的曲线351、352类似，但是在非对称的意义上是不同的。由于曲线362平均来说比曲线361更大，所以曲线361、362示出混合因数平均来说对于右中间图像IBR更大。因此，在中央立体视角处，即B＝0.5处，右中间图像IBR对中间图像IB的相对贡献（曲线362）大于左中间图像IBL对中间图像IBL的相对贡献（曲线361）。换言之，右中间图像IBR在混合中的相对贡献相对左中间图像IBL在混合中的相对贡献占优势。

由非对称性参数ParA控制图3b的曲线中的左-右非对称性，使得借助改变非对称参数ParA可增加或降低曲线中的非对称性。

通过进一步增加曲线361和362的非对称性，曲线361和362的交点将更多的朝向左侧（因而朝向B＝0）偏移，并且因此平均来说曲线362将甚至更多地趋向A=1。因此，对于增加数目的视图，将使用右中间图像IBR在混合中的大的相对贡献生成中间图像IB，使得中间图像IB越来越相似右中间图像IBR并且渐少地相似左中间图像IBL。通过将非对称性参数ParA增加至其最大的位置值ParA=+1，对于所有的中间视图B，所述的右中间图像IBR的相对贡献成为1。换言之，每个中间图像IB成为右中间图像IBR的拷贝，使得仅使用右图像IR、右视差数据DR以及中间视角B来生成中间图像IB。后一情形也通常被称作“来自图像加深度的渲染”。

同样地，非对称性参数ParA可以被使用来在其它的方向上偏移非对称性，将交点朝向右侧移动，即，因而朝向B＝1.0。与之前的示例类似，将所述交点向右偏移越多，左中间图像IBL对中间图像IB的相对贡献进一步增加。通过将非对称性参数ParA增加至其最大的负值ParA＝－1，对于B＝0和B=1之间的所有的中间视图B，所述的左中间图像IBL的相对贡献成为1。换言之，中间图像IB成为左中间图像IBL的拷贝，使得仅使用左图像IL、左视差数据DL和中间视角B来生成中间图像IB。

对于假定值更接近于零的非对称性参数ParA，图3b中的曲线变得不太不对称，这对应于其中所述的中间图像IBL和IBR的相对贡献变得更加相等的混合策略。对于非对称性参数的一个具体的值（ParA=0），曲线描述对称的非线性混合策略，例如由曲线351、352所图示的。

因而，非对称性参数是有效地“软开关”，其可以被用来逐渐地切换混合策略并且因此逐渐地在（a）从左数据和右数据二者生成中间图像以及（b）仅从左数据和右数据中的一个生成中间图像之间切换。所述的混合策略的逐渐切换将在本文档中在下面进一步阐述。

可选地，从由立体视图静止图像包括的立体数据生成中间图像。可选地，从由立体视图视频序列的立体视图帧包括的立体数据生成中间图像。

可选地，两个中间图像被生成以形成新的立体图像的新的左图像和新的右图像，新的左图像对应于新的左视角，并且新的右图像对应于新的右视角，其中新的左视角和新的右视角分别不同于原始的左视角和右视角。这样的两个中间图像的生成也通常被称作立体-至-立体转换，并且可被应用以减小或者放大立体数据的深度范围。新的立体图像可以由观看者使用立体视图眼镜在专用立体视图显示器上观看。

可选地，针对在能够同时显示中间图像的系列中的图像的多视图自动立体显示器上的观看，生成对应于水平的视图的系列的中间图像的系列。系列通常包括多于两个的视图。例如，多视图自动立体显示器包括9个视图。

可选地，针对来自于立体视图视频序列的每个帧的相应的视图的系列生成中间图像的系列。视图的系列包括连续的中间视图。例如，在多视图自动立体显示器上观看中间图像的系列。

可选地，立体视图视频序列包括各种场景，并且单个的混合策略在场景内被使用。场景包括多个连续的立体视图视频帧，并且在该情形下，相同的混合策略在场景内被使用以从每个立体视图视频帧生成中间图像。在场景内使用的混合策略可能不同于在随后的场景内使用的混合策略。通过使用场景改变检测器，下一个场景的开始被检测到，并且在新的场景的第一帧处确定下一个混合策略。在下一个场景内，使用下一个混合策略。场景改变可以由包括场景改变指示器的元数据指示，而不是使用场景改变检测器，其中立体视图视频序列包括元数据。

在Alan F. Smeaton, “视频镜头边界检测：TRECVid活动的七年（Video shotboundary detection: Seven years of TRECVid activity）”, 计算机视觉与图像理解（Computer Vision and Image Understanding） 114 (2010) 411–418, 2010中可以得到场景检测技术现状、或者镜头转变检测方法以及它们的工作方式的分析的概述，在此通过引用的方式并入。图4图示包括立体视频帧的立体视图视频序列400的三个连续的场景410、412和430。立体视频序列由包括左图像和右图像的立体视频帧组成。图4中的水平轴表示时间轴。区间410、420和430每个分别呈现在（时间）实例401、402和403处开始的立体视图视频序列的区间，而区间430在实例404处结束。区间410、420和430表示场景，以及实例402和403表示场景改变。在本上下文中使用的术语“场景”指的是通常如由术语“镜头”指代的相同的事物。

以上描述的实施例（其中在场景内使用单个的混合策略）在下面的示例中进一步被解释。区间410包含帧，该帧包括大量的细节，并且因此确定了仅使用左中间图像IBL定义混合的混合策略。区间420包含少量细节并且因此确定了使用左中间图像IBL和右中间图像IBR二者来定义混合的混合策略，例如由图3a的曲线描述的混合策略。与区间410相同，区间430包含帧，该帧包括大量的细节，并且因此确定了仅使用右中间图像IBR来定义混合的混合策略。在实例402和403处检测到场景改变，并且因此新的混合策略被确定并且在生成中间图像IB中被使用。

作为添加到之前的示例的另外的示例，从每个立体视频帧生成对应于相应的中间视图的系列的中间图像的系列，并且中间图像的系列在多视图自动立体显示器上被观看。

可选地，混合策略的确定在立体视图视频序列的场景内逐渐地改变。这是利用使用如以上在图3b的解释中描述的非对称性参数的混合来实现的。考虑下面的示例。为了从场景的早前的帧生成，（使用ParA=-1）确定第一混合策略，定义仅使用左中间图像IBL的混合，因而有效地仅从（原始的）左数据生成中间图像IB。为了从场景的最近的帧生成，（使用ParA=0）来确定第二混合策略，定义使用两个中间图像（IBL和IBR）二者的混合，因而有效地从左数据和右数据二者生成中间图像IB。然而，为了防止中间图像IB中的尖锐转变，对于早前的帧和最近的帧之间的帧，混合策略逐渐地从第一混合策略改变至第二混合策略。通过在两个帧之间逐渐地改变非对称性参数，在混合策略中建立了逐渐的改变，并且中间图像也因此逐渐改变。对于早前的帧和较近的帧之间的帧，非对称性参数因而逐渐地从针对早前的帧的ParA=-1改变至针对最近的帧的ParA=0。

图5在6个子图中的每个子图中图示包括多个显示视图的多视图显示，所述多个显示视图对应于以目标视角T 504为中心的中间视角的系列。子图510-550中的每个图示包括显示视图的系列的多视图显示。在每个显示视图处，显示器示出对应于中间视角的中间图像，并且因此显示视图的系列有效地示出中间视角的系列。中间视角的系列内的中间视角的相对位置在所有的子图中保持相同，因而中间视角维持它们在系列中的相对顺序以及它们的到它们相邻的两个中间视角的距离。原始的立体视角L 501和R 502指示左视角和右视角在中间视角的系列内处于什么地方。中央立体视角CS 503指示处于视角L和视角R的中间处的中间视角。中间视角的系列中的中央元素是目标视角T（也参见虚的竖直线）。目标视角T可以是原始的视角L和R之间或者靠近原始的视角L和R的任何中间视角。从视图L、R和C推定目标视角T对应于哪个中间视角。子图510-550中的每个对应于不同的目标视角T（除了对应于同一目标视角T的子图550和560）。

例如，在子图510中，目标视角T对应于中央立体视角CS。相反，在子图550中，目标视角T对应于原始的左视角L。从每个子图到下一个子图，例如，从510到520，目标视角偏移一个视角。因此，子图510-550的序列示出目标视角T的逐渐偏移，即从子图510中的中央立体视角到子图550中的原始的左视角，在随后的子图之间偏移一个显示视图。然而，在子图550和子图560之间，目标视角T没有偏移，这将在下面的示例中被使用。

可选地，图1的方法被用于从立体数据生成中间图像的系列，并且目标视角T被确定使得中间图像对于给定的立体数据的内容具有高图像质量。考虑下面的示例，其中立体视频序列包括立体数据，并且其中混合策略针对所有的帧定义相同的混合。混合策略根据由图3a描述的混合策略确定使用中间图像IBL和IBR二者的混合。在该示例的上下文中，子图510-560对应于立体视图视频序列的随后的帧。子图510对应于其中多视图显示器示出从立体视频帧（在该示例中被称作帧1）生成的中间图像的系列。同样地，子图520-560对应于相应的帧2-6。策略检测过程使用细节检测器来检测图像细节的存在并且基于该检测到的存在选择目标视角T。对于帧1，系统使用细节检测器断定存在少量的细节，使得细节伪像是不可见的，并且因此选择中央立体视角CS作为目标视角T。因此，该方法针对中间视图的系列生成中间图像，其中该系列的中央视角对应于中央立体视角CS。然而，对于帧2，系统断定存在过多的细节，并且因此断定通过使用左视角L作为目标视角T来生成高图像质量，因为例如细节伪像对于靠近原始的左视角L的视图比对于靠近中央立体视角CS的视图更不可见。为了防止中间图像中的瞬时转变（例如，使得3D图像做出了突然的“跳跃”，其导致不愉快的观看体验），目标视角T不在单个的步骤中被偏移至左视角L，以从第二帧生成中间图像的系列，替代地，在帧2-5期间，执行目标视角T朝向原始的左视角L的逐渐偏移，在帧5处完成逐渐的偏移。

可选地，例如，在一个帧和其下一个帧之间检测到场景改变时，系统在该一个帧和其下一个帧之间执行目标视角T的瞬时偏移（这与执行逐渐的偏移相反）。因为立体视频帧的内容（作为整体）在一个帧和场景改变处的其下一个帧之间改变，所以观看者不会注意到目标视角T中的瞬时改变。

可选地，策略确定过程在完成目标视角T的偏移之后确定新的混合策略。例如，考虑如以上描述的在帧1-5期间的逐渐偏移。对于帧6（参见子图560），混合策略被改变至新的混合策略，新的混合策略例如定义仅使用左中间图像IBL（或者换言之，有效地使用“图像加深度”）的混合。

可选地，以与之前的段落相似的方式，策略确定过程在发起目标视角T的偏移之前确定新的混合策略。新的混合策略在逐渐的偏移期间不改变。

可选地，策略确定过程与逐渐的偏移同时地逐渐地改变混合策略。考虑帧1-5期间的逐渐偏移，但是其中混合策略是由非对称性参数ParA（也参见图3b）控制的非线性非对称混合策略。在帧1处，使用中间图像IBL和IBR二者确定混合，诸如由图3b中的曲线351-352描述的。在帧5处，混合仅使用左中间图像IBL。帧1、2、3、4、5处的混合分别由 ParA = 0.0, -0.25, -0.5, -0.75, -1.0定义。

可选地，目标视角T在作为分离的若干个帧的帧处被偏移。例如，使得目标视角T每10帧一次偏移一个视图，使得相比于以每帧偏移一个视图，逐渐的偏移较慢。

可选地，使得目标视角T偏移视图的一小部分，或者偏移多于一个视图。

可选地，通过预测针对多个目标视角T的图像质量并且从多个目标视角选择对应于最高的图像质量的目标视角来确定目标视角T。预测的中间图像的系列的图像质量由预测的图像质量参数量化。例如，多个目标视角T由3个视角组成：原始的左视角L、原始的右视角R和中央立体视角CS。在该示例中，立体图像包含大量的细节并且针对中央立体视角CS的预测的图像质量参数因此是低的（因为可见的细节伪像被预期在中央立体视角附近），而针对原始的视角L和R的预测的图像质量参数是高的（因为可见的细节伪像不被预期在原始的视角L和R附近）。在该情形中，相比于针对其它的两个视角R和CS的预测的图像质量参数，针对原始的视角L的预测的图像质量参数是最高的。因而，原始的视角L被选择，并且中间视角的系列是以原始的视角L为中心。换言之，中间视角的系列位于靠近原始的视角L的区域中。

可选地，预测的图像质量参数被计算作为总视角预测的图像质量参数的系列的平均，其中针对中间视角的系列中的每个中间视角计算一个总视角参数。然后，针对中间视角的系列的预测的图像质量参数被计算作为总视角预测的图像质量参数的平均。

可选地，中间的系列的预测的图像质量参数被计算作为针对中间视角的系列中的单个的中间视角的总视角预测的图像质量参数。例如，单个的中间视角是中间视角的系列中的目标视角T。如果中间视角的系列具有奇数的长度N，则目标视角T指的是系列中的第(N+1)/2个中间视角。然后，由对应于目标视角T的中间图像的总视角预测的图像质量参数表示中间图像的系列的预测的图像质量。

可选地，目标视角T可以被预计算并且作为补充原始的左图像和原始的右图像的元数据被提供至渲染系统或者渲染设备。注意，在该上下文中，术语“补充”指的是元数据与立体数据一起被提供意义上的“耦合至”，并且术语“补充”在该文档中的其它地方具有相同的含义。

图7图示用于如以上描述的从立体图像生成中间图像的系列的方法。到该方法的输入是包括左图像101和右图像102的立体图像IS 701。确定过程710确定目标视角711，并且生成过程720 SIBGEN从立体图像IS并且针对以目标视角TAR为中心的中间视角的系列生成中间图像SIB的系列。

确定过程TARDET 710使得目标视角的确定是基于中间视角的系列的预测的图像质量。确定过程包括预测过程（在图7中未示出），预测过程针对以目标视角TAR为中心的中间视角的系列预测中间图像的图像质量。例如，预测过程包括细节检测器，在该情形中，其检测立体图像中的大量的细节。在该情形中，预测过程断定中央立体视角CS处的预测的图像质量是低的，并且因此其不是适当的目标视角，并且因此将原始的左视角L确定为目标视角TAR。因而，目标视角TAR是基于中间图像SIB的系列的预测的图像质量，如果中间视角的系列是以目标视角TAR为中心，则中间图像SIB的系列将从生成过程SIBGEN得到。

可选地， 目标视角确定过程710检索（预计算）作为补充原始的立体图像701的元数据的目标视角TAR。可选地，目标视角确定过程710仅使用左图像IL和右图像IR中的一个以确定目标视角。例如，如以上所描述的，如果使用细节检测器计算预测的图像质量参数，则仅使用左图像IL和右图像IR中的一个对于检测细节是足够的。

可选地，生成过程721使用诸如针对图1中图示的生成函数，其中生成函数从立体图像IS针对中间视角的系列中的中间视角的一个生成中间图像。生成过程721使用生成函数来针对中间视角SB的系列中的每个中间视角生成中间图像，因而生成中间图像SIB的系列。生成函数使用视差数据以生成中间图像，并且从立体图像IS计算视差数据。可选地，视差数据不从立体图像IS计算出，而是替代地被检索作为补充立体图像IS的元数据。

借助包括目标视角、可选的混合策略以及可选的深度/视差数据的元数据的提供，可以渲染较高质量的中间图像的系列，即，在编码时针对其已经许可/考虑质量要求的中间图像的系列。

尽管在以上的文本中，已经主要地独个地优化了目标视角和混合策略，但是不是必需是该情形。特别地，当目标视角和混合策略的选择由内容审核者的专家组评估时，对大数目的替代性的目标视角和混合策略进行评估并且对二者组合的参数进行优化是可能的。这样，可以做出不仅减小可见的伪像还可遵从主管的偏好的选择。

注意，图7的目标视角TAR 711指的是与图5的目标视角T 504相同的事物。

被布置成执行图7的方法的系统包括目标视角确定单元和系列生成单元。目标确定单元被布置成运行确定过程TARDET。系列生成单元被布置成运行生成过程SIBGEN。到系统的输入是立体图像IS。系统的输出是中间图像SIB的系列。

图6以三种配置图示用于从立体数据生成中间图像并且用于在显示器上示出中间图像的系统。系统被布置用于在显示器上示出所生成的中间图像。所有的生成单元GU 630、640、650被布置成生成中间图像IB 611，并且都被布置成接收立体图像IL、IR以及中间视角B 603。显示单元DISP 666被布置成示出从所生成的单元GU 630、640、650中的一个接收的中间图像IB。

图6图示用于从立体图像生成中间图像IB 611并且用于在显示器DISP上示出中间图像IB 611的系统600。生成单元GU 630被配置成从立体图像IL、IR生成中间图像IB 611并且在其输入处接收原始的左图像IL、右图像IR和中间视角B 603。过程GU 630包括以下函数：

（a）左视差计算函数，用以接收原始的左和右图像IL、IR，从左和右图像IL、IR计算左视差数据DL，以及用以将计算出的左视差数据DL传输到左扭曲函数；以及

（b）右视差计算函数，用以接收原始的左和右图像IL、IR，从左和右图像IL、IR计算右视差数据DR，以及用以将计算出的右视差数据DR传输到右扭曲函数；以及

（c）左扭曲函数，用以接收中间视角B 603、左图像IL以及左视差数据DL，并且用以生成左中间图像IBL，以及将左中间图像IBL传输至混合函数；以及

（d）右扭曲函数，用以接收中间视角B 603、右图像IR以及右视差数据DR，并且用以生成右中间图像IBR，以及将右中间图像IBR传输至混合函数；以及

（e）策略确定函数，用以接收原始左图像IL和原始右图像IR，并且基于中间图像的预测的图像质量确定混合策略，并且将混合策略传输至混合函数，所述中间图像由系统使用该混合策略生成。

（f）混合函数，用以从左扭曲函数接收左中间图像IBL，从右扭曲函数接收右中间图像IBR，接收中间视角B 603，以及从策略确定函数接收混合策略，并且通过使用中间视角B 603和混合策略对中间图像IBL和IBR进行混合来生成中间图像IB 611。

可选地，生成单元是包括用以执行系统的函数的软件的通用目的处理器。可选地，生成单元是包括用以执行系统的函数的专用逻辑的ASIC。

可选地，系统600包括单个的扭曲函数，替代左扭曲函数和右扭曲函数。左扭曲函数和右扭曲函数是相同的并且被配置成执行相同的计算，并且只是在它们所处理的输入方面不同。单个的扭曲函数与左扭曲函数或者右扭曲函数一样。系统600包括用以顺序地计算中间图像IBL和IBR的单个的扭曲函数。例如，单个的扭曲函数按照以下来执行。单个的扭曲函数首先接收左数据IL和DL、中间视角B，并生成左中间图像IBL，并将左中间图像IBL传输至混合过程。然后单个的扭曲函数接收右数据IR和DR、中间视角B，并且生成右中间图像IBR，并且将右中间图像IBR传输至混合过程。系统600包括一旦其接收到所有的四个输入IBL、IBR、B和POL就执行混合的混合函数。可选地，单个的扭曲函数首先生成右中间图像IBR，并且然后以时序的方式生成左中间图像IBL。

图6图示被配置用于从立体图像、混合策略生成中间图像并且在显示器上示出中间图像的系统610。除了以下的差别之外，生成单元GU 640与单元GU 630相同。单元GU 640不包括策略确定函数，并且混合函数被配置成从GU 640的输入接收混合策略POL 604。

图6图示被配置用于从立体图像、并且从视差数据生成中间图像并且在显示器上示出中间图像的系统620。除了以下的差别之外，生成单元GU 650与单元GU 630相同。生成单元GU 650不包括视差处理函数。左扭曲函数被配置成直接地从输入接收左视差DL 611。同样地，右扭曲函数被配置成直接地从输入接收右视差DR 612。

可选地，显示单元DISP是以其显示视图中的一个示出中间图像IB的多视图显示器。

可选地，显示单元DISP是立体视图显示器，并且头部跟踪设备被配置成向生成单元GU提供左中间视角BL和右中间视角BR。生成单元GU被布置成使用相应的中间视图BL、BR生成新的左图像和新的右图像，并且向显示单元DISP提供所生成的立体图像。显示单元DISP被布置成示出立体图像，观看者使用被布置成能够让观看者在显示单元DISP上感知到3D图像的立体眼镜来观看该立体图像。包括生成单元GU和显示单元DISP的所得到的系统被布置成通过做出活动的头部移动让观看者可见地感知到3D图像并且回顾3D图像中的近景对象。

作为附加的实施例，计算机程序产品包括用于使得处理器系统执行在图7在图示的方法的确定过程710和生成过程720的指令。例如，处理器系统包括具有视频图形卡和通用目的处理器的PC并且连接到多视图显示器。处理器系统将立体图像转换成中间图像的系列，并且驱动多视图显示器以在相应的显示视图上示出中间图像的系列。图7的方法以在通用目的处理器和/或视频图形卡上的计算机程序上的软件来运行。从提供包括视频帧的立体视频序列的源接收立体图像，每个视频帧包括左图像和右图像。源可以是处理器系统与其连接、立体视频序列从其被串流到处理器系统的互联网。源可以是计算机程序被存储在其上的介质数据载体。介质数据载体例如可以是蓝光光盘或者包括闪存的USB存储设备。

如以上所描述的，目标视角以及可选地混合策略可以被预计算并且作为补充原始的立体数据的元数据被提供至再现系统或再现设备。因而本发明有利地还使能了生成用于在从立体图像701生成中间图像721的系列的方法中使用的输出立体输出的方法，立体图像701包括对应于左视角的左图像101和对应于右视角的右图像102，生成该输出立体数据的方法包括基于与以目标视角711为中心的空间上连续的视角对应的中间图像721的系列的预测的图像质量来确定目标视角711；并且生成包括描述所确定的目标视角711的元数据的输出立体数据。

确定目标视角可包括计算用于相应的多个目标视角的多个预测的图像质量参数，以及确定对应于在多个预测的图像质量参数中具有最高值的预测的图像质量参数的目标视角711。替代性地或者附加地，该确定包括使用细节检测器测量立体图像701中的图像细节的量，并且基于所测量到的图像细节的量计算预测的图像质量。替代性地或者附加地，确定710包括使用深度转变检测器检测立体图像701中的深度转变以预测遮挡伪像，以及使用预测的遮挡伪像来确定预测的图像质量。更替代性地，生成用于在从立体图像710生成中间图像721的系列的方法中使用的输出立体数据的方法进一步包括确定用于在生成中间图像721的系列中使用的混合策略POL，并进一步包括将输出立体数据中的所确定的混合策略POL包括作为描述混合策略POL的元数据。如以上描述的输出立体数据可以被用来能够实现相比于现有技术改进的中间图像721的系列的生成，因为其能够实现被布置用于使用该目标视角和/或混合策略（当被提供时）以生成中间图像721的系列的系统，以能够实现满足在元数据的编码时建立的要求的中间图像的系列的生成。

本发明还能够实现用于生成输出立体数据的系统，所述输出立体数据用于在从立体图像701生成中间图像721的系列的系统中使用，立体图像701包括对应于左视角的左图像101，以及对应于右视角的右图像102，用于生成该输出立体数据的系统包括被布置用于基于对应于以目标视角711为中心的在空间上连续的视角的中间图像721的系列的预测的图像质量确定目标视角711的生成单元；并且生成包括描述目标视角711的元数据的输出立体数据。

借助生成单元的确定可包括计算用于相应的多个目标视角的多个预测的图像质量参数，并且确定对应于具有多个预测的图像质量参数中的最高值的预测的图像质量参数的目标视角711。替代性地或者附加地，借助生成单元的确定可包括使用细节检测器测量立体图像701中的图像细节的量，并且基于测量到的图像细节的量计算预测的图像质量。替代性地或者附加地，借助生成单元的确定包括使用深度转变检测器检测立体图像701中的深度转变以预测遮挡伪像，以及使用所预测的遮挡伪像来确定预测图像质量。更替代性地，生成用于在从立体图像701生成中间图像721的系列的系统中使用的输出立体数据的系统进一步包括确定用于在生成中间图像721的系列中使用的混合策略POL的生成单元，并且进一步被布置成在输出立体数据的生成期间包括作为描述混合策略POL的元数据的所确定的混合策略POL。

如在上文描述的输出立体数据可以被用来相比于现有技术能够实现改进的中间图像721的系列的生成，因为其能够实现被布置用于使用目标视角和/或混合策略（当被提供时）生成中间图像721的系列，以能够实现满足在元数据的编码时建立的要求的中间图像的系列的生成。

包括在输出立体数据中的目标视角和/或混合策略信息/元数据可包括描述目标视角参照于立体像对（stereo-pair）的位置、或者以另一方式允许再现以生成中间图像的合适的系列的信息。

指示目标视角定向的元数据可以是相对的，即让目标视角参考立体像对的左和右视角的位置（与在图5中使用的T的表示可比的）。

简单的二元表示的示例是使用3位来指示目标视角，这里000可对应于L，100对应于L和R之间的中途，001对应于从L的1/8，从R的7/8等。如果帧不包含该元数据，则其将使用来自于之前的帧的最后一个可用的目标视角指示。

替代性地，定向可被表示为绝对定向，例如参照显示器表面定向或者显示器表面法线。

在立体像对是视频序列的一部分的情形中，如本文以上描述的目标视角可随着时间的推移变化。结果，可基于每个帧提供目标视角，或者以包括多个帧的集合形式的视频结构提供目标视角；例如每GOP（与编码标准有关的粒度的水平），或者甚至以每镜头/场景的较高的粒度（允许处理诸如镜头水平处的连续性的要求的粒度水平）。

后者进一步允许以较高水平的抽象描述的目标视图定向，诸如借助分段线性化表示或者指示目标视角随时间推移的方向的样条表示的形式的功能性描述。

可选地，元数据不包括目标视角自身，但包括用于确定目标视角的数据。例如，元数据可包括对于具体的视频帧而言所预测的图像质量是以其为基础的图像特性，图像特性是图像细节或者遮挡伪像，例如，对于某个视频帧，预测的图像质量是基于图像细节，而对于另一视频帧，预期的图像质量是基于遮挡伪像。

当混合策略信息或者混合策略元数据被包括在输出立体数据中时，其可包括在混合因数或者调和因数、非对称性参数、目标视角T描述、用于在如上文描述的驱动多视图显示器中使用的视图位置分配范围内的信息。该信息可以基于每个帧而被提供，或者优选地以每个场景的查找表的形式被提供，将参数链接至场景内的相应的帧，或者使用例如分段线性化或者基于样条的表示（该表示允许回放设备从功能性描述获取针对帧的合适的参数）的功能性描述的形式被提供。

根据以上方法生成的输出立体数据可进一步包括用于在多视图显示设备上再现中使用的另外的元数据和/或信息。

使用如上文所提供的方法或系统生成的输出立体数据可以是作为用于广播的信号，或者作为用于经由数字网络（例如局域网、企业内联网或者互联网）传输的信号的输出。

如上文描述的信号可以被用来实现针对从立体图像生成中间图像7621的系列的改进。如上文所描述的，目标视图信息可以被提供用于单个的立体图像对，或者用于立体视频序列中的立体图像对的序列。描述目标视角的元数据可进一步采用诸如混合策略、和/或深度/视差数据（以满分辨率或者以降低的分辨率）和/或可以在生成中间图像的系列中使用的另外的参数的信息来补充。

显著地，描述目标视角的元数据是允许中间图像的系列以该目标视角为中心的数据。例如，在偶数数目的视图存在于中间图像的系列的情形中（暗示存在两个中央视图），则左中央视图相对于原始左和右图像的位置（并且，如果相应的中间图像之间的距离不是固定的）足以确定中间图像的系列的分布。替代性地，可以使用左中央视图和右中央视图的（角）位置（并且可以基于左中央图像和右中央图像之间的距离推断系列中的另外的视图之间的距离）。更替代性地，当相应的视图之间的距离参照左和右立体图像被预定义时，则其足以对相对于立体像对的左和右图像对左（或右）中央视图的位置进行编码。如对于本领域技术人员将清楚的是，许多不同的数据表示可以被用于确定中间图像的系列以其为中心的目标视角的数据。

信号可以被记录在数字数据载体（诸如蓝光光盘或者等同的光学数据载体形式的光学数据载体）上，或者诸如闪速或者固态存储设备的电子非易失性介质上。关于蓝光光盘格式的更多的信息可以在这里找到：http://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf，在此通过引用的方式将其并入。

优选地，根据作为解码信息的标准，与视图再现相关联的元数据被包括在用户数据消、信令基础流信息（SEI）消息（当要求准确的帧或者准确的GOP编码时是特别有用的）、入口点表格或者基于XML的描述中的至少一个中。

在原始的输入立体数据105上分布输出立体数据的优势在于：在作者侧，内容通常是全部地可用的，并且结果更加昂贵的和/或耗时的算法（或者用户协助算法）可被用来确定适当的目标视角和/或混合策略。

应当注意，以上提到的实施例图示而不是显示本发明，并且本领域技术人员将能够设计许多替代性的实施例，而不脱离所附权利要求的范围。

在权利要求中，放置在括号之间的任何附图标记不应当被解析为限制权利要求。动词“包括”及其词形变化的使用不排除除了在权利要求中叙述的元件或步骤之外的元件或步骤的存在。在元件之前的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助包括若干个分立元件的硬件，以及借助被适当地编程的计算机来实施。在列举若干个构件的设备权利要求中，这些构件中的若干个可以由一个且同一硬件项目来体现。某些措施被记载在相互不同的从属权利要求中这一纯粹事实不指示这些措施的组合不能被有利地使用。

Claims (13)

1.用于从立体图像（701）生成中间图像（721）的系列的方法（700），所述立体图像包括对应于左视角的左图像（101）和对应于右视角的右图像（102），

所述中间图像的系列对应于在空间上连续的视角，

所述在空间上连续的视角中的第一视角和最后一个视角定义包括所述左视角和所述右视角中的至少一个的视角范围，

所述方法包括通过以下来定位目标视角处的在空间上连续的视角的中心：

-基于针对以不同的目标视角为中心的在空间上连续的视角的中间图像的系列的预测的图像质量确定（710）所述目标视角，所预测的图像质量是基于所述立体图像的图像特性，所述图像特性是图像细节或者遮挡伪像；以及

-从针对以所确定的目标视角（711）为中心的在空间上连续的视角的立体图像生成（720）所述中间图像的系列。

2.如权利要求1中所要求保护的方法，其中所述确定（710）包括检索用于从补充所述立体图像（701）的元数据确定所述目标视角（711）的数据。

3.如权利要求1中所要求保护的方法，其中所述确定（710）包括计算针对相应的多个目标视角的多个预测的图像质量参数，并且确定对应于在所述多个预测的图像质量参数中具有最高值的预测的图像质量参数的目标视角（711）。

4.如权利要求1中所要求保护的方法，其中所述确定（710）包括：

-使用细节检测器测量所述立体图像（701）中的图像细节的量以及

-基于测量到的图像细节的量计算所预测的图像质量。

5.如权利要求1中所要求保护的方法，其中所述确定（710）包括使用深度转变检测器检测所述立体图像（701）中的深度转变以预测遮挡伪像，并且使用所预测的遮挡伪像来确定所预测的图像质量。

6.如权利要求1中所要求保护的方法，其中生成所述中间图像（721）的系列包括从立体视图视频序列的相应的随后的帧生成随后的中间图像（721）的系列，相应的随后的帧中的每个帧包括立体图像（701）。

7.如权利要求6中所要求保护的方法，其中所述确定（710）包括：

- 确定用于从在第一时间实例处的第一帧第一次生成中间图像（721）的第一系列的第一目标视角（711），

- 确定用于从在第二时间实例处的第二帧第二次生成中间图像（721）的第二系列的第二目标视角（711），以及

- 确定用于从在第三时间实例处的第三帧第三次生成中间图像（721）的第三系列的第三目标视角（711），

所述第三时间实例发生在所述第一时间实例之后且在所述第二时间实例之前，并且所述第三目标视角（711）位于所述第一目标视角（711）和所述第二目标视角（711）之间，能够实现所述目标视角（721）随时间的推移而逐渐偏移。

8.如权利要求6中所要求保护的方法，其中所述确定（710）包括：

- 确定用于从第一时间实例处的第一帧第一次生成中间图像（721）的第一系列的第一目标视角（711），

- 确定用于从第二时间实例处的第二帧第二次生成中间图像（721）的第二系列的第二目标视角（711），

所述确定第二目标视角（711）包括：

确定所述第一时间实例和所述第二时间实例之间的场景改变的发生以及依赖于所述场景改变的发生确定所述第二目标视角（711），所述第二目标视角（711）不同于所述第一目标视角（711）。

9.如权利要求8中所要求保护的方法，其中确定场景改变的发生包括：从补充所述立体图像（701）的元数据检索所述发生。

10.被布置用于从立体图像（701）生成中间图像（721）的系列的系统，所述立体图像包括对应于左视角的左图像（101）和对应于右视角的右图像（102），所述中间图像的系列对应于在空间上连续的视角，所述在空间上连续的视角中的第一视角和最后一个视角定义包括所述左视角和所述右视角中的至少一个的视角范围，被布置用于定位目标视角（711）处的在空间上连续的视角的中心的系统包括：

-确定单元，用于针对以不同的目标视角为中心的在空间上连续的视角，基于所述中间图像的系列的预测的图像质量确定（710）所述目标视角，所预测的图像质量是基于所述立体图像的图像特性，所述图像特性是图像细节或者遮挡伪像；以及

-生成单元，用于针对以所确定的目标视角（711）为中心的在空间上连续的视角从所述立体图像生成（720）所述中间图像的系列。

11.如权利要求10中所要求保护的系统，其中所述确定单元被布置用于通过预测针对多个目标视角的中间图像的系列的图像质量来确定所述目标视角，并且基于所述中间图像的系列的预测的图像质量从所述多个目标视角选择所述目标视角。

12.如权利要求10中所要求保护的系统，其中所述确定单元被布置用于检索用于从补充所述立体图像的元数据确定所述目标视角的数据。

13.一种从立体图像（701）生成中间图像（721）的系列的计算机设备，所述立体图像包括对应于左视角的左图像（101）和对应于右视角的右图像（102），

所述中间图像的系列对应于在空间上连续的视角，

所述在空间上连续的视角中的第一视角和最后一个视角定义包括所述左视角和所述右视角中的至少一个的视角范围，

所述计算机设备被安排成定位目标视角处的在空间上连续的视角的中心，所述计算机设备包括：

存储器，以及

处理器系统，

其中所述存储器存储指令用于使得所述处理器系统执行根据权利要求1所述的方法。