CN103179416B - 使用多层表现的图像处理方法和设备 - Google Patents

使用多层表现的图像处理方法和设备 Download PDF

Info

Publication number
CN103179416B
CN103179416B CN201210576255.3A CN201210576255A CN103179416B CN 103179416 B CN103179416 B CN 103179416B CN 201210576255 A CN201210576255 A CN 201210576255A CN 103179416 B CN103179416 B CN 103179416B
Authority
CN
China
Prior art keywords
layer
view
information
pixel
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210576255.3A
Other languages
English (en)
Other versions
CN103179416A (zh
Inventor
白艾伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103179416A publication Critical patent/CN103179416A/zh
Application granted granted Critical
Publication of CN103179416B publication Critical patent/CN103179416B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

提供了一种使用多层表现的图像处理方法和设备。可基于至少一个输入视图产生包括关于场景的信息的参考视图的多层表现。可对多层表现进行扩展以获得关于由至少一个共同的输入图像遮挡的部分的信息。可使用扩展的多层表现来产生在不同视点观看的输出视图。

Description

使用多层表现的图像处理方法和设备
本申请要求2011年12月26日提交到韩国知识产权局的第10-2011-0142431号韩国专利申请的优先权利益，该申请的公开通过引用合并于此。
技术领域
一个或多个示例实施例涉及一种用于处理图像的方法和设备，更具体地，涉及一种可使用多层表现来渲染视图的图像处理方法和设备。
背景技术
三维(3D)成像设备需要对用户提供在与输入视图的视点分离的视点观看的图像。因此，3D成像设备可基于输入视图来产生在与输入视图的视点不同的视点观看的输出视图。
通常，由于网络带宽限制、图像捕捉费用等，将有限数量的输入视图提供给图像处理设备。为了对观看者提供在多个视点观看的图像，可通过使用输入示图进行视图内插或视图外插或者视图内插和视图外插两者来产生在与输入视图的视点不同的视点观看的输出视图。
视图内插表示产生在输入视图的视点之间的视点观看的输出视图。视图外插表示产生在输入视图的视点之外的视点观看的输出视图。
发明内容
通过提供一种处理图像的方法来实现前述和/或其它方面，所述方法包括：使用至少一个输入视图产生包括关于场景的信息的参考视图的多层表现，并使用产生的多层表现产生在输出视点观看的输出视图。这里，所述至少一个输入视图中的每一个可相应于在场景的预定视点观看的视图。所述至少一个输入视图中的每一个可包括图像以及与图像相关联的深度图。多层表现可包括基于所述至少一个输入视图中的每一个的图像和深度图产生的至少一个层。
所述图像处理方法还可包括：对多层表现的至少一个层进行扩展。
可在这样的范围之内对所述至少一个层中的每个层进行扩展，在所述范围中，在所述至少一个层中的具有大于所述至少一个层中的每个层的深度值的深度值的层未被遮挡。
从位于层的端部的像素开始，可基于逐像素迭代地确定所述至少一个层是否将被扩展。
在所述至少一个层中的针对参考视图的预定水平线具有最大深度值的层可具有所述预定水平线上的所有区域的颜色信息。
产生多层表现的步骤可包括：通过将所述至少一个输入视图中的每一个的图像投射到参考视图上来产生所述至少一个层，并合并产生的至少一个层中的相互影响的层。
产生所述至少一个层的步骤可包括：选择所述至少一个输入视图中的第一输入视图的第一位置，通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和深度，并将新的层添加到第二位置和深度。
添加的层的颜色值可与第一位置的颜色值相同。
相互影响的层的深度值之间的差可小于或等于预定阈值。
合并的步骤可包括：选择第一参考视图中的第一位置，并在第一位置将包括在相互影响的层中的关于第一位置的信息合并为单个层。
产生输出视图的步骤可包括：通过将所述至少一个层中的每个层投射到输出视图上来计算所述至少一个层中的每个层在输出视图中的位置，并针对输出视图中的每个位置，将所述至少一个层中具有最小深度值的层的颜色确定为计算的位置的颜色。
当在多层表现中彼此邻近的第一像素和第二像素分别包括在第一层和第二层中时，将第一像素投射到输出视图的第一位置上，将第二像素投射到输出视图的第二位置上，并可基于第一像素的颜色和第二像素的颜色之间的内插来确定位于第一位置和第二位置之间的像素的颜色。
通过提供一种用于处理图像的装置来实现前述和/或其它方面，所述设备包括：多层表现产生单元，使用至少一个输入视图产生包括关于场景的信息的参考视图的多层表现；输出视图产生单元，使用产生的多层表现产生在输出视点观看的输出视图。这里，所述至少一个输入视图中的每一个可相应于在场景的预定视点观看的视图。所述至少一个输入视图中的每一个可包括图像以及与图像相关联的深度图。多层表现可包括基于所述至少一个输入视图中的每一个的图像和深度图产生的至少一个层。
所述图像处理设备可包括：层扩展单元，对多层表现的至少一个层进行扩展。
多层表现产生单元可通过将所述至少一个输入视图中的每一个的图像投射到参考视图上来产生所述至少一个层，并可合并产生的至少一个层中的相互影响的层。
多层表现产生单元可通过选择所述至少一个输入视图中的第一输入视图的第一位置，通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和深度，并将新的层添加到第二位置和深度，来产生所述至少一个层。
多层表现产生单元可通过选择第一参考视图中的第一位置，并在第一位置将包括在相互影响的层中的关于第一位置的信息合并为单个层，来合并相互影响的层。
输出视图产生单元可通过将所述至少一个层中的每个层投射到输出视图上计算所述至少一个层中的每个层在输出视图中的位置，并通过针对输出视图中的每个位置，将所述至少一个层中具有最小深度值的层的颜色确定为计算的位置的颜色，来产生输出视图。
通过提供一种处理图像的方法来实现前述和/或其它方面，所述方法包括：接收包括图像以及图像的颜色信息和深度值的多个视图的输入，并使用所述多个视图产生参考视图。这里，产生的参考视图的至少一个位置可具有多个不同深度值以及与所述多个不同深度值相应的颜色信息。
所述图像处理方法还可包括：基于产生的参考视图来产生将被显示的输出视图。
通过在参考视图的所述至少一个位置将相互影响的深度值合并为单个深度值来产生所述多个不同深度值。
相互影响的深度值之间的差可小于或等于预定阈值。
通过提供一种图像处理方法来实现前述和/或其它方面。所述图像处理方法包括：产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，其中，场景信息包括在多个像素位置的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；基于预定规则去除在相同像素位置的层之间的相互影响；如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；通过渲染来自多层表现的数据来产生输出视图图像。
通过提供一种图像处理设备来实现前述和/或其它方面。所述图像处理设备包括：多层表现产生单元，产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，并基于预定规则去除在相同像素位置的层之间的相互影响，其中，场景信息包括在多个像素位置的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；层扩展单元，如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；输出视图产生单元，通过渲染来自多层表现的数据来产生输出视图图像。
通过提供一种产生多视图图像的方法来实现前述和/或其它方面。所述方法包括：通过将多个输入图像中的每一个图像投射到包括存在于所述多个输入图像中的场景信息的单个参考视图中来产生多层表现，其中，场景信息包括在多个像素位置的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；基于预定规则去除在相同像素位置的多层表现的层之间的相互影响。
通过提供一种包括图像处理设备的多视图显示装置来实现前述和/或其它方面。所述多视图显示装置的图像处理设备包括：多层表现产生单元，产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，并基于预定规则去除在相同像素位置的层之间的相互影响，其中，场景信息包括与多个像素位置相关联的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；层扩展单元，如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；输出视图产生单元，通过渲染来自多层表现的数据来产生用于由多视图显示装置显示的输出视图图像。
将在接下来的描述中部分阐述实施例的另外的方面，还有一部分通过描述将是清楚的，或者可以通过本公开的实施而得知。
附图说明
通过下面结合附图进行的实施例的描述，这些和/或其它方面将会变得清楚和更易于理解，其中：
图1示出根据示例实施例的图像处理方法；
图2A和图2B示出根据示例实施例的至少一个输入视图；
图3示出根据示例实施例的场景几何的上下文中的多层表现；
图4示出根据示例实施例的使用多层表现的输出视图的产生；
图5示出根据示例实施例的多层表现的扩展；
图6示出根据示例实施例的对多层表现进行扩展的方法；
图7A到图7D示出根据示例实施例的层扩展的原理；
图8示出根据示例实施例的多层表现的层信息；
图9示出根据示例实施例的相互影响层的合并(consolidation)；
图10示出根据示例实施例的产生多层表现的方法；
图11示出根据示例实施例的产生输出视图的方法；
图12示出根据示例实施例的将具有相似深度值的层投射到输出视图上的方法；
图13示出根据示例实施例的图像处理设备；
图14示出根据示例实施例的包括图像处理设备的多视图显示装置；以及
图15A到图15E示出多视图表现的示例。
具体实施方式
现在，详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参考附图描述实施例以解释本公开。
以下示例实施例可被应用于用于提供三维(3D)图像的设备或多视图显示装置，例如，3D电视、3D监视器、平板计算机、便携式游戏装置、膝上型计算机等。所述设备可通过立体方法或自动立体方法来显示3D图像。所述设备可用于：1)立体到多视图转换，2)多视图到多视图转换，例如，3视图到16视图转换，3)立体深度调节，4)二维(2D)到3D转换，等等。
这里，可通过在加宽或缩短的基线上重新渲染立体图像来执行立体深度调节，以增强或降低观看者的深度感。可通过从无深度图的单视图产生至少两个视图来执行2D到3D转换。
此外，以下示例实施例可被应用于在使用3D捕捉和/或显示的其它装置中执行的相似的应用，并还可被应用于3D内容的软件工具。
这里，输入图像和与输入图像相应的输入深度图可被修正。这里，这样的“修正”的示例可相应于可在相同扫描线上找到输入图像之间的所有一致性的情况。例如，当两个图像中的两个像素彼此相应时，所述两个像素可具有相同的y坐标值。
术语“深度”和“视差”可例如通过常数项而彼此相反地相关。因此，可交换地使用术语“深度”和“视差”、术语“深度值”和“视差值”以及术语“深度图”和“视差图”。
可基于以下情况来描述以下示例实施例，在所述情况下，可应用水平视图内插和外插的输出视图可具有水平视差。然而，上述技术特征也可应用于输出视图可具有垂直视差的情况。也就是说，所述技术特征还可应用于垂直视图内插和外插。另外，在与多个输入视图相反的单个视图(即，单个图像和单个深度图)被输入的情况下，所述技术特征可以是有效的。
在图像处理中，可使用至少一个输入视图来产生输出视图。输出视图可表示在预定输出视点观看的视图。可提供至少一个输出视图。所述至少一个输入视图可具有不同的视点。例如，所述至少一个输入视图中的每一个可与在单个场景的预定视点观看的视图相应，并可通过从不同视点拍摄场景而被产生。
所述至少一个输入视图中的每一个可包括图像以及与所述图像相关联的深度图或视差图，从而提供多视图表现。所述图像可包括指示图像中的位置的至少一个像素。所述深度图或视差图可包括所述至少一个像素中的每一个的深度。
具有相对较大深度值的像素或具有相对较小视差值的像素可指示可距观察位置(诸如，距相机)相对较远的对象或背景。具有相对较小深度值的像素或具有相对较大视差值的像素可指示可距观察位置(诸如，相机)相对较近的对象或背景。
图15A到图15E示出多视图表现的概念的示例。图15A到图15E中的粗水平线表示从给定视点可见的颜色(纹理)信息。图15A和图15B表示从不同视点观察的相同场景的两个视图。图15C示出来自两个视图的组合信息。双线指示复制或冗余颜色信息。由于在多个参考图像之间存在相同信息，故明显的是：多视图呈现是无效的。此外，包含的信息可彼此不同，从而增加不确定性。由于不存在统一的表现，故必须独立地对每个产生的视图解决所述不确定性。图15D示出被双线占据的必须填充用于新视图产生的区域。再次，分别对每个新视图执行填孔例程。虽然在附图中未示出，但是如果从这些视差图直接产生每个新视图，则不清楚应如何解决不同视图之间的视差不一致性。
图1示出根据示例实施例的图像处理方法。在图1的操作110中，可使用至少一个输入视图来产生多层表现。多层表现可表示包括关于场景的信息的参考视图的表现。可提供多个参考视图或单个参考视图。多层表现可与输入图像和关于深度图的所有信息的集相应，其中，所述深度图与所述输入图像相应。
层可与具有相应深度值(诸如，相同预定深度值或预定范围内的深度值)的位置或区域相应。所述位置或区域可包括单个像素或多个像素。具体地，可具有相同预定深度值或预定范围内的深度值的至少一个像素可作为相同层。例如，具有相同深度值的像素可彼此邻近，或可不邻近，也就是诸如被其它像素彼此分离。在这种情况下，所有像素可作为相同层，或仅彼此邻近的像素可作为相同层。
基于多个输入视图产生的参考视图可具有与预定位置或坐标相关联的多个深度值。还可从单个输入视图产生多个深度值。在参考视图中指示预定位置或坐标的像素可根据视图而具有多个不同深度值或层。因此，多视图表现可具有针对每个像素的多个层，诸如，一、二、三或更多个层。另外，多层表现可具有与每个像素相应或相关联的不同数量的层。至少一个层中的每个层可具有深度值。因此，所述至少一个像素可与参考视图的图像的预定坐标相应，并可包括在不同层中。后面将参照图2和图3更详细地描述产生多层表现的方法。
在图1的操作120中，可对多层表现的至少一个层进行扩展。在实施例中，所述扩展可与层传播(propagation)或一些其它类型的复制相应。作为示例，层传播可表示将层的端点延长至它们各自的邻近位置。可重复执行层传播，只要满足特定条件即可。作为层传播的结果，所述层可被扩展。层传播是用于对层进行扩展的多个方法中的一个。通过对至少一个层进行扩展，可去除至少一个输入视图中所有示图共同的遮挡区域(occluded area)。后面将参照图4到图6更详细地描述对至少一个层进行扩展的方法。
在图1的操作130中，可使用多层表现产生输出视图。输出视图可表示在输出视点处观看的视图。输出视点可以与至少一个输入视图的输入视点不同，或可以与至少一个输入的至少一个视点中的一个视点相同。
图2A和图2B示出根据示例实施例的至少一个输入视图。可通过从不同视点观察单个场景来产生两个输入视图，例如，图2A的第一输入视图200和图2B的第二输入视图250。在图2A和图2B中，纵轴可指示深度，横轴可指示空间。随着向下移动纵轴，深度值可增加，也就是说，距相机的距离可增加。x1到x6可指示水平坐标。第一输入视图200的箭头205的方向或第二输入视图250的箭头255的方向可指示视点。第一输入视图200的视点与垂直方向相应。第二输入视图250的视点与倾斜方向相应，例如，从第一输入视图的视点按照水平方向偏移的视点。第一输入视图200和第二输入视图250中的每一个可指示关于在每个输入视图中的预定水平线(也就是，单个扫描线)的信息。
在第一输入视图200和第二输入视图250中，线210、212、214、216、218、260、262、264、266和268可指示可从设置的视点可见的颜色信息或纹理信息。如图2A和图2B中所示，第一输入视图200的第三线214和第二输入视图250的第三线264可在长度上相同。由于视点之间的方向差，也就是视点之间的偏移，故第一输入视图200的第一线210可长于第二输入视图250的第一线260，第一输入视图200的第二线212可长于第二输入视图250的第二线262。相反，第一输入视图200的第四线216可短于第二输入视图250的第四线266，第一输入视图200的第五线218可短于第二输入视图250的第五线268。
当使用多输入视图(例如，第一输入视图200和第二输入视图250)直接产生输出视图时，在至少一个输入视图之间可存在相同信息。也就是说，如参照图15A到图15E描述的，在多输入视图中存在冗余信息。在该示例中，多输入视图可能会不足以完全产生全部输出视图。
另外，包括在多输入视图中的信息可彼此不同，从而增加不确定性。可独立地对每个输出视图解决所述不确定性。然而，用于表现参考视图的新的表现可用于解决任何不确定性。
图3示出根据示例实施例的场景几何的上下文中的多层表现。在图3中，可使用图2A的第一输入视图200和图2B的第二输入视图250来产生参考视图300。参考视图300可被表现为这样的多层视图：在所述多层视图中，与参考视图300中的预定坐标相应的像素可具有不同深度值。
参考视图300中的水平线可指示在参考视图300中可标记预定点的层。在参考视图300中使用垂直线标记的部分(也就是，层)可指示具有颜色信息的区域。例如，可由多层来表现与两条线332和342或者两条线344和352可彼此重叠的部分相应的像素。可将多层表现为如图3所示的所有关于场景的信息被包括在基于个图像的格式中的单个参考视图，或者可将多层表现为基于像素位置被划分为多个参考视图。
也可将诸如指示相对透明度或不透明度的α值分配给每个层。一种用于获得α值的可能方法可以是使用与每个输入图像相应的深度图针对每个输入图像计算阿尔法蒙版以寻找边界区域，并在构造多层表现时像任何其它预定层属性一样使用计算的阿尔法蒙版。
参考视图300可相应于在场景的参考视点305观看的视图。参考视点305可被选择为与所有输入视图(例如，第一输入视图200和第二输入视图250)的视点的中心接近。例如，当三台相机被共线排列时，可将三台相机的中心用作参考视点。
使用垂直线标记的部分314和324可指示基于第一输入视图200的颜色信息产生的部分，也就是，层的部分。使用倾斜线标记的部分342和352可指示基于第二输入视图250的颜色信息产生的部分。使用重叠的垂直线和倾斜线标记的其它部分312、322、332、344和354可指示第一输入视图200中的颜色信息和第二输入视图250中的颜色信息被复制或冗余的部分。例如，可基于第一输入视图200中的第一线210的颜色信息和第二输入视图250中的第一线260的颜色信息来产生包括部分312和314的第一层。
相似地，再次参照图15A到图15E，在图15E示出场景几何的上下文中的多层表现。如果颜色信息在由粗水平线标记的所有点处可用，则可用于产生任意视点的完整场景信息可用。就如在多视图表现的情况下，由于一些颜色值可能会来自多输入视图，故在这种合并处理中可能会需要解决这些颜色值。然而，注意到这种合并处理通常仅需要发生一次，并且可在随后的视图产生处理中参考相同的颜色值。另外，在图15E中，双线表现填孔区域，相似地，这些孔区域的填充仅需要发生一次，从而在产生的多视图之间保证更大的视觉一致性。
多层表现可包括多个层，所述所各层包括颜色、深度和可选的α值。所述层可从输入图像可见。
图4示出根据示例实施例的使用多层表现的输出视图400的产生。可使用图3的参考视图300的多层表现来产生输出视图400。输出视图400可相应于在由多层表现指示的场景的输出视点405观看的视图。可通过使用多层表现将参考视图300倾斜到输出视点405来产生输出视图400。也就是说，可通过将多层表现中的至少一个层中的每个层投射到输出视图400上来计算所述至少一个层中的每个层在输出视图400中的位置。另外，可将与输出视图400中的每个位置最接近的层的颜色(即，所述至少一个层中的具有最小深度值的层得颜色)确定为计算的位置的颜色。
未遮蔽的由虚线构成的部分430和440可指示在输出视图400中不会被使用的层。未遮蔽的实线的部分410和420可指示颜色信息被用于产生输出视图400的层。也就是说，未遮蔽的实线的部分410和420可指示将被填充以产生输出视图400的区域。未遮蔽的实线的部分410和420可相应于图2A的第一输入视图200和图2B的第二输入视图250的共同的遮挡区域。也就是说，包括在由输入图像遮挡的层中的信息不能用于完整地描述场景信息。
如图所示，部分区域可从与输入视图的视点不同的新视点变为可见。与所述区域相应的层可相应于不会存在于在基于输入视图产生的多层表现中的孔。例如，输出视图400中的与未遮蔽的实线的部分410和420相应的区域可相应于孔。可使用预定的孔填充算法来去除输出视图400中的孔。
图5示出根据示例实施例的多层表现的扩展。可将图3的参考视图的多层表现进行扩展。例如，可在如下范围内将多层表现中的至少一个层中的每个层进行扩展：在所述范围内，在所述至少一个层中的具有大于所述至少一个层中的每个层的深度值的深度值的层不被遮挡。换句话说，如果传播的层在新的位置不遮挡任何现有的层，则层可被传播到邻近层。
可通过对层进行扩展来产生扩展的参考视图500。例如，可通过将层扩展到图2A的第一输入视图200和图2B的第二输入视图250共同的遮挡区域来产生扩展的参考视图500。当将层扩展到第一输入视图200和第二输入视图250共同的遮挡区域时，可产生用于共同的遮挡区域的颜色信息。
第一扩展区域510或第二扩展区域520可相应于共同的阻挡区域或所述区域的部分。也就是说，第一扩展区域510和第二扩展区域520可指示孔填充可被执行的区域或所述区域的部分。
第一扩展区域510可相应于具有中间深度的层(也就是，位于更小深度和更大深度的层之间的层)可被扩展的区域。第二扩展区域520可相应于具有最大深度值的层(也就是，在最低端表现的层)可被扩展的区域。当用于由第一扩展区域510和第二扩展区域520标记的所有点的颜色信息被提供时，可获得可用于产生预定的输出视图的完整的场景信息。因此，使用扩展的参考视图500的多层表现产生的输出视图可不包括孔，并且不需要独立地对每个新的输出视图执行孔填充例程，从而增加效率。
可通过层的扩展仅执行一次填充包括孔的区域。所述填充可保证在不同视点产生的多输出视图之间的视觉一致性。可基于单个共同的参考视图(例如，扩展的参考视图500)来产生新的输出视图。因此，当与分别基于不同输入视图来产生输出视图的情况相比时，可减小输出视图之间的非一致性。
通过扩展产生的层或所述层的部分可相应于可充分指定例如颜色、深度和可选的α值的完整的层描述，或者可相应于可仅指定深度而其余不进行指定的部分的层描述。在部分的层描述的情况下，可将分配产生的层的其它属性的任务延后到在扩展之后执行的更晚的操作。例如，当仅基于深度规范扩展所有层时可获得改进的结果，并且随后基于所有现有层的信息来填充层的颜色。
图6示出根据示例实施例的对多层表现进行扩展的方法。
参照图6，在第一多层表现600中可存在五个层，第一层610、第二层620、第三层630、第四层640和第五层650。可从位于每个层的端部开始，基于逐像素来确定第一层610、第二层620、第三层630、第四层640和第五层650中的每一个是否将被扩展。可对在像素的位置具有最大深度值的像素进行扩展。也就是说，当在像素下面不存在层时，可对像素进行扩展。例如，如由图6的表现600中的像素612下面的向下指示箭头所示，在位于第一层610的右端的像素612下面可不存在层。也就是说，在像素612的位置可不存在具有较大值的层。因此，可对像素612进行扩展。可在位于第二层620的左端的像素622下面表现第一层610。也就是说，在像素622的位置可存在具有较大值的第一层610。因此，不可对像素622进行扩展，从而保证没有新的扩展的像素遮挡现有的第一层610。
可将第一层610、第二层620、第四层640和第五层650扩展到在位于第一层610、第二层620、第三层630、第四层640和第五层650中的每个层的左端或右端的像素中的像素612、624、642和652。不可对像素622、632、634和644进行扩展。也就是说，第一层610和第二层620可通过像素被扩展到右侧，第四层640和第五层650可通过像素被扩展到左侧。第三层630不可被扩展到任意一侧。
可在第二多层表现660中示出扩展的结果。也就是说，扩展的基础原理可相应于层传播、复制或其它不同的传播方案。当在层将被扩展到的邻近位置存在现有层，并且现有层不被将被扩展的部分遮挡时，可将所述层传播到所述邻近位置。相反，如果新的层将在新位置遮挡任何现有层，则不将层传播到邻近位置。可通过比较现有层的深度值与将被扩展的层的深度值来确定遮挡状态。
当同时发生多个传播时，例如，当从左侧的传播和从右侧的传播没有任何偏好地同时应用于单个位置时，可解决层之间的相互影响。将参照图9详细描述层之间的相互影响。
第三多层表现670可描述第一层610、第二层620、第四层640和第五层650的扩展。可确定由对层进行扩展而产生的端是否将被扩展。例如，可确定在像素612的右侧的像素614是否将被扩展。在这个示例中，由于在像素614下面不存在层，故可对像素614进行扩展。相似地，可对经历确定像素是否将被扩展的所有其它像素626、646和654进行扩展。
如上所述，第一层610可被扩展到右侧，第五层650可被扩展到左侧。第一层610和第五层650可被持续扩展直到第一层610和第五层650相遇。相似地，第二层620可被扩展到右侧，第四层640可被扩展到左侧。第二层620和第四层640可被持续扩展直到第二层620和第四层640相遇。
所述至少一个层中的具有最大值的层(例如，第一层610和第五层650)可被扩展到左侧和右侧。所述扩展可以持续直到层与具有相同深度值的另一层相遇，或者层到达区域的边缘。也就是说，在多层表现中，具有最大深度值的层可被扩展到参考视图中的所有区域。
如上所述，第一多层表现600、第二多层表现660和第三多层表现670可指示关于参考视图中的预定水平线的信息。因此，可按照预定水平线为单位执行前述扩展。具体地，参考视图中的至少一个层中的针对参考视图中的预定水平线具有最大值的层可通过扩展而具有预定水平线上的所有区域的颜色信息。因此，可保证将使用通过扩展产生的参考视图来产生输出视图，而在预定的输出视点没有孔。
图7A到图7D示出根据示例实施例的层扩展的原理。在图7A到图7D中，第一箭头710、第二箭头715、第三箭头730、第四箭头735、第五箭头750、第六箭头755、第七箭头770和第八箭头775可指示参考视图中的预定位置。邻近的箭头(例如，第一箭头710和第二箭头715)可指示参考视图中彼此邻近的位置。
箭头的上端可指示层与相机靠近，箭头的下端可指示层与相机远离。因此，位于箭头的下部中的层可相应于具有更大深度值的层或像素。位于箭头的上部中的层可相应于具有更小深度值的层或像素。
参照图7A，第一层720可位于第一箭头710。没有层可位于与第一箭头邻近的第二箭头715。因此，可通过对第一层720进行扩展来在第二箭头715产生第一扩展层722。
参照图7B，第二层740可位于第三箭头730。第三层742可位于与第三箭头730邻近的第四箭头735。然而，第三层742可比第二层740更靠近相机。因此，可在第四箭头735产生第二扩展层744。可在第三层742后面产生第二扩展层744。
参照图7C，第四层762可位于第五箭头750。第五层764可位于与第五箭头750邻近的第六箭头755。第四层762可比第五层764更靠近相机。当第四层762被扩展时，第五层764可被第四层762遮挡。因此，不可对第四层762进行扩展。在这种情况下，是否存在比第四层762更靠近相机的第六层766不会影响第四层762是否将被扩展。
参照图7D，第七层782可位于第七箭头770。第八层784可位于与第七箭头770邻近的第八箭头775。第七层782和第八层784可具有相同的深度值。因此，不可对第七层782进行扩展。在这种情况下，是否存在比第七层782更远离相机的第九层786不会影响第七层782是否将被扩展。另外，是否存在比第七层782更靠近相机的第十层788不会影响第七层782是否将被扩展。
因此，根据参照图7A到图7D描述的层传播的原理，当其它层具有大于或等于在层可被扩展到的位置存在的层的深度值的深度值时，不可对层进行扩展。否则，可对层进行扩展。
图8示出根据示例实施例的多层表现的层信息。在图8中，横轴可指示空间维度，纵轴可指示具有不同深度值的多层。垂直线810、820和830可指示参考视图中的像素位置。在多层表现中，至少一条层信息可包括在参考视图中的任何像素位置中。例如，三条层信息，也就是，第一层信息812、第二层信息814和第三层信息816可存在于第一像素位置。也就是说，具有不同深度值的三个层可存在于第一像素的位置。单条层信息822可存在于第二像素位置。两条层信息832和834可存在于第三像素位置。层信息可包括颜色(例如，红、绿和蓝(RGB))以及与颜色相关联的深度(d)或视差。另外，层信息可以可选地包括用于阿尔法混合的α值。
多层表现可包括用于在输入图像中出现的场景的所有信息。另外，多层表现可包括在输入图像中被遮挡的多条信息，所述多条信息可用于产生新的视点。在每个空间位置，可存在不同深度级别的多个颜色信息。因此，多层表现不会被像素位置的可视性限制。
可去除多层表现中的冗余。所述冗余可起源于在多个输入视图中存在的相似信息。例如，当第一层信息812的深度值d与第二层814的深度值d相同时，可存在与单个像素有关的两条复制的层信息。复制的层信息或复制的层可合并为单条层信息或单个层。例如，由两条层信息或可选择的一个α值指示的多个颜色值中的一个或者多个颜色值的平均可用作合并层信息。当执行合并时，在产生未来的输出视图时可参照相同的颜色值。
图9示出根据示例实施例的相互影响层的合并。作为去除层之间的冗余的一个方法，可介绍层相互影响的概念。当在相同位置的两个层表现相同信息时，所述两个层可被理解为彼此相互影响。在产生参考视图的步骤中，可构造没有两个层可彼此相互影响的多层表现，以最小化冗余从而增加效率。
作为示例，可基于深度值或视差值来确定层相互影响。例如，当层的深度值之间的差小于或等于预定阈值时，层可被认为相互影响的层。当在相同位置的两个层在深度上的差别小于预定阈值时，所述两个层可被认为彼此相互影响。
参照图9，在第一位置910的三个层922、924和926可彼此相互影响。另外，在第一位置910的两个层942和944可彼此相互影响。层932不与其它层相互影响。当两个层彼此相互影响时，可将两个层合并以去除两个层之间的相互影响。在合并之后，可通过合并层922、924和926来在第一位置910产生合并层952。另外，在合并之后，可通过合并层942和944来在第一位置910产生合并层964。层962可相应于层932。
一种用于合并的可能的方法可以保持一个选择的层并去除其它未选择的层。例如，层942可被去除，可基于层944的层信息来产生合并层964。用于选择层的标准可基于相互影响的层的各种属性。所述属性可包括深度、颜色、空间相邻层等。作为示例，在使用深度作为用于选择层的标准的方案中，可选择具有最低深度值的层，也就是，与相机最靠近的层。相反，可选择具有最大深度值的层。作为另一示例，在另一可能的方案中，可从两个相互影响的层获取新的层。也就是说，可从两个层获取新的颜色值和深度值。可例如基于相互影响的层的颜色值和深度值的平均，通过合并来产生新的层。
作为至少三个层的示例，在该示例中，层922、924和926可彼此相互影响。当至少三个层彼此相互影响时，可使用这样的预定方法：所述预定方法相似于与两个前述的相互作用的层相关联的方案，并可解决相互作用的层之间的配对相互作用。例如，可假设具有最小深度值的层A可与具有大于层A的深度值的深度值的层B相互作用，层B可与具有最大深度值的层C相互作用，层A不会与层C相互作用。在这种情况下，一个方案可以保持一个层(例如，层B)并去除其它的层。另一方案可以去除层B，并保持层A和层C。
一旦限定了用于解决层之间的相互作用的规则，就可容易地从多输入图像以及与多输入图像相应的深度图中获得多层表现。根据相关联的深度图从输入图像偏移到参考视点的像素位置可成为新的层。当通过倾斜产生的至少两个新的层彼此相互影响时，可根据限定的规则来解决层之间的相互影响。
图10示出根据示例实施例的产生多层表现的方法。操作1010到1070可相应于图1的产生前述的多层表现的操作110，或者可包括在图1的产生前述的多层表现的操作110之内。
在操作1010到1040，可通过将至少一个输入视图中的每一个的图像投射到参考视图上来产生至少一个层。在操作1010，可从至少一个输入视图中选择预定输入视图，并可选择在选择的输入视图中的预定位置。所述预定位置可参照像素坐标。选择的预定输入视图将被称为第一输入视图，选择的预定位置将被称为第一位置。在操作1020中，可使用与第一位置相应的第一深度值，通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和第二深度。在操作1030，可将新的层添加到通过投射计算的第二位置和第二深度。在这种情况下，添加的新的层的颜色值可与第一位置的颜色值相同。在操作1040，可确定是否处理了所有输入视图和所有位置。当所有输入视图和所有位置被处理时，可执行合并产生的层的操作1050到1070。否则，可针对还未被处理的输入视图和位置迭代地执行操作1010到1040。
在操作1050到1070，可合并至少一个产生的层。在操作1050，可选择参考视图中的预定位置。在操作1060，可在选择的预定位置将包括在相互影响的层中的信息合并为单个层。在操作1070，可确定是否处理了所有位置。当所有位置被处理时，可终止所述处理。否则，可针对还未被处理的位置迭代地执行操作1050到1070。
参照图1到图9描述的技术特征将被同样地应用，从而为了简洁将省略详细描述。
图11示出根据示例实施例的产生输出视图的方法。操作1110和1120可相应于图1的产生输出视图的操作130，或者可包括在图1的产生输出视图的操作130之内。在操作1110，可通过将参考视图中的至少一个层中的每个层投射到输出视图上来计算至少一个层中的每个层在输出视图中的位置。在操作1120，对于输出视图中的每个位置，可将与计算的位置相应的至少一个层中的具有最小深度值的层的颜色确定为计算的位置的颜色。
使用输出视图中的每个位置的最邻近的层的颜色可被认为是对层之间的遮挡进行处理。为了实现合适的遮挡处理，可使用例如z缓存器的深度缓存器。与输出视图中的每个位置相应的颜色值和深度值可存储在深度缓存器中。每次使用投射到预定位置上的至少一个层写入颜色值时，可将层的深度值与已存在于深度缓存器中的深度值进行比较。例如，当层的深度值大于已存储在深度缓存器中的深度值，也就是，距相机的距离大于已存储在深度缓存器中的值时，可丢弃所述层的颜色值。当层的深度值小于已存储在深度缓存器中的深度值，也就是，距相机的距离小于已存储在深度缓存器中的值时，可将所述层的颜色值作为像素值存储在深度缓存器中，并且深度缓存器中的深度值可被更新。换句话说，当多个颜色通过至少一个层被分配给输出视图中的相同像素时，来自具有最接近的深度或最大视差的层的颜色可优先处理。可选择地，α值可用于合适的边界渲染。可根据α值将最前面的层的颜色值与随后的第二前面的层的颜色值混合。
参照图1到图10描述的技术特征将被同样地应用，从而为了简洁将省略详细描述。
图12示出根据示例实施例的将具有相似深度值的层投射到输出视图上的方法。在图12中，第一箭头1210和第二箭头1220可指示多层表现(也就是，参考视图)中的邻近位置，例如，邻近像素。换句话说，在图12中，在两个空间中的邻近位置与相关联的层一起被示出。
在邻近位置的层中，预定的层可具有相似的深度值。例如，当层的深度值之间的差小于或等于预定阈值时，所述层可被认为具有相似的深度值。
例如，由于层a和层d的深度值之间的差相应于d1，故层a和层d可被确定为具有相似的深度值。由于层b和层e的深度值之间的差相应于d2，故层b和层e可被确定为具有相似的深度值。然而，由于层a和层e的深度值之间的差相应于d3，故层a和层e可被确定为具有不同的深度值。由于层d和层b的深度值之间的差相应于d4，故层d和层b可被确定为具有不同的深度值。这里，可不存在具有与层c的深度值相似的深度值的层。
右侧的水平线可指示输出视图的空间域。输出视图中的像素位置1230、1232、1234、1236、1238、1240和1242被示出。对于多层表现中的每个水平邻近空间位置对(例如，第一箭头1210的位置和第二箭头1220的位置)，具有相似的深度值的层对可被处理以用于渲染。根据层a、b、d和e中的每个层的深度，可将层a、b、d和e投射到新的渲染的输出视图或输出图像的坐标系统上。可将层a投射到a’上。可将层b投射到b’上。可将层d投射到d’上。可将层e投射到e’上。
可使用内插(例如，使用双线性内插)的形式来对在a’和d’之间的所有像素位置的颜色值和深度值进行内插。作为示例，当像素位置1234的x坐标相应于3，a’的x坐标相应于2.5，并且d’的x坐标相应于3.5时，在像素位置1234的像素的颜色值可相应于在第一箭头1210的层a的颜色值和在第二箭头1220的层d的颜色值的中间值。作为另一示例，当像素位置1234的x坐标相应于3，a’的x坐标相应于2.9，并且d’的x坐标相应于3.2时，在像素位置1234的像素的颜色值可相应于在这样的点的值：在所述点，以1∶2划分在第一箭头1210的层a的颜色值和在第二箭头1220的层d的颜色值。相似地，可使用内插的形式对像素位置1234的深度值进行内插。另外，可使用b’和e’的颜色值和深度值的双线性内插来对像素位置1238和1240的颜色值和深度值进行内插。
当参考视图中的第一像素被投射到输出视图中的第一位置上并且参考视图中的第二像素被投射到输出视图中的第二位置上时，可基于第一像素的颜色和第二像素的颜色之间的双线性内插来确定在输出视图中的第一位置和第二位置之间存在的像素的颜色。相似地，可基于投射的第一像素的深度值和投射的第二像素的深度值的双线性内插来确定在输出视图中的第一位置和第二位置之间存在的像素的深度值。
图13示出根据示例实施例的图像处理设备1300。图像处理设备1300可包括多层表现产生单元1310、层扩展单元1320和输出视图产生单元1330。图像处理设备1300还可包括存储单元1340。至少一个输入视图1380可被输入到图像处理设备1300。至少一个输入视图1380中的每一个可包括图像1382和与所述图像1382相关联的深度图1384。至少一个输入视图1380中的每一个可相应于在场景的预定视点观看的视图。图像处理设备1300可输出在至少一个输出视点观看的新的图像1390。输出图像1390可属于内插区域和外插区域中的一个。
多层表现产生单元1310可使用至少一个输入视图1380来产生包括所有关于场景的信息的参考视图的多层表现。多层表现可包括基于至少一个输入视图1380中的每一个的图像1382和深度图1384产生的至少一个层。输出视图产生单元1330可使用产生的多层表现来产生在输出视点观看的输出视图。层扩展单元1320可对多层表现的至少一个层进行扩展。如参照图6所述，可在这样的范围内对至少一个层中的每个层进行扩展：在所述范围内，具有大于所述至少一个层中的每个层的深度值的深度值的层被遮挡。另外，可从位于层的端部的像素开始，基于逐像素迭代地确定至少一个层是否将被扩展。
通过扩展，在至少一个层中的针对参考视图中的预定的水平线具有最大深度值的层可具有所述预定的水平线上的所有区域的颜色信息。存储单元1340可存储并提供与至少一个输入视图1380、多层表现、参考视图和输出视图相关联的数据。
多层表现产生单元1310可通过将至少一个输入视图1380中的每一个的图像投射到参考视图上来产生至少一个层，并可合并产生的至少一个层中的相互影响的层。多层表现产生单元1310可通过以下步骤来产生至少一个层：(1)选择至少一个输入视图1380中的第一输入视图中的第一位置，(2)通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和深度，以及(3)将新的层添加到计算的第二位置和计算的深度。在这种情况下，添加的新的层的颜色值可以与第一位置的颜色值相同。
多层表现产生单元1310可通过以下步骤来合并相互影响的层：(1)选择参考视图中的第一位置，以及(2)在第一位置将包括在相互影响的层中的关于第一位置的信息合并为单个层。相互影响的层的深度值之间的差可小于或等于预定阈值。
输出视图产生单元1330可通过以下步骤来产生输出视图：(1)通过将至少一个层中的每个层投射到输出视图上来计算至少一个层中的每个层在输出视图中的位置，以及(2)对于输出视图中的每个位置，将至少一个层中的具有最小深度值的层的颜色确定为计算的位置的颜色。
当在多层表现中彼此邻近的第一像素和第二像素分别包括在第一层和第二层中时，将第一像素投射到输出视图的第一位置上，将第二像素投射到输出视图的第二位置上，并可基于第一像素的颜色和第二像素的颜色之间的双线性内插来确定位于第一位置和第二位置之间的像素的颜色。
图14示出多视图显示装置。参照图14，多视图显示装置1400可包括例如控制器1401和图像处理设备1405。
多视图显示装置1400可以是用于显示3D图像的3D显示器的形式并可采用多视图方案以输出多个不同视点。3D显示器的示例可包括平板计算装置、便携式游戏装置、3D电视显示器或者诸如在膝上型计算机中的便携式3D监视器。
控制器1401可产生一个或多个控制信号以控制多视图显示装置1400并将控制多视图显示装置1400进行显示。控制器1401可包括一个或多个处理器。
图像处理设备1405可被用于产生用于多视图显示装置1400的多视图图像，并可相应于例如如图13中示出的图像处理设备1300。因此，图像处理设备1405可包括例如多层表现产生单元1310、层扩展单元1320、输出视图产生单元1330和存储单元1340。虽然在图14中未示出，但是图像处理设备1405中的每个单元可相应于这里例如关于图13所讨论的相似命名的单元，从而这里不需进行进一步的讨论。
图像处理设备1405可被内部地安装在多视图显示装置1400之内，可被附着在多视图显示装置1400上，或可与多视图显示装置1400分离地实施。不管物理配置，图像处理设备1405具有这里讨论的所有性能。图像处理设备1405可包括一个或多个内部处理器或可由包括在多视图显示装置1400之内的一个或多个处理器(诸如，控制器1401的一个或多个处理器)控制。
参照图1到图15描述的技术特征将被同样地应用，从而为了简洁将省略详细描述。
根据上述实施例的技术特征可被记录在包括实现由计算机实施的各种操作的程序指令的非暂时计算机可读介质中。所述介质还可单独包括程序指令、数据文件、数据结构等或可包括程序指令、数据文件、数据结构等的组合。非暂时计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光介质(诸如，CD ROM盘和DVD)、磁光介质(诸如，光盘)以及特别配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如，由编译器产生)和包括可由计算机使用解释器执行的更高级代码的文件两者。所述硬件装置可被配置作为一个或多个软件模块以执行上述实施例的操作，反之亦然。
这里描述的软件模块中的一个或多个可由诸如对单元唯一的专用处理器的控制器执行，或可由软件模块中的一个或多个共同的处理器执行。所述方法可在通用计算机或处理器上执行，或可在诸如在此所述的用于处理图像的设备的特定机器上执行。
虽然已经示出和描述了实施例，但是本领域技术人员将理解的是，在不脱离本公开的原理和精神的情况下可对这些实施例做出改变，本公开的范围由权利要求及其等同物限定。

Claims (25)

1.一种处理图像的方法，所述方法包括：
使用至少一个输入视图产生包括关于场景的信息的参考视图的多层表现；
对多层表现的至少一个层进行扩展；以及
使用产生的多层表现产生在输出视点观看的输出视图，
其中，
在这样的范围之内对所述至少一个层中的每个层进行扩展，在所述范围中，在所述至少一个层中的具有大于所述至少一个层中的每个层的深度值的深度值的层未被遮挡，
所述至少一个输入视图中的每一个相应于在场景的预定视点观看的视图，
所述至少一个输入视图中的每一个包括图像以及与图像相关联的深度图，以及
多层表现包括基于所述至少一个输入视图中的每一个的图像和深度图产生的至少一个层。
2.如权利要求1所述的方法，其中，从位于所述至少一个层的端部的像素开始，基于逐像素迭代地确定所述至少一个层是否将被扩展。
3.如权利要求1所述的方法，其中，在所述至少一个层中的针对参考视图的预定水平线具有最大深度值的层具有所述预定水平线上的所有区域的颜色信息。
4.如权利要求1所述的方法，其中，产生多层表现的步骤包括：
通过将所述至少一个输入视图中的每一个的图像投射到参考视图上来产生所述至少一个层；以及
合并产生的至少一个层中的相互影响的层。
5.如权利要求4所述的方法，其中，产生所述至少一个层的步骤包括：
选择所述至少一个输入视图中的第一输入视图的第一位置；
通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和深度；以及
将新的层添加到第二位置和深度。
6.如权利要求5所述的方法，其中，添加的层的颜色值与第一位置的颜色值相同。
7.如权利要求4所述的方法，其中，相互影响的层的深度值之间的差小于或等于预定阈值。
8.如权利要求4所述的方法，其中，合并相互影响的层的步骤包括：
选择第一参考视图中的第一位置；以及
在第一位置将包括在相互影响的层中的关于第一位置的信息合并为单个层。
9.如权利要求1所述的方法，其中，产生输出视图的步骤包括：
通过将所述至少一个层中的每个层投射到输出视图上来计算所述至少一个层中的每个层在输出视图中的位置；以及
针对输出视图中的每个位置，将所述至少一个层中具有最小深度值的层的颜色确定为计算的位置的颜色。
10.如权利要求1所述的方法，其中，当在多层表现中彼此邻近的第一像素和第二像素分别包括在第一层和第二层中时，将第一像素投射到输出视图的第一位置上，将第二像素投射到输出视图的第二位置上，并基于第一像素的颜色和第二像素的颜色之间的内插来确定位于第一位置和第二位置之间的像素的颜色。
11.一种处理图像的设备，所述设备包括：
多层表现产生单元，使用至少一个输入视图产生包括关于场景的信息的参考视图的多层表现；
层扩展单元，对多层表现的至少一个层进行扩展；以及
输出视图产生单元，使用产生的多层表现产生在输出视点观看的输出视图，
其中，
在这样的范围之内对所述至少一个层中的每个层进行扩展，在所述范围中，在所述至少一个层中的具有大于所述至少一个层中的每个层的深度值的深度值的层未被遮挡，
所述至少一个输入视图中的每一个相应于在场景的预定视点观看的视图，
所述至少一个输入视图中的每一个包括图像以及与图像相关联的深度图，以及
多层表现包括基于所述至少一个输入视图中的每一个的图像和深度图产生的至少一个层。
12.如权利要求11所述的设备，其中，从位于所述至少一个层的端部的像素开始，基于逐像素迭代地确定所述至少一个层是否将被扩展。
13.如权利要求11所述的设备，其中，在所述至少一个层中的针对参考视图的预定水平线具有最大深度值的层具有所述预定水平线上的所有区域的颜色信息。
14.如权利要求11所述的设备，其中，多层表现产生单元通过将所述至少一个输入视图中的每一个的图像投射到参考视图上来产生所述至少一个层，并合并产生的至少一个层中的相互影响的层。
15.如权利要求14所述的设备，其中，
多层表现产生单元选择所述至少一个输入视图中的第一输入视图的第一位置，通过将选择的第一位置投射到参考视图上来计算参考视图中的第二位置和深度，并将新的层添加到第二位置和深度，并且
添加的层的颜色值与第一位置的颜色值相同。
16.如权利要求15所述的设备，其中，相互影响的层的深度值之间的差小于或等于预定阈值。
17.如权利要求14所述的设备，其中，多层表现产生单元选择第一参考视图中的第一位置，并在第一位置将包括在相互影响的层中的关于第一位置的信息合并为单个层。
18.如权利要求11所述的设备，其中，输出视图产生单元通过将所述至少一个层中的每个层投射到输出视图上来计算所述至少一个层中的每个层在输出视图中的位置，并针对输出视图中的每个位置，将所述至少一个层中具有最小深度值的层的颜色确定为计算的位置的颜色。
19.一种处理图像的方法，所述方法包括：
接收包括图像以及图像的颜色信息和深度值的多个视图的输入；以及
使用所述多个视图产生参考视图，
其中，产生的参考视图的至少一个位置包括多个不同深度值以及与所述多个不同深度值相应的颜色信息，
通过在参考视图的所述至少一个位置将相互影响的深度值合并为单个深度值来产生所述多个不同深度值。
20.如权利要求19所述的方法，还包括：
基于产生的参考视图来产生将被显示的输出视图。
21.如权利要求19所述的方法，其中，相互影响的深度值之间的差小于或等于预定阈值。
22.一种图像处理方法，包括：
产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，其中，场景信息包括与多个像素位置相关联的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；
基于预定规则去除在相同像素位置的层之间的相互影响；
如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；以及
通过渲染来自多层表现的数据来产生输出视图图像。
23.一种图像处理设备，包括：
多层表现产生单元，产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，并基于预定规则去除在相同像素位置的层之间的相互影响，其中，场景信息包括与多个像素位置相关联的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；
层扩展单元，如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；以及
输出视图产生单元，通过渲染来自多层表现的数据来产生输出视图图像。
24.一种产生多视图图像的方法，所述方法包括：
通过将多个输入图像中的每一个投射到包括存在于所述多个输入图像中的场景信息的单个参考视图上来产生多层表现，其中，场景信息包括与多个像素位置相关联的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；以及
基于预定规则去除在相同像素位置的多层表现的层之间的相互影响。
25.一种包括图像处理设备的多视图显示装置，所述多视图显示装置包括：
多层表现产生单元，产生包括存在于多个输入图像中的场景信息的单个参考视图的多层表现，并基于预定规则去除在相同像素位置的层之间的相互影响，其中，场景信息包括与多个像素位置相关联的像素信息以及与像素信息相应的层信息，层信息包括与像素信息相应的深度信息；
层扩展单元，如果传播的邻近层信息不遮挡在邻近位置的任何现有的层信息，则通过将邻近层信息传播到邻近位置来在遮挡的区域中创建层信息；以及
输出视图产生单元，通过渲染来自多层表现的数据来产生用于由多视图显示装置显示的输出视图图像。
CN201210576255.3A 2011-12-26 2012-12-26 使用多层表现的图像处理方法和设备 Expired - Fee Related CN103179416B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110142431A KR20130074383A (ko) 2011-12-26 2011-12-26 다중-레이어 표현을 사용하는 영상 처리 방법 및 장치
KR10-2011-0142431 2011-12-26

Publications (2)

Publication Number Publication Date
CN103179416A CN103179416A (zh) 2013-06-26
CN103179416B true CN103179416B (zh) 2016-08-10

Family

ID=47605334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210576255.3A Expired - Fee Related CN103179416B (zh) 2011-12-26 2012-12-26 使用多层表现的图像处理方法和设备

Country Status (5)

Country Link
US (1) US20130162634A1 (zh)
EP (1) EP2611182A3 (zh)
JP (1) JP5986918B2 (zh)
KR (1) KR20130074383A (zh)
CN (1) CN103179416B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
KR101856568B1 (ko) * 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
US20150130799A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of images and video for generation of surround views
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
US10547822B2 (en) 2014-05-21 2020-01-28 Sony Corporation Image processing apparatus and method to generate high-definition viewpoint interpolation image
CA2960426A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法
US10586378B2 (en) 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
KR101648964B1 (ko) 2015-04-02 2016-08-30 네이버 주식회사 자동 여백 생성을 이용하여 컨텐츠를 제공하는 시스템 및 방법
KR101654300B1 (ko) * 2015-04-03 2016-09-22 네이버 주식회사 모션 연출이 포함된 페이지의 레이어 병합을 이용하여 컨텐츠를 제공하는 시스템 및 방법
EP3286737A1 (en) * 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10698558B2 (en) 2015-07-15 2020-06-30 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN105654526B (zh) * 2015-12-31 2018-07-20 南京华捷艾米软件科技有限公司 一种基于双向扫描的视差图生成方法及电路设计
EP3493540B1 (en) * 2016-07-29 2024-07-03 Sony Group Corporation Image processing device and image processing method
KR20190034199A (ko) * 2016-07-29 2019-04-01 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US10325403B2 (en) 2016-08-24 2019-06-18 Google Llc Image based rendering techniques for virtual reality
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10665024B2 (en) 2016-12-12 2020-05-26 Fyusion, Inc. Providing recording guidance in generating a multi-view interactive digital media representation
US10353946B2 (en) 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10628675B2 (en) 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
US11044464B2 (en) 2017-02-09 2021-06-22 Fyusion, Inc. Dynamic content modification of image and video based multi-view interactive digital media representations
US10356395B2 (en) 2017-03-03 2019-07-16 Fyusion, Inc. Tilts as a measure of user engagement for multiview digital media representations
US10440351B2 (en) 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations
US10672311B2 (en) * 2017-05-04 2020-06-02 Pure Depth, Inc. Head tracking based depth fusion
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10237477B2 (en) 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US10200677B2 (en) 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US11138432B2 (en) 2017-05-25 2021-10-05 Fyusion, Inc. Visual feature tagging in multi-view interactive digital media representations
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10783681B2 (en) * 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
US10356341B2 (en) 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
EP3698332A4 (en) * 2017-10-18 2021-06-30 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
WO2019129923A1 (en) * 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10659686B2 (en) 2018-03-23 2020-05-19 Fyusion, Inc. Conversion of an interactive multi-view image data set into a video
US10687046B2 (en) 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
US10382739B1 (en) 2018-04-26 2019-08-13 Fyusion, Inc. Visual annotation using tagging sessions
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP2022551064A (ja) * 2019-10-02 2022-12-07 インターデジタル ブイシー ホールディングス フランス，エスアーエス 容積ビデオを符号化、送信、及び復号化するための方法及び装置
BR102020027013A2 (pt) 2020-12-30 2022-07-12 Samsung Eletrônica da Amazônia Ltda. Método para gerar uma imagem multiplano adaptativa a partir de uma única imagem de alta resolução

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1089844A (zh) * 1993-01-14 1994-07-27 庞庆顺 中药神龙壮阳健身补液
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
JP2006208767A (ja) * 2005-01-28 2006-08-10 Nikon Corp 画像再生装置、及び画像再生プログラム
CN101888563A (zh) * 2009-05-12 2010-11-17 华映视讯（吴江）有限公司 多层景深立体显示器影像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182321B2 (ja) * 1994-12-21 2001-07-03 三洋電機株式会社 疑似立体動画像の生成方法
WO2005027052A1 (en) * 2003-09-17 2005-03-24 Koninklijke Philips Electronics N.V. System and method for rendering 3-d images on a 3-d image display screen
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
GB2417628A (en) * 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
CN101902657B (zh) * 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1089844A (zh) * 1993-01-14 1994-07-27 庞庆顺 中药神龙壮阳健身补液
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
JP2006208767A (ja) * 2005-01-28 2006-08-10 Nikon Corp 画像再生装置、及び画像再生プログラム
CN101888563A (zh) * 2009-05-12 2010-11-17 华映视讯（吴江）有限公司 多层景深立体显示器影像处理方法

Also Published As

Publication number Publication date
JP2013134787A (ja) 2013-07-08
US20130162634A1 (en) 2013-06-27
KR20130074383A (ko) 2013-07-04
EP2611182A3 (en) 2015-04-22
EP2611182A2 (en) 2013-07-03
CN103179416A (zh) 2013-06-26
JP5986918B2 (ja) 2016-09-06

Similar Documents

Publication Publication Date Title
CN103179416B (zh) 使用多层表现的图像处理方法和设备
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
CN106664397B (zh) 用于生成三维图像的方法和装置
JP5964741B2 (ja) 多視点生成方法及び装置
US9786253B2 (en) Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
US9153032B2 (en) Conversion method and apparatus with depth map generation
JP5011316B2 (ja) 出力画像のレンダリング
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
EP2175663B1 (en) Image processing apparatus
US20110205226A1 (en) Generation of occlusion data for image properties
KR102546358B1 (ko) 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
JP2011512717A (ja) 穴充填のための方法及び画像処理デバイス
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
JP6184062B2 (ja) 映像処理のための方法及び装置
JP2011039801A (ja) 画像処理装置および画像処理方法
JP2011197816A (ja) 画像生成方法
US20120281067A1 (en) Image processing method, image processing apparatus, and display apparatus
KR20120059955A (ko) 중간 시점 영상 생성 장치 및 방법
Tian et al. A trellis-based approach for robust view synthesis
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20171226

CF01 Termination of patent right due to non-payment of annual fee