CN102687178B - 用于产生多视图的渲染设备和方法 - Google Patents

用于产生多视图的渲染设备和方法 Download PDF

Info

Publication number
CN102687178B
CN102687178B CN201180004611.8A CN201180004611A CN102687178B CN 102687178 B CN102687178 B CN 102687178B CN 201180004611 A CN201180004611 A CN 201180004611A CN 102687178 B CN102687178 B CN 102687178B
Authority
CN
China
Prior art keywords
view
cavity
prediction
multi views
empty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180004611.8A
Other languages
English (en)
Other versions
CN102687178A (zh
Inventor
黄圭荣
李晧荣
赵良镐
郑英珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102687178A publication Critical patent/CN102687178A/zh
Application granted granted Critical
Publication of CN102687178B publication Critical patent/CN102687178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

提供一种用于产生多视图的渲染设备和方法。渲染单元可通过渲染一个或多个参考视图来产生多个视图，空洞聚合单元可产生参考空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合。空洞修补单元可对参考空洞进行修补，多视图产生单元可使用修补的参考空洞来去除存在于每个预测视图中的空洞。

Description

用于产生多视图的渲染设备和方法
技术领域
以下描述中的一个或多个示例性实施例涉及一种用于产生多视图的渲染设备和方法，更具体地说，涉及这样一种用于产生多视图的渲染设备和方法，该渲染设备和方法可减小或消除产生的视图之间的不一致。
背景技术
立体图像是指用于同时提供针对深度和空间的形状信息的三维(3D)图像。用于显示3D图像的3D显示器可采用同时输出至少两个图像的多视图方案，以便提供好像从不同方向(即，不同视点)观看相同图像的效果。通常说来，3D显示器似乎从输出左图像和右图像的立体显示器发展为输出三个或更多不同视点的多视图显示器。
当捕获的图像被发送到显示设备时，显示设备可使用多视图方案从接收的图像产生内插图像或外插图像。换言之，产生的图像的数量可多于实际捕获的图像的数量。这里，由于捕获的图像与内插图像和外插图像之间的不一致，图像质量会下降。例如，在两个连续图像中，相同的背景会错误地由不同色彩来表示。这是因为在不考虑所有可用图像像素数据的情况下，存在于两个内插图像中的每一个内插图像中的空洞会分别被修补。
发明内容
技术问题
通过提供一种用于产生多视图的设备来实现上述和/或其它方面，所述设备包括：处理器，用于控制一个或多个处理器可执行的单元；渲染单元，用于通过渲染一个或多个参考视图来产生多个预测视图；空洞聚合单元，用于产生参考空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，空洞是指没有像素值的区域；空洞修补单元，用于对参考空洞进行修补；多视图产生单元，用于使用修补的参考空洞来去除存在于每个预测视图中的空洞。
预测视图可以是位于两个连续参考视图之间的内插视图。
内插视图可以是连续内插视图。
空洞聚合单元可产生包括参考空洞的参考空洞层，参考空洞层可具有与每个内插视图相同的大小。
多视图产生单元可通过将修补的参考空洞的相应部分插入每个内插视图来去除空洞。
预测视图可以是位于所述一个或多个参考视图外部的外插视图。
外插视图可通过渲染单个参考视图而产生。
空洞聚合单元可产生包括参考空洞的参考空洞层，参考空洞层可具有与每个外插视图相同的大小。
多视图产生单元可通过将修补的参考空洞的相应部分插入每个外插视图来去除空洞。
渲染设备还可包括：空洞检测单元，用于检测存在于所述多个预测视图中的每个预测视图中的空洞。
通过提供一种多视图产生方法来实现上述和/或其它方面，所述方法包括：经由处理器通过渲染一个或多个参考视图来产生多个预测视图；产生参考空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，空洞是指没有像素值的区域；对参考空洞进行修补；使用修补的参考空洞来去除存在于每个预测视图中的空洞。
预测视图可以是位于两个连续参考视图之间的内插视图。
内插视图可以是连续内插视图。
产生参考空洞的步骤可包括：产生包括参考空洞的参考空洞层，参考空洞层可具有与每个内插视图相同的大小。
去除空洞的步骤可包括：通过将修补的参考空洞的相应部分插入每个内插视图来去除空洞。
通过提供一种用于产生多视图的渲染设备来实现上述和/或其它方面，所述渲染设备包括：存储器；处理器，被配置为用于产生参考空洞，对参考空洞进行修补，并使用修补的参考空洞来去除存在于多个预测视图中的每个预测视图中的空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合。
通过提供一种包括用于产生多视图的设备的多视图显示装置来实现上述和/或其它方面。所述多视图显示装置包括：处理器，该处理器被包括在用于产生多视图的设备中，并被配置为用于产生参考空洞，对参考空洞进行修补，并使用修补的参考空洞来去除存在于多个预测视图中的每个预测视图中的空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合；多视图显示器，用于显示基于预测视图的多视图图像。
在多视图显示装置中，用于产生多视图的设备可通过将修补的参考空洞的相应部分插入每个内插视图的每个空洞来去除空洞。
示例性实施例的其它方面、特定和/或优点将在以下描述中被部分阐述，将通过所述描述部分地变得清楚，或者，所述其它方面、特定和/或优点可通过实施公开的内容而被获知。
附图说明
通过下面结合附图对示例性实施例进行的描述，这些和/或其它方面和优点将变得清楚和更加易于理解，其中：
图1示出根据示例性实施例的用于产生多视图的渲染设备的框图；
图2示出修补方案的示图；
图3示出根据示例性实施例的当预测视图是内插视图时产生多视图的示例的视图；
图4示出根据示例性实施例的当预测视图是外插视图时产生多视图的示例的视图；
图5示出根据示例性实施例的渲染设备的多视图产生方法的流程图；以及
图6示出根据示例性实施例的包括用于产生多视图的设备的多视图显示装置的框图。
具体实施方式
现将详细参照示例性实施例，所述示例性实施例的示例在附图中示出，在附图中，相同的标号始终指示相同的部件。以下，通过参照附图来描述示例性实施例，从而解释本公开。
图1示出用于产生多视图的渲染设备100。
图1的渲染设备100可应用于使用立体方案或多视图方案来提供三维(3D)图像的设备。立体方案使用左图像和右图像来提供3D图像。多视图方案使用与至少三个不同视点相应的图像来提供3D图像。
参照图1，作为示例，渲染设备100可包括：渲染单元110、空洞检测单元120、空洞聚合单元130、空洞修补单元(holeinpaintingunit)140和多视图产生单元150。
渲染单元110可通过渲染一个或多个参考视图来产生多个预测视图。可通过从不同位置捕获单个图像来获取参考视图，参考视图由此可具有不同视点。具体说来，渲染单元110可通过渲染参考视图中像素的差异(disparity)和像素的色彩值中的至少一个来产生预测视图。术语“差异”可指两个连续参考视图之间的差别，并且，作为示例，所述“差异”可包括像素值上的差别、像素位置上的差别等。
预测视图可包括通过内插方案产生的内插视图以及通过外插方案产生的外插视图。渲染单元110可基于色彩值和两个参考视图的差异来产生内插视图。此外，渲染单元110可基于多个参考视图中最左边参考视图的色彩值或最右边参考视图的色彩值来产生外插视图。最左边参考视图可位于所述多个参考视图的最左侧，最右边参考视图可位于所述多个参考视图的最右侧。因此，外插视图可以是参考视图外部的视图。例如，使用最左边参考视图产生的外插视图可相应于比最左边参考视图更左边的视点。
空洞检测单元120可检测存在于由渲染单元110产生的每个预测视图中的空洞。空洞可以是不存在像素值的区域或未填充像素的色彩值的区域。预测视图可相应于不同于参考视图的视点，根据视点上的差别，参考视图中的对象会看起来在预测视图中沿预定方向移动。因此，当参考视图中被对象遮蔽的背景由于视点上的差别在预测视图中变得可见时，所述背景会被表示为空洞。此外，由于上述差异所引起的误差，每个预测图像会具有空洞。
空洞聚合单元130可使用存在于每个预测视图中的空洞来产生单个参考空洞层。具体说来，空洞聚合单元130可针对多个预测视图中的每个连续预测视图产生单个参考空洞层。参考空洞层可具有与预测视图的每个视图相同的各个大小，并可包括参考空洞。
为了产生参考空洞层，空洞聚合单元130可根据由渲染单元110产生的预测视图是内插视图还是外插视图来使用不同参考。
在由渲染单元110产生了多个内插视图的示例中，空洞聚合单元130可针对多个内插视图中的每个连续内插视图产生单个空洞层。连续内插视图可位于多个参考视图中的两个连续参考视图之间，这是因为连续内插视图是通过对两个连续参考视图进行内插而产生的。
空洞聚合单元130可通过聚合从多个内插视图检测到的空洞来产生参考空洞。例如，当两个参考视图是左参考视图和右参考视图时，渲染单元110可产生左参考视图和右参考视图之间的内插视图。当空洞检测单元120从内插视图检测到空洞时，空洞聚合单元130可通过聚合检测到的空洞来产生参考空洞。因此，参考空洞表示来自每个内插视图的空洞的聚合。在聚合期间，两个或更多内插视图所共有的空洞被计入一次。因为参考空洞表示内插视图中的空洞的集合，因此，参考空洞可具有或不具有邻接区域。
此外，空洞聚合单元130可产生包括产生的参考空洞的参考空洞层。参考空洞层可具有与每个内插视图相同的大小，参考空洞可具有与检测到的空洞中的最大空洞相同的大小。
在由渲染单元110产生了多个外插视图的另一示例中，空洞聚合单元130可针对多个外插视图中的连续外插视图产生单个参考空洞层。可从多个参考视图中的最左边参考视图或最右边参考视图来产生连续外插视图。空洞聚合单元130可通过聚合存在于连续外插视图中的空洞来产生参考空洞。如同内插视图的参考空洞一样，外插视图的参考空洞可具有或不具有邻接区域。
此外，空洞聚合单元130可产生包括产生的参考空洞的参考空洞层。参考空洞层可具有与外插视图中的每个各自的视图相同的大小。
空洞修补单元140可基于已知像素信息对由空洞聚合单元130产生的参考空洞层的参考空洞进行修补。例如，空洞修补单元140可使用已知修补方案对参考空洞进行修补。
图2示出修补方案的示例。参照图2，修补方案通过将空洞周围的已知区域的像素值进行扩散来用像素值填充空洞。
在修补方案中，可使用等式1来预测空洞中的像素的像素值。
[等式1]：
I q ( p ) = I ( q ) + ▿ I ( q ) ( p - q )
在等式1中，q表示已知区域中的像素的坐标，p表示空洞中的像素的坐标，I表示像素值，表示梯度。换言之，空洞修补单元140可使用像素的坐标p、邻近像素的坐标q、邻近像素的像素值I(q)来对空洞进行修补。
或者，为了获得在坐标p的像素值，空洞修补单元140可使用以下的等式2，使用已知区域的所有像素值来对空洞进行修补。
[等式2]
I ( p ) = ∑ q ∈ B ϵ w ( p , q ) [ I ( q ) + ▿ I ( q ) ( p - q ) ] ∑ q ∈ B ϵ
在等式2中，Bε表示坐标q所在的已知区域，w(p，q)表示相对权重值。w(p，q)作为应用于已知区域中的所有坐标的权重值，可针对每个坐标p具有不同值。
除了上述修补方案之外，空洞修补单元140可使用其它已知修补方案来对空洞进行修补，所述其它已知修补方案诸如基于样本的修补方案，其使用图像中的样点来对图像进行修补。
多视图产生单元150可使用其中的参考空洞已被修补的参考空洞层来填充存在于每个预测视图中的空洞。在预测视图是内插视图的示例中，多视图产生单元150可将参考空洞的相应部分插入每个内插视图的空洞。同样地，当预测视图是外插视图时，多视图产生单元150可将参考空洞的相应部分插入每个外插视图的空洞。因此，多视图产生单元150可产生多视图，其中，在所述多视图中，内插视图和外插视图中的空洞已经填充有来自参考空洞的相应部分。
以下，将参照图3和图4来分别描述当预测视图是内插视图时产生多视图的方法以及当预测视图是外插视图时产生多视图的方法。
图3示出当预测视图是内插视图时产生多视图的示例。
参照图3，左参考视图和右参考视图是多个参考视图中的连续视图。左参考视图和右参考视图相应于不同视点，并具有类似的背景。对象310L与对象310R相同，对象320L与对象320R相同。
渲染单元110可通过将内插方案应用于左参考视图和右参考视图来产生第一内插视图和第二内插视图。这里，第一内插视图可显示出以下结果：对象310L和320L向左移动距离“d”，相应地，会在第一内插视图中形成空洞h1。此外，第二内插视图可显示出以下结果：对象310R和320R向右移动，相应地，会在第二内插视图中形成空洞h2。
空洞检测单元120可分别从第一内插视图和第二内插视图检测空洞h1和h2。空洞聚合单元130可通过聚合检测到的空洞h1和h2来产生参考空洞h3。在聚合期间，空洞h1和h2中共有的区域被计入一次。因此，参考空洞h3的大小通常超过单个空洞h1和h2中的每个空洞的大小。在空洞h2整个遮蔽空洞h1的稀有情况下，参考空洞h3的大小可以与空洞h2的大小相同。空洞聚合单元130可产生包括参考空洞h3的参考空洞层，并且可对参考空洞h3进行修补。因此，包括修补的参考空洞h4的参考空洞层可被产生。包括修补的参考空洞h4的参考空洞层可被称为修补的参考空洞层。
多视图产生单元150可通过将修补的参考空洞h4的相应部分插入第一内插视图的空洞h1来填充空洞h1。第一内插视图中空洞h1的位置可相对地等于修补的参考空洞层中修补的参考空洞h4的相应部分的位置。因此，多视图产生单元150可通过将修补的参考空洞h4中与空洞h1匹配的区域的像素值插入空洞h1来填充空洞h1，并可产生空洞h1被去除的第一“多视图”。可按照与第一“多视图”相同的方式来产生第二“多视图”，因此，将省略对产生第二“多视图”的进一步描述。
图4示出当预测视图是外插视图时产生多视图的示例。
参照图4，最左边参考视图位于多个参考视图的最左侧，并包括对象410。渲染单元110可通过将外插方案应用于最左边参考视图来顺序地产生第一外插视图和第二外插视图。第一外插视图可显示出以下结果：对象410向右移动距离“d1”，相应地，会在第一外插视图中形成空洞h5。此外，第二外插视图可显示出以下结果：对象410向右移动距离“d2”，相应地，会在第二外插视图中形成空洞h6。
空洞检测单元120可分别从第一外插视图和第二外插视图检测空洞h5和h6。空洞聚合单元130可通过聚合检测到的空洞h5和h6来产生参考空洞h7。在聚合期间，空洞h5和h6中共有的区域被计入一次。因此，参考空洞h7通常具有比空洞h5和h6中的每一个空洞更大的大小。然而，当空洞h6整个遮蔽空洞h5时，参考空洞h7可具有与空洞h6相同的大小。空洞聚合单元130可产生包括参考空洞h7的参考空洞层，并且可对参考空洞h7进行修补。因此，包括修补的参考空洞h8的修补的参考空洞层可被产生。
多视图产生单元150可通过将修补的参考空洞h8的相应部分插入第一外插视图的空洞h5来填充空洞h5，并可产生空洞h5被去除的第三“多视图”。可按照与第三“多视图”相同的方式来产生第四“多视图”，因此，将省略对产生第四“多视图”的进一步描述。
为了执行上述操作，渲染设备100还可包括存储器、处理器和控制器。处理器或控制器可被配置为使用存在于多个预测视图中的每个预测视图中的空洞来产生单个参考空洞层，对产生的参考空洞层的参考空洞进行修补，使用其中的参考空洞被修补的参考空洞层来填充预测视图中的空洞。
此外，当渲染设备100被包括在显示设备中时，产生的多视图可被处理为可显示的信号，并可被显示在屏幕或显示器上。
图5示出多视图产生方法的示例。
可通过图1的渲染设备100来实现或执行图5的多视图产生方法，或者，可通过渲染设备100中的处理器或控制器来实现或执行图5的多视图产生方法。
在操作510，渲染设备可通过渲染一个或多个参考视图来产生多个预测视图，或者，渲染设备可通过渲染所述一个或多个参考视图的差异和色彩值来产生多个预测视图。预测视图可以是使用内插方案产生的内插视图或使用外插方案产生的外插视图，或者，预测视图可以是内插视图和外插视图两者的组合。
在操作520，渲染设备可从所述多个预测视图检测空洞。
在操作530，渲染设备可通过聚合检测到的空洞来产生单个参考空洞，并可产生包括参考空洞的单个参考空洞层。这里，渲染设备可针对所述多个预测视图中的每个连续预测视图产生单个参考空洞层。
参考空洞层可具有与预测视图中的每个视图相同的各个大小。参考空洞可具有比预测视图中的每个空洞更大的大小。当任何预测视图中不存在共有的空洞时，参考空洞可具有等于预测视图中的每个空洞之和的大小。在一个预测视图中的空洞整个遮蔽其它预测视图中的空洞的稀有情况下，参考空洞可具有等于所述一个预测视图中的空洞之和的大小。因为参考空洞表示空洞的集合，因此，所述参考空洞可具有或不具有邻接区域。
在操作540，渲染设备可对参考空洞层的参考空洞进行修补。
在操作550，渲染设备可通过将修补的参考空洞的相应部分插入预测视图的空洞来从每个预测视图去除检测到的空洞。
在操作560，渲染设备可产生其中的空洞被从每个预测视图去除的多视图。
根据上述示例性实施例的方法可被记录在包括程序指令的非瞬时计算机可读介质中，所述程序指令用于实现由计算机实施的各种操作。所述介质还可单独(或与程序指令相结合地)包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例性实施例的目的而专门设计和构建的程序指令，或者，所述程序指令可以是计算机软件领域的技术人员公知和可用的程序指令。非瞬时计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)、光介质(诸如CDROM盘和DVD)、磁光介质(诸如光盘)和被专门配置为用于存储并执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。所述介质可以是传输介质，诸如光学线路、金属线路或包括用于传输指定程序命令和数据结构的信号的载波的波导。
程序指令的示例包括诸如由编译器生成的机器码和包含更高级代码的文件两者，其中，可由计算机使用解释器来执行所述更高级代码。所述硬件装置可被配置为用作一个或多个软件模块以执行上述示例性实施例的操作，反之亦然。这里描述的软件模块中的任何一个或多个软件模块可由所述单元独有的专用处理器来执行，或者，可由所述模块中的一个或多个所共有的处理器来执行。所述方法可在通用计算机或处理器上执行，或者，可在特定机器(诸如用于控制这里所述的产生多视图的设备)上执行。
图6示出根据示例性实施例的包括用于产生多视图的设备的多视图显示装置600。
参照图6，作为示例，多视图显示装置600可包括控制器601和用于产生多视图的设备605。
多视图显示装置600可具有用于显示3D图像的3D显示器的形式，并可采用多视图方案来输出三个或更多不同视点。或者，多视图显示装置600可具有输出左图像和右图像的立体显示器的形式。
控制器601可产生一个或多个控制信号，所述一个或多个控制信号用于控制多视图显示装置600并将被多视图显示装置600显示。控制器601可包括一个或多个处理器。
用于产生多视图的设备605可用于产生多视图显示装置600的多视图，并且，作为示例，所述用于产生多视图的设备605可包括渲染单元610、空洞检测单元620、空洞聚合单元630、空洞修补单元640和多视图产生单元650。以上项610-650均未在图6中示出。然而，这些单元中的每一个可相应于这里例如参照图1描述的类似命名的单元，因此，不需在此进一步描述。
用于产生多视图的设备605可内部安装于多视图显示装置600之内，可被附连到多视图显示装置600，或者可与多视图显示装置600相分离地实现。不管用于产生多视图的设备605的物理配置为何，用于产生多视图的设备605具有这里描述的所有性能。用于产生多视图的设备605可包括一个或多个内部处理器，或者可被包括在多视图显示装置600内的一个或多个处理器(诸如控制器601的一个或多个处理器)所包括。
尽管已示出并描述了示例性实施例，但是，本领域技术人员将认识到：在不脱离所公开的原理和精神的情况下，可对这些示例性实施例进行各种改变，其中，公开的范围由权利要求及其等同物来限定。

Claims (27)

1.一种用于产生多视图的设备，所述设备包括：
渲染单元，用于通过渲染一个或多个参考视图来产生多个预测视图；
空洞聚合单元，用于产生参考空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，在聚合期间，所述多个预测视图所共有的空洞被计入一次；
空洞修补单元，用于对参考空洞进行修补；以及
多视图产生单元，用于使用修补的参考空洞来去除存在于每个预测视图中的空洞。
2.如权利要求1所述的设备，其中，预测视图是位于两个连续参考视图之间的内插视图。
3.如权利要求2所述的设备，其中，内插视图是连续内插视图。
4.如权利要求2所述的设备，其中，空洞聚合单元产生包括参考空洞的参考空洞层，参考空洞层具有与内插视图中的每个各自的视图相同的大小。
5.如权利要求2所述的设备，其中，参考空洞具有比内插视图中的每个各自的视图中的每个空洞更大的大小。
6.如权利要求2所述的设备，其中，多视图产生单元通过将修补的参考空洞的相应部分插入每个内插视图的每个空洞来去除空洞。
7.如权利要求1所述的设备，其中，预测视图是位于所述一个或多个参考视图外部的外插视图。
8.如权利要求7所述的设备，其中，外插视图通过渲染单个参考视图而产生。
9.如权利要求7所述的设备，其中，外插视图是连续外插视图。
10.如权利要求7所述的设备，其中，空洞聚合单元产生包括参考空洞的参考空洞层，参考空洞层具有与每个外插视图相同的大小。
11.如权利要求7所述的设备，其中，参考空洞具有比每个外插视图中的每个空洞更大的大小。
12.如权利要求7所述的设备，其中，多视图产生单元通过将修补的参考空洞的相应部分插入每个外插视图的每个空洞来去除空洞。
13.如权利要求1所述的设备，还包括：
空洞检测单元，用于检测存在于所述多个预测视图中的每个预测视图中的空洞。
14.一种多视图产生方法，所述方法包括：
经由处理器通过渲染一个或多个参考视图来产生多个预测视图；
产生参考空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，在聚合期间，所述多个预测视图所共有的空洞被计入一次；
对参考空洞进行修补；以及
使用修补的参考空洞来去除存在于每个预测视图中的空洞。
15.如权利要求14所述的多视图产生方法，其中，预测视图是位于两个连续参考视图之间的内插视图。
16.如权利要求15所述的多视图产生方法，其中，内插视图是连续内插视图。
17.如权利要求15所述的多视图产生方法，其中，产生参考空洞的步骤包括：产生包括参考空洞的参考空洞层，参考空洞层具有与内插视图中的每个各自的视图相同的大小。
18.如权利要求15所述的多视图产生方法，其中，参考空洞具有比内插视图中的每个各自的视图中的每个空洞更大的大小。
19.如权利要求15所述的多视图产生方法，其中，去除空洞的步骤包括：通过将修补的参考空洞的相应部分插入每个内插视图的每个空洞来去除空洞。
20.如权利要求14所述的多视图产生方法，其中，预测视图是位于所述一个或多个参考视图外部的外插视图。
21.如权利要求20所述的多视图产生方法，其中，外插视图通过渲染单个参考视图而产生。
22.如权利要求20所述的多视图产生方法，其中，外插视图是连续外插视图。
23.如权利要求20所述的多视图产生方法，其中，产生参考空洞的步骤包括：产生包括参考空洞的参考空洞层，参考空洞层具有与外插视图中的每个各自的视图相同的大小。
24.如权利要求20所述的多视图产生方法，其中，参考空洞具有比外插视图中的每个各自的视图中的每个空洞更大的大小。
25.如权利要求20所述的多视图产生方法，其中，去除空洞的步骤包括：通过将修补的参考空洞的相应部分插入每个外插视图的每个空洞来去除空洞。
26.一种用于产生多视图的渲染设备，所述渲染设备包括：
存储器；以及
处理器，被配置为用于产生参考空洞，对参考空洞进行修补，并使用修补的参考空洞来去除存在于多个预测视图中的每个预测视图中的空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，在聚合期间，所述多个预测视图所共有的空洞被计入一次。
27.一种包括用于产生多视图的设备的多视图显示装置，所述多视图显示装置包括：
处理器，该处理器被包括在用于产生多视图的设备中，并被配置为用于产生参考空洞，对参考空洞进行修补，并使用修补的参考空洞来去除存在于多个预测视图中的每个预测视图中的空洞，其中，所述参考空洞表示存在于每个预测视图中的空洞的聚合，在聚合期间，所述多个预测视图所共有的空洞被计入一次；以及
多视图显示器，用于显示基于预测视图的多视图图像。
CN201180004611.8A 2010-08-27 2011-08-25 用于产生多视图的渲染设备和方法 Active CN102687178B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20100083570 2010-08-27
KR10-2010-0083570 2010-08-27
PCT/KR2011/006285 WO2012026768A2 (en) 2010-08-27 2011-08-25 Rendering apparatus and method for generating multi-views

Publications (2)

Publication Number Publication Date
CN102687178A CN102687178A (zh) 2012-09-19
CN102687178B true CN102687178B (zh) 2016-04-20

Family

ID=45696564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180004611.8A Active CN102687178B (zh) 2010-08-27 2011-08-25 用于产生多视图的渲染设备和方法

Country Status (6)

Country Link
US (1) US9147281B2 (zh)
EP (1) EP2609575B1 (zh)
JP (1) JP5784729B2 (zh)
KR (1) KR101895327B1 (zh)
CN (1) CN102687178B (zh)
WO (1) WO2012026768A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR101918030B1 (ko) 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
EP3511147B1 (en) * 2014-09-29 2020-11-11 Nichia Corporation Method for manufacturing package, method for manufacturing light emitting device, package and light emitting device
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
KR102350235B1 (ko) 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
CN106028020B (zh) * 2016-06-21 2017-11-17 电子科技大学 一种基于多方向预测的虚拟视角图像空洞填补方法
CN110895793B (zh) * 2018-09-13 2022-06-14 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1272967C (zh) * 2002-01-18 2006-08-30 株式会社东芝 视频编码方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530774A (en) * 1994-03-25 1996-06-25 Eastman Kodak Company Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
EP1654884A1 (en) * 2003-08-05 2006-05-10 Koninklijke Philips Electronics N.V. Multi-view image generation
KR100655465B1 (ko) 2004-08-30 2006-12-08 중앙대학교 산학협력단 실시간 중간 시점 영상 보간 방법
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
WO2006075304A2 (en) * 2005-01-12 2006-07-20 Koninklijke Philips Electronics N.V. Depth perception
KR100731979B1 (ko) 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
JP5011319B2 (ja) * 2006-02-28 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像における指向性の穴埋め
WO2008100826A1 (en) * 2007-02-13 2008-08-21 Clairvoyante, Inc Subpixel layouts and subpixel rendering methods for directional displays and systems
JP4958233B2 (ja) * 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
KR100924716B1 (ko) 2007-12-24 2009-11-04 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
BRPI0910284A2 (pt) * 2008-03-04 2015-09-29 Thomson Licensing vista de referência virtual
KR20100008649A (ko) 2008-07-16 2010-01-26 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
US8913657B2 (en) * 2008-10-27 2014-12-16 Lg Electronics Inc. Virtual view image synthesis method and apparatus
KR20100083570A (ko) 2009-01-14 2010-07-22 삼성전자주식회사 얼굴 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1272967C (zh) * 2002-01-18 2006-08-30 株式会社东芝 视频编码方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于大位移视图的图像修补技术研究;刘春晓;《万方数据企业知识服务平台》;20100531;第79-83页 *

Also Published As

Publication number Publication date
EP2609575B1 (en) 2019-02-27
KR101895327B1 (ko) 2018-09-10
US20120050283A1 (en) 2012-03-01
WO2012026768A2 (en) 2012-03-01
WO2012026768A3 (en) 2012-05-18
US9147281B2 (en) 2015-09-29
KR20120020078A (ko) 2012-03-07
JP2013545149A (ja) 2013-12-19
CN102687178A (zh) 2012-09-19
JP5784729B2 (ja) 2015-09-24
EP2609575A4 (en) 2015-05-06
EP2609575A2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
CN102687178B (zh) 用于产生多视图的渲染设备和方法
CN108335322B (zh) 深度估计方法和装置、电子设备、程序和介质
KR102424965B1 (ko) 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템
CN103081476B (zh) 利用深度图信息转换三维图像的方法和设备
US8655055B2 (en) Method, system and computer program product for converting a 2D image into a 3D image
CN102077244B (zh) 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置
US9159154B2 (en) Image processing method and apparatus for generating disparity value
KR20100034789A (ko) 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
CN102436671A (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
CN103795998A (zh) 图像处理方法和图像处理设备
JP4796072B2 (ja) 画像セグメンテーションに基づく画像レンダリング
CN102034265A (zh) 一种三维视图获取方法
CN102821293A (zh) 图像处理方法和设备
CN105096385A (zh) 一种二维地震剖面三维显示方法
CN103826114B (zh) 一种立体显示方法及自由立体显示装置
CN103716641A (zh) 预测图像生成方法和装置
CN112561979B (zh) 一种基于深度学习的自监督单目深度估计方法
CN103945206B (zh) 一种基于相似帧比较的立体图像合成系统
KR102091860B1 (ko) 영상 부호화 방법 및 장치
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
CN102843571B (zh) 多视角立体显示器影像合成方法
EP2629156B1 (en) Image processing apparatus and method
Liu et al. Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications
Boev et al. GPU-based algorithms for optimized visualization and crosstalk mitigation on a multiview display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant