CN102985949B - 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法 - Google Patents

使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法 Download PDF

Info

Publication number
CN102985949B
CN102985949B CN201280001829.2A CN201280001829A CN102985949B CN 102985949 B CN102985949 B CN 102985949B CN 201280001829 A CN201280001829 A CN 201280001829A CN 102985949 B CN102985949 B CN 102985949B
Authority
CN
China
Prior art keywords
image
pixel
cavity
view
neighbouring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280001829.2A
Other languages
English (en)
Other versions
CN102985949A (zh
Inventor
赵良镐
李晧荣
朴斗植
黄圭荣
郑英珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2012/000299 external-priority patent/WO2012096530A2/en
Publication of CN102985949A publication Critical patent/CN102985949A/zh
Application granted granted Critical
Publication of CN102985949B publication Critical patent/CN102985949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种用于恢复在多视图绘制过程中产生的空洞的设备和方法。可使用在时间上邻近的图像来恢复输出视图中的空洞。

Description

使用背景像素扩大和背景优先块匹配的多视图绘制设备和 方法
技术领域
以下描述的一个或多个示例实施例涉及一种多视图绘制（rendering）设备和方法。
背景技术
为了产生三维（3D）图像，具有宽视角的多视图3D图像需要被连续呈现。
然而，除了拍摄系统中的物理限制以外，由于在存储和传输拍摄数据方面存在困难，因此难以单独捕获多视图图像并且难以实时发送捕获的多视图图像。
因此，3D图像产生设备可仅使用较少数量的输入视图（或参考视图）（例如，两个或三个输入视图）来产生3D图像。此外，用于回放产生的3D图像的3D显示设备可通过对输入视图进行外插或内插来产生多个输出视图。
发明内容
根据示例实施例，可提供一种用于恢复输出视图图像中的通过图像变形（imagewarping）而产生的空洞（hole）的设备和方法。
通过提供一种图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：处理器，用于控制一个或多个处理器可执行单元；图像变形单元，用于通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形，来产生输出视图图像；基于邻近图像的空洞恢复单元，用于使用一个或多个在时间上邻近的图像，恢复通过图像变形而产生的空洞。
所述一个或多个在时间上邻近的图像可与参考视图图像在时间上邻近。
所述一个或多个在时间上邻近的图像可与输出视图图像在时间上邻近。
基于邻近图像的空洞恢复单元可使用在时间上邻近的图像中包括的且与空洞中的像素对应的像素的颜色值，来恢复空洞中的像素。
当参考视图图像和在时间上邻近的图像全部随时间移动时，基于邻近图像的空洞恢复单元可基于参考视图图像和在时间上邻近的图像的移动，从在时间上邻近的图像中选择与空洞中的像素对应的像素。
基于邻近图像的空洞恢复单元可使用通过排除与空洞中的像素对应的一个或多个空洞像素而获得的像素来恢复空洞。
基于邻近图像的空洞恢复单元可使用与空洞中的像素对应的像素中的背景像素来恢复空洞。
所述图像处理设备还可包括：缓冲区设置单元，用于扩大空洞。
缓冲区设置单元可通过将与空洞邻近的缓冲区域视为空洞来扩大空洞。当空洞中的像素包括在缓冲区域中时，基于邻近图像的空洞恢复单元可基于空洞中的像素的颜色值来恢复空洞中的像素。
所述图像处理设备还可包括：双目视差缝隙检测单元，用于将输出视图图像中的缝隙设置为空洞。
当一像素与邻近像素之间的双目视差值的差的总和大于预定值时，双目视差缝隙检测单元可将所述像素检测为缝隙。
还通过提供一种图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：处理器，用于控制一个或多个处理器可执行单元；图像变形单元，用于通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形，来产生输出视图图像；基于邻近像素缩放的空洞恢复单元，用于通过对至少一个像素进行缩放来恢复空洞，通过图像变形产生了所述空洞，并且所述至少一个像素与所述空洞邻近。
基于邻近像素缩放的空洞恢复单元可对所述至少一个像素中的背景像素执行缩放。
所述至少一个像素和所述空洞的至少一个空洞像素可在同一水平行上。
基于邻近像素缩放的空洞恢复单元可沿与邻近于所述空洞的所述至少一个像素中的背景像素的梯度垂直的方向对所述至少一个像素执行缩放。
还通过提供一种图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：处理器，用于控制一个或多个处理器可执行单元；图像变形单元，用于通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形，来产生输出视图图像；基于最优块搜索的空洞恢复单元，用于从背景查找块，并使用查找到的块来恢复空洞，通过图像变形产生了所述空洞，并且所述块与包括所述空洞的区域最相似。
包括所述空洞的区域可包括空洞区域和背景区域，并且基于最优块搜索的空洞恢复单元可使用找到的块的与所述空洞区域对应的部分来恢复所述空洞。
基于最优块搜索的空洞恢复单元可在输出视图图像的第一区域中搜索第一块，在输出视图图像的第二区域中搜索第二块，并可使用第一块和第二块的平均值来恢复第一区域和第二区域之间的重叠空洞区域。
通过提供一种图像处理方法来实现前述和/或其他方面，所述图像处理方法包括：由处理器通过对参考视图图像进行图像变形并基于参考视图图像的双目视差信息，来产生输出视图图像；使用一个或多个在时间上邻近的图像，恢复输出视图图像中产生的空洞。
所述图像处理方法还可包括：扩大空洞。
所述图像处理方法还可包括：将输出视图图像中的缝隙设置为空洞。
所述图像处理方法还可包括：通过对至少一个像素进行缩放来恢复所述空洞，所述至少一个像素与所述空洞邻近。
所述图像处理方法还可包括：通过从背景搜索块并使用找到的块来恢复所述空洞，所述块与包括所述空洞的区域最相似。
通过提供一种用于产生多视图的设备来实现前述和/或其他方面。所述设备包括：处理器，用于控制一个或多个处理器可执行单元；图像产生单元，用于基于参考视图图像和参考视图图像的双目视差信息来产生输出视图图像；基于邻近图像的空洞恢复单元，用于使用一个或多个在时间上邻近的图像的背景信息，来恢复产生的输出视图图像中的空洞，所述空洞作为产生输出视图图像的结果而被产生。
通过提供一种用于产生多视图的设备来实现前述和/或其他方面。所述设备包括：处理器，用于控制一个或多个处理器可执行单元；图像产生单元，用于基于至少一个参考视图图像来产生输出视图图像；双目视差缝隙检测单元，用于检测产生的输出视图图像的预定对象中的缝隙，所述预定对象具有分配给所述预定对象的不同部分的不同的双目视差值，其中，由于基于所述至少一个参考视图图像产生输出视图图像，在所述预定对象中出现缝隙；多视图产生单元，用于将所述缝隙再指定为空洞，并使用一个或多个在时间上邻近的帧的背景信息来恢复在产生的输出视图图像的当前帧中存在的空洞。
所述一个或多个在时间上邻近的帧可与参考视图图像在时间上邻近。
所述一个或多个在时间上邻近的帧可与输出视图图像在时间上邻近。
通过提供一种用于产生多视图的方法来实现前述和/或其他方面。所述方法包括：由处理器基于至少一个参考视图图像来产生输出视图图像；检测产生的输出视图图像的预定对象中的缝隙，所述预定对象具有分配给所述预定对象的不同部分的不同的双目视差值，其中，由于基于所述至少一个参考视图图像产生输出视图图像，在所述预定对象中出现缝隙；将所述缝隙再指定为空洞，并使用一个或多个在时间上邻近的帧的背景信息来恢复在产生的输出视图图像的当前帧中存在的空洞。
通过提供一种包括图像处理设备的显示装置来实现前述和/或其他方面。所述显示装置包括：图像产生单元，基于参考视图图像和参考视图图像的双目视差信息来产生输出视图图像；基于邻近图像的空洞恢复单元，用于使用一个或多个在时间上邻近的图像来恢复空洞，通过产生输出视图图像而产生了所述空洞；控制器，用于基于产生的具有通过基于邻近图像的空洞恢复单元恢复的空洞的输出视图图像，来产生将由显示装置显示的信号。
在以下描述中将部分阐述示例实施例的另外的方面、特征和/或优点，还有部分从描述中将是清楚的，或者可通过本公开的实践而得知。
附图说明
本专利或申请文件包含至少一个彩色附图。具有彩色附图的本专利或专利申请公布的副本将在请求和支付必要的费用时由事务所提供。从以下结合附图的示例实施例的描述中，这些和/或其他方面和优点将变得清楚，并且更容易理解，其中：
图1示出根据示例实施例的基于三个输入视图的视图产生方法的示图；
图2示出根据示例实施例的产生外插视图的帧的方案的示图；
图3示出根据示例实施例的图像处理设备的配置的框图；
图4示出根据示例实施例的使用在时间上邻近的图像来恢复空洞的示图；
图5示出根据示例实施例的通过设置缓冲区进行空洞扩大（hole expansion）的示图；
图6示出根据示例实施例的通过检测双目视差缝隙而发生缝隙（crack）和空洞设置的示图；
图7示出根据示例实施例的邻近像素的缩放（scaling）的示图；
图8示出根据示例实施例的使用背景像素来缩放邻近像素的示图；
图9示出根据示例实施例的沿与背景的梯度垂直的方向执行缩放的示图；
图10示出根据示例实施例的基于最优块搜索（optimal patch search-based）的空洞恢复的示图；
图11示出根据示例实施例的使用块的重叠来恢复空洞的示图；
图12示出根据示例实施例的图像处理方法的流程图；
图13示出根据示例实施例的包括图像处理设备的显示装置。
具体实施方式
现在将详细参照示例实施例，其示例在附图中示出，其中，相同的标号始终是指相同的元件。以下通过参照附图来描述示例实施例，以解释本公开。
图1示出根据示例实施例的基于三个输入视图的视图产生方法的示图。
在图1中，将被捕捉的场景110可包括前景以及背景112。前景可包括第一对象114和第二对象116。
基于观看者的视点，第一对象114和第二对象116可能相对于背景112向左侧或向右侧相对移动。
第一输入设备120（例如，相机）可从第一视点捕捉场景110，第二输入设备130和第三输入设备140可分别从第二视点和第三视点捕捉场景110。
第一输入设备120、第二输入设备130和第三输入设备140可从它们各自的视点捕捉场景110，并且可分别产生第一输入视图122、第二输入视图132和第三输入视图142。
例如，第一输入视图122可提供当观看者从第一视点看场景110时出现的图像，第二输入视图132和第三输入视图142可提供当观看者分别从第二视点和第三视点看场景110时出现的图像。
第一输入视图122至第三输入视图142中的每一个可包括一系列帧。具体地讲，第一输入视图122至第三输入视图142中的每一个可每单位时间包括预定数量的帧，例如，按照每秒30帧（FPS）输出的帧。从预定视点观看到的帧是指用于产生从所述预定视点观看的图像的数据。因此，第一输入视图122至第三输入视图142中的每一个可提供一系列图像，每个图像对应于时间上的具体时刻。
帧（或图像）可包括像素。帧（或图像）中的像素可具有包括x坐标和y坐标的坐标值。
每个像素可具有颜色值。可使用预定类型（例如，RGB或YCbCr）来表示颜色值，以呈现颜色。
此外，每个像素可具有深度值。深度值可指示通过像素呈现的对象（或背景）与捕捉时间（即，与视图对应的视点）之间的距离。可使用用于呈现距离的预定二进制类型（例如，使用整数或浮点）来表示深度值。
像素的深度值可包括在帧中。换句话说，帧可具有像素的颜色值和深度值。
此外，可与帧分开地提供像素的深度值。帧或图像的深度信息可指示形成所述帧或图像的像素的深度值。可与帧或输入视图分开地提供帧的深度信息。可与输入视图分开地提供关于所述输入视图中的图像的深度信息。
在图1中，四边形指示在预定时间“t”处的第一输入视图122的帧124、第二输入视图132的帧134和第三输入视图142的帧144。
三维（3D）图像设备需要向用户提供从除了与第一输入视图122至第三输入视图142对应的视点以外的视点观看的图像。因此，3D图像设备可基于第一输入视图122至第三输入视图142，产生来自其他视点的输出视图（或目标视图）。这里，与第一输入视图122至第三输入视图142对应的视点还可被称为“参考视点”。
为了提供当观看者从与参考视点不同的视点看场景110时出现的图像，需要使用由分别由第一输入设备120至第三输入设备140产生的第一输入视图122至第三输入视图142提供的帧，通过视图外插或视图内插来产生与中间视点（intermediate viewpoint）对应的输出视图。
输出视图的产生可指输出视图的帧的产生，并还可指提供从与输出视图对应的视点观看的图像。
输出视图可包括例如通过内插产生的内插视图或通过外插产生的外插视图。
视图内插是指产生与第一输入视图122至第三输入视图142对应的视点之间的预定虚拟视点处的输出视图。视点内插可使得能够基于与将被产生的虚拟视点邻近的左输入视图帧（或图像）和右输入视图帧（或图像）产生输出视图帧（或图像）。通过视图内插产生的输出视图可被称为“内插视图（interpolated view）”。
视图外插是指产生与第一输入视图122至第三输入视图142对应的视点之外的视点处的输出视图。视图外插使得能够产生比最左面的输入视图（即，第一输入视图122）更向左的视点处的输出视图，或者比最右面的输入视图（即，第三输入视图142）更向右的视点处的输出视图。通过视图外插产生的输出视图可被称为“外插视图（extrapolated view）”。
视图外插可使得能够基于单个最外输入视图（例如，第一输入视图122或第三输入视图142）的帧（或图像）产生输出视图帧（或图像）。因此，与可用于视图内插的信息相比，可用于视图外插的信息可能相对受限。由于相对少量的信息可被用于执行视图外插，因此，与通过视图内插产生的图像相比，通过视图外插产生的图像的质量可能会显著下降。
参照图1，三角形150、152、160、162、170、172、180和182指示内插视图帧或外插视图帧。
外插视图可与比最左面的参考视图122更向左的视点以及比最右面的输入视图142更向右的视点对应。例如，帧150、152、180和182是时间t处的外插视图帧。
内插视图可与在与输入视图122、132和142对应的视点之间产生的虚拟视点对应。例如，示出时间t处的内插视图的帧160、162、170和172。
内插视图和外插视图每个可包括在一段预定时间内出现的一系列帧。
内插视图的帧或外插视图的帧可不包括深度信息。换句话说，内插视图帧或外插视图帧可以是二维（2D）帧。
如上所述，可从与N个输入视图对应的视点产生不同视点处的M个输出视图。
当3D图像设备基于观看者的位置，向观看者提供所述M个输出视图中的预定的输出视图时，观看者可通过所述预定的输出视图感受到连续的真实3D图像。例如，当3D图像设备分别向观看者的左眼和右眼输出第一输出视图和第二输出视图时，观看者可感受3D图像。
图2示出根据示例实施例的产生外插视图的帧的方案的示图。
在图2中，可通过输入视图210提供一系列帧，例如，输入视图210的预定时间t处的帧212。
通过比输入视图210更向右的视点产生的视图外插，可基于输入视图210产生第一外插视图和第二外插视图。
可使用输入视图210的帧212产生预定时间t处的第一外插视图的帧220和第二外插视图的帧230。
可通过捕捉图1的场景110来获得输入视图210，并且输入视图210的帧212可包括例如背景214、第一对象216和第二对象218。
此外，第一外插视图的帧220可包括背景224、第一对象226和第二对象228。此外，第二外插视图的帧230可包括背景234、第一对象236和第二对象238。
与第一外插视图对应的视点可位于比与输入视图210对应的视点更向右的位置。因此，第一外插视图的帧220中的背景224、第一对象226和第二对象228可位于比输入视图210的帧212更向左的位置。
可基于从与输入视图210对应的视点距背景224的距离，并基于与输入视图210对应的视点和与第一外插视图对应的视点之间的距离，来确定背景224的更向左的位置。
如上所述，由于背景224向左边移动，因此第一外插视图的帧220可能具有帧边界空洞244，其中，所述帧边界空洞244可能不能被输入视图210的帧212合适地填充。依据环境，背景224可能不被移动。当背景224未被移动时，可能不会产生帧边界空洞244。
前景的第一对象226和第二对象228可与背景224一起被移动。此外，第一对象226和第二对象228可能移动得比背景224更左。
可基于与输入视图210对应的视点距第一对象226的距离，以及与输入视图210对应的视点距第二对象228的距离，并基于与输入视图210对应的视点和与第一外插视图对应的视点之间的距离，分别确定第一对象226和第二对象228的比背景224更向左的位置。
由于第一对象226和第二对象228移动得比背景224更左，因此第一外插视图的帧220可能具有对象边界空洞246和248，其中，所述对象边界空洞246和248可能不能被输入视图210的帧212合适地填充。
为了产生外插视图，合适的像素需要被外插到帧边界空洞244以及对象边界空洞246和248中。
第二外插视图的帧230也可能具有帧边界空洞254以及对象边界空洞256和258。
与对应于第一外插视图的视点相比，与第二外插视图对应的视点距与输入视图210对应的视点更远。第二外插视图的帧230中的背景234、第一对象236和第二对象238可被分别布置得比第一外插视图的帧220中的背景224、第一对象226和第二对象228更左。
帧230中的帧边界空洞254以及对象边界空洞256和258可被分别形成得比帧220中的帧边界空洞244以及对象边界空洞246和248在水平方向上更宽。
因此，更大量的像素需要被外插到帧230中的帧边界空洞254以及对象边界空洞256和258中。
换句话说，随着与外插视图对应的视点距最外输入视图更远，将被外插的像素的范围会更广。
在下文中，全部的帧边界空洞244和254以及对象边界空洞246、248、256和258可被称为“空洞”。
图3示出根据示例实施例的图像处理设备的配置的框图。
图3中示出的图像处理设备可通过均使用参考视图图像和参考视图图像的双目视差信息的视图内插和视图外插来产生输出视图。此外，所述图像处理设备可恢复输出视图图像中的由视图内插和视图外插而产生的空洞。
输出视图图像可指从与输出视图对应的视点观看的图像。如上所述，当从新视点观看的图像被产生时，需要从所述新视点重新观察的点可被显示为图像中的空洞。
所述图像处理设备可恢复在视图内插和视图外插期间产生的空洞。
参照图3，图像处理设备300可包括例如图像变形单元310、缓冲区设置单元320、双目视差缝隙检测单元330、基于邻近图像的空洞恢复单元340、基于邻近像素缩放的空洞恢复单元350和基于最优块搜索的空洞恢复单元360。
图像变形单元310可通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形的方式来产生输出视图图像。具体地讲，图像变形单元310可使用参考视图帧和参考视图帧的双目视差信息来产生输出视图的帧。
图像变形单元310可通过对参考视图图像进行图像变形来产生输出视图图像。例如，当参考视图图像的双目视差信息未被提供时，图像变形单元310可产生参考视图图像的双目视差信息。
可基于极线（epipolar line）布置N个输入图像（即，与参考视图对应的N个图像）。
可使用与参考视图距对应于虚拟视点的视图的距离成比例的权重来产生与虚拟视点对应的视图（即，输出视图）。换句话说，可使用与虚拟视点和对应于参考视图的视点之间的距离成比例的权重来产生与虚拟视点对应的视图。
输出视图图像中的第一像素的y坐标值可等于参考视图图像中的第二像素的y坐标值。这里，第一像素和第二像素可彼此对应。换句话说，即使执行了图像变形，像素的y坐标值也可保持不变。
可通过以下的等式1来计算第一像素的x坐标值：
[等式1]
Irendered view(x′)＝Ireference view(x+α·d)
在等式1中，Ireference viem表示参考视图（或输入视图）的图像或帧，Irendered view表示输出视图（或已绘制的视图）的图像（或帧）。
此外，x表示参考视图中的第二像素的x坐标值，x’表示输出视图中的第一像素的x坐标值。
此外，d表示从图像的深度信息或像素的深度信息获得的第二像素的双目视差值。通常，像素的双目视差值可与像素的深度值成反比。因此，深度和深度信息的以上描述还可被应用于双目视差和双目视差信息。
此外，α表示与对应于参考视图的视点和对应于输出视图的视点之间的距离成比例的权重。
因此，等式1可指示以下五条信息：
1）可通过变形操作将参考视图中的第二像素移动“αd”。换句话说，当参考视图中的第二像素与输出视图中的第一像素对应时，可通过将“αd”加到第二像素的x坐标值来获得第一像素的x坐标值。
2）可通过变形操作将具有高双目视差值的像素移动较长距离。由于双目视差值与深度值成反比，因此具有低深度值的像素可比具有高深度值的像素移动更长距离。
此外，对象可接近于与参考视图对应的视点，背景可远离与参考视图对应的视点。因此，参考视图图像中的多个像素中呈现对象的像素可比呈现背景的像素移动更长距离。
即使执行了变形操作，具有无限深度值的像素或双目视差值为“0”的像素也可不被移动。
3）随着对应于参考视图的视点与对应于输出视图的视点彼此远离，参考视图中的像素可移动更长的距离。
除了基于上述等式1的变形操作以外，图像变形单元310可通过使用各种变形方案进行图像变形来产生输出视图图像。
4）第一像素的双目视差值（或深度值）可等于第二像素的双目视差值（或深度值）。
5）参考视图图像中的至少一个像素可被移动到输出视图中的相同坐标。这里，所述至少一个像素中与对应于输出视图的视点最接近的像素可被首先显示。
缓冲区设置单元320可扩大通过图像变形而产生的空洞。
以下将参照图5详细描述通过缓冲区设置单元320进行的空洞扩大。
双目视差缝隙检测单元330可将产生的输出视图图像中的缝隙设置为空洞。
以下将参照图6详细描述通过双目视差缝隙检测单元330进行的空洞设置。
基于邻近图像的空洞恢复单元340可恢复通过图像变形而产生的空洞。将参照图4进一步描述通过基于邻近图像的空洞恢复单元340进行的空洞的恢复。
随后，基于邻近像素缩放的空洞恢复单元350可通过对与空洞邻近的至少一个像素进行缩放来恢复通过图像变形而产生的空洞。
以下将参照图7至图9进一步描述通过基于邻近像素缩放的空洞恢复单元350进行的邻近背景像素的缩放。
基于最优块搜索的空洞恢复单元360可通过从背景搜索与包括空洞的区域最相似的块并通过使用找出的块来恢复空洞。
以下将参照图10进一步描述通过基于最优块搜索的空洞恢复单元360进行的最优块搜索和空洞恢复。
在已通过基于邻近图像的空洞恢复单元340恢复了一部分空洞之后，可通过基于邻近像素缩放的空洞恢复单元350和基于最优块搜索的空洞恢复单元360来恢复所述空洞的任意剩余部分或多个部分。
基于邻近像素缩放的空洞恢复单元350和基于最优块搜索的空洞恢复单元360可使用输出视图图像的背景像素来恢复其他部分。
可基于与空洞邻近的区域的特征来确定恢复空洞的方案。
在纹理区域与空洞邻近的示例中，基于最优块搜索的空洞恢复单元360可恢复空洞。在除纹理区域以外的区域与空洞邻近的另一示例中，基于邻近像素缩放的空洞恢复单元350可恢复空洞。基于邻近像素缩放的空洞恢复单元350可对背景像素执行缩放，这可能破坏纹理。
具体地讲，当均质（uniform）区域与空洞邻近时，或者当在与空洞邻近的区域上出现显著的边缘时，可通过对背景像素进行缩放来恢复空洞。因此，即使在恢复的空洞中，也可保持邻近区域（即，背景）的特征。
此外，当纹理区域与空洞邻近时，可从参考视图图像中的背景区域检测与纹理区域最相似的区域。检测到的区域可被用于恢复空洞。因此，即使在恢复的空洞中，也可保持纹理分量。
图4示出根据示例实施例的使用在时间上邻近的图像来恢复空洞的示图。
在一连串时间图像（temporal image）中，时间t处的参考视图图像可在图像变形中被使用以产生时间t处的输出视图图像。在下文中，时间t处的参考视图图像或输出视图图像可被称为“图像t”或者被称为当前图像。同样，时间t处的帧可被称为“帧t”或被称为当前帧。此外，时间t-1处的帧可被称为“帧t-1”或被称为前一帧，时间t+1处的帧可被称为“帧t+1”或被称为下一帧。
在图4中，输出视图帧t440可包括空洞442。可通过对参考视图帧t430进行变形来产生输出视图帧t440。
通常，与图像t在时间上邻近的图像可呈现与图像t呈现的前景（或对象）和背景相同或相似的前景（或对象）和背景。例如，图像t-1、图像t+1、图像t-2、图像t+2等可与图像t在时间上邻近。因此，可使用在时间上与参考视图图像或输出视图图像邻近的在时间上邻近的图像的信息来恢复通过图像变形而产生的空洞。
在图4中，与前景对应的对象可被垂直移动。因此，与参考视图帧t430中的对象覆盖的背景对应的部分412可能暴露在参考视图帧t-1 410中。此外，参考视图帧t+1 450的部分452、输出视图帧t-1 420的部分422和输出视图帧t+1 460的部分462也可能与参考视图帧t430中的对象覆盖的背景对应。因此，所述部分412、422、452和462可用于恢复空洞442。
基于邻近图像的空洞恢复单元340可基于以下的等式2来恢复输出视图图像t中的空洞442。等式2可用于解释使用与输出视图帧在时间上邻近的帧来恢复帧中的空洞的方法。
[等式2]
f t ( i , j ) = α t - 1 · f t - 1 ( i , j ) + α t + 1 · f t + 1 ( i , j ) α t - 1 + α t + 1
在等式2中，ft表示输出视图帧t440，即，通过在时间t进行变形而产生的帧。
ft(i，j)表示输出视图帧t440的像素中具有坐标值“（i，j）”的像素的颜色值。在输出视图帧t440中，具有坐标值“（i，j）”的像素可以是空洞442中的像素。在下文中，具有坐标值“（i，j）”的像素可被表示为“像素（i，j）”。
ft-1表示紧接在输出视图帧t440之前的帧，即，输出视图帧t-1 420。ft+1表示紧接在输出视图帧t440之后的帧，即，输出视图帧t+1 460。
换句话说，基于邻近图像的空洞恢复单元340可使用与输出视图帧t440在时间上邻近的输出视图帧来恢复通过图像变形而产生的空洞。
αt-1表示用于确定输出视图帧t-1 420的像素（i，j）是否将被用于恢复输出视图帧t440的像素（i，j）的系数。αt-1可具有值“0”或“1”。当αt-1具有值“0”时，输出视图帧t-1 420的像素（i，j）可不被用于恢复输出视图帧t440的像素（i，j）。
αt+1表示用于确定输出视图帧t+1 460的像素（i，j）是否将被用于恢复输出视图帧t440的像素（i，j）的系数。αt+1可具有值“0”或“1”。当αt+1具有值“0”时，输出视图帧t+1 460的像素（i，j）可不被用于恢复输出视图帧t440的像素（i，j）。
在一个示例中，当αt-1和αt+1均具有值“1”时，输出视图帧t-1 420的像素（i，j）的颜色值和输出视图帧t+1 460的像素（i，j）的颜色值的平均值可被用作输出视图帧t440的像素（i，j）的颜色值。在另一示例中，当αt-1具有值“0”时并且当αt+1具有值“1”时，输出视图帧t440的像素（i，j）的颜色值可等于输出视图帧t+1 460的像素（i，j）的颜色值。在另一示例中，当αt-1具有值“1”时并且当αt+1具有值“0”时，输出视图帧t440的像素（i，j）的颜色值可等于输出视图帧t-1 420的像素（i，j）的颜色值。
用于恢复空洞的像素可被视为包括在背景中的像素。通常，通过变形可能不会改变背景的位置。例如，参考视图帧t-1 410中的部分412的位置以及所述部分412的颜色可分别与输出视图帧t-1 420中的部分422的位置以及所述部分422的颜色相同。换句话说，在背景中，参考视图帧中的第一像素的坐标可与对应于包括在输出视图帧中的第二像素的坐标相同。
因此，基于邻近图像的空洞恢复单元340可使用在时间上邻近的参考视图帧来恢复通过图像变形而产生的空洞。换句话说。等式2中的ft-1和ft+1可分别被表示参考视图帧t-1 440的f′t-1以及表示参考视图帧t+1 450的f′t+1代替。
类似地，等式2中的ft-1和ft+1可分别被ft-2和ft+2或任何其他在时间上邻近的输出视图帧代替。等式2中的ft-1和ft+1还可分别被f′t-2和f′t+2或任何其他在时间上邻近的参考视图帧代替。总之，基于邻近图像的空洞恢复单元340可使用一个或多个在时间上邻近的参考图像或者一个或多个在时间上邻近的输出图像来恢复通过图像变形而产生的输出视图图像中的空洞。
基于等式2，基于邻近图像的空洞恢复单元340使用一个或两个输出视图帧（即，使用输出视图帧t-1 420和输出视图帧t+1 460）来恢复空洞442。然而，可使用多于两个的在时间上邻近的输出视图帧（或参考视图帧）来恢复空洞442。例如，时间t-2、t-1、t+1和t+2处的输出视图帧（或参考视图帧）或任何其他三个或更多个在时间上邻近的图像可被用于恢复空洞442。
在时间上邻近的图像不需要相对于时间t处的图像对称。例如，可使用时间t-2和t-1处的图像或时间t-3、t-2和t-1处的图像或任何其他在时间上非对称的图像来恢复时间t处的图像中的空洞。
此外，在时间上邻近的图像的数量可基于图像处理设备300的存储能力、参考视图图像的复杂度、输出视图图像的复杂度等而被动态地改变。
在等式2中，具有与帧t的像素相同坐标值的像素可被用于恢复帧t的所述像素的颜色值。换句话说，可在一连串图像未被移动的假设下来恢复颜色值。实际上，在特定情况下，图像的背景可能几乎不被移动或者完全不被移动。
当所述一连串图像在时间上移动时，可基于所述一连串图像的移动来恢复输出视图帧t440的像素的颜色值。
例如，当输出视图帧t440比输出视图帧t-1 420（或参考视图帧t-1 410）更向左地被移动了一个像素时，输出视图帧t-1 420（或参考视图帧t-1 410）的像素（i+1，j）的颜色值可被用于设置输出视图帧t440的像素（i，j）的颜色值。
换句话说，基于邻近图像的空洞恢复单元340可通过使用包括在与输出视图图像t邻近的输出视图图像中的且与第一像素对应的像素的颜色值，或者通过使用包括在与参考视图图像t邻近的参考视图图像中的且与第一像素对应的像素的颜色值，来恢复输出视图图像t的空洞中的第一像素。
此外，当参考视图图像t和与参考视图图像t在时间上邻近的参考视图图像全部随时间移动时，基于邻近图像的空洞恢复单元340可基于参考视图图像和多个参考视图图像的移动，从与参考视图图像t（或输出视图图像t）在时间上邻近的参考视图图像（或输出视图图像）选择与第一像素对应的像素。
基于邻近图像的空洞恢复单元340可基于以下的等式3来确定系数α：
[等式3]
&alpha; t = 1 , if f t ( i , j ) &NotEqual; hole pixel , andD ( f t ( i , j ) ) < Th 0 , otherwise
在等式3中，D(ft(i，j))表示输出视图帧t440的像素（i，j）的双目视差值。Th表示提前定义的阈值。因此，当ft(i，j)不指示空洞像素时并且当ft(i，j)的双目视差值被提前定义时，αt可具有值“1”，否则，αt可具有值“0”。
首先，可确定ft(i，j)是否指示呈现空洞的空洞像素。
当ft(i，j)被确定为指示空洞像素时，ft(i，j)的颜色值不存在，或者ft(i，j)可具有无效颜色值。因此，ft(i，j)的颜色值可不用于恢复输出视图图像中的空洞。因此，αt可具有值“0”。
换句话说，基于邻近图像的空洞恢复单元340可通过排除在时间上邻近的参考视图图像中的对应空洞像素来恢复输出视图图像t中的空洞。此外，基于邻近图像的空洞恢复单元340可通过排除在时间上邻近的输出视图图像中包括的对应空洞像素来恢复输出视图图像t中的空洞。
当ft(i，j)不是空洞像素时，可确定ft(i，j)是指示前景像素还是指示背景像素。这里，前景像素可呈现前景，背景像素可呈现背景。
通过多视图绘制而产生的空洞可包括在通过变形操作而产生的输出视图图像中观看到的背景的一部分（即使背景的所述部分被参考视图图像中的前景覆盖）。
因此，ft(i，j)可用于仅在ft(i，j)被确定为指示背景像素时恢复输出视图图像中的空洞。
换句话说。基于邻近图像的空洞恢复单元340可仅使用在时间上邻近的参考视图图像中的对应背景像素来恢复输出视图图像t中的空洞。此外，基于邻近图像的空洞恢复单元340可仅使用在时间上邻近的输出视图图像中的对应背景像素来恢复输出视图图像t中的空洞。
ft(i，j)的双目视差值可用于确定ft(i，j)是指示前景像素还是指示背景像素。
通常，前景像素可比背景像素具有更高的双目视差值。
当ft(i，j)的双目视差值小于阈值Th时，基于邻近图像的空洞恢复单元340可将ft(i，j)视为背景像素，并可使用ft(i，j)来恢复空洞。
图5示出根据示例实施例的通过设置缓冲区进行空洞扩大的示图。
具体地讲，图5示出输出视图图像510和具有缓冲区域522及缓冲区域524的输出视图图像520。
可通过转换像素的物理深度值来获取在多视图绘制中使用的像素的双目视差值。此外，可通过使用参考图像的估计方案来确定像素的双目视差值。
由于匹配错误等（具体地讲，当通过估计获取双目视差值时），像素可能具有不正确的双目视差值。
当像素具有不正确的双目视差值时，输出视图图像510的前景和背景之间的边界可能与双目视差图像的前景和背景之间的边界不一致。
尽管输出视图图像510的空洞区域512的左侧的像素呈现前景，但所述像素可能由于不一致性而具有呈现背景的颜色值。
因此，当使用估计的双目视差值时，与空洞邻近的区域可能需要被设置为缓冲区域以防止这种问题。
因此，缓冲区设置单元320可通过将与空洞邻近的缓冲区域522和524视为空洞来扩大所述空洞。
缓冲区设置单元320可将距空洞的距离小于提前定义的阈值的像素（或具有空洞的最外点的像素）设置为缓冲区域。
当缓冲区域中的像素的颜色值被恢复时，可使用以下的等式4：
[等式4]
f t ( i , j ) = &alpha; t - 1 &CenterDot; f t - 1 ( i , j ) + f t ( i , j ) + &alpha; t + 1 &CenterDot; f t + 1 ( i , j ) &alpha; t - 1 + 1 + &alpha; t + 1
在等式4中，为了恢复帧t的像素（i，j）的颜色值，帧t的像素（i，j）的颜色值可与紧接在帧t之前的帧的像素的颜色值和紧接在帧t之后的帧的像素的颜色值一起被使用。缓冲区域的像素（i，j）可提前具有与作为空洞的像素不同的颜色值。因此，缓冲区域的像素（i，j）的颜色值可被用于恢复被视为空洞的缓冲区域的像素（i，j）。
换句话说，基于邻近图像的空洞恢复单元340可基于第一像素的颜色值来恢复缓冲区域中的第一像素。
图6示出根据示例实施例的通过检测双目视差缝隙而发生缝隙和空洞设置的示图。
具体地讲，图6示出参考视图图像610和参考视图图像610的双目视差图像620。
如图6中所示，双目视差图像620的第一部分622和第二部分624可具有不同的双目视差值。通常，由于第一部分622和第二部分624呈现相同的对象，因此第一部分622和第二部分624需要具有相同或相似的双目视差值。然而，尤其在当双目视差值是被估计的时候，第一部分622和第二部分624可能具有不同的双目视差值。
由于第一部分622和第二部分624的不同的双目视差值，第一部分622和第二部分624可能移动不同的距离。
由于第一部分622和第二部分624移动不同的距离，因此在输出视图图像630的分别与第一部分622和第二部分624对应的部分之间可能出现缝隙632。这里，可通过变形操作产生输出视图图像630。
可在出现缝隙632的部分显示背景，而不是前景。换句话说，可显示背景，而不是显示第一部分622和第二部分624。
因此，缝隙632可指由于不同的双目视差值而造成的在对象的分离部分之间显示背景的部分。当不同的双目视差值被分配给对象的多个部分时，并且当预定的对象被变形时，在对象中可能出现缝隙。在出现缝隙632的部分中，可对背景的颜色值进行变形。因此，由于缝隙632，可能使输出视图图像630的质量下降。
当缝隙被设置为空洞时，空洞恢复方法还可被应用于出现缝隙的部分。因此，可防止图像质量由于缝隙而下降。
双目视差缝隙检测单元330可从输出视图图像检测缝隙，并可将出现缝隙的部分设置为空洞。
可基于以下的等式5来检测缝隙：
[等式5]
|∑Di，j-Di+m，j+n)|＞Th
在等式5中，Di，j表示输出视图图像630中的像素（i，j）642的双目视差值。
像素（i，j）642表示缝隙检测的目标像素。
Di+m，j+n表示与像素（i，j）642邻近的像素(i+m,j+n)的双目视差值。
Th表示提前定义的阈值。
当输出视图图像630中的一像素和邻近像素644之间的双目视差值的差的总和大于预定值时，双目视差缝隙检测单元可将所述像素检测为缝隙。
由于在前景需要被呈现的区域中对背景像素进行变形，因此可能出现缝隙。因此，缝隙处的背景像素的双目视差值和与所述背景像素邻近的前景像素的双目视差值之间的差可能较大。
因此，可基于邻近像素644之间的双目视差值的差来检测缝隙。此外，检测的缝隙可被设置为空洞，从而对图像质量的下降进行补偿。
图6的邻近像素644仅是示例。与输出视图中的第一像素分开的像素的任何组合可被用作与第一像素邻近的像素。
图7示出根据示例实施例的邻近像素的缩放的示图。
基于邻近像素缩放的空洞恢复单元350可使用与空洞邻近的至少一个像素来恢复图像710的空洞。
基于邻近像素缩放的空洞恢复单元350可水平地执行像素的缩放。
参照图7，水平行712可能目标在于用于空洞恢复。
基于邻近像素缩放的空洞恢复单元350可从水平行712检测空洞，并可检测连续空洞像素730的数量。
基于邻近像素缩放的空洞恢复单元350可执行水平扫描以检测空洞。
基于邻近像素缩放的空洞恢复单元350可选择与连续空洞像素730的数量相同数量的像素740。选择的像素740通常是非空洞像素。
选择的像素740可与连续空洞像素730邻近。
选择的像素740可与连续空洞像素730在同一行上。
选择的像素740可被置于连续空洞像素730的右侧。然而，连续空洞像素730的左侧的像素也可被选择。此外，连续空洞像素730的右侧和左侧的像素可被选择。
基于邻近像素缩放的空洞恢复单元350可通过将选择的像素740向空洞像素730缩放来恢复空洞。
例如，第一个选择的像素的颜色值可被用于产生第一个空洞像素的颜色值和第二个空洞像素的颜色值。因此，可使用第一个选择的像素来恢复第一个空洞像素和第二个空洞像素。
对选择的像素740的缩放可使得由选择的像素740呈现的区域能够加倍，并使用加倍的区域来代替由空洞像素730和选择的像素740呈现的区域。
这里，空洞像素730的数量可与选择的像素740的数量相等。因此，选择的像素740中的两个像素可同时被缩放，使得所有的空洞可被恢复。此外，选择的像素740可被均匀地缩放。
图8示出根据示例实施例的使用背景像素来缩放邻近像素的示图。
基于邻近像素缩放的空洞恢复单元350可选择与连续空洞像素810的数量相同数量的像素820。
选择的像素820中的每一个可具有双目视差值。
基于邻近像素缩放的空洞恢复单元350可基于双目视差值将选择的像素820中的每一个分类为前景像素和背景像素。
例如，在选择的像素820之中，基于邻近像素缩放的空洞恢复单元350可将具有大于提前定义的阈值的双目视差值的像素分类为前景像素，并可将具有等于或小于所述阈值的双目视差值的像素分类为背景像素。
参照图8，选择的像素820中的三个像素830可被分类为背景像素，像素840可被分类为前景像素。
基于邻近像素缩放的空洞恢复单元350可通过将背景像素830向空洞像素810缩放来恢复空洞。
这里，像素830的数量可小于空洞像素810的数量。因此，像素830中的一部分或全部像素830可被缩放至大于两个像素。此外，像素840可被不均衡地缩放。
像素840可不被缩放，因此，可防止前景图像由于缩放而被修改。
上述缩放方法可使得能够仅沿图7中作为扫描方向的水平方向扩大像素740或830。因此，所述缩放方法可被容易地实现。此外，当所述缩放方法被使用时，即使恢复具有小尺寸的空洞，也可能不能识别出图像质量的显著下降。
图9示出根据示例实施例的沿与背景的梯度垂直的方向执行缩放的示图。
在图9中，输出视图图像910可包括空洞912。
当形状916出现在背景914上并且沿水平方向执行缩放时，形状916可能不能被很好地保留。
因此，形状916需要沿与形状916的边缘918的方向924垂直的方向926被缩放。这里，边缘918可包括在空洞912中。
基于邻近像素缩放的空洞恢复单元350可选择与空洞912邻近的背景像素922。
基于邻近像素缩放的空洞恢复单元350可计算包括背景像素922的边缘918的梯度。边缘918的梯度可以是背景像素922的梯度。
基于邻近像素缩放的空洞恢复单元350可沿与边缘918的梯度垂直的方向检测连续空洞像素的数量。
基于邻近像素缩放的空洞恢复单元350可沿与边缘918的梯度垂直的方向缩放背景像素，使得检测的空洞像素可被恢复。
换句话说，基于邻近像素缩放的空洞恢复单元350可通过沿与邻近于空洞912的背景像素922的梯度垂直的方向对背景像素或一部分背景进行缩放，来恢复空洞。背景像素可包括与空洞912邻近的背景像素922。背景像素可表示包括背景像素922的形状916。
这里，基于邻近像素缩放的空洞恢复单元350可沿与背景像素922的梯度垂直的方向检测连续空洞像素的数量，可基于检测到的连续空洞像素的数量来确定将用于进行缩放的背景像素，并可确定背景将被缩放至多少个像素。
基于邻近像素缩放的空洞恢复单元350可通过沿与背景像素922的梯度垂直的方向执行缩放，在保持背景像素（例如，形状916）的方向性的同时恢复空洞。
在使用背景的梯度的缩放方法中，可沿与边缘垂直的方向对背景像素进行缩放，因此，可比沿水平方向执行的缩放方法实现更自然的结果。然而，使用背景的梯度的缩放方法可能需要执行相对更复杂的操作。
图10示出根据示例实施例的基于最优块搜索的空洞恢复的示图。
在图10中，输出视图图像1010可包括空洞。
当与空洞邻近的背景区域是纹理区域时，仅通过对背景像素进行缩放可能不能准确地恢复空洞。
如果与空洞邻近的背景区域是纹理，则可从所有的背景区域来检测与邻近于空洞的背景区域最相似的块。检测到的块可被用于恢复空洞。换句话说，当从另一背景区域检测到与包括在邻近于空洞的背景区域中的纹理相同的纹理或相似的纹理时，与所述另一背景区域邻近的部分可被用于恢复空洞。
首先，可描述确定将使用块被恢复的点的方案。
可使用首先处理与背景邻近的空洞的方案。可使用按照从与背景邻近的空洞的区域的顺序来恢复空洞的区域的方案，因此，在空洞恢复期间，前景像素的混合可能在结构上受限。
基于最优块搜索的空洞恢复单元360可按照光栅扫描（raster-scan）方向检测空洞像素。
检测的初始空洞点1012可与前景邻近。因此，初始空洞点1012可能不适合于首先被恢复。
基于最优块搜索的空洞恢复单元360可沿光栅扫描方向从初始空洞点1012检测连续空洞像素。
基于最优块搜索的空洞恢复单元360可将连续空洞像素的末尾设置为最外空洞点1014。最外空洞点1014可与背景邻近。因此，不是空洞且与最外空洞点1014邻近的像素的颜色值和双目视差值可被用于搜索用于恢复最外空洞点1014周围的空洞区域的块。
基于最优块搜索的空洞恢复单元360可针对最外空洞点1014执行基于最优块搜索的空洞恢复。在下文中，将进一步描述基于最优块搜索的空洞恢复。
基于最优块搜索的空洞恢复单元360可将与最外空洞点1014邻近的区域设置为窗口区域（window region）1016。窗口区域1016可包括N×N个像素。
窗口区域1016可包括背景区域1018和空洞区域1020。背景区域1018可用于搜索块。可使用找到的块来恢复空洞区域1020。
基于最优块搜索的空洞恢复单元360可从所有的背景区域来检测与窗口区域1016对应的最优块，并可使用检测到的块来恢复最外空洞点1014和空洞区域1020。
最优块可指与窗口区域1016最相似的区域。
最优块可与窗口区域1016具有相同的尺寸。所述块还可包括与背景区域1018对应的部分以及与空洞区域1020对应的部分。
可计算块与窗口区域1016之间的相似度。所述块可与窗口区域1016具有相同的尺寸，并可包括与背景区域1018对应的部分以及与空洞区域1020对应的部分。
当计算相似度时，可仅使用背景区域1018，而不使用空洞区域1020。
例如，当块的与背景区域1018对应的一部分具有与背景区域1018的颜色值和双目视差值相同的颜色值和双目视差值时，所述块可被视为与背景区域1018相同。因此，所述块可被选为最优块。
基于最优块搜索的空洞恢复单元360可使用绝对差（MAD）方案的均值来计算相似度。可使用颜色值和双目视差值来执行MAD方案。
当窗口区域1016与多个块中的特定块之间的MAD具有最小值时，基于最优块搜索的空洞恢复单元360可将所述特定块选为最优块。
当最优块被确定时，基于最优块搜索的空洞恢复单元360可使用所确定的块的与空洞区域1020对应的一部分来恢复空洞区域1020。
图11示出根据示例实施例的使用块的重叠来恢复空洞的示图。
基于最优块搜索的空洞恢复单元360可使用至少两个块来恢复预定的空洞像素（或空洞区域）。
具体地讲，基于最优块搜索的空洞恢复单元360可基于两个不同的最外空洞点来选择至少两个窗口区域1112和1114。
基于最优块搜索的空洞恢复单元360可针对窗口区域1112和1114中的每一个搜索最优块，并可使用找到的块来恢复空洞。
当所述两个窗口区域1112和1114彼此重叠时，可通过所述两个块来恢复重叠的空洞区域。
这里，基于最优块搜索的空洞恢复单元360可使用所述两个块的颜色值的平均值和所述至少两个块的双目视差值的平均值，来恢复重叠的空洞区域。当然，可使用多于两个的块来恢复空洞区域，并且可使用重叠的块的平均值来恢复重叠的空洞区域。
图12示出根据示例实施例的图像处理方法的流程图。
在操作1210，例如，可通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形来产生输出视图图像。
在操作1220，可设置缓冲区，使得在输出视图图像中产生的空洞可被扩大。
在操作1230，输出视图图像中的缝隙可被设置为空洞。
在操作1240，可使用一个或多个在时间上邻近的图像来恢复空洞。这里，在时间上邻近的图像可与参考视图图像或输出视图图像在时间上邻近。
在操作1250，可通过对与空洞邻近的至少一个邻近像素进行缩放来恢复空洞。
在操作1260，可通过从背景搜索块并使用找到的块来恢复空洞。这里，所述块可与包括空洞的区域最相似。
以上参照图1至图11描述的技术信息可等同地应用于图12的图像处理方法的示例实施例，因此，将省略对图12的进一步描述。
根据上述示例实施例的方法可被记录在非暂时性计算机可读介质中，所述计算机可读介质包括用于实现由计算机执行的各种操作的程序指令。所述介质还可包括单独的数据文件、数据结构等或数据文件、数据结构等与程序指令的组合。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员而言公知和可用的类型。非暂时性计算机可读介质的示例包括磁介质（诸如硬盘、软盘和磁带）、光介质（诸如CD ROM盘和DVD）、磁光介质（诸如光盘）以及专门配置为存储和执行程序指令的硬件装置（诸如只读存储器（ROM）、随机存取存储器（RAM）、闪存等）。
程序指令的示例包括（诸如由编译器产生的）机器代码和包含可由计算机使用解释器执行的更高级代码的文件两者。描述的硬件装置可被配置为用作一个或多个软件模块以执行上述示例实施例的操作，反之亦然。在此描述的软件模块中的任意一个或多个软件模块可被对该单元唯一的专用处理器执行，或被对一个或多个所述模块公共的处理器执行。可在通用计算机或处理器上执行描述的方法，或者可在诸如在此描述的图像处理设备的特定机器上执行描述的方法。
图13示出根据示例实施例的包括图像处理设备的显示装置。
参照图13，诸如多视图显示装置1300的显示装置可包括例如控制器1301和图像处理设备1305。
多视图显示装置1300可以是用于显示3D图像的3D显示器的形式，并可采用多视图方案来输出三个或更多个不同的视点。可选择地，多视图显示装置1300可以是输出左图像和右图像的立体显示器的形式。
控制器1301可产生一个或多个控制信号以控制多视图显示装置1300，或者可产生将由多视图显示装置1300显示的一个或多个信号，或者执行两者。控制器1301可包括一个或多个处理器。
图像处理设备1305可用于为多视图显示装置1300产生多视图图像，并可包括例如图像变形单元、缓冲区设置单元、双目视差缝隙检测单元、基于邻近图像的空洞恢复单元、基于邻近像素缩放的空洞恢复单元和基于最优块搜索的空洞恢复单元中的一个或多个。在图13中没有示出前述单元。然而，这些单元中的每一个可与例如针对图3而在此讨论的类似命名的单元对应，因此，不需要在这里进行进一步讨论。
图像处理设备1305可内部地安装在多视图显示装置1300内，可附着于多视图显示装置1300或者可与多视图显示装置1300分开实现。不管它的物理配置如何，图像处理设备1305具有诸如针对图1至图11在此讨论的所有能力。图像处理设备1305可包括一个或多个内部处理器，或者所述一个或多个处理器可包括在多视图显示装置1300内，诸如控制器1301的一个或多个处理器。
在此描述的3D图像设备和方法可利用多种视频格式，包括但不限于H.264/MPEG-4AVC、高效视频编码（HEVC）、Dirac视频压缩格式、VC-1等。
尽管已示出和描述了示例实施例，但本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可在这些示例实施例中进行改变，本公开的范围在权利要求及其等同物中被限定。

Claims (16)

1.一种图像处理设备，包括：
处理器，用于控制一个或多个处理器可执行单元；
图像变形单元，用于通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形，来产生输出视图图像；
基于邻近图像的空洞恢复单元，用于使用一个或多个在时间上邻近的图像，恢复通过图像变形而产生的空洞；
缓冲区设置单元，用于通过将与空洞邻近的缓冲区域视为空洞来扩大空洞，
其中，针对包括在被视为空洞的缓冲区域中的像素，基于邻近图像的空洞恢复单元使用在时间上邻近的图像中包括的且与缓冲区域中的像素对应的像素的颜色值，来恢复缓冲区域中的像素。
2.如权利要求1所述的图像处理设备，其中，所述一个或多个在时间上邻近的图像与参考视图图像在时间上邻近。
3.如权利要求1所述的图像处理设备，其中，所述一个或多个在时间上邻近的图像与输出视图图像在时间上邻近。
4.如权利要求1所述的图像处理设备，其中，基于邻近图像的空洞恢复单元使用在时间上邻近的图像中包括的且与空洞中的像素对应的像素的颜色值，来恢复空洞中的所述像素。
5.如权利要求4所述的图像处理设备，其中，当参考视图图像和在时间上邻近的图像全部随时间移动时，基于邻近图像的空洞恢复单元基于参考视图图像和在时间上邻近的图像的移动，从在时间上邻近的图像中选择与空洞中的像素对应的像素。
6.如权利要求4所述的图像处理设备，其中，基于邻近图像的空洞恢复单元通过排除在时间上邻近的图像中的与空洞中的像素对应的一个或多个空洞像素来恢复空洞。
7.如权利要求4所述的图像处理设备，其中，基于邻近图像的空洞恢复单元使用与空洞中的像素对应的像素中的一个或多个背景像素来恢复空洞。
8.如权利要求1所述的图像处理设备，还包括：
双目视差缝隙检测单元，用于将输出视图图像中的缝隙设置为空洞。
9.如权利要求8所述的图像处理设备，其中，当一像素与邻近像素之间的双目视差值的差的总和大于预定值时，双目视差缝隙检测单元将所述像素检测为缝隙。
10.一种图像处理方法，包括：
由处理器通过使用参考视图图像和参考视图图像的双目视差信息进行图像变形，来产生输出视图图像；
通过将与空洞邻近的缓冲区域视为空洞来扩大空洞；
使用一个或多个在时间上邻近的图像，恢复在输出视图图像中产生的空洞，
其中，恢复在输出视图图像中产生的空洞的步骤包括：针对包括在被视为空洞的缓冲区域中的像素，基于邻近图像的空洞恢复单元使用在时间上邻近的图像中包括的且与缓冲区域中的像素对应的像素的颜色值，来恢复缓冲区域中的像素。
11.如权利要求10所述的图像处理方法，其中，所述一个或多个在时间上邻近的图像与参考视图图像在时间上邻近。
12.如权利要求10所述的图像处理方法，其中，所述一个或多个在时间上邻近的图像与输出视图图像在时间上邻近。
13.一种用于产生多视图的设备，所述设备包括：
处理器，用于控制一个或多个处理器可执行单元；
图像产生单元，用于基于参考视图图像和参考视图图像的双目视差信息来产生输出视图图像；
基于邻近图像的空洞恢复单元，用于使用一个或多个在时间上邻近的图像的背景信息，来恢复产生的输出视图图像中的空洞，所述空洞作为产生输出视图图像的结果而被产生；
缓冲区设置单元，用于通过将与空洞邻近的缓冲区域视为空洞来扩大空洞，
其中，针对包括在被视为空洞的缓冲区域中的像素，基于邻近图像的空洞恢复单元使用在时间上邻近的图像中包括的且与缓冲区域中的像素对应的像素的颜色值，来恢复缓冲区域中的像素。
14.如权利要求13所述的设备，其中，所述一个或多个在时间上邻近的图像与参考视图图像在时间上邻近。
15.如权利要求13所述的设备，其中，所述一个或多个在时间上邻近的图像与输出视图图像在时间上邻近。
16.如权利要求13所述的设备，其中，图像产生单元通过对来自参考视图的数据进行内插或外插来产生输出视图图像。
CN201280001829.2A 2011-01-13 2012-01-12 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法 Active CN102985949B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2011-0003658 2011-01-13
KR20110003658 2011-01-13
KR1020110142432A KR101960852B1 (ko) 2011-01-13 2011-12-26 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
KR10-2011-0142432 2011-12-26
PCT/KR2012/000299 WO2012096530A2 (en) 2011-01-13 2012-01-12 Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching

Publications (2)

Publication Number Publication Date
CN102985949A CN102985949A (zh) 2013-03-20
CN102985949B true CN102985949B (zh) 2016-10-26

Family

ID=46714172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001829.2A Active CN102985949B (zh) 2011-01-13 2012-01-12 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法

Country Status (3)

Country Link
JP (1) JP6173218B2 (zh)
KR (1) KR101960852B1 (zh)
CN (1) CN102985949B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140039649A (ko) * 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR102156410B1 (ko) * 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
KR102380862B1 (ko) * 2015-09-01 2022-03-31 삼성전자주식회사 영상 처리 방법 및 장치
CN106060511B (zh) * 2016-06-17 2018-11-16 浙江工商大学 基于深度图的立体视频补全方法及系统
KR102608466B1 (ko) 2016-11-22 2023-12-01 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP7202087B2 (ja) * 2018-06-29 2023-01-11 日本放送協会 映像処理装置
KR102641163B1 (ko) * 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US20200296401A1 (en) * 2019-03-15 2020-09-17 Mediatek Inc. Method and Apparatus of Patch Segmentation for Video-based Point Cloud Coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140452A1 (en) * 2004-12-15 2006-06-29 Stmicroelectronics Ltd. Computer user detection apparatus and associated method
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement
US20070098293A1 (en) * 2005-11-01 2007-05-03 Samsung Electronics Co., Ltd. Super precision for smoothly changing area based on segmentation and low-pass filtering
US7362799B1 (en) * 2002-06-27 2008-04-22 Arraycomm Llc Method and apparatus for communication signal resolution
CN101282492A (zh) * 2008-05-23 2008-10-08 清华大学 三维影像显示深度调整方法
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253422A (ja) * 1999-03-03 2000-09-14 Toshiba Corp ２次元映像からの立体映像生成方法
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
KR100590025B1 (ko) * 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
WO2009093185A2 (en) * 2008-01-24 2009-07-30 Koninklijke Philips Electronics N.V. Method and image-processing device for hole filling
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置
EP2533191B1 (en) * 2010-02-02 2017-06-14 Konica Minolta Holdings, Inc. Image processing system, image processing method, and program
JP5002702B2 (ja) * 2010-12-03 2012-08-15 株式会社東芝 視差画像生成装置、立体映像表示装置及び視差画像生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362799B1 (en) * 2002-06-27 2008-04-22 Arraycomm Llc Method and apparatus for communication signal resolution
US20060140452A1 (en) * 2004-12-15 2006-06-29 Stmicroelectronics Ltd. Computer user detection apparatus and associated method
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement
US20070098293A1 (en) * 2005-11-01 2007-05-03 Samsung Electronics Co., Ltd. Super precision for smoothly changing area based on segmentation and low-pass filtering
CN101282492A (zh) * 2008-05-23 2008-10-08 清华大学 三维影像显示深度调整方法
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Coherent Spatial and Temporal Occlusion Generation;R.Klein Gunnewiek et al.;《SPIE Proceedings》;20090217;第2节第5段，第3.1节、图2、图3 *
Stereoscopic Image Generation Based on Depth Images for 3D TV;Liang Zhang et al.;《IEEE TRANSACTIONS ON BROADCASTING》;20050630;第51卷(第2期);第191-199页 *
Stereoscopic Imaging:Filling Disoccluded Areas in Depth Image-Based Rendering;Carlos Vazquez et al.;《SPIE Proceedings》;20061017;第1页摘要、第5页第3.4节 *
TEMPORALLY CONSISTENT HANDLING OF DISOCCLUSIONS WITH TEXTURE SYNTHSIS FOR DEPTH-IMAGE-BASED RENDERING;M.Koppel et al.;《Proceedings of 2010 IEEE 17th Internationl Conference on Image Processing》;20100926;摘要，第1809-1810页第2节 *
基于DIBR和图像融合的任意视点绘制;刘占伟 等;《中国图象图形学报》;20071031;第12卷(第10期);第1696-1700页 *
基于几何和图像的混合式图形实时绘制算法;郑文庭 等;《自然科学进展》;20000430;第10卷(第4期);第366-370页 *

Also Published As

Publication number Publication date
KR101960852B1 (ko) 2019-03-22
CN102985949A (zh) 2013-03-20
JP2014515197A (ja) 2014-06-26
JP6173218B2 (ja) 2017-08-02
KR20120082336A (ko) 2012-07-23

Similar Documents

Publication Publication Date Title
CN102985949B (zh) 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法
EP2498503B1 (en) Real-time capturing and generating stereo images and videos with a monoscopic low power device
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
EP2382791B1 (en) Depth and video co-processing
US7260274B2 (en) Techniques and systems for developing high-resolution imagery
US9300947B2 (en) Producing 3D images from captured 2D video
JP4966431B2 (ja) 画像処理装置
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
EP2339863A2 (en) Image Processing Apparatus, Image Capturing Apparatus, Image Processing Method, and Program
US20080150945A1 (en) Complexity-adaptive 2d-to-3d video sequence conversion
US8634675B2 (en) Apparatus and method for generating extrapolated view based on image resizing
US20120182400A1 (en) Image processing apparatus and method, and program
CN103634519A (zh) 一种基于双摄像头的图像显示方法及装置
Vivet et al. Real-time stereo mosaicing using feature tracking
WO2012018001A1 (ja) 映像処理装置、表示装置及び映像処理方法
Xi et al. Multiview virtual image synthesis for auto-stereoscopic display based on two views
Ohm et al. Object-based system for stereoscopic videoconferencing with viewpoint adaptation
Boughorbel A new multiple-windows depth from stereo algorithm for 3D displays
Luo et al. Occlusion size aware multi-viewpoint images generation from 2D plus depth images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant