CN102985952A - 图像生成装置及图像生成方法 - Google Patents

Abstract

本发明的图像生成装置（200）具备：像素移位图像生成部（206），基于输入图像和进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对包括输入图像中包含的对象物的边缘周边的背景区域的像素在内的背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的图像；图像结合部（208），以使第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在第1像素移位图像中产生的没有像素信息的区域即空洞中的方式，将第2像素移位图像和第1像素移位图像结合；以及空洞填补部（210），基于结合的像素移位图像，对空洞中包含的像素信息进行补全。

Description

图像生成装置及图像生成方法

技术领域

本发明一般涉及图像处理，尤其涉及立体/多视点图像的生成方法及装置。

背景技术

通过使用以往已知的DIBR（基于深度的图像绘制：Depth-Image-BasedRendering）技术，能够使用一个图像视及与其对应的进深图来生成3维图像（例如专利文献1）。

在先技术文献

专利文献

专利文献1：美国专利申请公开第2009/0115780号说明书

非专利文献

非专利文献1：L.McMillan&S.Gortler:“Image-Based Rendering:A New Interface Between Computer Vision and Computer Graphics",Computer Graphics,Vol.33,No.4(November 1999)

非专利文献2：C.Fehn:“Depth-Image-Based Rendering(DIBR),Compression and Transmission for a New Approach on 3D-TV",Proceedings of SPIE Stereoscopic Displays and Virtual RealitySystems XI,5291:93-104(2004)

发明的概要

发明所要解决的课题

但是，在通过DIBR技术生成的图像中，存在前景对象物与背景的边界伪像（artifact）增加的课题。

发明内容

因此，本发明的目的在于，提供一种图像生成装置，能够抑制在通过DIBR技术生成新的图像时产生的前景对象物与背景的边界伪像。

解决课题所采用的手段

为了解决上述课题，本发明的一个方式的图像生成装置根据输入图像和与所述输入图像对应的进深图（映射、map），生成从新视点显示由该输入图像表示的场景的图像，该图像生成装置具备：像素移位图像生成部，基于所述输入图像和所述进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的像素移位图像，该第2像素移位图像是针对包括作为所述输入图像中包含的前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的像素移位图像；图像结合部，以使所述第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在所述第1像素移位图像中产生的没有像素信息的区域、即空洞（hole）中的方式，将所述第2像素移位图像和所述第1像素移位图像结合；以及空洞填补部，基于所述结合的像素移位图像，对所述空洞中包含的像素信息进行补全。

另外，本发明不仅能够作为这样的图像生成装置来实现，也能够作为以图像生成装置中包含的特征性单元为步骤的图像生成方法来实现，还能够作为使计算机执行这样的特征性步骤的程序来实现。并且，这样的程序当然可以经由CD-ROM（Compact Disc Read Only Memory）等记录介质及因特网等传输介质来流通。

此外，本发明能够作为实现这样的图像生成装置的功能的一部分或全部的半导体集成电路（LSI）来实现，或者作为包括这样的图像生成装置的图像生成系统来实现。

发明效果

根据本发明，能够提供一种图像生成装置，该图像生成装置能够抑制前景对象物与背景的边界伪像。

附图说明

图1是通过本发明的关联技术生成的新的图像视的概念图。

图2是通过本发明的实施方式的图像生成装置生成的新的图像视的概念图。

图3是在先技术的图像绘制单元的概略图。

图4是表示本发明的生成新的图像视的装置的框图。

图5是表示本发明的生成新的图像视的方法的流程图。

图6是表示本发明的一个实施方式的生成新的图像视的装置的框图。

图7是用于生成过滤处理后的边缘图像的边缘图像的过滤的图。

图8是表示本发明的实施方式的背景边缘图像的一例的图。

图9是表示本发明的实施方式的背景边缘图像生成的生成过程的一例的图。

图10是本发明的实施方式的图像结合的图。

图11是表示本发明的实施方式的背景边缘图像生成的详细方法的流程图。

图12是表示本发明的实施方式的新的图像视生成的详细方法的流程图。

图13是表示本发明的实施方式的前景边缘的重新映射方法的图。

图14是表示本发明的实施方式的修复的收敛率的图表。

图15是本发明的生成新的图像视的装置所装入的显示装置的框图。

具体实施方式

（本发明的基础知识）

对于“背景技术”部分中记载的3维图像生成技术，本发明人发现了以下的问题。

通常，从新视点观察某场景时的图像能够使用基于进深图像的绘制（DIBR）技术来生成。来自场景的原来的视点的输入图像和表示与其对应的该场景的对象物间的距离的进深图像（也称为深度图（深度映射））在作为视（view）合成而已知的新视点的合成中使用。

在该视合成方法中，基于使用原来的视点的摄像机位置和新视点的新的摄像机位置的信息的摄像机的几何学，生成新的图像视。在此，新的图像视（view）是指，为了成为从与输入图像不同的视点观察的图像而新合成的图像。合成的新的图像视能够将左眼视图像和右眼视图像用于3D立体视觉显示。多视点图像还能够用于多视点3D显示器而生成。因此，通过使用DIBR技术，仅使用一个图像视和与其对应的进深图，就能够生成3维图像。

由于生成新视，在隐藏区域中产生空洞（hole）。在此，空洞是指在合成视中不包含像素信息而为空白的未知区域。这是由于原来的视点中的隐藏区域在新视点中可视化（非隐藏化）而产生的。因此，对于产生空洞的图像，需要应用填补方法。

公知的填补方法有为了进行插值而使用空洞的两侧的像素的双线性插值法。该方法在较小的空洞区域中效果很好。但是，对于较大的空洞，在该方法中经常产生不鲜明的边缘、边界伪像及对象物的失真。这样的3D是低品质的。对称或非对称的进深图的平滑化等方法在将空洞的尺寸缩小的技术中公开。但是，在这样的方法中，在对象物中产生几何学失真，3D效果被抑制。

此外，在专利文献1中公开有另一方法。在图3所示的关联技术的图像生成装置100中，通过边缘检测104来检测进深图的边缘。接着，为了计算与边缘的周边区域一致的输入图像的区域中的像素值的一定的变化，通过纹理（texture）分析102对输入图像的纹理进行分析。此外，基于该变化量，通过进深缩放106使进深图缩小。最后，由绘制部108显示输出图像。通过进深缩放106将进深图缩小，由此，在该方法中，在高纹理区域中空洞的尺寸缩小。因此，能够降低绘制伪像。但是，存在抑制3D效果的可能性。此外，在公知的方法中，对象物的边缘未被进行正确的处理。在公知的方法中，前景对象物的边缘变大，有产生边界伪像的趋势。因此，3D的品质劣化。

为了解决这样的问题，本发明的一方式的图像生成装置根据输入图像和与所述输入图像对应的进深图，生成从新视点显示该输入图像所表示的场景的图像，该图像生成装置具备：像素移位图像生成部，基于所述输入图像和所述进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是对于所述输入图像实施了使像素移位与所述新视点对应的移位量的处理后的像素移位图像，该第2像素移位图像是针对包括作为所述输入图像中包含的前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理后的像素移位图像；图像结合部，以使所述第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在所述第1像素移位图像中产生的没有像素信息的区域、即空洞中的方式，将所述第2像素移位图像和所述第1像素移位图像结合；以及空洞填补部，基于所述结合的像素移位图像，对所述空洞中包含的像素信息进行补全。

由此，在结合的像素移位图像中，空洞的外缘区域中包含的像素值成为背景区域中包含的像素值。因此，在图像生成装置补全空洞时，使用背景区域中包含的像素值。由此，能够抑制前景对象物与背景的边界伪像。

具体地说，也可以还具备背景边缘图像生成部，该背景边缘图像生成部具有：边缘检测模块，分别检测所述输入图像和所述进深图中包含的边缘；边缘过滤模块，进行表示所述输入图像中包含的边缘信息的第1边缘图像和表示所述进深图中包含的边缘信息的第2边缘图像的对位；以及生成模块，基于对位后的所述输入图像中包含的边缘和所述进深图中包含的边缘，将所述输入图像中包含的边缘的像素值置换为表示从与该边缘的位置对应的所述进深图上的位置到预定范围内最里侧的位置的像素的像素值，从而生成所述背景边缘图像。

此外，也可以是，所述边缘过滤模块决定第1边缘像素和第2边缘像素，该第1边缘像素在所述第1边缘图像及所述第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素在所述第1边缘图像及所述第2边缘图像的另一方中的所述预定区域内表示边缘，并且与所述第1边缘像素的距离最短，通过使所述第1边缘像素及所述第2边缘像素中的一方的位置与另一方的位置一致，进行所述第1边缘图像和所述第2边缘图像的对位。

由此，通过对输入图像和进深图的位置偏差进行校正，能够生成更正确的背景边缘图像。

此外，也可以是，在所述第1边缘图像及所述第2边缘图像中，所述边缘在宽度方向上具有两个以上的像素。

由此，将生成的背景边缘图像移位时，能够在空洞的两侧配置背景区域中包含的像素值。

此外，也可以是，在所述边缘所具有的宽度方向的像素中，至少一个像素包含在所述前景对象物中，其他至少一个像素包含在背景区域中。

例如，也可以是，所述边缘检测模块具有由坎尼边缘（Canny edge）检测器、普瑞维特边缘（Prewitt edge）检测器、索伯尔边缘（Sobel edge）检测器、拉普拉斯－高斯边缘（Laplacian of Gaussian edge）检测器或其他微分边缘检测器构成的组中包括的边缘检测器。

此外，也可以是，所述像素移位图像生成部基于所述进深图和表示所述移位量的增益的至少一个参数，计算所述移位量。

由此，例如在生成立体视觉用的图像时，通过调整表示移位量的增益的参数，能够调整进行立体视觉时的跃出量或缩进量。

例如，也可以是，所述图像结合部通过将所述第1像素移位图像的像素值置换为所述第2像素移位图像的对应的像素值，将所述第2像素移位图像与所述第1像素移位图像结合。

此外，也可以是，所述图像结合部基于像素值的加权平均，将所述第2像素移位图像与所述第1像素移位图像结合。

由此，能够更适当地将两个像素移位图像结合。

例如，也可以是，所述空洞填补部对所述结合的像素移位图像实施TV（全变差、全变分：Total Variation）修正处理，由此补全所述空洞中包含的像素信息。

此外，也可以是，所述空洞填补部在所述TV修正处理中，基于利用附近像素计算出的像素值的变化程度，进行所述像素信息的补全。

由此，空洞填补部能够更高速地进行空洞的补全处理。

此外，也可以是，所述空洞填补部还进行如下处理：对于由所述空洞填补部补全了空洞后的所述结合的像素移位图像，基于所述边界附近的像素值的类似性和由所述进深图示出的进深度，实施使所述前景对象物的边界变得平滑的处理。

另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。

如上所述，本发明的目的在于，提供一种生成新的图像视的方法及装置。通过该方法及装置，能够正确地生成对象物的边界，能够在保持前景对象物的形状的同时，减少边界伪像。因此，能够提高画质而得到更高的3D效果。

此外，本发明提供一种能够用于3D应用的新的图像视的生成方法及装置。在本发明中，该方法在保持前景对象物的形状的同时，将背景信息与像素移位输入图像结合，使空洞的两侧可靠地包含背景像素。接着，执行空洞填补。其效果为，提高输出图像中的对象物的边界的正确性，减少失真。由此，能够得到更高的3D的效果。

此外，在本发明中，在一实施方式中，根据输入图像及输入图像和进深图双方的边缘信息来生成背景边缘图像。进深图中的对象物的边界周边的进深误差使用输入图像的边缘信息来进行过滤处理。其效果为，在输出时减少前景对象物的边界伪像。

此外，在本发明中，在一实施方式中，在填补时使用近似修复法（approximated inpainting method）。能够得到同样的像素输出的修复结果，并且通过加入系数，提高了收敛率，减少迭代次数。其效果为，与以往的修复方法相比，能够大幅削减计算时间。

以下，参照附图来具体说明本发明的一个方式的图像生成装置。另外，以下说明的实施方式都只表示本发明的一具体例。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，并不意图限定本发明。此外，在以下的实施方式中的构成要素中，对于表示最上位概念的独立权利要求所未记载的构成要素，作为任意的构成要素来说明。

（实施方式）

首先，为了具体说明本发明的效果，参照图1及图2来说明使用本发明的实施方式的图像生成装置生成的图像和通过本发明的关联技术生成的图像的差异。

图1是表示通过本发明的关联技术生成的新的图像视的概念图。

在此，首先，根据输入图像和与该输入图像对应的深度图，通过DIBR技术来合成使视点向左方向移位后的新的图像视。换言之，在输入图像中，合成前景相对于背景向右方向移位的图像视。在该图像视中，存在与前景移位的量相当的没有像素信息的区域，即空洞（Hole）。

因此，在关联技术中，基于空洞的左侧附近的像素信息和右端附近的像素信息来补全空洞。这时，空洞的左侧附近的像素信息是背景的像素信息。此外，空洞的右侧附近的像素信息是前景的像素信息。其结果，如图1所示，在前景的左端和背景的边界产生伪像。

另一方面，图2是表示由本实施方式的图像生成装置生成的新的图像视的概念图。

如图2所示，本实施方式的图像生成装置在补全空洞时仅使用背景的像素信息。因此，图像生成装置在空洞的右侧附近将前景的像素信息置换为背景的像素信息之后，进行补全处理。其结果，在生成新的图像视时，也不会在前景的左端和背景的边界产生伪像。

接着，说明本实施方式的图像生成装置的构成。

图4表示图像生成装置200的框图的一例。图像生成装置200根据输入图像和与输入图像对应的进深图，生成从新视点显示该输入图像所表示的场景的新的图像。

如图4所示，图像生成装置200具备像素移位图像生成部206、图像结合部208和空洞填补部210。

像素移位图像生成部206基于输入图像和进深图，生成对输入图像实施了使像素移位与新视点对应的移位量的处理而得到的第1像素移位图像。此外，生成针对包括输入图像中包含的作为前景对象物的边缘周边的背景区域的像素的指定边缘像素的背景边缘图像实施了使对应的像素移位与第1像素移位图像相同移位量的处理而得到的第2像素移位图像。

图像结合部208以使第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在第1像素移位图像中产生的没有像素信息的区域、即空洞中的方式，将第2像素移位图像和第1像素移位图像结合。

空洞填补部210基于结合的像素移位图像，补全空洞中包含的像素信息。

以下更具体地进行说明。

图像生成装置200取得输入图像202和进深图（深度映射）204。进深图204包括输入图像的场景目标物间的距离的信息。像素移位图像生成部206基于输入图像202及进深图204，生成第1像素移位图像及第2像素移位图像。

在此，第1像素移位图像是通过在输入图像中应用DIBR技术而生成的视点移位后的图像。即，是基于输入图像和进深图，对输入图像实施了使像素移位与新视点对应的移位量的处理而得到的图像。

此外，第2像素移位图像是对包括输入图像中包含的作为前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使像素移位与第1像素移位图像相同移位量的处理而得到的图像。

像素移位量从进深图204导出。图像结合部208将第2像素移位图像的信息与第1像素移位图像结合，生成结合的像素移位图像。最后，空洞填补部210使用空洞区域周边的信息，对结合的像素移位图像的缺失像素进行补全，从而取得输出图像212。

构成图像生成装置200的各构成要素通常通过IC（集成电路）、ASIC（用于特定用途的集成电路）、LSI（大规模集成）电路及DSP（数字信号处理器）的方式来实现，或通过ARM等基于CPU的处理器及PC（个人计算机）等设备来实现。这些各模块可以包含在多个单功能LSI或一个LSI中。在此使用的名称为LSI，但是根据集成度，有时也称为IC、系统LSI、超级LSI或特级LSI。此外，集成方法不限于LSI，也可以通过专用电路或通用处理器等来集成。其中也包括能够通过程序命令来指示的DSP（数字信号处理器）等特殊的微处理器。可以将在LSI的制造后可编程的FPGA（FieldProgrammable Gate Array）或能够将LSI的连接或配置重构的可重构处理器用于同样的目的。今后，随着制造和处理技术的发展，LSI可能被全新的技术所取代。集成能够通过这样的技术来实现。在实施方式中，也可以在数字静态摄像机及摄影机等摄像装置中装入图像生成装置200。装置200可以安装在像业务用摄像系统等中常见的与图像摄像系统联动的单机型的装置中。但是，也可以将图像生成装置200安装在其他种类的装置中，不限定本发明的范围。

图5表示图像生成装置200所进行的处理的流程。

首先，在步骤S302中，图像生成装置200取得输入图像及进深图。

接着，在步骤S304中，图像生成装置200基于输入图像和进深图，生成第1像素移位图像及第2像素移位图像。第2像素移位图像包含从前景对象物的边缘周边的背景区域的像素取得的指定边缘像素。

接着，在步骤S306中，图像生成装置200以一边保持前景对象物的形状一边将第2像素移位图像的背景信息与第1像素移位图像结合的方式，将第2像素移位图像与第1像素移位图像结合。

最后，在步骤S308中，图像生成装置200利用结合的像素移位图像的背景信息，对结合的像素移位图像的缺失像素进行补全，从而取得输出图像。在图像结合过程中，通过将该背景边缘像素与前景边缘像素正确地结合，前景对象物被正确地保持，减少了伪像。由此提高画质。

图6表示本实施方式的图像生成装置200的框图的另一例。与图4所示的图像生成装置200的不同点在于，还具备背景边缘图像生成部419。

如图6所示，背景边缘图像生成部419具有：边缘检测模块414，分别检测输入图像和进深图中包含的边缘；边缘过滤模块416，进行表示输入图像中包含的边缘信息的第1边缘图像和表示进深图中包含的边缘信息的第2边缘图像的对位；以及生成模块418，基于对位后的输入图像中包含的边缘和进深图中包含的边缘，将输入图像中包含的边缘的像素值置换为表示从与该边缘的位置对应的进深图上的位置到预定范围内最里侧的位置的像素的像素值，从而生成背景边缘图像。

此外，也可以是，边缘过滤模块416决定第1边缘像素和第2边缘像素，该第1边缘像素在第1边缘图像及第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素边缘在第1边缘图像及第2边缘图像的另一方中的预定区域内表示边缘，并且与第1边缘像素的距离最短。这种情况下，边缘过滤模块416通过使第1边缘像素及第2边缘像素中的一方的位置与另一方的位置一致，进行第1边缘图像和第2边缘图像的对位。

以下更详细地进行说明。

边缘检测模块414取得输入图像202及进深图204，生成输入图像202的第1边缘图像及进深图204的第2边缘图像。该第1及第2边缘图像包含指定边缘像素。

边缘过滤模块416取得第1和第2边缘图像，使用第1和第2双方的边缘图像的信息来对第2边缘图像进行过滤处理，从而生成包含指定边缘像素的过滤处理后的边缘图像。由此，对前景对象物与背景对象物之间的边界噪声进行过滤处理，第2边缘图像的边缘误差得到订正。

在此，在过滤处理后的第1及第2边缘图像中，边缘在宽度方向上具有两个以上的像素。此外，在边缘所具有的宽度方向的像素中，至少一个像素包含在前景对象物中，其他至少一个像素包含在背景区域中。

生成模块418使用输入图像和进深图的信息，基于过滤处理后的边缘图像来生成背景边缘图像。在该生成方法中，在过滤处理后的边缘图像中的指定边缘像素的对应周边区域中检测最小进深位置，将指定边缘像素置换为与所述最小进深位置对应的输入图像的像素强度值。

像素移位图像生成部206生成第1像素移位图像及第2像素移位图像。第1像素移位图像使用输入图像和进深图来生成。第2像素移位图像使用背景边缘图像和进深图来生成。第2像素移位图像包含从前景对象物的边缘周边的背景区域的像素取得的指定边缘像素。另外，像素移位图像生成部206也可以基于进深图和表示移位量的增益的至少一个参数来计算移位量。

图像结合部208也可以通过将第1像素移位图像的像素值置换为第2像素移位图像的对应的像素值，来将第2像素移位图像与第1像素移位图像结合。更详细地说，图像结合部208以一边保持前景对象物的形状一边将第2像素移位图像的背景信息与第1像素移位图像结合的方式，将第2像素移位图像与第1像素移位图像结合，取得结合的像素移位图像。这时，图像结合部208也可以基于像素值的加权平均，将第2像素移位图像与第1像素移位图像结合。

最后，空洞填补部210利用结合的像素移位图像的背景信息，对结合的像素移位图像的缺失像素进行补全，取得输出图像412。在此，空洞填补部210也可以通过对结合的像素移位图像实施TV（全变分、全变差：TotalVariation）修正处理，来对空洞中包含的像素信息进行补全。更详细地说，空洞填补部210在TV修正处理中，可以基于利用附近像素计算出的像素值的变化程度来进行像素信息的补全。由此，空洞填补部210能够更高效地进行像素值的补全处理。

边缘检测模块414能够使用公知的边缘检测器。例如，边缘检测模块414可以具有由坎尼边缘（Canny edge）检测器、普瑞维特边缘（Prewittedge）检测器、索伯尔边缘（Sobel edge）检测器、拉普拉斯－高斯边缘（Laplacian of Gaussian edge）检测器及其他微分边缘检测器构成的组中包括的边缘检测器或将其改良后的边缘检测器。

图7表示本实施方式中的边缘检测结果及边缘过滤的例子。图像502是从进深图取得的第2边缘图像的例子。此外，图像504是从输入图像取得的第1边缘图像（前置过滤后（未图示））的例子。

参照图7，边缘过滤模块416从进深图502的边缘图像提取像素列（组）512。中心位置520位于边缘像素的位置。此外，边缘过滤模块416从边缘图像504提取像素列（组）514。中心位置540是与中心位置520相同的位置。

接着，边缘过滤模块416计算像素列（组）514的中心位置540与各边缘像素的距离。例如，在像素列（组）514中存在像素542及像素544的两个边缘像素。边缘过滤模块416计算中心位置540与像素542的距离d1、及中心位置540与像素544的距离d2。这种情况下，在组512和组514中，对象物的边缘不一致，存在2像素量的进深误差。即，进深图502的边缘偏差了2像素量。为了订正该误差，边缘过滤模块416计算组514的中心位置540与边缘像素位置的最短距离。在该例中，d1为最短。因此，边缘过滤模块416将作为中心位置520的边缘像素重新映射到像素522中。这样，减少了对象物的边界周边的进深误差。

图8是表示由本实施方式的背景边缘图像生成部419生成的背景边缘图像的一例。

窗口602表示以过滤处理后的边缘图像中包含的边缘位置为中心的从进深图提取的区域。生成模块418与中心位置650的进深值进行比较，求出3×3的周边区域610的最小的进深值。在该例中，像素位置652的进深值为最小。另外，在此，进深值越小则表示越远。

但是，为了防止误差，生成模块418选择从中心位置650观察时隔着进深值最小的像素位置652而离开又1像素的像素位置654。另外，生成模块418也可以从进深值最小的像素选择其以外的位于事前决定的距离及方向的像素。

接着，生成模块418从与窗口602同位置的输入图像提取窗口604。在该例中，表示输入图像为彩色图像的情况下的、输入图像的一个颜色成分。中心位置660与中心位置650对应，像素位置664与像素位置654对应。

生成模块418通过将像素位置660的像素值置换为像素位置664的像素值，生成背景边缘图像。其结果，如窗口606所示，中心位置662的像素值与像素位置666的像素值相同。即，中心位置662的像素值被置换为过滤处理后的边缘图像的同位置的边缘的像素值，从而生成背景边缘图像。

以后，生成模块418对于其他边缘上的像素进行同样的处理。

图9表示生成背景边缘图像730的过程的例子。

过滤处理后的边缘图像720是以像素值来置换边缘像素之后的、过滤处理后的边缘图像。过滤处理后的边缘图像720包含前景像素712及背景像素714。

在背景边缘图像730中，沿着边缘的全部前景像素被置换为输入图像的背景像素。例如，前景像素712被置换为背景像素716。

像素移位图像生成部206生成第1像素移位图像及第2像素移位图像。图10是第1像素移位图像802和第2像素移位图像804的例示。该像素移位基于进深图。在像素移位图像的生成中，能够使用以往的DIBR技术。例如，该方法在非专利文献1及非专利文献2等中公开。

参照图10，空洞814及空洞824可能会在输入图像中的隐藏区域产生。在第1像素移位图像802中，空洞814位于前景810和背景812之间。在第2像素移位图像804中，空洞824位于背景像素818和背景像素820之间。将第2像素移位图像804和第1像素移位图像802结合，生成移位后的结合图像806。空洞824位于背景像素818和背景像素820之间。

通过将移位像素后的输入图像和移位像素后的背景边缘图像结合，空洞区域的两侧被背景像素包围。其结果，在使用空洞区域的两侧的像素值补全空洞后，也能够使输出的合成图像保持前景对象物的形状，能够进一步减少伪像。

再次参照图10，空洞824的区域中的空洞填补通过TV修复（TotalVariation Inpainting）、近似TV修复（Approximated TV Inpainting）、高速修复（Fast Inpainting）或近似高速修复（Approximated FastInpainting）等修复算法来执行。

另外，为了提高TV修复算法的修复品质，可以局部或整体地计算修复掩模（mask）的平均附近像素值。这种情况下，若平均像素值为预定范围内，则设定预定的修复参数a。这些参数基于结合图像的各通道来设定。如这里所定义，修复掩模的局部的平均附近像素值是指，通过对结合图像中的各局部区域进行分割而能够计算的值。修复掩模的整体的平均附近像素值是指，通过考虑结合图像中的整体区域而能够计算的值。平均附近像素用于推定修复参数a。

对于结合图像的各通道，修复参数a通过以下的数式（1）来定义。

【数1】

···数式(1)

在近似TV修复中，通过将参数λ、χt设为常数，提高修复像素值的扩散率。此外，这些参数λ、χt项通过加入扩散的像素值的变换率来加速扩散率。结果，能够防止较大的空洞区域所导致的不充分的插值，实现更充分的插值像素值。

修复式如以下的数式（2）所示。

【数2】

$\mathrm{div}{(b\▿u)}_{\mathrm{ij}}\≈(b_{i-\frac{1}{2}j}{u}_{i-1j}+b_{i+\frac{1}{2}j}{u}_{i+1j}+b_{\mathrm{ij}-\frac{1}{2}}{u}_{\mathrm{ij}-1}+b_{\mathrm{ij}+\frac{1}{2}}{u}_{\mathrm{ij}+1}-(b_{i-\frac{1}{2}j}+b_{i+\frac{1}{2}j}+b_{\mathrm{ij}-\frac{1}{2}}+b_{\mathrm{ij}+\frac{1}{2}})u_{\mathrm{ij}})\≈0$

$b_{i+\frac{1}{2}j}\≈\frac{1}{\sqrt{{(u_{i+1j}-u_{\mathrm{ij}})}^2+\frac{1}{16}{(u_{i+1j+1}+u_{\mathrm{ij}+1}-u_{i+1j-1}-u_{\mathrm{ij}-1})}^2+a}}$

$b_{i-\frac{1}{2}j}\≈\frac{1}{\sqrt{{(u_{i-1j}-u_{\mathrm{ij}})}^2+\frac{1}{16}{(u_{i-1j+1}+u_{\mathrm{ij}+1}-u_{i-1j-1}-u_{\mathrm{ij}-1})}^2+a}}$

$b_{\mathrm{ij}+\frac{1}{2}}\≈\frac{1}{\sqrt{{(u_{\mathrm{ij}+1}-u_{\mathrm{ij}})}^2+\frac{1}{16}{(u_{i-1j}+u_{i-1j+1}-u_{i+1j}-u_{i+1j+1})}^2+a}}$

$b_{\mathrm{ij}-\frac{1}{2}}\≈\frac{1}{\sqrt{{(u_{\mathrm{ij}-1}-u_{\mathrm{ij}})}^2+\frac{1}{16}{(u_{i-1j}+u_{i-1j-1}-u_{i+1j}-u_{i+1j-1})}^2+a}}$

${u_{\mathrm{ij}}}^{n+1}=\frac{b_{i-\frac{1}{2}j}{u_{i-1j}}^n+b_{i+\frac{1}{2}j}{u_{i+1j}}^n+b_{\mathrm{ij}-\frac{1}{2}}{u_{\mathrm{ij}-1}}^n+b_{\mathrm{ij}+\frac{1}{2}}{u_{\mathrm{ij}+1}}^n}{(b_{i-\frac{1}{2}j}+b_{i+\frac{1}{2}j}+b_{\mathrm{ij}-\frac{1}{2}}+b_{\mathrm{ij}+\frac{1}{2}})}+\mathrm{\λ}({u_{\mathrm{ij}}}^n-{u_{\mathrm{ij}}}^{n-1})+\mathrm{\χt}({u_{\mathrm{ij}}}^n-{u_{\mathrm{ij}}}^{n-1})$

$\mathrm{\χt}=\left({\mathrm{Log}}_2\left(\frac{n+1}{n}\right)\right)$

···数式(2)

在此，a是通过平均附近像素设定的参数，参数λ、χt是加速扩散率的高速收敛参数，n是迭代次数。此外，数式（3）所示的

【数3】

u_i，j ⁿ⁺¹···数式(3)

是新的像素值，b是进行平均化的数值函数。

一般来说，利用迭代的修复算法通过以下的数式（4）来近似。

【数4】

$I^{n+1}=I^n\⊗A+\mathrm{\δt}(I^{n+1}-I^n)+\mathrm{\χt}(I^{n+1}-I^n)$

$\mathrm{\χt}=\left({\mathrm{Log}}_2\left(\frac{n+1}{n}\right)\right)$

···数式(4)

在此，Iⁿ⁺¹是新的像素值，核A是通过对应的修复方法计算的系数，参数λ、χt是加速扩散率的高速收敛参数，n是迭代次数。

如图14所示，在以往的修复算法中，达到像素值的修复程度的评价指标饱和的饱和修复像素值为止，需要多次迭代。另一方面，根据上述的数式2所示的修复算法，达到饱和修复像素值为止的迭代次数较少，所以近似修复的复杂度较低。结果，除了强度的少许差别，维持了修复品质，处理速度大幅提高。

另外，空洞填补部210还可以对于由空洞填补部210补全了空洞后的、结合的像素移位图像，基于边界附近的像素值的类似性和进深图所示的进深度，施加使前景对象物的边界变得平滑的处理。以下，参照图13来具体说明。

图13是表示本发明的实施方式的空洞填补部210所进行的前景边缘的重新映射方法的图。将最初的边缘像素模块重新映射时，过滤处理后的前景边缘图像1120用于在修复后的修复图像1124的边缘中提取以P2（x＋Δ，y）为中心的预定尺寸的区块。此外，预先记录的背景边缘的最初的像素位置用于将在输入的纹理图像的边缘中以P1（x，y）为中心的预定尺寸的区块重新映射到在修复后的图像的边缘中以P2（x＋Δ，y）为中心的区块中。可见，合成图像1126具有与输入图像1122的边界同程度的平滑的边界。这是因为，最初的前景像素全部被修复为合成图像。

在将最初的边缘像素重新映射的期间，确认到通过表示对应位置的两个区块的颜色强度的像素值及进深度而抑制了伪像。区块的匹配通过以下的数式（5）计算。

【数5】

$\mathrm{SSD}=\underset{n}{\mathrm{\Σ}}\underset{i,u}{\overset{M}{\mathrm{\Σ}}}\underset{j,v}{\overset{N}{\mathrm{\Σ}}}{(I(i,j,n)-I_{\mathrm{org}}(u,v,n))}^2+\underset{i,u}{\overset{M}{\mathrm{\Σ}}}\underset{j,v}{\overset{N}{\mathrm{\Σ}}}{(\mathrm{depth}(i,j)-{\mathrm{depth}}_{\mathrm{org}}(u,v))}^2$

···数式(5)

在此，SSD意味着类似差的合计，n、M、N表示通道及合成图像的尺寸，I表示修复后的图像的图像信息，I_org表示输入的纹理图像的图像信息，depth_org表示输入的进深图像的图像信息，depth表示修复后的进深图像的图像信息。

如图13所示，前景边缘1100（1101、1102、1103）从修复后的进深图来检测。利用前景边缘，将以输入的纹理图像的P1（x，y）为中心的窗口1106中包含的像素值复制到以修复后的图像的P2（x＋Δ，y）为中心的窗口1107中包含的对应的像素值。结果，窗口1107中包含的像素值成为窗口1108所示的状态。如窗口1108所示，边缘的重新映射后，前景边缘全部与输入的纹理图像的前景边缘一致，输出该合成图像。

图11表示本实施方式中的背景边缘图像的生成方法的详细的流程图。

在步骤S902中，边缘检测模块414检测输入图像10a的边缘和进深图10b的边缘，分别生成边缘图像10和边缘图像11。

接着，在步骤S904中，边缘过滤模块416分别提取中心位于进深图的边缘11的多个输入图像的边缘10。此外，在步骤S906中，边缘过滤模块416提取中心位于各进深图的边缘11的边缘图像列。接着，在步骤S908中，边缘过滤模块416计算输入图像的边缘10中包含的像素和进深图的边缘11中包含的像素彼此之间的距离。在步骤S910中，边缘过滤模块416判断该距离是否长于阈值、且是否满足连结性的基准。在此，连结性指的是与其他边缘的空间连续性。例如，在从其他边缘离开的位置通常不会存在数个像素量的边缘。这种情况下，位于从其他边缘离开的位置的像素信息被判断为噪声。

在步骤S910中判定为“是”的情况下，在步骤S912中，边缘过滤模块416将进深边缘的位置重新映射到与前一边缘位置连结的输入图像边缘的最短位置。由此，得到过滤处理后的边缘图像12。

另外，在步骤S910中判定为“否”的情况下，边缘过滤模块416不进行步骤S912的处理。

接着，在步骤S914中，生成模块418计算以各边缘位置为中心的、周边区域的更小的进深的位置。然后，在步骤S916中，生成模块418将边缘像素的进深置换为周边区域附近的最小的进深位置的像素值。由此，最终得到背景边缘图像15。

图12是表示本实施方式中的新的图像视的生成方法的流程图。

首先，像素移位图像生成部206将通过图11所示的方法生成的背景边缘图像15、输入图像10a、进深图10b的进深平滑化（S1000），并取得平滑化后的进深图1012。

然后，像素移位图像生成部206分别基于进深信息，将背景边缘图像15和输入图像10a按每个像素移位预定的量（S1040、S1041）。

接着，图像结合部208以使已移位背景边缘图像1006和已移位输入图像1007的边缘重叠的方式结合（S1050），从而取得结合图像1014。进而，为了修复空洞而计算修复掩模（S1052），从而生成掩模图像1016。

然后，空洞填补部210重复空洞的修复（即像素信息的缺失部分的补全）到最大迭代次数（S1061、S1062），从而生成将空洞补全后的修复图像1020。

另外，空洞填补部210也可以基于前景边缘图像1018来更正确地对修复图像1020中包含的边缘部分进行修复（S1064、S1065）。

这样，图像生成装置200生成合成图像1022。

图15是具备装入了本实施方式的图像生成装置200的3D图像处理器1310的显示装置1300的框图。3D图像处理器1310向装入该处理器的图像生成装置200提供输入图像和进深图，生成3D图像。也可以将3D图像显示在显示装置1300的显示部上。

图像生成装置200、3D图像处理器1310及该处理器的其他模块通常以IC（集成电路）、ASIC（用于特定用途的集成电路）、LSI（大規模集成）电路及DSP（数字信号处理器）的方式来实现。这些各模块可以包含在多个单功能LSI或一个LSI内。在此使用的名称为LSI，但是根据集成度，有时也称为IC、系统LSI、超级LSI或特级LSI。此外，集成方法不限于LSI，也可以通过专用电路或通用处理器等来集成。其中也包括能够通过程序命令来指示的DSP（数字信号处理器）等特殊的微处理器。可以将在LSI的制造后可编程的FPGA（Field Programmable Gate Array）或能够将LSI的连接或配置重构的可重构处理器用于同样的目的。今后，随着制造和处理技术的发展，LSI可能被全新的技术所取代。集成能够通过这样的技术来实现。

另外，在上述各实施方式中，各构成要素可以由专用的硬件构成，或通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过读出并执行由CPU或处理器等程序执行部记录在硬盘或半导体存储器等记录介质中的软件程序来实现。

以上，基于实施方式说明了本发明的一个方式的图像生成装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式施以本领域技术人员能够想到的各种变形的发明、以及将不同的实施方式中的构成要素组合而成的方式也包含在本发明的一个方式的范围内。

另外，图7、图9等所示的图像的原图像利用了以下的论文内的图像。

（1）D.Scharstein and C.Pal.Learning conditional random fieldsforstereo.In IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR 2007),Minneapolis,MN,June 2007.（非专利文献3）

（2）H.Hirschmuller and D.Scharstein.Evaluation of costfunctions for stereo matching.In IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition(CVPR 2007),Minneapolis,MN,June 2007.（非专利文献4）

工业实用性

本发明能够应用于图像生成装置等。尤其能够应用于如下的图像生成装置：根据输入图像和与所述输入图像对应的进深图，生成从新视点显示该输入图像所标示的场景的新的图像。

标记说明

10输入图像的边缘

11进深图的边缘

12进深图的过滤处理后的边缘

15、730背景边缘图像

100、200图像生成装置

102纹理分析

104边缘检测

106进深缩放

108绘制部

202、10a、1122输入图像

204、10b、502进深图

206像素移位图像生成部

208图像结合部

210空洞填补部

212、412、1022、1126输出图像（合成图像）

414边缘检测模块

416边缘过滤模块

418生成模块

419背景边缘图像生成部

502、504图像

504、702边缘图像

512、514组

520、540、650、660、662中心位置

522、542、544像素

602、604、606、1106、1107、1108窗口

610周边区域

652、654、660、664、666像素位置

712前景像素

714、716、818、820背景像素

720过滤处理后的边缘图像

802、1007第1像素移位图像（已移位输入图像）

804、1006第2像素移位图像（已移位背景边缘图像）

806、1014移位后的结合图像

810前景

812背景

814、824空洞

1012平滑化后的进深图

1016掩模图像

1018、1120前景边缘图像

1020、1124修复图像

1100、1101、1102、1103前景边缘

1300显示装置

1310 3D图像处理器

Claims (16)

1.一种图像生成装置，根据输入图像和与所述输入图像对应的进深图，生成从新视点显示由该输入图像表示的场景的图像，该图像生成装置具备：

像素移位图像生成部，基于所述输入图像和所述进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的图像，该背景边缘图像包括指定边缘像素，该指定边缘像素是包括在所述输入图像中的前景对象物的边缘周边的背景区域的像素；

图像结合部，将所述第2像素移位图像与所述第1像素移位图像结合，以使所述第2像素移位图像中包括的背景区域被包括在空洞中，该空洞是由于使像素移位的处理而在所述第1像素移位图像中产生的没有像素信息的区域；以及

空洞填补部，基于所述结合后的像素移位图像，对所述空洞中包括的像素信息进行补全。

2.如权利要求1所述的图像生成装置，

该图像生成装置还具备背景边缘图像生成部，该背景边缘图像生成部具有：

边缘检测模块，分别检测所述输入图像和所述进深图中包括的边缘；

边缘过滤模块，进行表示所述输入图像中包括的边缘信息的第1边缘图像与表示所述进深图中包括的边缘信息的第2边缘图像的对位；以及

生成模块，基于对位后的所述输入图像中包括的边缘和所述进深图中包括的边缘，将所述输入图像中包括的边缘的像素值，置换为表示从所述进深图上与该边缘的位置对应的位置起预定范围内最里侧的位置的像素的像素值，从而生成所述背景边缘图像。

3.如权利要求2所述的图像生成装置，

所述边缘过滤模块决定第1边缘像素和第2边缘像素，该第1边缘像素在所述第1边缘图像及所述第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素在所述第1边缘图像及所述第2边缘图像的另一方中的所述预定区域内表示边缘，而且与所述第1边缘像素的距离最短，通过使所述第1边缘像素及所述第2边缘像素之中的一方的位置与另一方的位置一致，进行所述第1边缘图像和所述第2边缘图像的对位。

4.如权利要求2或3所述的图像生成装置，

在所述第1边缘图像及所述第2边缘图像中，所述边缘在宽度方向上具有两个以上的像素。

5.如权利要求4所述的图像生成装置，

在所述边缘所具有的宽度方向的像素之中，至少一个像素包括在所述前景对象物中，其他至少一个像素包括在背景区域中。

6.如权利要求2所述的图像生成装置，

所述边缘检测模块具有由坎尼边缘检测器、普瑞维特边缘检测器、索伯尔边缘检测器、拉普拉斯－高斯边缘检测器或其他微分边缘检测器构成的组中包括的边缘检测器。

7.如权利要求1所述的图像生成装置，

所述像素移位图像生成部基于所述进深图和表示所述移位量的增益的至少一个参数，计算所述移位量。

8.如权利要求1所述的图像生成装置，

所述图像结合部通过将所述第1像素移位图像的像素值置换为所述第2像素移位图像的对应的像素值，来将所述第2像素移位图像与所述第1像素移位图像结合。

9.如权利要求1所述的图像生成装置，

所述图像结合部基于像素值的加权平均，将所述第2像素移位图像与所述第1像素移位图像结合。

10.如权利要求1所述的图像生成装置，

所述空洞填补部通过对所述结合后的像素移位图像实施全变差修正处理即TV修正处理，补全所述空洞中包括的像素信息。

11.如权利要求10所述的图像生成装置，

所述空洞填补部在所述TV修正处理中，基于利用附近像素计算出的像素值的变化程度，进行所述像素信息的补全。

12.如权利要求1所述的图像生成装置，

所述空洞填补部还针对由所述空洞填补部补全了空洞后的所述结合后的像素移位图像，实施基于所述边界附近的像素值的类似性和由所述进深图示出的进深度使所述前景对象物的边界变得平滑的处理。

13.一种图像生成方法，根据输入图像和与所述输入图像对应的进深图，生成从新视点显示由该输入图像表示的场景的图像，该图像生成方法包括：

像素移位图像生成步骤，基于所述输入图像和所述进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的图像，该背景边缘图像包括指定边缘像素，该指定边缘像素是包括在所述输入图像中的前景对象物的边缘周边的背景区域的像素；

图像结合步骤，将所述第2像素移位图像与所述第1像素移位图像结合，以使所述第2像素移位图像中包括的背景区域被包括在空洞中，该空洞是由于使像素移位的处理而在所述第1像素移位图像中产生的没有像素信息的区域；以及

空洞填补步骤，基于所述结合后的像素移位图像，对所述空洞中包括的像素信息进行补全。

14.一种程序，用于使计算机执行权利要求13所述的图像生成方法。

15.一种记录介质，记录有用于使计算机执行权利要求13所述的图像生成方法的程序。

16.一种集成电路，实现权利要求13所述的图像生成方法。

Images