CN103379352B - 图像生成装置、图像显示装置及图像生成方法 - Google Patents

Abstract

本发明提供了一种图像生成装置、三维图像显示装置、及图像生成方法。一种用于生成虚拟视点图像的图像生成装置，包括：差异图像生成部，其通过使用深度图像和虚拟相机的参数生成对应于二维图像的差异图像；差异图像校正部，其基于从二维图像和差异图像提取的轮廓线校正该差异图像，或者基于从二维图像和深度图像提取的轮廓线校正要用于生成差异图像的深度图像；像素位移处理部，其根据所校正的差异图像对二维图像中的每个像素进行位移以生成中间图像；和未固定像素区域内插部，其对在中间图像中未向其分配经位移图像的未固定像素进行内插以生成虚拟视点图像。

Description

图像生成装置、图像显示装置及图像生成方法

技术领域

本发明涉及一种图像生成装置、图像显示装置、图像生成方法以及存储图像生成程序的非瞬时计算机可读介质。特别地，本发明涉及一种图像生成装置、图像显示装置、图像生成方法和存储图像生成程序的非瞬时计算机可读介质，每个均被提供用于基于二维图像的信号和差异图像的信号生成或显示立体图像。

背景技术

近来，对应于3D图像显示装置的技术发展，创建3D显示内容的技术吸引着越来越多的注意力。当3D图像显示装置通过传输线路接收图像信号并执行3D显示时，需要将对应于每个视点的图像信号传送至该装置。特别地，对于图像显示终端而言，多视点立体图像需要数倍于正常二维图像的数据。因此，减少所要传送的图像数据量是创建3D显示内容的领域中的研究课题之一。

基于以上背景，正在研究使用用于实现3D显示的二维图像中的一个的信号以及表示该二维图像的每个像素的三维对象深度信息的深度图像的信号来生成该二维图像中的其它二维图像的技术。其它二维图像通过使用虚拟相机的参数的图像处理技术生成。因此，此后它将被称作虚拟视点图像。使用该方法以经由图像转换处理而通过使用二维图像的信号和对应于该二维图像的深度图像的信号来生成虚拟视点图像，已经允许图像显示终端基于减少的传送图像数据量来执行3D显示。

然而，深度图像并不容易制备，因为它非常准确以便精确反应二维图像的信号的每个像素的深度信息。当通过使用实际的立体相机捕捉深度图像时，深度图像的分辨率受到立体相机固有属性的局限而低于二维图像的信号的分辨率。例如，由Mesa Imaging AG研发的TOF（Time of Flight：飞行时间）相机（Swiss Ranger SR3100，其中“Swiss Ranger”为商标）所捕捉的深度图像具有176×144像素的分辨率，其与二维图像的信号分辨率相差很远。另外，许多3D-CG工具为了提高其呈现速度而牺牲了深度图像的分辨率。在从对应于各个视点的多个二维图像的信号估算深度图像的情形中，给定深度图像信号由于二维图像之间误导相对应像素的影响而变得较不准确。深度图像信号下降的准确性产生了所生成的虚拟视点图像中的噪声不突显并且图像质量下降的问题。

为了解决这样的图像质量下降的问题，例如，日本未审专利申请公开（JP-A）No.2001-175863公开了以下装置：该装置包括距离信息检测部，其从多个图像的信息检测距离信息；平滑部，其利用加权处理平滑所检测的距离信息以使得由基于该距离信息给出的曲面所定义的加权函数最小化；加权信息检测部，其通过使用表示所检测距离信息的值的似然性的指标来检测在平滑处理中执行加权所需的加权信息；和图像表示和内插部，其基于平滑距离信息对所输入视点图像的每个像素进行位移并且在任意视点获得内插图像。

另外，JP-A No.2005-2288134公开了一种从三位图像数据的平面图像信息和二维图像数据的平面图像信息两者提取相对应特征点的方法，以通过基于所提取特征点的对应性修改多个特征点所封闭的闭合几何图形而对三维图像数据中的对象移位进行校正，并且通过使用校正三维图像数据的深度信息和二维图像数据的平面图像信息生成虚拟视点图像数据。

另外，Ilsoon Lim、Hocheon Wey、Dusik Park的“Depth Super-resolution forEnhanced Free-viewpoint TV”，SID Symposium Digest of Technical Paper，2010年5月，第41卷第1期，第1268-1271页公开了通过使用深度图像信号的轮廓线信息将低分辨率深度图像信号转换为高分辨率图像信号的方法。

如以上所描述的，当通过使用用于实现3D显示的二维图像中的一个的信号和表示与该二维图像的信号对应的对象的每个像素的深度信息的深度图像信号生成虚拟视点图像时，深度图像信号的准确度下降使得所生成的虚拟视点图像的噪声部不突显，这使得图像质量下降。

为了解决该问题，JP-A No.2001-175863提出了通过使用加权处理和平滑处理来减少已经根据多个二维图像的信号生成的深度图像信号中的误差以提升内插视点处图像的下降的图像质量。然而，该方法难以完全校正深度图像信号中的误差。特别地，在通过平滑处理所校正的深度图像的信号中，每个对象的轮廓线的外围区域被模糊而并未清楚表示对象之间的深度差异。因此，在基于该信号所生成的虚拟视点图像的信号中，对应于每个对象的轮廓区域的像素被分散，这使得轮廓区域周围的噪声不突显。

另外，JP-A No.2005-2288134提出了从三维图像数据的平面图像信息和二维图像数据的平面图像信息提取特征点的方法。然而，在输入深度信息（深度图像的信号）和二维图像数据替代三维图像数据和二维图像数据的情况下，因为没有颜色信息和纹理信息，所有该方法提供了以低准确度从深度信息进行的特征点提取。因此，难以获取特征点的准确对应。

另外，Ilsoon Lim、Hocheon Wey、Dusik Park的“Depth Super-resolution forEnhanced Free-viewpoint TV”，SID Symposium Digest of Technical Paper，2010年5月，第41卷第1期，第1268-1271页提出了仅使用深度图像的信号的轮廓信息以便获得虚拟视点图像的方法。然而，当深度图像的准确度下降时，深度图像的轮廓信息原本包括误差并且该方法能够提供更低准确度的校正深度图像。

发明内容

作为本发明的实施例，公开了说明性的图像生成装置、图像显示装置、图像生成方法和存储图像生成程序的非瞬时计算机可读介质。

已经鉴于以上问题实现本发明，并且本发明的目标是提供图像显示装置、图像生成方法和存储图像生成程序的非瞬时计算机可读介质，它们均能够在根据二维图像的信号和对应于该二维图像的深度图像的信号生成虚拟视点图像的信号时以较少的噪声和高图像质量生成虚拟视点图像。

作为能够反映本发明的一个方面的第一实施例，一种说明性图像生成装置是使用二维图像、表示该二维图像的深度信息的深度图像以及布置在三维空间的虚拟位置处的虚拟相机的参数生成要在该虚拟位置处利用虚拟相机捕捉的虚拟视点图像的图像生成装置。该图像生成装置包括差异图像生成部，其通过使用深度图像和虚拟相机的参数生成表示二维图像的每个像素的差异值的差异图像。该图像生成装置进一步包括差异图像校正部，其执行以下项中的一项：基于从二维图像提取的轮廓线和从差异图像提取的轮廓线对由差异图像生成部生成的差异图像的像素中的每一个的差异值进行校正，和基于从二维图像提取的轮廓线和从深度图像提取的轮廓线对要在差异图像生成部中生成差异图像所使用的深度图像的像素中的每一个的深度信息进行校正。该图像生成装置进一步包括像素位移处理部，其根据在校正差异值和校正深度信息中的一个之后所给出的差异图像对二维图像的每个像素进行位移以生成中间图像；和未固定像素区域内插部，其对在中间图像中还没有向其分配二维图像的经位移的像素的未固定像素进行内插以生成虚拟视点图像。

作为反映本发明另一方面的第二实施例，一种说明性的图像生成装置是使用二维图像、表示该二维图像的深度信息的深度图像以及布置在三维空间的虚拟位置处的虚拟相机的参数生成要在该虚拟位置处利用虚拟相机捕捉的虚拟视点图像的图像生成装置。该图像生成装置包括：差异图像生成部，其通过使用深度图像和虚拟相机的参数生成表示二维图像的每个像素的差异值的差异图像；和像素位移处理部，其根据差异图像对二维图像中的每个像素进行位移以生成中间图像。该图像生成装置进一步包括：未固定像素区域中噪声消除部，其消除在中间图像中还没有向其分配二维图像的经位移的像素的未固定像素的区域中的噪声；和未固定像素区域内插部，其对已经消除噪声的中间图像中的未固定像素进行内插以生成虚拟视点图像。

作为反映本发明另一方面的第三实施例，一种说明性图像生成装置是使用多个二维图像生成要利用布置在三维空间中的虚拟位置处的虚拟相机捕捉的虚拟视点图像的图像生成装置。该图像生成装置包括：差异图像生成部，其通过使用多个二维图像生成表示多个二维图像中的一个的每个像素的差异值的差异图像；和差异图像校正部，其基于从多个二维图像中的一个提取的轮廓线和从差异图像提取的轮廓线对由差异图像生成部生成的差异图像的像素中的每一个的差异值进行校正。该图像生成装置进一步包括：像素位移处理部，其根据已经被校正的差异图像对多个二维图像中的一个中的每个像素进行位移以生成中间图像；和未固定像素区域内插部，其对在中间图像中还没有向其分配二维图像中的一个的经位移的像素的未固定像素进行内插以生成虚拟视点图像。

作为反映本发明另一方面的第四实施例，另一种说明性图像生成装置是使用多个二维图像生成要利用布置在三维空间中的虚拟位置处的虚拟相机捕捉的虚拟视点图像的图像生成装置。该图像生成装置包括：差异图像生成部，其通过使用多个二维图像生成表示多个二维图像中的一个的每个像素的差异值的差异图像；和像素位移处理部，其根据差异图像对多个二维图像中的一个中的每个像素进行位移以生成中间图像。该图像生成装置进一步包括：未固定像素区域中噪声消除部，其消除在中间图像中还没有向其分配二维图像中的一个的经位移的像素的未固定像素的区域中的噪声；和未固定像素区域内插部，其对已经消除噪声的中间图像中的未固定像素进行内插以生成虚拟视点图像。

那些说明性的图像生成装置、图像显示装置、图像生成方法和存储图像生成程序的非瞬时计算机可读介质由于以下处理而能够以低噪声和高图像质量生成虚拟视点图像。

在以上说明性实施例中，通过使用深度图像和虚拟相机的参数或者通过使用多个二维图像生成差异图像。所生成差异图像的像素中的每一个的差异值以及要用来生成差异图像的深度图像的像素中的每一个的深度信息被校正，其中基于从二维图像所提取的轮廓线和从差异图像所提取的轮廓线校正差异值，并且基于从二维图像提取的轮廓线和从深度图像提取的轮廓线校正深度信息。随后，通过根据在校正之后所给出的差异图像对二维图像中的每个像素进行位移而生成中间图像。另外，中间图像中的未固定像素被内插以生成虚拟视觉点图像。

在其它的说明性实施例中，通过使用深度图像和虚拟相机的参数或者通过使用多个二维图像来生成差异图像。通过根据该差异图像对二维图像的每个像素进行位移来生成中间图像。随后，针对在中间图像的未固定像素区域中生成的噪声执行噪声消除，并且中间图像中的未固定像素被内插以生成虚拟视点图像。

以下将对说明性实施例的其它特征进行描述。

附图说明

现在将参考附图仅通过示例对实施例进行描述，附图仅意在为示例性而非限制性的，并且其中同样的要素在若干附图中被同样编号，其中：

图1A和1B中的每一个是图示与实施例1相关的图像生成装置的结构的框图；

图2是图示与实施例1相关的图像生成装置中的差异图像校正部的结构示例的框图；

图3是图示与实施例1相关的图像生成装置中所执行的校正差异图像的方法示例的顺序图；

图4A图示了校正差异图像的处理中的输出图像（二维图像信号）的结果示例；

图4B图示了校正差异图像的处理中的输出图像（差异图像信号）的结果示例；

图4C图示了校正差异图像的处理中的输出图像（二维图像的轮廓信息）的结果示例；

图4D图示了校正差异图像的处理中的输出图像（差异图像的轮廓信息）的结果示例；

图4E图示了校正差异图像的处理中的输出图像（范围从第(j-a)行至低(j+a)行的区域内的二维图像和差异图像两者的轮廓信息）的结果示例；

图4F图示了校正差异图像的处理中的输出图像（图4E的放大视图）的结果示例；

图4G图示了校正差异图像的处理中的输出图像（图4F的放大视图）的结果示例；

图4H图示了校正差异图像的处理中的输出图像（校正之后的差异图像信号）的结果示例；

图5A至5C是图示在与实施例1相关的图像生成装置中对未固定像素进行内插的方法示例的顺序图；

图6是图示与实施例2相关的图像生成装置的结构的框图；

图7A至7C中的每一个是图示使得生成未固定像素的区域的示图；

图8A至8C中的每一个是图示使得在未固定像素的区域中生成噪声的示图；

图9是图示与实施例2相关的图像生成装置中的未固定像素区域中噪声消除部的结构示例的框图；

图10A和10B中的每一个是图示与实施例2相关的图像生成装置中消除在未固定像素区域中的噪声的处理的框图；

图11是图示与实施例3相关的图像生成装置的结构的框图；

图12是图示与实施例3相关的图像生成装置的另一结构的框图；

图13A示出了用于图示本实施例的效果的输出图像数据（二维图像信号）的结果的具体示例；

图13B示出了用于图示本实施例的效果的输出图像数据（深度图像信号）的结果的具体示例；

图13C示出了用于图示本实施例的效果的输出图像数据（通过常规方法生成的中间图像信号）的结果的具体示例；

图13D示出了用于图示本实施例的效果的输出图像数据（通过实施例1的方法生成的中间图像信号）的结果的具体示例；

图13E示出了用于图示本实施例的效果的输出图像数据（通过实施例2的方法生成的中间图像信号）的结果的具体示例；

图13F示出了用于图示本实施例的效果的输出图像数据（通过常规方法生成的虚拟视点图像信号）的结果的具体示例；

图13G示出了用于图示本实施例的效果的输出图像数据（通过实施例1的方法生成的虚拟视点图像信号）的结果的具体示例；

图13H示出了用于图示本实施例的效果的输出图像数据（通过实施例2的方法生成的虚拟视点图像信号）的结果的具体示例；

图14是图示包括与本实施例相关的图像生成装置的图像显示装置的结构的框图。

具体实施方式

以下将参考附图对图像生成装置、图像显示装置、图像生成方法和存储图像生成程序的非瞬时计算机可读介质的说明性实施例进行描述。本领域技术人员将会意识到的是，这里关于那些附图所给出的描述仅是出于示例性的目的而并非意在以任何方式对可以通过参考所附权利要求而得出的潜在实施例的范围进行限制。

实施例1

将参考图1A和1B对关于实施例1的用于生成虚拟视点图像的图像生成装置的结构进行描述。图1A和1B中的每一个是图示与本实施例相关的图像生成装置100的结构的框图。

如图1A所示，图像生成装置100包括差异图像生成部101、差异图像校正部102、像素位移处理部103和未固定像素区域内插部104。图像生成装置100使用虚拟相机参数7000、深度图像信号2000和二维图像信号1000来生成并输出虚拟视点图像信号4002。这里，二维图像信号1000是利用处于三维空间中的视点处的相机所捕捉的图像的信号。提供虚拟相机参数7000以用于定义被假设与二维图像信号1000的视点处于相同三维空间但是并非实际处于该空间之中的虚拟相机。虚拟相机参数7000包括焦距、视场以及虚拟相机在三维空间中的坐标信息。深度图像信号2000表示对于二维图像信号1000的每个像素在三维空间中在视点和对象之间的距离。虚拟视点图像信号4002是从虚拟相机的虚拟位置所捕捉的图像信号。

以下将对图像生成装置100中所包括的处理部的功能进行描述。

首先，虚拟相机参数7000和深度图像信号2000被输入到差异图像生成部101。所输入的深度图像信号2000通常具有与二维图像信号1000相同的分辨率。然而，在已经通过内插处理从低分辨率的原始数据生成所输入的深度图像信号2000的情况下，深度图像信号2000可能提供无法准确反映二维图像信号1000的每个像素的深度信息的信息。例如，当已经通过利用实际设备捕捉图像而生成了深度图像时，分辨率被立体相机的固有属性所限制并且分辨率无法接近二维图像信号的分辨率。当已经通过诸如Lightwave（商标）和3ds Max（商标）的3D-CG工具生成了深度图像时，在大多数情况下为了提高呈现速度而牺牲该深度图像的分辨率。另外，当从与各个视点对应的多个二维图像的信号估算深度图像时，给定深度图像由于估算误差的影响而具有更下降的准确性。为了解决这些问题，在接收到具有低准确性的深度图像信号2000和虚拟相机参数7000之后，差异图像生成部101将深度图像信号2000转换为表示二维图像信号的每个像素的位移量（差异值）的差异图像信号3000，以便生成虚拟视点图像信号4002。例如，二维图像信号1000中的像素(u,v)的差异Δu(u,v)的量由表达式（1）所给出。

$\mathrm{\Δu}(u,v)=\frac{\mathrm{IOD}}{z(u,v)}\·\frac{1}{\tan (\mathrm{Fov}/2)}---\left(1\right)$

这里，z(u,v)是深度图像信号2000的像素(u,v)的值，并且表示与二维图像信号1000的像素(u,v)对应的、在三维空间中在视点和对象之间的距离。符号“IOD”表示对应于作为输入的二维图像信号1000的视点和对应于作为输出的虚拟视点图像信号的视点之间的间隔。符号“Fov”表示相机的视场。差异图像生成部101输出所生成的差异图像信号3000。

随后，差异图像信号3000和二维图像信号1000被输入到差异图像校正部102中。差异图像校正部102提取所输入的二维图像信号1000的轮廓线和所输入的差异图像信号3000的轮廓线，并且对差异图像信号3000的轮廓线周围的像素中的每一个的差异值进行校正，以输出经校正的差异图像信号3001。随后将对差异图像校正部102的具体结构和具体处理方法进行描述。

接下来，校正之后的差异图像信号3001和二维图像信号1000被输入到像素位移处理部103中。像素位移处理部103根据经校正的差异图像信号3001将二维图像信号1000的每个像素位移至适当位置以生成中间图像信号4000。通常，像素位移处理部103将二维图像信号1000中的像素(u,v)的颜色信息位移至中间图像信号4000的坐标(u+Δu(u,v),v)的位置，其中Δu(u,v)是经校正的差异图像信号3001的像素(u,v)的值。为了调节3D内容的对象的投影量和深度量，可以将二维图像信号的像素(u,v)的颜色信息设置为中间图像信号4000的坐标(u+k·Δu(u,v),v)处的像素，其中k是调节立体效果的因数。k的值可以被定义为常数值或者可以关于坐标(u,v)根据函数k=f(u,v)来计算。中间图像信号4000是通过根据经校正的差异图像信号3001每个像素地位移二维图像信号所获得的图像信号。在中间图像信号4000中，在坐标计算阶段，存在在位移之后没有与之相对应的二维图像信号的像素坐标并且从未向其固定颜色的一些像素（换句话说，还没有向它们分配经位移的像素的那些像素）。这些像素被定义为未固定像素。

最终，中间图像信号4000被输入至未固定像素区域内插部104。未固定像素区域内插部104通过使用诸如线性内插、平均值内插和加权平滑方法的方法在中间图像信号4000中内插未固定像素。该中间图像被输出作为虚拟视点图像4002。

将参考图5A至5C对内插未固定像素的方式示例进行描述。图5A图示了包括未固定像素的中间图像信号。图5B图示了内插未固定像素的方式。首先，将未固定像素的区域等同地划分为两个部分。利用左相邻像素“a”的值填充由白色虚线划分的未固定像素的区域的左部分，并且利用右相邻像素“b”的值填充由白色虚线划分的未固定像素区域的右部分。图5C图示了校正之后的虚拟视点图像信号。

接下来，将对图像生成装置100中的差异图像校正部102的详细结构进行描述。图2是图示差异图像校正部102的结构示例的框图。如图2所示，差异图像校正部102包括轮廓线提取部102a、误差区域计算部102b和误差区域中差异值校正部102c。

具有低准确度的差异图像信号3000和二维图像信号1000被输入到轮廓线提取部102a。轮廓线提取部102a通过使用诸如二阶微分、Sovel滤波器和Prewitt滤波器的方法对二维图像信号1000和差异图像信号3000执行轮廓线提取。从每个图像提取的轮廓线的坐标信息被定义为二维图像的轮廓线信息5000以及差异图像的轮廓线信息5001。轮廓线信息5000和轮廓线信息5001被输入到误差区域计算部102b。误差区域计算部102b对差异图像中的误差区域信息6000进行估算。误差区域信息6000表示在差异图像信号3000中存在差异值错误的高可能性的区域的位置信息。所给定的误差区域信息6000和差异图像信号3000被输入至误差区域中差异值校正部102c。误差区域中差异值校正部102c参考误差区域信息6000并且对误差区域中的每个像素的差异值进行校正。

图3是图示在差异图像校正部102中执行的处理的流程图。在本实施例中，三个步骤“轮廓线提取”、“误差区域计算”和“误差区域中差异值校正”以便对差异图像信号3000中的误差区域中的差异量进行校正。此后，将参考图4A至4H对每个步骤的具体处理进行描述。

步骤1：通过诸如二阶微分、Sovel滤波器和Prewitt滤波器的方法对二维图像信号1000以及具有低准确度的差异图像信号3000执行轮廓线提取以便提取二维图像信号1000的轮廓线以及差异图像信号3000的轮廓线，并且输出二维图像的轮廓线信息5000以及差异图像的轮廓线信息5001。至于图4A至4H所示出的示例，图4A示出了作为输入的二维图像信号1000，并且图4B示出了具有低准确度的差异图像信号3000。图4C示出了对图4A的图像执行轮廓线提取之后所获得的图像，并且图4D示出了对图4B的图像执行轮廓线提取之后所获得的图像。

步骤2：进行误差区域计算以通过使用二维图像信号的轮廓信息5000以及差异图像信号的轮廓信息5001计算差异图像信号3000中的误差区域信息6000。误差区域信息6000表示在差异图像信号6000中存在差异值错误的高可能性的区域的位置信息。

这里，对用于计算在差异图像信号3000中第j行的误差区域信息6000的具体操作进行了描述。首先，获得范围从第(j-a)行至第(j+a)行的区域ω内的二维图像信号的轮廓信息5000和差异图像信号的轮廓信息5001（图4E）。

图4F是图4E的轮廓区域的放大视图。将在二维图像的轮廓信息5000中所示的第j行处的轮廓上的像素c定位作为基准像素，确定在差异图像的轮廓信息5001中的轮廓上的像素a和b，其中像素b是在轮廓上在基准像素的附近区域ω内以最大距离在+x方向上与基准像素分开的像素，并且像素a是在轮廓上在基准像素的附近区域ω内在-x方向上与基准像素分开的像素。另外，位于像素a和b之间的区域被判断为误差区域。表示该误差区域的位置的信息被输出作为误差区域信息6000。

至于附近区域，用于搜索误差区域的分区被定义为覆盖不仅在相同行中而且还在包括相邻行的附近区域ω中处于距离基准像素最远位置的像素的原因在于，每一行所执行的计算和校正可能导致依赖于行的噪声。如上加宽搜索分区能够防止出现依赖于行的噪声。

步骤S3：进行误差区域中差异值校正以对误差区域中的差异值进行校正。图4G是由图4F中的白色矩形线所封闭的部分的放大视图，并且示出了校正差异的方式的示例。

在第j行，从基准像素c到与像素b具有相同横坐标的像素b'的像素中的每一个的差异值通过使用像素b'的相邻像素f的值来校正。另外，从基准像素c到与像素a具有相同横坐标的像素a'的每个像素的差异值通过使用像素a'的相邻像素e的值来校正。在从第一行到结束行顺序执行相同的差异校正之后，输出经校正的差异图像信号3001（图4H）。

虽然以上示例描述了针对第一行至最后行执行误差区域提取和差异量校正的情形，但是本实施例并不局限于以上方式。例如，处理方向可以改变而使得针对第一列至最后列中的每一列顺序执行处理。

虽然以上描述了将二维图像信号1000的轮廓信息与差异图像信号3000的轮廓信息进行比较并且校正差异图像信号3000的示例，但是可以通过将二维图像信号1000的轮廓信息与深度图像信号2000的轮廓信息互相比较来执行差异图像信号3000的校正。在这种情况下，如图1B所示，差异图像校正部102作为深度图像校正部工作。在差异图像生成部101和深度图像校正部的处理中，首先执行对要用于生成差异图像信号的深度图像信号2000的校正。该校正与将二维图像信号1000的轮廓信息和差异图像信号3000的轮廓信息进行比较的校正方式相同。将二维图像信号1000的轮廓信息和深度图像信号2000的轮廓信息相互比较，并且深度图像信号2000中的误差区域中的每个像素的深度值（深度信息）被校正。由此，生成经校正的深度图像信号2001。接下来，通过使用经校正的深度图像信号2001和虚拟相机参数7000生成并输出经校正的差异图像信号3001以便执行差异图像信号3000的校正。

虽然本实施例描述了输入二维图像信号1000和深度图像信号2000的情形，但是本实施例并不局限于此。例如，该实施例可以被应用于仅输入一个二维图像1000的信号的情形。在这种情况下，可以基于作为输入的二维图像信号的颜色信息和亮度信息来估算对应于二维图像的像素的差异图像信号和深度图像信号。在输入多个二维图像的信号的另一种情况下，可以通过诸如包括SAD（绝对差和）和SSD（方差和）的块匹配方法和SIFT（尺度不变形特征变换）特征点的匹配方法的方法来估算与该二维图像中的任意一个的信号对应的差异图像信号和深度图像信号。

如以上所描述的，本实施例使得能够基于二维图像中的一个而以高的图像质量生成虚拟视点图像以便执行3D显示。随后，如图14所示，三维显示面板10000显示作为输入的二维图像信号1000以及从该图像生成装置100所输出的虚拟视点图像信号4002，并且对显示进行调节以使得右眼和左眼能够分开地感知图像，这在图像显示装置中实现了合成的立体表示。

实施例2

将参考图6对关于实施例2的图像生成装置200的结构进行描述。图6是图示关于本实施例的图像生成装置200的结构的框图。

如图6所示，图像生成装置200包括差异图像生成部101、像素位移处理部103、未固定像素区域内插部104和未固定像素区域中噪声消除部105。

类似于实施例1，图像生成装置200通过使用二维图像信号1000和具有低准确度的深度图像信号2000生成虚拟视点图像信号4002，但是执行未固定像素区域中的噪声消除而替代实施例1中所描述的差异图像校正，以防止虚拟视点图像信号4002的图像质量下降。

此后，将参考图6对具体处理流程进行描述。在描述中，与图1A和1B相同的结构要素将由于图1A和1B相同的附图标记所指代并且将省略其描述。

差异图像生成部101通过使用作为输入的深度图像信号2000和虚拟相机参数7000生成差异图像信号3000。

像素位移处理部103根据差异图像信号3000将二维图像信号的每个像素位移至适当位置以生成中间图像信号4001。为了记录中间图像信号4001中的未固定像素的位置，在像素位移处理部103中准备其初始值为0的标志缓存器。对应于用于中间图像信号中的每个像素的位移处理，与每个经位移的像素的位置处于相同坐标的标志缓存器中的像素值从0变为1。由此，标志缓存器中像素值保持为0的像素被认为对应于中间图像信号4001中的未固定像素。

在输入具有高准确度的差异图像信号的条件下，差异图像信号和二维图像信号彼此完全对应，并且对象区域的差异量群和背景区域的差异量群清晰分开。当对应于对象的像素和对应于背景的像素根据相对应的差异量进行位移时，在所生成的中间图像的对象区域和背景区域之间出现了未固定像素的区域。图7A至7C示出了该条件的示例。图7A和7B分别示出了所输入的二维图像信号和所输入的差异图像信号。图7C示出了所输出的中间图像信号4001。在图7A中，像素A表示对象区域的轮廓像素，而像素B表示背景区域的轮廓像素。假设对象区域的相对应差异量为Δu1而背景区域的相对应差异量为Δu2，则在图7C示出的所生成的中间图像信号中，对象区域的轮廓像素A'通过将二维图像信号中的像素A在水平方向上位移Δu1给出，并且轮廓像素B'通过将二维图像信号中的像素B在水平方向上位移Δu2给出。如图7C所示，在背景区域和对象区域的边界处具有未固定像素的区域。

如以上所描述的，由于所输入的差异图像信号3000具有低准确度，所以误差区域实际上在差异图像信号3000中的对象区域和背景区域的边界上部分存在，这使得对应于误差区域的二维图像的像素在根据差异图像信号3000所获得的中间图像信号4001中作为噪声分散在未固定像素的区域之中。因此，对象由于噪声像素而在所生成的虚拟视点图像信号中看上去已经丢失了其形状。

图8A至8C示出了这种情形的示例。图8A示出了二维图像信号，图8B示出了具有低准确度的差异图像信号，而图8C示出了所生成的中间图像信号。在图8A中，对象区域的轮廓像素被指代为A，背景区域的轮廓像素被指代为B，并且在相同背景区域中的像素B的相邻像素被指代为C。如图8B所示，像素A的差异量被定义为Δu1。包括在差异图像的误差区域中的像素B及其差异量被定义为Δue。像素C的差异量被定义为Δu2。

基于图8B，如图8C所示，对包括像素A、B和C的所有像素进行位移并且生成中间图像信号4001。在中间图像信号4001中，对象的轮廓像素A已经被位移至A'的位置并且背景的轮廓像素C已经被位移至C'的位置。然而，像素B的差异量具有对象区域和背景区域的差异值之间的中间值，并且如像素B的像素作为噪声被分散在未固定像素的区域中。可以认为这样的噪声像素导致虚拟视点图像的图像质量下降。

为了解决该问题，出于消除噪声的目的，实施例2采用了未固定像素区域中噪声消除部105。当中间图像信号4001被输入到未固定像素区域中噪声消除部105中时，未固定像素区域中噪声消除部105消除在未固定像素的区域中可能被认为是噪声的像素并且在噪声消除之后输出中间图像信号4000。

最后，噪声消除之后的中间图像信号4000被输入到未固定像素区域内插部104。未固定像素区域内插部104通过使用类似于实施例1的相邻像素在中间图像信号4000中内插未固定像素区域的像素并且输出虚拟视点图像信号4002。

此后，将参考图9对作为本实施例主要部分的未固定像素区域中噪声消除部105的结构进行描述。图9图示了表示未固定像素区域中噪声消除部105的结构的框图。

如图9所示，未固定像素区域中噪声消除部105由噪声判断部105a和噪声消除部105b所构成。噪声判断部105a接收中间图像信号4001以及存储了在中间图像信号中的未固定像素区域的位置的标志图像信号4003，判断未固定像素区域中的噪声像素并且输出噪声像素信息7001。这里，噪声像素信息7001表示被判断为噪声的像素的位置。噪声消除部105b接收噪声像素信息7001和中间图像信号4001，根据噪声像素信息7001消除中间图像信号4001中的噪声像素，并且输出被消除噪声的中间图像信号4000。

图10A和10B示出了用于说明噪声判断算法的示图。图10A示出了标志图像信号4003，其中白色部分和黑色部分分别对应于其值在中间图像信号4001中已经固定的像素区域以及其值在中间图像信号4001中还未固定的像素区域。图10B示出了图10A中由虚线所封闭的部分的放大视图。如图10B所示，在具有长度z的未固定像素区域e和具有长度y的未固定像素区域f之间存在具有长度x的像素区域c。为了判断像素区域c是否对应于噪声，本实施例采用噪声判断阈值β并且根据表达式（2）将β的值与区域c的长度x相比较

当像素区域c的长度x小于阈值β时，像素区域c被判断为噪声。在其它情况下，像素区域c被判断为正常像素区域。替代地，可以基于未固定像素区域e和f的总长度和像素区域c的长度之比来判断像素区域c是否对应于噪声。判断表达式如表达式（3）所给出。

如表达式（3）所示，当未固定像素区域e和f的总长度和像素区域c的长度之比大于阈值β时，像素区域c被判断为噪声，否则像素区域c被判断为正常像素区域。

虽然以上描述参考图9、10A和10B关于未固定像素区域的噪声消除算法进行了描述，但是本发明的实施例中所采用的噪声消除的方式并不局限于此。本发明的范围还包括通过对未固定像素区域应用二维平滑滤波器来执行噪声消除。

如以上所描述的，即使在没有预先校正所输入的具有低准确度的深度图像信号或差异图像信号时，本实施例也使得能够以较少的噪声和高图像质量生成虚拟视点图像信号。随后，如图14所示，三维显示面板10000显示作为输入的二维图像信号1000以及从该图像生成装置100所输出的虚拟视点图像信号4002，并且对显示进行调节以使得右眼和左眼能够分开地感知图像，这在图像显示装置中实现了合成的立体表示。

实施例3

将参考图11对关于实施例3的图像生成装置300的结构进行描述。图11是图示关于本实施例的图像生成装置300的结构的框图。与图1A和1B相同的结构要素将由于图1A和1B相同的附图标记所指代并且将省略其描述。

如图11所示，与实施例1类似，图像生成装置300包括差异图像生成部101'、差异图像校正部102、像素位移处理部103和未固定像素区域内插部104。虽然实施例1提供了二维图像信号1000、与其对应的深度图像信号2000以及虚拟相机参数7000作为输入，但是本实施例提供了多个二维图像的信号1000作为输入。

如图11所示，多个二维图像的信号（帧编号：1经m到n）被输入到差异图像生成部101'。差异图像生成部101'通过使用通过包括SAD（绝对差和）和SSD（方差和）的块匹配方法和SIFT（尺度不变形特征变换）特征点的匹配方法的方法来估算与多个二维图像的信号的一个图像的每个像素的差异值对应的差异图像信号3000。随后，通过与实施例1相同的流程对所估算的差异图像信号3000和相对应的二维图像信号1000进行处理以生成虚拟视点图像信号4002。

替代地，差异图像生成部101'可以与关于实施例2的图像生成装置200组合以形成图像生成装置300'。图12示出了这种情况下的图像生成装置300'。多个二维图像的信号被输入到差异图像生成部101'，并且差异图像生成部101'通过使用以上所描述的匹配方法估算与多个二维图像的信号中的一个图像的每个像素的差异值相对应的差异图像信号3000。随后，通过与实施例2相同的流程对所估算的差异图像信号3000和相对应的二维图像信号1000进行处理以生成虚拟视点图像信号4002。

该实施例使得能够在没有输入表示深度信息的深度图像信号的情况下生成虚拟视点图像信号，这是因为增加了输入信号的变化而进一步扩展了本发明的应用性。随后，如图14所示，3D显示面板10000显示作为输入的二维图像信号以及从该图像生成装置所输出的虚拟视点图像信号，其被调节以使得右眼和左眼分开地感知图像，这在图像显示装置实现了所合成的立体表示。

虽然以上将实施例中的每一个描述为硬件结构，但是本发明并不局限于这样的结构并且能够通过使得CPU（中央处理单元）执行计算机程序而执行任意处理来实现。在这种情况下，计算机程序可以被提供为存储在计算机可读存储介质中或者可以通过互联网或另一通信介质进行传送来提供。

当通过使得CPU执行计算机程序来实现与本发明相关的图像生成处理时，难以确认是否在硬件上存在侵权。因此，以下将对确认侵权的方式继续进行描述。

为了将与本发明相关的图像生成处理与差异图像的其它平滑处理和其它加权处理进行区分，能够采用用于确认侵权的指定图像，其例如包括如图13A和13B所示的具有曲折轮廓的对象。图13A示出了被准备以确认侵权的包括星形对象的二维图像信号。图13B示出了对应于图13A的二维图像信号的差异图像信号，其中对象的轮廓由于其低准确度而部分包括误差区域。

以实施例1的处理方式，差异图像中的对象的轮廓线被强制地适配于二维图像中的对象的轮廓线。因此，对象和背景在所生成的中间图像信号4000中被清楚地分开，并且在位于对象和背景的边界处的未固定像素的区域中没有噪声。

以实施例2的处理方式，具有低准确度的差异图像被原样输入到像素位移处理部103并且像素位移处理部103生成在未固定像素区域中具有噪声的中间图像信号4001。随后，中间图像信号4001被输入到未固定像素区域中噪声消除部105，并且未固定像素区域中噪声消除部105在消除了未固定像素区域中的噪声之后生成中间图像信号4000。在这种情况下，位于对象和背景的边界处的未固定像素区域中也没有噪声。

如以上所描述的，本发明的实施例提供了在非像素内插处理之前在中间图像信号4000中的未固定像素区域中没有噪声的特征。另外，在基于这样的中间图像信号4000所生成的虚拟视点图像信号4002中没有突显的线性噪声。此外，由于轮廓线已经被校正，所以轮廓线是清晰的。

另一方面，当对包括具有曲折轮廓的对象的差异图像应用诸如平滑方法之类的常规方法时，难以将所处理的差异图像信号和二维图像信号完全互相匹配。因此，难以消除所生成的中间图像信号中的未固定像素区域中的噪声，并且噪声残留在最终输出的虚拟视点图像中。另外，由于深度数据的轮廓线在常规方法中没有被校正，所以能够确认虚拟视点图像的轮廓线不仅是模糊的而且还从二维图像移位。

图13C示出了基于利用通用平滑方法处理的差异图像所生成的中间图像信号。图13D示出了通过实施例1的处理方式所生成的中间图像信号。图13E示出了通过实施例2的处理方式所生成的中间图像信号。将三者互相比较，能够确认图13E和13D所示的中间图像信号中的未固定像素区域几乎不包括噪声，但是图13C所示的中间图像信号中的未固定像素区域则包括显著的噪声量。

当中间图像信号4000不可用于确认侵权时，可以基于最终输出的虚拟视点图像信号来确认侵权。本发明的实施例提供了基于中间图像信号所生成的虚拟视点图像信号4002中的每个对象的轮廓区域几乎不包括噪声的特征。图13F示出了基于通用平滑处理进行处理的差异图像所生成的虚拟视点图像信号。图13G示出了通过实施例1的处理方式所生成的虚拟视点图像信号。图13H示出了通过实施例2的处理方式所生成的虚拟视点图像信号。将三者相互比较，能够确认图13G和13H中所示的虚拟视点图像信号中的对象的轮廓区域几乎不包括噪声，但是图13F所示的虚拟视点图像信号中的对象的轮廓区域则包括显著的噪声量。

如以上所描述的，当包括具有曲折轮廓线的对象的图像被输入到图像生成系统中时，能够通过比较中间图像信号中的噪声程度来判断确认是否使用了与本发明有关的方法。甚至在中间图像信号不可用的情况下，当在所生成的虚拟视点图像中没有线性噪声时，也能够判断存在已经使用了与本发明有关的方法来生成虚拟视点图像的高可能性。

虽然已经使用具体术语对本发明的当前实施例进行了描述，但是这样的描述仅是出于说明的目的，并且所要理解的是，可以在不背离所附权利要求的精神和范围的情况下进行改变和变化。

本发明可应用于图像生成装置、图像显示装置、图像生成方法和非瞬时计算机可读介质，每个均提供生成用于执行3D显示的内容的功能。

Claims (13)

1.一种图像生成装置，所述图像生成装置使用二维图像、表示所述二维图像的深度信息的深度图像以及布置在三维空间的虚拟位置处的虚拟相机的参数，所述虚拟相机的参数包括焦距、视场以及虚拟相机在三维空间中的坐标信息，来生成要在所述虚拟位置处利用所述虚拟相机捕捉的虚拟视点图像，所述图像生成装置包括：

差异图像生成部，所述差异图像生成部通过使用所述深度图像和所述虚拟相机的所述参数生成表示所述二维图像的每个像素的差异值的差异图像；

差异图像校正部，所述差异图像校正部执行以下项中的一项：

从所述二维图像提取轮廓线并且从所述差异图像提取轮廓线，基于所述二维图像的轮廓线和所述差异图像的轮廓线估算出自由所述差异图像生成部生成的所述差异图像的误差区域，并且对所述误差区域中的每个像素的差异值进行校正，和

从所述二维图像提取轮廓线并且从所述深度图像提取轮廓线，基于所述二维图像的轮廓线和所述深度图像的轮廓线估算出自将被用于在差异图像生成部中生成所述差异图像的所述深度图像的误差区域，并且对所述误差区域中的每个像素的深度信息进行校正；

像素位移处理部，所述像素位移处理部根据已经被校正的所述差异图像对所述二维图像的每个像素进行位移以生成中间图像；和

未固定像素区域内插部，所述未固定像素区域内插部对所述中间图像中还未向其分配所述二维图像的经平移像素的未固定像素进行内插以生成所述虚拟视点图像。

2.根据权利要求1所述的图像生成装置，

其中为了对所述误差区域进行估算，所述差异图像校正部：

定义所述二维图像的轮廓线的像素作为基准像素，该像素位于作为行和列之一的线中的预定的一条上，

确定所述差异图像的轮廓线的两个像素，使得该两个像素在包括在所述预定的一条线附近作为行和列之一的线的区域内以最大距离沿行和列中的另一个在正方向和负方向上分开，并且

将位于该两个像素之间并且沿行和列中的该另一个延伸的区域估算为所述误差区域。

3.根据权利要求1所述的图像生成装置，

其中为了对所述误差区域进行估算，所述差异图像校正部：

定义所述二维图像的轮廓线的像素作为基准像素，该像素位于作为行和列之一的线中的预定的一条上，

确定所述深度图像的轮廓线的两个像素，使得该两个像素在包括在所述预定的一条线附近作为行和列之一的线的区域内以最大距离沿行和列中的另一个在正方向和负方向上分开，并且

将位于该两个像素之间并且沿行和列中的该另一个延伸的区域估算为所述误差区域。

4.一种图像生成装置，所述图像生成装置使用多个二维图像来生成要利用布置在三维空间中的虚拟位置处的虚拟相机捕捉的虚拟视点图像，所述图像生成装置包括：

差异图像生成部，所述差异图像生成部通过使用所述多个二维图像生成表示所述多个二维图像中的一个的每个像素的差异值的差异图像；

差异图像校正部，所述差异图像校正部从所述二维图像中的所述一个提取轮廓线并且从所述差异图像提取轮廓线，基于所述二维图像中的所述一个的轮廓线和所述差异图像的轮廓线估算出自由所述差异图像生成部生成的所述差异图像的误差区域，并且对所述误差区域中的每个像素的差异值进行校正；

像素位移处理部，所述像素位移处理部根据已经被校正的所述差异图像对所述多个二维图像中的所述一个中的每个像素进行位移以生成中间图像；和

未固定像素区域内插部，所述未固定像素区域内插部对在所述中间图像中还未向其分配所述二维图像中的所述一个的经平移像素的未固定像素进行内插以生成虚拟视点图像。

5.根据权利要求4所述的图像生成装置，

其中为了对所述误差区域进行估算，所述差异图像校正部：

定义所述二维图像中的所述一个的轮廓线的像素作为基准像素，该像素位于作为行和列之一的线中的预定的一条上，

确定所述差异图像的轮廓线的两个像素，使得该两个像素在包括在所述预定的一条线附近作为行和列之一的线的区域内以最大距离沿行和列中的另一个在正方向和负方向上分开，并且

将位于该两个像素之间并且沿行和列中的该另一个延伸的区域估算为误差区域。

6.一种图像生成装置，所述图像生成装置使用二维图像、表示所述二维图像的深度信息的深度图像以及布置在三维空间的虚拟位置处的虚拟相机的参数，所述虚拟相机的参数包括焦距、视场以及虚拟相机在三维空间中的坐标信息，来生成要在所述虚拟位置处利用所述虚拟相机捕捉的虚拟视点图像，所述图像生成装置包括：

差异图像生成部，所述差异图像生成部通过使用所述深度图像和所述虚拟相机的所述参数生成表示所述二维图像的每个像素的差异值的差异图像；

像素位移处理部，所述像素位移处理部根据所述差异图像对所述二维图像的每个像素进行位移以生成中间图像，

未固定像素区域中噪声消除部，所述未固定像素区域中噪声消除部消除在所述中间图像中还没有向其分配所述二维图像的经位移的像素的未固定像素的区域中的噪声，和

未固定像素区域内插部，所述未固定像素区域内插部对已经消除噪声的所述中间图像中的所述未固定像素进行内插以生成所述虚拟视点图像。

7.根据权利要求6所述的图像生成装置，其中

所述未固定像素区域中噪声消除部包括：

噪声判断部，所述噪声判断部将位于两个未固定像素区域之间的像素区域的长度与用于判断噪声的预定阈值相比较，以判断该像素区域是否对应于噪声，和

噪声消除部，在该像素区域被判断为噪声时所述噪声消除部在该像素区域中执行噪声消除。

8.根据权利要求6所述的图像生成装置，其中

所述未固定像素区域中噪声消除部包括：

噪声判断部，所述噪声判断部将两个未固定像素区域的总长度与位于所述两个未固定像素区域之间的像素区域的长度之比与用于判断噪声的预定阈值相比较，以判断该像素区域是否对应于噪声，和

噪声消除部，在该像素区域被判断为噪声时所述噪声消除部在该像素区域中执行噪声消除。

9.一种图像生成装置，所述图像生成装置使用多个二维图像来生成要利用布置在三维空间中的虚拟位置处的虚拟相机捕捉的虚拟视点图像，所述图像生成装置包括：

差异图像生成部，所述差异图像生成部通过使用所述多个二维图像生成表示所述多个二维图像中的一个的每个像素的差异值的差异图像；

像素位移处理部，所述像素位移处理部根据所述差异图像对所述多个二维图像中的所述一个的每个像素进行位移以生成中间图像；

未固定像素区域中噪声消除部，所述未固定像素区域中噪声消除部消除在所述中间图像中还没有向其分配所述二维图像中的所述一个的经位移的像素的未固定像素的区域中的噪声；和

未固定像素区域内插部，所述未固定像素区域内插部对已经消除噪声的所述中间图像中的所述未固定像素进行内插以生成所述虚拟视点图像。

10.根据权利要求9所述的图像生成装置，其中

所述未固定像素区域中噪声消除部包括：

噪声判断部，所述噪声判断部将位于两个未固定像素区域之间的像素区域的长度与用于判断噪声的预定阈值相比较，以判断该像素区域是否对应于噪声，和

噪声消除部，在该像素区域被判断为噪声时所述噪声消除部在该像素区域中执行噪声消除。

11.根据权利要求9所述的图像生成装置，其中

所述未固定像素区域中噪声消除部包括：

噪声判断部，所述噪声判断部将两个未固定像素区域的总长度与位于所述两个未固定像素区域之间的像素区域的长度之比与用于判断噪声的预定阈值相比较，以判断该像素区域是否对应于噪声，和

噪声消除部，在该像素区域被判断为噪声时所述噪声消除部在该像素区域中执行噪声消除。

12.一种三维图像显示装置，包括根据权利要求1所述的图像生成装置和立体显示面板。

13.一种图像生成方法，所述图像生成方法使用二维图像、表示所述二维图像的深度信息的深度图像以及布置在三维空间的虚拟位置处的虚拟相机的参数，所述虚拟相机的参数包括焦距、视场以及虚拟相机在三维空间中的坐标信息，来生成要在所述虚拟位置处利用所述虚拟相机捕捉的虚拟视点图像，所述图像生成方法包括：

差异图像生成步骤，通过使用所述深度图像和所述虚拟相机的所述参数生成表示所述二维图像的每个像素的差异值的差异图像；

差异图像校正步骤，执行以下项中的一项：

从所述二维图像提取轮廓线并且从所述差异图像提取轮廓线，基于所述二维图像的轮廓线和所述差异图像的轮廓线估算出自由所述差异图像生成步骤生成的所述差异图像的误差区域，并且对所述误差区域中的每个像素的差异值进行校正，和

从所述二维图像提取轮廓线并且从所述深度图像提取轮廓线，基于所述二维图像的轮廓线和所述深度图像的轮廓线估算出自将被用于在差异图像生成步骤中生成所述差异图像的所述深度图像的误差区域，并且对所述误差区域中的每个像素的深度信息进行校正；

像素位移处理步骤，根据已经被校正的所述差异图像对所述二维图像的每个像素进行位移以生成中间图像；和

未固定像素区域内插步骤，对在所述中间图像中还没有向其分配所述二维图像的经位移的像素的未固定像素进行内插以生成所述虚拟视点图像。