CN102769765A - 图像处理方法、图像处理装置和显示装置 - Google Patents

Abstract

本发明公开了图像处理方法、图像处理装置和显示装置。提供一种图像处理方法，包括：获取第一原始图像和第二原始图像，以及根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

Description

图像处理方法、图像处理装置和显示装置

技术领域

本公开涉及图像处理方法、图像处理装置和显示装置。

背景技术

已知使用包括左眼图像(下文中称为L图像)和右眼图像(下文中称为R图像)的立体图像和视差信息来生成具有期望生成相位的插值图像。所生成的插值图像主要作为多视点图像中的某一视点图像被显示在允许立体观看的显示装置的预定位置处。例如，视差信息(parallacticinformation)是通过将LR图像的水平方向的位移量生成为像差图(disparity map)来获得的。

发明内容

然而，当插值图像是基于像差图生成的时，由于像差(视差)的提取误差可能产生插值误差。插值误差的示例包括如下现象：插值图像中已经绘制了表示前景的像素的坐标被表示背景的像素覆写。结果，在插值图像的一部分中，前景被背景侵食，从而劣化了插值图像的图像质量。

因此，需要能够防止插值图像生成期间的绘制误差并提高插值图像的图像质量的图像处理方法、图像处理装置和显示装置。

根据本公开的实施例，提供一种图像处理方法，包括：获取第一原始图像和第二原始图像，以及根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

根据本公开的另一实施例，提供一种图像处理装置，其包括：获取单元，该获取单元用于获取第一原始图像和第二原始图像；以及图像处理单元，该图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

根据本公开的另一实施例，提供一种显示装置，包括：获取单元，该获取单元用于获取第一原始图像和第二原始图像；图像处理单元，该图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上；以及显示控制单元，该显示控制单元用于控制第一原始图像、第二原始图像和所述插值图像的显示。

如上所述，根据本公开的图像处理，可以提供一种能够防止插值图像的生成期间的绘制误差并提高插值图像的图像质量的图像处理方法，、图像处理装置和显示装置。

附图说明

图1是图示出根据本公开第一和第二实施例的图像处理装置的功能配置图；

图2是图示出根据第一实施例的图像处理的流程图；

图3是图示出根据第一和第二实施例的像差提取的示图；

图4是图示出根据第一实施例的插值图像生成处理的流程图；

图5是图示出根据第一实施例的L图像的插值图像生成的示图；

图6是图示出根据第一实施例的R图像的插值图像生成的示图；

图7是图示出根据第一实施例的LR图像的插值图像的合并的示图；

图8是图示出根据第二实施例的图像处理的流程图；

图9是图示出根据第二实施例的选择的原始图像的插值图像生成处理的示图；

图10是图示出根据第二实施例的未选择的原始图像的插值图像生成处理的示图；以及

图11是图示出插值误差的示例的示图。

具体实施方式

以下将参考附图来详细描述本发明的优选实施例。在该说明书和附图中，基本具有相同功能和结构的结构元件用相同的标号表示，并且省略对这些结构元件的重复描述。

以下说明将按照以下列出的次序进行。

1.第一实施例

1.1.图像处理装置的功能

1.2.图像处理装置的操作

1.2.1.像差提取

1.2.2.从L图像生成插值图像的示例

1.2.3.从R图像生成插值图像的示例

1.2.4.从LR图像生成的插值图像的合并

1.3.效果示例

2.第二实施例

2.1.图像处理装置的功能

2.2.图像处理装置的操作

2.2.1.从选择的原始图像生成插值图像的示例

2.2.2.从未选择的原始图像生成插值图像的示例

2.3.效果示例

<1.第一实施例>

[1.1.图像处理装置的功能]

首先，将参考图1来说明根据本公开第一实施例的图像处理装置的功能配置。根据第一实施例的图像处理装置10包括获取单元105、提取单元110、图像处理单元115、存储单元120和显示控制单元125。

获取单元105获取内容的L图像和R图像的立体图像。有关可获取的内容的信息包括其中仅存在立体图像的情况和其中存在诸如CG(计算机图形)之类的立体图像视频信号和像差信息的情况。

当获取单元105仅获取立体图像的视频信号时，提取单元110根据L图像和R图像的水平方向的位移量来生成像差图。像差图是视差信息的示例并且不是必须要将视差信息制成图。当获取单元105获得像差时，可以省略由提取单元110进行的像差提取。

例如，在图3中，对应于上端和下端的L图像和R图像的水平行中的像差用圆圈中的数表示。在与之邻近的行中，对应于L图像和R图像的水平行中的视频信息用矩形表示。图3仅示出一个水平线，但是与内容的行数相对应的像差被提取。

在第一和第二实施例中，当L图像的像差为“0”时，不存在与R图像的像差的位移，即，L图像中的像素的像差与R图像中对应像素的像差被定义为是相同的。当L图像的像差为“11”时，这意味着L图像和R图像被移位11个像素。例如，在图3中，可以理解，L图像中具有用“11”表示的像差的像素区域A中的视频信息(用实心矩形表示的图像)与R图像中具有用“11”表示的像差的像素区域B中的视频信息(用实心矩形表示的图像)具有相同的视频信息。如上所述，像差指示L图像和R图像的对应点。换而言之，像差是L图像和R图像中相同视频出现的部分之间在水平方向上的移位量。

图像处理单元115从L图像和R图像生成具有期望相位(生成相位)的插值图像。当插值图像是从L图像和R图像生成的时，图像处理单元115根据L图像和R图像中的一个的原始图像的像差之间的大小关系来判断有关L图像和R图像中的一个的原始图像的视频信息是否被绘制到插值图像上。更具体而言，图像处理单元115根据像差之间的大小关系来判断有关L图像和R图像的一个的原始图像的视频信息是插值图像的前景还是背景。当作为判断的结果判定有关L图像或R图像的视频信息是前景时，图像处理单元115将视频信息绘制到插值图像上。当作为判断的结果判定有关L图像或R图像的视频信息是背景时，图像处理单元115禁止将视频信息写到插值图像。图3仅示出一个水平行。然而，以上插值图像生成处理针对内容的数个水平行而执行。

例如，当像差的值被定义为使得指示前景的数字值大于指示背景的数字值，并且所要绘制的图像的像差大于该图像将被绘制到的图像的像差，则所要绘制的图像是前景。因此，图像的绘制被准许。另一方面，当所要绘制的图像的像差小于该图像将被绘制到的图像的像差值，则所要绘制的图像是背景。因此，图像的绘制被禁止。因此，这防止前景视频被背景视频覆写。然而，相差值之间的大小关系以及写入准许/禁止根据表示像差值的数值如何被定义而不同。例如，当与该实施例对照，像差的值被定义为使得指示前景的数值小于指示背景的数值时，像差值的大小关系以及对准许/禁止所要绘制的图像的绘制的控制与上述控制相反。换而言之，当所要绘制的图像的像差大于该图像将被绘制到的图像的像差时，所要绘制的图像的绘制被禁止。当所要绘制的图像的像差小于该图像将被绘制到的图像的像差时，所要绘制的图像的绘制被准许。如上所述，根据该实施例，所要绘制的图像与该图像将被绘制到的图像的深度方面的关系是从像差值之间的大小关系来确定的。作为判断的结果，当所要绘制的图像被判定为是前景时，图像的绘制(覆写)被准许。否则，图像的绘制被禁止。

存储单元120存储第一插值图像和第二插值图像(即生成处理期间的插值图像)的视频信息和像差。

显示控制单元125显示在预定相位位置处由图像处理单元115生成的插值图像以及L图像和R图像。结果，多视点图像可以以允许立体观看的方式被显示在显示器上。

当例如未示出的CPU(中央处理单元)根据存储单元120中所存储的程序操作时，可以实现提取单元110、图像处理单元115和显示控制单元125的功能。该程序可以被存储和设置在存储器介质中，并且可以经由未示出的驱动器被读取到存储单元120。可替换地，其可以从网络被下载并被存储到存储单元120。为了实现以上单元中的每个的功能，可以使用DSP(数字信号处理器)来取代CPU。存储单元120可以利用例如半导体存储器、磁盘或光盘而被实现为RAM(随机访问存储器)或ROM(只读存储器)。可替换地，以上单元中的每个的功能可以通过利用软件的操作来实现，并且可以通过利用硬件的操作来实现。

[1.2.图像处理装置的操作]

随后，将参考图2来说明根据第一实施例的图像处理装置10的操作。图2是图示出根据第一实施例的图像处理的流程图。当该处理开始时，在步骤步骤S205中，获取单元105获取L图像和R图像。

(1.2.1.像差提取)

随后，在步骤S210中，提取单元110从L图像和R图像生成L图像的像差图和R图像的像差图。图3示出某一水平行的L图像的像差、有关L图像的视频信息(相位0)、其R图像的像差、有关R图像的视频信息(相位1)、以及相位为0.6的所要生成的插值图像(生成相位0.6)。如上所述，这表明与L图像中用“11”指示的像差相对应的有关L图像的视频信息和与R图像中用“11”指示的像差相对应的有关R图像的视频信息是相同的视频，其中，R图像在水平方向上被从L图像的坐标移位11个像素。在本实施例中，像差值“0”指示背景，像差值“11”指示前景。

[0025]在像差值被提取之后，处理分支到步骤S215中的插值图像生成处理(L图像)和步骤S220中的插值图像生成处理(R图像)。步骤S215和S220中的插值图像生成处理分别执行如图4中所示的流程图。在步骤S215中的插值图像生成处理中，从相位为0的L图像生成相位为0.6的插值图像(第一插值图像)。换而言之，根据有关L图像的视差信息和有关相位为0.6的第一插值图像的视差信息的大小关系，有关L图像的视频信息被绘制到第一插值图像上。在步骤S220中的插值图像生成处理中，从相位为1的R图像生成相位为0.6的插值图像(第二插值图像)。换而言之，根据有关R图像的视差信息和有关相位为0.6的第二插值图像的视差信息的大小关系，有关R图像的视频信息被绘制到第二插值图像上。应当注意，第一插值图像和第二插值图像是从L图像和R图像生成的插值图像的生成处理中用于生成相位为0.6的插值图像的中间图像，并且如稍后说明的，基于第一和第二插值图像，相位为0.6的插值图像被完成。步骤S215中有关L图像的视频信息被绘制到第一插值图像上的处理以及步骤S220中有关R图像的视频信息被绘制到第二插值图像上的处理可以并行执行。因此，处理时间可以减至串行执行步骤S215和S220的处理所花费的处理时间的一半。

(1.2.2.从L图像生成插值图像的示例)

随后，将参考图4和图5来说明步骤S215中调用的插值图像生成处理(图4)。在图4中，有关插值图像(第一插值图像)的视频信息被表示为vimg，并且有关第一插值图像的坐标(x，y)的视频信息被表示为vimg(x，y)。第一插值图像的像差被表示为vdsp，并且第一插值图像的坐标(x，y)处的像差被表示为vdsp(x，y)。应当注意，在该处理开始之前，第一插值图像的视频信息vimg的所有坐标数据被初始化为“0”，并且第一插值图像的像差vdsp的所有坐标数据被初始化为“-1”。

有关原始图像(在此情况中为L图像)的视频信息被表示为simg，并且原始图像的坐标(x′，y′)处的视频信息被表示为simg(x′，y′)。原始图像(在此情况中为L图像)的像差被表示为sdsp，并且原始图像的坐标(x′，y′)的像差被表示为sdsp(x′，y′)。插值图像的像差vdsp和视频信息vimg以及原始图像的像差sdsp和视频信息simg被存储到存储单元120.

在步骤S215中的插值图像生成处理中，从L图像生成第一插值图像。该处理从步骤S405开始。首先，图像处理单元115将vimg(x，y)处的插值图像用作L图像simg(x′，y′)。图5示出从L图像生成第一插值图像的处理。图5的示例示出如何从纸面左侧向右侧逐像素生成相位为0.6的第一插值像素。可替换地，也可以从右向左执行扫描。在此情况中，位于左端的L图像的像差sdsp是“0”。为此，对应于L图像的像素simg(x，y)的第一插值像素vimg(x，y)的坐标被定义为是相同的。换而言之，第一插值图像vimg左端的像素的坐标与L图像simg的左端的像素的左边之间的位移被确定为是0像素。

随后，在步骤S410中，图像处理单元115判断第一插值像素的像差vdsp(x，y)是否等于-1(即其是否是最初的绘制)。在此情况中，插值像素的像差vdsp的所有坐标数据被初始化为“-1”。因此，图像处理单元115判定第一插值像素的像差vdsp(x，y)等于-1，并且步骤S415随后被执行，以使得L图像的像差sdsp(x′，y′)被代入第一插值像素的像差vdsp(x，y)，并且L图像的视频信息simg(x，y)被代入第一插值像素vimg(x，y)。在图5中，相位为0.6的第一插值图像的左端的像差vdsp为“0”，并且表示L图像的背景的视频信息被原样绘制到第一插值图像的左端的像素上。

随后，在步骤S420中，判断是否已经在原始图像(在此情况中为L图像)的所有像素(坐标)上执行了该处理。在此情形中，该处理还没有在所有像素上执行，因此，步骤S405被再次执行。

以这种方式，从第一插值图像的左边开始从第一个像素到第19个像素重复步骤S405到S420。结果，从第一插值图像的左边开始从第一个到第19个像素，像差vdsp为“0”，并且表示L图像的背景的视频信息被绘制到第一插值图像vimg上。

随后，将说明从第一插值图像的左边开始的第20个像素上的处理。在步骤S405中，图像处理单元115a将第一插值图像vimg(x，y)用作L图像simg(x′，y′)。在图5中，位于从左边开始第20个位置处的L图像的像差sdsp是“11”。为此，第一插值像素vimg的坐标与L图像的像素simg的坐标之间的位移被确定为是11个像素。随后，在步骤S410中，图像处理单元115判断在从L图像移位11个像素的位置处的第一插值像素的像差vdsp(x，y)是否等于-1(即，是否是初次绘制)。在此情况中，第一插值像素的第10个像差vdsp(x，y)被设置为“0”。因此，图像处理单元115判定这不是最初的绘制，并且步骤S425随后被执行，以判断有关L图像的第20个像差sdsp(x′，y′)是否是大于第一插值图像的第10个像差vdsp(x，y)的值(即，其相对于已经绘制的像素是否是前景)。

当L图像的第20个像差sdsp(x′，y′)被判定为是大于第一插值图像的第10个像差vdsp(x，y)的值时，L图像的第20个像素相对于已经被绘制到第一插值图像中的第10个位置上的像素是前景中的视频信息。否则，L图像的第20个像素是背景中的视频信息。在此情况中，L图像的第20个像差sdsp(x′，y′)大于第一插值图像的第10个像差vdsp(x，y)。因此，L图像的第20个像素被判定为前景中的视频信息，并被覆写到第一插值图像的第10个位置。

以这种方式，在从第一插值图像的左边开始的第10个像素到第15个像素上重复步骤S405、S410、S425、S430、S420。结果，从第一插值图像的左边开始的第10个像素到第15个像素被L图像的前景物体的像差vdsp和视频信息vimg覆写。

在此情况中，从第一插值图像左边开始第26个像素到第33个像素以与第一插值图像的左端的像素相同的方式被处理，因此，有关的描述将省略。图像处理单元115在L图像的所有行上执行如上所述的针对水平方向上的一行的以上图像处理。

(1.2.3.从R图像生成插值图像的示例)

随后，将参考图4和图6来说明在步骤S220中调用的插值图像生成处理(图4)。在步骤S220的插值图像生成处理中，从R图像生成第二插值图像。在步骤S220中调用的插值图像生成处理中，插值图像是相位为0.6的第二插值图像，并且原始图像是R图像。指示方法和初始化与用于从L图像生成第一插值图像的那些相同。

步骤S225的用于从R图像生成第二插值图像的插值图像生成处理从步骤S405开始，并且首先，图像处理单元115将第二插值图像vimg(x，y)用作L图像simg(x′，y′)。图6示出从R图像生成插值图像(第二插值图像)的处理。图6的示例示出如何从纸面的左边向右边逐像素地生成相位为0.6的第二插值像素。可替换地，也可以从右向左执行扫描。在此情况中，位于左端的R图像的像差sdsp为“0”。为此，与R图像的像素simg(x，y)相对应的第二插值像素vimg(x，y)的坐标被定义为是相同的。换而言之，第二插值图像vimg的右端的像素的坐标与L图像simg的右端的像素的坐标之间的位移被确定为是0像素。

在其中R图像的像差具有值“11”的区域B中，R图像的像差sdsp的值“11”被代入到其中第二插值图像的坐标从R图像的坐标移位7(＝11×0.4/0.6)个像素的位置，以使得有关R图像simg的视频信息被绘制。

随后，将说明从第二插值图像的左边开始的第10个像素上的处理。在步骤S405中，图像处理单元115将第二插值图像vimg(x，y)用作R图像simg(x′，y′)。在图6中，位于从左开始第10个位置处的R图像的像差sdsp是“0”。为此，对应于R图像的像素simg(x，y)的第二插值像素vimg(x，y)的坐标被定义为是相同的。

随后，在步骤S410中，图像处理单元115判断第二插值像素的像差vdsp(x，y)是否等于-1(即，其是否是最初的绘制)。在此情况中，第二插值像素的第10个像差vdsp(x，y)被设定为“11”。因此，图像处理单元115判定第二插值像素的像差vdsp(x，y)不等于-1(这不是最初的绘制)，并且步骤S425随后被执行，从而判断R图像的第10个像差sdsp(x′，y′)是否是比第二插值图像的第10个像差vdsp(x，y)大的值。当R图像的第10个像差sdsp(x′，y′)被判定为是大于第二插值图像的第10个像差vdsp(x，y)的值，则R图像的第10个像素相对于已经被绘制到第二插值图像中的第10个位置上的像素是前景中的视频信息。否则，R图像的第10个像素是背景中的视频信息。在此情况中，R图像的第10个像差sdsp(x′，y′)小于第二插值图像的第10个像差vdsp(x，y)。因此，图像处理单元115禁止将R图像中的第10个像素绘制到第二插值图像的第10个位置上。因此，这防止第二插值图像的前景中的视频被背景中的视频侵食。

以这种方式，对从第二插值图像的左边开始的第10个像素值第15个像素重复步骤S405、S410、S425、S420。结果，从第一插值图像的左边开始的第10个像素至第15个像素未被像差vdsp和视频信息vimg覆写，并且其中的信息被保留。

在此情况中，从第二插值图像的左边开始的第16个像素至第33个像素被以与第二插值图像的左端的像素相同的方式处理，因此，对其的描述将省略。图像处理单元115对R图像的所有行执行如上所述针对水平方向上的一行的以上图像处理。图像处理单元115并行地执行用于将有关L图像的视频信息绘制到第一插值图像上的处理(S215)和用于将有关R图像的视频信息绘制到第二插值图像上的处理(S220)。结果，插值图像的生成速度加倍。

(1.2.4.从LR图像生成的插值图像的合并)

随后，将参考图7来说明第一或第二插值图像的合并处理。图像处理单元115在其上还未被绘制根据第一或第二插值图像的具有与插值图像的生成相位接近的相位的原始图像所生成的插值图像的像素上绘制根据所述原始图像中具有离插值图像的生成相位较远的相位的原始图像生成的插值图像的对应像素。结果，期望的插值图像被完成。在本实施例中，具有与生成相位(相位0.6)接近的相位的第一或第二插值图像的原始图像是R图像(相位1)。因此，从R图像生成的第二插值图像被给与优先，并且基于第二插值图像，第一插值图像的对应像素被绘制到其上还未被绘制任何东西的第二插值图像的像素上。在图7中，第一插值图像的第4个至第9个像素被绘制到从第二插值图像的右边开始第4至第9个像素上。结果，相位为0.6的插值图像被完成。

然而，图像处理单元115可以基于从L图像生成的第一插值图像来将第二插值图像的对应像素绘制到其上还未被绘制任何东西的第一插值图像的像素上。然而，优选采用根据具有与插值图像的生成相位更接近的相位的原始图像生成的插值图像作为基础。因为具有离所生成的插值图像的原始图像更小位移的插值图像被用作基础，所以，相比于其中具有较大位移的插值图像被用作基础的情况，插值误差的可能性降低。

[1.3.效果示例]

如上所述，当插值图像是基于像差图生成的时，可能由于像差(视差)的提取误差而发生插值误差。插值误差的示例包括如下现象：插值图像中的其上已经被绘制了表示前景的像素的坐标被表示背景的像素覆写。结果，例如，如图11的左边的插值图像的区域E1、E2、E3中所示，插值图像的一些部分中的前景中的物体被侵食并且被背景中的物体覆写，这劣化了插值图像的图像质量。

然而，如上所述，依照根据第一实施例的图像处理装置10，有关原始图像视频信息是否将被绘制到插值图像上是根据有关原始图像的市场信息和有关插值图像的视差信息的大小关系来判定的。换而言之，有关原始图像的视频信息绘制到插值图像上是根据有关原始图像和插值图像的视差信息的大小关系而被准许或禁止的，以使得插值图像中所绘制的前景信息不被有关原始图像的背景信息所覆写。因此，当期望的插值图像被生成时，这可以防止绘制误差，例如，将被绘制到前景的物体被背景中的物体侵食。在图11的右边示出通过根据以上说明的本实施例的图像处理方法生成的插值图像。在本实施例中，如区域C1、C2、C3中所示，相比于区域E1、E2、E3，将被绘制到插值图像的前景上的物体被背景中的物体侵食，并且因此，插值图像的图像质量得到提高。

过去，L图像和R图像是使用许多相机并且在相机之间的间隔较窄的情况下拍摄的，以便防止L图像和R图像之间的间隔增大，从而使得咬合现象不引人注意。然而，依照根据第一实施例的图像处理装置10，L图像和R图像之间的间隔增大，从而，即使像差值的差增大，也可以防止背景中的物体覆写前景中的物体这样的误差。通过将从L图像生成的第一插值图像与从R图像生成的第二插值图像合并，未被嵌入插值图像视频信息的部分可以被嵌入有关对应的原始图像的视频信息。因此，可以解决咬合的问题。因此，根据本实施例，不必安排许多相机以便降低L图像和R图像之间的间隔来使得咬合现象不引人注意。因此，可以降低生成图像所需要的相机数。

<2.第二实施例>

随后，将说明根据本公开的第二实施例的图像处理装置10。根据本公开第二实施例的图像处理装置的功能配置(图1)与根据第一实施例的图像处理装置的功能配置相同。然而，根据第二实施例的图像处理与第一实施例的图像处理的不同在于用于从L图像生成第一插值图像的处理和用于从R图像生成第二插值图像的处理未被并行执行。这将在下文中更具体地说明。

[2.1.图像处理装置的功能]

图像处理单元115根据1图像和R图像中的一个的原始图像的像差与第一插值图像的像差之间的大小关系来将有关L图像和R图像中的这一个的原始图像的视频信息绘制到第一插值图像上。随后，图像处理单元115根据L图像和R图像中的另一个的原始图像的像差与第一插值图像的V之间的大小关系，将有关据L图像和R图像中的另一个的原始图像的视频信息绘制到第一插值图像上。因此，期望的插值图像被生成。

在此情况下，优选从L图像和R图像选择具有与插值图像的生成相位接近的相位的原始图像来作为充当用于生成第一插值图像的基础的原始图像。例如，当插值图像的相位与R图像的相位接近时，优选将R图像用作基础。在这样的情况中，在基于R图像生成的插值图像中，不能被填充的像素部分利用基于L图像生成的插值图像的对应像素被插值。同样地，当插值图像的相位与L图像的相位接近时，优选将L图像用作基础。这是因为，由于从具有与插值图像的相位更接近的相位的原始图像生成的插值图像在图像上具有较少的位移，所以其咬合比从具有离插值图像的相位较远的相位的原始图像生成的插值图像的咬合更少，这使得可以生成具有更高精度的图像。相位为0.5的插值图像是L图像和R图像之间的中间点，并且因此，不论哪个原始图像被选择，效果都不改变。在本实施例中，当插值图像的相位小于0.5时，L图像被选择并且第一插值图像被生成。当插值图像的相位等于或大于0.5时，R图像被选择，并且第一插值图像被生成。

[2.2.图像处理装置的操作]

随后，将参考图8来说明根据第二实施例的图像处理装置10的操作。图8是示出根据第二实施例的图像处理的流程图。当该处理开始时，在步骤S205中，获取单元105获取L图像和R图像。随后，在步骤S210中，提取单元110从L图像和R图像生成L图像的像差图和R图像的像差图。

随后，在步骤S905中，图像处理单元115从L图像和R图像中选择用于生成第一插值图像的原始图像。图像处理单元115选择具有与第一插值图像的生成相位(相位0.6)接近的相位的R图像(如图9中所示)来作为充当用于生成第一插值图像的基础的原始图像。

随后，在插值图像生成处理基于在步骤S910中选择的原始图像(R图像)被执行之后，插值图像生成处理基于在步骤S915中未被选择的原始图像(L图像)被执行。在第二实施例中，步骤S910、S915中的处理被串行执行。

(2.2.1.从选择的原始图像生成插值图像的示例)

在步骤S910中，与第一实施例一样，插值图像生成处理按照如图4所示的处理次序被执行。因此，如图9中所示，与第一实施例中说明的图6的插值图像相同的插值图像被生成。然而，在本实施例中，插值图像是在R图像被给与优先的同时执行的，因此，在此情况中，所生成的插值图像是第一插值图像。在本实施例中，第二插值图像不被生成。

(2.2.2.从未选择的原始图像生成插值图像的示例)

在步骤S915中，插值图像生成处理也按照如图4所示的处理次序被执行。然而，在本实施例中，插值图像生成处理使用第一插值图像和L图像被执行。因此，如图10中所示，在步骤S915的插值图像生成处理被执行之前，来自R图像的像差vdsp和视频信息vimg已经被嵌入到第一插值图像中。事实上，第一插值图像的每个像素的像差vdsp和视频信息vimg被存储在存储单元120。

在该状态中，此外，插值图像生成处理基于L图像被执行。在图10的情况中，在其中第一插值图像的像差vdsp被设定为初始值的C区域中，L图像的像差sdsp被带入第一插值图像的像差vdsp，并且L图像的视频信息simg被代入第一插值图像的视频信息vimg，但是禁止将L图像绘制到所有其它像素上。

[2.3.效果示例]

因此，在第二实施例中，当插值图像如图11的右边所示那样被生成时，这可以防止绘制误差，例如，将被绘制到前景上的物体被背景中的物体侵食。

在本实施例中，步骤S910和S915按序执行而不是执行并行处理，因此，不必执行用于合并两个插值图像的步骤。

在本实施例中，咬合的问题也可以通过使用L图像和R图像生成插值图像来解决。因此，根据本实施例，也没有必要安排许多相机以便降低L图像和R图像之间的间隔来使得咬合现象不引人注意。因此，生成图像所需要的相机数可以减少。

本领域技术人员应理解，可以根据设计需要和其它因素进行各种修改、组合、子组合和更改，只要它们在所附权利要求书及其等同物的范围内即可。

例如，在以上实施例中，水平方向上的位移量被提取作为像差，但是该技术不限于此。例如，在该技术中，垂直方向上的位移量也可以被提取作为像差。

在以上实施例中，当所要绘制的图像的像差值等于该图像将被绘制到的图像的像差值时，有关原始图像的视频信息的覆写被禁止，但是该技术不限于此。可替换地，当所要绘制的图像的像差值等于该图像将被绘制到的图像的像差值时，有关原始图像的视频信息的覆写可以被准许。

在以上实施例中，具有大约“0”的视差信息的背景和具有大于约“0”的视差信息的视差信息的前景基于视差信息的大小关系被相互区分，并且插值图像被生成以使得前景物体和背景物体之间的前景/背景关系不会丢失。然而，该技术不限于此。可替换地，可以理解，插值图像也可以根据有关前景物体和另一前景物体的视差信息的大小关系被生成，以使得前景中的物体之间的前景/背景关系不会丢失。

在以上实施例中，插值图像被生成来从立体图像获取用于3D显示的多视点图像，但是该技术不限于此。例如，该技术也可以适用于生成用于显示诸如全息图之类的具有不同角度的2D图像的插值图像。具有该技术的显示装置不仅包括能够进行3D显示的显示装置而且包括能够进行2D显示的显示器，以及能够切换3D和2D显示的显示装置。

该技术还适用于生成用于所谓虚拟工作室的图像。例如，考虑其中人物站立在桌子旁边的虚拟工作室。当物体(即桌子)和物体(即人)以重叠方式被绘制时，根据该技术判断一个物体是否被覆写在另一物体上。

每个物体具有其自己的像差值。当物体移动时，像差值随着移动而改变。即使物体不移动，通过改变像差值，内容也可以被移动。在此情况下，使用该技术，可以通过比较内容的像差值来改变前景物体和背景物体。如上所述，该技术可以不仅可以适用于用于3D目的的图像生成，而且也适用于从用于2D目的的图像以两个图像被合并的形式生成用于2D目的的新图像。

例如，在以上实施例中，左眼图像(L图像)和右眼图像(R图像)是原始图像的示例，并且本公开不限于此。原始图像可以是从不同方向拍摄的两个图像。

本公开的技术范围包括如下配置。

(1)一种图像处理方法，包括：

获取第一原始图像和第二原始图像；以及

根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

(2)根据权利要求(1)所述的图像处理方法，

其中，根据所述视差信息的大小关系来判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是所述插值图像的前景还是背景，并且

其中，当有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息被判定为是所述背景时，禁止将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到所述插值图像上。

(3)根据权利要求(1)或(2)所述的图像处理方法，

其中，根据所述视差信息的大小关系来判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是所述插值图像的前景还是背景，并且

其中，当有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息被判定为是所述前景时，将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到所述插值图像上。

(4)如权利要求(2)或(3)所述的图像处理方法，

其中，根据有关第一原始图像和第二原始图像中的所述一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上，

根据有关第一原始图像和第二原始图像中的另一者的原始图像的视差信息与有关第二插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第二插值图像上，从而

基于第一插值图像和第二插值图像来生成所述插值图像。

(5)如权利要求(4)所述的图像处理方法，

其中，将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上和将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第二插值图像上被并行执行。

(6)如权利要求(4)或(5)所述的图像处理方法，

其中，第一插值图像和第二插值图像中的一者的插值图像中的其上还未被绘制任何东西的像素被用第一插值图像和第二插值图像中的另一者的插值图像中的对应像素来绘制。

(7)如权利要求(6)所述的图像处理方法，

其中，第一插值图像和第二插值图像中的所述一者的插值图像是从相比于第一插值图像和第二插值图像中的所述另一者的插值图像具有与所述插值图像的生成相位更接近的相位的原始图像生成的插值图像。

(8)如权利要求(2)或(3)所述的图像处理方法，

其中，根据有关第一原始图像和第二原始图像中的所述一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上，

根据有关第一原始图像和第二原始图像中的另一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第一插值图像上的其上还未被绘制任何东西的像素上，从而生成所述插值图像。

(9)如权利要求(8)所述的图像处理方法，

其中，从第一原始图像和第二原始图像中选择具有与所述插值图像的所述生成相位更接近的相位的原始图像来作为插值的原始图像。

(10)根据权利要求(1)到(9)中任一项所述的图像处理方法，

其中，获得第一原始图像和第二原始图像的视差信息，或者，从第一原始图像和第二原始图像生成第一原始图像和第二原始图像的视差信息。

(11)根据权利要求(10)所述的图像处理方法，

其中，所述视差信息是第一原始图像和第二原始图像在水平方向上的位移量，或者是第一原始图像和第二原始图像在垂直方向上的位移量。

(12)一种图像处理装置，包括：

获取单元，所述获取单元用于获取第一原始图像和第二原始图像；以及

图像处理单元，所述图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

(13)一种显示装置，包括：

获取单元，所述获取单元用于获取第一原始图像和第二原始图像；

图像处理单元，所述图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上；以及

显示控制单元，所述显示控制单元用于控制第一原始图像、第二原始图像和所述插值图像的显示。

本公开包含与2011年5月2日于日本专利局提交的日本在先专利申请JP 2011-103037中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。

Claims (13)

1.一种图像处理方法，包括：

获取第一原始图像和第二原始图像；以及

根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

2.根据权利要求1所述的图像处理方法，

其中，根据所述视差信息的大小关系来判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是所述插值图像的前景还是背景，并且

其中，当有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息被判定为是所述背景时，禁止将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到所述插值图像上。

3.根据权利要求1所述的图像处理方法，

其中，根据所述视差信息的大小关系来判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是所述插值图像的前景还是背景，并且

其中，当有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息被判定为是所述前景时，将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到所述插值图像上。

4.如权利要求2所述的图像处理方法，

其中，根据有关第一原始图像和第二原始图像中的所述一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上，

根据有关第一原始图像和第二原始图像中的另一者的原始图像的视差信息与有关第二插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第二插值图像上，从而

基于第一插值图像和第二插值图像来生成所述插值图像。

5.如权利要求4所述的图像处理方法，

其中，将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上和将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第二插值图像上被并行执行。

6.如权利要求4所述的图像处理方法，

其中，第一插值图像和第二插值图像中的一者的插值图像中的其上还未被绘制任何东西的像素被用第一插值图像和第二插值图像中的另一者的插值图像中的对应像素来绘制。

7.如权利要求6所述的图像处理方法，

其中，第一插值图像和第二插值图像中的所述一者的插值图像是从相比于第一插值图像和第二插值图像中的所述另一者的插值图像具有与所述插值图像的生成相位更接近的相位的原始图像生成的插值图像。

8.如权利要求2所述的图像处理方法，

其中，根据有关第一原始图像和第二原始图像中的所述一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息绘制到第一插值图像上，

根据有关第一原始图像和第二原始图像中的另一者的原始图像的视差信息与有关第一插值图像的视差信息之间的大小关系，来将有关第一原始图像和第二原始图像中的所述另一者的原始图像的视频信息绘制到第一插值图像上的其上还未被绘制任何东西的像素上，从而生成所述插值图像。

9.如权利要求8所述的图像处理方法，

其中，从第一原始图像和第二原始图像中选择具有与所述插值图像的所述生成相位更接近的相位的原始图像来作为插值的原始图像。

10.根据权利要求1所述的图像处理方法，

其中，获得第一原始图像和第二原始图像的视差信息，或者，从第一原始图像和第二原始图像生成第一原始图像和第二原始图像的视差信息。

11.根据权利要求10所述的图像处理方法，

其中，所述视差信息是第一原始图像和第二原始图像在水平方向上的位移量，或者是第一原始图像和第二原始图像在垂直方向上的位移量。

12.一种图像处理装置，包括：

获取单元，所述获取单元用于获取第一原始图像和第二原始图像；以及

图像处理单元，所述图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上。

13.一种显示装置，包括：

获取单元，所述获取单元用于获取第一原始图像和第二原始图像；

图像处理单元，所述图像处理单元用于根据有关第一原始图像和第二原始图像中的一者的原始图像的视差信息和有关第一原始图像和第二原始图像的插值图像的视差信息之间的大小关系，判断有关第一原始图像和第二原始图像中的所述一者的原始图像的视频信息是否被绘制到所述插值图像上；以及

显示控制单元，所述显示控制单元用于控制第一原始图像、第二原始图像和所述插值图像的显示。

Images