CN102833560A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像处理方法和程序。该图像处理设备包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像。在输入到图像输入单元的第一左眼图像和第一右眼图像以及通过立体图像生成处理单元生成的第二左眼图像和第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及图像处理设备、图像处理方法和程序，并且更加具体地涉及可以生成可以立体观看的三维图像（3D图像）的图像处理设备、图像处理方法和程序。

背景技术

具有深度的作为立体图像可见的对应于立体视觉的图像包括两个图像的组合，所述两个图像亦即左眼图像和右眼图像，它们是来自不同视点的图像。为了获得来自两个视点的这些图像，亦即双眼视差图像，例如两个成像设备左右彼此分开以执行成像。

一对捕捉的立体图像包括成对图像，亦即：左眼图像，其由左成像设备捕捉并且由左眼观察；以及右眼图像，其由右成像设备捕捉并且由右眼观察。

包括成对的左眼图像和右眼图像的立体图像对显示在显示设备上，所述显示设备能够通过将左眼图像与右眼图像分开而向观察者的左眼和右眼提供左眼图像和右眼图像，以便观察者可以将图像观看为立体图像。

同时，在现有技术中，已提议了各种配置，以便使用从一个视点拍摄的常规二维图像来生成对应于立体视觉的包括左眼图像和右眼图像的双眼视差图像。

例如，日本待审专利申请公布第8-30806号已公开了一种设备，所述设备相对于静止图像或具有小运动的图像将左眼图像和右眼图像在水平方向上转移预定量，从而允许图像被识别为突出。

进而，日本待审专利申请公布第2005-151534号已公开了以下方法：计算图像的上部和下部的特征量，并且调整预先准备的指示深度信息的多个场景结构的结合率，从而通过简单结构的组合来表达图像。

当使用双眼成像系统来捕捉立体图像时，基线长度和会聚角是用于确定双眼视差值的重要因素。基线长度指示两个成像设备之间的距离，而会聚角则指示两个成像设备的方向。

图1图示了基于相同基线长度的具有不同会聚角的立体成像系统。

在图1所示的三个双眼成像系统（a）、（b）和（c）中，基线长度全都是L，而会聚角则是平视、15°和30°。

随着基线长度增加，左右图像的双眼视差值增加。会聚角对应于这样的点，在所述点处，左右图像的双眼视差值相对于位于会聚交叉点处的对象为0，并且对象离会聚交叉点越远，两只眼睛的双眼视差越增加。

因此，当如图1（a）中图示的那样对象远离成像系统（摄影机）时，在其中基线长度很长而会聚角很小（接近于平视）的状态下适当地执行成像。

同时，当如图1（c）中图示的那样对象在成像系统附近时，通常认为在其中基线长度很短而会聚角很大的状态下适当地执行成像。

然而，针对每个将要捕捉的对象调整基线长度和会聚角是成问题的，因为有必要花费许多时间和精力。尽管这对于其中可以为调整花费时间的专业成像是可能的，但是在普通的成像使用中，一般使用固定的基线长度和会聚角。另外，为了使双眼成像设备适合于在较宽的范围内成像对象，存在许多配置成具有如下条件的双眼成像设备：基线长度具有预定值或更多，而会聚角则尽可能地小。这些成像设备不适于成像近距离处的对象，并且如上所述在成像时会发生各种问题。

图2图示了由具有离对象不同距离的双眼成像系统A（10）和双眼成像系统B（20）执行的立体成像的例子。

双眼成像系统A（10）离对象远，而双眼成像系统B（20）离对象近。在两个成像系统中，基线长度和会聚角彼此相等。

图3图示了作为图2所示的双眼成像系统A（10）和双眼成像系统B（20）的成像结果的图像。

图3（a）图示了由双眼成像系统A（10）捕捉的图像，而图3（b）则图示了由双眼成像系统B（20）捕捉的图像。

与图示了离对象远的双眼成像系统A（10）所捕捉的图像的图3（a）相比，图示了离对象近的双眼成像系统B（20）所捕捉的图像的图3（b）示出了左右图像之间的大视差值。如果左右相互地比较图像中的对象所位于的区域，这就很明显。

图3（b）所示的图像处于这样一种状态，在所述状态下，视网膜图像差非常大，并且在观看图像时造成不适和疲劳。

此外，在图3（b）所示的图像中，未反映在左眼图像和右眼图像中的一个上的区域反映在另一个上面，亦即，与图3（a）所示的两个图像相比，生成了许多闭塞区域。

例如，在图3（b）所示的图像对中，左眼图像中示出的车灯或建筑物窗户没有示出在右边图像中。进而，右眼图像中示出的树干没有示出在左边图像中，并且生成了许多这样的闭塞区域。

如图3（b）所示，当其中左右视网膜图像之间的差具有预定值或更多的图像或者其中生成了闭塞区域的图像由观察者通过立体视觉来观察时，观察者在许多情况下可能感觉不适或者眼睛疲劳。另一方面，当这样的现象如图3（a）所示的那样最小化时，可以获得舒适的立体视觉。

参考图1至图3描述的过程对应于当来自两个不同视点的拍摄图像用作立体视觉图像时的处理例子。

同时，如上面简单地描述的那样，存在这样一种配置，在所述配置中，基于一个图像通过图像处理生成具有伪视差的两个图像，并且这两个图像用作立体视觉图像。亦即，它指示了这样一个过程，在所述过程中，对通过普通摄影机拍摄的一个2D图像执行2D/3D转换过程，以生成左眼图像和右眼图像。

由于2D/3D转换过程根据一个图像的信息来生成左右视差图像，所以存在如下一般问题：视网膜图像差小，并且观察者识别的立体效果降低。然而，存在低概率的由大的视网膜图像差或闭塞区域造成的不适或眼睛疲劳。

图4是图示用于对图2所示的双眼成像系统B（20）所拍摄的一个左眼图像执行2D/3D转换过程以生成左眼图像和右眼图像作为立体图像的过程和处理结果的示图。

图4上部的图4（b）与图3（b）相同，并且图示了由图2所示的双眼成像系统B（20）捕捉的两个图像。同时，图4下部的图4（c）图示了通过对作为图4（b）的一个图像的左眼图像执行2D/3D转换过程而生成的左眼图像和右眼图像。

与双眼成像系统B（20）所拍摄的图4（b）的左眼图像和右眼图像相比，通过2D/3D转换过程生成的图4（c）的左眼图像和右眼图像没有大的视网膜图像差或闭塞区域。

观察图4（c）所示的图像的观察者可以感受舒适的立体视觉而不会感到疲劳或不适。

如上所述，当成像设备离对象近时，如果成像设备所拍摄的图像在没有任何图像转换过程的情况下用作立体图像，则观察者可能感觉不适或疲劳。同时，当使用通过用于将二维图像转换成双眼视差图像的2D/3D转换过程（立体转换）而生成的图像时，可以调整视差并生成不会造成上述不适或疲劳的图像。

然而，通过2D/3D转换过程从一个图像生成的图像是具有伪视差的图像。例如，当成像设备位于离对象预定距离或更远距离的位置时，使用通过使用双眼成像系统拍摄的立体图像来执行显示，从而获得正确地反映实际距离并实现舒适的立体视觉的图像。

如上所述，取决于实际情形，在没有任何图像转换过程的情况下使用由双眼成像系统拍摄的左眼图像和右眼图像进行的显示和使用从一个图像生成的2D/3D转换图像进行的显示中的任何一个都可以是优选的。

发明内容

考虑到前述境况，希望提供一种图像处理设备、图像处理方法和程序，通过它们可以提供对应于舒适立体视觉的双眼视差图像，无论成像设备离对象是近还是远。

根据本公开的第一实施例，提供了一种图像处理设备，该图像处理设备包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像。在输入到图像输入单元的第一左眼图像和第一右眼图像以及通过立体图像生成处理单元生成的第二左眼图像和第二右眼图像当中，两个图像可以被输出作为将要应用于立体视觉的图像。

进一步，根据第一实施例，图像处理设备可以包括：输出图像选择处理单元，配置成从输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中选择将要应用于立体视觉的两个图像作为输出图像。

进一步，根据第一实施例，图像处理设备可以包括：深度图生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像，基于对两个输入图像的分析来计算图像中拍摄的对象距离，生成对应于像素区域的具有距离信息的深度图，并且将所述深度图输出到输出图像选择处理单元。

进一步，根据第一实施例，当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元可以选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，而当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元可以选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像。

进一步，根据第一实施例，当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元可以选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元可以选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像，而当基于所述深度图确定所述对象距离接近中间时，所述输出图像选择处理单元可以选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像中的一个以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中的一个作为所述输出图像。

进一步，根据第一实施例，所述输出图像选择处理单元可以配置成基于来自成像设备的成像信息和用户选择信息中的至少一个来选择所述输出图像。

进一步，根据第一实施例，图像处理设备可以包括：输入图像选择处理单元，配置成根据来自所述图像处理设备的输出图像来控制将要从外部输入的图像。当来自图像处理设备的输出图像是通过立体图像生成处理单元生成的第二左眼图像和第二右眼图像时，输入图像选择处理单元可以执行控制，以仅接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的一个。

进一步，根据第一实施例，当来自图像处理设备的输出图像是通过立体图像生成处理单元生成的第二左眼图像和第二右眼图像时，输入图像选择处理单元可以输出控制信号，以便仅允许从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的一个由成像设备拍摄。

进一步，根据第一实施例，通过对基于图像估计过程的结果选择的第一左眼图像和第一右眼图像中的一个执行图像转换过程，立体图像生成处理单元可以生成适用于立体视觉的第二左眼图像和第二右眼图像。

根据本公开的第二实施例，提供另一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像；以及从在图像输入步骤中输入的所述第一左眼图像和所述第一右眼图像以及通过立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中，输出两个图像作为将要应用于立体视觉的图像。

根据本公开的第三实施例，提供了一种用于使图像处理设备执行图像处理的程序，所述图像处理包括：接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像；以及从在图像输入步骤中输入的所述第一左眼图像和所述第一右眼图像以及通过立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中，输出两个图像作为将要应用于立体视觉的图像。

另外，例如，本公开的程序是提供给信息处理设备或计算机系统的程序，所述信息处理设备或计算机系统例如可以通过记录介质来执行各种程序代码。这种程序由信息处理设备或计算机系统上的程序执行单元执行，以便执行对应于程序的处理。

应当注意的是，从基于稍后将会描述的本公开的实施例的更加详细的描述或附图中，本公开的其它目的、特征或优点是明显的。另外，本说明书中的系统对应于多个设备的逻辑集合配置，并且每个配置的设备可以不处于同一壳体内。

根据本公开的实施例的配置，实现了用于选择并输出适合于立体视觉的图像的配置。

详细地，该配置包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像，其中，当基于对应于像素区域的具有距离信息的深度图确定对象距离比较长时，输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像被选择并输出作为输出图像。进而，当确定对象距离比较短时，通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像被选择并输出作为输出图像。

使用这样的配置，可以减少当获得立体视觉时由非常大的视差造成的疲劳或者由闭塞造成的不适，并且这样一来就可以实现舒适的立体视觉。

附图说明

图1是用于说明基于相同基线长度的具有不同会聚角的立体成像系统的示图；

图2是图示由具有离对象不同距离的两个双眼成像系统执行的立体成像的例子的示图；

图3是图示作为图2所示的两个双眼成像系统执行的成像结果的图像的示图；

图4是图示用于对图2所示的双眼成像系统B（20）所拍摄的一个左眼图像执行2D/3D转换过程以生成左眼图像和右眼图像作为立体图像的过程和处理结果的示图；

图5是图示作为本公开的图像处理设备的实施例的成像设备的配置例子的示图；

图6是图示立体图像生成处理单元的实施例的配置的框图；

图7是图示增益控制部的实施例的配置的框图；

图8是图示由增益系数计算部执行的增益系数确定方法的例子的示图；

图9是用于说明其中增益控制部控制微分信号的幅值的过程的例子的示图；

图10是用于说明由非线性转换部执行的非线性转换过程的例子的示图；

图11是用于说明由图像组合部执行的图形组合过程的示图；

图12是用于说明由图像组合部执行的图形组合过程的示图；

图13是用于说明深度图及其直方图的例子的示图；

图14是用于说明输出图像选择处理单元的配置例子的示图；

图15是用于说明用于基于各种图像的组合来执行图像输出控制的输出图像选择处理单元的配置和处理例子的示图；

图16是用于说明用于基于各种图像的组合来执行图像输出控制的输出图像选择处理单元的配置和处理例子的示图；

图17是用于说明用于基于各种图像的组合来执行图像输出控制的输出图像选择处理单元的配置和处理例子的示图；

图18是用于说明在本公开的图像处理设备中包括最少元件的配置例子的示图；

图19是用于说明没有输出图像选择处理单元的配置例子的示图；

图20是用于说明其中在输出图像选择处理单元中没有应用深度图的配置例子的示图；

图21是用于说明通过用于在没有使用深度信息的情况下基于输入图像信息来执行输出图像选择过程的输出图像选择处理单元执行的处理例子的示图；

图22是用于说明其中基于成像信息来执行输出图像选择的配置例子的示图；

图23是用于说明其中深度图连同来自成像设备的成像信息一起被输入到输出图像选择处理单元并且输出图像被选择的配置例子的示图；

图24是用于说明其中基于用户输入的选择信息来选择输出图像的配置例子的示图；

图25是用于说明没有深度图生成处理单元的配置例子的示图；

图26是用于说明用于在输入过程之前执行输入图像选择的图像处理设备的配置的示图；

图27是用于说明其中基于成像信息来确定输出图像并且基于对输出图像的确定来选择输入图像的配置例子的示图；

图28是用于说明执行这样一种控制的配置的示图，在所述控制中，当2D/3D转换过程图像被确定为输出图像时，由双眼成像系统拍摄的图像被设置为只是左眼图像，而对右眼图像的拍摄则被停止；

图29是用于说明这样一种配置的示图，在所述配置中，输入图像选择处理单元通过输入单元（未示出）接收用户选择信息以确定输出图像，并且基于确定的输出图像来执行成像控制过程；

图30是用于说明这样一种配置的示图，在所述配置中，没有提供深度图生成处理单元，并且由外部深度信息获取设备生成的深度图被输入并使用在立体图像生成处理单元中；

图31是用于说明这样一种配置例子的示图，在所述配置例子中，输入到立体图像生成处理单元的图像被设置为右眼图像，并且基于右眼图像来执行2D/3D转换过程以生成立体图像；以及

图32是用于说明这样一种配置例子的示图，在所述配置例子中，设置了立体转换图像选择处理单元，并且可以选择输入到立体图像生成处理单元的图像被设置为右眼图像还是左眼图像。

具体实施方式

在下文中，参考附图来详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的标号来指示，并且省略对这些结构元件的重复说明。

在下文中，参考附图来描述本公开的图像处理设备、图像处理方法和程序的细节。另外，将会按照以下顺序来给予描述。

1.本公开的图像处理设备的配置和处理例子（第一实施例）

1-1.图像处理设备的整体配置和处理

1-2.深度图生成处理单元的处理的细节

1-3.由立体图像生成处理单元执行的2D/3D转换过程

1-4.由输出图像选择处理单元执行的输出立体图像对的选择过程的细节

2.其它实施例

2-1.最少元件的配置例子

2-2.其中输出图像选择处理单元被省略的配置例子

2-3.其中在输出图像选择处理单元没有应用深度图的配置例子

2-4.其中基于成像信息来执行输出图像选择的配置例子

2-5.其中基于用户选择信息来执行输出图像选择的配置例子

2-6.其中深度图生成处理单元被省略的配置例子

3.具有用于控制朝向图像处理设备的输入图像的配置的实施例

3-1.其中在输入过程之前执行输入图像选择的配置例子

3-2.其中在成像之前执行输入图像选择的配置例子

4.本公开的配置的结论

[1.本公开的图像处理设备的配置和处理例子（第一实施例）]

参考图5来描述本公开的图像处理设备的配置和处理例子（第一实施例）。

另外，首先将会描述图像处理设备的整体配置和处理，然后将会描述每个元件的处理的细节。

（1-1.图像处理设备的整体配置和处理）

参考图5和随后的附图来描述本公开的图像处理设备的配置和处理例子（第一实施例）。

图5是图示作为本公开的图像处理设备的实施例的成像设备的配置例子的示图。

图像处理设备100包括右眼图像输入单元101、左眼图像输入单元102、立体图像生成处理单元103、深度图生成处理单元104和输出图像选择处理单元105。

图像处理设备100接收双眼立体图像信号。输入的图像信号包括由左右成对的成像系统捕捉的左右立体图像，亦即输入右眼图像和输入左眼图像。例如，图像处理设备100接收由来自两个不同视点的图2的双眼成像系统A（10）和双眼成像系统B（20）捕捉的一对两个图像。

这些输入右眼图像和输入左眼图像分别被输入到右眼图像输入单元101和左眼图像输入单元102。

已被输入到图像处理设备100的右眼图像输入单元101和左眼图像输入单元102的左右立体图像被输入到深度图生成处理单元104。

深度图生成处理单元104对两个输入的图像执行立体匹配过程，并且基于每个相应像素位置的转移量来计算从每个像素位置到对象的距离（深度），亦即离摄影机的对象距离。

深度图生成处理单元104生成并输出深度图，在所述深度图中，距离信息已与输入图像的像素相关联。

深度图包括指示构成图像的像素相对于对象的对象距离（离摄影机的距离）的数据，并且例如包括图像，所述图像包括通过对关于从图像的每个像素到对象的距离的信息进行转换而设置的亮度信息等。

详细地，例如，包括设置如下的像素的图像用作深度图：

具有拥有短对象距离（离摄影机近）的对象的像素被设置为高亮度像素（亮像素）；以及

具有拥有长对象距离（离摄影机远）的对象的像素被设置为低亮度像素（暗像素）。

如上所述，深度图包括这样的数据，在所述数据中，图像中包括的对象距离被保持作为对应于像素的数据，并且详细地，例如被生成作为通过将对象距离转换成像素值而获得的图像数据。

输入到图像处理设备100的左右立体图像中的一个，亦即输入左眼图像，被输入到立体图像生成处理单元103。进而，由深度图生成处理单元104生成的深度图也被输入到立体图像生成处理单元103。

使用一个输入图像（在当前例子中为输入左眼图像），通过2D/3D转换过程，立体图像生成处理单元103生成构成立体图像的右眼图像和左眼图像。

亦即，立体图像生成处理单元103执行2D/3D转换过程，以便相对于2D图像生成具有对应于距离（深度）信息的视差的右眼图像和左眼图像，并且如图5的立体图像生成处理单元103的输出图示的那样，生成并输出生成的右眼图像和生成的左眼图像。

使用深度图，通过2D/3D转换过程，立体图像生成处理单元103从一个输入图像中生成构成立体图像的右眼图像和左眼图像。

立体图像生成处理单元103生成并输出右眼图像和左眼图像，它们具有与从深度图获得的像素区域单元的对象距离信息相对应的视差。

已由立体图像生成处理单元103生成的生成右眼图像和生成左眼图像被输入到输出图像选择处理单元105。

输出图像选择处理单元105也接收输入到图像处理设备100的左右立体图像，亦即由双眼成像系统拍摄的输入左眼图像和输入右眼图像。

进而，从深度图生成处理单元104输出的深度图也被输入到输出图像选择处理单元105。

输出图像选择处理单元105选择将要成为图像处理设备100输出图像的立体图像，亦即输出的右眼图像和输出的左眼图像。详细地，输出图像选择处理单元105选择将要输出的立体图像对（a）或（b）：

（a）由双眼成像系统拍摄并且输入到图像处理设备100的输入右眼图像和输入左眼图像的立体图像对；或者

（b）由立体图像生成处理单元103通过2D/3D转换过程生成的生成右眼图像和生成左眼图像的立体图像对。

选择的立体图像对是从图像处理设备100输出的输出右眼图像和输出左眼图像。

深度图用于输出图像选择处理单元105中的图像对选择过程。

详细地，例如，当基于深度图确定整个图像中包括的对象距离比较长时，（a）输出图像选择处理单元105选择并输出输入到图像处理设备100的输入右眼图像和输入左眼图像的立体图像对。

进而，当基于深度图确定整个图像中包括的对象距离比较短时，（b）输出图像选择处理单元105选择并输出由立体图像生成处理单元103生成的生成右眼图像和生成左眼图像的立体图像对。

至此已描述了图5所示的图像处理设备100的整体过程。

在下文中，将会描述图5所示的图像处理设备100的每个元件的处理的细节。

（1-2.深度图生成处理单元的处理的细节）

接下来描述深度图生成处理单元104的处理的细节。如上所述，深度图生成处理单元104对从不同视点拍摄的两个输入图像执行立体匹配过程，基于每个相应像素位置的转移量计算从每个像素位置到对象的距离（深度），亦即离摄影机的对象距离，并且生成并输出深度图，在所述深度图中，距离信息已与输入图像的像素相关联。

另外，通过立体匹配进行的深度图生成过程在相关技术中是众所周知的。从多个不同视点获得的图像之间的对应性被实现，以便可以计算从摄影机到图像中的对象的距离。已提议了用于以高速度高度精确地获得从多个不同视点获得的图像之间的对应性的许多技术。

例如，作为用于高度精确地获得图像之间的对应性的技术，日本待审专利申请公布第2003-085566号已公开了一种技术，该技术基于作为一种动态规划的维特比(Viterbi)算法，向水平扫描线上的像素阵列分配最优对应性。

进而，作为用于以高速度获得图像之间的对应性的技术，日本待审专利申请公布第07-103734号已公开了一种技术，该技术减少图像以形成分层结构，将具有低分辨率的层中的对应性检测结果传输到具有高分辨率的层，并且减少具有高分辨率的层中的对应性检测过程。

例如，通过运用如上所述的现有技术，基于从不同视点拍摄的两个输入图像，图5所示的深度图生成处理单元104计算离摄影机的对象距离，并且生成并输出深度图，在所述深度图中，距离信息已与输入图像的像素相关联。

（1-3.由立体图像生成处理单元执行的2D/3D转换过程）

接下来描述图5所示的立体图像生成处理单元103执行的过程的细节。

如上所述，使用深度图，通过2D/3D转换过程，立体图像生成处理单元103从一个输入图像中生成构成立体图像的右眼图像和左眼图像。

立体图像生成处理单元103生成并输出右眼图像和左眼图像，它们具有与从深度图获得的像素区域单元的对象距离信息相对应的视差（转移量）。

描述由立体图像生成处理单元103执行的2D/3D转换过程的详细例子。

图6是图示立体图像生成处理单元103的实施例的配置的框图。

立体图像生成处理单元103执行如下过程：提取输入图像信号的空间特征量，并且针对提取的特征量执行不同的强调过程，从而生成新的视点图像。立体图像生成处理单元103包括微分器211、增益控制部212、非线性转换部213和图像组合部214。

微分器211从输入到立体图像生成处理单元103的视频数据中提取亮度信号，并且针对亮度信号生成微分信号H。详细地，例如，微分器211接收图像在水平方向上的亮度信号，并且通过对输入的亮度信号求取初级微分来生成信号。初级微分过程例如使用3抽头水平线性微分滤波器。

另外，在实施例中，已描述了其中亮度信号用作处理数据的例子。代替亮度信号，颜色信号（RGB等）也可以用作将要处理的数据。

增益控制部212将预先符合规则集合的系数（增益系数）乘以从微分器211输出的微分信号H，从而控制微分信号的幅值，并且生成校正的微分信号H’，其为微分信号的校正信号。

非线性转换部213对从增益控制部212输出的校正微分信号H’进行非线性转换，并且将转换的信号输出到图像组合部214作为视差强调信号E’。

图像组合部214执行以下过程：使用构成视频数据的每个帧图像和从帧图像生成的空间特征量，亦即亮度信号的校正微分信号H’或通过对校正微分信号进行非线性转换而生成的视差强调信号E’，生成新的视点图像。

例如，如图6的虚线所指示的那样，非线性转换部213的转换过程可以被跳过，已经历了增益控制部212的校正过程的校正微分信号H’可以直接输入到图像组合部214，并且图像组合部214也可以使用校正微分信号来生成新的视点图像。

接下来描述由增益控制部212执行的过程。

图7是图示增益控制部212的实施例的配置的框图。基于以同样的方式输入的深度信息，增益控制部212控制输入微分信号的幅值。另外，在下文将要描述的实施例中，假定以所谓深度图的形式输入深度信息，在所述深度图中，输入微分信号的每个像素具有一个深度值。

使用针对每个输入像素的深度信息，增益系数计算部221输出针对相应像素的增益系数。

相对于输入微分信号的每个像素，乘法处理部222执行以下乘法过程：将从增益系数计算部221输出的针对每个像素的增益系数乘以微分信号H的幅值，从而输出具有增益控制幅值的校正微分信号H’。

图8图示了由增益系数计算部221执行的增益系数确定方法的例子。水平轴指示充当输入信号的深度信息。垂直轴指示增益系数计算部221中的增益系数的输出。

增益系数计算部221使用预先设置的函数f(x)对输入的深度信息In进行转换，并且输出增益系数Out。

此时，各种类型的设置在函数f(x)中都是可用的。

作为函数f(x)的例子，例如，使用诸如f(x)=A×x（A为常数）之类的线性函数。A为预先设置的常数，并且可以设置成各种值。

进而，增益系数计算部221中的转换函数并不限于线性函数，而是可以执行非线性转换。

假定与微分信号的每个像素相对应的值被输入作为深度信息，并且输出对应于每个像素的增益系数。

图8是图示这样一个例子的示图，在所述例子中，增益系数计算部的输入值（深度信息）和输出值（增益系数）相互对应。图8图示了三个输入值（深度信息）和对应于三个输入值的三个输出值（增益系数）的例子。

在例子中，输入值（深度信息）是D1、D2和D3，并且指示对应于三个像素的深度值。另外，深度指示与从观察者（用户）或摄影机到对象的距离相对应的值。

假定深度（对象距离）以D1<D2<D3的序列从前向后（远离用户或摄影机）增加。这里，深度信息(In=0)的位置对应于当生成的图像显示在三维显示设备上时在显示屏上识别的点。

此时，在例子中，输出值（增益系数）是通过将D1、D2和D3的值放入到图8的函数f(x)中而获得的G1、G2和G3。

如同这个例子那样，增益系数计算部221输出对应于微分信号的每个像素的增益系数。

图9图示了其中增益控制部212控制微分信号的幅值的过程的例子。

图9图示了（a）输入信号、（b）微分信号、（c）深度信息和（d）校正之后的微分信号的例子。

图9（a）图示了输入图像信号的例子。

图9（b）图示了通过针对图9（a）的输入图像信号执行微分过程而获得的图像。

图9（c）图示了与图9（a）的输入图像信号相对应的深度信息，并且图示了其中深度值被添加到图像的三个划分区域的简单情况。

这里，假定图8中定义的深度信息D3、D2和D1的值（D1<D2<D3）从顶部开始相继被相加到图9（c）的指示深度信息的图像信号。

此时，根据图8中描述的深度和增益值的关系，乘以图9（b）的微分信号的每个像素的增益值从图像的顶部开始相继为G3、G2和G1（G1<G2<G3）。

图9（d）的校正之后的微分信号对应于通过将基于图9（c）的深度信息的增益值乘以图9（b）的微分信号的每个像素而获得的处理结果的例子。

在图9（d）的校正之后的微分信号中，朝向屏幕的上部（向远区域）乘以高增益值，并且朝向屏幕的下部（向近区域）乘以低增益值。

结果，微分信号的幅值朝向屏幕的上部（向远区域）增加，并且朝向屏幕的下部（向近区域）减小。

使用如上所述根据距离具有彼此不同振幅的微分信号，2D/3D转换单元生成并输出新的视点图像。结果，2D/3D转换单元生成并输出根据距离具有彼此不同视差的图像。

接下来描述由非线性转换部213执行的过程。非线性转换部213生成通过对从增益控制部212输出并且具有根据距离控制的增益的校正微分信号H’进行非线性转换而获得的视差强调信号E’，并且将视差强调信号E’输出到图像组合部214。

图10图示了由非线性转换部213执行的非线性转换过程的例子。水平轴指示（亮度）校正微分信号，其为从增益控制部212输出并且具有根据距离控制（校正）的增益的微分信号。垂直轴图示了非线性转换部213中的非线性转换过程之后的输出。非线性转换部213使用预先定义的函数f(x)对输入的校正微分信号In进行转换，并且输出视差强调信号Out。亦即Out=f(In)。此时，各种类型的设置在函数f(x)中都是可用的。作为函数f(x)的例子，例如使用指数函数如f(x)=x^γ。γ是预先设置的系数，并且可以设置成各种值。

进而，非线性转换部213中的转换函数并不限于指数函数，并且也可以执行线性转换。

图像组合部214执行以下过程：接收从非线性转换部213输出的视差强调信号和输入到立体图像生成处理单元103的视频数据，并且将构成视频数据的每帧图像与视差强调信号合成，从而生成新的视点图像。

另外，如图6的虚线那样，非线性转换部213的转换过程可以被跳过，并且在增益控制部212针对微分器211生成的微分信号执行对应于距离的增益控制之后已获得的校正微分信号H’可以直接输入到图像组合部214。在这种情况下，图像组合部214执行以下过程：使用经历了根据深度（对象距离）的增益控制的校正微分信号H’，生成新的视点图像。

接下来描述由图像组合部214执行的过程。

图像组合部214执行以下过程：使用构成视频数据的每个帧图像和从帧图像生成的空间特征量，亦即亮度信号的微分信号或者通过对微分信号进行非线性转换而生成的视差强调信号，来生成新的视点图像。

图11和图12图示了由图像组合部214执行的图形组合过程的概念。

图11和图12相对于具有长距离的图像区域（具有大深度的图像区域）和具有短距离的图像区域（具有小深度的图像区域）从顶部开始相继图示了：（a）输入信号S；（b）微分信号H；（c）校正（增益控制）之后的校正微分信号H’；（d）右转移图像信号；以及（e）左转移图像信号。

例如当与图9（c）的深度信息相一致地提供描述时，图11图示了与具有图9（c）图像上部的长距离D3的图像区域（具有大深度的图像区域）相对应的处理例子。同时，图12图示了与具有图9（c）图像下部的短距离D1的图像区域（具有小深度的图像区域）相对应的处理例子。

首先描述图11所示的具有长距离的图像区域（具有大深度的图像区域）中的处理例子。

（a）输入信号S指示了视频数据的任意帧的一个任意水平线的亮度变化，并且示出了在其中部设置有高亮度区域的一个线。（a）输入信号S示出了：在从线位置x1到线位置x2的区域A中，亮度逐渐增加；在线位置x2至x3中存在具有高水平亮度的高亮度部分；以及然后在从线位置x3到线位置x4的区域B中，亮度逐渐减小。

（b）微分信号H指示了（a）输入信号S的微分结果。微分信号对应于图6所示的立体图像生成处理单元103的微分器211生成的信号。

如图11所示，由微分器211生成的微分信号H在其中（a）输入信号S的亮度变化为正的区域A中具有正值，并且在其中（a）输入信号S的亮度变化为负的区域B中具有负值。

（c）校正（增益控制）之后的校正微分信号H’对应于图6所示的立体图像生成处理单元103的增益控制部212生成的信号，并且是通过基于深度信息针对图11的（b）微分信号执行校正（增益控制）而获得的。另外，图11所示的例子对应于具有长距离（例如图8和图9（c）的D3）的图像区域（具有大深度的图像区域）中的处理例子，并且使用如参考图8和图9描述的高增益G3执行校正过程，以便微分信号的振幅被校正变大。

图11（c）中图示的虚线指示校正之前的信号（=（b）微分信号H），并且图11（c）中图示的实线指示对应于距离的校正之后的校正微分信号H’。如上所述，通过对应于距离的增益控制，校正微分信号H’被校正以具有大的振幅。

（d）右转移图像信号和（e）左转移图像信号对应于由图6所示的图像组合部214生成的并且包括在图5所示的立体图像生成处理单元103中的信号。

例如，当输入左眼图像用作图11（a）所示的输入图像时，图5和图6所示的立体图像生成处理单元103向右转移输入图像以生成（d）右转移图像信号。

进而，立体图像生成处理单元103向左转移输入图像以生成（e）左转移图像信号。

详细地，（a）输入信号S与视差强调信号E’合成，所述视差强调信号E’是通过在非线性转换部213中对（c）校正（增益控制）之后的校正微分信号H’进行非线性转换而获得的结果（非线性转换部213的输出），从而生成（d）右转移图像信号或（e）左转移图像信号。

如图11（d）所示，与其中校正之前的微分信号H被合成的情况相比，当使用高增益G3校正的校正微分信号H’被合成时，生成了具有大的右转移量的图像信号。以同样的方式，在图11（e）中，生成了具有大的左转移量的图像信号。

接下来描述图12所示的具有短距离的图像区域（具有小深度的图像区域）中的处理例子。图12图示了具有图9（c）图像下部的短距离D1的图像区域（具有小深度的图像区域）中的处理例子。

（a）输入信号S和（b）微分信号H与图11所示的（a）输入信号S和（b）微分信号H相同。（b）微分信号H指示（a）输入信号S的微分结果。微分信号对应于图6所示的微分器211生成的信号。如图12所示，由微分器211生成的微分信号在其中（a）输入信号的亮度变化为正的区域A中具有正值，并且在其中（a）输入信号的亮度变化为负的区域B中具有负值。

（c）校正（增益控制）之后的校正微分信号H’对应于图6所示的增益控制部212生成的信号，并且是通过基于深度信息针对图12的（b）微分信号执行校正（增益控制）而获得的。

图12所示的例子对应于具有短距离（例如图8和图9（c）的D1）的图像区域（具有小深度的图像区域）中的处理例子，并且使用如图8和图9中描述的增益G1将微分信号的振幅校正变小。

图12（c）中图示的虚线指示校正之前的信号（=（b）微分信号H），并且图12（c）中图示的实线指示对应于距离的校正之后的校正微分信号H’。如上所述，通过对应于距离的增益控制，校正微分信号H’被校正以具有小的振幅。

（d）右转移图像信号和（e）左转移图像信号对应于由图6所示的图像组合部214生成的信号。图像组合部214将（a）输入信号S与视差强调信号E’合成，所述视差强调信号E’是通过在非线性转换部213中对（c）校正（增益控制）之后的校正微分信号H’进行非线性转换而获得的结果（非线性转换部213的输出），从而生成（d）右转移图像信号或（e）左转移图像信号。

例如，当输入左眼图像用作图12（a）所示的输入图像时，图5和图6所示的立体图像生成处理单元103向右转移输入图像以生成（d）右转移图像信号。

进而，立体图像生成处理单元103向左转移输入图像以生成（e）左转移图像信号。

如图12（d）所示，与其中校正之前的微分信号H被合成的情况相比，当使用低增益G1校正的校正微分信号H’被合成时，生成了具有小的右转移量的图像信号。以同样的方式，在图11（e）中，生成了具有小的左转移量的图像信号。

如上所述，在生成将要在比显示屏深的方向上识别的图像的情况下，图像处理设备在距离长时生成具有大振幅的校正微分信号，而在距离短时生成具有小振幅的校正微分信号，并且将这些校正微分信号（或者作为其非线性转换结果的视差强调信号）与（a）输入信号S合成，从而生成（d）右转移图像信号或（e）左转移图像信号，其对应于来自不同于输入图像的视点的观察图像，其中在图11（c）和图12（c）中图示了校正微分信号。

使用方程来描述（d）右转移图像信号或（e）左转移图像信号的生成过程。

与图11和图12的（a）输入信号S相对应的视频数据的亮度水平被设置为S，并且图11（b）和图12（b）所示的微分信号的信号水平被设置为H。

进而，由增益控制部212执行的作为微分信号校正结果的校正微分信号的信号水平被设置为H’。

另外，当生成校正微分信号H’时，连同深度信息D一起从预先设置的函数等中确定（b）微分信号H与之相乘的增益G。

当如图11所示距离长时增益值被设置为G3，而当如图12所示距离短时增益值被设置为G1。

在图11和图12所示的例子中，假定G3>1>G1。

如果图11（c）和图12（c）的（c）校正之后的微分信号的信号水平被表达为H’，则H’可以通过以下方程表达为使用增益值G3和G1校正的信号。

当如图11所示距离长时校正之后的微分信号H’用方程H’=G3×H来表达，而当如图12所示距离短时校正微分信号H’用方程H’=G1×H来表达。

通过这些方程计算的信号具有图11（c）和图12（c）的（c）校正之后的微分信号的信号水平H’。

当如图11（c）所示距离长时，如果将用实线指示的校正之后的微分信号H’与用虚线指示的校正之前的微分信号（=b）相比较，则用实线指示的校正之后的微分信号H’具有比用虚线指示的校正之前的微分信号（=b）更大的振幅。

同时，当如图12（c）所示距离短时，如果将用实线指示的校正之后的微分信号H’与用虚线指示的校正之前的微分信号（=b）相比较，则用实线指示的校正之后的微分信号H’具有比用虚线指示的校正之前的微分信号（=b）更小的振幅。

这是因为如图11（c）和图12（c）所示的校正之后的微分信号H’是通过乘以不同的增益值而生成的。

亦即，对于在从深度图生成处理单元104输出的深度图中具有大的深度信息（离摄影机的距离远）的像素，通过以下执行校正：将大的增益值乘以（b）微分信号，以生成如图11（c）所示的校正之后的微分信号。

同时，对于在从深度图生成处理单元104输出的深度图中具有小的深度信息（离摄影机的距离短）的像素，通过以下执行校正：将小的增益值乘以（b）微分信号，以生成如图12（c）所示的校正之后的微分信号。

如图11（c）和图12（c）所示的校正之后的微分信号例如经历参考图10描述的非线性转换部213中的非线性转换过程，导致生成视差强调信号E’。

图像组合部214接收对应于（a）输入信号的视频数据S和通过对（c）校正之后的微分信号进行非线性转换而获得的视差强调信号E’，并且例如通过以下方程生成右转移图像信号Right或左转移图像信号Left。

Right=S–E’

Left=S+E’

通过上面的方程获得的信号分别对应于图11（d）和图12（d）中的实线所指示的右转移图像信号以及图11（e）和图12（e）所示的左转移图像信号。

同时，图11（d）、图11（e）、图12（d）和图12（e）中的虚线所指示的信号不是（c）校正之后的微分信号，并且对应于校正之前的微分信号，亦即通过运用（b）微分信号H，使用通过非线性转换获得的视差强调信号E，生成右转移图像信号和左转移图像信号。亦即，Right=S–E并且Left=S+E。

如果将指示图11（d）和图12（d）的右转移图像信号以及图11（e）和图12（e）的左转移图像信号的实线与虚线相互比较，则当如图11所示距离长时，实线（校正之后的微分信号）的边缘部分（信号的变化部分）比虚线（校正之前的微分信号）更陡峭，并且在（d）右转移图像信号和（e）左转移图像信号两者中与（a）输入信号相比，信号的转移增加。

同时，当如图12所示距离短时，实线（校正之后的微分信号）的边缘部分比虚线（校正之前的微分信号）更平滑，并且在（d）右转移图像信号和（e）左转移图像信号两者中与（a）输入信号相比，信号的转移减小。

换言之，当距离长时，（d）右转移图像信号和（e）左转移图像信号之间的差增加。当距离短时，（d）右转移图像信号和（e）左转移图像信号之间的差减小。

当如上所述的（d）右转移图像信号和（e）左转移图像信号被显示时，如果距离长，则由于（d）右转移图像信号和（e）左转移图像信号的视网膜像差增加，所以图像被识别为仿佛它们处在长距离处。如果距离短，则由于（d）右转移图像信号和（e）左转移图像信号的视网膜像差减小，所以图像被识别为仿佛它们处在短距离处。

已参考相对于显示屏在后面生成视差的方法描述了本实施例。然而，在相对于显示屏在前面生成视差的情况下，图像组合部214通过以下方程生成右转移图像信号Right和左转移图像信号Left。

Right=S+E’

Left=S–E’

以这种方式，右转移图像信号和左转移图像信号在相反的方向上转移，亦即，右转移图像信号与输入图像相比向左转移，并且左转移图像信号与输入图像相比向右转移。结果，生成的右转移图像信号和左转移图像信号被识别为相对于显示屏在前面。

（1-4.由输出图像选择处理单元执行的输出立体图像对的选择过程的细节）

接下来，针对图5中图示的输出图像选择处理单元105所执行的过程、亦即用于选择充当图像处理设备100输出的立体图像对的方法提供描述。这里将会描述使用深度图的方法。

图13图示了深度图及其直方图的例子。

图13的上图a1图示了与参考图2和图3描述的双眼成像系统A（10）所捕捉的左眼图像相对应的深度图，该深度图已由深度图生成处理单元104生成。

类似地，图13的下图b1图示了与参考图2和图3描述的双眼成像系统B（20）所捕捉的左眼图像相对应的深度图。

在深度图中，深度通过亮度来表达，并且具有如下的根据亮度的深度值：

随着像素的亮度增加，像素朝向前方（离摄影机的距离短）；以及

随着像素的亮度降低，像素朝向后方（离摄影机的距离长）。

此外，图13的上图a2图示了针对图13的上图a1的深度图的直方图，其中水平轴指示深度，而垂直轴则指示频率。这里，频率指示具有相应深度值的深度图中像素的数目。

类似地，图13的下图b2图示了针对图13的下图b1的深度图的直方图。

当关注于图13的上图和下图的直方图a2和b2时，这两个直方图的特征如下。

在上图a2中，频率分布集中在后方（长距离）区域。在下图b2中，频率主要分布在前方（短距离）区域中。

如参考图1至图4描述的那样，当从对象至成像设备的距离短时，如果成像设备的拍摄图像按原状用作立体图像，则由于视差非常大并且还发生闭塞，所以观察者可能感觉不适或疲劳。同时，使用通过用于将二维图像转换成双眼视差图像的2D/3D转换（立体转换）而生成的图像，可以调整视差并且生成不会造成上面提到的不适或疲劳的图像。

如图13的上图a2中图示的那样，当频率主要分布在后方时，即使当双眼成像系统所生成的立体图像对、亦即输入到图像处理设备100的输入右眼图像和输入左眼图像的立体图像对被输出时，由于非常大的视差或闭塞并不发生，所以可以获得舒适的立体视觉，而不会对观察者造成不适或疲劳。

同时，如图13的下图b2中图示的那样，在其中频率主要分布在前方的情况下，当输入到图像处理设备100的输入右眼图像和输入左眼图像的立体图像对被输出用于观察时，由于发生非常大的视差或闭塞，所以非常可能的是，观察者会感觉不适或疲劳。在这种情况下，从一个左眼图像中生成的立体图像对、亦即通过立体图像生成处理单元103生成的生成右眼图像和生成左眼图像的立体图像对被输出用于观察，以便可以在没有非常大的视差或闭塞的情况下获得舒适的立体视觉。

输出图像选择处理单元105执行上面提到的输出图像选择。亦即，基于如图13（a2）和（b2）所示的图像距离分布直方图，输出图像选择处理单元105执行对选择图像的确定。这种技术并没有特殊限制。例如，存在如下方法：通过识别具有高频率的深度值是高于还是低于阈值th，来确定输出的立体图像对；或者通过计算直方图的中心值，并且识别该值是高于还是低于阈值th，来确定输出的立体图像对。

参考图14和随后的附图来描述输出图像选择处理单元105的详细配置例子。

图14图示了输出图像选择处理单元105的配置例子。

在图14所示的配置中，基于从参考图13描述的图像的深度图中生成的距离直方图，输出图像选择处理单元105执行选择从图像处理设备100输出的立体图像对的过程。

如图14所示，输出图像选择处理单元105包括控制信号生成部105a以及控制部105b和105c。

基于从深度图生成处理单元104输入的深度图，控制信号生成部105a生成如图13（a2）和（b2）所示的距离直方图。

此外，控制信号生成部105a将预先保持的阈值th与生成的直方图的中心值相比较，识别直方图中心是等于或大于阈值th还是小于阈值th，并且将对应于识别结果的控制信号（1,0）输出到控制部105b和105c。

控制部105b接收由双眼成像系统拍摄并且输入到图像处理设备100的“输入右眼图像”和“输入左眼图像”，并且控制这些图像的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105b配置成输出这些图像。

同时，控制部105c接收由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”，并且控制这些图像的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105c配置成输出这些图像。

如上所述，图14所示的输出图像选择处理单元105包括控制信号生成部105a以及两个控制部105b和105c。

图14（1）图示了当基于从深度图生成处理单元104输入的深度图而生成的距离直方图的中心等于或大于阈值th时的处理。亦即，图14（1）图示了当整个图像的对象距离相对处于后方（离摄影机远）时的处理。

在这种情况下，控制信号生成部105a将指示输出许可的控制信号[1]输出到控制由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”的输出的控制部105b，并且将指示输出禁止的控制信号[0]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”的输出的控制部105c。

结果，从输出图像选择处理单元105输出的图像，亦即从图像处理设备100输出的图像，是由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”。

图14（2）图示了当基于从深度图生成处理单元104输入的深度图而生成的距离直方图的中心小于阈值th时的处理。亦即，图14（2）图示了当整个图像的对象距离相对处于前方（离摄影机近）时的处理。

在这种情况下，控制信号生成部105a将指示输出禁止的控制信号[0]输出到控制由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”的输出的控制部105b，并且将指示输出许可的控制信号[1]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”的输出的控制部105c。

结果，从输出图像选择处理单元105输出的图像，亦即从图像处理设备100输出的图像，是由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”。

在图14所示的处理例子中，从输出图像选择处理单元105输出的立体图像对是以下中之一：（1）由双眼成像系统拍摄并且输入到图像处理设备100的“输入右眼图像”和“输入左眼图像”；以及（2）由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”。亦即，立体图像对是输入立体图像对和生成立体图像对中之一。

然而，从图像处理设备100输出的立体图像对可以具有其中输入的立体图像和生成的立体图像被混合的配置。

例如，可以成为可能的是具有这样一种配置，在所述配置中，由双眼成像系统拍摄并且输入到图像处理设备100的“输入右眼图像”和“输入左眼图像”以及由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”被设置为用于输出的立体图像对。

通过这样的组合，可以精密地控制输出立体图像对的左右图像之间的视差量。

参考图15至图17，针对如上所述通过各种图像组合来执行图像输出控制的输出图像选择处理单元105的配置和处理例子提供描述。

图15至图17中图示的输出图像选择处理单元105包括控制信号生成部105a和四个控制部105b至105e。

基于从深度图生成处理单元104输入的深度图，控制信号生成部105a生成如图13（a2）和（b2）所示的距离直方图。

此外，控制信号生成部105a将预先保持的阈值th1和th2与生成的直方图的中心值相比较，识别直方图中心是等于或大于阈值th1和th2还是小于阈值th1和th2，并且将对应于识别结果的控制信号（1，0）输出到控制部105b至105e。

另外，阈值th1和th2满足以下关系，亦即后方（离摄影机的距离长）>th1>th2>前方（离摄影机的距离短）。

如上所述，与阈值th2相比，阈值th1是设置在这样一个位置处的阈值，在所述位置处，离摄影机的距离长。

控制部105b接收由双眼成像系统拍摄并且输入到图像处理设备100的“输入右眼图像”，并且控制“输入右眼图像”的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105b配置成输出“输入右眼图像”。

控制部105c接收由双眼成像系统拍摄并且输入到图像处理设备100的“输入左眼图像”，并且控制“输入左眼图像”的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105c配置成输出“输入左眼图像”。

同时，控制部105d接收由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”，并且控制“生成右眼图像”的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105d配置成输出“生成右眼图像”。

控制部105e接收由立体图像生成处理单元103通过2D/3D转换生成的“生成左眼图像”，并且控制“生成左眼图像”的输出。如果从控制信号生成部105a输入控制信号[1]，则控制部105e配置成输出“生成左眼图像”。

图15所示的例子示出了当基于从深度图生成处理单元104输入的深度图而生成的距离直方图的中心等于或大于阈值th1时的处理。亦即，图15所示的例子示出了当整个图像的对象距离相对处于后方（离摄影机远）时的处理。

在这种情况下，控制信号生成部105a将指示输出许可的控制信号[1]输出到控制由双眼成像系统拍摄的“输入右眼图像”的输出的控制部105b，并且将指示输出许可的控制信号[1]输出到控制由双眼成像系统拍摄的“输入左眼图像”的输出的控制部105c。

进而，控制信号生成部105a将指示输出禁止的控制信号[0]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”的输出的控制部105d和105e。

结果，从输出图像选择处理单元105输出的图像，亦即从图像处理设备100输出的图像，是由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”。

图16所示的例子示出了当基于从深度图生成处理单元104输入的深度图而生成的距离直方图的中心等于或大于阈值th2并且小于阈值th1时的处理。亦即，图16所示的例子示出了当整个图像的对象距离相对是中间距离时的处理。

在这种情况下，控制信号生成部105a将指示输出许可的控制信号[1]输出到控制由双眼成像系统拍摄的“输入右眼图像”的输出的控制部105b，并且将指示输出禁止的控制信号[0]输出到控制由双眼成像系统拍摄的“输入左眼图像”的输出的控制部105c。

进而，控制信号生成部105a将指示输出许可的控制信号[1]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”的输出的控制部105d。

此外，控制信号生成部105a将指示输出禁止的控制信号[0]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成左眼图像”的输出的控制部105e。

结果，从输出图像选择处理单元105输出的图像，亦即从图像处理设备100输出的图像，是由双眼成像系统拍摄的“输入右眼图像”和由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”。

在这种情况下，由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”被输出作为左眼图像。

基于“输入左眼图像”，以及与“输入左眼图像”相比来自右视点的图像，同时成为与“输入右眼图像”相比来自左视点的图像，由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”最初已被生成。

亦即，“生成右眼图像”是通过由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”的组合而具有小视差的图像对。

图17所示的例子示出了当基于从深度图生成处理单元104输入的深度图而生成的距离直方图的中心小于阈值th2时的处理。亦即，图17所示的例子示出了当整个图像的对象距离相对处于前方（离摄影机近）时的处理。

在这种情况下，控制信号生成部105a将指示输出禁止的控制信号[0]输出到控制由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”的输出的控制部105b和105c。

进而，控制信号生成部105a将指示输出许可的控制信号[1]输出到控制由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”的输出的控制部105d和105e。

结果，从输出图像选择处理单元105输出的图像，亦即从图像处理设备100输出的图像，是由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”。

如上所述，根据参考图15至图17描述的设置，（a）当将要处理的图像的对象距离相对长（后方）时，由双眼成像系统拍摄的“输入右眼图像”和“输入左眼图像”的组合被输出（图15）；（b）当将要处理的图像的对象距离相对是中间距离时，由双眼成像系统拍摄的“输入右眼图像”和由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”的组合被输出（图16）；以及（c）当将要处理的图像的对象距离相对短（前方）时，由立体图像生成处理单元103通过2D/3D转换生成的“生成右眼图像”和“生成左眼图像”的组合被输出（图17）。

根据图像选择上面提到的三个模式，导致输出图像的组合的变化。

[2.其它实施例]

在上面提到的实施例中描述的图像处理设备的配置，亦即图5所示的图像处理设备100，是本公开的图像处理设备的实施例的例子，并且存在各种实施例。

参考图18和随后的附图来描述多个实施例。

（2-1.最少元件的配置例子）

图18图示了在本公开的图像处理设备中包括最少元件的配置例子。

图像处理设备300包括右眼图像输入单元301、左眼图像输入单元302和立体图像生成处理单元303。

图像处理设备300接收双眼立体图像信号。输入的图像信号包括由左右成对的成像系统捕捉的左右立体图像，亦即输入右眼图像和输入左眼图像。例如，图像处理设备300接收由来自两个不同视点的图2所示的双眼成像系统A（10）和双眼成像系统B（20）捕捉的一对两个图像。

这些输入右眼图像和输入左眼图像分别被输入到右眼图像输入单元301和左眼图像输入单元302。

使用一个输入图像（在当前例子中为输入左眼图像），通过2D/3D转换过程，立体图像生成处理单元303生成构成立体图像的右眼图像和左眼图像。

然而，在本实施例中，立体图像生成处理单元303在没有使用深度图的情况下通过2D/3D转换过程生成构成立体图像的右眼图像和左眼图像。

图像处理设备300既输出（a）由双眼成像系统拍摄并且输入到图像处理设备300的输入右眼图像和输入左眼图像的立体图像对，又输出（b）由立体图像生成处理单元303通过2D/3D转换过程生成的生成右眼图像和生成左眼图像的立体图像对。

亦即，图像处理设备300并不执行输出图像选择过程。

在本实施例中，立体图像生成处理单元303在没有使用深度图的情况下通过2D/3D转换过程生成构成立体图像的右眼图像和左眼图像。

在参考图5和随后的附图描述的实施例中，根据对象距离（深度），基于转移量的变化，使用深度图，通过2D/3D转换过程，立体图像生成处理单元103生成了构成立体图像的右眼图像和左眼图像。

另一方面，在不使用深度图的情况下，基于独立于对象距离（深度）的转移量的设置，通过2D/3D转换过程，图18所示的图像处理设备300的立体图像生成处理单元303生成构成立体图像的右眼图像和左眼图像。

另外，对于2D/3D转换过程，例如可以运用本申请人的日本待审专利申请公布第2010-63083号中描述的配置。

（2-2.其中输出图像选择处理单元被省略的配置例子）

接下来参考图19来描述其中从图5所示的图像处理设备100中省略输出图像选择处理单元105的配置例子。

图19所示的图像处理设备320包括右眼图像输入单元321、左眼图像输入单元322、立体图像生成处理单元323和深度图生成处理单元324。

图像处理设备320接收双眼立体图像信号。输入的图像信号包括由左右成对的成像系统捕捉的左右立体图像，亦即输入右眼图像和输入左眼图像。例如，图像处理设备320接收由来自两个不同视点的图2所示的双眼成像系统A（10）和双眼成像系统B（20）捕捉的一对两个图像。

这些输入右眼图像和输入左眼图像分别被输入到右眼图像输入单元321和左眼图像输入单元322。

基于一个输入图像（在当前例子中为输入左眼图像），使用已通过深度图生成处理单元324生成的深度图，通过2D/3D转换过程，立体图像生成处理单元103生成构成立体图像的右眼图像和左眼图像。

深度图生成处理单元324生成并输出深度图，在所述深度图中，距离信息已与输入图像的像素相关联。

深度图包括指示构成图像的像素相对于对象的对象距离（离摄影机的距离）的数据，并且例如包括图像，所述图像包括通过对关于从图像的每个像素到对象的距离的信息进行转换而获得的亮度信息等。

图像处理设备320既输出（a）由双眼成像系统拍摄并且输入到图像处理设备320的输入右眼图像和输入左眼图像的立体图像对，又输出（b）由立体图像生成处理单元323通过2D/3D转换过程生成的生成右眼图像和生成左眼图像的立体图像对。

亦即，图像处理设备320并不执行输出图像选择过程。

本实施例具有这样一种配置，在所述配置中，从参考除了图5之外的附图描述的实施例中省略了用于选择输出图像的输出图像选择处理单元105。

（2-3.其中在输出图像选择处理单元没有应用深度图的配置例子）

接下来参考图20来描述其中在输出图像选择处理单元中没有应用深度图的配置例子。

图20所示的图像处理设备340包括右眼图像输入单元341、左眼图像输入单元342、立体图像生成处理单元343、深度图生成处理单元344和输出图像选择处理单元345。

元件与参考图5描述的图像处理设备100相同。

然而，图20所示的图像处理设备340的输出图像选择处理单元345在没有使用深度图的情况下执行输出图像选择过程。这一点不同于参考图5描述的实施例。

图像处理设备340接收双眼立体图像信号。输入的图像信号包括由左右成对的成像系统捕捉的左右立体图像，亦即输入右眼图像和输入左眼图像。例如，图像处理设备340接收由来自两个不同视点的图2所示的双眼成像系统A（10）和双眼成像系统B（20）捕捉的一对两个图像。

这些输入右眼图像和输入左眼图像分别被输入到右眼图像输入单元341和左眼图像输入单元342。

基于一个输入图像（在当前例子中为输入左眼图像），使用已通过深度图生成处理单元344生成的深度图，通过2D/3D转换过程，立体图像生成处理单元343生成构成立体图像的右眼图像和左眼图像。

深度图生成处理单元344生成并输出深度图，在所述深度图中，距离信息已与输入图像的像素相关联。

深度图包括指示构成图像的像素相对于对象的对象距离（离摄影机的距离）的数据，并且例如包括图像，所述图像包括通过对关于从图像的每个像素到对象的距离的信息进行转换而获得的亮度信息等。

输出图像选择处理单元345执行以下过程：从（a）输入到图像处理设备340的输入右眼图像和输入左眼图像以及（b）由立体图像生成处理单元343生成的生成右眼图像和生成左眼图像中，选择将要输出的图像。

然而，在本实施例中，输出图像选择处理单元345在不使用深度图的情况下执行输出图像选择过程。这一点不同于参考图5描述的实施例。

参考图21来描述用于执行输出图像选择过程的输出图像选择处理单元345在不使用深度信息的情况下基于输入图像信息执行的处理例子。

图21是用于说明输出图像选择处理单元345中的输出图像选择过程的例子的示图。

图21图示了：（a）输入左眼图像和输入左眼图像亮度分布（这样一种亮度分布，在所述亮度分布中，在水平方向上划分图像，并且示出划分区域的亮度值的总和）；以及（b）输入右眼图像和输入右眼图像亮度分布（这样一种亮度分布，在所述亮度分布中，在水平方向上划分图像，并且示出划分区域的亮度值的总和）。

输入左眼图像和输入右眼图像例如对应于由来自两个不同视点的图2所示的双眼成像系统A（10）和双眼成像系统B（20）捕捉的一对两个图像，并且通过图20所示的左眼图像输入单元342和右眼图像输入单元341被输入到输出图像选择处理单元345。

基于这些输入图像，输出图像选择处理单元345分析图21的下部图示的图像亮度分布。输出图像选择处理单元345在水平方向上划分输入左眼图像和输入右眼图像中的每一个，并且计算亮度分布，其指示每个划分区域的亮度的总和。

如图21所示，输出图像选择处理单元345在水平方向上将左右图像中的每一个划分成n个区域，并且计算每个划分区域的垂直方向上的亮度总和。

此外，在水平坐标中计算亮度值当中的差异，并且获得差异的总和，以便计算左右图像的相似性。此时，一个图像被均匀地转移，并且计算差异的总和的平均值，以便可以根据转移量计算左右图像的相似性。相似性最小的转移量的值是左右图像的视差的估计值。

详细地，例如执行以下过程。在以下方程中，Lx指示L0至Ln中亮度的总和值，而Rx则指示R0至Rn中亮度的总和值。

转移量0：差异总和平均值=((L0-R0)+(L1-R1)…+(Ln-Rn))/n

转移量1：差异总和平均值=((L0-R1)+(L1-R2)…+(Ln-1-Rn))/(n-1)

转移量2：差异总和平均值=((L0-R2)+(L1-R3)…+(Ln-2-Rn))/(n-2)

通过上面的方程计算的差异总和平均值指示了根据转移量的两个图像的相似性，并且具有最小的差异总和平均值的转移量的值是左右图像的视差的估计值。

输出图像选择处理单元345允许左右视差的估计值等于参考图13至图17描述的深度直方图的中心，并且在选择输出图像时使用该估计值。

换言之，当左右视差的估计值等于或大于具有预定大小的转移量（其绝对值）Smin时，输出图像选择处理单元345输出通过立体图像生成处理单元生成的生成立体图像对。当左右视差的估计值小于Smin时，输出图像选择处理单元345输出输入立体图像对，亦即执行输出图像选择过程。

进而，为了减少计算量，有效的是使用以下方法：限制转移量以针对Smin检验左右差异的总和，通过相继改变转移量从-Smin至Smin计算差异的总和，当差异的总和变得小于预定阈值Ds时输出生成立体图像对，并且当差异的总和超过预定阈值Ds时输出输入立体图像对。

如上所述，可以仅使用输入图像来简单地执行输出图像选择过程。

（2-4.其中基于成像信息来执行输出图像选择的配置例子）

接下来描述其中基于成像信息来执行输出图像选择的配置例子。

除了将“诸如拍摄模式或焦点位置之类的成像信息500A和500B”从双眼立体成像设备400输入到输出图像选择处理单元505之外，图22所示的图像处理设备500基本上具有与参考图20描述的图像处理设备340相同的配置。

在图22所示的配置中，将“诸如拍摄模式或焦点位置之类的成像信息500A”从双眼立体成像设备400的右眼成像单元401输入到输出图像选择处理单元505，并且将“诸如拍摄模式或焦点位置之类的成像信息500B”从双眼立体成像设备400的左眼成像单元402输入到输出图像选择处理单元505。

另外，输入到输出图像选择处理单元505的成像信息包括各种类型的内容。例如，成像信息包括诸如焦点位置信息或拍摄模式信息之类的元数据。

焦点位置信息与离对象的距离具有高度相关性。例如，当焦点位置近时，非常可能的是正在拍摄离摄影机近的对象。这样一来，为了获得易于观看的立体图像，有必要输出通过立体图像生成处理单元生成的生成立体图像对。同时，当焦点位置远时，非常可能的是正在拍摄远离摄影机的对象。这样一来，输入立体图像对就被原状输出。当这样的信息被输入到输出图像选择处理单元505时，输出图像选择处理单元505原状输出输入立体图像对。

此外，与数字摄影机的功能有关，自动选择的或者由用户选择的拍摄模式信息对于估计离对象的距离也是有效的。例如，当选择“宏观模式”时，非常可能的是正在拍摄离摄影机近的对象。这样一来，为了获得易于观看的立体图像，有必要输出由立体图像生成处理单元503通过2D/3D转换过程生成的生成立体图像对。当这样的信息被输入到输出图像选择处理单元505时，输出图像选择处理单元505选择并输出由立体图像生成处理单元503通过2D/3D转换过程生成的生成立体图像对。

同时，当选择“风景模式”时，非常可能的是正在拍摄远离摄影机的对象。这样一来，输入立体图像对就被原状输出。当这样的信息被输入到输出图像选择处理单元505时，输出图像选择处理单元505原状输出输入立体图像对。

至此已描述了其中两个参数用作成像信息的例子。然而，可以使用与离对象的距离具有相关性的成像信息来执行输出图像选择过程。

进而，在图22所示的配置例子中，左右眼成像系统中的成像信息被设置成输入。然而，可以成为可能的是运用这样一种配置，在所述配置中，使用左右眼成像系统中的一个。

另外，在图22所示的配置中，输出图像选择处理单元505基于从成像设备400输入的成像信息来执行输出图像选择过程。例如，如同图23所示的图像处理设备520一样，可以成为可能的是运用这样一种配置，在所述配置中，除了来自成像设备400的成像信息500A和500B之外，通过深度图生成处理单元524生成的深度图被输入到输出图像选择处理单元525，并且考虑上面提到的深度图和阈值的比较结果以及成像信息来选择输出图像。

例如，可以运用以下方法：对包括深度图、输入图像对和成像信息的因数进行加权，并且最终选择输出图像。

（2-5.其中基于用户选择信息来执行输出图像选择的配置例子）

接下来描述其中基于用户输入的选择信息来执行输出图像选择的配置例子。

除了通过输入单元（未图示）将“来自用户的选择信息500C”输入到输出图像选择处理单元545之外，图24所示的图像处理设备540基本上具有与参考图20描述的图像处理设备340相同的配置。

至此已描述了其中输出图像选择处理单元自动地选择输出立体图像对的配置。然而，在图24所示的图像处理设备540中，输出图像选择处理单元545接收用户输入的选择信息，并且根据选择信息的输入来选择输出图像。

在图24所示的图像处理设备540中，假定用户手工选择输入立体图像对和生成立体图像对。例如，诸如“左右摄影机模式”或“3D转换模式”之类的项目可以显示在预览屏幕上，并且可以根据用户的意图进行选择。

另外，如上所述，对于输出图像选择处理单元而言可能的是，使用深度图、成像信息和用户选择信息中之一或其组合来选择输出图像。

进而，当选择输出图像时，除了其中输出图像选择处理单元被设置成选择（a）由双眼成像系统拍摄并且输入到图像处理设备的输入右眼图像和输入左眼图像的立体图像对和（b）由立体图像生成处理单元通过2D/3D转换过程生成的生成右眼图像和生成左眼图像的立体图像对中之一的配置之外，可以成为可能的是运用这样一种配置，在所述配置中，包括（a）和（b）两者的图像对被选择作为输出图像，如参考图15至图17描述的那样。

（2-6.其中深度图生成处理单元被省略的配置例子）

接下来参考图25来描述其中深度图生成处理单元已被去除的配置例子。

图25所示的图像处理设备560具有这样一种配置，在所述配置中，从图5所示的图像处理设备100中省略了深度图生成处理单元。

亦即，在这种配置中，输出图像选择处理单元565在不使用深度图的情况下选择输出图像。

输出图像选择处理单元565例如基于输入图像信息、成像信息和用户选择信息中之一或其组合来执行图像选择。

进而，除了其中（a）由双眼成像系统拍摄并且输入到图像处理设备的输入右眼图像和输入左眼图像的立体图像对和（b）由立体图像生成处理单元通过2D/3D转换过程生成的生成右眼图像和生成左眼图像的立体图像对中之一被选择作为将要输出的图像对的配置之外，可以成为可能的是运用这样一种配置，在所述配置中，包括（a）和（b）两者的图像对被选择作为输出图像，如参考图15至图17描述的那样。

[3.具有用于控制用于图像处理设备的输入图像的配置的实施例]

至此，所有上面提到的图像处理设备都接收左右眼图像信号。然而，在将左右立体图像对输入到图像处理设备之前，当已确定将会输出经过了立体转换过程的生成立体图像对时，没有必要将未在立体转换中使用的右眼图像输入到图像处理设备。

此外，在成像设备执行成像之前，当已确定将会输出经过了立体转换过程的生成立体图像对时，不需要捕捉未在立体转换中使用的右眼图像。

如上所述，当输出图像被设置时，可以执行控制以简化图像输入过程或图像拍摄过程。在下文中，将会描述具有这样的控制配置的设备的例子。

（3-1.其中在输入过程之前执行输入图像选择的配置例子）

首先，描述其中在输入过程之前执行输入图像选择的配置例子。详细地，参考图26，针对这样一种图像处理设备的配置来提供描述，在所述图像处理设备中，当2D/3D转换过程图像已被确定为输出图像时，只有由双眼成像系统拍摄的两个图像中的一个、例如只有左眼图像被输入到设备。

图26所示的图像处理设备700具有这样一种配置，在所述配置中，输入图像选择处理单元701已被添加到参考图18描述的图像处理设备300的配置。

图像处理设备700执行以下过程：从具有右眼成像单元601和左眼成像单元602的双眼立体成像设备600中接收输入右眼图像和输入左眼图像，并且执行处理。

输入图像选择处理单元701确定从图像处理设备700输出的立体图像对是由成像设备600的右眼成像单元601和左眼成像单元602捕捉的立体图像对（在下文中称之为成像立体图像对），还是针对左眼成像单元602所捕捉的一个图像通过在立体图像生成处理单元704中执行2D/3D转换（立体转换）而获得的生成立体图像对，在前者的情况下将左右眼图像信号输入到图像处理设备700，并且在后者的情况下仅将左眼图像信号输入到图像处理设备700。

在图26所示的图像处理设备700中，用实线和虚线指示了不同处理情况下的数据流。

跟随图像处理设备700中的实线所指示的箭头的数据流对应于当图像处理设备700的输出是在立体图像生成处理单元704中通过2D/3D转换（立体转换）而生成的生成立体图像对时的处理，并且示出了其中只有左眼图像信号被输入的第一处理情况。

跟随图像处理设备700中的虚线所指示的箭头的数据流对应于当图像处理设备700的输出是通过成像设备600的右眼成像单元601和左眼成像单元602捕捉的立体图像对时的处理，并且示出了其中左右眼图像信号被输入的第二处理情况。

另外，输入图像选择处理单元701执行以下过程：根据输入图像的选择来确定图像处理设备700的输出图像，并且基于关于确定的信息来确定输入图像。

对于确定输出图像的过程，类似于上面提到的实施例，输入图像选择处理单元701基于以下中之一或其组合来执行图像选择：基于输入图像信息的图像选择；基于成像信息的图像选择；以及基于用户选择信息的图像选择。

在图26所示的图像处理设备700的配置中，其中输入图像选择处理单元701基于成像信息来确定输出图像并且基于输出图像的确定来选择输入图像的配置例子对应于图27所示的配置。

在图27的图像处理设备700中，输入图像选择处理单元701从双眼立体成像设备600中接收“诸如拍摄模式或焦点位置之类的成像信息600A和600B”，并且确定将要从图像处理设备700输出的图像对。此外，输入图像选择处理单元701基于输出图像的确定来选择输入图像。

在图27中，跟随图像处理设备700中的实线所指示的箭头的数据流对应于当图像处理设备700的输出是在立体图像生成处理单元704中通过2D/3D转换（立体转换）而生成的生成立体图像对时的处理，并且示出了其中只有左眼图像信号被输入的第一处理情况。

跟随图像处理设备700中的虚线所指示的箭头的数据流对应于当图像处理设备700的输出是通过成像设备600的右眼成像单元601和左眼成像单元602捕捉的立体图像对时的处理，并且示出了其中左右眼图像信号被输入的第二处理情况。

（3-2.其中在成像之前执行输入图像选择的配置例子）

接下来描述其中在成像之前执行输入图像选择的配置例子。详细地，参考图28，针对这样一种控制配置来提供描述，在所述控制配置中，当2D/3D转换过程图像已被确定为输出图像时，将要由双眼成像系统拍摄的图像被设置为只有左眼图像，而对右眼图像的拍摄则被停止。

图28所示的图像处理设备720具有这样一种配置，在所述配置中，输入图像选择处理单元721已被添加到参考图18描述的图像处理设备300的配置。

图像处理设备720执行以下过程：从具有右眼成像单元601和左眼成像单元602的双眼立体成像设备600中接收输入右眼图像和输入左眼图像，并且执行处理。

输入图像选择处理单元721确定从图像处理设备720输出的立体图像对是由成像设备600的右眼成像单元601和左眼成像单元602捕捉的立体图像对（在下文中称之为成像立体图像对），还是针对左眼成像单元602所捕捉的一个图像通过在立体图像生成处理单元724中执行2D/3D转换（立体转换）而获得的生成立体图像对，在前者的情况下将左右眼图像信号输入到图像处理设备720，并且在后者的情况下仅将左眼图像信号输入到图像处理设备720。此外，输入图像选择处理单元721将控制信号输出到成像设备600，以执行停止在右眼成像单元601中拍摄右眼图像的控制。

在图28中，“控制信号0（700A）”是用于停止右眼成像单元601的拍摄的控制信号，而“控制信号1（700B）”则是用于执行右眼成像单元601的拍摄的控制信号。

在这个配置中，成像控制被执行，以在执行成像设备的成像之前确定将要输出的立体图像对是成像图像对还是生成立体图像对，并且如果确定将会输出生成立体图像对，则防止未在立体转换中使用的右眼图像被捕捉。

另外，关于这种情况下的输入图像选择过程，可以成为可能的是运用以下方法：基于将要经历成像的元数据如焦点位置信息或成像模式信息以及其中由用户来选择输入图像的配置等来选择输入图像对。

图28图示了这样一种配置例子，在所述配置例子中，输入图像选择处理单元721接收来自成像设备600的成像信息以确定输出图像，并且基于确定的输出图像来执行成像控制过程。

图29图示了这样一种配置例子，在所述配置例子中，输入图像选择处理单元721通过输入单元（未图示）接收用户选择信息以确定输出图像，并且基于确定的输出图像来执行成像控制过程。

在图28和图29的任一个中，跟随图像处理设备720中的实线所指示的箭头的数据流对应于当图像处理设备720的输出是在立体图像生成处理单元724中通过2D/3D转换（立体转换）而生成的生成立体图像对时的处理，并且示出了其中只有左眼图像信号被输入的第一处理情况。

跟随图像处理设备720中的虚线所指示的箭头的数据流对应于当图像处理设备720的输出是通过成像设备600的右眼成像单元601和左眼成像单元602捕捉的立体图像对时的处理，并且示出了其中左右眼图像信号被输入的第二处理情况。

[4.其中从外部设备输入深度图的配置]

例如，参考图5描述的图像处理设备100具有这样一种配置，在所述配置中，深度图生成处理单元设置在图像处理设备中，并且在图像处理设备中生成深度图。

然而，可以成为可能的是运用这样一种配置，在所述配置中，从图像处理设备外部的分开设备中输入深度图。

例如，在图30中图示了这种配置。

在图30所示的配置中，图像处理设备820不具有深度图生成处理单元，接收由外部的深度信息获取设备810生成的深度图，并且在立体图像生成处理单元823中使用深度图。

假定深度信息获取设备810例如使用距离传感器等。

在图30所示的图像处理设备820中，通过图像输入单元821和822将输入立体图像对输入到立体图像生成处理单元823，并且立体图像生成处理单元823从作为外部设备的深度信息获取设备810中获取深度图。

然后，立体图像生成处理单元823中的处理与上面描述的实施例中的处理相同。

[5.其中将要经历2D/3D转换过程的图像可选择为右眼图像的配置]

上面提到的实施例已描述了这样一种处理例子，在所述处理例子中，输入到立体图像生成处理单元的图像被设置为左眼图像，并且将要经历2D/3D转换过程的图像被设置为左眼图像。然而，可以成为可能的是运用这样一种配置，在所述配置中，对右眼图像执行2D/3D转换过程。

在图31所示的配置例子中，图像处理设备840将要被输入到立体图像生成处理单元843的图像设置为右眼图像，并且基于右眼图像执行2D/3D转换过程以生成立体图像。

进而，如同图32所示的图像处理设备850一样，可以成为可能的运用这样一种配置，在所述配置中，提供立体转换图像选择处理单元853，并且可以将要被输入到立体图像生成处理单元854的图像选择为右眼图像或左眼图像。

各种选择标准都是可用的。例如，可以确定并选择易于由人眼观看的左右图像中之一。详细地，可以选择全面优质图像，亦即选择其中主要目标在构图中心的图像或者具有良好焦点位置的图像。

另外，作为用于自动地从拍摄图像中估计全面优质图像的技术，例如可以运用日本待审专利申请公布第2010-119097号中公开的估计过程。

如果从左右图像中选择全面优质图像作为立体图像生成处理单元的输入，则使用该技术即足够。

另外，在图32中，来自立体转换图像选择处理单元853的立体图像生成处理单元的设置用实线和虚线指示如下：

其中左图像被确定为将要经历立体转换过程的情况用实线指示；并且

其中右图像被确定为将要经历立体转换过程的情况用虚线指示。

左右输入立体图像对被输入到立体转换图像选择处理单元853，并且选择将要经历立体转换过程的图像。

另外，甚至在这个实施例中，也可以成为可能的是运用这样一种配置，在所述配置中，防止捕捉未在立体转换中使用的图像。

[4.本公开的配置的结论]

至此已参考特定实施例详细地描述了本公开的配置。然而，应当注意的是，各种修改和替换实施例对于本领域技术人员而言都将会变得明显，而不会背离本公开的范围。亦即，应当注意的是，本公开通过实施例进行了公开，并且不以这些实施例所限制的方式加以解释。为了确定本公开的范围，有必要考虑权利要求的范围。

另外，本技术还可以配置如下。

（1）一种图像处理设备，包括：

图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及

立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像，

其中，在输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。

（2）根据（1）所述的图像处理设备，包括：

输出图像选择处理单元，配置成从输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中选择将要应用于立体视觉的两个图像作为输出图像。

（3）根据（1）或（2）所述的图像处理设备，包括：

深度图生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像，基于对两个输入图像的分析来计算图像中拍摄的对象距离，生成对应于像素区域的具有距离信息的深度图，并且将所述深度图输出到所述输出图像选择处理单元。

（4）根据（1）至（3）中任何一项所述的图像处理设备，其中，

当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，并且

当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像。

（5）根据（1）至（4）中任何一项所述的图像处理设备，其中，

当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，

当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像，并且

当基于所述深度图确定所述对象距离接近中间时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像中的一个以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中的一个作为所述输出图像。

（6）根据（1）至（5）中任何一项所述的图像处理设备，其中，所述输出图像选择处理单元配置成基于来自成像设备的成像信息和用户选择信息中的至少一个来选择所述输出图像。

（7）根据（1）至（6）中任何一项所述的图像处理设备，包括：

输入图像选择处理单元，配置成根据来自所述图像处理设备的输出图像来控制将要从外部输入的图像，

其中，当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时，所述输入图像选择处理单元执行控制，以仅接收从不同视点拍摄并且适用于立体视觉的所述第一左眼图像和所述第一右眼图像中的一个。

（8）根据（1）至（7）中任何一项所述的图像处理设备，其中，

当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时，所述输入图像选择处理单元输出控制信号，以便仅允许从不同视点拍摄并且适用于立体视觉的所述第一左眼图像和所述第一右眼图像中的一个由成像设备拍摄。

（9）根据（1）至（8）中任何一项所述的图像处理设备，其中，通过对基于图像估计过程的结果选择的所述第一左眼图像和所述第一右眼图像中的一个执行图像转换过程，所述立体图像生成处理单元生成适用于立体视觉的所述第二左眼图像和所述第二右眼图像。

此外，在本公开的配置中包括了在上面提到的设备等中执行的处理方法或用于执行过程的程序。

进而，在说明书中描述的一系列过程可以通过硬件、软件或其复合配置来执行。当通过软件来执行过程时，记录过程序列的程序可以在安装于专用硬件中嵌入的计算机存储器中之后执行，或者程序可以在安装于能够执行各种过程的通用计算机中之后执行。例如，程序可以预先记录在记录介质上。除了从记录介质安装到计算机之外，程序可以通过网络如局域网（LAN）或因特网来接收，并且可以安装在诸如嵌入式硬盘之类的记录介质上。

另外，在说明书中描述的各种过程不仅可以根据描述以时间序列来执行，而且还可以根据用于执行过程的设备的处理能力或者必要性以并行或单独的方式来执行。进而，本说明书中的系统对应于多个设备的逻辑集合配置，并且每个配置的设备不需要处于同一壳体内。

至此，如上所述，根据本公开的实施例，实现了用于选择并输出适合于立体视觉的图像的配置。

详细地，该配置包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像，其中，当基于对应于像素区域的具有距离信息的深度图确定对象距离比较长时，输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像被选择并输出作为输出图像。进而，当确定对象距离比较短时，通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像被选择并输出作为输出图像。

使用这样的配置，可以减少当获得立体视觉时由非常大的视差造成的疲劳或者由闭塞造成的不适，使得可以获得舒适的立体视觉。

本领域技术人员应当理解的是，取决于设计需要和其它因素，可以进行各种修改、组合、再组合和变更，它们都处在所附权利要求或其等效涵义的范围之内。

本技术包含与2011年6月17日向日本专利局申请的日本优先权专利申请JP 2011-134929中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。

Claims (14)

1.一种图像处理设备，包括：

图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及

立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像，

其中，在输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。

2.根据权利要求1所述的图像处理设备，包括：

输出图像选择处理单元，配置成从输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中选择将要应用于立体视觉的两个图像作为输出图像。

3.根据权利要求2所述的图像处理设备，包括：

深度图生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像，基于对两个输入图像的分析来计算图像中拍摄的对象距离，生成对应于像素区域的具有距离信息的深度图，并且将所述深度图输出到所述输出图像选择处理单元。

4.根据权利要求2所述的图像处理设备，其中，

当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，并且

当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像。

5.根据权利要求2所述的图像处理设备，其中，

当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，

当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像，并且

当基于所述深度图确定所述对象距离接近中间时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像中的一个以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中的一个作为所述输出图像。

6.根据权利要求2所述的图像处理设备，其中，所述输出图像选择处理单元配置成基于来自成像设备的成像信息和用户选择信息中的至少一个来选择所述输出图像。

7.根据权利要求1所述的图像处理设备，包括：

输入图像选择处理单元，配置成根据来自所述图像处理设备的输出图像来控制将要从外部输入的图像，

其中，当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时，所述输入图像选择处理单元执行控制，以仅接收从不同视点拍摄并且适用于立体视觉的所述第一左眼图像和所述第一右眼图像中的一个。

8.根据权利要求7所述的图像处理设备，其中，

当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时，所述输入图像选择处理单元输出控制信号，以便仅允许从不同视点拍摄并且适用于立体视觉的所述第一左眼图像和所述第一右眼图像中的一个由成像设备拍摄。

9.根据权利要求1所述的图像处理设备，其中，通过对基于图像估计过程的结果选择的所述第一左眼图像和所述第一右眼图像中的一个执行图像转换过程，所述立体图像生成处理单元生成适用于立体视觉的所述第二左眼图像和所述第二右眼图像。

10.根据权利要求1所述的图像处理设备，其中，所述立体图像生成处理单元包括：

微分器，配置成从所述立体图像生成处理单元接收的所述第一左眼图像和所述第一右眼图像中的一个中提取图像信号，并且针对所述图像信号生成微分信号；

增益控制部，配置成将增益系数乘以从所述微分器输出的所述微分信号，从而控制所述微分信号的幅值，并且生成校正微分信号；以及

图像组合部，配置成使用所述立体图像生成处理单元接收的所述第一左眼图像和所述第一右眼图像中的一个和所述校正微分信号来生成所述第二左眼图像和所述第二右眼图像。

11.根据权利要求1所述的图像处理设备，其中，所述立体图像生成处理单元包括：

微分器，配置成从所述立体图像生成处理单元接收的所述第一左眼图像和所述第一右眼图像中的一个中提取图像信号，并且针对所述图像信号生成微分信号；

增益控制部，配置成将增益系数乘以从所述微分器输出的所述微分信号，从而控制所述微分信号的幅值，并且生成校正微分信号；

非线性转换部，配置成对从所述增益控制部输出的所述校正微分信号进行非线性转换，以生成视差强调信号；以及

图像组合部，配置成使用所述立体图像生成处理单元接收的所述第一左眼图像和所述第一右眼图像中的一个和所述视差强调信号来生成所述第二左眼图像和所述第二右眼图像。

12.根据权利要求10或11所述的图像处理设备，其中，所述增益控制部包括：

增益系数计算部，配置成使用针对所述立体图像生成处理单元接收的所述第一左眼图像和所述第一右眼图像中的一个的每个像素的深度信息，输出针对相应像素的增益系数；以及

乘法处理部，配置成将从所述增益系数计算部输出的针对每个像素的增益系数乘以所述微分信号的幅值，从而输出具有增益控制幅值的校正微分信号。

13.一种在图像处理设备中执行的图像处理方法，所述图像处理方法包括：

接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；

接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像；以及

从在图像输入步骤中输入的所述第一左眼图像和所述第一右眼图像以及通过立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中，输出两个图像作为将要应用于立体视觉的图像。

14.一种用于使图像处理设备执行图像处理的程序，所述图像处理包括：

接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；

接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像；以及

从在图像输入步骤中输入的所述第一左眼图像和所述第一右眼图像以及通过立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中，输出两个图像作为将要应用于立体视觉的图像。

Images