CN102917234B - 图像处理装置和方法以及程序 - Google Patents

Abstract

本公开涉及一种图像处理装置和方法以及程序。根据本公开的图像处理装置包括：捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

Description

图像处理装置和方法以及程序

技术领域

本技术涉及图像处理装置和方法以及程序，并且具体地涉及这样的图像处理装置和方法以及程序，其在两个摄影机模块用作一个立体摄影机时，使得可以将这两个摄影机模块分别关联为用来捕捉用于右眼的图像的摄影机模块和用来捕捉用于左眼的图像的摄影机模块。

背景技术

近年来，3D（三维立体视图）电视以及摄影装置（立体摄影机）已被商业化，所述摄影装置捕捉立体图像（在左右摄影机之间具有视差的图像）以便实现立体视图。

在这样的境况下，希望实现一种使用低成本通用摄影机模块的立体摄影机。

为了使用立体摄影机实现立体拍摄，至少有必要进行调整，使得可以识别分别是左右摄影机模块中的哪一个对用于左眼的图像和用于右眼的图像进行拍摄。对于使用立体摄影机的这种立体拍摄所需的调整技术例如已在日本专利申请公布第JP-A-10-336701号中公开。

发明内容

然而，为了实现日本专利申请公布第JP-A-10-336701号中描述的类型的调整技术，具有精细结构的装置变得有必要，并且当想要实现使用低成本通用摄影机模块的立体摄影机时，变得成本高昂。因此，为了实现使用低成本通用摄影机模块的立体摄影机，可以使用更加简单的方法来识别左右图像的技术是有必要的。

为了使用现有技术以简单的方式实现立体摄影机，一般使用这样一种立体摄影机，在所述立体摄影机中，两个摄影机模块被集成并模块化为一个摄影机模块。使用这种结构，当然这两个摄影机不能彼此独立地使用。更加具体地，当捕捉立体图像时，即使根据至目标对象的距离和计算的视差量来改变基线是有效的，使用集成为一个模块的模块化结构，也可能无法自由地改变摄影机之间的距离（基线）。当然，存在以使得基线能够改变的方式将多个模块集成为一个模块的结构，但是在这种情况下，结构变得复杂，导致成本增加。

这里，可以想象的是，使用夹具来固定两个通用摄影机，使用所述夹具可以固定两个摄影机模块，并且捕捉立体图像。此时，当摄影机模块连接到装置时，有必要在立体摄影机中对以下进行关联：两个摄影机模块中的哪一个对应于针对用于左眼的图像的左摄影机，哪一个对应于针对用于右眼的图像的右摄影机。

考虑到前述境况已设计了本技术，并且本技术特别地使得可以在两个摄影机模块被集成并形成简单的模块化摄影机时，容易地关联使用立体摄影机中的两个摄影机模块捕捉的图像中哪个图像是用于左眼的图像，哪个是用于右眼的图像。

根据本技术的一方面，一种图像处理装置包括：捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

捕捉部可以进一步包括提示部，该提示部提示用户在捕捉用于左眼的图像和用于右眼的图像中之一的捕捉部中之一的前面伸手。比较部可以比较由捕捉部捕捉的第一图像和第二图像中的每一个的亮度或色度饱和度，并且确定部可以使用比较部的比较结果来确定第一图像和第二图像中的哪一个具有较低的亮度或色度饱和度，从而确定哪一个经历了由提示部进行的提示，并且确定第一图像和第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。

比较部可以在第一图像的预定位置提取预定尺寸的块，可以对第二图像执行提取块的模板匹配，并且可以将第二图像上的匹配块的位置与第一图像上的预定块的位置相比较，并且确定部基于第二图像上的匹配块的位置和第一图像上的预定块的位置之间的左右方向上的关系，可以确定第一图像和第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。

根据本技术的一方面，一种图像处理方法包括：使用分别捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的第一图像和第二图像的捕捉部，捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的所述第一图像和所述第二图像；使用比较由所述捕捉部捕捉的所述第一图像和所述第二图像的比较部，比较在捕捉的处理中捕捉的所述第一图像和所述第二图像；使用基于所述比较部的比较结果来确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像并且哪一个是用于左眼的图像的确定部，基于在比较的处理中获得的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及使用基于所述确定部的确定结果来输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像的输出部，基于在确定的处理中获得的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

根据本技术的一方面，一种程序包括命令控制图像处理装置的计算机的指令，所述图像处理装置包括：捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像，所述指令命令所述计算机执行：使用所述捕捉部捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的所述第一图像和所述第二图像中的每一个；使用所述比较部比较在捕捉的处理中捕捉的所述第一图像和所述第二图像；使用所述确定部，基于在比较的处理中获得的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及使用所述输出部，基于在确定的处理中获得的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

根据本技术的一方面，捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的第一图像和第二图像。捕捉的第一图像和第二图像被比较，并且基于比较结果，确定第一图像和第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像。基于确定结果，第一图像和第二图像中的每一个被输出作为用于右眼的图像和用于左眼的图像。

根据本技术的实施例的图像处理装置可以是独立装置或执行图像处理的块。

根据本技术的一方面，当捕捉立体图像的立体摄影机由两个摄影机模块形成时，可以将由各个摄影机模块捕捉的图像与用于左眼的图像和用于右眼的图像相关联。

附图说明

图1是示出对其应用了本技术的图像处理部的第一实施例的结构例子的框图；

图2是图示通过图1所示的图像处理部进行的左右图像识别处理的流程图；

图3是图示通过图1所示的图像处理部进行的左右图像识别处理的示图；

图4是示出对其应用了本技术的图像处理部的第二实施例的结构例子的框图；

图5是图示通过图4所示的图像处理部进行的左右图像识别处理的流程图；

图6是图示通过图4所示的图像处理部进行的左右识别处理的示图；以及

图7是描述通用个人计算机的结构例子的示图。

具体实施方式

在下文中，将会描述用于实施本公开的实施例（在下文中称之为实施例）。注意，将会按照以下顺序进行描述。

1．第一实施例（其中基于亮度差来确定用于左眼的图像和用于右眼的图像的情况的例子）

2．第二实施例（其中基于位移来确定用于左眼的图像和用于右眼的图像的情况的例子）

1．第一实施例

图像处理部的结构例子

图1示出了对其应用本技术的图像处理部的第一实施例的结构例子。当摄影机模块21-1和21-2起到由固定夹具11固定的一个模块化立体摄影机的作用时，图1所示的图像处理部12在将两个捕捉的图像分别映射到用于左眼的图像和用于右眼的图像之后将其输出。

更加具体地，摄影机模块21-1和21-2由固定夹具11固定，使得它们在水平方向上彼此分离。摄影机模块21-1和21-2相对于固定夹具11可拆卸地固定，并且具有其中至对象的距离、计算的视差等不能改变的结构。然而，相对于固定夹具11，摄影机模块21-1和21-2可以具有其中至对象的距离、计算的视差等可以改变的结构，并且在这种情况下，它们需要在被固定的同时使用。进一步，例如，摄影机模块21-1和21-2捕捉在水平方向上具有640像素的尺寸和在垂直方向上具有480像素的尺寸的图像，并且分别经由无线或有线通信路径22-1和22-2将图像输出到图像处理部12。通信路径22-1和通信路径22-2可以是使用线缆的有线通信路径如通用串行总线，如通过通用串行总线（USB）等表示的那样，或者是无线通信路径如无线局域网（LAN），如通过电气和电子工程师协会（IEEE）802.11等表示的那样。注意，当没有特殊需要分别在摄影机模块21-1和21-2以及通信路径22-1和22-2之间进行区分时，它们被简单地称为摄影机模块21和通信路径22，并且同样以类似的方式来称谓其它的结构部件。进一步，不用说，由摄影机模块21捕捉的图像的尺寸并不限于水平方向上640像素和垂直方向上480像素的尺寸，而可以是除了这之外的尺寸。

在分别将经由通信路径22-1和22-2输入的两个图像映射到用于左眼的图像和用于右眼的图像之后，图像处理部12输出这两个图像。

显示部13由图像处理部12控制，并且将指令消息呈现给用户。显示部13并不限于例如通过简单地接通和断开灯而只能创建两种表达的可以使用的显示装置如液晶显示器（LCD）和信号装置等，只要它可以指示时刻以提示用户在摄影机前面伸手即可，如下面将会说明的那样。

更加具体地，图像处理部12包括图像获取部31-1和31-2、亮度分布分析部32、图像切换部33、操作部34和用户命令执行部35。图像获取部31-1和31-2分别经由通信路径22-1和22-2获取由摄影机模块21-1和21-2捕捉的图像，并且将图像供应给亮度分布分析部32和图像切换部33。

亮度分布分析部32分析从图像获取部31-1和31-2供应的各个图像的亮度分布，同时还检测是否存在由用户进行的任何动作，将平均亮度值供应给图像切换部33作为分析结果，所述平均亮度值是从各个图像获取的亮度分布。

基于来自亮度分布分析部32的检测结果，图像切换部33确定从亮度分布分析部32供应的两个图像（其最初从图像获取部31-1和31-2供应）中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。更加具体地，图像切换部33设置有左/右确定部41，并且左/右确定部41基于各个平均亮度值，并且基于被认为已由用户操纵的图像和尚未被操纵的图像，确定两个图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。然后，图像切换部33分别从左眼图像输出端33a和右眼图像输出端33b输出确定的用于左眼的图像和用于右眼的图像。注意，只要图像切换部33可以在将输入的两个图像映射到用于左眼的图像和用于右眼的图像之后将其输出，传送图像信号的数字信号自身就可以使用选择器电路等进行电气切换，并且可以被输出。进一步，通过由微处理器或数字信号处理器（DSP）等引用的帧存储器地址的软件切换，图像切换部33可以分别输出用于左眼的图像和用于右眼的图像。

操作部34由操作按钮等形成。当操作部34被操作以命令参考图2来说明的左右图像识别处理的启动时，操作部34根据操作生成操作信号，并且将操作信号供应给亮度分布分析部32和用户命令执行部35。

基于来自操作部34的操作信号，用户命令执行部35使消息显示在显示部13上，要求用户执行动作，以在捕捉用于左眼的图像的摄影机模块21-1前面或者在捕捉用于右眼的图像的摄影机模块21-2前面伸手。

左右图像识别处理

接下来参考图2所示的流程图来说明通过图1所示的图像处理部12进行的左右图像识别处理。

在步骤S1，操作部34确定用户是否已执行操作以启动左右图像识别处理。重复同样的确定处理，直到确定操作已被执行为止。然后，在步骤S1，当操作部34被操作以便用户命令左右图像识别处理的启动时，命令左右图像识别处理的启动的信号被供应给亮度分布分析部32和用户命令执行部35。

在步骤S2，用户命令执行部35使用户命令消息显示在显示部13上并从而呈现给用户H，比如图3的右上部所示的消息“请将您的手伸在当从您的位置来看时位于左侧的摄影机前面”。

在步骤S3，图像获取部31-1和31-2分别经由通信路径22-1和22-2获取由摄影机模块21-1和21-2捕捉的图像的新帧，并且将新帧供应给亮度分布分析部32和图像切换部33中的每一个。

在步骤S4，亮度分布分析部32针对从图像获取部31-1和31-2供应的图像中的每一个，计算平均亮度值I1（t）和I2（t），其为以像素为单位的亮度值的平均值。平均亮度值I1（t）和I2（t）是亮度分布的分析结果。

在步骤S5，基于平均亮度值I1（t）和I2（t），亮度分布分析部32确定用户是否已执行了动作，亦即，用户是否已将他/她的手伸在摄影机前面。更加具体地，通过计算平均亮度值之间的差的绝对值|Idif(t)|(=|I1(t)–I2(t)|)，并且基于关于所述差是否大于预定阈值的确定，亮度分布分析部32确定用户是否已执行了将他/她的手伸在摄影机之上的动作。换言之，如图3的左部所示，例如当用户H的手LH（用虚线指示）没有处在当由用户H来看时位于左侧的摄影机模块21-1前面时，平均亮度值I1（t）和I2（t）两者基本上相同。这样一来，平均亮度值之间的差的绝对值|Idif(t)|就近似为零。因此，当不存在这样的动作时，亦即当手尚未伸在摄影机模块21-1和21-2中的任一个的前面时，确定动作尚未被执行，并且处理返回到步骤S3。特别地，在步骤S5，重复从步骤S3到步骤S5的处理，直到确定动作已被执行为止。

然后，在步骤S5，如图3的左部所示，例如当用户H的手LH’（用实线指示）伸在当由用户H来看时位于左侧的摄影机模块21-1的捕捉方向的前面时，由摄影机模块21-1捕捉的整个图像变成暗图像。因此，在这种情况下，如图3的右下部所示，由摄影机模块21-1捕捉的图像的平均亮度值I1（t）低于由摄影机模块21-2捕捉的图像的平均亮度值I2（t）。在图3的右下部中，垂直轴指示平均亮度值，而水平轴则指示在上面指示了时间的时间序列平均亮度值波形。可以看到的是，在从t1至t2的时刻，如图3的左部所示，摄影机模块21-1被手LH’覆盖。这样一来，从时间点t2向前，平均亮度值之间的差的绝对值|Idif(t)|(=|I1(t)–I2(t)|)是比预定阈值大的值，并且这样一来在步骤S5就识别出动作已被执行，亦即手已伸在摄影机模块21-1前面，并且处理前进到步骤S6。

在步骤S6，亮度分布分析部32将平均亮度值I1（t）和I2（t）供应给图像切换部33，作为用于识别每个图像的信息。图像切换部33控制左/右确定部41，并且使左/右确定部41确定分别从图像获取部31-1和31-2供应的图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。更加具体地，左/右确定部41确定具有较低平均亮度值的图像的识别信号是由摄影机模块21-1捕捉的用于右眼的图像。换言之，在由摄影机模块21-1和21-2形成的立体摄影机模块中，当从用户来看时位于左侧的摄影机模块21-1将会捕捉与右侧相对应的视野的用于右眼的图像。类似地，在立体摄影机模块中，当从用户来看时位于右侧的摄影机模块21-2将会捕捉与左侧相对应的视野的用于左眼的图像，用于左眼的图像具有较高的平均亮度值。

在步骤S7，基于左/右确定部41的确定结果，在分别从图像获取部31-1和31-2供应的图像当中，图像切换部33从左眼图像输出端33a输出被确定为用于左眼的图像的图像，并且从右眼图像输出端33b输出被确定为用于右眼的图像的图像。

特别地，在图3所示的情况下，已由摄影机模块21-1捕捉的来自图像获取部31-1的图像的平均亮度值I1（t）低于由摄影机模块21-2捕捉的来自图像获取部31-2的图像的平均亮度值I2（t）。结果，从图像获取部31-1供应的图像从右眼图像输出端33b输出作为用于右眼的图像，而从图像获取部31-2供应的图像则从左眼图像输出端33a输出作为用于左眼的图像。

通过上面描述的处理，可以识别由摄影机模块21-1和21-2捕捉的图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。应当注意的是，已对这样一种情况进行了上面的说明，在所述情况下，发出用户命令以在当从用户来看时位于左侧的摄影机模块21-1前面伸手。然而，不用说，可以发出用户命令以在当从用户来看时位于右侧的摄影机模块21-2前面伸手。在这种情况下，平均亮度值I1（t）和I2（t）之间的左右亦即量值关系的识别被颠倒。进一步，在上面的说明中，当平均亮度值之间的差的绝对值大于预定阈值时，确定动作已被用户执行，并且基于在那个时间的平均亮度值之间的量值关系来识别左右。然而，当在手伸于其前面的摄影机模块21-1所捕捉的图像中可以识别手的图像时，这可以被认为是动作已被执行，并且可以通过已捕捉了手的图像的摄影机模块21-1来识别左右。在这种情况下，用于通过学习来识别手的图像的图像识别技术成为必要。对于这种类型的图像识别技术的细节，例如请参见“HandShapeRecognitionbasedonSVMandonlinelearningwithHOG，”theInstituteofElectronics,InformationandCommunicationEngineers(IEICE)technicalreport109(471),459-464,2010-03-15。另外，使用了其中使用两个图像的平均亮度值的例子来进行上面的说明，但是识别手已伸在摄影机前面就足够了，并且可以使用两个图像的平均色度饱和度或者平均亮度值和平均色度饱和度的组合。

2．第二实施例

图像处理部的另一个结构例子

上面说明了这样一个例子，在所述例子中，用户需要执行将他/她的手伸在摄影机模块前面的动作，并且可以根据该动作来识别用于左眼的图像和用于右眼的图像。然而，识别方法并不限于上面描述的例子。例如，可以计算两个图像之间的视差（位移），使得可以基于该视差（位移）从图像中单独地识别用于左眼的图像和用于右眼的图像，而不需要来自用户的任何动作。

图4示出了这样一个结构例子，在所述结构例子中，图像处理部12可以使用视差（位移）从图像中单独地识别用于左眼的图像和用于右眼的图像。注意，在图4中，具有与图1所示的图像处理部12相同的功能的结构性元件被分配以相同的名称和标号，并且这里在适用时省略其说明。

在图4所示的图像处理部12中，与图1所示的图像处理部12的不同点在于，图4所示的图像处理部12设置有视差方向检测部51来代替亮度分布分析部32、操作部34和用户命令执行部35，并且设置有与视差方向检测部51相对应的图像切换部52来代替图像切换部33。

通过以块为单位执行模板匹配来计算输入的两个图像之间的特征点的对应性，视差方向检测部51执行统计计算以确定视差存在于图像之间的哪个方向上，作为位移估计值。将计算的位移估计值的信息供应给图像切换部52。

图像切换部52设置有左/右确定部61，该左/右确定部61基于从视差方向检测部51供应的位移估计值，将从图像获取部31-1和31-2供应的图像映射到用于左眼的图像和用于右眼的图像。基于左/右确定部61的确定结果，在从图像获取部31-1和31-2供应的图像当中，图像切换部52从左眼图像输出端52a输出用于左眼的图像，并且从右眼图像输出端52b输出用于右眼的图像。

左右图像识别处理

接下来参考图5所示的流程图来说明通过图4所示的图像处理部12执行的左右图像识别处理。

在步骤S11，图像获取部31-1和31-2分别经由通信路径22-1和22-2获取由摄影机模块21-1和21-2捕捉的图像，并且将获取的图像供应给视差方向检测部51和图像切换部52。

在步骤S12，视差方向检测部51将从图像获取部31-1和31-2供应的图像分割成例如16像素×16像素的块。这些块中的每一个都被取为模板。注意，块的尺寸并不限于这个例子，而可以是除了这里描述的尺寸之外的尺寸。

在步骤S13，在从图像获取部31-1供应的图像当中，视差方向检测部51设置未处理的块作为参考区域，并且相对于从图像获取部31-2供应的图像的块中的每一个执行模板匹配，并且在从图像获取部31-2供应的图像中搜索对应区域。注意，对于用于执行模板匹配的特定技术，例如请参见由HideyukiTamura编辑的“ComputerImageProcessing,”OhmshaLtd.,8.2PositionDetectionusingTwo-dimensionalTemplateMatching,p.252-259,ISNB4-274-13264-1。

在步骤S14，视差方向检测部51计算从图像获取部31-1供应的图像上的参考区域和已通过模板匹配搜索的从图像获取部31-2供应的图像上的对应区域之间在水平方向上的差。更加具体地，如图6所示，例如当作为从图像获取部31-1供应的图像P1上的参考区域Z0的块的左上坐标为（xn，yn），并且作为从图像获取部31-2供应的图像P2上的参考区域Z1的块的左上坐标为（xn’，yn’）时，视差方向检测部51将水平方向上的差计算为（xn’-xn）,并且存储作为结果的值。

在步骤S15，视差方向检测部51确定在从图像获取部31-1供应的图像中是否还有未处理的块。当存在未处理的块时，处理返回到步骤S13。特别地，重复从步骤S13至步骤S15的处理，直到从图像获取部31-1供应的图像上的全部块都已被取为参考区域、从图像获取部31-2供应的图像上的对应区域已被检测、并且全部的水平方向上的差都已被计算为止。然后，当在步骤S15确定不再有未处理的块时，处理前进到步骤S16。

在步骤S16，视差方向检测部51计算水平方向上的计算的差的平均值，并且将平均值供应给图像切换部52，作为图像之间的位移估计值。特别地，当块的数目n为N（n=0至N-1）时，视差方向检测部51通过用以下公式表达的计算来计算位移估计值：

$E=\frac{1}{N}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}({X_n}^{,}-X_n)$

这里，E是位移估计值，N是块的数目，并且n是块标识符。通过以这种方式将水平方向统计地计算为平均值，可以在统计上减少模板匹配的误差。应当注意的是，在模板匹配中，通过计算匹配区域的亮度色散可以预先计算可靠度，并且只有具有高可靠度的匹配区域的水平方向上的差的平均值可以被计算作为位移估计值。

在步骤S17，图像切换部52控制左/右确定部61，并且使左/右确定部61基于位移估计值E来确定：分别从图像获取部31-1和31-2供应的图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。特别地，当图像P1和P2之间的位移估计值E为E＜0时，如图6所示，图像P2的相应点在统计上相对于图像P1的参考区域位于左侧，这样一来，图像P1就是用于右眼的图像，而图像P2则是用于左眼的图像。与此形成对照，当图像P1和P2之间的位移估计值E为E＞0时，图像P2的相应点在统计上相对于图像P1的参考区域位于右侧，这样一来，图像P1就是用于左眼的图像，而图像P2则是用于右眼的图像。以上面描述的方式，基于位移估计值是正还是负，左/右确定部61确定分别从图像获取部31-1和31-2供应的图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。

在步骤S18，基于左/右确定部61的确定结果，图像切换部52切换来自图像获取部31-1和31-2中的每一个的图像，并且从左眼图像输出端52a输出用于左眼的图像，并且从右眼图像输出端52b输出用于右眼的图像。

通过上面描述的处理，不需要来自用户的动作，并且用于左眼的图像和用于右眼的图像可以从两个图像中单独地识别，并且根据识别结果进行输出。应当注意的是，当使用图4所示的图像处理部12时，假定用来捕捉两个图像的两个摄影机模块21-1和21-2具有这样一种结构，在所述结构中，它们以水平方向上不同x坐标的方式布置（水平方向上的基线长度）。进一步，对于将要执行的模板匹配而言优选的是使用这样一种技术，在所述技术中，两个图像之间的亮度影响被减小，比如归一化相关等。

另外，使用图4所示的图像处理部12，因为没有用户进行的动作，所以可以实现由左右摄影机模块21捕捉的图像的映射，同时进一步减少用户的负担。然而，虽然优选的是由两个摄影机模块21形成的立体摄影机的光轴为水平，亦即相对于无穷远点的会聚角为零，但是在某些情况下会发生显著位移。特别地，可能的是，“造成会聚角位移的图像之间的位移量”变得大于“由基线长度造成的位移量”。在这种情况下，图4所示的图像处理部12不能总是适当地识别左右图像。另一方面，图1所示的图像处理部12不受光轴位移的影响，并且即使位置和旋转位移比较大而且“造成会聚角位移的图像之间的位移量”变得大于“由基线长度造成的位移量”，也可以适当地识别左右图像。以这种方式，优选的是取决于条件（包括应用和环境条件等）改变实现的方法。

上面描述的系列处理可以通过硬件来执行，或者可以通过软件来执行。当系列处理通过软件来执行时，形成软件的程序从存储介质安装到结合在专用硬件中的计算机，或者例如安装到通用个人计算机，该通用个人计算机可以通过安装各种类型的程序来执行各种类型的功能。

图7示出了通用个人计算机的结构例子。个人计算机具有内置的中央处理单元（CPU）1001。输入/输出接口1005经由总线1004连接到CPU1001。只读存储器（ROM）1002和随机存取存储器（RAM）1003连接到总线1004。

作为用户可以在其上输入操作命令的输入装置如键盘和鼠标等的输入部1006连接到输入/输出接口1005。向显示各种操作屏幕和处理结果的装置执行输出的输出部1007以及由硬盘驱动器等形成并且存储程序和各种数据的存储部1008也连接到输入/输出接口1005。进一步，由局域网（LAN）适配器等形成并且经由诸如因特网之类的网络执行通信处理的通信部1009也连接到输入/输出接口1005。另外，驱动器1010连接到输入/输出接口1005。驱动器1010从可移动介质1011读取数据并且向可移动介质1011写入数据，所述可移动介质1011由磁盘（包括软盘）、光盘（包括紧致盘只读存储器（CD-ROM）和数字通用盘（DVD）等）、磁光盘（包括迷你盘（MD）等）或半导体存储器等形成。

根据ROM1002中存储的程序，或者根据从可移动介质1011（磁盘、光盘、磁光盘或半导体存储器）读出、安装在存储部1008中、然后从存储部1008加载到RAM1003的程序，CPU1001执行各种类型的处理。CPU1001执行各种类型的处理所需的数据等适当时也存储在RAM1003中。

注意，在本说明书中，编写将要记录在存储介质中的程序的步骤不一定必须以上面描述的顺序按照时间序列先后执行，并且即使没有先后执行，也可以包括并行地或者单独地执行的处理。

本领域技术人员应当理解的是，取决于设计需要和其它因素，可以进行各种修改、组合、再组合和变更，它们都处在所附权利要求或其等效涵义的范围之内。

另外，本技术还可以配置如下。

（1）一种图像处理装置，包括：

捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；

比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；

确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

（2）根据（1）所述的图像处理装置，进一步包括：

提示部，其提示用户在捕捉用于左眼的图像和用于右眼的图像中之一的所述捕捉部中之一的前面伸手，

其中，所述比较部比较由所述捕捉部捕捉的所述第一图像和所述第二图像中的每一个的亮度或色度饱和度，并且

所述确定部使用所述比较部的比较结果来确定所述第一图像和所述第二图像中的哪一个具有较低的亮度或色度饱和度，从而确定哪一个经历了由所述提示部进行的提示，并且确定所述第一图像和所述第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。

（3）根据（1）所述的图像处理装置，其中

所述比较部在所述第一图像的预定位置提取预定尺寸的块，对所述第二图像执行提取块的模板匹配，并且将所述第二图像上的匹配块的位置与所述第一图像上的预定块的位置相比较，并且

所述确定部基于所述第二图像上的匹配块的位置和所述第一图像上的预定块的位置之间的左右方向上的关系，确定所述第一图像和所述第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像。

（4）一种图像处理方法，包括：

使用分别捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的第一图像和第二图像的捕捉部，捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的所述第一图像和所述第二图像；

使用比较由所述捕捉部捕捉的所述第一图像和所述第二图像的比较部，比较在捕捉的处理中捕捉的所述第一图像和所述第二图像；

使用基于所述比较部的比较结果来确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像并且哪一个是用于左眼的图像的确定部，基于在比较的处理中获得的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

使用基于所述确定部的确定结果来输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像的输出部，基于在确定的处理中获得的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

（5）一种程序，包括命令控制图像处理装置的计算机的指令，所述图像处理装置包括：

捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；

比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；

确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像，

所述指令命令所述计算机执行：

使用所述捕捉部捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的所述第一图像和所述第二图像中的每一个；

使用所述比较部比较在捕捉的处理中捕捉的所述第一图像和所述第二图像；

使用所述确定部，基于在比较的处理中获得的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

使用所述输出部，基于在确定的处理中获得的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像。

本技术包含与2011年8月3日向日本专利局申请的日本优先权专利申请JP2011-170270中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。

Claims (2)

1.一种图像处理装置，包括：

捕捉部，其分别捕捉第一图像和第二图像，所述第一图像和所述第二图像形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像；

比较部，其比较由所述捕捉部捕捉的所述第一图像和所述第二图像；

确定部，其基于所述比较部的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

输出部，其基于所述确定部的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像；

其中，

所述比较部在所述第一图像的预定位置提取预定尺寸的块，对所述第二图像执行提取块的模板匹配，并且将所述第二图像上的匹配块的位置与所述第一图像上的预定块的位置相比较，并且

所述确定部基于所述第二图像上的匹配块的位置和所述第一图像上的预定块的位置之间的左右方向上的关系，确定所述第一图像和所述第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像；

其中，在所述模板匹配中，计算匹配块的亮度色散作为可靠度，并且只有具有高可靠度的匹配块进行所述位置的比较。

2.一种图像处理方法，包括：

使用分别捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的第一图像和第二图像的捕捉部，捕捉形成可以以三维方式立体观看的用于右眼的图像和用于左眼的图像的所述第一图像和所述第二图像；

使用比较由所述捕捉部捕捉的所述第一图像和所述第二图像的比较部，比较在捕捉的处理中捕捉的所述第一图像和所述第二图像；

使用基于所述比较部的比较结果来确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像并且哪一个是用于左眼的图像的确定部，基于在比较的处理中获得的比较结果，确定所述第一图像和所述第二图像中的哪一个是用于右眼的图像，哪一个是用于左眼的图像；以及

使用基于所述确定部的确定结果来输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像的输出部，基于在确定的处理中获得的确定结果，输出所述第一图像和所述第二图像中的每一个作为用于右眼的图像和用于左眼的图像；

其中，

使用所述比较部在所述第一图像的预定位置提取预定尺寸的块，对所述第二图像执行提取块的模板匹配，并且将所述第二图像上的匹配块的位置与所述第一图像上的预定块的位置相比较，并且

使用所述确定部基于所述第二图像上的匹配块的位置和所述第一图像上的预定块的位置之间的左右方向上的关系，确定所述第一图像和所述第二图像中的哪一个是用于左眼的图像，哪一个是用于右眼的图像；

其中，在所述模板匹配中，计算匹配块的亮度色散作为可靠度，并且只有具有高可靠度的匹配块进行所述位置的比较。