CN102959942A - 立体观看用图像拍摄装置及其控制方法 - Google Patents

Abstract

可简单地得到适合于立体观看的图像。分别拍摄左眼用图像及右眼用图像（步骤41、42）。使用右眼用图像搜索分别与从左眼用图像检测到多个特征点相对应的对应点（步骤43、44）。对通过搜索找到的对应点的数量进行计数，对于右眼用图像的像素数判断是否大于或等于规定比例（步骤45、46）。如果判断对应点数量低于规定比例，则重新拍摄右眼用图像，使用通过重新拍摄得到的新的右眼用图像，重新进行对应点搜索处理及对应点数量是否大于或等于规定比例的判断，如果判断对应点数量大于或等于规定比例，则使用此时的左眼用图像数据及右眼用图像数据生成立体图像文件（步骤46、47、48）。

Description

立体观看用图像拍摄装置及其控制方法

技术领域

本发明涉及立体观看用图像拍摄装置及其制造方法。

背景技术

在专利文献1中记载下述技术，即，对于使照相机移动而得到的多个图像组（第1图像组），在相邻的图像之间进行特征点关联，使用上述特征点的关联信息，从第1图像组中得到视点间距一定的图像组（第2图像组）。利用第2图像组构成立体图像。

专利文献1：日本特开2006－113807号公报

发明内容

但是，如果视点间距一定但在相邻的图像之间相关联的特征点数量很少，则可能会在立体观看时产生不适感。

本发明目的在于可以简单地得到适合于立体观看的图像。

本发明涉及的立体观看用图像拍摄装置具有摄像单元，该摄像单元对被摄体进行摄像，并输出通过摄像得到的图像数据，该立体观看用图像拍摄装置由上述摄像单元输出的来自于左眼用视点及右眼用视点的表示被摄体的图像数据生成立体观看用图像文件，该立体观看用图像拍摄装置具有：对应点搜索单元，其使用所述第2图像数据搜索与使用第1图像数据检测到的多个特征点分别对应的对应点，所述第1图像数据从左眼用视点或右眼用视点中的任一个基准视点得到，所述第2图像数据从左眼用视点或右眼用视点中的另一个与基准视点不同的视点得到；对应点数量判断单元，其判断通过上述对应点搜索单元搜索而找到的对应点的数量是否大于或等于第1阈值；控制单元，其对上述对应点搜索单元及对应点数量判断单元进行控制，在通过上述对应点数量判断单元判断对应点数量小于第1阈值的情况下，使用通过从与上述基准视点不同的视点再次摄像而得到的新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断；以及立体图像文件生成单元，其在通过上述对应点数量判断单元判断对应点数量大于或等于第1阈值的情况下，使用判断时的第1图像数据及第2图像数据生成立体图像文件。上述第1阈值可以是预先确定的值，也可以是根据与构成由上述第2图像数据表示的第2图像的像素数的比例确定的值。

本发明还提供一种上述立体观看用图像拍摄装置的控制方法。该立体观看用图像拍摄装置具有摄像单元，该摄像单元对被摄体进行摄像，并输出通过摄像得到的图像数据，该立体观看用图像拍摄装置的控制方法为，由从上述摄像单元输出的来自于左眼用视点及右眼用视点的、表示被摄体的图像数据生成立体观看用图像文件，在该控制方法中，对应点搜索单元使用第2图像数据搜索与使用第1图像数据检测到的多个特征点分别对应的对应点，所述第1图像数据从左眼用视点或右眼用视点中的任一个基准视点得到，所述第2图像数据从左眼用视点或右眼用视点中的另一个与基准视点不同的视点得到；对应点数量判断单元判断通过上述对应点搜索单元搜索而找到的对应点的数量是否大于或等于第1阈值，控制单元对上述对应点搜索单元及对应点数量判断单元进行控制，在通过所述对应点数量判断单元判断对应点数量小于第1阈值的情况下，使用通过从与上述基准视点不同的视点再次摄像而得到的新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断，立体图像文件生成单元在通过上述对应点数量判断单元判断对应点数量大于或等于第1阈值的情况下，使用此时的第1图像数据及第2图像数据生成立体图像文件。

使用从基准视点（例如左眼用视点）得到的第1图像和从与上述基准视点不同的视点（例如右眼用视点）得到的第2图像，从第2图像中搜索与从第1图像中检测到的特征点相对应的对应点。如果通过搜索找到的特征点的数量大于或等于第1阈值，则由表示该第1图像的第1图像数据及表示第2图像的第2图像数据生成立体图像文件。另一方面，在对应点的数量低于第1阈值的情况下，使用通过二次摄像得到的新的第2图像数据，重新执行对应点的搜索及通过搜索找到的对应点的数量是否大于或等于第1阈值的判断。

第2图像数据和新的第2图像数据均是通过从与上述基准视点不同的视点（例如右眼用视点）对被摄体进行摄像（拍摄）而得到的图像数据，二者在这一点上是相同的，但其拍摄定时不同，因此意味着它们是不同的图像数据。在判断对应点数量低于第1阈值的情况下，可以将之后通过从与上述基准视点不同的视点对上述被摄体进行再次拍摄得到的图像数据作为上述新的第2图像数据，也可以使用从通过预先进行的多次摄像得到的、来自于与上述基准视点不同的视点的多个第2图像数据中选择的一个第2图像数据，作为上述新的第2图像数据。

根据本发明，由第1图像和包含多个与从第1图像检测到的特征点相对应的对应点的第2图像，生成立体图像文件。由于由视点不同且构图比较一致的第1图像及第2图像构成立体图像文件，因此可以得到适合于立体观看的立体图像。

也可以重复进行从与上述基准视点不同的视点的摄像、上述对应点搜索及上述对应点数量判断，直至得到具有大于或等于第1阈值的数量的对应点为止（直至通过对应点数量判断单元判断通过对应点搜索单元进行搜索而找到的对应点的数量大于或等于第1阈值为止）。

优选还具有阈值减小单元，其在上述对应点数量判断单元完成了规定次数的判断处理、或上述对应点数量判断单元在规定时间内完成了多次判断处理时，未得到具有大于或等于第1阈值的数量的对应点的第2图像数据的情况下，降低上述第1阈值。可以避免在长时间内未实现立体图像文件生成的状况。

在一个实施方式中，具有视差值计算单元，其针对通过上述对应点搜索单元搜索而找到的对应点，计算上述特征点与上述对应点的视差值，上述对应点数量判断单元判断通过上述对应点搜索单元搜索而找到的对应点中的具有规定视差值的对应点的数量是否大于或等于第2阈值。在这种情况下，在判断具有上述规定视差值的对应点的数量大于或等于第2阈值的情况下，进入上述立体图像文件的生成，在判断具有上述规定视差值的对应点的数量低于第2阈值的情况下，进入使用新的第2图像数据的上述对应点搜索及上述对应点数量判断的重新执行。由于具有适合于立体观看的视差值（规定视差值）的第1图像和第2图像的组形成为立体图像文件，因此可以得到易于进行立体观看的立体图像文件。第2阈值可以是预先设定的值，也可以是根据与构成由上述第2图像数据表示的第2图像的像素数的比例确定的值。

在其他实施方式中，上述对应点数量判断单元进一步判断通过上述对应点数量搜索单元搜索而找到的对应点中、具有大于或等于极限视差值的视差值的对应点的数量是否低于第3阈值。在这种情况下，在判断具有上述规定视差值的对应点的数量大于或等于第2阈值、且具有大于或等于上述极限视差值的视差值的对应点的数量低于上述第3阈值的情况下，进入上述立体图像文件的生成，在判断具有上述规定视差值的对应点的数量低于上述第2阈值、且具有大于或等于上述极限视差值的对应点的数量大于或等于第3阈值的情况下，进入使用新的第2图像数据的上述对应点搜索及上述对应点数量判断的重新执行。在第2图像中找到大于或等于规定数量（第3阈值）个具有过大视差值（大于或等于极限视差值的视差值）（不适合于立体观看的视差值）的对应点的情况下，进入使用新的第2图像数据的处理。第3阈值可以是预先设定的值，也可以是根据相对于构成由上述第2图像数据表示的第2图像的像素数的比例而确定的值。

上述视差值计算单元通过从上述特征点的坐标值减去与上述特征点相对应的对应点的坐标值，计算各个对应点的上述视差值，上述对应点数量判断单元也可以优先使用计算出正的视差值的对应点或计算出负的视差值的对应点中的任一种。可以得到表示强调凹入感或凸出感中的任一种的立体图像文件。

优选具有区域分割单元，其将由上述对应点搜索单元进行对应点搜索所使用的第2图像数据表示的第2图像分成多个区域，上述对应点数量判断单元对于各个通过上述区域分割单元分割的多个分割区域，判断分割区域中包含的对应点数量是否大于或等于第4阈值。由于在图像整体中选择存在多个对应点的第2图像作为构成立体图像文件的图像，因此可以得到在图像整体中进行立体观看的立体图像文件。第4阈值可以是预先设定的值，也可以是根据与构成分割区域的像素数的比例确定的值。

在其他实施方式中，具有图像平坦区域检测单元，其检测亮度或颜色变化较小的图像平坦区域，上述对应点搜索单元将除了通过上述图像平坦区域检测单元检测到的图像平坦区域之外的其余图像区域设为上述对应点搜索范围。通过从对应点搜索范围去除不易进行对应点搜索的图像平坦区域，可以实现对应点搜索处理高效化。此外，这里所说的“图像平坦区域”是指在图像内无法检测到边缘或轮廓的无特征点的区域。

此外，也可以将除了上述第2图像左右端部的规定区域之外的其余图像区域设为上述对应点搜索范围。通过从对应点搜索范围中去除重叠的图像部分较少的图像的左右端部，从而可以实现对应点搜索处理的高效化。

立体观看用图像摄像装置还可以使用通过动画拍摄得到的图像数据作为上述第1图像数据及第2图像数据。

还包含死角区域判断单元，其判断包含在由上述第2图像数据表示的第2被摄体中而未包含在由上述第1图像数据表示的第1被摄体中的第1死角区域，或包含在上述第1被摄体中而未包含在上述第2被摄体中的第2死角区域中的至少一个死角区域的大小，是否大于或等于第5阈值。在这种情况下，上述控制单元对上述对应点搜索单元及对应点数量判断单元进行控制，例如，在由上述死角区域判断单元判断上述第1死角区域或上述第2死角区域中的至少一个死角区域的大小大于或等于第5阈值的情况下，使用通过从与上述基准视点不同的视点的二次摄像得到的、新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断，例如，在通过上述死角区域判断单元判断上述第1死角区域或上述第2死角区域中的任一个死角区域的大小低于第5阈值的情况下，上述立体图像文件生成单元使用此时的第1图像数据及第2图像数据生成立体图像文件。

另外，上述对应点数量判断单元也可以判断通过上述对应点搜索单元找到的对应点中的、除了视差值的绝对值大于或等于第6阈值的对应点即具有低于第6阈值的规定视差值的对应点的数量是否大于或等于第1阈值。

此外，还可以具有主要被摄体像检测单元，其从由上述第2图像数据表示的第2被摄体像检测主要被摄体像。在这种情况下，上述对应点搜索单元例如从由上述主要被摄体像检测单元检测到的主要被摄体像中，搜索分别与使用上述第1图像数据检测的多个特征点相对应的对应点。

附图说明

图1是表示对被摄体进行拍摄时的数码相机的位置关系的斜视图。

图2是表示数码相机的电气结构的框图。

图3是表示第1实施例中的数码相机的动作的流程图。

图4表示左眼用图像和右眼用图像的图像例。

图5表示左眼用图像和右眼用图像的图像例。

图6表示左眼用图像和右眼用图像的图像例。

图7是表示第1实施例的变形例中的数码相机的动作的流程图。

图8表示右眼用图像、图像平坦区域、图像左端区域及图像右端区域的关系。

图9是表示第2实施例的数码相机的动作的流程图。

图10表示左眼用图像和右眼用图像的图像例。

图11是表示第3实施例的数码相机的处理的流程图。

图12表示使各个对应点的视差与由虚线表示的右眼用图像重合。

图13是表示数码相机的处理的流程图。

图14表示右眼用图像的图像例。

图15是表示数码相机的处理的流程图。

图16是视差柱状图的一例。

图17是表示数码相机的处理的流程图。

图18表示左眼用图像和右眼用图像的图像例。

具体实施方式

（第1实施例）

图1表示本发明的实施例，表示对被摄体进行拍摄时的数码相机1的位置关系。

该实施例涉及的数码相机1，由通过对同一个被摄体进行多次拍摄而得到的图像，得到可立体观看的图像（以下称为立体图像）。为了得到立体图像，数码相机1使其位置（视点）移动，使移动前后的视点各不相同，对被摄体进行拍摄。图1表示用户使用数码相机1从左眼用视点（基准视点）进行第1次拍摄，然后朝向被摄体向右方移动而从右眼用视点进行第2次拍摄时的数码相机1的位置关系。在以下的说明中，将通过移动前的拍摄得到的图像设为“左眼用图像”，将通过移动后的拍摄得到的图像设为“右眼用图像”。当然，也可以将通过移动前的拍摄得到的图像设为“右眼用图像”，而将通过移动后的拍摄得到的图像设为“左眼用图像”。在这种情况下，用户（数码相机1）的移动方向朝向被摄体为左方。无论哪种方式，都是由左眼用图像及右眼用图像这2幅图像构成立体图像。

图2是表示数码相机1的电气结构的框图。此外，不限定于数码相机（得到静止图像），本发明的实施例也适用于数码摄像机（得到动画）。

数码相机1整体的动作通过CPU 2集中控制。

数码相机1具有固体摄像元件（CCD、CMOS等）15，在固体摄像元件15的前方设置有摄像透镜11、光圈12、红外线截止滤光片13、及光学低通滤光片（OLPF）14。

数码相机1具有操作器3。操作器3包含电源按钮、模式设定旋钮、两段式快门键等。从操作器3输出的操作信号输入至CPU 2。通过模式设定旋钮设定的模式包含拍摄模式、再生模式等。拍摄模式中还包含普通拍摄模式、立体拍摄模式等。

另外，在数码相机1上设置有用于进行闪光灯摄像的发光装置4及用于接收从发光装置4射出的射出光的反射光的受光装置5。

如果将数码相机1的电源接通而设定拍摄模式，则表示被摄体像的光线束经由摄像透镜11、光圈12、红外线截止滤光片13及光学低通滤光片14，入射到固体摄像元件15的受光面上。在固体摄像元件15的受光面上被摄体像成像，表示被摄体像的模拟影像信号从固体摄像元件15输出。通过固体摄像元件15以一定周期对被摄体进行摄像，并以一定周期一帧一帧地输出表示被摄体像的模拟影像信号。

从固体摄像元件15输出的表示被摄体像的模拟影像信号输入至模拟信号处理装置16。模拟信号处理装置16包含相关双采样电路、信号放大器等，在其中进行相关双采样、信号放大等。从模拟信号处理装置16输出的模拟影像信号输入至模拟/数字变换电路17，在这里，变换为数字图像数据。数字图像数据经由数据总线32输入至存储器控制电路21。在存储器控制电路21的控制下，数字图像数据被暂时存储在主存储器22中。CPU 2和存储器控制电路21等通过控制线31连接。

数字图像数据从主存储器22读取，经由数据总线32输入至数字信号处理电路23。在数字信号处理电路23中，进行白平衡调整、γ校正等规定的数字信号处理。在数字信号处理电路23中进行数字信号处理后的数据被输入至显示控制电路28。通过由显示控制电路28对显示装置29进行控制，在显示画面上显示被摄体像。

如果进行快门键第一阶段按下，则由透镜驱动电路6驱动透镜11而进行合焦。基于从主存储器22读取的图像数据，在数字信号处理电路23中得到亮度数据，亮度数据输入积分电路25进行积分。表示积分值的数据被输入至CPU 2，计算曝光量。由光圈驱动电路7控制对光圈12的开口进行控制，以达到计算出的曝光量，由摄像元件驱动电路8对固体摄像元件15的快门速度进行控制。

如果进行快门键的第二阶段按下，则从模拟/数字变换电路17输出的图像数据记录在主存储器22中。对于从主存储器22读取的图像数据，如上所述，在数字信号处理电路23中进行规定的数字信号处理。从数字信号处理电路23输出的图像数据在压缩展开处理电路24中进行数据压缩。压缩得到的图像数据通过外部存储器控制电路26的控制记录在存储卡27中。

如果在操作器3中设定再生模式，则读取记录在存储卡27中的压缩图像数据。所读取的压缩图像数据在压缩展开处理电路24中展开后，输入至显示控制电路28。在显示装置29的显示画面上显示再生图像。

如上所述，数码相机1可以得到立体图像。在得到立体图像的情况下，使用操作器3的模式选择旋钮选择立体拍摄模式。对于选择立体拍摄模式时的数码相机1的动作如下详细地进行说明。

图3是表示通过模式设定旋钮设定立体拍摄模式时的数码相机1的动作的流程图。图4、图5及图6均表示通过使用数码相机1的拍摄得到的左眼用图像和右眼用图像的图像例。

在图3所示的流程图中，对应点搜索处理（步骤43、44）、对应点数量计数处理（步骤45）、基于对应点数量的判断处理（步骤46）、立体图像生成处理（步骤47），通过上述数字信号处理电路23或CPU 2进行。当然，也可以在数码相机1中单独设置执行上述处理的专用硬件电路（对应点搜索处理电路、对应点数量计数电路、判断电路、及立体图像生成电路等）。这一点在后述的其他实施例中也相同。

通过按下快门键进行左眼用图像的拍摄，左眼用图像数据存储在主存储器22中（步骤41）。然后，使数码相机1向右方移动，再次按下快门键进行右眼用图像拍摄。右眼用图像数据也存储在主存储器22中（步骤42）。进行左眼用图像拍摄的数码相机1的位置（视点）和进行右眼用图像拍摄的数码相机1的位置彼此不同，但在两次拍摄中均是对同一被摄体进行拍摄（参照图1）。

使用存储在主存储器22中的左眼用图像数据及右眼用图像数据进行对应点搜索处理（步骤43）。

在对应点搜索处理中进行下述处理：使用存储在主存储器22中的左眼用图像数据或右眼用图像数据中的一个，检测图像中的物体的角部或线的交点等，将其作为特征点（特征像素），搜索另一个图像中与上述特征点相关性高的像素（将其称为对应点）。对应点搜索处理通过模版比对等局部地进行，通过多次的对应点搜索处理执行对图像整体的处理（在步骤44中为否）。在对应点搜索处理中通常会检测到多个特征点，且会搜索找到多个对应点。在该实施例中，使用左眼用图像L1检测特征点，使用右眼用图像R1至R3，搜索与上述特征点相对应的对应点。在图4至图6中，在左侧显示左眼用图像L1，在右侧显示右眼用图像R1至R3。通过上述搜索找到的多个对应点在右眼用图像R1至R3上用黑点突出表示。省略在左眼用图像L1中检测到的多个特征点的图示。

如果对应点搜索处理完成（在步骤44中为是），则对找到的对应点数量进行计数（步骤45），判断对应点数量是否大于或等于规定的阈值（第1阈值。例如是1%，但也可以不是1%。），在这里是判断是否为右眼用图像R1的总像素数（当然，其与左眼用图像L1的总像素数相同）的1%（步骤46）。例如，在右眼用图像R1由横向1,024个像素、纵向768个像素构成的情况下，总像素数（1,204×786＝786,432）的1%约为7,864个像素。判断在对应点搜索处理中找到的对应点的数量是否大于或等于7,864。

在对应点数量低于总像素数的1%的情况下（在步骤46中为否），例如，向用户显示需要进行重新拍摄，然后，由用户重新拍摄右眼用图像（步骤42）。或者，在对应点数低于总像素数的1%的情况下（在步骤46中为否），例如，通过全自动重新拍摄右眼用图像（步骤42）。参照图4，图4所示的右眼用图像R1表示与从左眼用图像L1得到的特征点相对应的对应点的数量较少（不满足总像素数的1%）的例子。在这种情况下，如上所述，进行右眼用图像的再次拍摄。表示通过再次拍摄得到的右眼用图像R2（图5）的图像数据，取代通过第1次拍摄得到的右眼用图像R1的图像数据或追加，而重新存储在主存储器22中。表示左眼用图像L1的图像数据直接保存在主存储器22中。

对使用通过再次拍摄得到的新的右眼用图像R2搜索对应点而找到的对应点数量进行计数（步骤42至45）。在第二次以后的对应点搜索处理中，使用在第一次对应点搜索处理中已检测到的左眼用图像L1的特征点，从新得到的右眼用图像R2中搜索与该特征点相对应的对应点。

在通过第二次拍摄得到的右眼用图像R2的对应点的数量仍低于全部像素数的1%的情况下，进一步进行第三次右眼用图像拍摄（在步骤46中为否，步骤42），重复进行对应点搜索处理及对应点数量的计数处理（步骤43至45）。

参照图6，图6所示的右眼用图像R3表示对应点数量较多（大于或等于总像素数的1%）（为便于图示，未显示全部的对应点）的例子。在对应点数量大于或等于总像素数的1%的情况下（在步骤46中为是），生成存储在主存储器22中的当时的左眼用图像及右眼用图像，在这里，由表示左眼用图像L1和右眼用图像R3这两个图像的图像数据生成立体图像文件（步骤47）。在立体图像文件中记录包含表示左眼用图像L1的图像数据及表示右眼用图像R3的图像数据的按照多图片格式的数据。所生成的立体图像文件通过外部存储器控制电路26记录并保存在存储卡27中（步骤48）。结束立体拍摄模式中的一连串处理。

在上述实施例中，通过多次拍摄得到的右眼用图像R1、R2、R3，例如通过连续拍摄（在一秒钟内进行多场景拍摄的各个定时的拍摄）得到。用户在双手握持数码相机1的情况下，在连续拍摄的各个定时，数码相机1的方向通常不同，因此，在多次拍摄中，很可能会得到对应点数量较多的右眼用图像。

在与从左眼用图像得到的特征点相对应的右眼用图像中的对应点数量较少的情况下，如果使用这两个图像，则有时很难进行立体观看或在立体观看中产生不适感。如上所述，在对应点数量比规定阈值（在上述实施例中，是总像素数的百分之一）少的情况下，再次进行右眼用图像拍摄，如果得到具有大于或等于规定阈值的对应点的右眼用图像，则使用该右眼用图像构成立体图像。由于由视点不同且构图比较一致的左眼用图像和右眼用图像的组生成立体图像文件，因此可以得到适合于立体观看的左眼用图像和右眼用图像（立体图像）。

在上述第1实施例中，在结束预先设定的拍摄次数（处理次数）或预先设定的时间内的多次拍摄，对应点数量仍未大于或等于规定阈值的情况下，也可以使阈值下降（减小步骤46的判断中使用的百分比值），并使用降低后的阈值判断是否进入再次拍摄。这一点在后述的其他实施例中也相同。

另外，在上述第1实施例中，每当拍摄到右眼用图像R1、R2、R3时，进行对应点搜索处理（步骤43，44）、对应点数量计数处理（步骤45）、基于对应点数量的判断处理（步骤46），但也可以进行一定时间的连续拍摄而预先得到多个右眼用图像，然后对于多个右眼用图像分别进行对应点搜索处理（步骤43，44）、对应点数量计数处理（步骤45）、以及基于对应点数量的判断处理（步骤46）。这一点在后述的其他实施例中也相同。

（变形例）

图7是表示第1实施例的变形例中的数码相机1的动作的流程图。对于与图3所示的第1实施例的流程图相同的处理标记相同的标号，避免重复的详细说明。

在第1实施例中，使用左眼用图像及右眼用图像的整个区域进行对应点搜索处理。在第1实施例的变形例中，将后述的图像平坦区域及图像左右端区域除外，以除了这些图像平坦区域及图像左右端区域之外的其余区域为处理对象，进行对应点搜索处理。

图8表示右眼用图像R3、图像平坦区域FA、图像左端区域LA及图像右端区域RA的关系。

在结束左眼用图像及右眼用图像拍摄而进入对应点搜索处理之前，进行图像平坦区域检测处理（步骤51）。在图像平坦区域的检测处理中进行下述处理：将右眼用图像设为处理对象，例如，使用带通滤光器提取高频成分，使用所提取的高频成分检测亮度变化较小的区域。检测到的亮度变化较小的区域成为图像平坦区域FA。例如，在图像整体的亮度变化范围为0至255的情况下，图像平坦区域中的亮度变化是指±2即约为1%的范围。图像平坦区域检测处理通过数字信号处理电路23或CPU 2进行。也可以取代亮度变化较小的区域，例如，根据各个像素的色矢量检测颜色变化较小的区域，将其设为图像平坦区域FA。

图像左端区域LA及图像右端区域RA均具有右眼用图像R3的横向像素数的10%的像素数的横宽w。从右眼用图像R3的左端向右的上述横宽w对应的范围形成为图像左端区域LA，从右眼用图像R3的右端向左的上述横宽w对应的范围形成为图像右端区域RA。对于除了所检测到的图像平坦区域FA、图像左端区域LA、图像右端区域RA以外的其余区域，进行上述对应点检索处理（步骤43A）。

亮度变化或颜色变化较小的图像平坦区域FA很难检测到对应点。通过预先从处理区域中去除图像平坦区域FA，可以实现对应点搜索处理的高效化。另外，图像的左右端很少发生左眼用图像和右眼用图像的重叠，是无对应点或不易找到对应点的区域。对于图像左端区域LA及图像右端区域RA也同样地，通过从对应点搜索处理中去除，从而实现对应点搜索处理的高效化。

（第2实施例）

图9是表示第2实施例的数码相机1的动作的流程图。对于与图3所示的第1实施例的流程图相同的处理标记相同的标号，避免重复的详细说明。图10表示通过数码相机1的摄像得到的左眼用图像和右眼用图像的图像例。参照图10所示的图像例，对第2实施例的数码相机1的处理进行说明。

在第2实施例中，将搜索到对应点的右眼用图像分割成多个区域，针对各分割区域对对应点数量进行计数。并且，判断分割区域各自的对应点数量是否大于或等于规定的阈值。

参照图10，将右眼用图像R1分别在纵向和横向进行3等分，从而规定总计9个分割区域d1至d9。当然，还可以规定更少或更多的分割区域。另外，也可以不将全部分割区域设为相同形状（相同的像素数），例如，而是规定右眼用图像R1的中央部分区域和包围该中央部分区域的周边区域这种彼此形状不同的分割区域。

拍摄左眼用图像，然后，将数码相机1向右方移动而拍摄右眼用图像，使用所得到的左眼用图像和右眼用图像进行对应点搜索处理，这一点与上述第1实施例相同（步骤41至44）。

在右眼用图像R1中规定分割区域d1至d9，对分割区域d1至d9各自的对应点数量进行计数（步骤61）。

对于全部的分割区域d1至d9，判断各分割区域中包含的对应点数量是否大于或等于该分割区域的像素数的1%（第4阈值。也可以不是1%）（步骤62）。

在图10所示的分割右眼用图像R1得到的分割区域d1至d9的情况下，判断9个分割区域d1至d9各自的对应点数量是否大于或等于分割区域d1至d9各自的像素数的1%。当然，在分割区域d1至d9的像素数相等（等分割的情况下）时，也可以仅对计数的对应点数量最少的分割区域，判断其对应点数量是否大于或等于分割区域的像素数的百分之1。

在存在对应点数量低于分割区域的像素数的百分之1这种分割区域的情况下，进行再次的右眼用图像拍摄。重新使用通过第2次（进一步是第3次）拍摄得到的右眼用图像重复进行上述处理，这一点与实施例1相同（在步骤62中为否，步骤42至44，步骤61）。

如果全部的分割区域的对应点数量大于或等于分割区域的像素数的1%（在步骤62中为是），则不进行右眼用图像的进一步拍摄，而是使用此时的左眼用图像及右眼用图像，生成立体图像文件，并保存在存储卡27中（步骤47、48）。

由于使用在全部的分割区域d1至d9中包含多个对应点的右眼用图像生成立体图像文件，因此可以得到能够对图像整体进行立体观看的立体图像。

在第2实施例中，与上述第1实施例的变形例（参照图8）同样地，也可以将除了图像平坦区域FA及图像左右端区域LA、RA之外的其余区域作为处理对象，进行对应点搜索处理。在这种情况下，可以在步骤62的判断中，使用去除上述图像平坦区域FA及图像左右端区域LA、RA而得到的分割区域的像素数。

（第3实施例）

图11是表示第3实施例的数码相机1的处理的流程图。对于与图3所示的第1实施例的流程图相同的处理标记相同的标号，避免重复说明。

在第1实施例及第2实施例中，着眼于从右眼用图像搜索的对应点本身的数量，判断右眼用图像是否应作为构成立体图像文件的图像（是否应该进行再次拍摄）。在第3实施例中，与第1、第2实施例不同，取代对应点本身的数量，还考虑特征点和与该特征点相对应的对应点的间隔即各个对应点的视差，判断右眼用图像是否应作为构成立体图像的图像（是否应该进行再次拍摄）。

图12表示在由虚线表示的右眼用图像R中，重合第3实施例的数码相机1的处理中使用的视差。

表示视差的值（以下称为视差值），通过对各个对应点，从左眼用图像的特征点的横坐标值中减去与该特征点相对应的右眼用图像的对应点的横坐标值而计算。根据特征点及对应点的位置，视差值为正（＋）值或负（－）值。在图12中，用黑点或黑粗线表示具有负的值的视差值。用白圈或白粗线表示具有正的值的视差值。粗线的长度表示视差值的大小。在形成立体图像时，例如，具有负的视差值的对应点被人眼识别为向里侧方向凹入，具有正的视差值的对应点被人眼识别为向前方凸出。

在第3实施例中，也与第1实施例及第2实施例同样地，进行对应点搜索处理。即，从左眼用图像检测特征点，并从右眼用图像搜索与检测到的特征点相对应的对应点（步骤41至43）。然后，如上所述，通过从检测到的特征点的横坐标值中减去与该特征点相对应的对应点的横坐标值，使用像素数计算该特征点和对应点的组涉及的视差值（步骤71）。对各个对应点进行视差值计算。

对多个对应点中具有规定大小（绝对值）的视差值的对应点的数量进行计数（步骤72）。例如，对具有与右眼用图像R3的横向像素数的4%至6%的像素数相当的视差值的对应点的数量进行计数。如果右眼用图像R3的横向像素数为1,024像素，则对具有其4%至6%即41至61像素范围的视差值的对应点数量进行计数。

判断具有规定大小的视差值的对应点的数量是否大于或等于总像素数的0.2%（第2阈值。也可以不是0.2%）（步骤73）。例如，在右眼用图像R3由横向1,024像素、纵向768像素构成的情况下，总像素数的0.2%约为1,572像素。判断所计数的具有规定大小的视差值的对应点的数量是否大于或等于1,572。

在具有规定视差的对应点的数量低于总像素数的0.2%的情况下（在步骤73中为否），与第1实施例及第2实施例同样地，进行右眼用图像的再次拍摄（步骤42），使用新得到的右眼用图像，重复进行上述处理（步骤43、44、71至73）。如果具有规定视差值的对应点的数量大于或等于总像素数的0.2%，则进入立体图像文件的生成及保存（在步骤73中为是，步骤47、48）。

由于使用包含大量具有适合于立体观看的视差值的对应点的右眼用图像构成立体图像文件，因此，可以得到适合于立体观看的立体图像。

在上述第3实施例中，进行使用视差值大小（绝对值）的处理，但也可以优先对具有负的视差值的对应点或具有正的视差值的对应点中的任一种进行与上述相同的处理。例如，如果仅使用具有负的视差值的对应点，则使用包含大量具有负的视差值的对应点的右眼用图像，生成立体图像文件。容易得到强调凹入感的立体图像。如果仅使用具有正的视差值的对应点，则使用包含大量具有正的视差值的对应点的右眼用图像生成立体图像文件。容易得到强调凸出感的立体图像。

在第3实施例中，与第1实施例的变形例同样地，也可以将除了图像平坦区域及图像左右端区域之外的其余区域作为处理对象，进行对应点搜索处理。另外，与第2实施例同样地，也可以将右眼用图像分割为多个分割区域，针对分割区域对具有规定大小的视差值的对应点的数量进行计数，使用在全部分割区域中存在具有大于或等于规定数量的规定大小的视差值的对应点的右眼用图像，生成立体图像文件。

如果右眼用图像中存在大量具有过大视差值的对应点，则存在在立体观看时产生不适感的情况。在上述第3实施例中，还可以在找到大量具有大于或等于不适合于立体观看的视差值（称为极限视差值）的视差值的对应点的情况下，进行再次的右眼用图像拍摄。例如，将与右眼用图像的横向像素数的10%的像素数相当的视差值作为极限视差值。在找到具有大于或等于极限视差值的视差值的对应点的数量大于或等于规定的阈值（由与右眼用图像的总像素数的规定比例确定的值。第3阈值。）的情况下，进行再次的右眼用图像拍摄。如果具有大于或等于极限视差值的视差值的对应点的数量低于规定的阈值，则进入立体图像文件的生成。

在上述第1至第3实施例中，对于使用通过静止图像拍摄得到的左眼用图像L1及右眼用图像R3生成的一个立体图像文件的例子进行了说明，但也可以通过连续地生成立体图像文件，得到可立体观看的动态图像。在这种情况下，连续拍摄被摄体像，连续地重复进行图3、图7、图9、图11所示的流程图的处理，生成多个立体图像文件。通过连续再生多个立体图像文件，人眼可看到立体动态图像。

（其他变形例等）

图13及图14是表示第3实施例的变形例的图。图13是表示数码相机1的处理的流程图。在图13的处理中，对于与图11所示的处理相同的处理标记相同的标号。图14是表示视差值的右眼用图像的一个例子。

在第3实施例中，考虑图像整体的对应点的视差，判断是否重新拍摄右眼用图像，但在图13及图14所示的变形例中，考虑主要被摄体内的对应点的视差，判断是否重新拍摄右眼用图像。

如上所述，得到右眼用图像R3（步骤42），搜索对应点（步骤43，44，参照图6）。

然后，从所得到的右眼用图像R3检测主要被摄体（步骤81）。如果右眼用图像R3的主要被摄体是熊的图像OB，则检测到该熊的图像OB。例如，使用位置、相对于图像的比例、合焦程度等，检测主要被摄体。

如果检测到主要被摄体，则计算该主要被摄体OB中存在的各个对应点的视差值（步骤82）。与上述同样地，视差值针对特征点而用像素数表示。

如上所述，图14在右眼用图像R3中示出视差值。为了突出视差值，被摄体像用虚线表示。对于主要被摄体OB中存在的对应点标示视差值，对于除了主要拍摄体OB之外的图像部分，不计算视差值。但是，也可以计算除了主要被摄体之外的图像部分的视差值，从后述的计数对象中排除除了主要被摄体OB以外的图像部分的视差值。

如果计算出主要被摄体OB中存在的各个对应点的视差值，则与上述同样地，计数这些视差值中、主要被摄体的视差作为立体图像视差而具有适当范围的规定大小（绝对值）的视差值的对应点的数量（步骤72）。在这种情况下，与上述同样地，例如，对具有与右眼用图像R3的横向的像素数的4%至6%的像素数相当的视差值的对应点的数量进行计数。如果右眼用图像R3的横向的像素数为1,024像素，则对具有其4%至6%即41至61像素的范围的视差值的对应点的数量进行计数。

下面，判断具有规定大小的视差值的对应点的数量是否大于或等于主要被摄体的像素数的0.3%（第2阈值）（步骤83）。例如，如果主要被摄体的像素数是50,000像素，则判断上述对应点的数量是否大于或等于150。

在具有规定视差值的对应点的数量低于主要被摄体OB的像素数的0.3%的情况下（在步骤83中为否），进行右眼用图像的再次拍摄（步骤42）。对于新得到的右眼用图像重复进行步骤43、44、81、82、72、83的处理。在具有规定视差值的对应点的数量大于或等于主要被摄体OB的像素数的0.3%的情况下（在步骤83中为是），由此时得到的右眼用图像和左眼用图像生成立体图像文件（步骤47）。所生成的立体图像文件保存在存储卡27中（步骤48）。特别对于主要被摄体得到可适当地立体观看的图像。

图15及图16示出上述第3实施例的其他变形例。图15是表示数码相机1的处理的流程图，对于与图11所示的处理相同的处理标记相同的标号。图16示出视差值的柱状图。横轴是视差值，纵轴是具有该视差值的对应点的数量。

在图15及图16所示的变形例中，按照上述方式计算各对应点的视差值，但对于较大视差值的对应点，从计数对象中去除。

按照上述方式得到左眼用图像及右眼用图像，对于右图像整体计算对应点（步骤41至44、71）（也可以按照上述方式检测主要被摄体，针对主要被摄体计算对应点的视差值）。如果计算出对应点，则如图16所示，生成视差值柱状图。

利用所生成的视差值柱状图，对除了具有大于或等于规定大小（绝对值）（第6阈值）的视差值的对应点之外的对应点的数量进行计数（步骤91）。例如，将具有与大于或等于右眼用图像R3的横向像素数的8%的像素数相当的视差值的对应点除外，对其余对应点的数量进行计数。如果将右眼用图像R3的横向的像素数设为1,024像素，则从计数中去除具有大于或等于其8%即81像素的视差值的对应点（对具有绝对值低于81像素的视差值的对应点进行计数）。

判断所计数的对应点的数量是否大于或等于右眼用图像R3的总像素数的0.3%（第1阈值）（步骤46）。在所计数的对应点的数量低于0.3%的情况下（在步骤46中为否），进行右眼用图像的再次拍摄（步骤42），使用新得到的右眼用图像，重复进行上述步骤42至44、71、91、46的处理。如果所计数的对应点的数量大于或等于右眼用图像R3的总像素数的0.3%（在步骤46中为是），则进行立体图像文件的生成及其保存（步骤47、48）。

图17及图18另外示出第1实施例的变形例。图17是表示数码相机1的处理的流程图，对于与图3所示的处理相同的处理标记相同的标号。图18是左眼用图像及右眼用图像的一个例子。

左眼用图像在左眼视点进行拍摄，右眼用图像在右眼视点进行拍摄，因此，产生左眼用图像或右眼用图像中的在一方的图像中显示而在另一方的图像中不显示的区域（死角区域、遮挡区域）。

参照图18，在左眼用图像L1中包含的主要被摄体OBL的左侧，由阴影图示在左眼用图像L1中显示而在右眼用图像R4中不显示的死角区域BL。另外，在右眼用图像R4中包含的主要被摄体OBR的右侧，由阴影图示在右眼用图像R4中显示而在左眼用图像L1中不显示的死角区域BR。在该变形例中，考虑这些死角区域BL及BR（也可以是至少一个区域）。

参照图17，对上述对应点进行计数（步骤45），判断对应点的数量是否大于或等于右眼用图像R4的总像素数的1%（步骤46）。

在对应点的数量大于或等于右眼用图像R4的总像素数的1%的情况下（在步骤46中为是），从右眼用图像L1检测死角区域BL，根据左眼用图像R4检测死角区域BR（步骤101）。这些死角区域BL及BR，可以通过在使左右眼用图像L1和右眼用图像R4相对应的各像素进行比较而容易地检测。

如果检测到左眼用图像L1的死角区域BL和右眼用图像R4的死角区域BR，则判断左眼用图像L1的死角区域BL是否大于或等于左眼用图像L1的5%（第5阈值），且右眼用图像R4的死角区域BR是否大于或等于右眼用图像R4的5%（步骤102）。如果死角区域BL及BR均低于各自对应的图像的5%（在步骤102中为否），则即使由左右眼用图像L1和右眼用图像R4生成立体图像，死角区域也很小，因此，可以得到不适感较小的立体图像。如上所述，由左眼用图像L1和右眼用图像R4生成立体图像文件，保存在存储卡27中（步骤47、48）。如果死角区域BL及BR中的至少一个大于或等于对应图像的5%（在步骤102中为是），则认为无法立体观看的部分较多，因此，重新拍摄右眼用图像。重复进行步骤42至46、101、102的处理。

死角区域的部分无法立体观看，但可以减少无法立体观看的部分。

在上述变形例中，在死角区域BL大于或等于左眼用图像L1的5%的情况下，或者，死角区域BR大于或等于右眼用图像R4的5%的情况下，重新拍摄右眼用图像R4，但也可以在死角区域BL大于或等于左眼用图像L1的5%且死角区域BR大于或等于右眼用图像R4的5%的情况下，重新拍摄右眼用图像R4。

此外，在判断对应点数量低于总像素数的1%的情况下，也可以使用从预先通过多次拍摄得到的多个右眼用图像中选择的一个右眼用图像，作为新的右眼用图像，进行上述步骤43等的处理。这一点不限定于第1实施例，对于上述其他实施例、变形例也相同。

标号的说明

1 数码相机

2 CPU

3 操作器

15 固体摄像元件

23 数字信号处理电路

27 存储卡

Claims (20)

1.一种立体观看用图像拍摄装置，其具有摄像单元，该摄像单元对被摄体进行摄像，并输出通过摄像得到的图像数据，该立体观看用图像拍摄装置由从上述摄像单元输出的表示来自左眼用视点及右眼用视点的被摄体像的图像数据而生成立体观看用图像文件，

该立体观看用拍摄装置具有：

对应点搜索单元，其使用第2图像数据搜索与使用第1图像数据检测到的多个特征点分别对应的对应点，所述第1图像数据从左眼用视点或右眼用视点的任一个基准视点得到，所述第2图像数据从左眼用视点或右眼用视点中另一个与上述基准视点不同的视点得到；

对应点数量判断单元，其判断通过上述对应点搜索单元搜索而找到的对应点的数量是否大于或等于第1阈值；

控制单元，其对上述对应点搜索单元及对应点数量判断单元进行控制，在通过上述对应点数量判断单元判断对应点数量低于第1阈值的情况下，使用通过从与上述基准视点不同的视点再次摄像而得到的新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断；以及

立体图像文件生成单元，其在通过上述对应点数量判断单元判断对应点数量大于或等于第1阈值的情况下，使用该判断时的第1图像数据及第2图像数据，生成立体图像文件。

2.根据权利要求1所述的立体观看用图像拍摄装置，其中，

重复进行从与上述基准视点不同的视点的摄像、上述对应点搜索及上述对应点数量判断，直至得到具有大于或等于第1阈值的数量的对应点的第2图像数据。

3.根据权利要求1或2所述的立体观看用图像拍摄装置，其中，

还具有阈值减小单元，其在上述对应点数量判断单元完成了规定次数的判断处理、或上述对应点数量判断单元在规定时间内完成了多次判断处理时，未得到具有大于或等于第1阈值的数量的对应点的第2图像数据的情况下，降低上述第1阈值。

4.根据权利要求1至3中任意一项所述的立体观看用图像拍摄装置，其中，

上述第1阈值根据相对于由上述第2图像数据表示的第2图像的像素数的规定比例而确定。

5.根据权利要求1所述的立体观看用图像拍摄装置，其中，

具有视差值计算单元，其针对通过上述对应点搜索单元的搜索找到的对应点，计算上述特征点与上述对应点之间的视差值，

上述对应点数量判断单元，判断通过上述对应点搜索单元的搜索找到的对应点中的具有规定视差值的对应点的数量是否大于或等于第2阈值，

在判断具有上述规定视差值的对应点的数量大于或等于第2阈值的情况下，生成上述立体图像文件，

在判断具有上述规定视差值的对应点的数量低于第2阈值的情况下，使用新的第2图像数据重新执行上述对应点搜索及上述对应点数量判断。

6.根据权利要求5所述的立体观看用图像拍摄装置，其中，

上述对应点数量判断单元，进一步判断通过上述对应点搜索单元搜索找到的对应点中、具有大于或等于极限视差值的视差值的对应点的数量是否低于第3阈值，

在判断具有上述规定视差值的对应点的数量大于或等于第2阈值、且具有大于或等于上述极限视差值的视差值的对应点的数量低于上述第3阈值的情况下，生成上述立体图像文件，

在判断具有上述规定视差值的对应点的数量低于第2阈值或具有大于或等于上述极限视差值的视差值的对应点的数量大于或等于上述第3阈值的情况下，使用新的第2图像数据重新执行上述对应点搜索及上述对应点数量判断。

7.根据权利要求5所述的立体观看用图像拍摄装置，其中，

上述第2阈值根据相对于由上述第2图像数据表示的第2图像的像素数的规定比例而确定。

8.根据权利要求6所述的立体观看用图像拍摄装置，其中，

上述第2及第3阈值根据相对于由上述第2图像数据表示的第2图像的像素数的规定比例而确定。

9.根据权利要求5所述的立体观看用图像拍摄装置，其中，

上述视差值计算单元通过从上述特征点的坐标值中减去与上述特征点相对应的对应点的坐标值，从而计算各特征点的上述视差值，

上述对应点数量判断单元优先使用计算出正的视差值的对应点或计算出负的视差值的对应点中的任一种。

10.根据权利要求1至6中任一项所述的立体观看用图像拍摄装置，其中，

具有区域分割单元，其将由上述对应点搜索单元进行对应点搜索所使用的第2图像数据表示的第2图像分割为多个区域，

上述对应点数量判断单元，对于通过上述区域分割单元分割的多个分割区域，判断各个分割区域中包含的上述对应点的数量是否大于或等于第4阈值。

11.根据权利要求10所述的立体观看用图像拍摄装置，其中，

上述第4阈值根据相对于构成上述分割区域的像素数的规定比例确定。

12.根据权利要求1所述的立体观看用图像拍摄装置，其中，

在通过上述对应点数量判断单元判断对应点数量低于上述第1阈值的情况下，使用之后通过从与上述基准视点不同的视点对上述被摄体进行拍摄而得到的图像数据，作为上述新的第2图像数据。

13.根据权利要求1所述的立体观看用图像拍摄装置，其中，

在通过上述对应点数量判断单元判断对应点数量低于上述第1阈值的情况下，使用从通过预先进行的多次摄像得到的、来自于与上述基准视点不同的视点的多个第2图像数据中选择的一个第2图像数据，作为上述新的第2图像数据。

14.根据权利要求1至13中任一项所述的立体观看用图像拍摄装置，其中，

具有图像平坦区域检测单元，其检测亮度或颜色变化较小的图像平坦区域，

上述对应点搜索单元将除了通过上述图像平坦区域检测单元检测到的图像平坦区域之外的其余图像区域设为上述对应点搜索的范围。

15.根据权利要求1至13中任一项所述的立体观看用图像拍摄装置，其中，

上述对应点搜索单元将除了上述第2图像的左右端部的规定区域之外的其余图像区域设为上述对应点搜索的范围。

16.根据权利要求1至15中任一项所述的立体观看用图像拍摄装置，其中，

使用通过动画拍摄得到的图像数据，作为上述第1图像数据及第2图像数据。

17.根据权利要求1所述的立体观看用图像拍摄装置，其中，

还具有死角区域判断单元，其判断第1死角区域或第2死角区域中的至少一个死角区域的大小是否大于或等于第5阈值，所述第1死角区域包含在由上述第2图像数据表示的第2被摄体像中而未包含在由上述第1图像数据表示的第1被摄体像中，所述第2死角区域包含在上述第1被摄体像中而未包含在上述第2被摄体像中，

上述控制单元对上述对应点搜索单元及对应点数量判断单元进行控制，在通过上述死角区域判断单元判断上述第1死角区域或上述第2死角区域中的至少一个死角区域的大小大于或等于第5阈值的情况下，使用通过从与上述基准视点不同的视点再次摄像得到的新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断，

上述立体图像文件生成单元在通过上述死角区域判断单元判断上述第1死角区域或上述第2死角区域中的至少一个死角区域的大小低于第5阈值的情况下，使用该判断时的第1图像数据及第2图像数据，生成立体图像文件。

18.根据权利要求1所述的立体观看用图像拍摄装置，其中，

上述对应点数量判断单元判断通过上述对应点搜索单元找到的对应点中，具有视差值的绝对值低于第6阈值的规定视差值的对应点的数量是否大于或等于第1阈值。

19.根据权利要求5所述的立体观看用图像拍摄装置，其中，

还具有主要被摄体像检测单元，其从由上述第2图像数据表示的第2被摄体像中检测主要被摄体像，

上述对应点搜索单元从通过上述主要被摄体像检测单元检测到主要被摄体像中，搜索与使用上述第1图像数据检测到的多个特征点分别对应的对应点。

20.一种立体观看用图像拍摄装置的控制方法，该立体观看用图像拍摄装置具有摄像单元，该摄像单元对被摄体进行摄像，并输出通过摄像得到的图像数据，该控制方法为，由从上述摄像单元输出的表示来自左眼用视点及右眼用视点的被摄体像的图像数据而生成立体观看用图像数据，

在该立体观看用拍摄装置的控制方法中，

对应点搜索单元使用第2图像数据搜索与使用第1图像数据检测到的多个特征点分别对应的对应点，所述第1图像数据从左眼用视点或右眼用视点的任一个基准视点得到，所述第2图像数据从左眼用视点或右眼用视点中另一个与上述基准视点不同的视点得到，

对应点数量判断单元判断通过上述对应点搜索单元搜索而找到的对应点的数量是否大于或等于第1阈值，

控制单元对上述对应点搜索单元及对应点数量判断单元进行控制，在通过上述对应点数量判断单元判断对应点数量低于第1阈值的情况下，使用通过从与上述基准视点不同的视点再次摄像而得到的新的第2图像数据，重新执行上述对应点搜索及上述对应点数量判断，

立体图像文件生成单元在通过上述对应点数量判断单元判断对应点数量大于或等于第1阈值的情况下，使用该判断时的第1图像数据及第2图像数据，生成立体图像文件。

Images