CN1701213A - 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统 - Google Patents

Abstract

本发明的立体摄像机支持装置包括：结合部件，将立体摄像机支持在上述车辆上；和控制装置，控制由结合部件支持在车辆上的立体摄像机的姿态以及位置。上述控制装置控制立体摄像机的姿态以及位置，使得立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分，不依赖于车辆的姿态以及位置的变化，而位于影像的帧上端以及其邻近。

Description

立体摄像机支持装置、立体摄像机支持方法、校准检测装置、 校准校正装置以及立体摄像机系统

技术领域

本发明涉及用于支持立体摄像机的立体摄像机支持装置及这种立体摄像机的支持方法以及应用它们的立体摄像机系统，该立体摄像机用于得到具有由相互隔离的多个视点造成的视差的多个影像，特别涉及用于使得通过它们而映入立体摄像机的摄像视野中的特定的被摄体在影像帧内所占的位置呈特定的倾向的技术。

此外，本发明涉及检测规定位置基准的外部装置和拍摄立体图像的摄影装置之间的校准偏差的校准偏差检测装置及该摄影装置的校准校正装置以及包括该装置的立体摄像机及立体摄像机系统。

背景技术

近年来，例如将立体摄像机搭载在车辆上、根据该摄像机得到的影像信号输出向驾驶员提供用于安全的各种信息、或者进行车辆行驶的自动控制来辅助驾驶的系统也正在实用化。用于在将车载型的立体摄像机安装在车辆上的情况下对付太阳光、热、温度、振动等环境压力的机构的具体技术也例如公开于(日本)特许第3148749号公报中。

此外，下述障碍物检测装置也例如公开于(日本)特开2001-76128号公报中：即使在使用车载的立体摄像机、立体摄像机未校正、行驶中的振动或公路面的倾斜有变化的状况下，为了高速而且高精度地检测公路面上存在的障碍物，通过减少应用的摄像机的校准时间，并只根据公路两端的2根白线在行驶中的图像上的运动，来求公路平面和各摄像机的几何关系，从而即使行驶中有振动或公路自身有倾斜，也能高速地检测公路平面上存在的障碍物。

再者，例如在(日本)特许第3354450号公报中，公开了下述技术：在使用车载立体摄像机的车用测距装置中，立体摄像机的两个光学系统的安装位置及上下视角确定了视野最下端部，将基准距离设定得短于到该视野最下端部与路面所交的点的距离，使得距离评价部件用该基准距离在距离运算部件的运算开始之后评价运算距离有效还是无效，在变为可靠地运算出到对象物的距离的状态后使得距离运算部件的运算距离有效，来简单地判定距离测定开始之后的距离测定值是否有效，以提高距离测定精度。

然而，在这些现有的提案中，未公开下述技术课题的认识、以及该技术课题的解决手段：为了使得映入立体摄像机的摄像视野中的特定的被摄体在影像帧内所占的位置呈特定的倾向，不依赖于背景或周围的其他部分来高效地取得该被摄体自身的距离等着眼于该被摄体的信息，通过调节所应用的立体摄像机的姿态来应对这种情况。

另一方面，以往使用的图像摄影装置的校准，大体来分，相当于

①拍摄立体图像的装置自身的校准

②摄影装置和外部装置间的位置姿态的校准。

上述①的校准是公知的所谓的立体摄像机的校准。它是与立体摄像机的摄影特性有关的参数——即以焦距、放大倍数、图像中心、透镜失真等为代表的参数、和规定构成立体摄像机的至少2台摄像机间的位置姿态关系的位置姿态参数的校准。这种参数被称为立体摄影装置的内部校准参数。

此外，上述②的校准相当于与立体摄影装置和外部装置间的位置姿态有关的参数的校准。更具体地说，例如在立体摄影装置被配置在某个环境中的情况下，在设置了立体摄像机的环境内的位置姿态参数为应由该校准来规定的参数。此外，在立体摄影装置被安装在车辆上、用该立体摄像机来计测车辆前方的障碍物的位置关系的情况下，规定立体摄影装置相对于作为车辆基准的原点安装在何处的位置姿态参数为应由校准来规定的参数。这种参数被称为摄影装置和外部装置间的外部校准参数。

接着，说明这种校准偏差。

考虑上述①的立体摄影装置的内部校准参数引起的校准偏差。例如，在用2台摄像机拍摄立体图像的装置的情况下，可以分为以下2种。即，(①-1)基于与各摄像机的摄影有关的参数的偏差的校准偏差，(①-2)基于规定2台摄像机间的位置姿态的参数的偏差的校准偏差。

例如，上述(①-1)的校准偏差发生的原因有，构成摄像机的光学透镜系统的变形、光学透镜系统和摄像器件(CCD或CMOS等)之间的位置偏差、光学透镜的焦点位置的偏差、光学透镜的变焦距透镜的控制系统的偏差等。

此外，上述(①-2)的校准偏差发生的原因是固定2台摄像机间的机构的位置偏差引起的。例如，在用机械轴来固定2台摄像机的情况下，该轴随时间的变形等，对应于本例。此外，在将2台摄像机通过螺丝固定而安装在某个轴上的情况下，也起因于该螺丝的松弛等造成的位置偏差等。

另一方面，上述②的校准偏差发生的原因有，固定立体摄影装置和外部装置的机械构件的变形、安装夹具的变形等。例如，考虑将立体摄影装置用作车载摄像机、将该摄影装置用挡风玻璃和后视镜之间的安装夹具安装在外部装置即车辆上的情况。在此情况下，如果将车辆的基准位置规定为车辆前端，则有立体摄影装置的安装夹具自身的变形、安装部件即“螺丝”的松弛等造成的变形、车辆自身随时间的变形、在寒冷地带等使用时的季节性变动带来的车辆或安装夹具的机械变形等各种机械变形带来的校准偏差。

作为检测或校正这种校准偏差的现有例，提出了以下技术。

例如，(日本)特开平11-325890号公报中记载的方式提供了校正立体摄像机的摄影图像的光学位置偏差、校正上述②的与摄影装置和外部装置间的位置姿态的校准有关的校准偏差的方法。更具体地说，该方法存储着2台摄像机的视野中分别设定的基准标记在各摄影图像内的初始位置，根据在实际拍摄到的图像内的位置偏差，来校正位置偏差。

此外，例如在徐刚的题为“写真から作る3次元CG(利用照片制作的三维CG)”((日本)近代科学社，2001)的文献中，公开了利用2台摄像机拍摄到的自然特征点(从拍摄到的图像中任意选择出的特征点)来计算2台摄像机的相对位置关系的方法。在该计算时，数学地计算基本矩阵。基本上是通过相对估计来计算摄像机间的距离的估计值。此外，假定了可以忽略摄像机的透镜失真。

再者，在J.Weng，et al.，“Camera calibration with distortion modelsand accuracy evaluation，”IEEE Transactions on Pattern Analysis andMachine Intelligence，Vol.14，No.10，October 1992，pp.965-980中，说明了一般性的摄像机校准方法和在立体摄像机中的应用。具体地说，它是通过在基准坐标系中配置许多已知特征点(已知标记)并计算该特征点在图像内的位置来计算与摄像机(立体摄像机)有关的各种参数的方法。因此，通过该方式，能够重新计算所有校准参数。

然而，上述特开平11-325890号公报的现有例只提供检测并校正摄影装置和外部装置间的位置偏差的方法。即，该方法有不能检测或校正与摄影装置内部校准参数有关的校准偏差的这一问题。

此外，用徐刚的“写真から作る3次元CG(利用照片制作的三维CG)”中记载的方法计算基本矩阵来进行摄像机校准的方法，不能计算作为摄像机间绝对距离的位置姿态关系。因此，在将立体摄影装置用作三维计测装置时有问题。

再者，J.Weng，et al.，“Camera calibration with distortion models andaccuracy evaluation”中记载的现有例用于提供摄像机校准的一般性方法，本来并不以校准偏差为目的。此外，有下述问题：为了执行校准，必须配置多个已知标记来进行处理。

发明内容

因此，本发明的目的在于提供一种调节立体摄像机的立体摄像机支持装置及立体摄像机的支持方法以及应用它们的立体摄像机系统，使得在用将车载用作为其一例的立体摄像机、将与该立体摄像机之间的相对关系发生变化的被摄体包含在其摄像视野中进行摄影的情况下，能够不依赖于背景等周围的其他部分来高效地取得该被摄体自身的距离等着眼于该被摄体的信息。

此外，本发明的目的在于提供一种校准偏差检测装置及包括该装置的立体摄像机、以及立体摄像机系统，即使进行三维计测等的拍摄立体图像的摄影装置的校准是由于随时间的变化或冲击振动等机械偏差，也能够通过分析立体图像来简单地定量检测校准偏差。

再者，本发明的目的在于提供一种校准偏差校正装置及包括该装置的立体摄像机、以及立体摄像机系统，即使进行三维计测等的拍摄立体图像的摄影装置的校准是由于随时间的变化或冲击振动等机械偏差，也能够通过分析立体图像来简单地定量地并以绝对值来校正校准偏差。

本发明的第1种立体摄像机支持装置，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其包括：结合部件，通过将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变，从而将该立体摄像机支持在上述车辆上；和控制部，控制由上述结合部件支持在上述车辆上的立体摄像机的姿态以及位置；

上述控制部控制该立体摄像机的姿态以及位置，使得上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述车辆的姿态以及位置的变化，位于影像的帧上端以及其附近。

本发明的第2种立体摄像机支持装置，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

再者，本发明的第3种立体摄像机支持装置，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

附图说明

图1是应用立体摄像机支持装置的立体摄像机系统的结构图。

图2是立体适配器的结构图。

图3A至图3D是将立体摄像机安装在车辆上的图。

图4A及图4B是处理装置求出的三维距离图像的图。

图5是进行三维重构等处理而提取出的图像的显示图。

图6是立体摄像机支持装置的立体摄像机结合装置的结构图。

图7A及图7B是车辆上搭载的立体摄像机的摄像方向的图。

图8是立体摄像机支持装置中的控制工作的概略过程的流程图。

图9A及图9B是车辆的前后方向的倾斜造成的立体摄像机的摄像方向的图。

图10是立体摄像机支持装置中的控制工作的概略过程的流程图。

图11A及图11B是车辆的左右方向的倾斜造成的立体摄像机的姿态的图。

图12是立体摄像机支持装置中的控制工作的概略过程的流程图。

图13A及图13B是公路面的倾斜和立体摄像机的摄像方向的图。

图14是立体摄像机支持装置中的控制工作的概略过程的流程图。

图15是立体摄像机支持装置中的控制工作的概略过程的流程图。

图16A至图16C是说明向驾驶员显示影像的方法的图。

图17是本发明第6实施方式的校准偏差检测装置的基本结构例的方框图。

图18是说明拍摄立体图像的摄影装置的摄像机坐标的图。

图19A是立体适配器的视野的图，图19B是图19A的立体适配器的展开图。

图20是说明立体图像中的核线约束的图。

图21A及图21B是用于说明调整处理的图，其中，图21A是调整前的图像的图，图21B是调整后的图像的图。

图22是用于说明调整处理的图。

图23是说明本发明第6实施方式的校准偏差检测装置的详细工作的流程图。

图24A及图24B是左右原图像的图，其中，图24A是左摄像机拍摄到的左原图像的图，图24B是右摄像机拍摄到的右原图像的图。

图25A及图25B是调整过的左右图像的图，其中，图25A是左图像的图，图25B是右图像的图。

图26是图17的特征提取装置118的结构例的方框图。

图27是用分割出的小块来示出调整过的左图像的图。

图28是左图像上注册的特征点的示例图。

图29A及图29B是用于说明搜索范围的设定的图。

图30是右图像上提取出的对应的特征点的示例图。

图31A及图31B是用于说明校准偏差判定方法的图。

图32是图17的偏差结果呈现装置122的示例图。

图33是本发明第7实施方式的校准偏差检测装置的基本结构例的方框图。

图34是说明本发明第7实施方式的校准偏差检测装置的工作的流程图。

图35A及图35B是用于说明搜索范围的设定的图。

图36是本发明第8实施方式的校准偏差检测装置的基本结构例的方框图。

图37A至图37E是将与拍摄的车辆的一部分形状有关的特征作为已知特征的配置的示例图，其中，图37A是拍摄的左图像的示例图，图37B是用黑点184来表示选择为已知特征的特征的图，图37C是在挡风玻璃的一部分上配置了已知特征——黑点已知标记的状况的示例图，图37D是示出了标记组的左图像的示例图，图37E是示出了标记组的右图像的示例图。

图38是说明本发明第8实施方式的校准偏差检测装置的工作的流程图。

图39A及图39B是提取出的特征的集合A及B的示例图。

图40是本发明第10实施方式的校准偏差检测装置的基本结构例的方框图。

图41是本发明第12实施方式的应用校准偏差检测装置的立体摄像机的结构的方框图。

图42是本发明的校准偏差校正装置的第1基本结构例的方框图。

图43是本发明的校准偏差校正装置的第2基本结构例的方框图。

图44是说明拍摄立体图像的摄影装置的摄像机坐标的图。

图45A是立体适配器的视野的图，图45B是图45A的立体适配器的展开图。

图46是说明立体图像中的核线约束的图。

图47A及图47B是用于说明调整处理的图，其中，图47A是调整前的图像的图，图47B是调整后的图像的图。

图48是用于说明调整处理的图。

图49是说明本发明第13实施方式的校准偏差校正装置的详细工作的流程图。

图50A至图50E是车辆的情况下的已知特征的示例图。

图51A及图51B是左右原图像的图，其中，图51A是左摄像机拍摄到的左原图像的图，图51B是右摄像机拍摄到的右原图像的图。

图52A及图52B是调整过的左右图像的图，其中，图52A是左图像的图，图52B是右图像的图。

图53是特征提取装置266的结构例的方框图。

图54是提取结果的示例图。

图55是用分割出的小块来示出调整过的左图像的图。

图56是左图像上注册的特征点的示例图。

图57A及图57B是用于说明搜索范围的设定的图。

图58也是右图像上提取出的对应的特征点的示例图。

图59是偏差结果呈现装置270的示例图。

图60是说明本发明第13实施方式的另一工作例的流程图。

图61是说明本发明第13实施方式的又一工作例的流程图。

图62是本发明第14实施方式的校准偏差校正装置的基本结构的方框图。

图63是说明本发明第14实施方式的校准偏差校正装置的详细工作的流程图。

图64是本发明第15实施方式的校准偏差校正装置的基本结构例的方框图。

图65是说明本发明第15实施方式的校准偏差校正装置的工作的流程图。

图66是本发明第16实施方式的校准偏差校正装置的基本结构例的方框图。

图67是说明本发明第16实施方式的校准偏差校正装置的工作的流程图。

图68A及图68B是用于说明与核线的偏差d_i的图。

图69是本发明第17实施方式的校准偏差校正装置的基本结构例的方框图。

图70是立体摄影装置拍摄的校准图案的示例图。

图71是立体摄影装置拍摄的校准图案的另一示例图。

图72A及图72B是本发明第18实施方式的校准偏差校正装置拍摄的立体图像的状况的图，其中，图72A是时刻1上的左图像的示例图，图72B是与时刻1不同的时刻2上的左图像的示例图。

图73是说明本发明第17实施方式的校准偏差校正装置的处理工作的流程图。

图74是说明本发明第17实施方式的校准偏差校正装置的另一处理工作的流程图。

具体实施方式

以下，参照附图来说明本发明的实施方式。

图1是本发明的立体摄像机支持装置及应用该装置的立体摄像机系统的结构图。

本立体摄像机系统10包括：立体摄像机16，具有后述立体适配器12及摄像装置14；处理装置18；控制装置20；驾驶装置22；警告装置28，具有声音装置24及振动装置26等；输入装置30；显示装置32；车速传感器34；测距雷达36；照度传感器38；外部摄像机40；GPS(全球定位系统)42；VICS(堵塞信息取得装置)44；外部通信装置46；立体摄像机支持装置50；摄像机姿态传感器52及车辆姿态传感器54。

在立体摄像机支持装置50中，设有立体摄像机结合装置56及支持控制装置58。

这里，如图2所示，立体适配器12被安装在摄像机等摄像装置14内部的摄像光学系统62的前方，由2个受光部位(反射镜70a、70b)和光学系统(反射镜72a、72b)构成。上述立体适配器12用于在摄像器件64上形成视差图像66。在图2中，来自同一被摄体74的光由间隔规定距离的上述2个受光部位(反射镜70a、70b)接收。然后，该接收到的各个光由光学系统(反射镜72a、72b)反射后，引导到摄像装置14的摄像光学系统62。

立体摄像机支持装置50使得包含立体适配器12和摄像装置14(或者再加上处理装置18)的立体摄像机16能够拍摄各种方向。

如图3A、图3B、图3C、图3D所示，该立体摄像机16能够安装在车辆80的车内及车外的任意位置(阴影所示的位置)上。在安装在车辆80的车外时，可以安装在车辆的发动机罩、支柱、前灯等上，可以从各种方向拍摄车外的风景。此外，在安装在车辆80的车内时，可以安装在仪表板上、车内后视镜等上。

处理装置18根据摄像装置14通过上述立体适配器12拍摄到的图像来进行三维重构等处理，创建三维距离图像等。控制装置204具有汇总图像信息和车辆信息的作用。例如，能够将处理装置18处理的结果显示在显示装置32上，或者分析处理装置18得到的距离信息和车速传感器34等的信息，并使警告装置28产生警告，或者控制驾驶装置22并提醒驾驶员安全驾驶。此外，输入装置30例如用于用遥控器等输入设备向控制装置20发出指示，能够切换模式等。

从前述可以理解，处理装置18和控制装置20构成本系统中的信息处理部件，可由在具有该系统的车辆上搭载的计算机来实现两个装置的功能。

再者，如前所述，警告装置28由声音装置24、振动装置26等构成。例如，声音装置24通过来自扬声器等的声音，振动装置26通过驾驶席的振动，向驾驶员发出警告。

这里，立体摄像机支持装置50的构件即立体摄像机结合装置56将立体摄像机16结合、支持在车辆80上。此外，立体摄像机支持装置50的构件即支持控制装置58向立体摄像机结合装置56输出信号，控制立体摄像机16的摄像方向。

此外，车辆姿态传感器54是检测车辆的姿态或位置的检测部件，检测车辆相对于公路的倾斜。支持控制装置58根据该车辆姿态传感器54的检测值、处理装置18处理过的图像信息、GPS 42的信息等，来控制立体摄像机16的摄像范围，即，将摄像视野定在何处。

即，在由于车辆倾斜而使摄像视野偏离最佳状态的情况下，向立体摄像机结合装置56输出控制信号，以便成为原来的摄像视野。此时，支持控制装置58根据检测摄像机姿态或位置的传感器即摄像机姿态传感器52的检测输出值来把握当前的摄像机的状态，生成控制信号。然后，立体摄像机结合装置56根据该控制信号来驱动内部所设的调整机构，将立体摄像机16设定到期望的方向。

其中，前述车辆姿态传感器54可作为检测相对于铅直方向或水平方向的相对角度的倾斜检测部件来工作，还可作为检测该车辆相对于接地面的相对位置的高度检测部件来工作。

其中，该控制所需的各种信息及检测信号经控制装置20输入到支持控制装置58中。但是，不限于该形态，也可以使支持控制装置58直接接收控制所需的各种信息及检测信号。此外，也可以使控制装置20和支持控制装置58适当分担功能，来接收控制所需的各种信息及检测信号。

接着，概述处理装置18具备的创建三维距离图像等的功能。其中，本案申请人在(日本)特愿2003-048323号公报中已经提出了处理装置18的结构例和可应用的图像处理理论。

图4A及图4B示出了处理装置18求出的三维距离图像。

图4A是拍摄到的图像，图4B是根据该图像来计算距离的结果的图。这样，能够计算从摄像机到被摄体的距离作为三维信息。其中，在图4B中，亮度越高，则表示距离越近。

此外，处理装置18能够根据三维距离图像来辨别公路区域和非公路区域，进而也能够识别、提取公路面内的物体、非公路区域上的障碍物。

因此，如图5所示，也能够将进行三维重构等处理而提取出的公路的平面或曲面形状显示在显示装置32的显示部32a上。再者，此时，用直线或曲线SL1、SL2、SL3来重叠显示离车辆80等间隔的公路面上的点组。再者，也可以用处理装置18来识别该公路上的前方行驶的车辆T1、T2，该显示装置32用外包的椭圆或矩形等来显示该前方车辆，并且显示到前方车辆T1、T2等的距离。

这样，使用本立体摄像机系统，能够得到与公路及被摄体有关的各种信息。

[第1实施方式]

图6是本发明第1实施方式的立体摄像机支持装置50的立体摄像机结合装置56的结构例的图。

立体摄像机结合装置56是用于将立体摄像机16安装在车辆80上的结合部件，并且能够控制立体摄像机16自如地变更到期望的位置、姿态。在立体摄像机结合装置56的两端，设有为了与车体结合而固定在车体的适当部位的支持部件84、及用于与立体摄像机16结合的被支持部件86。

此外，设有用于使这样结合在车体上的立体摄像机16在规定范围内方向自如的机构。即，该机构是姿态控制机构，包括能够绕摇摆转动轴86a、俯仰转动轴86b、滚动转动轴86c这3个轴来转动的摇摆转动电机88a、俯仰转动电机88b、滚动转动电机88c。

此外，在图6中，90a及90b是立体适配器16上所设的视野罩开口(L)及视野罩开口(R)。

支持控制装置58通过向本结构的立体摄像机结合装置56输出对各个电机的控制信号，能够将立体适配器12控制到期望的方向。其中，在图6中虽然未示出，但是在立体摄像机结合装置56上设有检测摄像机的姿态或位置的摄像机姿态传感器52(图1)。该摄像机姿态传感器52例如也可以检测各个电机的转动角度。

其中，立体摄像机结合装置56不限于图6所示的包括3轴控制机构的方式，例如可以应用电动式的公知的万向架机构。此外，也可以应用类似本案申请人提出的(日本)特许第3306128号的镜框支持机构的机理。

其中，立体摄像机结合装置56也可以不是自动控制图6所示的3轴的方式，而是例如手动调整摇摆角。用于此的手动调整机构例如可以采用像能够转动及锁定的万向联轴节、或摄像机自由云台那样通过松开锁定螺丝而将悬架的被支持体指向期望的安装角度后固定锁定螺丝的紧固角度来调整方向的结构。

接着，说明本发明第1实施方式的立体摄像机支持装置50的工作。

图7A及图7B是车辆80上搭载的立体摄像机的摄像方向的图，图8是立体摄像机支持装置50中的控制的概略过程的流程图。

在图7A中，立体摄像机16经立体摄像机结合装置56悬架在车辆80的车内的适当部位(仪表板上或挡风玻璃上方的中央位置邻近等)上。该立体摄像机16的视野94的中心线96被设定得与公路面平行。然而，在该状态下，在拍摄到的帧的上部区域，拍摄了在处理与目的被摄体有关的图像时不需要的背景区域——天空。因此，成为本来需要的前方车辆等被摄体100或公路面98等摄像的区域所占的比例不充分的图像。

因此，如图7B所示，通过立体摄像机结合装置56的控制来调节立体摄像机16的摄像姿态。在此情况下，将前方的被摄体100的上端部(该被摄体的轮廓中的位于最高水准位置上的轮廓部分)调节得位于视野94的上端部(从而位于拍摄到的影像的帧上端)。由此，公路面98的摄影区域扩大，并且天空等不需要的背景区域减少，能够有效利用视野。

这里，参照图8的流程图来说明前述立体摄像机支持装置50的控制工作。

首先，在步骤S1中，支持控制装置58接收处理装置18执行的物体识别处理结果。即，处理装置18根据三维距离图像(包含表示相应的像素的信息和表示距离的信息)来辨别公路区域和非公路区域，识别、提取出该公路区域内存在的被摄体100。此时，处理装置18也可以根据其特征从识别出的被摄体100内只提取行驶着的车辆。

接着，在步骤S2中，支持控制装置58求出摄像视野中存在的被摄体100的轮廓部分的最高水准位置。然后，在步骤S3中，检查该最高水准位置是否存在于视野94的上端部(从而存在于影像的帧上端。以下同样)之上。

这里，在摄像视野中存在多个被摄体100的情况下，求出它们中的轮廓部分的水准位置最高的位置。在该最高水准位置存在于视野94的上端部以下的情况下(步骤S3“否”)，立体摄像机16相对于期望的姿态位置后倾。因此，转移到步骤S4，用支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜。然后，向支持控制装置58输出调节立体适配器12的姿态的控制信号，使得被摄体100的最高水准位置位于视野94的上端部。

另一方面，在该最高水准位置存在于视野94的上端部以上的情况下(步骤S3“是”)，立体摄像机16相对于期望的姿态位置前倾。因此，转移到步骤S5，用支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜。然后，从支持控制装置58向立体摄像机结合装置56输出调节摄像机姿态的控制信号，使得被摄体100的最高水准位置位于视野94的上端部。

在步骤S6中，接收到控制信号的立体摄像机结合装置56驱动设在内部、用于调节摄像机的姿态的机构，将立体摄像机16的视野94调节到期望位置。

在前述中，对于在接通车辆的电源键等而起动了立体摄像机支持装置50的最初时刻将立体摄像机16设为何种姿态，可采用几种方式。

即，在1种方式中，在起动时(即，本系统的初动时)，一律设为水平的姿态(从立体摄像机的摄像光学系统以及其邻近设定的视点注视立体摄像机16的摄像视野来摄影时的视野的中心线、即图7A、图7B中已经描述了的中心线96成为水平方向的姿态)，其后，随着车辆的行驶，根据前述三维距离图像的信息来进行控制，以便如上所述地逐渐调节立体摄像机的姿态。

在采用这种方式的情况下，在初动状态下，例如即使在拍摄了车库的墙面的状况下，立体摄像机也能按照视野随其后的行驶的展开、从中立于任何姿态的位置被适当控制到最佳的姿态。因此，避免了在处于不熟悉该系统中的控制的初动阶段时进行无用的信息处理或控制，并因此阻碍优先级相对高的处理的高速化的可能性。

此外，作为另一方式，初动时也可以维持上次控制中设定的最后的状态。在此情况下，车辆再次开始行驶时，从上次控制中设定的最后的状态开始的概率很高，所以开始行驶后在比较早的时刻使立体摄像机的姿态与目标吻合的可能性很高。

作为又一种方式，也可以取下述方式，初动时进行控制，以便将立体摄像机的姿态设定得相对向下(即，前述中心线96比水平方向向下、以及比在初动以外时刻被控制的方向向下的姿态)。在此情况下，能够减小在初动时忽视必须特别注意的周围的障碍物或幼儿、宠物等的存在的可能性。

也可以构成如下的系统，即，使得前述初动时的立体摄像机的姿态控制的各种方式，例如可被设定得能够预先作为多种控制模式由操作者任意选择。

以上是与初动时的立体摄像机的姿态有关的各种控制方式，但是也可采用按照具有本发明的系统的车辆的行驶状态来选择立体摄像机的姿态控制的倾向的方式。即，高速行驶时将立体摄像机的姿态控制得相对向下(与前述大致同义)，低速行驶时控制得相对向上。

根据该方式，能实现在下述方面性能高的系统：在高速行驶时，能够根据拍摄所得的影像来稳定地提取、辨别公路的部分，正确地识别远方的车辆；而在低速行驶时，能够可靠地识别驾驶员容易疏忽的比较高的物体。

其中，也可以在该传感器等检测出接近、以及遭遇到应注目的被摄体轮廓的最高水平部分逃脱到影像帧的上端的更上方的高被摄体时，自动地将立体摄像机的姿态控制得向上。此外，也可以同时设有用于根据操作者的识别通过人为的操作将立体摄像机的姿态操作得向上的辅助部件。

其中，将立体摄像机的姿态在具有该立体摄像机的车辆的组装工序中、以及出厂前设定为规定的姿态，这也可以认为是一种技术手法。

其中，用于移动摄像机的控制工作不管是基于所谓的现代控制理论还是基于古典控制理论，都可以是反馈控制或前馈控制以及折衷它们的方式，可以应用PID控制、H无穷控制、自适应模型控制、模糊控制、神经网络等公知的各种控制方法。

例如，在采用一般性的PID等反馈控制的情况下，支持控制装置58通过在其控制环内生成与最高水准位置和视野94的上端之间的偏差量对应的控制信号并输出到立体摄像机结合装置56，重复该工作直至该偏差值为“0”，能够将摄像机控制到期望的姿态。

从前述可以理解，在本实施方式中，结合部件通过结合设置立体摄像机16的车辆侧所设的支持部件84、和该立体摄像机16的规定部位所设的被支持部件86，而将该立体摄像机支持在上述车辆上，使得上述两个部件间的相对位置在规定范围内可变，这样构成的结合部件、和控制通过这种结合部件而支持在车辆上的立体摄像机16的姿态以及位置的控制手段由立体摄像机结合装置56和支持控制装置58的各相应功能部来实现。

此外，包含这种支持控制装置58的系统可是下述方式：控制机构是用检测该车辆的姿态以及位置的检测部件的检测输出来进行立体摄像机的姿态控制，在该控制中，将这些检测输出作为控制系统的一个状态变量来进行控制工作。

此外，支持控制装置58的控制运算功能部可不由另外的电路构成，而由与控制装置200的相应功能部一体地搭载该车辆上的共同的计算机也具备该功能。

[第2实施方式]

接着，说明本发明第2实施方式的立体摄像机支持装置50。

第2实施方式的立体摄像机支持装置50与前述第1实施方式的立体摄像机支持装置50同样，被包含在图1所示的立体摄像机系统中来应用。此外，第2实施方式的立体摄像机结合装置56的结构与图6所示的第1实施方式的立体摄像机结合装置56的结构相同。因此，对与第1实施方式相同的部位附以相同的标号，并省略其详细说明。

接着，说明本发明第2实施方式的立体摄像机支持装置50的工作。在本实施方式中，立体摄像机支持装置50校正车辆80的前后方向的倾斜造成的视野变化。

图9A及图9B是表示车辆的前后方向的倾斜造成的立体摄像机的摄像方向的图，图10是表示立体摄像机支持装置50中的控制工作的概略过程的流程图。

如图9A所示，立体摄像机16经立体摄像机结合装置56悬架在车辆80上，以便观测与水平面成规定倾角θ的下方。此外，在该车辆80上，设有检测车辆前后的倾斜的倾斜传感器54a、或测定前轮部、后轮部的悬挂系统之间距离的悬挂系统冲程传感器54b、54c。

但是，在乘坐车辆80的人数、乘车位置变化了的情况下，或者在车的货厢中装载的货物的重量变化了的情况下，车辆80的前后的倾斜角度也因此而变化。再者，在减速、加速时车辆80前后的倾角也变化。其结果是，立体摄像机的视野也偏离最佳的状态。

因此，如图9B所示，根据由倾斜传感器54a检测出的车体的倾角、或者由悬挂系统冲程传感器54b、54c检测出的冲程算出的车体的倾角，来控制立体摄像机16的摄像方向，使得摄像机的视野成为期望的状态。

其中，可采用包含倾斜传感器54a、悬挂系统冲程传感器54b、54c等作为多个检测端的各变换器来构成上述车辆姿态传感器54的形态。

接着，参照图10的流程图来说明前述立体摄像机支持装置50的控制工作。

首先，在步骤S11中，支持控制装置58读入车辆80的前轮部和后轮部上安装的悬挂系统冲程传感器54b、54c的检测输出。然后，在后续的步骤S12中，通过计算该冲程传感器之差，来计算出车辆80的前后的倾斜。然后，在步骤S13中，检查车辆与基准状态相比是否前倾。

这里，在车辆与基准状态相比后倾的情况下(步骤S13“否”)，立体摄像机16正在拍摄期望的姿态位置的上方。因此，转移到步骤S14，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜，向立体摄像机结合装置56输出用于调节摄像机的姿态的控制信号，使得立体摄像机16的视野方向向下。

另一方面，在车辆与基准状态相比前倾的情况下(步骤S13“是”)，立体摄像机16正在拍摄期望的姿态位置的下方。因此，转移到步骤S15，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜，向立体摄像机结合装置56输出用于调节摄像机的姿态的控制信号，使得立体摄像机16的视野方向向上。

然后，在步骤S16中，接收到控制信号的立体摄像机结合装置56驱动设在内部的用于调节摄像机姿态的机构，将立体摄像机16的视野94调节到期望位置。

其中，车辆80的倾斜可以用倾斜传感器54a的检测输出来检测，也可以组合悬挂系统冲程传感器54b、54c的检测输出、和倾斜传感器54a的检测输出来计算倾角。

此外，用于移动摄像机的控制工作不管是基于所谓的现代控制理论还是基于古典控制理论，都可以是反馈控制或前馈控制以及折衷它们的方式，可以应用PID控制、H无穷控制、自适应模型控制、模糊控制、神经网络等公知的各种控制方法。例如，在采用一般性的PID等反馈控制的情况下，支持控制装置58在其控制环内生成与摄像机姿态传感器52的目标值和实际值之间的偏差量对应的控制信号并输出到立体摄像机结合装置56，重复该工作直至该偏差值为“0”，这样，能够将摄像机控制到期望的姿态。

此外，本第2实施方式的立体摄像机支持装置50的控制工作可以与前述第1实施方式的立体摄像机支持装置50的控制工作组合来工作，也可以单独工作。

[第3实施方式]

接着，说明本发明第3实施方式的立体摄像机支持装置50。

第3实施方式的立体摄像机支持装置50与前述第1实施方式的立体摄像机支持装置50同样，被包含在图1所示的立体摄像机系统中来应用。此外，第3实施方式的立体摄像机结合装置56的结构与图6所示的第1实施方式的立体摄像机结合装置56的结构相同。因此，对与第1实施方式相同的部位附以相同的标号，并省略其详细说明。

接着，说明本发明第3实施方式的立体摄像机支持装置50的工作。在本实施方式中，立体摄像机支持装置50校正车辆的左右方向的倾斜造成的视野的变化。

图11A及图11B是表示车辆80沿左右方向倾斜的情况下立体摄像机的姿态的图，图12是表示立体摄像机支持装置50中的控制工作的概略过程的流程图。

如图11A所示，立体摄像机16经立体摄像机结合装置56、与公路面98平行地悬架在车辆80上。此外，在该车辆80上，设有检测车辆的左右倾斜的倾斜传感器54d、或测定左右车轮部的悬挂系统的距离的悬挂系统冲程传感器54e、54f。

在乘坐车辆80的人数、乘车位置变化了的情况下，或者在车的货厢中装载的货物的重量变化了的情况下，车辆80的左右的倾斜角度也因此而变化。再者，在右拐、左拐时，车辆80的左右的倾角也变化。其结果是，立体摄像机的视野(注视它的方向)也偏离最佳的状态。

因此，如图11B所示，根据由倾斜传感器54d检测出的车体的倾角、或者由悬挂系统冲程传感器54e、54f检测出的冲程算出的车体的倾角，来控制立体摄像机16的摄像方向，使得摄像机的视野成为期望的状态。

接着，参照图12的流程图来说明前述立体摄像机支持装置50的控制工作。

首先，在步骤S21中，支持控制装置58读入在车辆80的左右安装的悬挂系统冲程传感器54e、54f的检测输出。然后，在步骤S22中，通过计算该冲程传感器的输出值之差，来计算车辆80的左右的倾斜。接着，在步骤S23中，检查车辆与基准状态相比是否右倾。

这里，在车辆与基准状态相比左倾的情况下(步骤S23“否”)，立体摄像机16相对于期望的姿态位置左倾进行着拍摄。因此，转移到步骤S24，支持控制装置58从摄像机姿态传感器52的检测值中取入摄像机的倾斜，向立体摄像机结合装置56输出用于向右倾方向调节立体摄像机16的方向的控制信号。

另一方面，在车辆与基准状态相比右倾的情况下(步骤S23“是”)，立体摄像机16相对于期望的姿态位置右倾进行着拍摄。因此，转移到步骤S25，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜，向立体摄像机结合装置56输出用于向左倾方向调节立体摄像机16的方向的控制信号。

然后，在步骤S26中，接收到控制信号的立体摄像机结合装置56驱动设在内部的用于调节摄像机姿态的机构，将立体摄像机16的视野调节到期望位置。

其中，车辆80的倾斜可以用倾斜传感器54d的检测输出来检测，也可以组合悬挂系统冲程传感器54e、54f的检测输出、和倾斜传感器54d的检测输出来计算倾角。

此外，用于移动摄像机的控制工作不管是基于所谓的现代控制理论还是基于古典控制理论，都可以是反馈控制或前馈控制以及折衷它们的方式，可以应用PID控制、H无穷控制、自适应模型控制、模糊控制、神经网络等公知的各种控制方法。例如，在采用一般性的PID等反馈控制的情况下，支持控制装置58在其控制环内生成与摄像机姿态传感器52的目标值和实际值之间的偏差量对应的控制信号并输出到立体摄像机结合装置56，重复该工作直至该偏差值为“0”，这样，能够将摄像机控制到期望的姿态。

再者，本第3实施方式的立体摄像机支持装置50的控制工作可以与前述第1实施方式的立体摄像机支持装置50的控制工作组合来工作，也可以单独工作。

[第4实施方式]

接着，说明本发明第4实施方式的立体摄像机支持装置50。

第4实施方式的立体摄像机支持装置50与前述的第1实施方式的立体摄像机支持装置50同样，被包含在图1所示的立体摄像机系统中来应用。此外，第4实施方式的立体摄像机结合装置56的结构与图6所示的第1实施方式的立体摄像机结合装置56的结构相同。因此，对与前述第1实施方式相同的部位附以相同的标号，并省略其详细说明。

接着，说明本发明第4实施方式的立体摄像机支持装置50的工作。在本实施方式中，立体摄像机支持装置50检测公路面98的倾斜并校正视野的变化。

图13A及图13B是表示公路面的倾斜和立体摄像机的摄像方向的图，图14是表示立体摄像机支持装置50的控制工作的概略过程的流程图。

如图13A及图13B所示，在车辆80的行进方向前方的公路面98倾斜的情况下，立体摄像机的视野偏离最佳的状态。例如，如图13A所示，在公路面98为上坡的情况下，在摄像帧中公路面的区域增加，但是与被摄体100(参照图7)有关的信息减少。此外，如图13B所示，在公路面98为下坡的情况下，在摄像帧中与被摄体100(参照图7)有关的信息增加，但是公路面的区域减少。

因此，检测行进方向前方的公路面98的倾斜，根据它来调节立体摄像机16的摄像方向，使得摄像机的视野成为期望的状态。

以下，参照图14的流程图来说明前述立体摄像机支持装置50的控制工作。

首先，在步骤S31中，支持控制装置58接收由处理装置18执行的公路面识别处理的结果。即，处理装置18根据三维距离图像(包含表示相应像素的信息和表示距离的信息)，来辨别行进方向的公路区域和非公路区域，识别并提取公路面。

接着，在步骤S32中，支持控制装置58根据提取出的公路面信息来求特定的位置。该特定的位置例如可以是公路两边的延长线在图像帧上交叉的所谓的消失点。然后，在步骤S33中，检查求出的特定的位置是否位于图像帧中的规定的位置以下。即，检查注视特定位置的仰角是否小于规定仰角。

这里，在注视特定位置的仰角大于规定仰角的情况下(步骤S33“否”)，立体摄像机16相对于期望的姿态位置向上。因此，转移到步骤S34，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜，向立体摄像机结合装置56输出调节立体摄像机16的摄像方向的控制信号，使得注视特定位置的角度成为规定的角度。

另一方面，在注视特定位置的仰角小于规定的仰角的情况下(步骤S33的“是”)，立体摄像机16相对于期望的姿态位置向下。因此，转移到步骤S35，支持控制装置58从摄像机姿态传感器52的检测值中取入摄像机的倾斜，向立体摄像机结合装置56输出移动立体摄像机16的摄像方向的控制信号，使得注视特定位置的角度成为规定的角度。

然后，在步骤S36中，接收到控制信号的立体摄像机结合装置56驱动设在内部的用于调节摄像机的姿态的机构，将立体摄像机16的视野调节到期望的位置。

其中，用于移动摄像机的控制工作不管是基于所谓的现代控制理论还是基于古典控制理论，都可以是反馈控制或前馈控制以及折衷它们的方式，可以应用PID控制、H无穷控制、自适应模型控制、模糊控制、神经网络等公知的各种控制方法。

例如，支持控制装置58在其控制环内生成与行进方向前方的公路面98上的摄像机姿态传感器52的目标值和控制量之间的控制偏差相应的操作量的控制信号。进而，支持控制装置58依据预先准备的车辆的运动模型并按照加减速的当前值、方向盘的操作角等来生成用于消除只用反馈控制不能完全补偿的控制偏差的补偿操作信号，来补充通过反馈控制进行的补偿。由此，能够实现没有偏移且坚固(robust)的控制。

即，通过应用这种反馈控制和前馈控制的折衷来进行控制，即使在预测出车辆的姿态变动剧烈、只用反馈控制难以充分减少控制偏差的状况下，也能够实现跟踪性高的理想的摄像机姿态控制。

此外，本第4实施方式的立体摄像机支持装置50的控制工作可以与前述第1实施方式的立体摄像机支持装置50的控制工作组合来工作，也可以单独工作。

[第5实施方式]

接着，说明本发明第5实施方式的立体摄像机支持装置50。

第5实施方式的立体摄像机支持装置50与前述第1实施方式的立体摄像机支持装置50同样，被包含在图1所示的立体摄像机系统中来应用。此外，第5实施方式的立体摄像机结合装置56的结构与图6所示的第1实施方式的立体摄像机结合装置56的结构相同。因此，对与第1实施方式相同的部位附以相同的标号，并省略其详细说明。

接着，说明本发明第5实施方式的立体摄像机支持装置50的工作。在本实施方式中，立体摄像机支持装置50如上述的第4实施方式的图13A及图13B所示，检测公路面98的倾斜并校正视野的变化。但是，第5实施方式与第4实施方式的不同点在于，根据来自GPS42的信息来把握公路面的倾斜。

图15是表示立体摄像机支持装置50的控制工作的概略过程的流程图。

首先，在步骤S41中，支持控制装置58根据来自GPS42(参照图1)的地图信息，接收车辆80的当前位置和行进方向前方的公路的地形信息。然后，在步骤S42中，支持控制装置58预测出前方的公路面98的倾斜，在后续的步骤S43中，检查预测出的倾斜是否是为上坡。

这里，在前方的公路的倾斜为下坡的情况下(步骤S43“否”)，判断为立体摄像机16的摄像方向相对于最佳的姿态位置向上。因此，转移到步骤S44，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜的数据。然后，计算与该角度对应的向下校正量，从支持控制装置58向立体摄像机结合装置56输出移动摄像机的控制信号。

另一方面，在前方公路的倾斜为上坡的情况下(步骤S43“是”)，判断为立体摄像机16的摄像方向相对于最佳的姿态位置向下。因此，转移到步骤S45，支持控制装置58从摄像机姿态传感器52的检测输出中取入摄像机的倾斜的数据。然后，计算与该角度对应的向上校正量，从支持控制装置58向立体摄像机结合装置56输出调节摄像机姿态的控制信号。

其后，转移到步骤S46，接收到控制信号的立体摄像机结合装置56驱动设在内部的用于调节摄像机的姿态的机构，将立体摄像机16的视野调节得与期望位置吻合。

其中，用于移动摄像机的控制工作不管是基于所谓的现代控制理论还是基于古典控制理论，都可以是反馈控制或前馈控制以及折衷它们的方式，可以应用PID控制、H无穷控制、自适应模型控制、模糊控制、神经网络等公知的各种控制方法。

例如，支持控制装置58在其控制环内生成与行进方向前方的公路面98上的摄像机姿态传感器52的目标值和控制量之间的控制偏差相应的操作量的控制信号。进而，支持控制装置58依据预先准备的车辆的运动模型并按照加减速的当前值、方向盘的操作角等来生成用于消除只用反馈控制不能完全补偿的控制偏差的补偿操作信号，来补充通过反馈控制进行的补偿。由此，能够实现没有偏移且坚固的控制。

即，通过应用这种反馈控制和前馈控制的折衷来进行控制，即使在预测为车辆的姿态变动剧烈、只用反馈控制难以充分减少控制偏差的状况下，也能够实现跟踪性高的理想的摄像机姿态控制。

此外，本第5实施方式的立体摄像机支持装置50的控制工作可以与前述第1实施方式的立体摄像机支持装置50的控制工作组合来工作，也可以单独工作。

以上，采用本发明的各实施方式的立体摄像机支持装置50，能够确保不受公路上行驶的前方车辆的形状、与前方车辆的车距、搭载了本立体摄像机的车辆的行驶状态、或公路状态造成的前后左右的车体的倾斜、前方的公路面的倾斜等影响的最佳的摄像视野。

[影像显示方法的实施例]

接着，参照图16A至图16C来说明用应用本发明的立体摄像机支持装置50的立体摄像机系统来向驾驶员显示影像的方法。立体摄像机16一般可以采用具有多个视点的结构，但是图16A至图16C为了简单，表现为具有2个视点的结构。

从图16A所示的立体摄像机16，得到左侧视野94a的影像104a(参照图16B)、和右侧视野94b的影像104b(参照图16B)。因此，控制装置20按照驾驶员的驾驶位置来切换上述影像104a、104b并显示在显示装置32上。

例如，在驾驶员位于左侧的情况下，将左侧的影像104a显示在显示装置32上；而在驾驶员位于右侧的情况下，将右侧的影像104b显示在显示装置32上。由此，能够尽量减少驾驶员的视点和影像的视点之间的偏差，产生影像看起来更自然这一效果。

其中，在前述实施方式中，立体摄像机支持装置被搭载在车上，但是本发明并不限于此。即，本发明可以应用于移动体上作为测距之眼搭载的所有立体摄像机。因此，本发明也能够搭载在汽车、船舶、航空器、机器人等移动体上。

此外，本发明的前述系统的实施方式未必限于作为测距之眼而搭载在车辆或机器人那样的移动体上的情况，例如，以下述形态来实施也极其有效：摄像机自身像监视摄像机那样被固定了在水平面上的位置，来测量与接近自己以及离开自己远去的相对移动的物体之间的距离。

接着，说明本发明的第6实施方式。

其中，构成本发明的各部也可以看作实现该各部的功能的各个装置，所以以下在实施方式的说明中将它们成为装置。其中，校准数据保持部由存储、保持与校准有关的数据的校准数据存储装置来实现。

[第6实施方式]

本发明的第6实施方式说明摄影装置内部的校准偏差检测。

图17是表示本发明第6实施方式的校准偏差检测装置的基本结构例的方框图。本实施方式是检测与立体摄影装置的内部校准参数有关的校准偏差的方法。

在图17中，该校准偏差检测装置110具有向各部分的装置发送控制信号或者控制整个序列的控制装置112、状况判断装置114、调整处理装置116、特征提取装置118、校准偏差判定装置120、偏差结果呈现装置122、以及校准数据存储装置124。

该校准偏差检测装置110是拍摄立体图像、并检测应检测校准偏差的摄影装置128是否有校准偏差的装置。

上述状况判断装置114用于判断是否进行校准偏差检测。上述校准数据存储装置124预先存储着摄影装置128的校准数据。

此外，上述调整处理装置116用于对由摄影装置128拍摄到的立体图像进行调整处理。特征提取装置118从上述调整处理装置116进行过调整处理的立体图像中提取在立体图像内对应的特征。

校准偏差判定装置120利用由特征提取装置118提取出的特征、和存储在校准数据存储装置124中的校准数据，来判定是否有校准偏差。偏差结果呈现装置122根据该偏差判定结果来报告偏差结果。

偏差结果呈现装置122构成本发明的构件即偏差结果呈现部，该偏差结果呈现部可采用后面将根据图41来描述的显示装置220作为显示器并作为自己的构件来保有的形态，但是更一般地，该偏差结果呈现部不限于这种连显示器都作为自己的部分来保有的方式，有时也可仅采用下述方式：根据表示校准偏差判定装置120的判定结果的信号，来生成用于呈现偏差结果的输出信号以及数据。

其中，校准偏差检测装置110内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

这里，在具体说明第6实施方式前，概要说明本发明中重要的与立体摄影有关的技术内容。

[数学预备知识和摄像机模型]

首先，如果利用立体图像用摄像装置来拍摄图像，则该图像由摄像装置内的摄像器件(例如CCD或CMOS等半导体元件)成像为图像，并且成为图像信号。该图像信号是模拟或数字信号，但是在校准偏差检测装置内为数字图像数据。数字数据可以表现为二维数组，当然也可以是六边形细密填充的蜂窝构造的二维数组。

在摄影装置发送模拟图像的情况下，在校准偏差检测装置内或该装置外准备帧存储器，将该图像变换为数字图像。假定在校准偏差检测装置内规定的图像的像素可以定义为正方形或长方格子状。

现在，用(u，v)等二维坐标来表现图像的坐标。

首先，如图18所示，拍摄立体图像的摄影装置128由左右2台摄像机130a、130b构成。此外，设规定拍摄左图像的摄像机130a的坐标系为左摄像机坐标系L，拍摄右图像的坐标系为右摄像机坐标系R。此外，作为立体图像，用(u^L，v^L)来表现左摄像机内的图像坐标，用(u^R，v^R)等来表现右摄像机内的图像坐标值。其中，设132a、132b分别为左摄像机图像面、右摄像机图像面。

此外，也可以定义整个摄影装置128规定的基准坐标系。将该基准坐标系例如设为W。当然，很明显，作为基准坐标系，也可以采用其中一个摄像机坐标系L或R。

以上，考虑了作为摄影装置使用2台摄像机进行立体摄影来生成立体图像的结构，但是除此之外也有生成立体图像的方法。例如，有在1台摄像机前安装立体适配器、同时将左右图像拍摄到1台的CCD或CMOS等摄像器件中的方法(例如参照本案申请人的(日本)特开平8-171151号公报等)。

在这种立体适配器的情况下，如图19A所示，用具有左反射镜组134a、右反射镜组134b的立体适配器拍摄的图像如图19B的左右虚拟摄像机位置所示，好像存在2台摄像装置、2台帧存储器一样，可以展开为普通的立体摄像机。此外，作为立体适配器的变形例，也可以像前述(日本)特开平8-171151号公报那样设置光学变形元件，以便将左右立体图像在CCD面上上下分割。

本发明的立体摄影可以是这样用2台或2台以上的多个摄像机拍摄的立体图像。或者，也可以是利用立体适配器拍摄的立体图像。

在本发明中，这种拍摄立体图像的装置的光学系统采用在光学透镜系统中有透镜失真的情况下也适用的装置结构。但是，首先为了简化说明，建立在光学系统中没有透镜失真的情况下的摄像的数学模型，接着处理更一般化的包含透镜失真的情况。

为此，首先考虑用针孔摄像机对摄像装置和帧存储器的光学特性进行模型化的情况。

即，设与左图像关联的针孔摄像机模型的坐标系为左摄像机坐标系L，与右图像关联的针孔摄像机模型的坐标系为右摄像机坐标系R。此外，假设左摄像机坐标系L内的点为(x^L，x^L，z^L)，其图像对应点为(u^L，v^L)，右摄像机坐标系R内的点为(x^R，y^R，z^R)，其图像对应点为(u^R，v^R)，则考虑图18所示的摄像机位置C^L、C^R，如下式所示来求。

$\left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L\frac{x^L}{z^L}+u_0^L\\ v^L={\mathrm{\α}}_v^L\frac{y^L}{z^L}+v_0^L\end{array}\right.,\left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R\frac{x^R}{z^R}+u_0^R\\ v^R={\mathrm{\α}}_v^R\frac{y^R}{z^R}+v_0^R\end{array}\right.---\left(1\right)$

这里，(α_u ^L，α_v ^L)是左摄像机系统的纵及横向的图像放大倍数，(u₀ ^L，v₀ ^L)是图像中心，(α_u ^R，α_v ^R)是右摄像机系统的纵及横向的图像放大倍数，(u₀ ^R，v₀ ^R)是图像中心。如果将它们表现为矩阵，设w^L、w^R为中间变量，则也可以表示为：

$w^L\left[\begin{array}{c}{u}^L\\ u^L\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_u^L& 0& u_0^L\\ 0& {\mathrm{\α}}_v^L& v_0^L\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right],$

$w^R\left[\begin{array}{c}{u}^R\\ u^R\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_u^R& 0& u_0^R\\ 0& {\mathrm{\α}}_v^R& v_0^R\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^R\\ y^R\\ z^R\end{array}\right]---\left(2\right)$

这里，在本数学模型中，将具有摄像机的横及纵向的图像放大倍数、与摄像机的焦距有关的参数模型化了，当然可以只用与摄像机的焦距有关的参数来描述这些参数。

设用基准坐标系W定义的点P(x，y，z)在左图像内的位置为(u^L，v^L)，在右图像内的位置为(u^R，v^R)，可以考虑与左图像中设想的摄像装置和帧存储器对应的左摄像机130a在基准坐标系中的位置C_L(左摄像机坐标系的原点)、和与右图像中设想的摄像装置和帧存储器对应的右摄像机130b在基准坐标系中的位置C_R(右摄像机坐标系的原点)。此时，从基准坐标系W的点P(x，y，z)投影到左(u^L，v^L)的变换式、和从同一点投影到右(u^R，v^R)的变换式可以如下表示。

$\left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L\frac{r_{11}^{L}x+r_{12}^{L}y+r_{13}^{L}z+t_x^L}{r_{31}^{L}x+r_{32}^L+r_{33}^L+t_z^L}+u_0^L\\ v^L={\mathrm{\α}}_v^L\frac{r_{21}^{L}x+r_{22}^{L}y+r_{23}^{L}z+t_y^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}+v_0^L\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R\frac{r_{11}^{R}x+r_{12}^{R}y+r_{13}^{R}z+t_x^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}+u_0^R\\ v^L={\mathrm{\α}}_v^R\frac{r_{21}^{R}x+r_{22}^{R}y+r_{23}^{R}z+t_y^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}+v_0^R\end{array}\right.---\left(4\right)$

这里， $R^L=\left({r_{\mathrm{ij}}}^L\right),T^L={[{t_x}^L,{t_y}^L,{t_z}^L]}^t$ 是构成从基准坐标系到左摄像机坐标系L的坐标变换的各个3×3旋转矩阵和平移矢量。此外， $R^R=\left({r_{\mathrm{ij}}}^R\right),$ $T^R={[{t_x}^R,{t_y}^R,{t_z}^R]}^t$ 是构成从基准坐标系到右摄像机坐标系R的坐标变换的各个3×3旋转矩阵和平移矢量。

另一方面，在基准坐标系例如采用了左摄像机坐标系的情况下，如下式所示。

$R^L=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],T^L=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]---\left(5\right)$

[失真校正]

另一方面，在摄像装置的光学透镜等的透镜失真对于三维计测要求的精度不能忽略的情况下，需要考虑包含透镜失真的光学系统。在此情况下，上述式(3)、(4)可以用以下所示的式(7)、(8)来表现。在该式中，在表现透镜失真时表示的是径向失真和切向失真，当然也可以是其他失真表现。

这里，在设与左右摄像机的透镜失真有关的参数为

$\left\{\begin{array}{c}{d}^L=(k_1^L,g_1^L,g_2^L,g_3^L,g_4^L)\\ d^R=(k_1^R,g_1^R,g_2^R,g_3^R,g_4^R)\end{array}\right.---\left(6\right)$

时，

(左) $\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_p^L=\frac{x^L}{z^L}=\frac{r_{11}^{L}x+r_{12}^{L}y+r_{13}^{L}z+t_x^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}\\ {\tilde{v}}_p^L=\frac{y^L}{z^L}=\frac{r_{21}^{L}x+r_{22}^{L}y+r_{23}^{L}z+t_y^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}\end{array}\right.\\ \left\{\begin{array}{c}{\tilde{u}}_d^L={\tilde{u}}_p^L+(g_1^L+g_3^L){\left({\tilde{u}}_p^L\right)}^2+g_4^L{\tilde{u}}_p^L{\tilde{v}}_p^L+g_1^L{\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{u}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)---\left(7\right)\\ {\tilde{v}}_d^L={\tilde{v}}_p^L+g_2^L{\left({\tilde{u}}_p^L\right)}^2+g_3^L{\tilde{u}}_p^L{\tilde{v}}_p^L+(g_2^L+g_4^L){\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{v}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\end{array}\right.\\ \left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L{\tilde{u}}_d^L+u_0^L\\ v^L={\mathrm{\α}}_v^L{\tilde{v}}_d^L+v_0^L\end{array}\right.\end{array}$

(右) $\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_p^R=\frac{x^R}{z^R}=\frac{r_{11}^{R}x+r_{12}^{R}y+r_{13}^{R}z+t_x^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}\\ {\tilde{v}}_p^R=\frac{y^R}{z^R}=\frac{r_{21}^{R}x+r_{22}^{R}y+r_{23}^{R}z+t_y^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}\end{array}\right.\\ \left\{\begin{array}{c}{\tilde{u}}_d^R={\tilde{u}}_p^R+(g_1^R+g_3^R){\left({\tilde{u}}_p^R\right)}^2+g_4^R{\tilde{u}}_p^R{\tilde{v}}_p^R+g_1^R{\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{u}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)---\left(8\right)\\ {\tilde{v}}_d^R={\tilde{v}}_p^R+g_2^R{\left({\tilde{u}}_p^R\right)}^2+g_3^R{\tilde{u}}_p^R{\tilde{v}}_p^R+(g_2^R+g_4^R){\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{v}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\end{array}\right.\\ \left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R{\tilde{u}}_d^R+u_0^R\\ v^R={\mathrm{\α}}_v^R{\tilde{v}}_d^R+v_0^R\end{array}\right.\end{array}$

这里， $({{\tilde{u}}_p}^L,{{\tilde{v}}_p}^L),({{\tilde{u}}_d}^L,{{\tilde{v}}_d}^L)$ 和 $({{\tilde{u}}_p}^R,{{\tilde{v}}_p}^R),({{\tilde{u}}_d}^R,{{\tilde{v}}_d}^R)$ 是用于表现透镜失真的中间参数，是左及右摄像机图像坐标系中的归一化过的坐标，p是表示消除失真后的归一化图像坐标的下标，d是表示消除失真前(包含失真要素)的归一化图像坐标的下标。

此外，所谓消除失真或校正失真的步骤，是指如下所述地生成图像的过程。

(校正左图像的失真)

1)对校正失真后的各图像数组(u_p ^L，v_p ^L)，计算归一化了的图像坐标。

${\tilde{u}}_p^L=\frac{u_p^L-u_0^L}{{\mathrm{\α}}_u^L},{\tilde{v}}_p^L=\frac{v_p^L-v_0^L}{{\mathrm{\α}}_v^L}---\left(9\right)$

2)利用下式来计算校正失真前的归一化了的图像坐标。

$\left\{\begin{array}{c}{\tilde{u}}_d^L={\tilde{u}}_p^L+(g_1^L+g_3^L){\left({\tilde{u}}_p^L\right)}^2+g_4^L{\tilde{u}}_p^L{\tilde{v}}_p^L+g_1^L{\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{u}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\\ {\tilde{v}}_d^L={\tilde{v}}_p^L+g_2^L{\left({\tilde{u}}_p^L\right)}^2+g_3^L{\tilde{u}}_p^L{\tilde{v}}_p^L+(g_2^L+g_4^L){\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{v}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\end{array}\right.---\left(10\right)$

3)通过 $u^L={{\mathrm{\α}}_u}^L{{\tilde{u}}_d}^L+{u_0}^L,v^L={{\mathrm{\α}}_v}^L{{\tilde{v}}_d}^L+{v_0}^L,$ 来计算校正失真前的左原图像所对应的图像坐标，利用其邻近的像素等的像素值，来计算与(u_p ^L，v_p ^L)对应的像素值。

(校正右图像的失真)

1)对校正失真后的各图像数组(u_p ^R，v_p ^R)，计算归一化了的图像坐标。

${\tilde{u}}_p^R=\frac{u_p^R-u_0^R}{{\mathrm{\α}}_u^R},{\tilde{v}}_p^R=\frac{v_p^R-v_0^R}{{\mathrm{\α}}_v^R}---\left(11\right)$

2)利用下式来计算校正失真前的归一化了的图像坐标。

$\left\{\begin{array}{c}{\tilde{u}}_d^R={\tilde{u}}_p^R+(g_1^R+g_3^R){\left({\tilde{u}}_p^R\right)}^2+g_4^R{\tilde{u}}_p^R{\tilde{v}}_p^R+g_1^R{\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{u}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\\ {\tilde{v}}_d^R={\tilde{v}}_p^R+g_2^R{\left({\tilde{u}}_p^R\right)}^2+g_3^R{\tilde{u}}_p^R{\tilde{v}}_p^R+(g_2^R+g_4^R){\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{v}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\end{array}\right.---\left(12\right)$

3)通过 $u^R={{\mathrm{\α}}_u}^R{{\tilde{u}}_d}^R+{u_0}^R,v^R={{\mathrm{\α}}_v}^R{{\tilde{v}}_d}^R+{v_0}^R,$ 来计算校正失真前的左原

图像所对应的图像坐标，利用其邻近的像素等的像素值，来计算与(u_p ^R，v_p ^R)对应的像素值。

[内部校准参数和校准偏差问题的定义]

设由2台摄像机构成的拍摄立体图像的摄影装置的左摄像机的坐标系为L、右摄像机的坐标系为R，来考虑这些摄像机的位置关系。坐标系L和坐标系R之间的坐标值的关系可以利用坐标变换(旋转矩阵和平移矢量)如下来表现。

$\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right]{=}_L{R}_R\left[\begin{array}{c}{x}^R\\ y^R\\ z^R\end{array}\right]{+}_L{T}_R---\left(13\right)$

这里，可以用

$R_R^L=\mathrm{Rot}\left({\mathrm{\φ}}_z\right)\mathrm{Rot}\left({\mathrm{\φ}}_y\right)\mathrm{Rot}\left({\mathrm{\φ}}_x\right)=\left[\begin{array}{ccc}\cos {\mathrm{\φ}}_z& -\sin {\mathrm{\φ}}_z& 0\\ \sin {\mathrm{\φ}}_z& \cos {\mathrm{\φ}}_z& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\φ}}_y& 0& {\sin \mathrm{\φ}}_y\\ 0& 1& 0\\ {-\sin \mathrm{\φ}}_y& 0& {\cos \mathrm{\φ}}_y\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& {\cos \mathrm{\φ}}_x& {-\sin \mathrm{\φ}}_x\\ 0& {\sin \mathrm{\φ}}_x& {\cos \mathrm{\φ}}_x\end{array}\right]---\left(14\right)$

来表示，可以将6个参数e＝(φ_x，φ_y，φ_z，t_x，t_y，t_z)作为外部参数表现。

此外，如前所述，分别独立地表现了左右摄像机的内部参数用用下式表示。

$\left\{\begin{array}{c}{c}^L=({\mathrm{\α}}_u^L,{\mathrm{\α}}_v^L,u_0^L,v_0^L,d^L)\\ c^R=({\mathrm{\α}}_u^R,{\mathrm{\α}}_v^R,u_0^R,v_0^R,d^R)\end{array}\right.---\left(16\right)$

总之，由2台摄像机构成的摄影装置的情况下的摄像机参数可以利用

p＝(c^L，c^R，e)                    …(17)作为摄影装置的内部校准参数。

在本发明中，将该摄影装置的内部校准参数p等作为校准参数，存储在校准数据存储装置中。假设校准数据至少包含该摄像机校准参数p。

但是，在可以忽略摄影装置的透镜失真的情况下，也可以忽略失真参数的部分(d^L，d^R)，或者设为零。

此外，所谓摄影装置的内部校准，可以定义为估计上述摄影装置的内部参数和外部参数的组即p＝(c^L，c^R，e)的问题。

此外，所谓检测校准偏差，是指检测这样设定的校准参数的值是否已变化。

[外部校准参数和校准偏差问题的定义]

如前所述，也需要考虑摄影装置和外部装置间的校准。

在此情况下，例如将左摄像机坐标系L取作摄影装置的基准坐标系，规定左摄像机坐标系和外部装置间的位置姿态关系即相当于校准。例如，假设外部装置的坐标系为O，从外部装置坐标系O到左摄像机坐标系L的坐标变换参数如式(18)所示，则可以通过利用式(19)所示的6个参数来描述其位置姿态关系。若假设

$R_O^L=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right],T_O^L=\left[\begin{array}{c}{t}_x^{\′}\\ t_y^{\′}\\ t_z^{\′}\end{array}\right]---\left(18\right)$

则通过6个参数

e′＝(φ′_x，φ′_y，φ′_z，t′_x，t′_y，t′_z)     …(19)来描述其位置姿态关系。这里，φ′_x、φ′_y、φ′_z是与_LR_O有关的3个旋转分量参数。

[立体图像中的核线约束]

在用立体图像来进行图像计测时，如后面也描述的那样，在左右图像内进行对应点搜索很重要。该对应点搜索中重要的是所谓的核线约束这一概念。以下，参照图20来进行说明。

即，是下述约束条件：在向对左右原图像140a、140b进行了失真校正而得到的左右图像142a、142b提供了准确的校准参数p＝(c^L，c^R，e)时，与左图像内的特征点(u^L，v^L)对应的右图像内的特征点(u^R，v^R)必须在144所示的某个直线上。将该直线称为核线(epipolar line)。

这里重要的是，在图像内失真很显著时，必须预先进行失真校正或除去。此外，在进行了失真校正的归一化图像中，核线约束也同样成立。因此，以下，首先在进行了失真校正、而且归一化了的图像面内，定义本发明考虑的核线。

对左原图像中得到的特征点(u^L，v^L)，设式(7)的途中出现的归一化了的图像内进行过失真校正的特征点的位置为 由左摄像机坐标系规定的三维点(x，y，z)在左摄像机图像内被投影到(u^L，v^L)，假设它被变换为上述

则

${\tilde{u}}^L=\frac{x}{z},{\tilde{v}}^L=\frac{y}{z}---\left(20\right)$

成立。另一方面，(x，y，z)在右摄像机图像内被投影到(u^R，v^R)，假设在归一化了的摄像机图像内进行过失真校正的图像坐标为 则

${\tilde{u}}^R=\frac{r_{11}x+r_{12}y+r_{13}z+t_x}{r_{31}x+r_{32}y+r_{33}z+t_z},{\tilde{v}}^R=\frac{r_{21}x+r_{22}y+r_{23}z+t_y}{r_{31}x+r_{32}y+r_{33}z+t_z}---\left(21\right)$

成立。这里，r_ij和t_x、t_y、t_z是表示从右摄像机坐标系R到左摄像机坐标系L的坐标变换的旋转矩阵和平移矢量的元素，用

_LR_R＝(r_ij)_3×3，_LT_R＝[t_x，t_y，t_z]^t    …(22)来表示。将式(20)代入式(21)，消去z后，方程式

$\begin{array}{c}{\tilde{u}}^R\{(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_y-(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_z\}\\ +{\tilde{v}}^R\{(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_z-(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_x\}\\ +(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_x-(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_y=0\end{array}---\left(23\right)$

成立。这里，设

$\left\{\begin{array}{c}\tilde{a}=(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_y-(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_z\\ \tilde{b}=(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_z-(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_x\\ \tilde{c}=(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_x-(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_y\end{array}\right.---\left(24\right)$

则得到如下直线。

$\tilde{a}{\tilde{u}}^R+\tilde{b}{\tilde{v}}^R+\tilde{c}=0---\left(25\right)$

它表示归一化了的图像面内的核线。

以上，在归一化了的图像面中进行了考虑，但是在进行过失真校正的图像面中也同样能够导出核线的方程式。

具体地说，对进行过失真校正的左图像和右图像的对应点的坐标值(u_p ^L，v_p ^L)、(u_p ^R，v_p ^R)，通过解下式，

$u_p^L={\mathrm{\α}}_u^L\frac{x}{z}+u_0^L,v_p^L={\mathrm{\α}}_v^L\frac{y}{z}+v_0^L---\left(26\right)$

$u_p^L={\mathrm{\α}}_u^R\frac{r_{11}x+r_{12}y+r_{13}z+t_x}{r_{31}x+r_{32}y+r_{33}z+t_z}+u_0^L,v_p^R={\mathrm{\α}}_v^R\frac{r_{21}x+r_{22}y+r_{23}z+t_y}{r_{31}x+r_{32}y+r_{33}z+t_z}+v_0^R---\left(27\right)$

与式(9)同样地，能够导出核线的方程式

$a{u}_p^R+b{v}_p^R+c=0---\left(28\right)$

[调整处理]

以上，以左右图像内的特征点考虑了核线约束，但是作为其他方法，调整(rectification)处理这一方法在立体图像处理中很常用。

以下，说明本发明的调整。

进行调整处理后，能够导出如下约束：左右图像内对应的特征点都在同一水平直线上。换言之，在调整处理后的图像中，左图像的同一直线上的特征点组，能够在右图像上将同一直线定义为核线。

图21A及图21B示出了该状况。图21A示出了调整前的图像，图21B示出了调整后的图像。图中146a、146b分别是点A、点B的对应点存在的直线，148表示将对应点配置在同一直线上的核线。

为了实现这种调整，如图22所示，将左右摄像机原图像分别变换得相互水平。此时，通过不移动左摄像机坐标系L和右摄像机坐标系R的原点C_L、C_R，只变更摄像机坐标系的轴，来生成新的左右图像面。

其中，在图22中，150a表示调整前的左图像面，150b表示调整前的右图像面，152a表示调整后的左图像面，152b表示调整后的右图像面，154表示图像坐标(u^R，v^R)的调整前，156表示图像坐标(u^R，v^R)的调整后，158表示调整前的核线，160表示调整后的核线，162表示三维点。

设左摄像机坐标系L和右摄像机坐标系R进行过调整后的坐标系分别为LRect、RRect。如前所述，L和LRect、R和RRect的原点一致。

以下考虑2个坐标系的坐标系间的坐标变换，但是此前将基准坐标系取为左摄像机坐标系L。(将基准坐标系取为其他坐标系也同样。)

此时，如下定义调整后的左摄像机坐标系LRect和右摄像机坐标系RRect。

首先，考虑从左摄像机坐标系L的原点到右摄像机坐标系R的原点的矢量。它当然是以基准坐标系为基准测得的。

此时，设该矢量为

T＝[t_x，t_y，t_z]               …(29)。

其大小为 $\left|\right|T\left|\right|=\sqrt{t_x^2+t_y^2+t_z^2}.$ 此时，定义以下3个方向矢量{e₁，e₂，e₃}：

此时，将e₁、e₂、e₃取作左右调整处理后的左摄像机坐标系LRect和右摄像机坐标系RRect的x、y、z轴的方向矢量。即，

_LR_LRect＝_LR_RRect＝[e₁，e₂，e₃]                …(31)

此外，根据各个原点的取法，

_LT_LRect＝0，_LT_RRect＝0                        …(32)成立。

这样设定后，如图21A、图21B或图22所示，不言自明，在归一化了的图像空间中，左右的对应点被配置在一条直线上(核线上)。

接着，考虑摄像机的归一化了的摄像机图像内的点 和调整后的归一化了的摄像机图像内的变换点 之间的对应关系。为此，假设同一三维点在左摄像机坐标系L中用(x^L，y^L，z^L)来表现，在调整后的左摄像机坐标系中用(x^LRect，y^LRect，z^LRect)来表现。此外，如果考虑(x^L，y^L，z^L)在归一化了的图像面中的位置

和(x^LRect，y^LRect，z^LRect)在归一化了的图像面中的位置 则利用中间变量

使以下方程式成立：

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right],{\tilde{w}}^{\mathrm{LRect}}\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{\mathrm{LRect}}\\ y^{\mathrm{LRect}}\\ z^{\mathrm{LRect}}\end{array}\right]......\left(33\right)$

此时，

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right],{\tilde{w}}^{\mathrm{LRect}}\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{\mathrm{LRect}}\\ y^{\mathrm{LRect}}\\ z^{\mathrm{LRect}}\end{array}\right]\·\·\·\·\·\·\left(33\right)$

成立，所以方程式

${\tilde{w}}_{*}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=R_{\mathrm{LRect}}^L\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]\·\·\·\·\·\·\left(35\right)$

成立。

同样，对于右摄像机图像，在归一化了的摄像机图像内的点

和调整后的归一化了的摄像机图像内的变换点 之间，如下方程式

${\tilde{w}}_{*}^R\left[\begin{array}{c}{\tilde{u}}^R\\ {\tilde{v}}^R\\ 1\end{array}\right]=R_L^{R}R_{\mathrm{RRect}}^L\left[\begin{array}{c}{\tilde{u}}^{\mathrm{RRect}}\\ {\tilde{v}}^{\mathrm{RRect}}\\ 1\end{array}\right]=R_{\mathrm{RRect}}^R\left[\begin{array}{c}{\tilde{u}}^{\mathrm{RRect}}\\ {\tilde{v}}^{\mathrm{RRect}}\\ 1\end{array}\right]\·\·\·\·\·\·\left(36\right)$

也成立。

因此，在左摄像机系统中，假设_LR_LRect的元素为(r_ij)，与调整后的归一化了的图像面的

对应的调整前的归一化了的图像内位置 如下所示。

$\left\{\begin{array}{c}{\tilde{u}}^L=\frac{r_{11}{\tilde{u}}^{\mathrm{LRect}}+r_{12}{\tilde{v}}^{\mathrm{LRect}}+r_{13}}{r_{31}{\tilde{u}}^{\mathrm{LRect}}+r_{32}{\tilde{v}}^{\mathrm{LRect}}+r_{33}}\\ {\tilde{v}}^L=\frac{r_{21}{\tilde{u}}^{\mathrm{LRect}}+r_{22}{\tilde{v}}^{\mathrm{LRect}}+r_{23}}{r_{31}{\tilde{u}}^{\mathrm{LRect}}+r_{32}{\tilde{v}}^{\mathrm{LRect}}+r_{33}}\end{array}\right.......\left(37\right)$

在右摄像机系统中也同样。

以上，用不包含失真校正的摄像机系统进行了说明，但是在包含失真校正的实际情况下，利用以下方法即可。

其中，以下的步骤中的调整后的图像的u方向和v方向放大倍数α_u ^Rect、α_v ^Rect和图像中心u₀ ^Rect、v₀ ^Rec，t根据调整过的图像的大小来适当地设定即可。

[包含失真除去的调整步骤(RecL及RecR步骤)]

首先，作为步骤RecL1，决定α_u ^Rect、α_v ^Rect、u₀ ^Rect、v₀ ^Rect等参数。

作为步骤RecL2，对调整后的左图像的各像素点(u_Rect ^L，v_Rect ^L)，RecL2-1)计算

RecL2-2)通过解下式，

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=R_{\mathrm{LRect}}^L\left[\begin{array}{c}{\tilde{u}}_{\mathrm{Rect}}^L\\ {\tilde{v}}_{\mathrm{Rect}}^L\\ 1\end{array}\right]......\left(39\right)$

来计算出归一化了的像素值

RecL2-3)计算附加了透镜失真的归一化了的如下坐标值。

$\left\{\begin{array}{c}{\tilde{u}}_d^L=f_1({\tilde{u}}^L,{\tilde{v}}^L;k_1,g_1,g_2,g_3,g_4)\\ {\tilde{v}}_d^L=f_2({\tilde{u}}^L,{\tilde{v}}^L;k_1,g_1,g_2,g_3,g_4)\end{array}\right.......\left(40\right)$

这里，f₁、f₂表示上述式(5)的第2项所示的的非线性函数。

RecL2-4)计算立体适配器和摄像装置拍摄到的帧存储器上的坐标值 ${u_d}^L={{\mathrm{\α}}_u}^L{{\tilde{u}}_d}^L+{u_0}^L{{,v}_d}^L={{\mathrm{\α}}_v}^L{{\tilde{v}}_d}^L+{v_0}^L.$ (d表示包含失真要素。)

RecL2-5)利用帧存储器上的像素值(u_d ^L，v_d ^L)的邻近像素，例如

利用线性插值处理等，来计算调整处理后的左图像的像素值。

作为步骤RecR1，对右图像也进行同样的处理。

以上对调整处理的方法进行了上述说明，但是调整的方法并不限于此。例如，也可以是Andrea Fusiello，et al，“A compact algorithm forrectification of stereo pairs，”Machine Vision and A pplications，2000，12：16-22中示出的方法。

以上对说明实施方式所需的用语的说明和处理的方法进行了描述，以下具体说明图17所示的校准偏差检测装置。

图23是说明本第6实施方式的校准偏差检测装置的详细工作的流程图。其中，在本实施方式中，根据控制装置112的控制来工作。

首先，在步骤S51中，状况判断装置114判断当前时刻是否应检测校准偏差。这里，判断的方法有如下所述的方法。

根据校准数据存储装置124中存储的、过去设定校准参数的时刻或状态等来进行判断。例如，在定期检测校准偏差的情况下，取该过去的时刻和当前时刻之差，如果该差大于某个阈值，则判断是否应检测校准偏差。

此外，在汽车等安装的摄影装置等情况下，也可以根据车上安装的里程表(Odometer)等的值来判断。

此外，也可以判断当前的天气或时间是否适合检测校准偏差等。例如，在用于监视汽车车外的摄影装置的情况下，在夜晚或下雨等恶劣天气的情况下，判断为避免检测校准偏差。

根据以上状况，来判断是否需要检测校准偏差。在其结果是判断为需要检测校准偏差的情况下，将该意思通知给控制装置112。在控制装置112接收到该通知的情况下，转移到步骤S52。另一方面，如果无需或不能检测校准偏差，则本例程结束。

在步骤S52中，用摄影装置128来拍摄立体图像。如前所述，该摄影装置128拍摄的图像是模拟图像还是数字图像都没关系。是模拟图像时，将该图像变换为数字图像。

该摄影装置128拍摄到的图像作为左图像和右图像被送出到校准偏差检测装置110。

图24A及图24B是表示左右原图像的图，其中，图24A是左摄像机拍摄到的左原图像的图，图24B是右摄像机拍摄到的右原图像的图。

接着，在步骤S53中，调整处理装置110从校准数据存储装置124接收过去存储的校准数据，实施调整处理。

其中，如上所述，校准数据利用摄影装置128的左右摄像机的内部参数和外部参数的组p＝(c^L，c^R，e)。

在调整处理时，在构成摄影装置128的左右摄像机的透镜失真很显著的情况下，根据前述RecL和RecR的步骤，包含透镜失真校正的算法来进行处理。其中，在透镜失真可以忽略时，也可以省略RecL和RecR中的失真校正部分来进行处理即可。

这样进行过调整处理的图像被送出到后面的特征提取装置5。

图25A及图25B示出调整过的左右图像，其中，图25A是左图像，图25B是右图像。

在步骤S54中，对上述步骤S53中调整过的立体图像，提取校准偏差检测所需的特征。该处理由特征提取装置118来进行。

特征提取装置118例如如图26所示，具有特征选择部118a和特征对应搜索部118b。特征选择部118a从调整过的立体图像中的一个图像中提取及选择对检测校准偏差可能有效的图像特征。然后，上述特征对应搜索部118b在另一个图像内搜索与该特征选择部118a选择出的特征对应的特征，并提取最佳的特征，生成这些特征对的集合作为数据。

这样得到的特征对的数据被注册为左右图像调整后的图像坐标值。

例如，在以左图像和右图像对应的形式得到n个特征点的对的情况下，可以以

$A=\{((u_i^L,v_i^L),(u_i^R,v_i^R)):i=\mathrm{1,2},...n\}\·\·\·\·\·\·\left(41\right)$

的形式来表现。

这里，详细说明上述特征提取装置118的特征选择部118a及特征对应搜索部118b。

首先，特征选择部118a在一个图像、例如左图像中，选择对校准偏差检测可能有效的特征。例如，作为特征，在将特征点作为候选时，首先，如图27所示，将调整过的左图像分割为由M×N个正方形组成的小块。然后，从该各块内的图像中，提取至多1个角点等特征点。

该方法例如利用R.Haralick and L.Shapiro，Computer and RobotVision，Volume II，pp.332-338，Addison-Wesley，1993中记载的兴趣算子(Interest Operator)或角点提取(Corner Point Extraction)法等即可。或者，也可以在各块内提取边缘成分，将强度在某个阈值以上的边缘点作为特征点。

这里重要的一点是，在某个块内只由完全均匀的区域构成的情况下，也有可能不能从该区域中选择特征点。这样选择出的特征点的例子如图28所示。在该图28中，○(白圈)所示的点166是这样选择出的特征。

接着，说明特征对应搜索部118b。特征对应搜索部118b的功能是，对于特征选择部118a从一个图像中选择出的特征，在另一个图像内提取对应的特征。该特征对应搜索部118b通过以下方法来搜索对应的特征。

这里，说明搜索范围的设定。

上述步骤S53中创建的调整处理后的图像使用校准数据存储装置124过去存储的校准数据。因此，在有校准偏差的情况下，在核线上不一定有对应点。因此，对应搜索的范围有时被设定为对设想的最大校准偏差也适合的对应搜索范围。实际上，准备了与左图像内的特征(u，v)对应的右图像内的位于核线上下的区域。

例如，假定核线在右图像内、在水平线v＝v_e上的[u₁，u₂]的范围内进行搜索，则如图29A、图29B所示，在宽度为2W_u×(u₂-u₁+2W_v)的长方形区域

[u₁-W_u，u₂+W_u]×[v_e-W_v，v_e+W_v]              …(42)

内进行搜索即可。这样，设定了搜索区域。

接着，说明基于区域匹配的对应搜索。

在通过前述搜索范围的设定而决定的搜索区域内，搜索最佳的对应。搜索最佳对应的方法例如有J.Weng，et al，Motion and Structurefrom Image Sequences，Springer-Verlag，pp.7-64，1993中示出的方法等。或者，也可以是利用左图像内特征的邻近区域、在右图像内的对应搜索区域内搜索与该区域的像素值最类似的图像区域的方法。

此时，假设已调整的左右图像的坐标(u，v)的亮度值分别为I_Rect ^L(u，v)、I_Rect ^R(u，v)，则将左图像的坐标(u，v)作为基准，右图像内的位置(u′，v′)上的类似度或非类似度例如可以分别如下表示。

$\mathrm{SAD}:\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}|I^L(u+\mathrm{\α},v+\mathrm{\β})-I^R(u^{\′}+\mathrm{\α},v^{\′}+\mathrm{\β})|\·\·\·\·\·\·\left(43\right)$

$\mathrm{SSD}:\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}{(I^L(u+\mathrm{\α},v+\mathrm{\β})-I^R(u^{\′}+\mathrm{\α},v^{\′}+\mathrm{\β}))}^2\·\·\·\·\·\·\left(44\right)$

$\mathrm{NCC}:\frac{\frac{1}{N_W}\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}(I^L(u+\mathrm{\α},v+\mathrm{\β})-\stackrel{\‾}{I_W^L})(I^L(u^{\′}+\mathrm{\α},v^{\′}+\mathrm{\β})-\stackrel{\‾}{I_W^R})}{\stackrel{\underset{\‾}{\‾}}{I_W^L}\·\stackrel{\stackrel{\‾}{\‾}}{I_W^R}}\·\·\·\·\·\·\left(45\right)$

这里，

和 表示左图像的特征(u，v)邻近的亮度值的平均值和标准偏差。这里， 和 表示右图像的特征(u′，v′)邻近的亮度值的平均值和标准偏差。此外，α和β是表示W的近旁的下标。

通过利用这些类似度或非类似度的值，能够考虑各个匹配的质量或可靠性。例如，在考虑了SAD的情况下，如果该SAD的值在对应点附近得到峰值尖锐的小值，则可以说该对应点的可靠性高。对这样判断为最佳的每个对应点，要考虑其可靠性。决定了该对应点(u′，v′)。当然，在考虑可靠性的情况下，也可以使得

对应点(u′，v′)：可靠性在阈值以上

无对应点：可靠性低于阈值。

在这样考虑可靠性的情况下，当然在左图像或右图像中存在具有未对应点的像素。

将这样提取出的对应特征(u，v)和(u′，v′)注册为式(41)所示的(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)即可。

这样，取得对应的右图像内的特征如图30所示。在图30中，○(白圈)所示的点168表示这样取得对应的右图像内的特征点。

返回到图23的流程图，在步骤S55中，特征提取装置118还检查上述步骤S54中注册的特征对的数目和可靠性。这里，在注册的特征对的数目少于某个规定数目的情况下，判断为拍摄到的立体图像不合适。因此，转移到上述步骤S51，再次重复摄影处理等。该摄影处理的重复，是根据特征提取装置118的输出数据、按照从控制装置112发出的控制指令来进行。这一点在图17、图33、图36及图40的结构中也同样。

另一方面，在判断为得到了有可靠性的特征对的情况下，将特征对的集合送出到校准偏差判定装置120。

接着，在步骤S56中，进行校准偏差判定装置120的处理。

这里，利用校准数据存储装置8中存储的校准数据、和上述步骤S54中注册的特征对的集合 $A=\{(\left(u_i^L{,v}_i^L\right),\left(u_i^R{,v}_i^R\right)):i=\mathrm{1,2}...n\},$ 来判定校准偏差是否显著。

这里，说明校准偏差判定方法。

作为校准偏差判定方法1，对于上述步骤S54中注册的n个特征，利用根据事先得到的校准数据调整过的特征对的图像坐标值。即，假设完全没有校准数据的偏差，则注册的特征对完全满足核线约束。反过来说，在产生了校准偏差的情况下，可以判断为不满足该核线约束。因此，对整个特征对，将不满足核线约束的程度作为评价值，来判定校准偏差。

即，对于各特征对I，设与核线约束的偏差量为d_i，来计算

$d_i=|v_i^L-v_i^R|\·\·\·\·\·\·\left(46\right).$

然后，通过下式

$\stackrel{\‾}{d}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|v_i^L-v_i^R|\·\·\·\·\·\·\left(47\right)$

来计算所有特征对的平均值。然后，在该平均值 d大于规定阈值threshold的情况下，判定为校准偏差很显著。

图31A及图31B示出了这种状况。在图31A及图31B中，各特征与核线的偏差d_i对应于特征点离核线的图像内距离。

接着，说明校准偏差判定方法2。

用上述判定方法1中说明过的方法，在对应搜索的可靠性高的情况下能得到良好的结果，但是在对应搜索结果中有可能包含可靠性低的结果的情况下，认为在用下式(48)算出的各特征的差异中，有可能包含很多噪声分量。

$d_i=|v_i^L-v_i^R|\·\·\·\·\·\·\left(48\right).$

在这种情况下，通过预先去除被认为是噪声分量的异常值后取平均的作业，来判定校准偏差的方法很有效。

即，设以这种形式排除了异常值后的特征对的集合为B，并通过下式

${\stackrel{\‾}{d}}_B=\frac{1}{m}\underset{i\∈B}{\mathrm{\Σ}}{d}_i=\frac{1}{m}\underset{i\∈B}{\mathrm{\Σ}}|v_i^L-v_i^R|......\left(49\right)$

来计算B内的d_i的平均值即可。这里，m表示集合B的元素数。在该平均值 d_B大于规定的阈值threshold时，判定为校准偏差很显著。

返回到图23的流程图，在步骤S57中，用偏差结果呈现装置122来呈现上述步骤S56中判定出的结果。

图32示出偏差结果呈现装置122的一例。在本例中，将显示装置220(后面将结合图41来描述)用作偏差结果呈现装置122，更具体地说，由显示器或LCD监视器等构成。当然，该显示器可以是别的用途的显示器，也可以利用该显示器的画面一部分来显示偏差结果，为了显示偏差结果，也可以是切换画面显示模式的类型。

本发明实施方式的该偏差结果呈现装置122能够通过与上述校准偏差判定部协作，来显示正在进行偏差检测的处理的意思；此外，能够显示表示作为偏差检测的处理结果而得到的参数和上述校准数据保持部中预先保持的参数之间的差异的信息；再者，在未能进行正规的偏差检测时能够显示表示该意思的差错码。

在图32的显示中，有3个栏A、B、C，在各个栏中显示结果。

栏A的部分在校准偏差检测中闪烁；在得到偏差检测的结果时，在栏B的部分显示偏差量的大小和判定结果等。此外，在栏C的部分，显示与偏差检测有关的状态。作为状态，显示前述步骤S55中所示的中间结果、或与偏差检测有关的差错码等。

通过采用这种方法，能够将偏差检测的各种模式或处理结果有效地通知给用户或维护立体摄影装置等的作业者等。

其他偏差检测结果的呈现方法有用声音来呈现、用警报或声源来呈现等。

[第7实施方式]

接着，本发明第7实施方式说明不进行调整来进行偏差检测的方法。

在前述第6实施方式中，对输入的左及右图像实施调整处理后，利用核线约束，将特征满足核线约束的程度作为判断材料，来检测与摄影装置的内部校准参数有关的校准偏差。

相反，在第7实施方式中，描述不进行调整处理来检测与摄影装置的内部校准参数有关的校准偏差的方法。

图33是本发明第7实施方式的校准偏差检测装置的基本结构例的方框图。

其中，在以下所述的实施方式中，对与前述第6实施方式相同的部位附以相同的标号，并省略其说明。

在图33中，校准偏差检测装置170对拍摄立体图像后应检测校准偏差的摄影装置128是否有校准偏差进行检测。

校准偏差检测装置170由控制装置112、状况判断装置114、特征提取装置118、校准偏差判定装置120、偏差结果呈现装置122(已结合图32描述过了)、以及校准数据存储装置124构成。即，从图17所示结构的校准偏差检测装置110中除去了调整处理装置116。

这里，校准偏差检测装置170内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

接着，参照图34的流程图，来说明第7实施方式的校准偏差检测装置的工作。

在步骤S61中判断现时是否应检测校准偏差，在后续的步骤S62中用摄影装置128来拍摄立体图像。这些步骤S61及S62的工作与前述图23的流程图中的步骤S51及S52相同，所以省略其详细说明。

接着，在步骤S63中，对上述步骤S62中拍摄到的立体图像，提取校准偏差检测所需的特征。该处理由特征提取装置118来进行。

特征提取装置118与前述第6实施方式的情况同样，如图26所示，具有特征选择部118a和特征对应搜索部118b。这样得到的特征对的数据被注册为左右图像调整后的图像坐标值。

例如，在以左图像和右图像对应的形式得到n个特征点的对的情况下，可以以

$A=\{((u_i^L,v_i^L),(u_i^R,v_i^R)):i=\mathrm{1,2},...n\}\·\·\·\·\·\·\left(50\right)$

的形式来表现。

这里，详细说明第7实施方式的上述特征提取装置118的特征选择部118a及特征对应搜索部118b。

首先，在透镜失真很显著的情况下，特征选择部118a对立体摄影装置128拍摄到的图像进行通过失真校正处理来除去失真分量的操作。

接着，在一个图像、例如左图像中，选择对校准偏差检测可能有效的特征。例如，作为特征，在将特征点作为候选时，首先，如前述图27所示，将调整过的左图像分割为由M×N个正方形组成的小块。然后，从该各块内的图像中，提取至多1个角点等特征点。该方法与前述第6实施方式的情况相同。

接着，说明特征对应搜索部118b。

特征对应搜索部118b的功能是，对于特征选择部118a从一个图像中选择出的特征，在另一个图像内提取对应的特征。该特征对应搜索部118b通过以下方法来搜索对应的特征。

这里，说明搜索范围的设定。

拍摄到的图像使用校准数据存储装置124过去存储的校准数据，所以在有校准偏差的情况下，在核线上不一定有对应点。因此，与前述第6实施方式的情况同样，对应搜索的范围有时被设定为对设想的最大校准偏差也适合的对应搜索范围。实际上，准备了与左图像内的特征(u，v)对应的右图像内的位于核线上下的区域。

图35A、图35B示出了该设定，设置了位于核线144的上下方向的宽度2W_v进行了搜索。

接着，说明基于区域匹配的对应搜索。

在通过前述搜索范围的设定而决定的搜索区域内，搜索最佳的对应。搜索最佳对应的方法例如有J.Weng，et al，Motion and Structurefrom Image Sequence，Springer-Verlag，pp.7-64，1993中示出的方法等。或者，也可以是前述第6实施方式中说明过的方法。

返回到图34的流程图，在步骤S64中，特征提取装置118还检查上述步骤S63中注册的特征对的数目和可靠性。在注册的特征对的数目少于某个规定的数目的情况下，判定为拍摄到的立体图像不合适。在此情况下，转移到上述步骤S61，重复摄影处理等。另一方面，在判断为得到了有可靠性的特征对的情况下，将特征对的集合送出到校准偏差判定装置120。

接着，在步骤S65中，用校准偏差判定装置6来进行校准的判定。

这里，利用校准数据存储装置中存储的校准数据、和上述步骤S63中注册的特征对的集合 $A=\{((u_i^L,v_i^L),(u_i^R,v_i^R)):i=\mathrm{1,2},...n\},$ 来判定校准偏差是否显著。

这里，说明第7实施方式的校准偏差判定方法。

作为判定方法1，对上述步骤S63中注册的n个特征，利用根据事先得到的校准数据调整过的特征对的图像坐标值。即，假设完全没有校准数据的偏差，则注册的特征对完全满足核线约束。反过来说，在产生校准偏差的情况下，可以判断为不满足该核线约束。因此，对整个特征对，将不满足核线约束的程度作为评价值，来判定校准偏差。

即，对各特征对(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)，计算与核线约束的偏差量d_i。具体地说，在设与(u_i ^L，v_i ^L)对应的右图像中的核线为au′+bv′+c＝0时，计算右对应点(u_i ^R，v_i ^R)的偏差程度。即，计算

$d_i=\frac{|{\mathrm{au}}_i^R+b{v}_i^R+c|}{\sqrt{a^2+b^2}}\·\·\·\·\·\·\left(51\right)$

然后，通过下式

$\stackrel{\‾}{d}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i\·\·\·\·\·\·\left(52\right)$

来计算所有特征对的平均值，在该平均值 d大于规定的阈值threshold时，判定为校准偏差很显著。

接着，说明校准偏差判定方法2。

用前述判定方法1的方法，在对应搜索的可靠性高的情况下能得到良好的结果，但是在对应搜索结果中有可能包含可靠性低的结果的情况下，认为在用下式(53)算出的各特征的差异中，有可能包含很多噪声分量。

$d_i=\frac{|a{u}_i^R+b{v}_i^R+c|}{\sqrt{a^2+b^2}}\·\·\·\·\·\·\left(53\right)$

在这种情况下，通过在预先去除被认为是噪声分量的异常值后取平均的作业，来判定校准偏差的方法很有效。

即，设以这种形式排除异常值后的特征对的集合为B，并通过下式

${\stackrel{,}{d}}_B=\frac{1}{m}\underset{i\∈B}{\mathrm{\Σ}}{d}_i\·\·\·\·\·\·\left(54\right)$

来计算B内的d_i的平均值即可。这里，m表示集合B的元素数。在该平均值 d_B大于规定的阈值threshold时，判定为校准偏差很显著。

返回到图34的流程图，在步骤S66中，用偏差结果呈现装置122来呈现上述步骤S65中判定出的结果。显示方法与前述第6实施方式相同，所以这里从略。

根据该第7实施方式，能够缩短调整处理花费的时间。在特征点数可以很少的情况下特别有效。

[第8实施方式]

接着，本发明第8实施方式说明摄影装置和外部装置间的校准偏差。

在该第8实施方式中，说明在用于规定校准中的基准位置的规定的外部装置和摄影装置间的位置姿态产生偏差时、检测是否发生了该校准偏差的装置。

图36是本发明第8实施方式的校准偏差检测装置的基本结构例的方框图。

在图36中，校准偏差检测装置174对拍摄立体图像后应检测校准偏差的摄影装置128是否有校准偏差进行检测。

校准偏差检测装置174由控制装置112、状况判断装置114、特征提取装置118、校准偏差判定装置120、偏差结果呈现装置122、以及保持校准数据的校准数据存储装置124构成。即，该校准偏差检测装置174与图33所示的第7实施方式的校准偏差检测装置170在结构上相同。

这里，校准偏差检测装置174内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

其中，为了检测与摄影装置128和外部装置间的位置姿态校准参数有关的校准偏差，以用于规定基准位置的规定的外部装置为基准，需要其场所已知的已知特征。

然后，除了上述式(17)及(19)所示的内部参数p和外部参数e′以外，还需要多个已知特征k的与外部装置相对的三维位置(x_k，y_k，z_k)的信息，这些数据作为校准数据的一部分被存储在校准数据存储装置124中。

例如，考虑在外部装置即车辆上安装立体摄影装置、检测车辆和立体摄影装置间是否发生了校准偏差的情况。此外，假设立体摄影装置被设定成用于拍摄车辆的前方，在该摄影中，拍摄了车辆的一部分。在这种情况下，可以将与拍摄的车辆的一部分形状有关的特征注册为已知特征。

例如，图37A至图37E示出了这种配置的已知特征。此时，立体摄影装置被配置在车辆前方的挡风玻璃和后视镜之间，在立体摄影装置128拍摄的图像的下部，拍摄了车辆前方的发动机罩180，注册该发动机罩180上存在的角部或边缘点182等即可。此时，车辆上的这种特征可以根据车辆的CAD模型等来容易地得到其三维坐标。

用于得到前述特征的外部装置可以应用各种装置，作为应用装备了摄像部的车辆的特定形状部的例子，除了已有的发动机罩180上的角部或边缘点182等之外，例如也可以在挡风玻璃的一部分上预先配置相对位置已知的标记作为已知特征，预先计测这些三维位置，使得能够用立体摄影装置来拍摄它们中的全部或一部分。

图37A是拍摄的左图像的示例图，图37B是用黑点184来表示选择为已知特征的特征的图。

其中，这里只示出了3个点作为已知特征，但是该数目至少有1个以上，而且是多个也没有关系。此外，特征也可以不是特征点，而是曲线。

图37C是在挡风玻璃186的一部分上配置了已知特征即黑点已知标记的状况的示例图。在该图中，已知标记组被配置得能够在左右摄像机内拍摄其全部或其一部分。此外，如图37D及图37E所示，这些标记组被配置得映入立体左右图像的图像周边部，被设计成不映入成为重要影像的中心部。

接着，参照图38的流程图，来说明第8实施方式的校准偏差检测装置的工作。

在步骤S71中判断当前时刻是否应检测校准偏差，在后续的步骤S72中用摄影装置128来拍摄立体图像。这些步骤S71及S72的工作与前述图23的流程图中的步骤S51及S52、图34的流程图中的步骤S61及S62相同，所以省略其详细说明。

接着，在步骤S73中，对上述步骤S72中拍摄到的立体图像，提取校准偏差检测所需的已知特征。该处理由特征提取装置118来进行。特征提取装置118从拍摄到的立体图像中提取检测校准偏差所需的已知特征和其对应的特征。

例如，在以左图像和右图像对应的形式得到m个已知特征的对的情况下，可以以

$B=\{((u_k^{\′L},v_k^{\′L}),(u_k^{\′R},v_k^{\′R})):k=\mathrm{1,2}...m\}\·\·\·\·\·\·\left(55\right)$

的形式来表现。

其中，如前述第6实施方式中说明过的那样，提取已知特征的方法可以采用下述方法：在假定图像未发生校准偏差的情况下，将搜索范围扩大到各特征规定的核线的周边，来提取对应的已知特征。

此外，在已知特征的数目少的情况下，除此之外，拍摄前述第6或第7实施方式中说明过的、图像内拍摄到的特征(将它们称为自然特征)，并提取其对应特征。

例如，设这样提取出的自然特征的集合为n个特征的集合，并用

$A=\{((u_i^L,v_i^L),(u_i^R,v_i^R)):i=\mathrm{1,2},...n\}\·\·\·\·\·\·\left(56\right)$

来表示。

这样提取出的特征的集合A及B如图39A、图39B所示。在图39A、图39B中，黑点190表示已知特征，白圆圈192表示自然特征。

接着，在步骤S74中，特征提取装置118还检查上述步骤S73中注册的特征对的数目和可靠性。在注册的特征对的数目少于某个规定的数目的情况下，判定为拍摄到的立体图像不合适。在此情况下，转移到上述步骤S71，重复摄影处理等。另一方面，在判断为得到了具有可靠性的特征对的情况下，将特征对的集合送出到校准偏差判定装置120。

在后续的步骤S75中，利用以下的子步骤SS1和SS2，来估计是否有校准偏差。即，通过子步骤SS1和SS2来进行以下2种判定。

1)判定立体摄影装置的内部校准参数是否发生了校准偏差；

2)在1)为未发生的情况下，判定是否发生了立体摄影装置和外部装置间的位置姿态偏差带来的校准偏差。

首先，说明子步骤SS1。

在立体图像内，首先，利用已知特征，来判定该已知特征在图像内是否位于应处的位置。

为此，如下判定校准数据存储装置124记录的己知特征k的三维位置(x_k ^O，y_k ^O，z_k ^O)是否位于立体摄像机拍摄到的图像内的位置。

现在，设外部装置的坐标系为O，假设在该坐标系中注册了已知特征的三维位置(x_k ^O，y_k ^O，z_k ^O)，计算与该点有关的左摄像机坐标系L中的三维位置坐标(x_k ^L，y_k ^L，z_k ^L)和右摄像机坐标系中的三维位置坐标(x_k ^R，y_k ^R，z_k ^R)的位置。

$\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]=R_O^L\left[\begin{array}{c}{x}_k^O\\ y_k^O\\ z_k^O\end{array}\right]+T_O^L=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{c}{x}_k^O\\ y_k^O\\ z_k^O\end{array}\right]+\left[\begin{array}{c}{t}_x^{\′}\\ t_y^{\′}\\ t_z^{\′}\end{array}\right]\·\·\·\·\·\·\left(57\right)$

$\left[\begin{array}{c}{x}_k^R\\ y_k^R\\ z_k^R\end{array}\right]=R_L^R\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]+T_L^R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]\·\·\·\·\·\·\left(58\right)$

接着，对它们计算用上述式(7)及式(8)那样的式子算出的图像内的投影位置(u″_k ^L，v″_k ^L)、(u″_k ^R，v″_k ^R)。

当然该图像内的位置是假定校准数据完全正确的情况下成立的式子。因此，通过计算上述式(55)的集合B所示的图像内的位置、和假定校准数据正确的情况下的图像位置之差，能够判定是否发生了校准偏差。

即，在各图像中计算图像内的差：

$\left\{\begin{array}{c}{f}_k^L=\sqrt{{(u_k^{\′L}-u_k^{\′\′L})}^2+{(v_k^{\′L}-v_k^{\′\′L})}^2}\\ f_k^R=\sqrt{{(u_k^{\′R}-u_k^{\′\′R})}^2+{\left(v_k^{\′R}-v_k^{\′\′R}\right)}^2}\end{array}\right.\·\·\·\·\·\·\left(59\right)$

判定

$f_k^L>\mathrm{threshold}$ 或 $f_k^R>\mathrm{threshold}\·\·\·\·\·\·\left(60\right)$

是否成立。这里，在超过了阈值threshold的情况下，可知至少发生了校准偏差。

此外，与第6实施方式中说明过的同样，也可以将异常值除去等处理包含在其中。即，在m个已知特征中至少s个(s≤m)满足上述式(60)所示的不等式的情况下，判断为发生了校准偏差。

即，能够用子步骤SS1来判定是否至少发生了校准偏差。

接着，说明子步骤SS2。

在子步骤SS2中，在前述子步骤SS1中发生了校准偏差时，判断它至少起因于立体摄影装置的内部校准偏差、还是起因于与立体摄影装置和外部装置间的位置姿态关系有关的校准偏差。

为此，以上述式(55)的集合B和式(56)的集合A中的某一个、或者两者A及B的特征是否使前述第1或第2实施方式中说明过的核线约束成立作为判定基准，来判定是否发生了内部校准偏差。即，用上述式(47)、(49)或式(52)、(54)来判定即可。

在判定为没有与摄影装置的内部有关的校准偏差的情况下，在子步骤SS1中判定为有校准偏差的情况下，可以判定为校准偏差是基于立体摄影装置和外部装置间的位置姿态偏差的校准偏差。

另一方面，在子步骤SS2中也判定为有校准偏差的情况下，可知校准偏差确实有内部校准偏差。

返回到图38的流程图，在步骤S76中，用偏差结果呈现装置122来呈现上述步骤S75中判定出的结果。在该第8实施方式中，能够检测多个校准偏差的种类，所以也可以包含该信息来进行显示。显示方法与前述第6实施方式相同，所以这里从略。

这样，根据第8实施方式，也能够检测立体摄影装置和外部装置间的位置姿态校准的偏差。

[第9实施方式]

接着，第9实施方式说明摄影装置拍摄多次并利用该图像的情况。

在前述第6至第8实施方式中，设想了立体摄像装置拍摄的图像是1次，但是在本第9实施方式中，为了使校准偏差的检测更可靠，用立体摄影装置摄影多次，利用该多次摄影得到的特征(自然特征或已知特征)。

在本第9实施方式中，说明该方法。校准偏差检测装置的基本结构与前述第6至第8实施方式所示的相同。

伴随多次摄影来检测校准偏差的方法，可以是以下2种方法中的任一种。

作为第1种方法，立体图像装置摄影多次，并利用该多次摄影来检测偏差。在本方法中，从多次拍摄到的立体图像中提取自然特征或已知特征，如果将它们看作式(55)的集合B和式(56)的集合A所示的特征的集合，则能够与前述第6至第8实施方式同样来进行所有处理。

作为第2种方法，在多次摄影中的第1次中进行偏差检测，在第2次以后进行其验证。即，只要在第1次中检测出偏差，则重新判定是否真正有偏差。第1次、第2次以后的处理与前述第6至第8实施方式的情况相同，所以省略该方法的详细说明。

接着，说明方法的变形。

以上，说明了利用位于立体摄影装置能够拍摄到的地方的已知特征来进行偏差检测的方法，但是此外也可以考虑配置已知特征的变形。

即，以外部装置为基准来配置其位置已知的校准板，用立体摄影装置也能够拍摄位于该校准板内的已知标记的位置。在此情况下，如本第9实施方式中说明过的那样，例如检测校准偏差的作业员将该校准板配置成与外部装置相对，使状况判断装置判断它来进行校准偏差检测处理即可。

这样，根据第9实施方式，能够更坚固地、更可靠地进行校准偏差的检测。

[第10实施方式]

接着，第10实施方式说明应用于车载的例子。

在前述第6至第9实施方式中，省略了状况判断装置的详细说明，但是在本第10实施方式中，以该状况判断装置的功能为中心来进行说明。

图40是本发明第10实施方式的校准偏差检测装置的基本结构例的方框图。

本第10实施方式与前述第6至第9实施方式的不同在于，从外部传感器202向校准偏差检测装置200内的状况判断装置114供给各种传感器输出的信号。此外，不同点还有，在必要时，将与校准偏差检测有关的信息送出到校准数据存储装置124，将该信息写入到校准数据存储装置124中。与其他结构及整体结构有关的的处理步骤与前述第6至第8实施方式中说明过的相同，所以省略其说明。

以下，作为状况判断装置114的应用，说明在车辆上安装了立体摄影装置的情况。当然很明显，本方式并不限于车辆用的车载立体摄影装置，也可以应用于其他监视摄像机系统等。

在状况判断装置114上连接的外部传感器202有以下传感器。即，里程计、时钟或计时器、温度传感器、车辆倾斜计测传感器或陀螺传感器、车速传感器、发动机起动传感器、日照传感器、雨滴传感器等。

状况判断装置114用以下条件，根据车载应用所需的条件，来判定当前是否需要检测校准偏差。

此外，作为校准数据存储装置8存储的校准数据，包含过去进行校准时的参数p、e′或已知特征的数据等来写入以下信息。即，过去进行的立体摄影装置的内部校准参数p、过去进行的立体摄影装置和外部装置间的位置姿态校准参数e′、过去进行的已知特征的三维位置、过去进行校准时的车辆行驶距离、过去进行校准时的日期时间和时刻、过去进行校准时的外部温度、过去进行校准检测时的车辆行驶距离、过去进行校准检测时的日期时间和时刻、过去进行校准检测时的外部温度等。

接着，说明前述状况判断装置114应如何进行校准检测的状况判断的方法。

在本装置中，作为进行校准偏差检测的条件，说明在车辆停止时进行、在从以前检测出偏差时起经过了一定时间T后进行、晴天白天进行等3个条件成立时进行的情况。

首先，为了满足第1个条件，用车速传感器或陀螺传感器等来确认车辆未移动。接着，为了满足第2个条件，计算过去进行校准偏差检测时的时刻和根据时钟等算出的当前时刻之间的时间差。对于第3个条件，利用日照传感器或雨滴传感器等，来判断是否满足条件。

这样，执行了校准偏差检测后，其结果被送出到偏差结果呈现装置122。此外，在必要时，将校准偏差检测结果写入到校准数据存储装置124中。

通过采用以上方法，本校准偏差检测装置能够应用于车载等。

[第11实施方式]

接着，本发明第11实施方式说明应用了校准偏差检测装置的立体摄像机的例子。

图41是本发明第11实施方式的应用了校准偏差检测装置的立体摄像机的结构框图。这里，说明立体摄像机被搭载在车辆上的例子。

该立体摄像机包括距离图像输入装置210、控制装置212、物体识别装置214、驾驶装置216、警告装置218、显示装置220、车速传感器222、测距雷达224、照度传感器226、外部摄像机228、GPS230、VICS232及外部通信装置234。

上述距离图像输入装置210包括下述部分：立体适配器摄像机246，由拍摄被摄体240的摄像装置242、和在该摄像装置242的前端安装的立体适配器224组成；和距离图像处理装置248，计测上述被摄体240的距离图像。

上述显示装置220与包含校准装置256的距离图像处理装置248以及控制装置212在功能上结合，用于使用户(驾驶员)能识别与校准装置256(其内部的校准偏差检测部)或运算部(距离计算装置254)、以及上述摄像部(摄像装置242)的输出关联的所需的显示，也作为前面结合图32描述过的偏差结果呈现装置以及该装置的一部分来工作。

上述摄像装置242与一般的摄像机、数字照相机等同样，由摄像光学系统242a、摄影光圈调整系统(未图示)、摄影调焦装置(未图示)、摄影快门速度调整装置(未图示)、摄像器件(未图示)、以及灵敏度调整装置(未图示)构成。再者，在该摄像装置242上，安装了立体适配器244。

该立体适配器244具有光路分割装置244a。该光路分割装置244a被安装在摄像装置242的摄像光学系统242a的前方，能够将来自不同视点的被摄体240的像成像在摄像器件上。这样用摄像装置242拍摄到的立体图像被供给到距离图像处理装置248。

距离图像处理装置248具有帧存储器250、调整装置252、距离计算装置254、以及校准装置256。

从上述摄像装置242供给的立体图像被输入到帧存储器250中，进而被供给到调整装置252。从该调整装置252向距离计算装置254输出左图像及右图像。距离计算装置254经控制装置212向物体识别装置214输出三维距离图像，作为距离图像输出。

此外，从校准装置256向调整装置252输出调整参数，向距离计算装置254输出距离计算参数，向物体识别装置214输出物体识别用参数。

其中，该立体摄像机的结构与本案申请人先前在(日本)特愿2003-48324号中提出的结构大致相同。

这样，也能够用作车辆上搭载的立体摄像机。

在以上说明过的第6至第11实施方式中，检测与由2台摄像机构成的立体摄影装置有关的校准偏差，但是不言自明，能够将其应用于由2台以上的摄像机构成的立体摄影装置(即，多眼立体摄影装置)。即，对构成多眼立体摄影装置的n台摄像机，对于其每2台组成的对，利用前述实施方式中说明过的方法，能够同样检测校准偏差。

[第12实施方式]

接着，第12实施方式说明摄影装置自身的内部校准。

图42是本发明的校准偏差校正装置的第1基本结构例的方框图。具体地说，是解决前述校准偏差校正的课题——“拍摄立体图像的摄影装置的内部校准参数的偏差校正”的装置。

在图42中，该校准偏差校正装置260具有向各部分的装置发送控制信号或者控制整个序列的控制装置262、状况判断装置264、特征提取装置266、校准数据校正装置268、校正结果呈现装置270、以及校准数据存储装置272。

该校准偏差校正装置260是拍摄立体图像、对应校正校准偏差的摄影装置276进行校准偏差校正的装置。

上述状况判断装置264用于判断是否进行校准偏差校正。上述校准数据存储装置272预先存储着摄影装置276的校准数据。

此外，上述特征提取装置266用于从上述摄影装置276拍摄到的立体图像中提取立体图像内对应的特征。校准数据校正装置268利用特征提取装置266提取出的特征和校准数据，来校正校准偏差。校正结果呈现装置270报告该校正结果。

校正结果呈现装置270构成本发明的构件——校正结果呈现部，该校正结果呈现部可采用将后述显示装置作为显示器并作为自己的构件来保有的形态，但是更一般地，该校正结果呈现部不限于这种连显示器都作为自己的部分来保有的方式，有时也可仅采用下述方式：根据表示校准偏差校正装置268的校正结果的信号，来生成用于呈现校正结果的输出信号以及数据。

图43是本发明的校准偏差校正装置的第2基本结构例的方框图。

在图43中，该校准偏差校正装置280具有控制装置262、状况判断装置264、特征提取装置266、校准数据校正装置268、校正结果呈现装置270、校准数据存储装置272、以及调整处理装置282。

上述调整处理装置282用于对摄影装置276拍摄到的立体图像进行调整处理。这里，特征提取装置266从进行过调整处理的立体图像中提取立体图像内对应的特征。其他结构与前述图42的校准偏差校正装置260相同，所以省略其说明。

图42所示的第1基本结构、和图43所示的第2基本结构的差异是，是否是包含对立体图像进行调整处理的调整处理装置282的结构。

其中，校准偏差校正装置260及280内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

这里，在具体说明第12实施方式前，概要说明本发明中重要的与立体摄影有关的技术内容。

[数学预备知识和摄像机模型]

首先，如果利用立体图像、用摄像装置来拍摄图像，则该图像由摄像装置内的摄像器件(例如CCD或CMOS等半导体元件)成像为图像，并且成为图像信号。该图像信号是模拟或数字信号，但是在校准偏差校正装置内为数字图像数据。数字数据可以表现为二维数组，当然也可以是六边形细密填充的蜂窝构造的二维数组。

在摄影装置发送模拟图像的情况下，在校准偏差校正装置内或该装置外准备帧存储器，将该图像变换为数字图像。假定在校准偏差校正装置内规定的图像的像素可以定义为正方或长方格子状。

现在，用(u，v)等二维坐标来表现图像的坐标。

首先，如图44所示，拍摄立体图像的摄影装置276由左右2台摄像机286a、286b构成。此外，设规定拍摄左图像的摄像机286a的坐标系为左摄像机坐标系L，拍摄右图像的坐标系为右摄像机坐标系R。此外，作为立体图像，用(u^L，v^L)来表现左摄像机内的图像坐标，用(u^R，v^R)等来表现右摄像机内的图像坐标值。其中，设288a、288b分别为左摄像机图像面、右摄像机图像面。

此外，也可以定义整个摄影装置276规定的基准坐标系。将该基准坐标系例如设为W。当然，很明显，作为基准坐标系，也可以采用其中一个摄像机坐标系L或R。

以上，考虑了摄影装置通过用2台摄像机进行立体摄影来生成立体图像，但是除此之外也有生成立体图像的方法。例如，有在1台摄像机前安装立体适配器、同时将左右图像拍摄到1台CCD或CMOS等摄像器件中的方法(例如参照本案申请人的(日本)特开平8-171151号公报等)。

在这种立体适配器的情况下，如图45A及图45B所示，用具有左反射镜组290a、右反射镜组290b的立体适配器拍摄的图像，好像存在2台摄像装置、2台帧存储器那样，可以展开为普通的立体摄像机。

本发明的立体摄影可以是这样用2台或2台以上的多个摄像机拍摄的立体图像。或者，也可以是利用立体适配器拍摄的立体图像。

接着，考虑用针孔摄像机对摄像装置和帧存储器的光学特性进行模型化的情况。

即，设与左图像关联的针孔摄像机模型的坐标系为左摄像机坐标系L，与右图像关联的针孔摄像机模型的坐标系为右摄像机坐标系R。此外，假设左摄像机坐标系L内的点为(x^L，y^L，z^L)，其图像对应点为(u^L，v^L)，右摄像机坐标系R内的点为(x^R，y^R，z^R)，其图像对应点为(u^R，v^R)，则一边考虑图44所示的摄像机位置C^L、C^R，一边如下式所示来求。

$\left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L\frac{x^L}{z^L}+u_0^L\\ v^L={\mathrm{\α}}_v^L\frac{y^L}{z^L}+v_0^L\end{array}\right.,\left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R\frac{x^R}{z^R}+u_0^R\\ v^R={\mathrm{\α}}_v^R\frac{y^R}{z^R}+v_0^R\end{array}\right.\·\·\·\left(61\right)$

这里，(α_u ^L，α_v ^L)是左摄像机系统的纵及横向的图像放大倍数，(u₀ ^L，v₀ ^L)是图像中心，(α_u ^R，α_v ^R)是右摄像机系统的纵及横向的图像放大倍数，(u₀ ^R，v₀ ^R)是图像中心。如果将它们表现为矩阵，设w^L、w^R为中间变量，则也可以表示为

$\begin{array}{c}{w}^L\left[\begin{array}{c}{u}^L\\ u^L\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_v^L& 0& u_0^L\\ 0& {\mathrm{\α}}_v^L& v_0^L\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right],\\ w^R=\left[\begin{array}{c}{u}^R\\ u^R\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_u^R& 0& u_0^R\\ 0& {\mathrm{\α}}_v^R& v_0^R\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^R\\ y^R\\ z^R\end{array}\right]\end{array}\·\·\·\left(62\right)$

设用基准坐标系定义的点P(x，y，z)在左图像内的位置为(u^L，v^L)，在右图像内的位置为(u^R，v^R)，可以考虑与左图像中设想的摄像装置和帧存储器对应的左摄像机286a在基准坐标系中的位置C_L(左摄像机坐标系的原点)、和与右图像中设想的摄像装置和帧存储器对应的右摄像机286b在基准坐标系中的位置C_R(右摄像机坐标系的原点)。此时，从基准坐标系W的点P(x，y，z)投影到左(u^L，v^L)的变换式、和从同一点投影到右(u^R，v^R)的变换式可以如下表示。

$\left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L\frac{r_{11}^{L}x+r_{12}^{L}y+r_{13}^{L}z+t_x^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}+u_0^L\\ v^L={\mathrm{\α}}_v^L\frac{r_{21}^{L}x+r_{22}^{L}y+r_{23}^{L}z+t_y^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}+v_0^L\end{array}\right.\·\·\·\left(63\right)$

$\left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R\frac{r_{11}^{R}x+r_{12}^{R}y+r_{13}^{R}z+t_x^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}+u_0^R\\ v^R={\mathrm{\α}}_v^R\frac{r_{21}^{R}x+r_{22}^{R}y+r_{23}^{R}z+t_y^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}+v_0^R\end{array}\right.\·\·\·\left(64\right)$

这里， $R^L=\left({r_{\mathrm{ij}}}^L\right),T^L={[{t_x}^L,{t_y}^L,{t_z}^L]}^t$ 是构成从基准坐标系到左摄像机坐标系L的坐标变换的各个3×3旋转矩阵和平移矢量。此外， $R^R=\left({r_{\mathrm{ij}}}^R\right),$ $T^R={[{t_x}^R,{t_y}^R,{t_z}^R]}^t$ 是构成从基准坐标系到右摄像机坐标系R的坐标变换的各个3×3旋转矩阵和平移矢量。

[失真校正]

另一方面，在摄像装置的光学透镜等的透镜失真对三维计测要求的精度不能忽略的情况下，需要考虑包含透镜失真的光学系统。在此情况下，上述式(63)、(64)可以用以下所示的式(66)、(67)来表现。在该式中，在表现透镜失真时表示的是径向失真和切向失真，当然也可以是其他失真表现。

这里，在设与左右摄像机的透镜失真有关的参数为

$\left\{\begin{array}{c}{d}^L=(k_1^L,g_1^L,g_2^L,g_3^L,g_4^L)\\ d^R=(k_1^R,g_1^R,g_2^R,g_3^R,g_4^R)\end{array}\right.\·\·\·\left(65\right)$

时，以下式子成立：

$\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_p^L=\frac{x^L}{z^L}=\frac{r_{11}^{L}x+r_{12}^{L}y+r_{13}^{L}z+t_x^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}\\ {\tilde{v}}_p^L=\frac{y^L}{z^L}=\frac{r_{21}^{L}x+r_{22}^{L}y+r_{23}^{L}z+t_y^L}{r_{31}^{L}x+r_{32}^{L}y+r_{33}^{L}z+t_z^L}\end{array}\right.\\ \left\{\begin{array}{c}{\tilde{u}}_d^L={\tilde{u}}_p^L+(g_1^L+g_3^L){\left({\tilde{u}}_p^L\right)}^2+g_4^L{\tilde{u}}_p^L{\tilde{v}}_p^L+g_1^L{\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{u}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\·\·\·\left(66\right)\\ {\tilde{v}}_d^L={\tilde{v}}_p^L+g_2^L{\left({\tilde{u}}_p^L\right)}^2+g_3^L{\tilde{u}}_p^L{\tilde{v}}_p^L+(g_2^L+g_4^L){\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{v}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^{2\begin{array}{c}\\ \end{array}})\end{array}\right.\\ \left\{\begin{array}{c}{u}^L={\mathrm{\α}}_u^L{\tilde{u}}_d^L+u_0^L\\ v^L={\mathrm{\α}}_v^L{\tilde{v}}_d^L+v_0^L\end{array}\right.\end{array}$

$\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_p^R=\frac{x^r}{z^R}=\frac{r_{11}^{R}x+r_{12}^{R}y+r_{23}^{R}z+t_y^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}\\ {\tilde{v}}_p^R=\frac{y^R}{z^R}=\frac{r_{21}^{R}x+r_{22}^{R}y+r_{23}^{R}z+t_y^R}{r_{31}^{R}x+r_{32}^{R}y+r_{33}^{R}z+t_z^R}\end{array}\right.\\ \left\{\begin{array}{c}{\tilde{u}}_d^R={\tilde{u}}_p^R+(g_1^R+g_3^R){\left({\tilde{u}}_p^R\right)}^2+g_4^R{\tilde{u}}_p^R{v}_p^R+g_1^R{\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{u}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\·\·\·\left(67\right)\\ {\tilde{v}}_d^R={\tilde{v}}_p^R+g_2^R{\left({\tilde{u}}_p^R\right)}^2+g_3^R{\tilde{u}}_p^R{\tilde{v}}_p^R+(g_2^R+g_4^R){\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{v}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\end{array}\right.\\ \left\{\begin{array}{c}{u}^R={\mathrm{\α}}_u^R{\tilde{u}}_d^R+u_0^R\\ v^R={\mathrm{\α}}_v^R{\tilde{v}}_d^R+v_0^R\end{array}\right.\end{array}$

这里， $({{\tilde{u}}_p}^L,{{\tilde{v}}_p}^L),({{\tilde{u}}_d}^L,{{\tilde{v}}_d}^L)$ 和 $({{\tilde{u}}_p}^R,{{\tilde{v}}_p}^R),({{\tilde{u}}_d}^R,{{\tilde{v}}_d}^R)$ 是用于表现透镜失真的中间参数，是左及右摄像机图像坐标系中的归一化过的坐标，p是表示除去失真后的归一化图像坐标的下标，d是表示除去失真前(包含失真要素)的归一化图像坐标的下标。

此外，所谓除去失真或校正失真的步骤，是指如下所述地生成图像的过程。

(校正左图像的失真)

1)对校正失真后的各图像数组(u_p ^L，v_p ^L)，计算归一化了的图像坐标。

${\tilde{u}}_p^L=\frac{u_p^L-u_0^L}{{\mathrm{\α}}_u^L},{\tilde{v}}_p^L=\frac{v_p^L-v_0^L}{{\mathrm{\α}}_v^L}\·\·\·\left(68\right)$

2)通过下式，来计算校正失真前的归一化了的图像坐标。

$\left\{\begin{array}{c}{\tilde{u}}_d^L={\tilde{u}}_p^L+(g_1^L+g_3^L){\left({\tilde{u}}_p^L\right)}^2+g_4^L{\tilde{u}}_p^L{\tilde{v}}_p^L+g_1^L{\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{u}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\\ {\tilde{v}}_d^L={\tilde{v}}_p^L+g_2^L{\left({\tilde{u}}_p^L\right)}^2+g_3^L{\tilde{u}}_p^L{\tilde{v}}_p^L+(g_2^L+g_4^L){\left({\tilde{v}}_p^L\right)}^2+k_1^L{\tilde{v}}_p^L({\left({\tilde{u}}_p^L\right)}^2+{\left({\tilde{v}}_p^L\right)}^2)\end{array}\·\·\·\left(69\right)\right.$

3)通过 $u^L={{\mathrm{\α}}_u}^L{{{\tilde{u}}_d}^L{u}_0}^L,v^L={{\mathrm{\α}}_v}^L{{\tilde{v}}_d}^L+{v_0}^L,$ 来计算校正失真前的左原图像所对应的图像坐标，利用其邻近像素等的像素值，来计算(u_p ^L，v_p ^L)的像素值。

(校正右图像的失真)

1)对校正失真后的各图像数组(u_p ^R，v_p ^R)，计算归一化了的图像坐标。

${\tilde{u}}_p^R=\frac{u_p^R-u_0^R}{{\mathrm{\α}}_u^R},{\tilde{v}}_p^R=\frac{v_p^R-v_0^R}{{\mathrm{\α}}_v^R}\·\·\·\left(70\right)$

2)通过下式，计算校正失真前的归一化了的图像坐标。

$\left\{\begin{array}{c}{\tilde{u}}_d^R={\tilde{u}}_p^R+(g_1^R+g_3^R){\left({\tilde{u}}_p^R\right)}^2+g_4^R{\tilde{u}}_p^R{v}_p^R+g_1^R{\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{u}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\\ {\tilde{v}}_d^R={\tilde{v}}_p^R+g_2^R{\left({\tilde{u}}_p^R\right)}^2+g_3^R{\tilde{u}}_p^R{\tilde{v}}_p^R+(g_2^R+g_4^R){\left({\tilde{v}}_p^R\right)}^2+k_1^R{\tilde{v}}_p^R({\left({\tilde{u}}_p^R\right)}^2+{\left({\tilde{v}}_p^R\right)}^2)\end{array}\·\·\·\left(71\right)\right.$

3)通过 $u^R={{\mathrm{\α}}_u}^R{{\tilde{u}}_d}^R+{u_0}^R,v^R={{\mathrm{\α}}_v}^R{{\tilde{v}}_d}^R+{v_0}^R,$ 来计算校正失真前的左原图像所对应的图像坐标，利用其邻近像素等的像素值，来计算与(u_p ^R，v_p ^R)对应的像素值。

[内部校准参数和校准偏差问题的定义]

设由2台摄像机构成的拍摄立体图像的摄影装置的左摄像机的坐标系为L、右摄像机的坐标系为R，来考虑这些摄像机的位置关系。坐标系L和坐标系R之间的坐标值的关系，可以利用坐标变换(旋转矩阵和平移矢量)用下式来表现。

$\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right]=R_R^L\left[\begin{array}{c}{x}^R\\ y^R\\ z^R\end{array}\right]+T_R^L\·\·\·\left(72\right)$

这里，可以用下式

$R_R^L=\mathrm{Rot}\left({\mathrm{\φ}}_z\right)\mathrm{Rot}\left({\mathrm{\φ}}_y\right)\mathrm{Rot}\left({\mathrm{\φ}}_x\right)=\left[\begin{array}{ccc}{\cos \mathrm{\φ}}_z& -{\sin \mathrm{\φ}}_z& 0\\ {\sin \mathrm{\φ}}_z& {\cos \mathrm{\φ}}_z& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{\cos \mathrm{\φ}}_y& 0& {\sin \mathrm{\φ}}_y\\ 0& 1& 0\\ {-\sin \mathrm{\φ}}_y& 0& {\cos \mathrm{\φ}}_y\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& {\cos \mathrm{\φ}}_x& {-\sin \mathrm{\φ}}_x\\ 0& {\sin \mathrm{\φ}}_x& {\cos \mathrm{\φ}}_x\end{array}\right]\·\·\·\left(73\right)$

来表示，可以将6个参数e＝(φ_x，φ_y，φ_z，t_x，t_y，t_z)表现为外部参数。

此外，如前所述，分别独立表现了左右摄像机的内部参数用下式来表示。

$\left\{\begin{array}{c}{c}^L=({\mathrm{\α}}_u^L,{\mathrm{\α}}_v^L,u_0^L,v_0^L,d^L)\\ c^R=({\mathrm{\α}}_u^R,{\mathrm{\α}}_v^R,u_0^R,v_0^R,d^R)\end{array}\·\·\·\left(75\right)\right.$

总之，由2台摄像机构成的摄影装置的情况下的摄像机参数可以利用下式

p＝(c^L，c^R，e)                   …(76)作为摄影装置的内部校准参数。

在本发明中，将该摄影装置的内部校准参数p等作为校准参数，存储在校准数据存储装置中。假设校准数据至少包含该摄像机校准参数p。但是，在可以忽略摄影装置的透镜失真的情况下，也可以忽略失真参数的部分(d^L，d^R)，或者设为零。

此外，所谓摄影装置的内部校准，可以定义为估计如上所述的摄影装置的内部参数和外部参数的组——p＝(c^L，c^R，e)的问题。此外，所谓校正校准偏差，是指校正这样设定的校准参数的值。

在此情况下，校准校正问题归结为：

(课题1-1)校正摄像机间位置姿态参数的问题，p＝e；

(课题1-2)校正立体摄影装置的所有内部参数的问题，p＝(c^L，c^R，e)，对各个课题，应校正的校准参数不同。这里，也可以考虑p＝(c^L，c^R)这一组合的校正问题，但是实际上，在用摄像机参数(c^L，c^R)描述的放大倍数、焦距、图像中心或失真参数有变动的情况下，认为e也有变动比较妥当，所以，与此情况有关的参数估计以(1-2)中进行处理为前提。

[外部校准参数和校准偏差问题的定义]

如前所述，还需要考虑摄影装置和外部装置间的校准。

在此情况下，例如将左摄像机坐标系L取作摄影装置的基准坐标系，规定左摄像机坐标系和外部装置间的位置姿态关系就相当于校准。例如，假设外部装置的坐标系为O，从外部装置坐标系O到左摄像机坐标系L的坐标变换参数如式(77)所示，则可以通过用式(78)所示的6个参数来描述其位置姿态关系。假设

$R_O^L=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right],T_O^L=\left[\begin{array}{c}{t}_x^{\′}\\ t_y^{\′}\\ t_z^{\′}\end{array}\right]\·\·\·\left(77\right)$

则可通过如下6个参数来描述其位置姿态关系。

p＝e′＝(φ′_x，φ′_y，φ′_z，t′_x，t′_y，t′_z)   …(78)

这里，φ′_x、φ′_y、φ′_z是与_LR_O有关的3个旋转分量参数。将其作为课题2。

[内部及外部校准参数和校准偏差问题的定义]

将课题(1-2)和课题(2)结合的课题、即

p＝(c^L，c^R，e，e′)             …(79)

作为课题3。该课题是校正以上说明过的所有校准参数的课题。

[立体图像中的核线约束]

在用立体图像来进行图像计测时，如后面也描述的那样，在左右图像内进行对应点搜索很重要。对于该对应点搜索，重要的是所谓的核线约束这一概念。以下，参照图46来进行说明。

即，是下述约束条件：在向对左右原图像292a、292b进行了失真校正而得到的左右图像294a、294b提供了准确的校准参数p＝(c^L，c^R，e)时，与左图像内的特征点(u^L，v^L)对应的右图像内的特征点(u^R，v^R)必须在附图标记296所示的某个直线上。将该直线称为核线。

这里重要的是，当失真在图像内很显著时，必须预先进行失真校正或消除。此外，在进行过失真校正的归一化图像中，核线约束也同样成立。因此，以下，首先在进行了失真校正、而且归一化了的图像面内，定义本发明考虑的核线。

对于在左图像中得到的特征点(u^L，v^L)，设在上述式(66)、(67)的途中出现的归一化了的图像内进行过失真校正的特征点的位置为 用左摄像机坐标系规定的三维点(x，y，z)在左摄像机图像内被投影到(u^L，v^L)，假设它被变换为上述的 则下式成立。

${\tilde{u}}^L=\frac{x}{z},{\tilde{v}}^L=\frac{y}{z}\·\·\·\left(80\right)$

另一方面，(x，y，z)在右摄像机图像内被投影到(u^R，v^R)，假设在归一化了的摄像机图像内进行过失真校正的图像坐标为 则

$\begin{array}{cc}{\tilde{u}}^R=\frac{r_{11}x+r_{12}y+r_{13}z+t_x}{r_{31}x+r_{32}y+r_{33}z+t_z},& {\tilde{v}}^R=\frac{r_{21}x+r_{22}y+r_{23}z+t_y}{r_{31}x+r_{32}y+r_{33}z+t_z}\·\·\·\left(81\right)\end{array}$

成立。这里，r_ij和t_x、t_y、t_z是表示从右摄像机坐标系R到左摄像机坐标系L的坐标变换的旋转矩阵和平移矢量的元素，用

_LR_R＝(r_ij)_3×3，_LT_R＝[t_x，t_y，t_z]^t         …(82)来表示。将式(80)代入式(81)，消去z后，以下方程式成立。

$\begin{array}{c}{\tilde{u}}^R\{(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_y-(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_z\}\\ +{\tilde{v}}^R\{(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_z-(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_x\}\\ +(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_x-(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_y=0\end{array}\·\·\·\left(83\right)$

这里，设

$\left\{\begin{array}{c}\tilde{a}=(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_y-(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_z\\ \tilde{b}=(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_z-(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})t_x\\ \tilde{c}=(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})t_x-(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})t_y\end{array}\right.---\left(84\right)$

则得到如下直线，

$\tilde{a}{\tilde{u}}^R+\tilde{b}{\tilde{v}}^R+\tilde{c}=0---\left(85\right)$

它表示归一化了的图像面内的核线。

以上，在归一化了的图像面中进行了考虑，但是在进行过失真校正的图像面中也同样能够导出核线的方程式。

具体地说，对进行过失真校正的左图像和右图像的对应点的坐标值(u_p ^L，v_p ^L)、(u_p ^R，v_p ^R)，通过解下式，

$u_p^L={\mathrm{\α}}_u^L\frac{x}{z}+u_0^L,v_p^L={\mathrm{\α}}_p^L\frac{y}{z}+v_0^L---\left(86\right)$

$u_p^L={\mathrm{\α}}_u^R\frac{r_{11}x+r_{12}y+r_{13}z+t_x}{r_{31}x+r_{32}y+r_{33}z+t_z}+u_0^L,v_p^R={\mathrm{\α}}_v^R\frac{r_{21}x+r_{22}y+r_{23}z+t_y}{r_{31}x+r_{32}y+r_{33}z+t_z}+v_0^R---\left(87\right)$

与上述式(85)同样地，能够导出核线的如下方程式：

$a{u}_p^R+b{v}_p^R+c=0---\left(88\right)$

[调整处理]

以上，将核线约束作为左右图像内的特征点来考虑，但是作为其他方法，调整处理这一方法在立体图像处理中很常用。

以下，说明本发明的调整。

进行调整处理后，能够导出左右图像内对应的特征点都在同一水平直线上这一约束。换言之，在调整处理后的图像中，左图像的同一直线上的特征点组，能够在右图像上将同一直线定义为核线。

图47A及图47B示出了该状况。图47A示出了调整前的图像，图47B示出了调整后的图像。图中300a、300b分别是点A、点B的对应点存在的直线，302表示将对应点配置在同一直线上的核线。

为了实现这种调整，如图48所示，将左右摄像机原图像分别变换成相互水平。此时，通过不移动左摄像机坐标系L和右摄像机坐标系R的原点C_L、C_R，只变更摄像机坐标系的轴，来生成新的左右图像面。

其中，在图48中，306a表示调整前的左图像面，306b表示调整前的右图像面，308a表示调整后的左图像面，308b表示调整后的右图像面，310表示图像坐标(u^R，v^R)的调整前，312表示图像坐标(u^R，v^R)的调整后，314表示调整前的核线，316表示调整后的核线，318表示三维点。

设对左摄像机坐标系L和右摄像机坐标系R进行过调整后的坐标系分别为LRect、RRect。如前所述，L和LRect、R和RRect的原点一致。

以下考虑2个坐标系的坐标系间的坐标变换，但是此前将基准坐标系取为左摄像机坐标系L。(将基准坐标系取为其他坐标系也同样。)

此时，如下定义调整后的左摄像机坐标系LRect和右摄像机坐标系RRect。

首先，考虑从左摄像机坐标系L的原点到右摄像机坐标系R的原点的矢量。它当然是以基准坐标系为基准测得的。

此时，设该矢量为

T＝[t_x，t_y，t_z]            …(89)。

其大小为 $\left|\right|T\left|\right|=\sqrt{t_x^2+t_y^2+t_z^2}.$ 此时，定义以下3个方向矢量{e₁，e₂，e₃}：

此时，将e₁、e₂、e₃取作左右调整处理后的左摄像机坐标系LRect和右摄像机坐标系RRect的x、y、z轴的方向矢量。即，

_LR_LRect＝_LR_RRect＝[e₁，e₂，e₃]                 …(91)

此外，根据各个原点的取法，下式成立。

_LT_LRect＝0，_LT_RRect＝0                         …(92)

这样设定后，如图47A、图47B或图48所示，不言自明，在归一化了的图像空间中，左右的对应点被配置在一条直线上(核线上)。接着，考虑摄像机的归一化了的摄像机图像内的点 和调整后的归一化了的摄像机图像内的变换点 之间的对应关系。为此，假设同一三维点在左摄像机坐标系L中用(x^L，y^L，z^L)来表现，在调整后的左摄像机坐标系中用(x^LRect，y^LRect，z^LRect)来表现。此外，如果考虑(x^L，y^L，z^L)在归一化了的图像面中的位置

和(x^LRect，y^LRect，z^LRect)在归一化了的图像面中的位置

则利用中间变量

以下方程式成立：

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right],{\tilde{w}}^{\mathrm{LRect}}\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^{\mathrm{LRect}}\\ y^{\mathrm{LRect}}\\ z^{\mathrm{LRect}}\end{array}\right]---\left(93\right)$

此时，下式成立，

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right]=R_{\mathrm{LRect}}^L\left[\begin{array}{c}{x}^{\mathrm{LRect}}\\ y^{\mathrm{LRect}}\\ z^{\mathrm{LRect}}\end{array}\right]=R_{\mathrm{LRect}}^L{\tilde{w}}^{\mathrm{LRect}}\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]---\left(94\right)$

，所以如下方程式成立。

${\tilde{w}}_{*}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=R_{\mathrm{LRect}}^L\left[\begin{array}{c}{\tilde{u}}^{\mathrm{LRect}}\\ {\tilde{v}}^{\mathrm{LRect}}\\ 1\end{array}\right]---\left(95\right)$

同样，对右摄像机图像，在归一化了的摄像机图像内的点 和调整后的归一化了的摄像机图像内的变换点 之间，如下方程式也成立。

${\tilde{w}}_{*}^R\left[\begin{array}{c}{\tilde{u}}^R\\ {\tilde{v}}^R\\ 1\end{array}\right]=R_L^{R}R_{\mathrm{RRect}}^L\left[\begin{array}{c}{\tilde{u}}^{\mathrm{RRect}}\\ {\tilde{v}}^{\mathrm{RRect}}\\ 1\end{array}\right]=R_{\mathrm{RRect}}^R\left[\begin{array}{c}{\tilde{u}}^{\mathrm{RRect}}\\ {\tilde{v}}^{\mathrm{RRect}}\\ 1\end{array}\right]---\left(96\right)$

因此，在左摄像机系统中，假设_LR_LRect的元素为(r_ij)，与调整后的归一化了的图像面的

对应的调整前的归一化了的图像内位置

如下式所示。

$\left\{\begin{array}{c}{\tilde{u}}^L=\frac{r_{11}{\tilde{u}}^{\mathrm{LRect}}+r_{12}{\tilde{v}}^{\mathrm{LRect}}+r_{13}}{r_{13}{\tilde{u}}^{\mathrm{LRect}}+r_{32}{\tilde{v}}^{\mathrm{LRect}}+r_{33}}\\ {\tilde{v}}^L=\frac{r_{21}{\tilde{u}}^{\mathrm{LRect}}+r_{22}{\tilde{v}}^{\mathrm{LRect}}+r_{23}}{r_{31}{\tilde{u}}^{\mathrm{LRect}}+r_{32}{\tilde{v}}^{\mathrm{LRect}}+r_{33}}\end{array}\right.---\left(97\right)$

在右摄像机系统中也同样。以上，用不包含失真校正的摄像机系统进行了说明，但是在包含失真校正的实际情况下，通过以下方法即可。

其中，以下步骤中的调整后的图像的u方向和v方向放大倍数α_u ^Rect、α_v ^Rect和图像中心u₀ ^Rect、v₀ ^Rect根据调整过的图像的大小来适当地设定即可。

[包含失真除去的调整步骤(RecL及RecR步骤)]

首先，作为步骤RecL1，决定α_u ^Rect、α_v ^Rect、u₀ ^Rect、v₀ ^Rect等参数。

作为步骤RecL2，对调整后的左图像的各像素点(u_Rect ^L，v_Rect ^L)，

计算

RecL2-1) ${\tilde{u}}_{\mathrm{Rect}}^L=\frac{u_{\mathrm{Rect}}^L-u_0^L}{{\mathrm{\α}}_u^L}$ と ${\tilde{v}}_{\mathrm{Rect}}^L=\frac{v_{\mathrm{Rect}}^L-v_0^L}{{\mathrm{\α}}_v^L}---\left(98\right)$

RecL2-2)通过解下式，来计算归一化了的像素值

${\tilde{w}}^L\left[\begin{array}{c}{\tilde{u}}^L\\ {\tilde{v}}^L\\ 1\end{array}\right]=R_{\mathrm{LRect}}^L\left[\begin{array}{c}{\tilde{u}}_{\mathrm{Rect}}^L\\ {\tilde{v}}_{\mathrm{Rect}}^L\\ 1\end{array}\right]---\left(99\right)$

RecL2-3)计算附加了透镜失真的归一化了的坐标值

$\left\{\begin{array}{c}{\tilde{u}}_d^L=f_1({\tilde{u}}^L,{\tilde{v}}^L;k_1,g_1,g_2,g_3,g_4)\\ {\tilde{v}}_d^L=f_2({\tilde{u}}^L,{\tilde{u}}^L;k_1,g_1,g_2,g_3,g_4)\end{array}\right.---\left(100\right)$

这里，f₁、f₂表示上述式(65)的第2项所示的的非线性函数。

RecL2-4)计算立体适配器和摄像装置拍摄到的帧存储器上的坐标值 ${u_d}^L={{\mathrm{\α}}_u}^L{{\tilde{u}}_d}^L+{u_0}^L,{v_d}^L={{\mathrm{\α}}_v}^L{{\tilde{v}}_d}^L+{v_0}^L.$ (d表示包含失真要素。)

RecL2-5)利用帧存储器上的像素值(u_d ^L，v_d ^L)的邻近像素，例如

利用线性插值处理等，来计算调整处理后的左图像的像素值。

作为步骤RecR1，对右图像也进行同样的处理。

以上对调整处理的方法进行了上述说明，但是调整的方法并不限于此。例如，也可以是Andrea Fusiello，et al，“A compact algorithm forrectification of stereo pairs，”Machine Vision and A pplications，2000，12：16-22中示出的方法。

以上描述了说明实施方式所需的用语的说明和处理的方法，以下具体说明图43所示的校准偏差校正装置。

图49是说明本第12实施方式的校准偏差校正装置的详细工作的流程图。其中，在本实施方式中，根据控制装置262的控制来工作。

此外，在本实施方式中，说明解决校正立体摄影装置的内部校准参数的课题、即前述课题1-1或课题1-2的具体工作。

再者，这里说明图43所示结构的校准偏差校正装置的方式、即包含调整处理的处理，但是在图42所示结构的方式、即不进行调整处理的校准偏差校正装置的情况下，处理的方法也相同。

其中，在本实施方式中，作为校准偏差校正装置所需的特征，采用以下2种特征。

a)已知特征

这是在某个坐标系中指定了相对位置的特征。例如，如果有已知特征i和j，则是指这些特征间的距离d_ij预先已知等的几何学上的限制已经明确的特征。

例如，如图50A所示，在车辆的情况下，车牌320的4个角等是该特征的例子(图50A内的已知特征组322)。此外，如图50B所示，车辆的发动机罩324上形状变化的点等是另一个例子(图50B内的已知特征组326)。

在此情况下，在发动机罩324上，这种特征i、j间的距离是由车辆的CAD模型等预先给出的设计值。此外，也可以是本案申请人的(日本)特开2000-227309号公报记载的多个圆形标记等。

用于得到前述已知特征的外部装置可以应用各种装置，应用装备了摄像部的车辆的特定形状部的例子可以如下所示。即，除了已有的车牌或发动机罩上形状变化的点等之外，例如在挡风玻璃的一部分上安装相对位置已知的标记作为已知特征，预先计测其三维位置。此外，也可以是使得能够用立体摄影装置来拍摄它们中的全部或一部分的例子。

图50C内所示的已知特征组328示出了在挡风玻璃330的一部分上配置了已知特征——黑点已知标记的状况的例子。在该图50C中，已知标记组被配置成能够在左右摄像机内拍摄其全部或其一部分。此外，如图50D及图50E所示，这些标记组被配置成映入立体左右图像的图像周边部，被设计成不映入成为重要影像的中心部。

b)自然特征

自然特征与已知特征不同，是从由立体摄影装置拍摄到的图像内提取出的特征。一般地，有时也用Natural Features(Natural Markers，自然标记)等来表现。在这种自然特征的情况下，包含该自然特征间的几何距离等性质预先未知的情况。

以下，在本发明中，说明利用这两种特征来进行校准偏差校正的方法。

再者，说明校准偏差校正的问题、和一般性的校准参数估计问题之间的差异。在一般性的校准参数估计问题中，认为与校准有关的参数的初始估计值不是已知的，需要计算所有参数，所以往往需要许多计算量。然而，在校准偏差校正的问题中，预先给出了初始估计值，主要着眼于用少的计算量、或少的特征数来校正同该初始估计值之间的偏差。

在图49的流程图中，首先，在步骤S81中，状况判断装置264判断当前时刻是否应校正校准偏差。判断的方法有如下所述的方法。

即，判断校准数据存储装置中存储的、过去设定校准参数的时刻或状态等。例如，在定期进行校准偏差校正的情况下，取其过去的时刻和当前时刻之差，如果该差大于某个阈值，则判断是否应该校正校准偏差。

此外，在汽车等安装的摄影装置等情况下，也可以根据车上安装的里程表(Odometer)等的值来判断。

此外，也可以判断当前的天气或时间是否适合校正校准偏差等。例如，在用于监视汽车车外的摄影装置的情况下，在夜晚或下雨等恶劣天气的情况下，判断为避免检测校准校正。

根据以上状况，在判断为需要校正校准偏差的情况下，将该意思通知给控制装置262。在控制装置262接收到该通知的情况下，转移到步骤S82。另一方面，如果无需或不能校正校准偏差，则本例程结束。

在步骤S82中，用摄影装置276来拍摄立体图像。如前所述，该摄影装置276拍摄的图像是模拟图像还是数字图像都没关系。在模拟图像时，将该图像变换为数字图像。

该摄影装置276拍摄到的图像作为左图像和右图像被送出到校准偏差校正装置268。

图51A及图51B示出了左右原图像，其中，图51A是左摄像机拍摄到的左原图像，图51B是右摄像机拍摄到的右原图像。

接着，在步骤S83中，调整处理装置282从校准数据存储装置272接收过去存储的校准数据，实施调整处理。

其中，如上所述，校准数据使用摄影装置的左右摄像机的内部参数和外部参数的组p＝(c^L，c^R，e)。

进行调整处理时，在构成摄影装置276的左右摄像机的透镜失真很显著的情况下，根据前述RecL和RecR的步骤，包含透镜失真校正的算法来进行处理。其中，在透镜失真可以忽略时，省略RecL和RecR中的失真校正的部分进行处理即可。

这样进行过调整处理的图像被送出到后面的特征提取装置266。

图52A及图52B示出调整过的左右图像，其中，图52A是左图像，图52B是右图像。

接着，在步骤S84中，对上述步骤S83中调整过的立体图像，提取校准偏差校正所需的特征。该处理由特征提取装置266来进行。

特征提取装置266例如如图53所示，由特征选择部266a和特征对应搜索部266b构成。特征选择部266a从调整过的立体图像中的一个图像中提取及选择对校正校准偏差可能有效的图像特征。然后，上述特征对应搜索部266b在另一个图像内搜索与该特征选择部266a选择出的特征对应的特征，并提取最佳的特征，这些特征对的集合作为数据而生成。

这里，详细说明上述特征提取装置266的特征选择部266a和特征对应搜索部266b。

首先，特征选择部266a提取校准偏差校正所需的已知特征。特征选择部266a从调整过的立体图像中的一个图像(例如左图像)中提取检测校准偏差所需的已知特征，从右图像中提取其对应的特征。

例如，在以左图像和右图像对应的形式得到m个已知特征的对的情况下，

$B=\{((u_k^{\′L},v_k^{\′L}),(u_k^{\′R},v_k^{\′R})):k=\mathrm{1,2}\·\·\·m\}---\left(101\right)$

此外，在特征i和特征j的位置关系是已知特征的情况下，将该特征间的三维距离注册到集合D中。这里，D以

D＝{d_ij：distance_of_pair(i，j)_is_known.}        …(102)的形式，还包含各特征间的三维距离数据和其下标而注册为集合。

接着，同样地提取自然特征。即，对调整过的立体图像，提取校准偏差校正所需的自然特征。将这样得到的特征对的数据注册为左右图像校准后的图像坐标值。

例如，在以左图像和右图像对应的形式得到n个特征点的对的情况下，可以以

$A=\{((u_i^L,v_i^L),(u_i^R,v_i^R)):i=\mathrm{1,2},\·\·\·n\}---\left(103\right)$

的形式来表现。

这里，说明特征选择部5a中的提取方法。

首先，说明已知特征的提取方法。

已知特征的提取方法与所谓的图像处理的物体识别问题等价，其手法在各种文献中有介绍。在本发明中的已知特征的情况下，从图像内提取预先知道形状或几何性质的特征。其方法例如也详细记载于W.E.L.Grimson，Object Recognition by Computer，MIT Press，1990、或A.Kosaka and A.C.Kak，“Stereo vision for industrial applications，”Handbook of Industrial Robotics，Second Edition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294等中。

例如，考虑图50A至图50E所示的、在车辆上安装的立体摄影装置将车内外存在的对象物作为特征的情况。在这种情况下，作为已知特征，提取前方车辆的车牌320的4个角部、本车辆的发动机罩324的形状内特征、或挡风玻璃330上安装的标记等。

作为提取这种已知特征的具体方法的一实现手段，例如有下述方法：通过Rahardja and Kosaka的Spedge-and-Medge法(文献：K.Rahardja and A.Kosaka，“Vision-based bin-picking：Recognition andlocalization of multiple complex objects using simple visual cues，”Proceeding of 1996 IEEE/RSJ International Conference on IntelligentRobots and Systems，Osaka，Japan，November，1996.)，将图像分割为小区域，从其中选择认为是关心区域的区域，进行关心区域和预先注册的已知特征间的匹配，提取正确的已知特征。

此外，有像W.E.L.Grimson，Object Recognition by Computer，MIT Press，1990、或Kosaka and Kak的文献(A.Kosaka and A.C.Kak，“Stereo vision for industrial applications，”Handbook of IndustrialRobotics，Second Edition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294)记载的那样，在提取出边缘分量后、计算该边缘的形状或曲率等来提取已知特征的方法等。在本发明中，可以是这里说明过的任何方法。

图54是该提取结果的示例图。在图54中，是提取且选择出由特征点构成、它们的三维位置关系分别已知的已知特征点组334和已知特征点组336作为已知特征的例子。

接着，说明自然特征的提取方法。

首先，特征选择部266a在一个图像、例如左图像中，选择对校准偏差校正可能有效的特征。例如，作为特征，在将特征点作为候选时，首先，如图55所示，将调整过的左图像分割为由M×N个正方形组成的小块。然后，从该各块内的图像中，提取至多1个角点等特征点。

该方法例如使用参考文献：R.Haralick and L.Shapiro，Computerand Robot Vision，Volume II，pp.332-338，Addison-Wesley，1993中记载的Interest Operator或Corner Point Extraction法等即可。或者，也可以在各块内提取边缘分量，将其强度在某个阈值以上的边缘点作为特征点。

这里重要的一点是，在某个块内只由完全均匀的区域构成的情况下，也有可能不能从该区域中选择特征点。这样选择出的特征点的例子如图56所示。在该图56中，“○”所示的点338是这样选择出的特征。

接着，说明特征对应搜索部266b。

特征对应搜索部266b的功能是，对于特征选择部266a从一个图像中选择出的特征，在另一个图像内提取对应的特征。该特征对应搜索部266b通过以下方法来搜索对应的特征。

这里，说明搜索范围的设定。

上述步骤S83中创建的调整处理后的图像，使用校准数据存储装置272过去存储的校准数据。因此，在有校准偏差的情况下，在核线上不一定有对应点。因此，对应搜索的范围有时被设定为对设想的最大校准偏差也适合的对应搜索范围。实际上，准备了与左图像内的特征(u，v)对应的右图像内的位于核线上下的区域。

例如，假定核线在右图像内、在水平线v＝v_e上的[u₁，u₂]的范围内进行搜索，则如图57A、图57B所示，在宽度为2W_u×(u₂-u₁+2W_v)的长方形区域

[u₁-W_u，u₂+W_u]×[v_e-W_v，v_e+W_v]             …(104)内进行搜索即可。这样，设定了搜索区域。

接着，说明基于区域匹配的对应搜索。

在通过前述搜索范围的设定而决定的搜索区域内，搜索最佳的对应。搜索最佳对应的方法例如有文献J.Weng，et al，Motion andStructure from Image Sequences，Springer-Verlag，pp.7-64，1993中示出的方法等。或者，也可以是利用与左图像内的特征邻近的区域，在右图像内的对应搜索区域内搜索与该区域的像素值最类似的图像区域的方法。

此时，假设已调整的左右图像的坐标(u，v)的亮度值分别为I_Rect ^L(u，v)、I_Rect ^R(u，v)，则将左图像的坐标(u，v)作为基准，右图像内的位置(u′，v′)上的类似度或非类似度例如可以分别如下表示。

$\mathrm{SAD}:\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}|I^L(u+\mathrm{\α},v+\mathrm{\β})-I^R(u^{\′}+\mathrm{\α},v^{\′}+\mathrm{\β})|---\left(105\right)$

$\mathrm{SSD}:\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}{(I^L(u+\mathrm{\α},v+\mathrm{\β})-I^R(u^{\′}+\mathrm{\α}{v}^{\′}+\mathrm{\β}))}^2---\left(106\right)$

$\mathrm{NCC}:\frac{\frac{1}{N_W}\underset{(\mathrm{\α},\mathrm{\β})\∈W}{\mathrm{\Σ}}(I^L(u+\mathrm{\α},v+\mathrm{\β})-\stackrel{\‾}{I_W^R})(I^L(u^{\′}+\mathrm{\α},v^{\′}+\mathrm{\β})-\stackrel{\‾}{I_W^R})}{\stackrel{\‾}{\stackrel{\‾}{I_W^L}}\·\stackrel{\‾}{\stackrel{\‾}{I_W^R}}}---\left(107\right)$

这里， 和 表示左图像的特征(u，v)附近的亮度值的平均值和标准偏差。这里，

和

表示右图像的特征(u′，v′)附近的亮度值的平均值和标准偏差。此外，α和β是表示W的邻近的下标。

通过利用这些类似度或非类似度的值，能够考虑各个匹配的质量或可靠性。例如，在考虑了SAD的情况下，如果该SAD的值在对应点附近得到峰值尖锐的小值，则可以说该对应点的可靠性高。对这样判断为最佳的每个对应点，要考虑其可靠性。决定了该对应点(u′，v′)。当然，在考虑可靠性的情况下，也可以设定如下条件：

对应点(u′，v′)：可靠性在阈值以上；

无对应点：可靠性低于阈值。

在这样考虑可靠性的情况下，当然在左图像或右图像中存在具有未对应点的像素。

将这样提取出的对应特征(u，v)和(u′，v′)注册为式(99)所示的(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)即可。

这样，取得对应的右图像内的特征如图58所示。在图58中，用“○”所示的点340表示这样取得对应的右图像内的特征点。

返回到图49的流程图，在步骤S85中，特征提取装置266还检查上述步骤S84中注册的特征对的数目和可靠性。该步骤中排除的条件如下所述。

即，第1个是，在注册的特征中相对距离已知的特征1组也不存在的情况下，认为不能校正校准偏差，再次转移到步骤S81来重复摄影处理等。第2个是，在注册的特征对的数目少于某个规定数目的情况下，可以判定为拍摄到的立体图像不合适，再次转移到步骤S81来重复摄影处理等。

该摄影处理的重复，是根据特征提取装置266的输出数据、按照从控制装置262发出的控制指令来进行。这一点在图42、图43、图62、图64、图66及图69的各结构中也同样。

另一方面，在判断为不符合前述排除的条件、能得到有可靠性的特征对的情况下，将特征对的集合送出到校准数据校正装置268。

在后续的步骤S86中，利用在上述步骤S84中提取出的特征，来校正校准偏差。这由校准数据校正装置268进行。这里，首先从进行校正校准数据所需的数学描述开始。这里，首先说明在给出了自然特征或已知特征的对应关系的情况下有什么样的约束条件。

[与自然特征有关的约束条件]

现在，以左摄像机坐标系为基准，来考虑用该坐标系规定的三维点(x^L，y^L，z^L)。于是，假设同一三维点在右摄像机坐标系R中用(x^R，y^R，z^R)来描述，则在两者之间，以e＝(φ_x，φ_y，φ_z，t_x，t_y，t_z)为变量的下式成立。

$\left[\begin{array}{c}{x}^R\\ y^R\\ z^R\end{array}\right]=R_L^R\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right]+R_L^R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}^L\\ y^L\\ z^L\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]---\left(108\right)$

现在，考虑该三维点投影到左摄像机上的投影点和射影到右摄像机上的投影点。设在投影后实施了失真校正的左摄像机图像的坐标值为(u_p ^L，v_p ^L)，与其对应的右摄像机图像的坐标值为(u_p ^R，v_p ^R)。此时归一化了的坐标值可以用下式

$\begin{array}{cc}{\tilde{u}}^L\≡\frac{u_p^L-u_0^L}{{\mathrm{\α}}_u^L}=\frac{x^L}{z^L},& {\tilde{v}}^L\≡\frac{v_p^L-v_0^L}{{\mathrm{\α}}_v^L}=\frac{y^L}{z^L}\\ {\tilde{u}}^R\≡\frac{u_p^R-u_0^R}{{\mathrm{\α}}_u^R}=\frac{x^R}{z^R},& {\tilde{v}}^R\≡\frac{v_p^R-v_0^R}{{\mathrm{\α}}_v^R}=\frac{y^R}{y^R}\end{array}---\left(109\right)$

来表示。代入上述式(48)后，成为下式：

$\left\{\begin{array}{c}{\tilde{u}}^R=\frac{r_{11}{x}^L+r_{12}{y}^L+r_{13}{z}^L+t_x}{r_{31}{x}^L+r_{32}{y}^L+r_{33}{z}^L+t_z}=\frac{(r_{11}{\tilde{u}}^L+r_{12}{\tilde{v}}^L+r_{13})z^L+t_x}{(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})z^L+t_z}\\ {\tilde{v}}^R=\frac{r_{21}{x}^L+r_{22}{y}^L+r_{23}{z}^L+t_y}{r_{31}{x}^L+r_{32}{y}^L+r_{33}{z}^L+t_z}=\frac{(r_{21}{\tilde{u}}^L+r_{22}{\tilde{v}}^L+r_{23})z^L+t_y}{(r_{31}{\tilde{u}}^L+r_{32}{\tilde{v}}^L+r_{33})z^L+t_z}\end{array}\right.---\left(110\right)$

所以，对于相对应的各左右自然特征点(u_i ^L，v_i ^L)和(u_i ^R，v_i ^R)(i＝1，2，…，n)，使如下的约束条件(约束式)

或

$f\≡\frac{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_y-(r_{21}{\tilde{u}}_i^L+r_{22}{\tilde{v}}_i^L+r_{23})t_z}{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_z}{\tilde{u}}_i^R+\frac{(r_{21}{\tilde{u}}_i^L+r_{22}{\tilde{v}}_i^L+r_{23})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_y}{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_z}=0---\left(111\right)$

必须成立。

此外，此时的z_i ^L成为下式：

$\begin{array}{c}{z}_i^L=\frac{t_x-{\tilde{u}}_i^R{t}_z}{{\tilde{u}}_i^R(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})}\\ =\frac{t_y-{\tilde{v}}_i^R{t}_z}{{\tilde{v}}_i^R(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})-(r_{21}{\tilde{u}}_i^L+r_{22}{\tilde{v}}_i^L+r_{23})}\end{array}---\left(112\right)$

因此，在左原图像和右原图像的对应点由包含失真的图像点(u_i ^L，v_i ^L)和(u_i ^R，v_i ^R)给出时，与所有有关的制约式由

$\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_d^L={\tilde{u}}_i^L+(g_1^L+g_3^L){\left({\tilde{u}}_i^L\right)}^2+g_4^L{\tilde{u}}_i^L{\tilde{v}}_i^L+g_1^L{\left({\tilde{v}}_i^L\right)}^2+k_1^L{\tilde{u}}_i^L({\left({\tilde{u}}_i^L\right)}^2+{\left({\tilde{v}}_i^L\right)}^2)\\ {\tilde{v}}_d^L={\tilde{v}}_p^L+g_2^L{\left({\tilde{u}}_i^L\right)}^2+g_3^L{\tilde{u}}_i^L{\tilde{v}}_i^L+(g_2^L+g_4^L){\left({\tilde{v}}_i^L\right)}^2+k_1^L{\tilde{v}}^L({\left({\tilde{u}}_i^L\right)}^2+{\left({\tilde{v}}_i^L\right)}^2)---\left(113\right)\end{array}\right.\\ \begin{array}{c}\\ \end{array}\left\{\begin{array}{c}{u}_i^L={\mathrm{\α}}_u^L{\tilde{u}}_d^L+u_0^L\\ v_i^L={\mathrm{\α}}_v^L{\tilde{v}}_d^L+v_0^L\end{array}\right.\end{array}$

$\begin{array}{c}\left\{\begin{array}{c}{\tilde{u}}_d^R={\tilde{u}}_i^R+(g_1^R+g_3^R){\left({\tilde{u}}_i^R\right)}^2+g_4^R{\tilde{u}}_i^R{\tilde{v}}_i^R+g_1^R{\left({\tilde{v}}_i^R\right)}^2+k_1^R{\tilde{u}}_i^R({\left({\tilde{u}}_i^R\right)}^2+{\left({\tilde{v}}_i^R\right)}^2)\\ {\tilde{v}}_d^R={\tilde{v}}_p^R+g_2^R{\left({\tilde{u}}_i^R\right)}^2+g_3^L{\tilde{u}}_i^R{\tilde{v}}_i^R+(g_2^R+g_4^R){\left({\tilde{v}}_i^R\right)}^2+k_1^R{\tilde{v}}_i^R({\left({\tilde{u}}_i^R\right)}^2+{\left({\tilde{v}}_i^R\right)}^2)---\left(114\right)\end{array}\right.\\ \begin{array}{c}\\ \end{array}\left\{\begin{array}{c}{u}_i^R={\mathrm{\α}}_u^R{\tilde{u}}_d^R+u_0^R\\ v_i^R={\mathrm{\α}}_v^R{\tilde{v}}_d^R+v_0^R\end{array}\right.\end{array}$

或

$\begin{array}{c}f\≡\frac{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_y-(r_{21}{\tilde{u}}_i^L+r_{22}{\tilde{v}}_i^L+r_{23})t_z}{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_z}{\tilde{u}}_i^R\\ +\frac{(r_{21}{\tilde{u}}_i^L+r_{22}{\tilde{v}}_i^L+r_{23})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_y}{(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})t_x-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})t_z}=0\end{array}---\left(115\right)$

给出。

[已知特征间的约束条件]

在观察到至少2个已知特征点i、j时，在设其在三维空间中的左摄像机坐标系中的坐标值为(x_i ^L，y_i ^L，z_i ^L)、(x_j ^L，y_j ^L，z_j ^L)的情况下，根据其定义，已知特征点间的三维距离d_ij是已知的，所以

$\begin{array}{c}{d_{\mathrm{ij}}}^2={(x_i^L-x_j^L)}^2+{(y_i^L-Y_j^L)}^2+{(z_i^L-z_j^L)}^2\\ ={({\tilde{u}}_i^L{z}_i^L-{\tilde{u}}_j^L{z}_j^L)}^2+{({\tilde{v}}_i^L{z}_i^L-{\tilde{v}}_j^L{z}_j^L)}^2+{(z_i^L-z_j^L)}^2\end{array}---\left(116\right)$

由此，如下的约束条件

$g_{\mathrm{ij}}\≡{({\tilde{u}}_i^L{z}_i^L-{\tilde{u}}_j^L{z}_j^L)}^2+{({\tilde{v}}_i^L{z}_i^L-{\tilde{v}}_j^L{z}_j^L)}^2+{(z_i^L-z_j^L)}^2-{d_{\mathrm{ij}}}^2=0---\left(117\right)$

必须成立。这里，z_i ^L、z_j ^L可从式(118)中得到。

因此，在已知特征点的情况下，除了自然特征点的情况以外，还有下式：

$\left\{\begin{array}{c}{z}_i^L=\frac{t_x-{\tilde{u}}_i^R{t}_z}{{\tilde{u}}_i^R(r_{31}{\tilde{u}}_i^L+r_{32}{\tilde{v}}_i^L+r_{33})-(r_{11}{\tilde{u}}_i^L+r_{12}{\tilde{v}}_i^L+r_{13})}\\ z_j^L=\frac{t_x-{\tilde{u}}_j^R{t}_z}{{\tilde{u}}_j^R(r_{31}{\tilde{u}}_j^L+r_{32}{\tilde{v}}_j^L+r_{33})-(r_{11}{\tilde{u}}_j^L+r_{12}{\tilde{v}}_j^L+r_{13})}\end{array}\right.----\left(118\right)$

$g_{\mathrm{ij}}\≡{({\tilde{u}}_i^L{z}_i^L-{\tilde{u}}_j^L{z}_j^L)}^2+{({\tilde{v}}_i^L{z}_i^L-{\tilde{v}}_j^L{z}_j^L)}^2+{(z_i^L-z_j^L)}^2-{d_{\mathrm{ij}}}^2=0---\left(119\right)$

附加了绝对距离有关的制约式(式(115)：约束1个自由度的制约式)。

利用以上说明过的的约束条件，用校准数据校正装置6来校正校准数据。

在设想了校准偏差的情况下，设应该校正或更新的参数为p时，说明其校正方法。

具体地说，利用扩展卡尔曼滤波。它例如被详细说明于文献A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigationusing model-based reasoning and prediction of uncertainties，”ComputerVision，Graphics and Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992，所以这里只概略说明它。

作为校准参数，首先准备了根据偏差的最大值、或偏差的平均值等得到的与偏差有关的统计量。即，准备了与参数p有关的估计误差平均值 p和估计误差协方差矩阵∑。此外，设与从图像中计测的测定值r有关的实际测定值为 、其测定误差协方差矩阵为Λ。此时，各制约式为同参数p和各测定值r有关的函数，由下式给出，

f(p，r)＝0                     …(120)

这在前面说明过了。下面说明如何用这些制约式来校正p。

具体地说，采取以下所述的步骤。

[扩展卡尔曼滤波步骤]

(K-1)准备应校正参数的估计平均值p和估计误差协方差矩阵∑。

(K-2)对于各特征或特征组约束的制约式f，通过以下步骤来重复更新p的统计值(估计平均值 p和估计误差协方差矩阵∑)。

(K-2-1)计算 $M=\frac{\∂f}{\∂p}.$ 其中，M用p＝ p， $r={\hat{r}}^{\′}$ 来评价。

(K-2-2)利用与测定值r有关的计测误差协方差矩阵Λ来计算。

$G=\frac{\∂f}{\∂r}\mathrm{\Λ}{\left(\frac{\∂f}{\∂r}\right)}^t$

其中，G用p＝ p， $r={\hat{r}}^{\′}$ 来评价。

(K-2-3)计算卡尔曼增益K。

K＝∑Mt(G+M∑Mt)^-1

(K-2-4)用p＝ p， $r={\hat{r}}^{\′}$ 来评价制约式f。

(K-2-5)计算p的统计值(估计平均值 p和估计误差协方差矩阵∑)的更新值( p_new，∑_new)

(I是单位矩阵。)

$\left\{\begin{array}{c}{\stackrel{\‾}{p}}_{\mathrm{new}}=\stackrel{\‾}{p}-\mathrm{Kf}\\ {\mathrm{\Σ}}_{\mathrm{new}}=(I-\mathrm{KM})\mathrm{\Σ}\end{array}\right.$

(K-2-6)为了用下面的制约式来进行更新，使满足下式：

p＝ p_new，∑＝∑_new

通过对所有制约式重复进行这种更新，参数p被徐徐更新，与p有关的估计误差协方差矩阵所示的各个参数的方差值减小，能够坚固地更新p。

将这种扩展卡尔曼滤波的方式具体应用于校准偏差校正的方法中，则成为如下所述的过程：

子步骤S-l：

(S-1-1)选择因校准偏差而应校正的参数

首先，选择应校正的校准参数。这根据前述(课题1-1)或(课题1-2)，按照p＝(c1，c12，e)、还是p＝e来决定。

(S-1-2)设定初始估计参数

对应于应校正的校准参数p的设想的最大偏差值，来设定参数p应取的估计误差平均值 p和估计误差协方差矩阵∑。这可以根据与校准偏差有关的经验法则或实验等来容易地决定。

子步骤S-2：

对于上述式(101)、式(102)所示的已知特征的集合B、D，利用上述式(115)和式(117)的制约式，来依次更新及校正校准参数p。

子步骤S-3：

对于集合A中包含的自然特征，利用式(115)的约束条件，来校正校准参数p。

通过采取这种方式，能够容易地校正校准参数。

此外，在上述方法中，假定了在图像内的测定值中没有异常值、或者在对应点搜索中没有误对应，但是实际上除去这种异常值或除去这种误对应也很重要。该方法例如被详细说明于文献A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigation using model-basedreasoning and prediction of uncertainties，”Computer Vision，Graphicsand Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992、或A.Kosaka and A.C.Kak，“Stereo vision forindustrial applications，”Handbook of Industrial Robotics，SecondEdition，Edited by S.Y.Nof，John Wiley & Sons，Inc.，1999，pp.269-294等中，所以这里省略其详细说明。当然也可以利用这种方法。

其中，如上所述地计算了校准偏差的校正参数p，但是作为扩展卡尔曼滤波的副效应，通过判断在上述步骤K-2-4中算出的制约式f的值，能够判断校正参数p的可靠程度如何。校准偏差校正装置用该制约式f的值来计算可靠性。

返回到图49的流程图，在步骤S87中，根据校准偏差校正装置280算出的可靠性，来判定校准偏差校正装置算出的校正参数是否是可靠的数据。在该数据可靠的情况下，转移到步骤S88；否则，转移到步骤S81并重复校准偏差校正的步骤。

在步骤S88中，用校正结果呈现装置87来呈现上述步骤S87中判定出的结果。再者，将更新过的校准数据保存到校准数据存储装置272中。

图59是校正结果呈现装置270的示例图。在本实施方式中，将显示装置用作校正结果呈现装置270，更具体地说，由显示器或LCD监视器等构成。当然，该显示器可以是其它用途的显示器，也可以利用该显示器的画面一部分来显示校正结果，为了显示校正结果，也可以是切换画面显示模式的类型。

本发明实施方式的该校正结果呈现装置270能够通过与上述控制装置262以及校准数据校正装置268协作，来显示正在进行校准偏差校正的处理的意思(即，作为显示该意思的指示器来工作)；此外，能够显示表示作为上述偏差校正的处理结果而得到的参数和上述校准数据保持部中预先保持的参数之间的差异的信息；再者，能够显示表示与上述偏差校正有关的可靠性的状态；再者，在未能进行正规的偏差校正时，能够显示表示该意思的差错码。

在图59的显示中，有3个栏A、B、C，在各个栏中显示结果。

栏A的部分在校准偏差校正中闪烁；在得到校正的结果时，在栏B的部分显示与偏差量或校正量有关的结果等。此外，在栏C的部分，显示与偏差校正有关的可靠性。除了可靠性(状态)以外，还显示前述步骤S85、S86中所示的中间结果、或与校正处理有关的差错码等。

通过采用这种方法，能够将校正的各种模式或处理结果有效地显示给用户或维护立体摄影装置等的作业者等。

其他偏差校正结果的呈现方法有用声音来呈现、用警报或声源来呈现等。

其中，上述显示装置与包含校准偏差校正装置而构成的距离图像处理系统以及控制装置在功能上结合，用于使用户(驾驶员)能识别与校准校正装置(其内部的校准偏差校正部)或运算部(用于计算距离的功能部)、以及上述摄像部(摄像装置)的输出关联的所需显示，还如前所述地作为校正结果呈现装置以及该装置的一部分工作。

图60是前述图49的流程图变形的工作流程图。

在图60中，与图49的流程图不同的是步骤S97、S98及S99。其他步骤S91～S96与图49的流程图中的步骤S81～S86相同，所以这里省略其说明。

在步骤S97中，首先将校准偏差的校正参数等结果呈现给用户或作业员等。其后，在步骤S98中，由用户或作业员来判断该校正结果是否充分可靠。按照其结果，转移到步骤S99并存储到校准数据存储装置272中，或者转移到上述步骤S91来重复处理。

通过以上方法，能够实现可靠性更高的校准偏差校正。

其中，在前述方法中，以在步骤S93中进行调整处理为前提进行了说明，但是如图61的流程图所示，当然也可以省略调整处理来进行整个处理。此时，核线约束未必为水平线，特征点的对应搜索的处理量增加，但是很明显，在基本结构上也能得到同样的效果。

该图20的流程图中的步骤S101～S102、S104～S107分别与图49的流程图中的步骤S81～S82、S85～S88相同，只有在步骤S103中从立体图像中提取特征的工作不同。因此，这里省略各步骤的工作说明。

[第13实施方式]

接着，说明本发明第13实施方式。

该第13实施方式说明立体摄影装置和外部装置间的位置姿态偏差的校准校正。

在前述第12实施方式中，描述了立体摄影装置内部的校准参数(课题1-1、课题1-2)的校正。在本第13实施方式中，描述进行立体摄影装置和外部装置的位置姿态偏差(课题2)的校准校正的方法。

图62是本发明第13实施方式的校准偏差校正装置的基本结构的方框图。

在图62中，校准偏差校正装置350对拍摄立体图像并应校正校准偏差的摄影装置276进行校准偏差校正。

校准偏差校正装置350与图43所示的校准偏差校正装置280同样，包括控制装置262、状况判断装置264、调整处理装置282、特征提取装置266、校准数据校正装置268、校正结果呈现装置270、以及校准数据存储装置272。再者，在该校准偏差校正装置350中，添加了规定基准位置的外部装置352。即，示出了根据外部装置规定的坐标系来测定立体摄影装置的位置姿态的校正校准数据的方法。

因此，应校正校准偏差的参数对应于式(88)的p＝e′。

其中，校准偏差校正装置350内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

这里，简单说明本第13实施方式中利用的特征。

具体地说，只处理已知特征。而且，该特征以外部装置为基准，只利用该位置被规定的特征。例如，如图50A至图50E所示，在以车辆为外部装置时，利用位于车辆前方的已知特征。

此时，已知特征作为外部装置规定的坐标系中的特征，以(x_i ^O，y_i ^O，z_i ^O)(i＝1，2，...，n)存储在校准数据存储装置中。

图63是说明本第13实施方式的校准偏差校正装置的详细工作的流程图。其中，在本实施方式中，根据控制装置262的控制来工作。

基本的步骤与图49所示的第12实施方式的流程图相同。即，步骤S111～S113、S115、S117～S118与前述图49的流程图中的步骤S81～S83、S85、S87～S88相同，步骤S114及S116不同。因此，在以下说明中，只说明不同的步骤。

在步骤S114中，从调整过的图像中提取的特征，如前所述只有已知特征。该特征提取方法在前述第12实施方式中详细说明过了，所以这里省略其说明。

其中，与已知特征(x_i ^O，y_i ^O，z_i ^O)(i＝1，2，...，n)对应的左图像和右图像的特征以(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)的形式来提取。

然后，在步骤S116中，校正校准偏差。

即，校正校准数据p＝e′。在说明该校正前，说明校准数据即位置姿态参数p＝e′应满足的约束条件。

[与立体摄影装置和外部装置间的位置姿态参数有关的约束条件]

将立体摄影装置的基准坐标系取为左摄像机的坐标系L后，由左摄像机坐标系L和右摄像机坐标系R中观察的图像特征(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)给出。此时，如果设透镜失真处理、调整处理后的归一化了的摄像机图像面上的图像特征的位置为 $({\tilde{u}}_i^L,{\tilde{v}}_i^L),({\tilde{u}}_i^R,{\tilde{v}}_i^R),$ 则与左摄像机坐标系L对应的特征的三维位置(x_i ^L，y_i ^L，z_i ^L)可以由下式给出。

$\left\{\begin{array}{c}{z}_i^L=\frac{b}{{\tilde{u}}_i^R-{\tilde{u}}_i^L}\\ x_i^L={\tilde{u}}_i^L{z}_i^L\\ y_i^L={\tilde{v}}_i^L{z}_i^L\end{array}\right.---\left(121\right)$

这里，b是摄像机间的基线长度，可以表现为左摄像机坐标系的原点和右摄像机坐标系的原点间的距离。

现在，假设在外部装置规定的坐标系中，同一特征点由(x_i ^O，y_i ^O，z_i ^O)给出，则下式成立。

$\left[\begin{array}{c}{x}_i^L\\ y_i^L\\ z_i^L\end{array}\right]=R_O^L\left[\begin{array}{c}{x}_i^O\\ y_i^O\\ z_i^O\end{array}\right]+T_O^L=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{c}{x}_i^O\\ y_i^O\\ z_i^O\end{array}\right]+\left[\begin{array}{c}{t}_x^{\′}\\ t_y^{\′}\\ t_z^{\′}\end{array}\right]---\left(122\right)$

这里，六维参数(φ_x，φ_y，φ_z，t′_x，t′_y，t′_z)是坐标变换参数(_LR_O，_LT_O)中包含的参数。对于它们，必须满足如下制约式：

$h_i=R_O^L\left[\begin{array}{c}{x}_i^O\\ y_i^O\\ z_i^O\end{array}\right]+T_O^L-\left[\begin{array}{c}{x}_i^L\\ y_i^L\\ z_i^L\end{array}\right]=0---\left(123\right)$

为了校正同外部装置和摄影装置间的位置姿态参数有关的校准偏差，可以根据特征提取部提取出的(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)，利用通过式(121)算出的(x_i ^L，y_i ^L，z_i ^L)，利用与上述第12实施方式中说明过的处理同样的处理、即扩展卡尔曼滤波来校正参数p＝e′。

通过实施以上步骤的处理工作，能够进行立体摄影装置和外部装置间的位置姿态偏差的校准校正。

其中，在前述方法中，以在步骤S113中进行调整处理为前提进行了说明，当然也可以省略调整处理来进行整个处理。此时，核线约束未必为水平线，特征点的对应搜索的处理量增加，但是很明显，在基本结构上也能得到同样的效果。

[第14实施方式]

接着，第14实施方式说明外部装置和摄影装置间的校准和摄影装置自身的校准。

在第14实施方式中，说明进行与立体摄影装置的内部校准参数有关的校准偏差、以及进行外部装置和立体摄影装置间的位置姿态偏差的校准校正的方法。

本第14实施方式中利用的特征，包含前述第12实施方式的情况下包含的自然特征、和第13实施方式的情况下包含的已知特征。

图64是本发明第14实施方式的校准偏差校正装置的基本结构例的方框图。

在图64中，校准偏差校正装置356对拍摄立体图像并应校正校准偏差的摄影装置276进行校准偏差校正。

校准偏差校正装置356包括控制装置262、状况判断装置264、调整处理装置282、特征提取装置266、校准数据校正装置268、校正结果呈现装置270、以及校准数据存储装置272。即，与图62所示的第13实施方式的校准偏差校正装置350在结构上相同。

其中，校准偏差校正装置356内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

此外，图65是说明本发明第14实施方式的校准偏差校正装置的工作的流程图。

基本的步骤与图63所示的第13实施方式的流程图相同。即，步骤S121～S123、S125、S127～S128与前述图63的流程图中的步骤S111～S113、S115、S117～S118相同，步骤S124及S126不同。因此，在以下说明中，只说明不同的步骤。

在步骤S124中，提取已知特征和自然特征两者。

然后，在步骤S126中，利用已知特征和自然特征两者，通过以下2个子步骤，来校正校准参数。

更具体地说，在校准数据校正装置内如下来实施：作为子步骤C1，用前述第12实施方式的方法来校正立体摄影装置的内部校准参数的校准偏差；此外，作为子步骤C2，将上述子步骤C1中得到的立体摄影装置的内部校准参数作为正确值，接着通过前述第13实施方式中说明过的方法，进行外部装置和立体摄影装置间的位置姿态偏差的校准校正。

通过以上结构及处理过程，能够进行与立体摄影装置的内部校准参数有关的校准偏差、及外部装置和立体摄影装置间的位置姿态偏差的校准校正。

[第15实施方式]

接着，第15实施方式说明校准偏差检测功能的添加。

在本第15实施方式中，通过进一步导入校准偏差检测装置，使校正处理效率更高。

图66是本发明第16实施方式的校准偏差校正装置的基本结构例的方框图。

在图66中，校准偏差校正装置360对拍摄立体图像并应校正校准偏差的摄影装置276进行校准偏差校正。

校准偏差校正装置360具有控制装置262、状况判断装置264、调整处理装置282、特征提取装置266、校准数据校正装置268、校正结果呈现装置270、校准数据存储装置272、以及校准偏差判定装置362。

即，除了前述第14实施方式中说明过的图64的结构的装置以外，还包括根据从特征提取装置266提取出的特征来判定有无校准偏差并决定偏差种类的校准偏差判定装置362。然后，在校准偏差判定装置362判定为有偏差的情况下，根据偏差种类用校准数据校正装置268来校正与校准数据存储装置272中存储的校准数据有关的校准偏差。

这样，通过附加校准偏差判定装置362，能够判定校准偏差并鉴别偏差的种类。因此，能够进行与偏差专门对应的校准偏差的校正，能够省略无用的计算处理。

这里，校准偏差校正装置360内的各装置可以由硬件或电路构成，也可以由计算机或数据处理装置的软件来处理。

此外，图67是说明本发明第15实施方式的校准偏差校正装置的工作的流程图。

基本的步骤与图60所示的流程图相同。即，步骤S131～135、S138～S140与前述图60的流程图中的步骤S91～S95、S97～S99相同，步骤S136及S137不同。因此，在以下说明中，只说明不同的步骤。

首先，说明步骤S136的处理工作。

在校准偏差检测中，有以下3个判定。

(判定1)判定自然特征或已知特征同核线约束是否有偏差。

(判定2)判定校准数据存储装置中注册的已知特征间的距离同根据用立体图像拍摄到的已知特征计测出的距离是否相等。

(判定3)以规定基准位置的外部装置为基准，对于在校准数据存储装置中注册了其三维位置的已知特征，在假定校准数据没有偏差时，判定在立体摄影装置拍摄的左右图像的规定位置上是否存在该已知特征。

然后，如果设上述判定结果正确时为○、错误时为×，则有以下3种情况的可能性。

情况1：(判定1：×)

p＝(c1，c2，e)或p＝(c1，c2，e，e′)有偏差；

情况2：(判定1：○)(判定2：×)

p＝e或p＝(e，e′)有偏差；

情况3：(判定1：○)(判定2：○)

(判定3：×)

p＝e′有偏差；

情况3：(判定1：○)(判定2：○)

(判定3：○)

校准无偏差。当然，对于这些判定，根据与偏差判定有关的计测略微有误差的事实，来考虑测定误差容许范围进行判定很重要。

接着，说明上述判定1的方法。

对于由特征提取装置266提取出并取得对应的n个自然特征或已知特征，利用根据事先得到的校准数据来调整过的特征对的图像坐标值。即，假设校准数据完全没有偏差，则注册的特征对完全满足核线约束。反过来说，在产生了校准偏差的情况下，可以判断为不满足该核线约束。

因此，对整个特征对，将不满足核线约束的程度作为评价值，来判定校准偏差。

即，设各特征对i与核线约束的偏差量为d_i，来计算出

$d_i={|v}_i^L-v_i^R|---\left(124\right).$

然后，通过下式

$\stackrel{\‾}{d}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|v_i^L-v_i^L|---\left(125\right)$

来计算所有特征对的平均值。然后，在该平均值 d大于规定的阈值threshold的情况下，判定为校准偏差很显著。

图68A及图68B示出了这种状况。在图68B中，各特征与核线的偏差d_i对应于特征点离核线的图像内距离。

此外，用上述判定方法1中说明过的方法，在对应搜索的可靠性高时，能得到良好的结果。

然而，在对应搜索结果中有可能包含可靠性低的结果的情况下，认为在用判定1的方法之2，用

$d_i={|v}_i^L-v_i^R|---\left(126\right).$

算出的各特征的差异中，有可能包含很多噪声分量。

在这种情况下，通过在预先去除被认为是噪声分量的异常值后取平均的作业来判定校准偏差的方法很有效。

即，设以这种形式排除了异常值后的特征对的集合为B，并通过下式来计算B内的d_i的平均值即可。

${\stackrel{\‾}{d}}_B=\frac{1}{m}\underset{i\∈B}{\mathrm{\Σ}}{d}_i=\frac{1}{m}\underset{i\∈B}{\mathrm{\Σ}}|v_i^L-v_i^R|---\left(127\right)$

这里，m表示集合B的元素数。在该平均值 d_B大于规定的阈值threshold时，判定为校准偏差很显著。

接着，说明判定2的方法。

设立体摄影装置拍摄到的左右图像内的已知特征的对应点为(u_i ^L，v_i ^L)、(u_i ^R，v_i ^R)，然后计算用左摄像机坐标系规定的三维坐标值。

当然，在该计算中，假设没有校准偏差，利用校准数据存储装置272存储的校准参数来进行计算。计算这样得到的已知特征间的距离，根据上述式(119)来计算出该距离和校准数据存储装置272内预先注册的已知特征点间的距离之间有何等程度的差。如果该差小于规定的阈值，则判断为无偏差；如果该差大于规定的阈值，则判断为有偏差。

进而，说明判定3的方法。

在立体图像内，首先利用已知特征来判定该已知特征在图像内是否位于应处的位置。

为此，如下判定校准数据存储装置中记录的已知特征k的三维位置(x_k ^O，y_k ^O，z_k ^O)是否位于立体摄像机拍摄的图像内的位置。

现在，设外部装置的坐标系为O，假设在该坐标系中注册了已知特征的三维位置(x_k ^O，y_k ^O，z_k ^O)，计算与该点有关的左摄像机坐标系L中的三维位置坐标(x_k ^L，y_k ^L，z_k ^L)和右摄像机坐标系中的三维位置坐标(x_k ^R，y_k ^R，z_k ^R的位置。

$\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]=R_O^L\left[\begin{array}{c}{x}_k^O\\ y_k^O\\ z_k^O\end{array}\right]+T_O^L=\left[\begin{array}{ccc}{r}_{11}^{\′}& r_{12}^{\′}& r_{13}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}& r_{23}^{\′}\\ r_{31}^{\′}& r_{32}^{\′}& r_{33}^{\′}\end{array}\right]\left[\begin{array}{c}{x}_k^O\\ y_k^O\\ z_k^O\end{array}\right]+\left[\begin{array}{c}{t}_x^{\′}\\ t_y^{\′}\\ t_z^{\′}\end{array}\right]---\left(128\right)$

$\left[\begin{array}{c}{x}_k^R\\ y_k^R\\ z_k^R\end{array}\right]=R_L^R\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]+T_L^R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_k^L\\ y_k^L\\ z_k^L\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]---\left(129\right)$

接着，对它们计算用上述式(66)及式(67)那样的式子算出的图像内的投影位置(u″_k ^L，v″_k ^L)、(u″_k ^R，v″_k ^R)。

当然，该图像内的位置是假定校准数据完全正确的情况下成立的式子。因此，通过计算上述式(101)的集合B所示的图像内的位置、和假定校准数据正确的情况下的图像位置之差，能判定是否发生了校准偏差。

即，在各图像中计算图像内的差：

$\left\{\begin{array}{c}{f}_k^L=\sqrt{{(u_k^{\′L}-u_k^{\′\′L})}^2+{(v_k^{\′L}-v_k^{\′\′L})}^2}\\ f_k^R=\sqrt{{(u_k^{\′R}-u_k^{\′\′R})}^2+{(v_k^{\′R}-v_k^{\′\′R})}^2}\end{array}\right.---\left(130\right)$

并判断下式是否成立。

${f_k}^L>\mathrm{threshold}$ 或 ${f_k}^R>\mathrm{threshold}---\left(131\right)$

这里，在超过了阈值threshold的情况下，可知至少发生了校准偏差。此外，与前述第12实施方式中说明过的同样，也可以将异常值除去等处理包含在其中。

即，在m个己知特征中至少s个(s≤m)满足上述式(131)所示的不等式的情况下，判断为发生了校准偏差。

也就是说，可以利用上述的子步骤C1来判断校准偏差是否发生。

接着，说明步骤S137的处理工作。

根据校准偏差判定装置362判定出的有无偏差和偏差分类的结果，用校准数据校正装置268来校正校准偏差。即，在判定为有校准偏差的情况下，通过以下3个方法来进行校准偏差校正即可。

(i)对于校准偏差为p＝e或p＝(c1，c2，e)的情况，通过上述第1实施方式中说明过的方法，来进行校准偏差校正。

(ii)对于校准偏差为p＝e′的情况，通过上述第2实施方式中说明过的方法，来进行校准偏差校正。

(iii)对于校准偏差为p＝(c1，c2，e)的情况，通过在上述第3实施方式中说明过的方法，来进行校准偏差校正。

如上所述，通过进一步导入校准偏差检测装置，对于校正处理，能够对应该校正的参数进行分类或决定，所以能够进行可靠性更高、高效的校正处理。当然，本第15实施方式中说明过的校准偏差检测装置能够应用于前述第11至第14实施方式中，并且在后述第16或第17实施方式中也能够利用。

[第16实施方式]

接着，本发明第16实施方式说明专用于车载的例子。

在前述第12至第15实施方式中，未详细说明状况判断装置，但是在本第16实施方式中，以该状况判断装置的功能为中心来进行说明。

图69是本发明第16实施方式的校准偏差校正装置的基本结构例的方框图。

本第16实施方式的校准偏差校正装置的结构与前述第12至第15实施方式的不同点在于，外部传感器372向校准偏差校正装置370内的状况判断装置264提供各种传感器输出的信号。此外，不同点还有，在必要时，将与校准偏差检测有关的信息送出到校准数据存储装置272，将该信息写入到校准数据存储装置272中。

其中，与该图69所示结构的第16实施方式的校准偏差校正装置370有关的处理工作，与前述第12至第14实施方式中说明过的相同。因此，工作流程图可参照图49、图60、图63及图65的流程图，这里省略图示及其说明。

在以下的说明中，作为状况判断装置264的应用，说明在车辆上安装了立体摄影装置的情况。当然很明显，本方式并不限于车辆用的车载立体摄影装置，也可以应用于其他监视摄像机系统等。

作为与状况判断装置连接的外部传感器，有里程计、时钟或计时器、温度传感器、车辆倾斜计测传感器或陀螺传感器、车速传感器、发动机起动传感器、日照传感器、雨滴传感器等。状况判断装置264用以下条件，根据车载应用所需的条件，来判定当前是否需要检测校准偏差。

此外，作为校准数据存储装置存储的校准数据，包含过去进行校准时的参数p或已知特征的数据等，来写入以下信息。

即，

(a)过去进行的立体摄影装置的内部校准参数(c1，c2，e)；

(b)过去进行的立体摄影装置和外部装置间的位置姿态校准参数e′；

(c)过去进行的已知特征的三维位置；

(d)过去进行校准时的车辆行驶距离；

(e)过去进行校准时的日期时间和时刻；

(f)过去进行校准时的外部温度；

(g)过去进行校准校正或检测时的车辆行驶距离；

(h)过去进行校准校正或检测时的日期时间和时刻；

(i)过去进行校准校正或检测时的外部温度。

接着，说明前述状况判断装置264应如何进行校准检测的状况、以及判断的方法。

在本装置中，作为进行校准偏差检测的条件，说明在车辆停止时进行、在从以前检测出偏差时起经过了一定时间T后进行、晴天白天进行等3个条件成立时进行的情况。

首先，为了满足第1个条件，用车速传感器或陀螺传感器等来确认车辆未移动。接着，为了满足第2个条件，计算过去进行校准偏差校正时的时刻和根据时钟等算出的当前时刻之间的时间差。对于第3个条件，利用日照传感器或雨滴传感器等，来判断是否满足条件。

这样，执行了校准偏差校正后，其结果被送出到校正结果呈现装置270。然后，将校正结果写入到校准数据存储装置272中。

此外，在车载应用的情况下，作为已知特征，可以考虑各种变形。即，对各种道路交通法规定的大小或位置的规格、其他条例等决定的规格，可以将基于该规格的形状用作用于本校准偏差校正装置的已知特征。作为这种决定的规格，可以考虑标志、车辆上安装的车牌、人行横道、白线的间距等。

再者，在有些车辆的一部分进入视野的一部分的情况下，将该车辆的一部分注册为已知特征，也利用该特征间的相对距离，来进行校准校正。这样的例子如前述第12实施方式中所述，所以省略其说明。

此外，用户或维护作业者也可以积极进行校准偏差校正。即，用户等也可以通过在摄影装置前呈现大小或形状已知的校准图案，用立体摄影装置拍摄该校准图案，来进行校准校正。

如图70所示，该校准图案可以是平面格子状配置了校准图案的校准板。或者，如图71所示，也可以是以直角的3个平面的格子状配置了校准图案的校准器具。

通过采用以上方法，本校准偏差校正装置能够应用于车载等。

[第17实施方式]

接着，本发明第17实施方式说明摄影装置多次摄影并利用其图像的例子。

在前述实施方式中，未指定拍摄立体图像的次数。在本第17实施方式中，说明以提供更坚固、更可靠的校准偏差校正装置为目的，通过从多次拍摄的立体图像中提取更多的取得对应的特征来构成校准偏差校正装置的例子。

其中，本第17实施方式的校准偏差校正装置只有通过摄影装置进行多次摄影这一点与前述实施方式不同，其基本结构相同，所以省略其说明。

图72A及图72B是本发明第17实施方式的校准偏差校正装置拍摄的立体图像的状况的图，其中，图72A是时刻1上的左图像的示例图，图72B是与时刻1不同的时刻2上的左图像的示例图。这里，示出了在不同的时刻1和时刻2上拍摄到的两组立体图像(在图中只示出左图像)多次拍摄到已知特征的情况。

图73是说明本发明第17实施方式的校准偏差校正装置的处理工作的流程图。

其中，步骤S151～S155的处理工作与前述第12实施方式的图49的流程图中的步骤S81～S85分别相同。

此外，在步骤S156中，例如判断已知特征的迄今提取出的个数是否达到了某个一定以上的个数。这里，如果该个数超过规定的数目，则转移到步骤S157来进行校准偏差的判定及分类。接着，在步骤S158中进行了校准偏差的校正处理后，在步骤S159中呈现其判定结果。

另一方面，如果在上述步骤S156中未达到规定的数目，则转移到上述步骤151，再次拍摄立体图像。当然，这里也可以变更摄影的场所或视点。

在步骤S160中，根据算出的可靠性，来判定校准偏差校正装置算出的校准参数是否是可靠的数据。在该数据可靠的情况下转移到步骤S161，否则转移到上述步骤S151来重复校准偏差校正的步骤。另一方面，在步骤S161中，更新过的校准数据被保存到校准数据存储装置272中。

其中，它们由状况判断装置或控制装置来控制。这里，用一组立体图像提取出的已知特征分别被注册为不同的特征组，校准偏差校正的处理进行与这些组相应的处理。

图74是说明本第17实施方式的校准偏差校正装置的另一处理工作的流程图。

在该图74所示的流程图中，步骤S171～S175、S176～S177、S179～181的处理工作与前述图73的流程图中的步骤S151～S155、S157～S158、S159～S161分别相同。因此，只说明不同的处理工作的步骤。

在步骤S177中，校准数据校正装置利用新得到的特征来始终计算校准数据的校正结果的精度。然后，在后续的步骤S178中，判断该精度是否足够。

这里，在判断为偏差校正的精度足够的情况下，转移到步骤S179～S181并结束校准数据校正装置中的处理。另一方面，在判断为精度不够的情况下，转移到上述步骤S171，再次拍摄立体图像，重复提取更多的特征。

用该方式来判定如何计算校准数据的校正处理的精度、从前述扩展卡尔曼滤波的处理K-2-6中计算出的校正参数的协方差矩阵∑中得到的各参数元素的方差的值减小的程度即可。该描述例如详细记载于A.Kosaka and A.C.Kak，“Fast vision-guided mobile robot navigationusing model-based reasoning and prediction of uncertainties，”ComputerVision，Graphics and Image Processing-Image Understanding，Vol.56，No.3，November，pp.271-329，1992中，所以这里不详述。

根据以上实施方式，能够用更多的特征来进行校准偏差校正处理，所以能够提供更健壮、更可靠的校准偏差校正装置。

其中，本发明并不限于前述实施方式本身，在实施阶段，可以在不脱离其主旨的范围内对构件进行变形来具体化。此外，可以通过适当组合上述实施方式中公开的多个构件来形成本发明。例如，也可以从实施方式所示的全部构件中删除几个构件。例如使得控制部件(支持控制装置的控制运算功能部等)将检测该车辆的姿态以及位置的检测部件的检测输出作为其控制中的状态变量，而且不依据上述立体摄像机的影像，来进行控制工作。再者，也可以适当组合不同的实施方式中的构件。

发明效果

根据本发明，能得到一种立体摄像机支持装置及立体摄像机的支持方法以及立体摄像机系统，能够不依赖于背景等周围的其他部分来高效地取得该被摄体自身的距离等着眼于该被摄体的信息。

此外，根据本发明，能得到一种校准偏差检测装置及包括该装置的立体摄像机以及立体摄像机系统，即使进行三维计测等的拍摄立体图像的摄影装置的校准是由于随时间的变化或冲击振动等机械偏差，也能够通过分析立体图像来简单地定量地检测校准偏差。

再者，根据本发明，能得到一种校准偏差校正装置及包括该装置的立体摄像机以及立体摄像机系统，即使进行三维计测等的拍摄立体图像的摄影装置的校准是由于随时间的变化或冲击振动等机械偏差，也能够通过分析立体图像来简单地定量地并以绝对值来校正校准偏差。

Claims (148)

1.一种立体摄像机支持装置，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变，从而将该立体摄像机支持在上述车辆上；和

控制部，控制由上述结合部件支持在上述车辆上的立体摄像机的姿态以及位置；

上述控制部控制该立体摄像机的姿态以及位置，使得上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述车辆的姿态以及位置的变化，位于影像的帧上端以及其附近。

2.如权利要求1所述的立体摄像机支持装置，其特征在于，上述控制部根据检测该车辆的姿态以及位置的检测部的检测输出来进行控制工作。

3.如权利要求1所述的立体摄像机支持装置，其特征在于，上述控制部依据评价并识别由上述立体摄像机得到的影像的特征的影像识别部的输出，来进行控制工作。

4.如权利要求1所述的立体摄像机支持装置，其特征在于，上述控制部依据检测该车辆的姿态以及位置的检测部的检测输出、和评价并识别由上述立体摄像机得到的影像的特征的影像识别部的输出，来进行控制工作。

5.如权利要求2或4所述的立体摄像机支持装置，其特征在于，上述检测部包含检测该车辆的倾斜的倾斜检测部、和检测该车辆的规定部的水准位置的高度检测部中的至少1个。

6.如权利要求5所述的立体摄像机支持装置，其特征在于，上述倾斜检测部检测相对于铅直方向或水平方向的相对角度。

7.如权利要求5所述的立体摄像机支持装置，其特征在于，上述高度检测部检测该车辆相对于接地面的相对位置。

8.如权利要求1至3中任一项所述的立体摄像机支持装置，其特征在于，上述控制部进行反馈控制。

9.如权利要求1至3中任一项所述的立体摄像机支持装置，其特征在于，上述控制部进行前馈控制。

10.一种立体摄像机支持装置，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的物体侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变，从而将该立体摄像机支持在上述物体上；和

控制部，控制由上述结合部件支持在上述物体上的立体摄像机的姿态以及位置；

上述控制部控制该立体摄像机的姿态以及位置，使得由上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分，不依赖于上述物体和上述摄像视野内的注目被摄体之间的相对姿态以及位置的变化，而位于影像的帧上端以及其附近。

11.一种立体摄像机支持方法，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变；

控制通过上述结合被支持在上述车辆上的立体摄像机的姿态以及位置，使得由上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分，不依赖于上述车辆的姿态以及位置的变化，而位于影像的帧上端以及其附近。

12.一种立体摄像机支持方法，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

将设置上述立体摄像机的物体侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变；

控制通过上述结合被支持在上述物体上的立体摄像机的姿态以及位置，使得由上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分，不依赖于上述物体和上述摄像视野内的注目被摄体之间的相对姿态以及位置的变化，而位于影像的帧上端以及其附近。

13.如权利要求1所述的立体摄像机支持装置，其特征在于，上述控制部将检测上述车辆的姿态以及位置的检测部的检测输出作为状态变量，而且不依据由上述立体摄像机得到的影像来进行控制工作。

14.一种立体摄像机系统，包括用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对位置在规定范围内可变，从而将该立体摄像机支持在上述车辆上；和

控制部，控制由上述结合部件支持在上述车辆上的立体摄像机的姿态以及位置；

上述控制部控制该立体摄像机的姿态以及位置，使得对于通过从在上述立体摄像机的摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影而得到的影像，该影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述车辆的姿态以及位置的变化，而位于影像的帧上端以及其附近。

15.如权利要求14所述的立体摄像机系统，其特征在于，还包括：信息处理部，根据上述立体摄像机摄影得到的影像信息来计算上述注目被摄体的距离。

16.如权利要求15所述的立体摄像机系统，其特征在于，上述信息处理部根据上述立体摄像机摄影得到的影像信息，来生成用于在该车辆中所应用的显示部上放映表示道路状况的影像的数据。

17.如权利要求15所述的立体摄像机系统，其特征在于，上述信息处理部根据上述立体摄像机摄影得到的影像信息来生成如下的数据，即该数据用于在该车辆中所应用的显示部上，在表示道路状况的影像上重叠显示表示离该车辆位于等距离的道路上的点组的指标来放映。

18.如权利要求15所述的立体摄像机系统，其特征在于，上述信息处理部根据上述立体摄像机摄影得到的影像信息，来生成用于使该车辆中所应用的警告部发出警告的数据。

19.一种立体摄像机系统，包括用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的物体侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对位置在规定范围内可变，从而将该立体摄像机支持在上述物体上；和

控制部，控制由上述结合部件支持在上述物体上的立体摄像机的姿态以及位置；

上述控制部控制该立体摄像机的姿态以及位置，使得对于通过从在上述立体摄像机的摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影而得到的影像，该影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述物体和上述摄像视野内的注目被摄体之间的相对姿态以及位置的变化，而位于影像的帧上端以及其附近。

20.如权利要求14所述的立体摄像机系统，其特征在于，上述控制部在开始运动时将上述立体摄像机控制为如下姿态，即从在其摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影时的视野的中心线基本上为水平方向的姿态。

21.如权利要求14所述的立体摄像机系统，其特征在于，上述控制部在开始运动时将上述立体摄像机控制为如下姿态，即从在其摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影时的视野的中心线基本上维持上次控制中设定的最后状态的姿态。

22.如权利要求14所述的立体摄像机系统，其特征在于，上述控制部在开始运动时将上述立体摄像机控制为如下姿态，即从在其摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影时的视野的中心线为基本上比水平方向向下的姿态。

23.如权利要求14所述的立体摄像机系统，其特征在于，上述控制部在该车辆高速行驶时将上述立体摄像机控制为如下姿态，即从在其摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影时的视野的中心线为相对向下的姿态，在低速行驶时控制为上述中心线为相对向上的姿态。

24.如权利要求14所述的立体摄像机系统，其特征在于，上述控制部在识别出遭遇到应注目的被摄体的轮廓的最高水准部分逃逸到影像的帧上端的更上方的较高被摄体时，将上述立体摄像机的姿态控制为向上。

25.一种立体摄像机支持装置，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变，从而将该立体摄像机支持在上述车辆上；和

控制机构，控制由上述结合部件支持在上述车辆上的立体摄像机的姿态以及位置；

上述控制机构控制该立体摄像机的姿态以及位置，使得上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述车辆的姿态以及位置的变化，位于影像的帧上端以及其附近。

26.一种立体摄像机支持装置，支持用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的物体侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对关系在规定范围内可变，从而将该立体摄像机支持在上述物体上；和

控制机构，控制由上述结合部件支持在上述物体上的立体摄像机的姿态以及位置；

上述控制机构控制该立体摄像机的姿态以及位置，使得上述立体摄像机得到的影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述物体和上述摄像视野内的注目被摄体之间的相对姿态以及位置的变化，而位于影像的帧上端以及其附近。

27.一种立体摄像机系统，包括用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的车辆侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对位置在规定范围内可变，从而将该立体摄像机支持在上述车辆上；和

控制机构，控制由上述结合部件支持在上述车辆上的立体摄像机的姿态以及位置；

上述控制机构控制该立体摄像机的姿态以及位置，使得对于通过从在上述立体摄像机的摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影而得到的影像，该影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述车辆的姿态以及位置的变化，而位于影像的帧上端以及其附近。

28.一种立体摄像机系统，包括用于得到具有由相互隔离的多个视点造成的视差的多个影像的立体摄像机，其特征在于，

包括：结合部件，通过将设置上述立体摄像机的物体侧所设的支持部件、和该立体摄像机的规定部位上所设的被支持部件结合，使得上述两个部件间的相对位置在规定范围内可变，从而将该立体摄像机支持在上述物体上；和

控制机构，控制由上述结合部件支持在上述物体上的立体摄像机的姿态以及位置；

上述控制机构控制该立体摄像机的姿态以及位置，使得对于通过从在上述立体摄像机的摄像光学系统以及其附近设定的视点看该立体摄像机的摄像视野来进行摄影而得到的影像，该影像中的注目被摄体的轮廓中的位于最高水准位置上的轮廓部分不依赖于上述物体和上述摄像视野内的注目被摄体之间的相对姿态以及位置的变化，而位于影像的框架上端以及其附近。

29.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准偏差判定部，根据表示由上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

30.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

31.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与摄影装置之间的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

32.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

33.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果。

34.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从由上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果。

35.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果。

36.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄的立体图像实施调整处理；

特征提取部，从由上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果。

37.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

38.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

39.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

40.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置与拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

41.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

42.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

43.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

44.一种校准偏差检测装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据上述特征提取部提取出的特征，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

偏差结果呈现部，用于呈现上述校准偏差判定部判定出的有无校准偏差等判定结果；以及

状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

45.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，还具备：失真校正处理部，根据上述校准数据保持部中保持的校准数据，对通过上述摄影装置得到的立体图像实施校正失真的失真处理。

46.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述特征提取部提取该立体图像的、处于对应关系的多个特征。

47.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述特征提取部提取通过上述摄影装置得到的立体图像的、处于对应关系的多个特征，排除该提取出的多个取得对应的特征中的、可以判定为异常的特征，供上述校准偏差判定部进行偏差判定。

48.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述校准偏差判定部利用基于上述校准数据保持部所保持的校准数据的核线约束，对通过上述摄影装置得到的立体图像的、处于对应关系的特征判定校准偏差。

49.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述特征提取部包含：特征选择部，在上述摄影装置得到的立体图像中的一个图像内，选择对校准偏差检测有效的特征；和特征对应搜索部，从另一个图像内提取或搜索与该选择出的特征相对应的特征。

50.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述校准数据保持部保持相对位置关系已知的多个特征的数据，上述校准偏差判定部在表示上述特征提取部提取出的特征的信息之外、还利用上述校准数据保持部所保持的表示上述位置关系的数据，来进行校准偏差判定。

51.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，对作为上述摄影装置具有得到产生由多个视点造成的视差的多个像的光学系统和单一摄像机部的立体适配器方式的摄影装置，进行其校准偏差检测。

52.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，以作为上述摄影装置的、包含多个摄像机而成的摄像系统为对象，进行校准偏差检测。

53.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，检测与车载型的上述摄像装置有关的校准偏差。

54.如权利要求37至44中任一项所述的校准偏差检测装置，其特征在于，上述状况判断部根据外部传感器的输出来进行状况判断。

55.如权利要求33、34、35、36、41、42、43及44中任一项所述的校准偏差检测装置，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，来显示正在进行偏差检测的处理工作的情况。

56.如权利要求33、34、35、36、41、42、43及44中任一项所述的校准偏差检测装置，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，可显示如下信息，即该信息表示作为偏差检测的处理结果而得到的参数和上述校准数据保持部中预先保持的参数之间的差异。

57.如权利要求33、34、35、36、41、42、43及44中任一项所述的校准偏差检测装置，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，在未能进行正规的偏差检测时，可显示表示该情况的差错码。

58.如权利要求33、34、35、36、41、42、43及44中任一项所述的校准偏差检测装置，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，可显示表示与偏差检测有关的可靠性的状态。

59.如权利要求29至44中任一项所述的校准偏差检测装置，其特征在于，上述特征提取部辨别与上述摄影装置得到的立体图像有关的可靠性，在该特征提取部辨别出与上述摄影装置得到的立体图像有关的可靠性不够时，还进行重复该摄影装置所进行的拍摄处理的控制。

60.一种立体摄像机，具备：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部的校准偏差；以及

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测部具有：

校准数据保持部，保持与上述摄像部有关的校准数据；

特征提取部，从上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定部，根据表示由上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

61.一种立体摄像机，具备：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部的校准偏差；以及

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测部具有：

校准数据保持部，保持与上述摄像部有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄像部拍摄到的立体图像进行调整处理；

特征提取部，从上述调整处理部处理的调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示由上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

62.一种立体摄像机，具备：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部和规定预定基准位置的外部装置之间的校准偏差；以及

运算部，考虑上述校准偏差检测部的检测输出，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测部具有：

校准数据保持部，保持同用于规定上述基准位置的预定的外部装置和上述摄像部之间的校准有关的校准数据；

特征提取部，从由上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定部，根据由上述特征提取部提取出的特征，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

63.一种立体摄像机，具备：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部和规定预定基准位置的外部装置之间的校准偏差；以及

运算部，考虑上述校准偏差检测部的检测输出，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测部具有：

校准数据保持部，保持与上述摄像部有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄像部拍摄到的立体图像进行调整处理；

特征提取部，从由上述调整处理部调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示由上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差。

64.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部的校准偏差；

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差检测部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差检测部包含：

校准数据保持部，保持与上述摄像部有关的校准数据；

特征提取部，从由上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差判定部的判定结果显示在自己的显示面上。

65.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部的校准偏差；

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差检测部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差检测部包含：

校准数据保持部，保持与上述摄像部有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对由上述摄像部得到的作为影像信号输出的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差判定部的判定结果显示在自己的显示面上。

66.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部和规定预定基准位置的外部装置之间的校准偏差；

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差检测部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差检测部包含：

校准数据保持部，保持与用于规定上述基准位置的规定的外部装置和上述摄像部之间的校准有关的校准数据；

特征提取部，从上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差判定部的判定结果显示在自己的显示面上。

67.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测部，检测上述摄像部和规定预定基准位置的外部装置之间的校准偏差；

运算部，考虑上述校准偏差检测部的检测输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差检测部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差检测部包含：

校准数据保持部，保持与用于规定上述基准位置的规定的外部装置和上述摄像部之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对由上述摄像部得到的作为影像信号输出的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差判定部的判定结果显示在自己的显示面上。

68.如权利要求64、65、66及67中任一项所述的立体摄像机系统，其特征在于，上述显示部能够通过与上述校准偏差判定部协作，来显示正在进行偏差检测的处理工作的情况。

69.如权利要求64、65、66及67中任一项所述的立体摄像机系统，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，来显示表示作为偏差检测的处理结果而得到的参数和上述校准数据保持部中预先保持的参数之间的差异的信息。

70.如权利要求64、65、66及67中任一项所述的立体摄像机系统，其特征在于，上述偏差结果呈现部能够通过与上述校准偏差判定部协作，在未能进行正规的偏差检测时可显示表示该情况的差错码。

71.如权利要求64、65、66及67中任一项所述的立体摄像机系统，其特征在于，该特征提取部辨别与上述摄像部得到的立体图像有关的可靠性，并且，上述校准偏差检测部还包括控制部，在该特征提取部辨别出与上述摄像部得到的立体图像有关的可靠性不够时，该控制部进行重复该摄像部的拍摄处理的控制。

72.如权利要求65或66所述的立体摄像机系统，其特征在于，上述校准偏差检测部应用装备了上述摄像部的车辆的特定形状部，作为该外部装置。

73.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

74.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

75.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和摄影装置之间的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取手段提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

76.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

77.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果。

78.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果。

79.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果。

80.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果。

81.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

82.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

83.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

84.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

85.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

86.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

87.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

88.一种校准偏差检测装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据上述特征提取机构提取出的特征，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

偏差结果呈现机构，用于呈现上述校准偏差判定机构判定出的有无校准偏差等判定结果；以及

状况判断机构，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差检测。

89.一种立体摄像机，具备：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构的校准偏差；以及

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测机构具有：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

90.一种立体摄像机，具备：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构的校准偏差；以及

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测机构具有：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构拍摄到的立体图像进行调整处理；

特征提取机构，从上述调整处理机构处理的调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

91.一种立体摄像机，具备：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；以及

运算机构，考虑上述校准偏差检测机构的检测输出，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测机构具有：

校准数据保持机构，保持同上述用于规定基准位置的规定的外部装置和上述摄像机构之间的校准有关的校准数据；

特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定机构，根据上述特征提取机构提取出的特征，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

92.一种立体摄像机，具备：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；以及

运算机构，考虑上述校准偏差检测机构的检测输出，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；

其特征在于，上述校准偏差检测机构具有：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构拍摄到的立体图像进行调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差。

93.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构的校准偏差；

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差检测机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差检测机构包含：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差判定机构的判定结果显示在自己的显示面上。

94.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构的校准偏差；

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差检测机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差检测机构包含：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构得到的作为影像信号输出的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差判定机构的判定结果显示在自己的显示面上。

95.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差检测机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差检测机构包含：

校准数据存储保持机构，保持同上述用于规定基准位置的规定的外部装置和上述摄像机构之间的校准有关的校准数据；

特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差判定机构的判定结果显示在自己的显示面上。

96.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差检测机构，检测上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；

运算机构，考虑上述校准偏差检测机构的检测输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差检测机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差检测机构包含：

校准数据保持机构，保持同上述用于规定基准位置的规定的外部装置和上述摄像机构之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构得到的作为影像信号输出的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差判定机构的判定结果显示在自己的显示面上。

97.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

98.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

99.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定外部装置和摄影装置之间的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

100.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持对用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准偏差进行校正的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部处理的调整过的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

101.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准、以及该摄影装置主体的校准有关的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

102.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准、以及该摄影装置主体的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

103.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定有无上述校准偏差；

校准数据校正部，在上述校准偏差判定部判定为有偏差的情况下，校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

104.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定有无校准偏差；

校准数据校正部，在上述校准偏差判定部判定为有偏差的情况下，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

105.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

特征提取部，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定有无校准偏差并决定偏差的种类；

校准数据校正部，在上述校准偏差判定部判定为有偏差的情况下，按照偏差的种类来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

106.一种校准偏差校正装置，其特征在于，具备：

校准数据保持部，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；

校准偏差判定部，根据表示上述特征提取部提取出的特征的信息，来判定有无校准偏差并决定偏差的种类；

校准数据校正部，在上述校准偏差判定部判定为有偏差的情况下，按照偏差的种类来校正与上述校准数据保持部中保持的校准数据有关的校准偏差。

107.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，还具备校正结果呈现部，用于呈现上述校准数据校正部校正过的校准偏差校正结果。

108.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，还具备：状况判断部，按照与上述摄影装置的校准具有规定的相互关系的信息以及规定的操作，来判断是否进行校准偏差校正。

109.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，校准数据保持部保持上述校准数据校正部校正过的校准数据。

110.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，还具备：失真校正处理部，根据上述校准数据保持部中保持的校准数据，对通过上述摄影装置得到的立体图像实施失真校正处理。

111.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，还具备：控制部，根据上述校准数据校正部校正过的数据的精度，来控制上述摄影装置的立体图像的重复拍摄。

112.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，还具备：控制部，根据上述校准数据校正部在校正处理中使用的特征的数目，来控制上述摄影装置的立体图像的重复拍摄。

113.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，上述特征提取部提取上述摄影装置得到的立体图像的处于对应关系的多个特征，排除该提取出的多个取得对应的特征中的可以判定为异常的特征后，供上述校准数据校正部进行校正处理。

114.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，上述特征提取部在提取上述摄影装置得到的立体图像的处于对应关系的特征时，在基于上述校准数据保持部所保持的校准数据的核线附近，提取可对应的特征。

115.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，上述特征提取部包含：特征选择部，在上述摄影装置得到的立体图像的一个图像内选择对校准偏差检测有效的特征；和特征对应搜索部，从另一个图像内提取或搜索与选择出的特征对应的特征。

116.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，上述校准数据保持部保持相对位置关系已知的多个特征的数据，在上述特征提取部采用与保持在上述校准数据保持部中的特征有关的数据的情况下，上述校准数据校正部依据该数据表示的位置关系的信息来进行校准数据校正。

117.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，以作为上述摄影装置的、包含得到产生由多个视点造成的视差的多个像的光学系统和单一摄像机部而成的立体适配器方式的摄影装置为对象，进行校准偏差校正。

118.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，以作为上述摄影装置的、包含多个摄像机而构成的摄像系统为对象，进行校准偏差校正。

119.如权利要求97至106中任一项所述的校准偏差校正装置，其特征在于，校正与车载型的上述摄像装置有关的校准偏差。

120.如权利要求108所述的校准偏差校正装置，其特征在于，上述状况判断部根据外部传感器的输出来进行状况判断。

121.如权利要求99至102中任一项所述的校准偏差校正装置，其特征在于，应用装备了上述摄影装置的车辆的特定形状部作为该外部装置。

122.如权利要求99至102中任一项所述的校准偏差校正装置，其特征在于，应用在车辆上装备的上述摄影装置拍摄的车外的已知形状物作为该外部装置。

123.如权利要求107所述的校准偏差校正装置，其特征在于，上述校正结果呈现部可作为显示正在校正校准偏差的指示器来工作。

124.如权利要求107所述的校准偏差校正装置，其特征在于，上述校正结果呈现部可显示通过校准偏差校正而得到的参数、和预先存储的校准参数之间的差异。

125.如权利要求107所述的校准偏差校正装置，其特征在于，上述校正结果呈现部可显示表示与校准偏差校正有关的可靠性的状态。

126.如权利要求107所述的校准偏差校正装置，其特征在于，在校准偏差校正处理有差错的情况下，上述校正结果呈现部能够呈现基于该差错的差错码。

127.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正部，校正上述摄像部的校准偏差；

运算部，考虑上述校准偏差校正部的校正输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差校正部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差校正部包含：

校准数据保持部，保持与上述摄像部有关的校准数据；

特征提取部，从上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差校正部的校正结果显示在自己的显示面上。

128.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正部，校正上述摄像部的校准偏差；

运算部，考虑上述校准偏差校正部的校正输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差校正部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差校正部包含：

校准数据保持部，保持与上述摄像部有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄像部得到的作为影像信号输出的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差校正部的校正结果显示在自己的显示面上。

129.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正部，校正上述摄像部和规定预定基准位置的外部装置之间的校准偏差；

运算部，考虑上述校准偏差校正部的校正输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差校正部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差校正部包含：

校准数据保持部，保持同上述用于规定基准位置的规定的外部装置和上述摄像部之间的校准有关的校准数据；

特征提取部，从上述摄像部得到的作为影像信号输出的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差校正部的校正结果显示在自己的显示面上。

130.一种立体摄像机系统，包含：

摄像部，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正部，校正上述摄像部和规定预定基准位置的外部装置之间的校准偏差；

运算部，考虑上述校准偏差校正部的校正输出数据，并依据上述摄像部得到的影像信号输出来计算被摄体的距离等数据；以及

显示部，用于进行与上述校准偏差校正部、运算部以及上述摄像部的输出相关联的所需的显示；

其特征在于，上述校准偏差校正部包含：

校准数据保持部，保持同用于规定上述基准位置的规定的外部装置和上述摄像部之间的校准有关的校准数据；

调整处理部，根据上述校准数据保持部中保持的校准数据，对上述摄像部得到的作为影像信号输出的立体图像实施调整处理；

特征提取部，从上述调整处理部调整过的立体图像中提取特征；以及

校准数据校正部，根据表示上述特征提取部提取出的特征的信息，来校正与上述校准数据保持部中保持的校准数据有关的校准偏差；

上述显示部能够将上述校准偏差校正部的校正结果显示在自己的显示面上。

131.如权利要求127至130中任一项所述的立体摄像机系统，其特征在于，上述显示部能够通过与上述校准数据校正部协作，来显示正在进行校准偏差校正的处理工作的情况。

132.如权利要求127至130中任一项所述的立体摄像机系统，其特征在于，上述显示部能够通过与上述校准数据校正部协作，来显示如下信息，即该信息表示作为校准偏差校正的处理结果而得到的参数和上述校准数据保持部中预先保持的参数之间的差异。

133.如权利要求127至130中任一项所述的立体摄像机系统，其特征在于，上述显示部能够通过与上述校准数据校正部协作，在未能进行正规的校准偏差校正时显示表示该情况的差错码。

134.如权利要求127至130中任一项所述的立体摄像机系统，其特征在于，该特征提取部辨别与上述摄像部得到的立体图像有关的可靠性，并且，上述校准偏差校正部还包括：控制部，在该特征提取部辨别出与上述摄像部得到的立体图像有关的可靠性不够时，该控制部进行重复该摄像装置的拍摄处理的控制。

135.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

136.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

137.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和摄影装置之间的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

138.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持对用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准偏差进行校正的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构处理的调整过的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

139.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准、以及该摄影装置主体的校准有关的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

140.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持同用于规定基准位置的规定的外部装置和拍摄立体图像的摄影装置之间的校准、以及该摄影装置主体的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

141.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定有无上述校准偏差；

校准数据校正机构，在上述校准偏差判定机构判定为有偏差的情况下，校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

142.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定有无校准偏差；

校准数据校正机构，在上述校准偏差判定机构判定为有偏差的情况下，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

143.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

特征提取机构，从上述摄影装置拍摄到的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定有无校准偏差并决定偏差的种类；

校准数据校正机构，在上述校准偏差判定机构判定为有偏差的情况下，按照偏差的种类来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

144.一种校准偏差校正装置，其特征在于，具备：

校准数据保持机构，保持与拍摄立体图像的摄影装置有关的校准的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄影装置拍摄到的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；

校准偏差判定机构，根据表示上述特征提取机构提取出的特征的信息，来判定有无校准偏差并决定偏差的种类；

校准数据校正机构，在上述校准偏差判定机构判定为有偏差的情况下，按照偏差的种类来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差。

145.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正机构，校正上述摄像机构的校准偏差；

运算机构，考虑上述校准偏差校正机构的校正输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差校正机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差校正机构包含：

校准数据保持机构，保持与上述摄像机构有关的校准数据；特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差校正机构的校正结果显示在自己的显示面上。

146.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正机构，校正上述摄像机构的校准偏差；

运算机构，考虑上述校准偏差校正机构的校正输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差校正机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差校正机构包含：

校准数据保持机构，保持与上述摄像机构有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构得到的作为影像信号输出的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差校正机构的校正结果显示在自己的显示面上。

147.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正机构，校正上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；

运算机构，考虑上述校准偏差校正机构的校正输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差校正机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差校正机构包含：

校准数据保持机构，保持同用于规定上述基准位置的规定的外部装置和上述摄像机构之间的校准有关的校准数据；

特征提取机构，从上述摄像机构得到的作为影像信号输出的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差校正机构的校正结果显示在自己的显示面上。

148.一种立体摄像机系统，包含：

摄像机构，用于得到表示具有由相互隔离的多个视点造成的视差的多个影像的影像信号输出；

校准偏差校正机构，校正上述摄像机构和规定预定基准位置的外部装置之间的校准偏差；

运算机构，考虑上述校准偏差校正机构的校正输出数据，并依据上述摄像机构得到的影像信号输出来计算被摄体的距离等数据；以及

显示机构，用于进行与上述校准偏差校正机构、运算机构以及上述摄像机构的输出相关联的所需的显示；

其特征在于，上述校准偏差校正机构包含：

校准数据保持机构，保持同用于规定上述基准位置的规定的外部装置和上述摄像机构之间的校准有关的校准数据；

调整处理机构，根据上述校准数据保持机构中保持的校准数据，对上述摄像机构得到的作为影像信号输出的立体图像实施调整处理；

特征提取机构，从上述调整处理机构调整过的立体图像中提取特征；以及

校准数据校正机构，根据表示上述特征提取机构提取出的特征的信息，来校正与上述校准数据保持机构中保持的校准数据有关的校准偏差；

上述显示机构能够将上述校准偏差校正机构的校正结果显示在自己的显示面上。

Images