CN1798957A - 立体摄像机系统和立体光学模块 - Google Patents

Abstract

本立体摄像机系统由下述部分构成：用于取得立体图像的立体光学模块(1)；中央控制单元(3)，其根据通过立体光学模块(1)得到的立体图像来进行成为对象的被摄体的评价；以及通信线路(2)，其用于将从立体光学模块(1)输出的立体图像数据输入到中央控制单元(3)。并且，本立体摄像机系统在立体光学模块(1)中设置了图像输出处理电路(8)，该图像输出处理电路(8)针对通过立体光学模块(1)取得的立体图像数据，实施预定的图像处理，在该图像输出处理电路(8)中进行用于校正立体图像摄像时的不均衡的校正运算。

Description

立体摄像机系统和立体光学模块

技术领域

本发明涉及可以装配于车辆、船舶、飞机以及机器人等移动体或监视摄像机系统等非移动体上的立体摄像机系统和立体光学模块。

背景技术

以往，关于用于拍摄在1张图像中包含存在视差的左右两个图像的所谓立体图像的摄像装置，提出了各种方案。

例如，在日本特开平11-211469号公报中提出了下述立体图像处理系统：组合了使用一对摄像机来拍摄立体图像的立体摄像单元(立体光学模块)和对立体摄像图像进行处理的图像处理单元(中央控制单元)。在该立体摄像单元中，为了校正一对摄像机的相互特性偏差，在内部设置了存储有摄像机特性数据的非易失性存储器。并且，通过通信线路连接这样的立体摄像单元和立体图像处理单元，由此可以将非易失性存储器中所存储的校正数据通过通信线路转发输出到立体图像处理单元。此外，由立体摄像单元内的摄像机所拍摄的立体图像数据作为模拟形式的视频信号，通过通信线路输出到立体图像处理单元，在立体图像处理单元内部，根据从立体摄像单元输出的这些模拟形式的视频信号和校正数据进行校正运算。

此外，在日本特开平11-328413号公报中提出了下述的摄像装置：用一个系统的模拟图像信号用电缆对摄像装置(立体光学模块)和图像处理单元(中央控制单元)之间进行连接，且使用该图像信号用电缆选择性地传送各个立体图像。

此外，在日本特开2001-88609号公报中提出了下述的车载摄像机：使用视频信号线和串行通信线连接车载摄像机(立体光学模块)和图像识别装置(中央控制单元)，而且在车载摄像机中安装用于检测温度的温度传感器，由此可以通过串行通信线将来自该温度传感器的输出发送给图像识别装置。

而且，在日本特开2002-259966号公报中提出了由多个车载摄像机(立体光学模块)和周围识别装置(中央控制单元)构成的系统。

这里，在上述特开平11-211469号公报中所提出的系统或在上述特开平11-328413号公报中所提出的摄像装置中，在立体光学模块和中央控制单元之间使用模拟形式的通信线路来传送立体图像数据。因此，在立体光学模块内部仅存在模拟视频信号。

此外，在立体光学模块内部所得到的立体图像例如被用来求出到被摄体的距离，但在进行距离运算之前，需要进行用于校正在一对摄像机分别具有的一对光学系统之间产生的各种不均衡的校正运算。然而，很难在立体光学模块内校正在立体光学模块中得到的立体图像。因此，在这种情况下，必须在中央控制单元侧进行校正。关于该校正，在上述特开平11-211469号公报中提出了下述的方法：预先将校正数据存储到立体光学模块中，使用通信线路将该校正数据发送到中央控制单元侧，从而在中央控制单元侧进行校正运算。

这里，上述的在光学系统之间产生的各种不均衡有立体光学模块内部的光学系统的安装位置偏差和因经年变化造成的偏差等每个立体光学模块所固有的偏差。因此，在如日本特开平11-211469号公报那样的方法中，在中央控制单元侧需要用于校正立体光学模块固有的偏差的运算部，因此中央控制单元侧的结构变得复杂。

此外，在如上述日本特开2002-259966号公报等中所示出的、由多个立体光学模块和一个中央控制单元构成的系统的情况下，必须将用于校正分别在多个立体光学模块中产生的各种偏差的运算部全部设置在中央控制单元侧，使得中央控制单元的结构变得非常复杂。例如，在将中央控制单元用作汽车导航系统的中央控制单元的情况下等，从制造的工夫等观点出发也优选将校正运算部设置在立体光学模块内。

此外，在上述日本特开平11-211469号公报中，在立体光学模块和中央控制单元之间使用模拟形式的通信线来传送立体图像数据。这里，在日本特开平11-211469号公报中，对于用于收发数字数据的串行通信线和用于发送模拟图像数据的视频信号线，使用分别设置的两个系统的信号线。

这里，在将立体摄像机系统使用到车载等的情况下，在车里设置汽车线束(wire harness)类的空间较少，并且因最近的车内电子化的进步导致汽车线束类的使用量逐渐增加。因此，如果如日本特开平11-211469号公报那样，装配使用两个系统的信号线的系统，则会占据相应的空间。特别是在如日本特开2002-259966号公报那样的使用多个立体光学模块的系统中，会占据更大的空间。

发明内容

本发明的目的是提供能够在立体光学模块侧进行用于校正立体图像摄像时的不均衡的校正运算或伴随该立体光学模块的其它图像处理运算的立体摄像机系统和立体光学模块。

此外，本发明的目的是提供还能够简化立体摄像机系统中的进行中央控制的中央控制单元的结构而校正立体图像摄像时的不均衡的立体摄像机系统和立体光学模块。

而且，本发明的目的是提供能够减少所使用的信号线的条数的立体摄像机系统和立体光学模块。

为了达成上述的目的，本发明的第1方式的立体摄像机系统用于针对同一被摄体，拍摄从多个视点看到的被摄体像，并求出到成为对象的被摄体的距离，该立体摄像机系统具有：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像来进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；以及模块侧通信接口，其输出通过该图像输出处理电路进行了图像处理后的立体图像数据，所述中央控制单元具有：单元侧通信接口，其为了根据通过所述立体光学模块得到的所述立体图像进行所述被摄体的评价，输入通过所述模块侧通信接口输出的立体图像数据；以及距离图像评价装置，其根据通过该单元侧通信接口输入的所述立体图像数据，求出到成为对象的被摄体的距离。

此外，为了达成上述的目的，本发明的第2方式的立体光学模块，用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，所述立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，该立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其对通过该A/D转换部生成的数字立体图像数据，实施预定的图像处理；以及模块侧通信接口，其将在该图像输出处理电路中进行了图像处理后的立体图像数据输出到通信线路。

根据这些第1和第2方式，针对在立体光学模块内得到的立体图像数据进行预定的图像处理运算。即，通过在立体光学模块内进行图像处理运算，可以简化中央控制单元侧的结构。

此外，为了达成上述的目的，本发明的第3方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储所述立体摄像机系统的校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的所述数字立体图像数据和所述校正信息存储器中所存储的所述校准数据，实施预定的图像处理；以及模块侧通信接口，其将通过该图像输出处理电路进行了图像处理后的立体图像数据输出到所述通信线路，所述中央控制单元具有：单元侧通信接口，其用于将经由所述模块侧通信接口输出到所述通信线路的立体图像数据输入到该中央控制单元；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述立体图像数据，求出到成为对象的被摄体的距离。

此外，为了达成上述的目的，本发明的第4方式的立体光学模块，用于立体摄像机系统，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，该立体摄像机系统用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，该立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，生成数字立体图像数据；校正信息存储器，其用于存储所述立体摄像机系统的校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的所述校准数据，实施预定的图像处理；以及模块侧通信接口，其将在该图像输出处理电路中进行了图像处理后的立体图像数据输出到所述通信线路。

根据这些第3和第4方式，通过在立体光学模块内再设置用于存储校准数据的校正信息存储器，可以使用该校正信息存储器中所存储的校准数据，在立体光学模块内进行预定的图像处理。

此外，为了达成上述的目的，本发明的第5方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储作为所述立体摄像机系统的校准数据的第1校准数据和第2校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的第1校准数据，实施预定的图像处理；以及模块侧通信接口，其用于将通过所述图像输出处理电路进行了图像处理后的立体图像数据和所述校正信息存储器中所存储的第2校准数据输出到所述通信线路，所述中央控制单元具有：单元侧通信接口，其用于将经由所述模块侧通信接口输出到所述通信线路的立体图像数据输入到该中央控制单元；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述立体图像数据和所述第2校准数据，求出到成为对象的被摄体的距离。

此外，为了达成上述的目的，本发明的第6方式的立体光学模块，用于立体摄像机系统，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，该立体摄像机系统用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，该立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储作为所述立体摄像机系统的校准数据的第1校准数据和第2校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的第1校准数据，实施预定的图像处理；以及模块侧通信接口，其用于将通过所述图像输出处理电路进行了图像处理后的立体图像数据和所述校正信息存储器中所存储的第2校准数据输出到所述通信线路。

根据这些第5和第6方式，在立体光学模块内还设置了用于存储第1校准数据和第2校准数据的校正信息存储器。其中，第1校准数据在立体光学模块侧进行预定的图像处理运算时使用。另一方面，第2校准数据被发送到中央控制单元侧，由此在中央控制单元侧进行距离运算。即，至少可以将中央控制单元简化去执行使用第1校准数据的预定的图像处理运算的那部分。

此外，为了达成上述的目的，本发明的第7方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的与所述立体图像相关的数据输入到所述中央控制单元，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路，所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的距离图像数据；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据，进行所述被摄体的评价。

此外，为了达成上述的目的，本发明的第8方式的立体光学模块，用于立体摄像机系统，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的与立体图像相关的数据输入到所述中央控制单元，并且，该立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，该立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的数字立体图像数据，实施预定的图像处理；距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路。

根据这些第7和第8方式，针对在立体光学模块内得到的立体图像数据，通过图像输出处理电路进行预定的图像处理，还在距离图像计算单元中生成距离图像数据。即，通过在立体光学模块内设置进行图像处理运算的图像输出处理电路和制作距离图像数据的距离图像计算单元，可以简化中央控制单元侧的结构。

此外，为了达成上述的目的，本发明的第9方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：立体光学模块，其具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像，摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据，A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，生成数字立体图像数据，图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理，距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据，以及模块侧通信接口，其输出通过该距离图像计算单元生成的距离图像数据和所述立体图像数据中的至少任意一个图像数据；中央控制单元，其具有：单元侧通信接口，其输入距离图像数据和所述立体图像数据中的至少任意一个，以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据和所述立体图像数据中的至少任意一个，进行所述被摄体的评价；以及通信线路，其对所述模块侧通信接口和所述单元侧通信接口之间进行连接，并可以在所述立体光学模块和所述中央控制单元之间进行数据通信。

此外，为了达成上述的目的，本发明的第10方式的立体光学模块，具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据和通过所述摄像元件生成的立体图像数据的至少任意一个图像数据输出到通信线路。

根据这些第9和第10方式，除了距离图像数据以外，还可以将立体图像数据也输出到中央控制单元。

此外，为了达成上述的目的，本发明的第11方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的与所述立体图像相关的数据输入到所述中央控制单元，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；距离图像计算单元，其根据通过该A/D转换部生成的所述数字立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路，所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的距离图像数据；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据，进行所述被摄体的评价。

此外，为了达成上述的目的，本发明的第12方式的立体光学模块，用于立体摄像机系统，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的与立体图像相关的数据输入到所述中央控制单元，并且，该立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，该立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；距离图像计算单元，其根据通过该A/D转换部生成的所述数字立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路。

此外，为了达成上述的目的，本发明的第13方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的与所述立体图像相关的数据，进行成为对象的被摄体的评价；以及通信线路，其利用数字信号在所述立体光学模块和所述中央控制单元之间进行通信，所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；以及模块侧通信接口，其在从所述中央控制单元收到控制命令的情况下，将通过该立体光学模块取得的与立体图像相关联的信息输出到所述通信线路，所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的与所述立体图像相关联的信息，并且从该中央控制单元向所述立体光学模块输出控制命令；以及距离图像评价装置，其根据经由该单元侧通信接口输入的与所述立体图像相关联的信息，进行所述被摄体的评价。

此外，为了达成上述的目的，本发明的第14方式的立体光学模块，具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；以及A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据，所述立体光学模块响应从外部输入的控制命令，将与所述立体图像相关联的信息输出到通信线路。

根据这些第13和第14方式，仅通过数字信号来进行立体光学模块与中央控制单元之间的通信，由此可以减少信号线的条数。

此外，为了达成上述的目的，本发明的第15方式的立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，由下述部分构成：用于取得立体图像的至少一个立体光学模块；与该立体光学模块不同的用于取得图像的至少一个光学模块；中央控制单元，其进行所述立体光学模块和所述光学模块的步骤控制；以及通信线路，其对所述立体光学模块、所述光学模块和所述中央控制单元进行通信连接。

根据该第15方式，可以将多个模块与一条通信线路连接，从而可以减少信号线的条数。

附图说明

图1是表示本发明的第1实施方式的立体摄像机系统的基本结构的方框图。

图2是表示第1实施方式中的立体光学模块的电路结构的方框图。

图3A是表示立体光学模块的立体光学系统的结构的俯视图。

图3B是立体光学模块的外观图。

图4A是表示立体光学模块的结构的立体图。

图4B是用于对立体光学模块内的电路配置进行说明的俯视图。

图5是表示立体图像的例子的图。

图6是表示在本发明的第1实施方式的立体光学模块情况下，中央控制单元的电路结构的方框图。

图7是表示在将第1实施方式的立体摄像机系统装配到车辆上的情况下的例子的图。

图8A是表示视场罩的第1变形例的图。

图8B是表示视场罩的第2变形例的图。

图9是表示中央控制单元的变形例的方框图。

图10是表示本发明的第2实施方式中的立体光学模块的电路结构的方框图。

图11是表示本发明的第2实施方式的中央控制单元的电路结构的方框图。

图12是表示本发明的第3实施方式中的立体光学模块的电路结构的方框图。

图13是表示使用了DV格式或NTSC规格等视频格式的通信内容例子的图。

图14是本发明的第4实施方式中的立体摄像机系统的主要动作步骤的流程图。

图15是传感器检测步骤的流程图。

图16是校准数据的校正步骤的流程图。

图17是驾驶支援步骤的流程图。

图18是表示车间距警告的显示例的图。

图19是道路路面识别结果的显示例。

图20是避开警告的显示例。

图21是行车路线识别结果的显示例。

图22是表示主要动作步骤的流程图的变形例的流程图。

图23是表示传感器检测步骤的第1变形例的流程图。

图24是表示传感器检测步骤的第2变形例的流程图。

图25是表示本发明的第5实施方式中的立体摄像机系统的结构的方框图。

图26是现有的雨滴传感器的结构图。

图27是表示作为本发明的第6实施方式的雨滴检测时的立体图像例的图。

图28是用于对重叠区域进行说明的图。

图29是示意性表示现有的对应点搜索的图。

图30是示意性表示第6实施方式中的雨滴检测时的对应点搜索的图。

图31是表示在雨滴落到重叠区域外的区域中的情况下的立体图像例的图。

图32是用于对重叠区域外的区域的雨滴图像检测方法进行说明的图。

图33是用于对利用了光束投光器的雨滴检测进行说明的图。

图34是表示雨滴检测涂层的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(第1实施方式)

图1是表示本发明的第1实施方式的立体摄像机系统的基本结构的方框图。这里，将该立体摄像机系统假定成可以装配到车辆、船舶、飞机、机器人等移动体上的系统。下面参照图1～图9，对装配到车辆上的例子进行说明。

即，该摄像机系统基本上如图1所示，由立体光学模块1、通信线路2以及中央控制单元3构成。立体光学模块1进行被摄体的摄像以取得立体图像，并且进行该取得的立体图像的校正。通信线路2是立体光学模块1与中央控制单元3之间的通信线路。中央控制单元3根据经由通信线路2从立体光学模块1输入的立体图像，进行作为立体光学模块1的摄像对象的被摄体的评价。具体地说，中央控制单元3根据所输入的立体图像求出后述的距离图像，并对该求出的距离图像进行评价。

以下，对这些结构进行更详细的说明。

首先，对立体光学模块1进行说明。图2是详细表示该立体光学模块的内部的方框图。即，如图2所示，立体光学模块1由立体光学系统4、摄像元件5、摄像元件驱动电路6、校正信息存储器7、图像输出处理电路8、模块(M)侧通信接口9、雨滴传感器10以及温度传感器11构成。

立体光学系统4如图3A所示，由视场罩(右左)19a、19b、前透镜单元(右左)20a、20b、1次偏转镜(右左)21a、21b、2次偏转镜(右左)22a、22b、后透镜单元23以及低通滤光器24构成，将来自未图示的被摄体的像成像于摄像元件5上。

这里，立体光学模块1的外观如图3B所示，被设置有视场罩开口25a、25b的外壳部件26所罩住，使得光从这些视场罩开口25a、25b入射到立体光学系统4。这里，外壳部件26是用于从外部保护该立体光学模块的内部机构的部件，也是具有遮挡外部光的功能、防尘功能以及支撑内部机构的功能等的外罩部件。

此外，如图3A、图3B所示，从视场罩开口25a、25b入射到立体光学系统4的、来自相隔一定距离的未图示的被摄体的光束的一部分被视场罩19a、19b遮挡，其余的部分入射到右左的前透镜单元20a、20b。这里，视场罩19a、19b作为用于缩小前透镜单元20a、20b的视场的光圈来发挥功能。在第1实施方式中，如图4A所示，视场罩19a遮挡了前透镜单元20a的上半部分区域，视场罩19b遮挡了前透镜单元20b的下半部分区域。

另外，具有视场罩19a、19b的这些前透镜单元20a、20b的透镜的实际光轴(以下，称作光轴)与来自被摄体的光束的中心、即没有视场罩19a、19b时的中心轴不一致。并且，如图4A所示，右左的前透镜单元20a、20b的光轴相互不在同一平面上，而处于扭曲的状态。

通过前透镜单元20a、20b入射的来自被摄体的光束被1次偏转镜21a、21b反射。这些1次偏转镜21a、21b具有能够反射透过了前透镜单元20a、20b的光束的程度的大小。即，1次偏转镜21a、21b具有与前透镜单元20a的未被遮挡的区域大致相同或比其稍大的程度的大小。并且，1次偏转镜21a、21b被配置成在水平方向上为约45度、在垂直方向上向摄像元件侧倾斜几度。通过这样配置，被1次偏转镜21a、21b反射的光束入射到2次偏转镜22a、22b。

2次偏转镜22a、22b被配置成在水平方向上与1次偏转镜21a、21b大致正交、在垂直方向上向摄像元件侧倾斜几度。通过这样配置，被2次偏转镜22a、22b反射的光束入射到后透镜单元23。如图4B所示，当从俯视方向观察时，2次偏转镜22a、22b被配置成相互交叉。即，从1次偏转镜21a入射而来的光束被2次偏转镜22a反射而偏转，从而向后透镜单元23的下方向入射。另一方面，从1次偏转镜21b入射而来的光束被2次偏转镜22b反射而偏转，从而向后透镜单元23的上方向入射。

这样被偏转后的光束通过后透镜单元23入射到低通滤光器24，通过低通滤光器除去高频噪声成分。此后，通过右侧的前透镜单元20a入射的光束在摄像元件5的下半部分区域成像，通过左侧的前透镜单元20b入射的光束在摄像元件5的上半部分区域成像。即，通过以视场罩19a、19b来限定视场，使得上下的图像不重叠地成像于摄像元件上。其结果是，具有如图5所示的左右的视差的立体图像在摄像元件上上下排列地成像。由此，可以仅通过1个立体光学模块来取得立体图像。

这里，2次偏转镜22a、22b相对于摄像元件5在垂直方向上呈几度的角度地进行了配置，因此像向物空间倾斜并成像。因此，为了使入射光束有效地成像于摄像元件5上，优选如图4A所示那样将摄像元件5倾斜来进行配置。

这样成像于摄像元件5上的立体图像通过图2的方框图中示出的、摄像元件驱动电路6的动作，作为模拟信号依次输出到图像输出处理电路8。这里，图像输出处理电路8的内部由A/D转换部12、C-Y转换部13、压缩处理部14、纠正(rectification)处理部15、γ转换处理部16、阴影(Shading)校正处理部17以及帧缓冲存储器18构成。

此外，图像输出处理电路8、上述雨滴传感器10以及温度传感器11被设置在如图4A和图4B所示的视场罩19a、19b的后方、2次偏转镜22a、22b的背面侧的空闲空间即电路配置空间27a、27b中。如图4A和图4B所示，在右侧的光学系统中在1次偏转镜21a和2次偏转镜22a的上方存在电路配置空间27a，在左侧的光学系统中在1次偏转镜21b和2次偏转镜22b的下方存在电路配置空间27b。这是因为，如上所述，右侧前透镜单元20a被视场罩19a罩住了上半部分，左侧前透镜单元20b被视场罩19b罩住了下半部分，因此不在这些视场罩19a、19b的后方配置光学部件，从而形成空闲空间。因此，如果在该空闲空间设置图像输出处理电路8等电路，则不会遮挡入射而来的光，且可以有效利用立体光学模块内的空闲空间，有助于立体光学模块的小型化。这里，可以设置在这些空闲空间内的电路是例如输出电信号的电信号输出电路，除了上述的图像输出处理电路以外，例如包括：摄像元件驱动电路、存储校正数据的数字存储器(校正信息存储器)、温度传感器、以及雨滴传感器或照度传感器、GPS(Global Position System，全球定位系统)天线、ETC(EarthTerrain Camera，地球地形摄像机)卡系统等。此外，在该空闲空间中可以设置立体光学模块的未图示的电源电路，也可以设置机械的机构部件。作为该机构部件，例如也可以设置用于机械地调整立体光学系统的未图示的调整机构。并且，也可以将用于调整入射到立体光学系统的光量的未图示的ND滤光器设定成插拔式的，将上述的空闲空间用作该ND滤光器的退避空间。

接着，对图2中的图像输出处理电路8的各部进行说明。在图像输出处理电路8内部，首先，在A/D转换部12中，将作为模拟信号的立体图像转换为作为数字数据的数字立体图像数据。而且，在摄像元件5的前面设置了未图示的光学滤色镜，通过该光学滤色镜，摄像元件5可以输出与RGB各颜色对应的立体图像数据。在C-Y转换部13中，这些RGB原色信号被转换成亮度信号和两个色差信号。这是为了在压缩处理部14中转换成运动JPEG(Motion-Joint Picture Expert Group，运动-联合图像专家组)信号的准备处理。此后，这些信号被存储到帧缓冲存储器18中。

该帧缓冲存储器18中所存储的立体图像数据被输入到阴影校正处理部17。在阴影校正处理部17中，根据校正信息存储器7中所存储的阴影校正数据，实施阴影校正处理。接着，在γ转换处理部16中，为了使图像输入输出特性变得合适而实施γ转换处理，再通过纠正处理部15，根据校正信息存储器7中所存储的校准数据，实施纠正处理。

另外，纠正处理是指通过图像处理来校正由于立体光学系统4内部的光学部件等的机械偏差等而产生的左右图像的核线(epipolar line)偏差或由于透镜变形等引起的图像失真的处理。在这样的处理中，例如，检测在左图像中所选择的特征点所对应的点在右图像的哪个位置，检测该对应点从本来应处于的直线(核线)上偏离了多少，从而进行与该检测出的偏差对应的图像变形。将这样进行了纠正处理后的左右图像(以后，称作纠正图像)标准化为规定的坐标之后，以与图5对应地上下配置的形式写回到帧缓冲存储器18中。

此外，关于存储在校正信息存储器7中的校准数据，存储用于考虑进立体光学模块的热变形等的多个校准数据。即，由温度传感器11所检测出的温度值通过M侧通信接口9被输入到图像输出处理电路8，根据该输入的温度，纠正处理部15选择校正信息存储器7中所存储的校准数据来实施纠正处理，由此针对温度变化实现稳健的处理。

此后，被写回到上述帧缓冲存储器18中的数字立体图像数据被输入到压缩处理部14中，采用如运动JPEG这样的数据压缩方式实施了数据压缩之后，通过M侧通信接口9输出到通信线路2。并且，雨滴传感器10和温度传感器11也与M侧通信接口9连接，这些传感器的输出也可以输出到通信线路2或图像输出处理电路8。

接着，对通信线路2进行说明。在第1实施方式中，通信线路2具有传输纠正图像数据和用于进行立体光学模块的控制的数据信号的多个USB通信线。这些通信线分别与立体光学模块1的M侧通信接口9和中央控制单元3的单元(u)侧通信接口28连接。

这里，在以运动JPEG形式对纠正图像进行了压缩后的方式下传输给USB信号线，并且，雨滴传感器10所检测出的雨滴传感器信息和温度传感器11所检测出的温度传感器信息等环境信息、或被摄体的测光信息等信息也通过USB通信线被传输。并且，这些信息通过通信线路2被传输到中央控制单元3。这里，因为立体图像数据如上述那样在压缩处理部14中被进行了压缩，因此可以减少通信时的信息量，可以增加图像数据的其它数据的可收发的信息量。这里，如上所述，通信线路2即USB通信线以数字数据形式将纠正图像数据、雨滴传感器信息以及温度传感器信息等从立体光学模块1向中央控制单元3进行通信。这里，立体光学模块1具有从中央控制单元3接收控制命令以生成预定的数据的温度传感器、雨滴传感器、校正信息存储器等数据生成装置。通信线路2构成双向的数字通信线路，从中央控制单元3通过该通信线路2向立体光学模块1发送各种控制命令。在第1实施方式中，虽然省略详细描述，但该控制命令是例如立体光学模块1的电源控制命令(用于切换动作模式和省电模式的命令)，或是用于将温度传感器信息、雨滴传感器信息读取到中央控制单元侧的请求信号、或用于将校正信息存储器7中所存储的信息读取到中央控制单元3侧的请求信号等。这样可以使用一个系统的通信线，更高效地进行相互的数据通信。

此外，虽然是第1实施方式的变形例，但也可以使用模拟的通信线来发送纠正图像的数据。例如，在模块侧的M侧通信接口9中将摄像元件5的输出转换为依据于NTSC(National Television System Committee，国家电视系统委员会)等格式的模拟图像信号之后输出到通信线路2。在这种情况下，在立体光学模块内就不需要压缩处理部14。作为该变形例的特征，通信线路2需要具有模拟的通信线和数字的通信线这两个系统，需要留有使通信线通过的部分的空间。并且，虽然存在需要保留通信连接器的占有空间等缺点，但相反，也产生了可以提高图像数据通信速度的优点。

此外，在通过模拟的通信线发送纠正图像的情况下，也可以利用向消隐信号中叠加信息的文字播放用区域等，传输图像数据以外的控制数据。

接着，对中央控制单元3进行说明。如图6所示，中央控制单元3由u侧通信接口28、图像输入装置29、帧存储器30、EPROM(ErasableProgrammable Read-Only Memory，可擦可编程只读存储器)31、距离图像计算单元32、以及作为根据距离图像等进行物体识别等的距离图像评价装置的周围环境判断单元和步骤控制器(以下，称作周围环境判断单元)33构成。而且，中央控制单元3还具有：图像输出装置34、指示输入装置36、音频输出装置37、音频输入装置40以及显示灯输出装置41。以上的电路和装置通过总线被连接，并可以相互转发数据。

此外，图像输出装置34和指示输入装置36与显示输入装置35连接。并且，音频输出装置37与扬声器38连接，音频输入装置40与扩音器39连接。而且，显示灯输出装置41与显示灯42连接。

通过通信线路2输入到中央控制单元3的纠正图像经由u侧通信接口28和图像输入装置29被暂时存储到帧存储器30，此后，被输入到距离图像计算单元32。

这里，由于被输入到中央控制单元3的纠正图像是以运动JPEG规格进行了压缩的数据，因此在上述的图像输入装置29中，对该压缩的数据进行解压缩并恢复。

距离图像计算单元32具有：从立体图像中切出分为左右的图像的立体图像切出部43、以及窗口匹配(window matching)部46。即，被输入到距离图像计算单元32的纠正图像被立体图像切出部43切成为左右图像44、45。并且，在窗口匹配部46中对这些切出后的左右图像44、45进行窗口匹配，检测各个对应点的偏差即视差量，其结果，生成了视差图像47。此后，该视差量在距离图像生成部48中被转换为距离信息，根据该距离信息和EPROM 31中所存储的校准数据49，生成距离图像。这里，术语“距离图像”是指针对所拍摄到的被摄体图像的每个像素都具有距离信息的图像。并且，该校准数据49是按照经由通信线路2输入的雨滴传感器信息或温度传感器信息所选择的距离信息校正用的数据。

此后，所生成的距离图像被发送到周围环境判断单元33中。

周围环境判断单元33构成为：与一般的利用了个人计算机或微型计算机的控制装置一样，具有与通信总线连接的中央运算处理部(CPU)50、主存储器(RAM)51、数字信号处理部(DSP)52、硬盘(HDD)53等，用软件的方式来实现对距离图像进行评价而识别物体的步骤和其它各种步骤控制等。

即，当距离图像被输入到周围环境判断单元33时，CPU 50将存储在HDD 53中的物体识别处理程序展开到RAM 51中来执行，根据通过立体光学模块1得到的二维纠正图像或通过距离图像计算单元32求出的距离图像，进行障碍物(例如，在道路上为行人、车辆、散落物等)的检测、识别特征性环境信息(例如，在道路上为白线、护栏、标识等)的处理。并且，CPU 50根据该识别处理的结果，实施例如下述的与驾驶支援相关的控制：控制图像输出装置34而在显示输入装置35上显示识别结果，或者控制音频输出装置37而从扬声器38以警报声形式来通知有车辆正在接近的意旨等，或者控制显示灯输出装置41而点亮显示灯42，从而促使驾驶者等操作者引起注意。并且，相反地在通过如显示输入装置35那样的手动操作部件或扩音器39等音频输入装置而具有来自操作者的指示的情况下，通过指示输入装置36或音频输入装置40取入该指示，执行与该指示内容对应的控制。

在将如上的立体摄像机系统装配到车辆上的情况下，当然也可以构成为：如图7所示，在通信线路2上除了连接立体光学模块1和中央控制单元3以外，还连接了装配有雷达装置的雷达模块54、用于检测车辆的速度的车速传感器模块55、用于将车辆位置通知给驾驶者的汽车导航模块56、进行发动机控制的发动机控制模块57、用于监视车辆的侧方的侧方摄像机模块58、用于监视车辆内的室内监视模块59、用于控制刹车的刹车传感器模块61、用于监视车辆的后方的后方摄像机模块62、用于检测车内的装载量的装载检测模块63、以及装配有超声波雷达装置的后方超声波雷达模块64等，从而获得各种车载模块之间的相互联携。另外，这些模块可以直接使用现有的装置。

在用作这样的车内网络的一部分的情况下的单元或模块之间的通信也可以采用作为无线通信技术的Bluetooth(蓝牙)或IEEE802.11、IEEE802.1x等。并且，也可以采用USB、IEEE1394、以太网(Ethernet)等有线网络，或VoIP(Voice over IP，语音IP)等音频数据的传输协议，或实时消息功能(RTC/SIP client，实时协作和通信端)等，还可以利用IPv6等来构建对各设备分配了IP地址的车内LAN(Local AreaNetwork，局域网)。而且，还可以采用抗车内噪声等的性能强的车载用光网络规格“MOST(Media Oriented Systems Transport，面向媒体系统传输)”或“CAN(Controller Area Network，控制器局域网络)”等与公开标准规格对应的通信总线。

在以上说明的该第1实施方式中具有如下的特有效果。

即，在该第1实施方式中，在立体光学模块内进行纠正、γ校正、阴影校正、分离成亮度信号和色差信号等为了该立体光学模块而需要的图像处理。由此，可以减轻中央控制单元侧的电路负荷，还可以简化中央控制单元侧的规格而提高系统的通用性。

此外，因为对数字图像数据进行压缩之后再进行通信，因此可以以与模拟通信的情况下相接近的帧速率来传输数字图像数据。

此外，因为在立体光学模块1中设置了温度传感器11，因此可适当地进行纠正处理时的基于温度的校正。因此，只要将通过中央控制单元3实施的窗口匹配的搜索区域限定在核线上来实施即可，可以实现更高速的处理。

另外，该第1实施方式的各结构当然可以进行各种变形和变更。

例如，还可以采用多个如以上说明的立体光学模块1。在这种情况下，也可以通过在从各立体光学模块得到的纠正图像中嵌入摄像机ID，能够明确地识别出是来自哪个立体光学模块的纠正图像。

此外，在第1实施方式中，虽然立体光学模块1包括了γ转换处理、C-Y转换处理、压缩处理等的处理电路，但这些功能不是必需的，而只要可以进行一般的与摄像机或数字照相机相同的图像处理即可。

此外，在立体光学模块1的校正信息存储器7中除了存储纠正处理、阴影校正处理用的校正信息以外，还可以存储对各立体光学模块被怎样地安装在车辆上的情况进行了校准的校正信息。由此，可以省略中央控制单元内的EPROM 31或削减其存储容量。而且，还可以通过通信将通过校准而得到的来自中央控制单元3的信息发送给立体光学模块1等，并将该信息存储在立体光学模块1中。并且，还可以将在中央控制单元3的距离图像计算单元32中使用的校准数据也存储在立体光学模块的校正信息存储器7中，使得在距离图像计算时，可以将该校准数据从立体光学模块1发送到中央控制单元3。

即，该变形例将存储在校正信息存储器7中的校正信息中的一部分校正信息(校准数据)使用于立体光学模块内的图像处理运算中，将其它校正信息通过通信线路2发送给中央控制单元3，使用于中央控制单元侧的距离运算等校正中。

此外，中央控制单元3当然可以通过内部的各种处理电路采用专用的特定用途集成电路(ASIC：Application Specific Integrated Circuit)的硬件连接来实现，还可以通过可对它们进行动态重写的可重配置处理器(Reconfigurable processor)等来构成。

此外，不仅仅限于立体摄像机系统的控制，还可以传输温度传感器或雨滴传感器的信息、校正信息以及切出区域的信息等。这不仅仅适用于立体光学模块1、通信线路2、中央控制单元3，当然还可以适用于各种车载模块之间的通信。

此外，也可以利用光耦合器等对通信线路2与立体光学模块1或中央控制单元3之间进行电绝缘，绝缘成使得电路不受施加到电气配线上的各种尖锋噪声等的影响。

此外，作为在通信线路2上流经的视频的格式，如果是模拟方式，则除了NTSC方式以外，可以是PAL(Phase Alternating Line，逐行倒相)方式或SECAM(Sequentiel Couleur A Memoire，按顺序传送彩色与存储)方式，且如果是数字形式，则可以通过各种压缩格式，例如作为静态图像的压缩方式的JPEG方式或作为动态图像的压缩方式的MPEG方式、DV(数字视频)等规格来进行传输。

此外，对于输入和显示，例如也可以使用通过微软(注册商标)公司的Automotive UI Toolkit(汽车用户界面工具包)等车载设备用的用户界面设计工具所构建的GUI(图形用户界面)或音频界面。

而且，在图4A中，以遮住前透镜单元20a、20b的一半的方式描绘了视场罩19a、19b，但为了更有效地限制视场，还可以如图8A所示那样，将具有方形的开口部25的视场罩19配置在从前透镜单元20的光轴偏移的位置上，并且，还可以如图8B所示那样，对透镜本身进行4边D切等，从而得到与配置了视场罩的情况下相等的效果。

此外，也可以如图9所示那样构成为，在中央控制单元3内具有用于计算立体光学系统的校准数据66的立体光学系统校准装置65和实施车辆系统校准的车辆系统校准装置67等，其中所述车辆系统校准是对车辆与立体光学模块1的位置关系进行计测并计算系统校准数据68的动作。

而且，设校正信息存储器7中所存储的校正信息是用于阴影校正处理或纠正处理的校准数据，但也可以附加图像的切出区域的信息或与车辆的位置关系的校准数据等。并且，也可以将校正信息存储器7配置到中央控制单元3侧。并且，还可以构成为可以通过通信线路2进行适当的读写。

(第2实施方式)

接着，对本发明的立体摄像机系统的第2实施方式进行说明。另外，对于与第1实施方式相同的结构，标以相同的参照标号并省略说明。

即，在该第2实施方式中，不像图10那样，在立体光学模块1中装配纠正处理部15、γ转换处理部16和阴影校正处理部17等处理电路以及校正信息存储器7，而像图11所示那样，将这些装配到中央控制单元3中。

由此，可以减小立体光学模块内的电子电路的电路规模。即，可以抑制在立体光学模块内产生的热量，从而抑制由于立体光学模块内的光学系统等的热变形造成的校准数据的变动。并且，通过其它发热要素的减少而有效地进行摄像元件5的冷却，因此可以抑制热噪声的产生，能够将更为良好的立体图像输出到通信线路2中。

另外，该第2实施方式的各结构当然与第1实施方式相同地可以进行各种变形、变更。

(第3实施方式)

接着，对本发明的立体摄像机系统的第3实施方式进行说明。另外，对于与第1和第2实施方式相同的结构，标以相同的参照标号并省略说明。即，第3实施方式中的中央控制单元如图12所示，从图6所示的第1实施方式的中央控制单元删除了距离图像计算单元。

即，在该第3实施方式中，如图12所示那样，在立体光学模块内实施到立体匹配处理为止的处理。因此，距离图像计算单元32也被内置于立体光学模块1中。在这种情况下，向通信线路2输出用于物体识别的二维图像和距离图像。另外，在第3实施方式中与第1实施方式不同之处为：从立体光学模块内的M侧通信接口9以NTSC标准的模拟方式送出图像数据。

如图13所示，这些二维图像和距离图像例如在一个NTSC方式的画面内被排列以重新配置，作为视频信号被输出。由此，可以通过通信线路2将距离图像和二维图像在同步的状态下输出到中央控制单元3。并且，还可以在这些图像中，将作为基准图像采用左右中的某一侧的图像来输出的或者由温度传感器11所检测出的温度或雨滴传感器10所检测出的信息等编码到例如用于字幕播放等的信号区域来送出，由此进行与图像同步的通信。

在这样进行了通信之后，中央控制单元3通过u侧通信接口28对该图像进行解码以作为二维图像、距离图像以及传感器信息来进行处理，从而实现各种识别处理。具体地说，中央控制单元3根据通过u侧通信接口28输入的距离图像数据，在作为距离图像评价装置的周围环境判断单元33中进行未图示的被摄体的评价。

另外，可以使用多个这些立体光学模块，例如在使用两个立体光学模块时，也可以在画面的上下图像中嵌入表示各个立体光学模块的摄像机ID的代码和距离图像，并使其与单一视频同步而发送给中央控制单元3。

此外，中央控制单元3可以采用内部的各种处理电路为专用的ASIC、进行硬件连接的结构来实现，当然它们还可以通过可以动态重写的可重配置处理器等来构建。

此后，在第3实施方式中，虽然使用NTSC方式的模拟信号线来输出用于物体识别的二维图像和距离图像，但也可以像上述的第1实施方式一样，作为数字数据输出到数字通信线路。在这种情况下，也可以与上述的第1实施方式相同，采用运动JPEG、MPEG方式等数据压缩方式实施了数据压缩处理之后，再输出到通信线路2。

特别是在设定为车载用的情况下，当然也可以构成为如图7所示，将立体光学模块1、中央控制单元3、驾驶状况检测模块等与通信线路2进行连接，获得各种车载模块的相互联携。这里，作为驾驶状况检测模块，例如有图7所示的车速传感器模块55、发动机控制模块57以及刹车传感器模块61等。并且，作为环境监视模块，有图7所示的雷达模块54、汽车导航模块56、侧方摄像机模块58、室内监视模块59、后方摄像机模块62、装载检测模块63以及后方超声波雷达模块64等。对于作为这样的车内网络的一部分来使用的情况下的单元或模块之间的通信，还可以采用作为无线通信技术的Bluetooth或IEEE802.11、IEEE802.1x等。并且，也可以采用USB、IEEE1394、以太网等有线网络，或VoIP(语音IP)等音频数据的传输协议，或实时消息功能(RTC/SIP client)等，还可以利用IPv6等构建对各设备分配了IP地址的车内LAN。而且，还可以采用抗车内噪声等的性能强的车载用光网络规格“MOST”或“CAN”等与公开标准规格对应的通信总线。

此外，当然也可以利用光耦合器等对通信线路2与立体光学模块1或中央控制单元3之间进行电绝缘，从而绝缘成使得电路不受施加到电气配线上的各种尖锋噪声等的影响。

此外，对于输入和显示，例如也可以使用通过微软(注册商标)公司的Automotive UI Toolkit等车载设备用的用户界面设计工具而构建的GUI或音频界面。

即，在该第3实施方式中，在立体光学模块内，不仅针对在立体光学模块内得到的立体图像数据进行纠正、γ校正、阴影校正、分离成亮度信号和色差信号等为了该立体光学模块而需要的图像处理，甚至还进行到距离图像的计算为止的处理。由此，相对第1实施方式而言，可以进一步减轻中央控制单元侧的电路负荷，进一步简化中央控制单元侧的规格，从而可以提高中央控制单元的通用性。

(第4实施方式)

接着，对本发明的第4实施方式进行说明。在该第4实施方式中，对于为了进行更为良好的距离图像计算而实施的立体摄像机系统的动作步骤进行说明。另外，这里以车载用途时的触发信号为例。另外，第4实施方式表示在第1实施方式中示出的立体摄像机系统的动作步骤。当然，在如第2或第3实施方式那样的结构中也可以同样地适用。

首先，参照图14对立体摄像机系统中的主要动作步骤进行说明。即，当检测出由驾驶者等操作者进行的车门钥匙的打开、点火开关的接通时，处于睡眠状态的中央控制单元3重新开始(步骤S1)，并起动(步骤S2)。中央控制单元3在起动的同时使立体光学模块1的图像输出处理电路8和摄像元件5起动(步骤S3、S4)。这里，从中央控制单元3通过通信线路2向立体光学模块1发送用于起动立体光学模块1的“起动命令”。立体光学模块1收到该“起动命令”后将内部的未图示的电源电路从省电模式切换到动作模式，并随之使图像输出处理电路8和摄像元件5起动。由此，开始了摄像。此外，同时，中央控制单元3开始图15所示的传感器检测步骤(步骤S5)。对于该传感器检测步骤的详细情况，将在后面叙述。

当进行传感器检测步骤的结果、没有问题的环境信息数据100被输出到纠正处理部15时，开始纠正处理。即，纠正处理部15根据该环境信息数据100和校正信息存储器7中所存储的校准数据101等，进行纠正处理(步骤S7)。然后，将实施了该纠正处理后的纠正图像通过通信线路2发送给中央控制单元3。另外，在中央控制单元3中，例如通过周围环境判断单元33来根据纠正图像而检查帧存储器30中所存储的用于该纠正处理的校准数据101是否恰当(步骤S8)，当该校准数据101中存在问题时，将此时的纠正图像从帧存储器30中删除以便不再在以后的处理中使用。然后，进行后述的校准数据校正处理(步骤S9)，将通过该校准数据校正处理进行了校正后的校准数据通过通信线路2写到立体光学模块1的校正信息存储器7中，由此更新存储于其中的校准数据101(步骤S10)。并且，在步骤S7的纠正处理中，使用该更新后的校准数据101来进行纠正处理。由此，总是以最新且正确的校准数据来执行纠正处理。

在根据实施了纠正处理后的纠正图像而判别为校准数据中没有问题的情况下，中央控制单元3内的距离图像计算单元32根据所输入的纠正图像进行窗口匹配处理(步骤S12)，然后生成距离图像，将该生成的距离图像输出到周围环境判断单元33中(步骤S13)。使用该距离图像，中央控制单元3的周围环境判断单元33实施后述的驾驶支援(步骤S14)。

这里，当车门钥匙打开，或点火开关被断开时，步骤S15的判断分支到“是”，记录当前的校准数据(步骤S16)，中央控制单元3进入睡眠状态，立体光学模块1也停止动作。这里，从中央控制单元3通过通信线路2向立体光学模块1发送用于停止立体光学模块1的动作的“动作停止命令”。立体光学模块1收到该“动作停止命令”后进行预定的动作，然后进入省电模式。

接着，参照图15对于图14的步骤S5中的传感器检测步骤进行说明。另外，这里，假定如下的情况来进行说明：将立体光学模块1安装到车内的室内镜上，并通过前车窗玻璃拍摄车体前方。

在该传感器检测中，首先，中央控制单元3利用已知的方法进行前车窗玻璃的模糊/结露的检测(步骤S21)，判断车辆的前车窗玻璃上是否有模糊或结露(步骤S22)。当在该判断中判断为有模糊时，中央控制单元3打开未图示的除霜器而开始去除模糊(步骤S23)，在显示输入装置35上进行模糊警告显示(步骤S24)。并且，在利用除霜器的效果已除去了模糊的情况下，中央控制单元3在步骤S22的判断中判断为没有模糊，使上述模糊警告显示灭灯(步骤S25)。

接着，中央控制单元3通过经由通信线路2发送来的雨滴传感器10的输出来进行雨滴检测(步骤S26)，判断前车窗玻璃上是否有雨滴(步骤S27)。在该判断中判断为有雨滴的情况下，中央控制单元3使未图示的雨刷工作而开始除去雨滴(步骤S28)，并且在显示输入装置35上进行雨警告显示(步骤S29)。并且，在由于雨刷的效果而使得没有了雨滴的情况下，中央控制单元3在步骤S27的判断中判断为没有雨滴，使上述雨警告显示灭灯(步骤S30)。

接着，中央控制单元3通过温度传感器11来进行立体光学模块1周围的温度检测(步骤S31)，判断所检测出的温度是否在适合于立体光学模块1的动作的范围内(步骤S32)。当在该判断中判断为所检测出的温度不在恰当范围内时，中央控制单元3使未图示的空调工作来进行温度调节(步骤S33)，并且在显示输入装置35上进行温度警告显示(步骤S34)。并且，在由于空调的效果而使得温度处于恰当范围内的情况下，中央控制单元3在步骤S32的判断中判断为处在恰当温度范围内，使上述温度警告显示灭灯(步骤S35)。

在中央控制单元3动作的期间执行这些传感器检测。即，中央控制单元3判断是否输入了停止信号(步骤S36)，在判断为输入了停止信号的情况下，结束该传感器检测。另一方面，在判断为未输入停止信号的情况下，将所检测出的模糊信息、雨滴传感器信息以及温度传感器信息这样的环境信息数据100通过通信线路2输出到立体光学模块1的纠正处理部15(步骤S37)，然后回到步骤S21，继续进行传感器检测。

另外，从该传感器检测的流程图可知，仅在模糊/结露、雨滴、温度处在预定的条件范围内时上述环境信息数据100才被输出，因此，即使例如通过摄像元件5拍摄了立体图像，也不开始使用该环境信息数据100的纠正处理。因此，在这种情况下，优选通过显示输入装置35进行用于向驾驶者通知如下信息的警告显示，即：不是因为故障而不动作，而是因为没有得到预定的条件而不动作。

图16是表示图14的步骤S9中的校准数据校正的步骤的流程图。

即，如该图16所示，周围环境判断单元33首先判断经由通信线路2而得到的由温度传感器11所检测出的温度信息等环境条件是否发生了变化(步骤S41)，例如在由于因温度变化等引起的热膨胀等，使得校准数据发生变化的情况下，从在EPROM 31或HDD 53中预先准备的按温度划分的校准数据表102中读出与该温度对应的校准数据101，将其通过通信线路2写入到立体光学模块1的校正信息存储器7中(步骤S47)，由此更新校准数据101。

接着，或者在上述步骤S41中判断为没有环境条件变化的情况下，取得已知形状物体图像(这里，是通过通信线路2的来自立体光学模块1的立体图像)(步骤S42)，判断立体光学模块1的安装位置等安装条件是否发生了变化(步骤S43)，在安装条件已发生了变化的情况下，根据该变化来校正校准数据(步骤S44)，将该校正后的更新校准数据103追加到上述校准数据表102中，并且通过通信线路2写入到立体光学模块1的校正信息存储器7中，由此更新在纠正处理中使用的校准数据101。

通过进行这样的校正，能够总是在良好的状态下实施纠正处理和窗口匹配。

图17是表示图14的步骤S14的驾驶支援的步骤的一个例子的流程图。

即，周围环境判断单元33进入该驾驶支援步骤后，将一般图像(通过立体图像切出部43切出的一个图像)104、距离图像105作为输入来使用，实施基于距离分布的分割处理(步骤S52)，然后实施前行车辆识别(步骤S54～S57)、道路路面识别(步骤S58～S59)、障碍物识别(步骤S61～S70)以及行车路线识别(步骤S71～S73)等。

在前行车辆识别中，从一般图像104中提取出通过利用激光雷达的雷达模块54来检测从车辆反射的激光而识别出的前行车辆，与距离图像105的分割进行匹配来识别前行车辆的区域(步骤S54)，通过提取包括前行车辆的车宽等信息在内的信息，提取出与前行车辆的车间距离(步骤S55)。接着，检测与前行车辆的距离(步骤S56)，在与前行车辆之间的距离不恰当(例如，太近)的情况下，通过图像输出装置34在显示输入装置35上进行如图18所示的图像显示，由此实施车间距离警告(步骤S57)。

在道路路面检测中，在距离图像105中，在假定为存在道路路面的位置处发现可以根据距离图像105来识别的平面(步骤S58)，将该平面的范围识别为与道路路面相同的平面状的平面。然后，将该道路平面设定为基准面(步骤S59)。将该基准面的数据106用于各识别处理中，从而可以利用于物体的识别、前行车辆的识别、行车路线的识别等。在此时，如图19所示，也可以通过图像输出装置34在显示输入装置35上显示识别平面。

在障碍物识别中，例如识别从上述道路路面检测出的平面上耸起被距离图像105的分割处理所识别出的物体(步骤S61)，作为障碍物，并对其距离和大小等进行标记。基于此，提取障碍物的距离(步骤S62)，判断是否与路线冲突(步骤S63)，当与路线冲突时，通过图像输出装置34在显示输入装置35上进行促使操作者避开这样的情况的避开警告(步骤S64)。接着，判断在上述步骤S62中提取的距离是否为可通过操作者即驾驶者的自发的刹车操作而安全停止的距离(步骤S65)，当可以安全停止时，通过图像输出装置34在显示输入装置35上向操作者进行警告以便踩下刹车(步骤S66)。另一方面，在无法安全地停止的距离的情况下，通过图像输出装置34在显示输入装置35上向操作者进行指示以踩下刹车，并且自动地放慢油门(步骤S67)。而且，其中可以进行避开动作的情况下(步骤S68)，作为应急驱动，通过图像输出装置34在显示输入装置35上催促驾驶盘操作等来强制实施安全对策(步骤S69)。

当冲突不可避免时，进行气囊等用于被动安全的预准备(步骤S70)。特别是在车外通信系统等可以工作的情况下等，也可以构成为自动地实施当前位置和事故发生的通报等事故报告。

行车路线识别是通过根据一般图像104的亮度值来识别位于基准平面上的白线，或根据距离图像105来识别从基准平面突出一定高度的护栏等，来识别行车路线(步骤S71)。由此，识别可行驶区域，并且检查未从行车路线内偏离的情况(步骤S72)，在好像偏离了行车路线的情况下，如图21所示，通过图像输出装置34在显示输入装置35上进行行车路线警告的显示等(步骤S73)。

另外，在第4实施方式中，作为上述警告，示出了在图6所示的与中央控制单元3连接的显示输入装置35的画面上进行警告显示的例子，但作为显然的变形例，也可以通过来自扬声器38的声音警告、显示灯42的亮灯、未图示的使驾驶座振动等手段，以促使操作者引起注意的方式进行警告。这在上述步骤S64、S66、S67那样紧急性高、且操作者不便从前方移开视线的情况下特别有效。

如以上说明，根据第4实施方式，可以一边与环境信息相适应来适当选择和校正校准数据一边实施立体匹配。

另外，该第4实施方式的各结构也显然可以进行各种变形、变更。

例如，校准数据的校正也可以通过从预先利用温度等对表进行了变换的多个校准数据表中选择来进行校正。

此外，在传感器检测中，作为在传感器发现了问题时的应对手段，不限于第4实施方式中示出的除霜器、雨刷以及空调，还可以使用其它的装置，例如，利用防模糊涂层或红外线加热器来代替除霜器，或采用超防水玻璃罩或吹风器来代替雨刷，或采用珀耳帖(Peltier)元件或冷却扇来代替空调。

此外，图14中示出的动作步骤的流程也可以进行各种变更。例如，也可以在传感器检测中，当模糊/结露、雨滴、温度不在预定的条件范围内时也输出环境信息数据100，如图22所示，在根据该环境信息数据100判断为环境信息的条件不恰当(步骤S87：“否”)、不进行纠正处理等情况下，起动传感器检测步骤，并且停止距离图像的输出处理并通过图像输出装置34在显示输入装置35上显示不能处理的警告(步骤S88)，由此向驾驶者等操作者传递该意思。

此外，在图15中的传感器检测步骤中，虽然继续使用模糊去除或雨刷等，但当然也可以像图23那样，在传感器信息变得良好的情况下断开除霜器或雨刷、空调(步骤S105、S111、S117)。此外，也可以定期地输出环境信息(温度传感器信息等)的数据(步骤S120)。

此外，在图15中的传感器检测步骤中，示出了顺序执行所有处理的例子，但也可以如图24所示，并行地实施各环境条件的检测(步骤S122、S128、S134)、用于解除不能计测的动作(步骤S123、步骤S129、步骤S135)。并且，用于解除不能计测的动作可以由系统自动实施，也可以仅向操作者进行警告，而自己则显示无法处理的意旨。

此外，在第4实施方式中，将模糊、雨滴以及温度作为代表性的环境信息而进行了提示，但也可以将雾、摄像元件的故障、昼夜间的更替、照度信息、枯叶或鸟粪、因挂在车内的吉祥物等引起的车窗玻璃的污垢或遮挡、或者对向车辆的相对位置等信息等用作环境信息。

而且，第4实施方式还可以在使用了多个摄像元件的立体摄像机的情况下使用。

(第5实施方式)

接着，对于本发明的第5实施方式进行说明。该第5实施方式对于具有多个光学模块的系统进行说明。对于各个光学模块的结构，以上述的第1至第4实施方式为基准。

即，如图25所示，多个立体光学模块1a、1b、单眼光学模块71a、71b与通信线路2连接。在通信线路2上连接了中央控制单元3，并且还连接了驾驶状况检测模块72、环境监视模块60等。

这里，作为单眼光学模块，可列举出如图7所示的侧方摄像机模块58、后方摄像机模块62。并且，作为驾驶状况检测模块72，可列举出如图7所示的发动机控制模块57、刹车传感器模块61、未图示的转向角检测模块、变速器监视模块等。而且，作为环境监视模块60，可以列举出如图7所示的雷达模块54、车速传感器模块55、汽车导航模块56、室内监视模块59、装载检测模块63、后方超声波雷达模块64等。

这里，如果在通过光学模块得到的图像信息中附加各光学模块的摄像机ID和各个光学模块中的校准数据等信息来实施收发、并使中央控制单元3对其进行判别，则可以判断出要使用哪个校准数据来处理哪个光学模块的信息。

此外，通信线路2依然是一个系统的通信线路，可以使用该通信线路2在以中央控制单元3和立体光学模块1a为首的各单元之间高效地进行相互通信。即，在该通信中，中央控制单元3统一进行整体系统的步骤控制，从中央控制单元3向各单元发送以数据请求命令为首的各种控制命令，并从各单元向中央控制单元3返送所请求的数据等。

此外，如图25所示，通过共用通信线路2，有助于车内电气配线的减少。因此，还可获得重量减轻、噪声混合接收的影响减小等效果。

(第6实施方式)

接着，对于本发明的第6实施方式进行说明。该第6实施方式是立体光学模块中所装配的雨滴传感器10的一种实施方式。

现有的雨滴传感器例如如图26所示，从红外线或可见光发光二极管(投光LED)75向紧贴在车窗玻璃73上的玻璃块74投射光线。通过投光透镜76会聚该光，利用反射镜77等将该会聚光线在玻璃外侧面上的反射光引导到受光透镜78。并且，通过受光透镜78会聚该导入的光，通过光电二极管等受光传感器79检测该会聚光线。此时，在车窗玻璃73上附着有雨滴的情况下，光发散使得光量发生变化，因此可以计测雨滴量。

然而，在该现有的雨滴传感器中，必须将雨滴传感器紧贴在玻璃面上来进行设置，构成了对空间和成本的制约。并且，妨碍驾驶者视野，或者在装配除了雨滴传感器以外的用于检测车辆前方的障碍物等的立体光学模块的情况下，存在立体光学模块的视场被遮挡的问题和雨滴传感器相对于立体光学模块1的设置位置等问题。

因此，第6实施方式中的雨滴传感器利用立体光学模块1所拍摄到的图像来检测雨滴。

在上述的实施方式中所说明的立体光学模块1中，采用将左右视差为横向长度的图像如图5那样分成上下部分以使其成像于摄像元件上的立体光学系统，其结果是，得到了图27所示的横向长度的立体图像。这里，根据立体计测的原理，一般远距离物体的视差较小，而近距离物体的视差较大。即，在上述的实施方式中所说明的光学系统中，能够取较广的可计测视差范围，因此在立体图像的某个区域中，当从基线长度考虑时，与以往相比，能够对应从非常近的距离(例如十几厘米基线长度下，从十几厘米至几十厘米的近距离)到无限远处。

图28是示出了第6实施方式中所使用的立体光学模块1的左右两个视点的立体图像的视场角的图。即，在第6实施方式中，将立体光学模块1配置成使得至少作为雨滴检测对象的车辆的车窗玻璃进入左右视点的视场角相重叠的重叠区域83。例如，图27中的例子中的雨滴检测用搜索范围成为图28中的重叠区域83中的车窗玻璃所存在的距离区域(图中的斜线部)。

特别是在考虑车载用途的情况下，障碍物识别等要计测几米至几十、或几百米这样的远距离，因此视差量较小。因此，在一般进行窗口匹配的情况下，以处理的高速化为目标来缩短核线上的对应点的搜索宽度。另外，在近距离的情况下，搜索宽度变宽，因此相应地对应点的搜索较费时间。

然而，如果仅进行近距离的窗口匹配，特别是如第6实施方式那样仅进行车窗玻璃所处的几十厘米以内的区域的窗口匹配，则可取较大的视差量。作为极端的例子，如果仅搜索图27所示的雨滴检测用搜索范围，则可以进行雨滴检测。

参照图29和图30对其进行详细说明，像以往那样，当连续地对从远距离至近距离的物体进行测距来计算距离图像时，在从画面端的基准点开始搜索的情况下，需要使搜索窗口横截画面而移动，同时进行窗口匹配。其中，搜索很费时间，特别是在车载等对距离计测有时间限制的用途中，会成为致命的弱点。

因此，在第6实施方式中，将雨滴检测和障碍物或车辆等的检测作为模式来进行切换。即，在雨滴检测的模式下，如图29所示，在基准图像80内的与近距离对应的范围内进行窗口匹配。另一方面，在检测障碍物等的模式下，限定搜索范围，例如进行相当于3米到100米的视差量的搜索。

此外，特别是在频繁地进行雨滴检测的情况下，也可以将搜索图像81侧的搜索范围如图30所示那样限定为包括车窗玻璃73表面的限定的距离区域(例如，沿着车窗形状的狭窄区域)所对应的搜索范围(图中的斜线部)。即，可以对搜索范围的值加以偏移，使得仅将图27所示的右图像的左端和左图像的右端的雨滴检测用搜索范围作为搜索范围。通过这样限定搜索范围，可以实现更为高速的通过窗口匹配进行的雨滴检测。

而且，如图30所示，在对应于车窗玻璃73的倾斜使得搜索范围也倾斜的情况下，画面上端为更近的近距离，画面下端与上端相比为远距离，因此也可以如图30中射线部分所示，在从画面上端侧的搜索至画面下端的搜索中使搜索范围的偏移量减少，同时进行窗口匹配。

如以上说明，在第6实施方式中，通过利用近距离限定的窗口匹配来实现作为雨滴传感器的功能，可以不用向中央控制单元3或立体光学模块1中追加新的装置，而检测出雨滴或玻璃上的污垢等。

此外，通常的障碍物的距离计测是在视差较小的范围内的匹配，雨滴检测是视差较大的范围内的匹配，通过并行进行或者以时间分割的方式来进行，可以在进行障碍物的距离计测的同时实现雨滴检测的功能。

另外，该第6实施方式的各结构当然可以进行各种变形、变更。

例如，在第6实施方式中，示出了以被动(passive)方式处理摄像图像的例子，但还可以并用以特定周期使特定波长的光向车窗玻璃73发光等、根据由此产生的来自雨滴的散射光来进行雨滴检测的主动(active)方式。在这种情况下，只要按照时间序列切换雨滴检测和距离计测，向立体光学模块的右左的任意的视场内投射光线即可。并且，在并行来进行处理的情况下，也可以将图31或图32所示的重叠区域外的图像作为二维图像来进行拍摄，在重叠区域外的区域，从图33所示的光束投光器82投射红外线等光束，来进行雨滴检测。另外，在这种情况下，即使成为远距离，因为不重叠，所以也可以将会聚角(輻輳角)向外侧打开来设置视点。并且，因为重叠区域外的区域不用于立体计测，因此也可以仅向该视场范围投射红外线来实现雨滴检测。

而且，也可以如图34那样，在相当于重叠区域外的区域的车窗玻璃表面上施加雨滴检测用的涂层84，也可以构成为例如在车窗玻璃73的表面设置成为模糊玻璃的扩散面，提高有雨滴附着的部分的透射性。并且，也可以通过粘贴进行湿润判断的显色片等，来进行雨滴检测。

此外，也可以通过将防水片和亲水片张贴到车窗上，进行更明确的有无雨滴的判断。

此外，还可以通过将具有正放大率的特写透镜设置在视场罩的相关视场部以便更适合于近距离摄像，将对焦域限定在近距离、至少为车窗玻璃面和立体摄像机系统之间的距离，通过基于二维图像的检测、红外线摄像、形状提取、颜色检测等来实施雨滴检测。如果在距离计测所不使用的区域内进行这些检测，则不会对距离计测带来坏影响，从而可以仅通过单一摄像元件来实现雨滴的检测。

此外，在投射红外线的情况下，通过预先去除设置在用于拍摄重叠区域外的区域的摄像元件中的红外截止滤光器，或将该部分置换成带通滤光器，由此可以实现更为有效的计测。

而且，在第6实施方式中，构成为在重叠区域外的区域进行投光或使用雨滴检测涂层，但只要画面周围部没有被用于测距，当然也可以构成为针对相当于该部分的画面周围的车窗玻璃设置上述的雨滴检测单元。

另外，对于上述的各实施方式，也可以不在立体光学系统中设置对焦机构，而可以构成将从车窗玻璃附近到前方的预定距离(例如，50～300m)作为被摄场深度的所谓泛焦(pan-focus)立体光学系统。在这种情况下，即使不设置对焦机构，也可以对车窗玻璃上所附着的雨滴或粘着物和前方障碍物双方进行大致对焦，从而可以同时进行双方的形状识别。

根据以上实施方式说明了本发明，但本发明不限于上述的实施方式，而当然可以在本发明的主旨范围内进行各种变形和应用。例如，在上述的实施方式中，对于车辆装配型立体摄像机系统进行了说明，但例如也可以在如机器人那样的移动体中进行距离计测的情况等下进行利用。

而且，在上述的实施方式中包括了各种阶段的发明，通过将已公开的多个构成要素恰当组合，可得到各种发明。例如，在即使从实施方式中所示出的所有构成要素删除几个构成要素，也可以解决本发明要解决的课题项中所述的课题，可以得到发明效果项中描述的效果的情况下，也可以提取出删除了该构成要素后的结构作为发明。

Claims (136)

1.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，该立体摄像机系统由如下部分构成：

用于取得立体图像的立体光学模块；

中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像来进行成为对象的被摄体的评价；以及

通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；以及模块侧通信接口，其输出通过该图像输出处理电路进行了图像处理后的立体图像数据，

所述中央控制单元具有：单元侧通信接口，其为了根据通过所述立体光学模块得到的所述立体图像进行所述被摄体的评价，输入通过所述模块侧通信接口输出的立体图像数据；以及距离图像评价装置，其根据通过该单元侧通信接口输入的所述立体图像数据，求出到成为对象的被摄体的距离。

2.根据权利要求1所述的立体摄像机系统，其特征在于，所述图像输出处理电路包括纠正处理电路，该纠正处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施纠正处理。

3.根据权利要求1所述的立体摄像机系统，其特征在于，所述图像输出处理电路包括γ转换处理电路，该γ转换处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施γ转换处理。

4.根据权利要求1所述的立体摄像机系统，其特征在于，所述图像输出处理电路包括阴影校正处理电路，该阴影校正处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施阴影校正处理。

5.根据权利要求1所述的立体摄像机系统，其特征在于，

所述立体光学模块还包括光学滤色器，其用于在所述摄像元件的光入射侧将各个立体图像分离成多个颜色成分，

所述图像输出处理电路还包括转换电路，该转换电路针对通过所述A/D转换部生成的所述各数字立体图像数据进行转换成亮度信号和色差信号的处理。

6.根据权利要求1所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据作为数字图像数据输出到所述通信线路。

7.根据权利要求6所述的立体摄像机系统，其特征在于，

所述模块侧通信接口对所述立体图像数据进行数据压缩以输出给所述通信线路。

8.根据权利要求7所述的立体摄像机系统，其特征在于，

所述数据压缩中的数据压缩方式是依据运动JPEG(Motion-JPEG)规格的数据压缩方式。

9.根据权利要求7所述的立体摄像机系统，其特征在于，

所述数据压缩中的数据压缩方式是依据MPEG规格的数据压缩方式。

10.根据权利要求7所述的立体摄像机系统，其特征在于，

所述数据压缩中的数据压缩方式是依据DV规格的数据压缩方式。

11.根据权利要求6所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据IEEE1394规格的数字数据以输出给所述通信线路。

12.根据权利要求6所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据USB规格的数字数据以输出给所述通信线路。

13.根据权利要求6所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据以太网规格的数字数据以输出给所述通信线路。

14.根据权利要求1所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据作为模拟图像数据以输出给所述通信线路。

15.根据权利要求14所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据NTSC规格的模拟图像数据以输出给所述通信线路。

16.根据权利要求14所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据PAL规格的模拟图像数据以输出给所述通信线路。

17.根据权利要求1所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有用于检测所述立体光学模块周围的温度的温度传感器，所述模块侧通信接口将通过所述温度传感器检测出的温度数据输出给所述通信线路。

18.根据权利要求1所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有用于检测雨滴量的雨滴传感器，所述模块侧通信接口将通过所述雨滴传感器检测出的雨滴数据输出给所述通信线路。

19.根据权利要求1所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有校正信息存储器，其用于存储该立体摄像机系统的校准数据，

所述模块侧通信接口将所述校正信息存储器中所存储的所述校准数据输出给通信线路，

所述距离图像评价装置根据从所述单元侧通信接口输出的立体图像数据和所述校准数据，求出到成为对象的被摄体的距离。

20.根据权利要求19所述的立体摄像机系统，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

21.根据权利要求20所述的立体摄像机系统，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

22.根据权利要求20所述的立体摄像机系统，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

23.根据权利要求1所述的立体摄像机系统，其特征在于，

所述距离图像评价装置计算出距离图像数据。

24.根据权利要求1所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有周围环境判断单元，该周围环境判断单元对该立体摄像机系统的前方的障碍物进行识别，判断到所述障碍物的距离。

25.根据权利要求24所述的立体摄像机系统，其特征在于，

所述障碍物是在该立体摄像机系统的前方行驶的汽车。

26.根据权利要求24所述的立体摄像机系统，其特征在于，

所述周围环境判断单元对该立体摄像机系统前方的道路的白线进行检测。

27.根据权利要求1所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有驾驶支援装置，该驾驶支援装置用于支援装配了该立体摄像机系统的移动体的驾驶。

28.根据权利要求27所述的立体摄像机系统，其特征在于，

所述驾驶支援装置包括警告单元，该警告单元向驾驶所述移动体的驾驶者进行警告。

29.根据权利要求27所述的立体摄像机系统，其特征在于，

所述驾驶支援装置包括显示单元，该显示单元用于向驾驶所述移动体的驾驶者进行基于显示的信息通知。

30.根据权利要求27所述的立体摄像机系统，其特征在于，

所述驾驶支援装置向控制装配有该立体摄像机系统的移动体的移动的移动控制装置输出控制信息。

31.根据权利要求1所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有信息输入装置，该信息输入装置用于从该立体摄像机系统的外部输入信息。

32.根据权利要求31所述的立体摄像机系统，其特征在于，

所述信息输入装置是以手动方式输入信息的装置。

33.根据权利要求31所述的立体摄像机系统，其特征在于，

从所述信息输入装置输入的信息是从控制装配有该立体摄像机系统的移动体的移动的控制装置输入的信息。

34.一种立体光学模块，用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，所述立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，该立体光学模块具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

图像输出处理电路，其对通过该A/D转换部生成的数字立体图像数据实施预定的图像处理；以及

模块侧通信接口，其将在该图像输出处理电路中进行了图像处理后的立体图像数据输出到通信线路。

35.根据权利要求34所述的立体光学模块，其特征在于，所述图像输出处理电路包括纠正处理电路，该纠正处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施纠正处理。

36.根据权利要求34所述的立体光学模块，其特征在于，所述图像输出处理电路包括γ转换处理电路，该γ转换处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施γ转换处理。

37.根据权利要求34所述的立体光学模块，其特征在于，

所述图像输出处理电路包括阴影校正处理电路，该阴影校正处理电路对通过所述A/D转换部生成的所述数字立体图像数据实施阴影校正处理。

38.根据权利要求34所述的立体光学模块，其特征在于，

所述立体光学模块还包括光学滤色器，其用于在所述摄像元件的光入射侧将各个立体图像分离成多个颜色成分，

所述图像输出处理电路还包括转换电路，该转换电路对通过所述A/D转换部生成的所述各数字立体图像数据进行转换成亮度信号和色差信号的处理。

39.根据权利要求34所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据作为数字图像数据输出给所述通信线路。

40.根据权利要求39所述的立体光学模块，其特征在于，

所述模块侧通信接口对所述立体图像数据进行数据压缩以输出给所述通信线路。

41.根据权利要求40所述的立体光学模块，其特征在于，

所述数据压缩中的数据压缩方式是依据运动JPEG(Motion-JPEG)规格的数据压缩方式。

42.根据权利要求40所述的立体光学模块，其特征在于，

所述数据压缩中的数据压缩方式是依据MPEG规格的数据压缩方式。

43.根据权利要求40所述的立体光学模块，其特征在于，

所述数据压缩中的数据压缩方式是依据DV规格的数据压缩方式。

44.根据权利要求39所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据IEEE1394规格的数字数据以输出给所述通信线路。

45.根据权利要求39所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据USB规格的数字数据以输出给所述通信线路。

46.根据权利要求39所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据以太网规格的数字数据以输出给所述通信线路。

47.根据权利要求34所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据作为模拟图像数据输出给所述通信线路。

48.根据权利要求47所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据NTSC规格的模拟图像数据以输出给所述通信线路。

49.根据权利要求47所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述立体图像数据转换成依据PAL规格的模拟图像数据以输出给所述通信线路。

50.根据权利要求34所述的立体光学模块，其特征在于，

还具有温度传感器，其用于检测该立体光学模块周围的温度，所述模块侧通信接口将通过所述温度传感器检测出的温度数据输出给所述通信线路。

51.根据权利要求34所述的立体光学模块，其特征在于，

还具有用于检测雨滴量的雨滴传感器，所述模块侧通信接口将通过所述雨滴传感器检测出的雨滴数据输出给所述通信线路。

52.根据权利要求34所述的立体光学模块，其特征在于，

还具有用于存储立体摄像机系统的校准数据的校正信息存储器，

所述模块侧通信接口将所述校正信息存储器中所存储的所述校准数据输出给所述通信线路。

53.根据权利要求52所述的立体光学模块，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

54.根据权利要求53所述的立体光学模块，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

55.根据权利要求53所述的立体光学模块，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

56.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

用于取得立体图像的立体光学模块；

中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及

通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储所述立体摄像机系统的校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的所述数字立体图像数据和所述校正信息存储器中所存储的所述校准数据，实施预定的图像处理；以及模块侧通信接口，其将通过该图像输出处理电路进行了图像处理后的立体图像数据输出到所述通信线路，

所述中央控制单元具有：单元侧通信接口，其用于将经由所述模块侧通信接口输出到所述通信线路的立体图像数据输入到该中央控制单元；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述立体图像数据，求出到成为对象的被摄体的距离。

57.根据权利要求56所述的立体摄像机系统，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据，通过所述图像输出处理电路实施的图像处理是用于校正所述在一对立体图像数据之间产生的不均衡的校正运算。

58.根据权利要求57所述的立体摄像机系统，其特征在于，

所述校准数据是用于对所述立体图像数据实施纠正处理的数据，所述校正运算是对所述立体图像数据实施纠正处理的运算。

59.根据权利要求57所述的立体摄像机系统，其特征在于，

所述校准数据是用于对所述立体图像数据实施阴影校正处理的数据，所述校正运算是对所述立体图像数据实施阴影校正处理的运算。

60.一种立体光学模块，用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，该立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，该立体光学模块具有：

立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；

摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

校正信息存储器，其用于存储所述立体摄像机系统的校准数据；

图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的所述校准数据，实施预定的图像处理；以及

模块侧通信接口，其将在该图像输出处理电路中进行了图像处理后的立体图像数据输出到所述通信线路。

61.根据权利要求60所述的立体摄像机系统，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据，通过所述图像输出处理电路实施的图像处理是用于校正所述在一对立体图像数据之间产生的不均衡的校正运算。

62.根据权利要求61所述的立体摄像机系统，其特征在于，

所述校准数据是用于对所述立体图像数据实施纠正处理的数据，所述校正运算是对所述立体图像数据实施纠正处理的运算。

63.根据权利要求61所述的立体摄像机系统，其特征在于，

所述校准数据是用于对所述立体图像数据实施阴影校正处理的数据，所述校正运算是对所述立体图像数据实施阴影校正处理的运算。

64.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

用于取得立体图像的立体光学模块；

中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及

通信线路，其用于将在所述立体光学模块中取得的所述立体图像数据输入到所述中央控制单元，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储作为所述立体摄像机系统的校准数据的第1校准数据和第2校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的第1校准数据，实施预定的图像处理；以及模块侧通信接口，其用于将通过所述图像输出处理电路进行了图像处理后的立体图像数据和所述校正信息存储器中所存储的第2校准数据输出到所述通信线路，

所述中央控制单元具有：单元侧通信接口，其用于将经由所述模块侧通信接口输出到所述通信线路的立体图像数据输入到该中央控制单元；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述立体图像数据和所述第2校准数据，求出到成为对象的被摄体的距离。

65.根据权利要求64所述的立体摄像机系统，其特征在于，所述第1校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

66.根据权利要求65所述的立体摄像机系统，其特征在于，

所述第1校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

67.根据权利要求65所述的立体摄像机系统，其特征在于，

所述第1校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

68.根据权利要求64所述的立体摄像机系统，其特征在于，

所述第2校准数据是用于对从所述中央控制单元内部的所述距离图像评价装置输出的距离运算结果进行校正的距离校正数据。

69.一种立体光学模块，用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的立体图像数据输入到所述中央控制单元，该立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，该立体光学模块具有：

立体光学系统，其用于针对同一被摄体生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；校正信息存储器，其用于存储作为所述立体摄像机系统的校准数据的第1校准数据和第2校准数据；图像输出处理电路，其根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的第1校准数据，实施预定的图像处理；以及模块侧通信接口，其用于将通过所述图像输出处理电路进行了图像处理后的立体图像数据和所述校正信息存储器中所存储的第2校准数据输出到所述通信线路。

70.根据权利要求69所述的立体光学模块，其特征在于，

所述第1校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

71.根据权利要求70所述的立体光学模块，其特征在于，

所述第1校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

72.根据权利要求70所述的立体光学模块，其特征在于，

所述第1校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

73.根据权利要求69所述的立体光学模块，其特征在于，

所述第2校准数据是用于对从所述中央控制单元内部的所述距离图像评价装置输出的距离运算结果进行校正的距离校正数据。

74.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的与所述立体图像相关的数据输入到所述中央控制单元，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路，

所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的距离图像数据；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据，进行所述被摄体的评价。

75.根据权利要求74所述的立体摄像机系统，其特征在于，

所述图像输出处理电路包括纠正处理电路，该纠正处理电路针对通过所述A/D转换部生成的所述数字立体图像数据实施纠正处理。

76.根据权利要求74所述的立体摄像机系统，其特征在于，

所述图像输出处理电路包括阴影校正处理电路，该阴影校正处理电路用于针对通过所述A/D转换部生成的所述数字立体图像数据实施阴影校正处理。

77.根据权利要求74所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述距离图像数据作为数字图像数据输出到所述通信线路。

78.根据权利要求77所述的立体摄像机系统，其特征在于，

所述模块侧通信接口对所述距离图像数据进行了数据压缩后，作为数字数据输出给所述通信线路。

79.根据权利要求74所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述距离图像数据作为模拟图像数据输出给所述通信线路。

80.根据权利要求74所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有用于存储该立体摄像机系统的校准数据的校正信息存储器，

所述图像输出处理电路根据通过所述A/D转换部生成的数字立体图像数据和所述校正信息存储器中所存储的校准数据，进行校正运算。

81.根据权利要求80所述的立体摄像机系统，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

82.根据权利要求81所述的立体摄像机系统，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

83.根据权利要求81所述的立体摄像机系统，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

84.根据权利要求74所述的立体摄像机系统，其特征在于，

所述距离图像评价装置对该立体摄像机的前方的障碍物进行识别并根据该识别结果判断到所述障碍物的距离，作为所述被摄体的评价。

85.根据权利要求74所述的立体摄像机系统，其特征在于，

所述距离图像评价装置对在该立体摄像机系统的前方行驶的汽车进行识别并根据该识别结果判断到所述汽车的距离，作为所述被摄体的评价。

86.根据权利要求74所述的立体摄像机系统，其特征在于，

所述距离图像评价装置对该立体摄像机系统前方的道路的白线进行识别，作为所述被摄体的评价。

87.根据权利要求74所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有驾驶支援装置，该驾驶支援装置用于支援装配了该立体摄像机系统的移动体的驾驶。

88.根据权利要求74所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有用于从该立体摄像机系统的外部输入信息的信息输入装置。

89.一种立体光学模块，被用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的与立体图像相关的数据输入到所述中央控制单元，所述立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，该立体光学模块具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

图像输出处理电路，其针对通过该A/D转换部生成的数字立体图像数据，实施预定的图像处理；

距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及

模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路。

90.根据权利要求89所述的立体光学模块，其特征在于，

所述图像输出处理电路包括纠正处理电路，该纠正处理电路针对通过所述A/D转换部生成的所述数字立体图像数据实施纠正处理。

91.根据权利要求89所述的立体光学模块，其特征在于，

所述图像输出处理电路包括阴影校正处理电路，该阴影校正处理电路针对通过所述A/D转换部生成的所述数字立体图像数据实施阴影校正处理。

92.根据权利要求89所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述距离图像数据作为数字图像数据输出给所述通信线路。

93.根据权利要求92所述的立体光学模块，其特征在于，

所述模块侧通信接口对所述距离图像数据进行了数据压缩后，作为数字数据输出给所述通信线路。

94.根据权利要求89所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述距离图像数据作为模拟图像数据输出给所述通信线路。

95.根据权利要求89所述的立体光学模块，其特征在于，

所述立体光学模块还具有用于存储该立体摄像机系统的校准数据的校正信息存储器，

所述图像输出处理电路根据通过所述A/D转换部生成的数字立体图像数据和校正信息存储器中所存储的校准数据，进行校正运算。

96.根据权利要求95所述的立体光学模块，其特征在于，

所述校正信息存储器中所存储的校准数据是用于校正在一对立体图像数据之间产生的不均衡的校准数据。

97.根据权利要求96所述的立体光学模块，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施纠正处理的校准数据。

98.根据权利要求96所述的立体光学模块，其特征在于，

用于校正所述在一对立体图像数据之间产生的不均衡的校准数据是用于对所述立体图像数据实施阴影校正处理的校准数据。

99.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

立体光学模块，具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；

距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及

模块侧通信接口，其输出通过该距离图像计算单元生成的距离图像数据和所述立体图像数据中的至少任意一个图像数据，

中央控制单元，具有：

单元侧通信接口，其输入距离图像数据和所述立体图像数据中的至少任意一个；以及

距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据和所述立体图像数据中的至少任意一个，进行所述被摄体的评价，

通信线路，其对所述模块侧通信接口和所述单元侧接口之间进行连接，并可以在所述立体光学模块和所述中央控制单元之间进行数据通信。

100.根据权利要求99所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述距离图像数据和所述立体图像数据中的至少任意一个作为数字图像数据输出给所述通信线路。

101.根据权利要求100所述的立体摄像机系统，其特征在于，

所述模块侧通信接口对所述距离图像数据和所述立体图像数据中的至少任意一个进行数据压缩后，作为数字数据输出给所述通信线路。

102.根据权利要求99所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将所述距离图像数据和所述立体图像数据中的至少任意一个作为模拟图像数据输出给所述通信线路。

103.根据权利要求102所述的立体摄像机系统，其特征在于，

所述模块侧通信接口将从所述多个视点取得的立体图像中的从任意视点看到的图像数据分配给一帧图像数据内的第1区域，将所述距离图像数据分配给所述一帧图像数据内的与所述第1区域不同的第2区域，以输出给所述通信线路。

104.根据权利要求99所述的立体摄像机系统，其特征在于，

所述中央控制单元还具有显示单元，该显示单元可以显示从所述多个视点取得的立体图像中的从任意视点看到的图像数据。

105.一种立体光学模块，其特征在于，具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

图像输出处理电路，其针对通过该A/D转换部生成的所述数字立体图像数据，实施预定的图像处理；

距离图像计算单元，其根据通过该图像输出处理电路进行了图像处理后的立体图像数据，生成距离图像数据；以及

模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据和通过所述摄像元件生成的立体图像数据中的至少任意一个图像数据输出到通信线路。

106.根据权利要求105所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述距离图像数据和所述立体图像数据中的至少任意一个作为数字图像数据输出给所述通信线路。

107.根据权利要求105所述的立体光学模块，其特征在于，

所述模块侧通信接口对所述距离图像数据和所述立体图像数据中的至少任意一个进行数据压缩后，作为数字数据输出给所述通信线路。

108.根据权利要求105所述的立体光学模块，其特征在于，

所述模块侧通信接口将所述距离图像数据和所述立体图像数据中的至少任意一个作为模拟图像数据输出给所述通信线路。

109.根据权利要求105所述的立体光学模块，其特征在于，

所述模块侧通信接口将从所述多个视点取得的立体图像中的从任意视点看到的图像数据分配给一帧图像数据内的第1区域，将所述距离图像数据分配给所述一帧图像数据内的与所述第1区域不同的第2区域，以输出给所述通信线路。

110.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的所述立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将在所述立体光学模块中取得的与所述立体图像相关的数据输入到所述中央控制单元，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；距离图像计算单元，其根据通过该A/D转换部生成的所述数字立体图像数据，生成距离图像数据；以及模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路，

所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的距离图像数据；以及距离图像评价装置，其根据经由该单元侧通信接口输入的所述距离图像数据，进行所述被摄体的评价。

111.一种立体光学模块，用于在立体摄像机系统中使用，该立体摄像机系统由下述部分构成：用于得到立体图像的立体光学模块；中央控制单元，其根据通过所述立体光学模块得到的立体图像，进行成为对象的被摄体的评价；以及通信线路，其用于将从所述立体光学模块输出的与立体图像相关的数据输入到所述中央控制单元，所述立体摄像机系统针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据在该立体光学系统中生成的被摄体像，生成立体图像数据；

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；

距离图像计算单元，其根据通过该A/D转换部生成的所述数字立体图像数据，生成距离图像数据；以及

模块侧通信接口，其将通过该距离图像计算单元生成的距离图像数据输出到所述通信线路。

112.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

用于取得立体图像的立体光学模块；中央控制单元，其用于根据通过该立体光学模块得到的与所述立体图像相关的数据，进行成为对象的被摄体的评价；以及通信线路，其利用数字信号在所述立体光学模块和所述中央控制单元之间进行通信，

所述立体光学模块具有：立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据；以及模块侧通信接口，其在从所述中央控制单元收到控制命令的情况下，将通过该立体光学模块取得的与立体图像相关联的信息输出到所述通信线路，

所述中央控制单元具有：单元侧通信接口，其输入经由所述模块侧通信接口输出的与所述立体图像相关联的信息，并且从该中央控制单元向所述立体光学模块输出控制命令；以及距离图像评价装置，其根据经由该单元侧通信接口输入的与所述立体图像相关联的信息，进行所述被摄体的评价。

113.根据权利要求112所述的立体摄像机系统，其特征在于，

与所述立体图像相关联的信息是所述数字立体图像数据。

114.根据权利要求11所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有距离图像计算单元，该距离图像计算单元根据通过所述A/D转换部生成的所述数字立体图像数据来运算距离图像数据，

与所述立体图像相关联的信息是所述距离图像数据。

115.根据权利要求112所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有距离图像计算单元，该距离图像计算单元根据通过所述A/D转换部生成的所述数字立体图像数据来运算距离图像数据，

与所述立体图像相关联的信息是所述立体图像的多个视点中的任意视点的图像数据和所述距离图像数据。

116.根据权利要求112所述的立体摄像机系统，其特征在于，

所述立体光学模块还具有数据生成装置，该数据生成装置对从所述中央控制单元输入所述控制命令进行响应，生成预定的数据并输出给所述中央控制单元。

117.根据权利要求112所述的立体摄像机系统，其特征在于，

所述预定的数据是与温度相关的数据，所述数据生成装置是检测所述温度并输出给所述中央控制单元的温度传感器。

118.根据权利要求112所述的立体摄像机系统，其特征在于，

所述预定的数据是与雨滴量相关的数据，所述数据生成装置是检测所述雨滴量并输出给所述中央控制单元的雨滴传感器。

119.根据权利要求112所述的立体摄像机系统，其特征在于，

所述预定的数据是校准数据，所述数据生成装置是存储了所述校准数据的校正信息存储器。

120.根据权利要求112所述的立体摄像机系统，其特征在于，

所述立体光学模块对从所述中央控制单元输入所述控制命令进行响应，进行该立体光学模块的电力消耗模式的控制。

121.一种立体光学模块，其特征在于，具有：

立体光学系统，其用于针对同一被摄体，生成从多个视点看到的被摄体像；

摄像元件，其根据通过该立体光学系统生成的被摄体像，生成立体图像数据；以及

A/D转换部，其对通过该摄像元件生成的立体图像数据进行A/D转换，以生成数字立体图像数据，

响应从外部输入的控制命令，将与所述立体图像相关联的信息输出到通信线路。

122.根据权利要求121所述的立体光学模块，其特征在于，

与所述立体图像相关联的信息是所述数字立体图像数据。

123.根据权利要求121所述的立体光学模块，其特征在于，

所述立体光学模块还具有距离图像计算单元，该距离图像计算单元根据通过所述A/D转换部生成的所述数字立体图像数据来运算距离图像数据，

与所述立体图像相关联的信息是所述距离图像数据。

124.根据权利要求121所述的立体光学模块，其特征在于，

所述立体光学模块还具有距离图像计算单元，该距离图像计算单元根据通过所述A/D转换部生成的所述数字立体图像数据来运算距离图像数据，

与所述立体图像相关联的信息是所述立体图像的多个视点中的任意视点的图像数据和所述距离图像数据中的至少任意一个。

125.根据权利要求121所述的立体光学模块，其特征在于，

所述立体光学模块还具有数据生成装置，该数据生成装置对从外部输入所述控制命令进行响应，向所述通信线路输出预定的数据。

126.根据权利要求125所述的立体光学模块，其特征在于，

所述预定的数据是与温度相关的数据，所述数据生成装置是检测所述温度并输出给所述通信线路的温度传感器。

127.根据权利要求125所述的立体光学模块，其特征在于，

所述预定的数据是与雨滴量相关的数据，所述数据生成装置是检测所述雨滴量并输出给所述通信线路的雨滴传感器。

128.根据权利要求125所述的立体光学模块，其特征在于，

所述预定的数据是校准数据，所述数据生成装置是存储了所述校准数据的校正信息存储器。

129.根据权利要求121所述的立体光学模块，其特征在于，

对从外部输入的所述控制命令被输入进行响应，进行该立体光学模块的电力消耗模式的控制。

130.一种立体摄像机系统，用于针对同一被摄体拍摄从多个视点看到的被摄体像、并求出到成为对象的被摄体的距离，其特征在于，由下述部分构成：

用于取得立体图像的至少一个立体光学模块；

与该立体光学模块不同的用于取得图像的至少一个光学模块；

中央控制单元，其进行所述立体光学模块和所述光学模块的步骤控制；以及

通信线路，其对所述立体光学模块、所述光学模块和所述中央控制单元进行通信连接。

131.根据权利要求130所述的立体摄像机系统，其特征在于，

还具有驾驶状况检测模块，该驾驶状况检测模块检测装配了该立体摄像机系统的移动体的驾驶状况，将该检测出的与驾驶状况相关的信息输出给所述通信线路。

132.根据权利要求131所述的立体摄像机系统，其特征在于，

所述驾驶状况检测模块是检测装配在所述移动体上的发动机的状况的发动机控制模块。

133.根据权利要求131所述的立体摄像机系统，其特征在于，

所述驾驶状况检测模块是检测装配在所述移动体上的刹车的状况的刹车传感器模块。

134.根据权利要求130所述的立体摄像机系统，其特征在于，

还具有环境监视模块，该环境监视模块检测装配了该立体摄像机系统的移动体的环境状态，将该检测出的与环境状态相关的信息输出给所述通信线路。

135.根据权利要求134所述的立体摄像机系统，其特征在于，

所述环境监视模块是检测所述移动体的外部状况的雷达模块。

136.根据权利要求134所述的立体摄像机系统，其特征在于，

所述环境监视模块是检测所述移动体的装载状况的装载检测模块。

Images