CN109313021B - 成像控制装置和方法、以及车辆 - Google Patents

Abstract

本技术涉及一种能够以更高的精度进行距离测量的成像控制装置及方法，和一种车辆。成像控制单元通过立体摄像系统控制成像，该立体摄像系统包括沿垂直方向布置的至少一组摄像机，所述摄像机组包括布置成使光轴指向斜下方的至少一个摄像机。监视处理单元基于由立体摄像系统拍摄的图像执行监视处理。例如，基于布置成使至少一个光轴在车辆的侧面上指向斜下方的至少一组摄像机拍摄的图像，执行距离测量处理。

Description

成像控制装置和方法、以及车辆

技术领域

本技术涉及一种成像控制装置及方法，和车辆，尤其涉及一种能够以更高精度进行距离测量的成像控制装置和方法、以及车辆。

背景技术

在有些情况下，会将摄像机连接到车辆(诸如汽车)或物体，并且通过计算机可视地监视或处理摄像机的图像以自动监视视频。这是为了防止诸如事故之类的损坏和通过拍摄车辆周围的环境来实现自动驾驶。

为了识别三维空间中的物体，存在一种测量物体在三维空间中的距离的技术。作为距离测量技术之一，已知使用三角测量法的原理测量由两个(或更多个)摄像机拍摄的图片的距离的立体摄像系统(例如，专利文献1)。

存在一种装置，其将这种立体摄像系统连接到车辆并测量到车辆周围的物体(例如车辆前方、后方、侧方上的物体)的距离，由此监视该车辆的安全性，例如避免碰撞。到目前为止，通常将该立体摄像系统主要连接到车辆的前方。由于车辆主要是向前移动，因此确保车辆前方的安全是最重要的。此外，从防止碰撞等方面来看，已知使用立体摄像机来监视后方(例如，专利文献2)。

相比之下，有必要监视车辆的侧方以防止变换车道时的碰撞、右转或左转时的挟带等。然而，通常，这种重要性低于监视车辆的前方和后方。另外，覆盖车辆的整个侧面(其与监视车辆的前方和后方相比需要更宽的监视范围)是昂贵的。由于存在这两个问题，所以并没有对通过车辆侧方的距离测量来进行监视作太多工作。然而，为了提高车辆的安全性，侧方建监视也很重要，期望解决这两个问题。

因此，为了以低成本在宽范围内进行距离测量，已经提出了用一对立体摄像系统来覆盖车辆的整个侧面(例如，专利文献3)。

专利文献3提出了使用扩大一般广角镜头的成像屏幕的端部的特殊光学系统，来解决在屏幕的边缘部分处分辨率降低的问题。然而，这种光学系统存在摄像机的倾斜方向上会发生死角的问题，这是昂贵的。

另外，已经提出了解决在近年来已成为主流的互补金属氧化物半导体(CMOS)图像传感器的摄像机应用于立体摄像系统的情况下的问题的提议(例如，专利文献4)。

引用列表

专利文件

专利文献1：日本专利申请公开No.05-114099

专利文献2：日本专利申请公开No.2008-85710

专利文献3：日本专利申请公开No.2013-53962

专利文献4：日本专利申请公开No.2013-70177

发明内容

技术问题

然而，专利文献4的提议仅解决了在通过卷帘快门方法驱动CMOS图像传感器的摄像机的情况下发生的问题。专利文献4的提议难以精确地测量到车辆附近的物体的距离，因此难以应用于例如监视车辆的侧方，这需要测量到靠近车辆的物体的距离。

本技术在这种情况下提出，其能够以更高的精度进行距离测量。

技术方案

本技术的一个方面是一种成像控制装置，包括：成像控制单元，该成像控制单元被配置为通过立体摄像系统控制成像，该立体摄像系统包括沿垂直方向布置的至少一组摄像机，该摄像机组包括布置成使光轴指向斜下方的至少一个摄像机；和监视处理单元，其被配置为基于立体摄像系统拍摄的图像执行监视处理。

所述图像可以是由布置在车辆侧面上的摄像机拍摄的图像。

所述监视处理单元可以计算沿着车辆行驶的表面的目标物体的距离。

所述目标物体可包括路面、路面上的识别显示、路面的端部，路边和护栏中的任何一个。

可以进一步包括另一个监视处理单元，该监视处理单元被配置为计算垂直于车辆行驶的表面的目标物体的距离。

所述监视处理单元可以基于立体摄像系统执行距离测量处理，所述另一监视处理单元可以通过运动立体声处理来执行距离测量处理。

所述监视处理单元可以从由摄像机拍摄的图像中检测边缘，并且基于所述边缘的角度来计算距离。

可以进一步包括图像转换单元，所述图像转换单元被配置为将由摄像机拍摄的图像转换为观察车辆周边的图像。

可以进一步包括距离测量单元，所述距离测量单元被配置为通过超声波、雷达、激光传感器或红外传感器对车辆前方和后方的距离进行距离测量处理。

布置成使光轴指向斜下方的摄像机可以布置成使得所述光轴和从所述光轴直接朝向车辆下方的方向形成的角度落在π/6到5π/12的范围内。

由摄像机拍摄的图像可以是由广角摄像机拍摄的图像。

还可以包括构成立体摄像系统的至少一组摄像机。

本技术的一个方面是一种成像控制方法，包括：通过立体摄像系统控制成像的步骤，该立体摄像系统包括沿垂直方向排列的至少一组摄像机，该摄像机组包括布置成使光轴指向斜下方的至少一个摄像机；和基于由立体摄像系统拍摄的图像执行监视处理的步骤。

本技术的一个方面是一种包括立体摄像系统的车辆，该立体摄像系统包括沿垂直方向布置的至少一组摄像机，该摄像机组包括布置成使光轴指向斜下方的至少一个摄像机；和监视处理单元，其被配置为基于由立体摄像系统拍摄的图像执行监视处理。

在本技术的一个方面中，成像控制单元通过立体摄像系统控制成像，该立体摄像系统包括沿垂直方向布置的至少一组摄像机，该摄像机组包括布置成使光轴指向斜下方的至少一个摄像机；监视处理单元基于立体摄像系统拍摄的图像执行监视处理。

发明效果

如上所述，根据本技术的一个方面，可以以更高的精度执行距离测量。

注意，本说明书中所述的效果仅是示例性的而非限制性的，可以表现出另外的效果。

附图说明

图1是示出根据本技术的第一实施例的成像控制系统的配置的图。

图2是示出根据本技术的第一实施例的立体摄像系统的坐标系的图。

图3是用于描述根据本技术的第一实施例的距离测量精度低的范围的图。

图4是示出根据本技术的第一实施例的成像控制系统的配置的框图。

图5是示出根据本技术的第一实施例的立体距离测量单元的配置的框图。

图6是示出根据本技术的第一实施例的距离精度提高单元的配置的框图。

图7是用于描述根据本技术的第一实施例的距离测量处理的流程图。

图8是用于描述根据本技术的第一实施例的精度提高处理的流程图。

图9是用于描述根据本技术的第一实施例的精度提高处理的图。

图10是用于描述根据本技术的第一实施例的精度提高处理的图。

图11是用于描述根据本技术的第一实施例的精度提高处理的图。

图12是用于描述根据本技术的第一实施例的精度提高处理的图。

图13是用于描述根据本技术的第一实施例的精度提高处理的图。

图14是用于描述根据本技术的第一实施例的集成处理的流程图。

图15是示出根据本技术的第一实施例的距离精度提高单元的配置的框图。

图16是示出根据本技术的第一实施例的成像控制系统的配置的框图。

图17是示出根据本技术的第二实施例的成像控制系统的配置的图。

图18是示出根据本技术的第二实施例的成像控制系统的配置的图。

图19是示出根据本技术的第二实施例的立体摄像系统的坐标系的图。

图20是示出根据本技术的第二实施例的距离精度特性的图。

图21是示出根据本技术的第二实施例的距离精度特性的图。

图22是示出根据本技术的第二实施例的成像控制系统的配置的图。

图23是示出根据本技术的第二实施例的成像控制系统的配置的框图。

图24是用于描述根据本技术的第二实施例的距离测量处理的流程图。

图25是示出根据本技术的第二实施例的成像控制系统的配置的图。

图26是示出根据本技术的第二实施例的成像控制系统的配置的框图。

图27是示出根据本技术的第二实施例的成像控制系统的配置的框图。

图28是用于描述根据本技术的第二实施例的集成处理的流程图。

图29是用于描述视点转换处理的图。

图30是用于描述视点转换处理的图。

图31是示出根据本技术的第二实施例的成像控制系统的配置的框图。

图32是用于描述根据本技术的第二实施例的距离测量处理的流程图。

图33是用于描述当前帧的图像的图。

图34是用于描述过去帧的图像的图。

图35是示出单目摄像机和坐标轴之间的关系的图。

图36是示出摄像机和成像表面之间的关系的图。

图37是用于描述从图像中心的光流的图。

图38是示出根据本技术的第二实施例的立体摄像系统的摄像机的布置的图。

图39是示出根据本技术的第二实施例的立体摄像系统的摄像机的布置的图。

图40是示出根据本技术的第二实施例的立体摄像系统的摄像机的布置的图。

图41是示出车辆控制系统的示意性配置的示例的框图。

图42是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。

具体实施方式

在下文，将描述用于实施本技术的实施方式。注意，将按以下顺序给出说明：

1、第一实施例：成像控制系统(图1至14)

(1)成像控制系统(图1至3)

(2)成像控制装置的配置(图4至6)

(3)距离测量单元的操作(图7)

(4)距离精度提高单元的操作(图8至图13)

(5)差错

(6)集成处理(图14)

(7)变型(图15和16)

2、第二实施例：成像控制系统(图17至40)

(1)摄像机的布置(图17至22)

(2)成像控制系统的配置示例1(图23和24)

(3)成像控制系统的配置示例2(图25和26)

(4)成像控制系统的配置示例3(图27至30)

(5)成像控制系统的配置示例4(图31至37)

(6)变型(图38至40)

3、应用示例(图41和42)

4、其它

<第一实施例>

(1)成像控制系统(图1至3)

图1是示出根据本技术的第一实施例的成像控制系统的配置的图。在本技术的成像控制系统1中，如图1所示，四组立体摄像系统21A至21D连接在车辆11的四个方向上。这些立体摄像系统被连接到车辆11的侧面上的后视镜上和车辆11的前后面上的保险杠上。当连接到侧面时，该立体摄像系统可以连接到除后视镜之外的柱形物(前柱形物，中柱形物，后柱形物等)、门、车顶纵梁等。

立体摄像系统21A安装在车辆11的左侧，测量到车辆11左侧的检测范围22A中的目标物体的距离。立体摄像系统21B安装在车辆11的右侧，测量到车辆11右侧的检测范围22B中的目标物体的距离。立体摄像系统21C安装在车辆11的前部，测量到车辆11前方的检测范围22C中的目标物体的距离。立体摄像系统21D安装在车辆11的后部，测量到车辆11后方的检测范围22D中的目标物体的距离。

立体摄像系统21A至21D的摄像机(如下所述的图2中的摄像机41和42)使用具有宽视角的镜头进行拍摄以进行距离测量。图1示出了视角为180度作为检测范围22A至22D的情况的示例(注意，为了实际确保180度的视角，需要具有比180度更宽的视角(例如，190度)的镜头)。此外，图1中的检测范围22A至22D表示角度方向上的范围，距离方向上的尺寸，即，半圆直径的尺寸实际上更大。这也类似地适用于如下所述的图3。

注意，准确地说，检测范围22A至22D是如下所述的图2中的摄像机41和42的成像范围重叠的区域，但为了方便起见，检测范围22A至22D由具有一个半径的半圆示出。

注意，在不需要单独区分立体摄像系统21A至21D的情况下，立体摄像系统21A至21D在下文中被称为立体摄像系统21。具有类似的其它配置元件的四组立体摄像系统21监视车辆11的整个周边。一组立体摄像系统21由两个或更多个摄像机构成。

图2是示出根据本技术的第一实施例的立体摄像系统的坐标系的图。立体摄像系统21的坐标系如图2所示定义。

由两个摄像机41和42构成的立体摄像系统21的一个摄像机41的中心点为Oa，另一个摄像机42的中心点为Ob，中心点Oa和中心点Ob之间的中点(即，立体摄像系统21的中心点)为O。待拍摄的目标点是P，中心点Oa和中心点Ob之间的距离(基线长度)为L。由连接目标点P及中心点O的直线46和穿过中心点Oa及中心点Ob的直线45形成的角之间，图2中左侧的角(由直线46和直线45上的中心点O左侧的线段形成的角)被定义为θ。即，角θ是由待拍摄的目标点P和立体摄像系统21形成的角。注意，该目标点表示待拍摄的目标物体，即，待监视的物体，且示意性地将车辆11周围的例如人、障碍物、另一车辆等表示为点。

在由连接目标点P和中心点Oa的直线47与直线45形成的角之间，图2中左侧上的角(由直线47和图2中直线45上的中心点Oa左侧上的线段形成的角)被定义为θa。在由连接目标点P与中心点Ob的直线48与直线45形成的角之间，图2中左侧上的角(由直线48和图2中直线45上的中心点Ob的左侧上的线段形成的角)定义为θb。由直线47和直线48形成的角为α。此外，中心点O与目标点P之间的距离是ρ，目标点P与中心点Oa之间的距离是ρa，目标点P与中心点Ob之间的距离是ρb。这时，根据正弦定理得到下式(1)。

ρa/sinθb＝L/sinα＝L/sin(θa-θb)......(1)

注意α＝θa-θb。

此外，中心点O和目标点P之间的距离ρ可以写为下式(2)。

ρ·sinθ＝ρa·sin(π-θa)＝ρa·sinθa......(2)

根据等式(1)和(2)获得等式(3)。

sin(θa-θb)＝L/ρ·sinθa·sinθb/sinθ......(3)

通常，中心点Oa与中心点Ob之间的距离(基线长度)L约为几厘米至几十厘米，而从中心点O到目标点P的距离ρ约为，例如，几米，其足够长，在这种情况下，建立θ≈θa，θ≈θb。此外，始终建立θb<θ<θa。根据这些条件，建立下面的近似等式(4)。

sinθa·sinθb≈sin2θ......(4)

根据等式(3)和(4)获得下式(5)。

sin(θa-θb)≈L/ρ·sinθ......(5)

由于角θa和θb是两个摄像机41和42的物体光的角度，因此角度差θa-θb是入射光的角度差。在立体图像处理中，根据θa-θb计算到目标物体的距离。由于基线长度L是常数，因此根据等式(5)会发现差θa-θb与距目标物体的距离ρ成反比。因此，距离测量精度随着目标物体和立体摄像系统21之间的距离的增加而减小。

在安装于车辆11上的立体摄像系统21中执行距离测量的主要原因之一是为了检测车辆11附近的障碍物并防止车辆11与障碍物之间的接触。因此，距离测量精度随着车辆11与障碍物之间的距离短而增加是合理的。

然而，还是存在距离测量精度低的地方，尽管这些地方靠近车辆11。具体地，如图3所示，车辆11的四个角附近的距离测量精度低。图3是用于描述根据本技术的第一实施例的距离测量精度低的范围的图。

如图3所示，立体摄像系统21A的检测范围22A和立体摄像系统21C的检测范围22C重叠的区域61AC远离立体摄像系统21A和立体摄像系统21C。立体摄像系统21B的检测范围22B与立体摄像系统21C的检测范围22C重叠的区域61BC远离立体摄像系统21B和立体摄像系统21C。

类似地，立体摄像系统21B的检测范围22B和立体摄像系统21D的检测范围22D重叠的区域61BD远离立体摄像系统21B和立体摄像系统21D。立体摄像系统21A的检测范围22A与立体摄像系统21D的检测范围22D重叠的区域61AD远离立体摄像系统21A和立体摄像系统21D。

因此，尽管这些区域61AC，61BC，61BD和61AD相对靠近车辆11，但它们的距离测量精度仍然较低。两个立体摄像系统21的监视区域在四个角落的区域61AC，61BC，61BD和61AD处重叠。因此，在本技术中，从两个立体摄像系统21的距离测量结果提高了测量精度。

(2)成像控制装置的配置(图4至6)

图4是示出根据本技术的第一实施例的成像控制系统1的配置的框图。成像控制系统1由摄像系统20和成像控制单元81构成。

摄像系统20包括立体摄像系统21A至21D。立体摄像系统21A包括成像单元101A和成像单元102A。成像单元101A包括摄像机41A，成像单元102A包括摄像机42A。

类似地，立体摄像系统21B包括成像单元101B和成像单元102B，成像单元101B包括摄像机41B，成像单元102B包括摄像机42B。立体摄像系统21C包括成像单元101C和成像单元102C，成像单元101C包括摄像机41C，成像单元102C包括摄像机42C。立体摄像系统21D包括成像单元101D和成像单元102D，成像单元101D包括摄像机41D，成像单元102D包括摄像机42D。

由成像单元101A和102A拍摄的图像被提供给立体距离测量单元91A，由成像单元101B和102B拍摄的图像被提供给立体距离测量单元91B。由成像单元101C和102C拍摄的图像被提供给立体距离测量单元91C，由成像单元101D和102D拍摄的图像被提供给立体距离测量单元91D。

成像控制单元81由立体距离测量单元91A至91D，距离精度提高单元92AC，距离精度提高单元92BC，距离精度提高单元92AD和距离精度提高单元92BD构成。此外，成像控制单元81包括集成单元93。

立体距离测量单元91A测量车辆11左侧的检测范围22A中的距离。立体距离测量单元91B测量车辆11右侧的检测范围22B中的距离。立体距离测量单元91C测量车辆11前方的检测范围22C中的距离。立体距离测量单元91D测量车辆11后方的检测范围22D中的距离。

距离精度提高单元92从测量相应重叠区域61中的距离的立体距离测量单元91获取测量结果，并且提高距离精度。换言之，距离精度提高单元92AC获取测量检测范围22A中的距离的立体距离测量单元91A和测量检测范围22C中的距离的立体距离测量单元91C的测量结果，并且提供距离准确度。距离精度提高单元92BC获取测量检测范围22B中的距离的立体距离测量单元91B和测量检测范围22C中的距离的立体距离测量单元91C的测量结果，并且提高距离精度。

类似地，距离精度提高单元92AD获取测量检测范围22A中的距离的立体距离测量单元91A和测量检测范围22D中的距离的立体距离测量单元91D的测量结果，并且提高距离精度。距离精度提高单元92BD获取测量检测范围22B中的距离的立体距离测量单元91B和测量检测范围22D中的距离的立体距离测量单元91D的测量结果，并且提高距离精度。

集成单元93获取并集成距离精度提高单元92AC、距离精度提高单元92BC、距离精度提高单元92AD和距离精度提高单元92BD的输出，掌握车辆11的整个周边的状态，并输出该状态。

图5是示出根据本技术的第一实施例的立体距离测量单元的配置的框图。立体距离测量单元91如图5所示配置。

立体距离测量单元91包括图像校正单元111和112以及立体图像处理单元113。将立体摄像系统21的成像单元101(包括摄像机41)和成像单元102(包括摄像机42)的输出分别提供给图像校正单元111和图像校正单元112，并且校正镜头等的像差作为预处理。也就是说，由于摄像机41和42具有广角镜头并且是能够以比普通摄像机更宽的视角进行拍摄的摄像机，因此拍摄的图像失真。对图像进行失真校正，并将图像投影在平面上以获得平面图像的处理，以进行距离计算。立体图像处理单元113根据图像校正单元111和图像校正单元112的输出计算到目标物体的距离。即，根据摄像机41和42的另一图像检测出现在摄像机41和42的这一图像中的物体，并且根据位置之间的偏差计算距离。

注意，广角摄像机是包括35mm或更小的镜头(特别地，28mm或更小的镜头)的摄像机，在35mm转换。或者，广角摄像机是能够以60度或更大，特别地，120度或更大，或150度或更大的视角进行拍摄的摄像机。该视角可以是180度或更大。特别地，具有宽视角的广角镜头或摄像机有时被称为鱼眼镜头(fθ镜头)或鱼眼摄像机，或超广角镜头或超广角摄像机。

图4中的距离精度提高单元92如图6所示配置。图6是示出根据本技术的第一实施例的距离精度提高单元的配置的框图。如图6所示，距离精度提高单元92包括获取单元141和142、交叉点检测单元143、距离校正单元144和输出单元145。

获取单元141和142从对应的立体距离测量单元91获取测量信息。例如，在距离精度提高单元92AC的情况下，获取单元141获取立体距离测量单元91A的测量信息，获取单元142获取立体距离测量单元91C的测量信息。交叉点检测单元143根据由获取单元141和142获取的测量信息检测交叉点。换言之，检测观察点的重叠。距离校正单元144计算由交叉点检测单元143检测到的交叉点的距离。换言之，校正由立体距离测量单元91测量的距离。输出单元145将距离校正单元144计算的结果输出到集成单元93。

(3)距离测量单元的操作(图7)

下面，将结合图7说明立体距离测量单元91的操作。图7是用于描述根据本技术的第一实施例的距离测量处理的流程图。

在步骤S11中，图5中的成像单元101(包括摄像机41)和成像单元102(包括摄像机42)拍摄观察点。在步骤S12中，图像校正单元111校正由成像单元101成像的图像的镜头失真，摄像机图像失真等。类似地，图像校正单元112校正由成像单元102成像的图像的镜头失真，摄像机图像失真等。换言之，校正图像的失真并将图像投影在虚拟平面上，以获得用于距离计算的平面图像。

在步骤S13中，立体图像处理单元113计算到观察点的距离。换言之，成像单元101的摄像机41和成像单元102的摄像机42布置在间隔距离L的位置处。因此，摄像机41拍摄的图像和摄像机42拍摄的图像具有相位差，并且可以基于该相位差计算到观察点的距离。换言之，与出现在摄像机41和42的一个图像中的物体相对应的物体根据摄像机41和42的另一图像被检测，并且根据两个图像中的物体的位置之间的偏差来计算距离。将通过计算得到的测量信息输出到相应的距离精度提高单元92。

在步骤S14中，立体图像处理单元113确定是否终止处理。在用户尚未给出关于终止处理的指令的情况下，处理返回到步骤S11，并且重复步骤S11和后续步骤中的处理。在已经给出关于处理终止的指令的情况下，处理终止。

通过立体距离测量单元91A至91D分别在检测范围22A至22D中执行上述处理。将通过检测范围22A至22D中的测量结果而得到测量信息输出到相应的距离精度提高单元92A至92D。

换言之，将已经测量了检测范围22A中的距离的立体距离测量单元91A和已经测量了检测范围22C中的距离的立体距离测量单元91C的测量信息提供给距离精度提高单元92AC。将已经测量了检测范围22B中的距离的立体距离测量单元91B和已经测量了检测范围22C中的距离的立体距离测量单元91C的测量信息提供给距离精度提高单元92BC。

类似地，将已经测量了检测范围22A中的距离的立体距离测量单元91A和已经测量了检测范围22D中的距离的立体距离测量单元91D的测量信息提供给距离精度提高单元92AD。将已经测量了检测范围22B中的距离的立体距离测量单元91B和已经测量了检测范围22D中的距离的立体距离测量单元91D的测量信息提供给距离精度提高单元92BD。

注意，在校正处理中，将图像投影在其上的虚拟平面可以是一个平面。然而，也可以准备多个虚拟平面(例如，三个)，将用广角镜头拍摄的图像分成三个，并将分成1/3的图像投影到各个虚拟平面中。

(4)距离精度提高单元的操作(图8至图13)

下面，将结合图8说明距离精度提高单元92的操作。图8是用于描述根据本技术的第一实施例的精度提高处理的流程图。

在步骤S51中，图6中的获取单元141和142从对应的立体距离测量单元91的立体图像处理单元113获取测量信息。例如，在距离精度提高单元92AC的情况下，获取单元141从立体距离测量单元91A的立体图像处理单元113A获取测量信息，获取单元142从立体距离测量单元91C的立体图像处理单元113C获取测量信息。

在步骤S52中，交叉点检测单元143确定观察点是否是重叠范围内的观察点。换言之，确定在步骤S51中由获取单元141和142获取的测量信息中包括的观察点的坐标是否是区域61中的坐标。例如，在距离精度提高单元92AC的情况下，输入检测范围22A中的观察点和检测范围22C中的观察点的坐标，并由此确定该输入坐标是否是包括在检测范围22A和22C重叠的范围61AC中的坐标。

在观察到重叠范围内的观察点的情况下，交叉点检测单元143在步骤S53中确定是否存在交叉点。这里，将结合图9来说明交叉点。

图9是用于描述根据本技术的第一实施例的精度提高处理的图。注意，图9示意性地示出了车辆11。这也类似地适用于如下所述的图10至13。

如图9所示，假设在视线方向201_A1上，从由获取单元141获取的立体摄像系统21A的图像观察到观察点P_A1。该观察点P_A1的坐标具有距离测量误差D_A1。换言之，在物体位于预定视线上(即，图2中要拍摄的目标点P)并且该物体被作为观察点观察的情况下，要拍摄的实际目标点的位置位于误差范围内的某个地方。对应于通过观察预定物体(作为要监视的目标物体，例如车辆11周围的人、障碍、或其他车辆)而获得的点是观察点。换言之，经由观察系统获得的目标物体的图像，即，基于观察信息(例如，在观察方向上的测量距离)的点是观察点。因此，由于观察点P_A1的坐标包括误差，实际上，观察点P_A1可以被认为位于误差D_A1的范围内，该误差D_A1的范围是从观察点P_A1之前的坐标D_A1F到观察点P_A1之后坐标D_A1E的范围。在图9中，误差DA1用粗线表示。注意，下面将详细说明该误差。

类似地，假设在视线方向201_C1上，从由获取单元142获取的立体摄像系统21C的图像中观察到观察点P_C1。该观察点P_C1的坐标具有距离测量误差D_C1。换言之，由于观察点P_C1的坐标包括误差，因此观察点P_C1可以被认为实际位于误差D_C1的范围内，该误差D_C1的范围是从观察点P_C1之前的坐标D_C1F到观察点P_C1之后的坐标D_C1E的范围。

如上所述，误差D_A1和误差D_C1分别具有预定范围(宽度)。例如，在观察点P_A1和观察点P_C1基本上是相同的观察点的情况下，观察点P_A1和观察点P_C1的交叉点P₁可以被认为是实际观察点。在步骤S53中，确定是否存在这样的交叉点P₁。换言之，测量的观察点的距离(即，位置)具有宽度(即，预定范围)，并且检测具有该宽度的观察点的重叠。换言之，测量的观察点的距离的误差范围的重叠被检测为观察点的重叠。

因此，在步骤S53中确定存在交叉点的情况下，在步骤S54中，距离校正单元144校正步骤S51中获取的距离。具体地，将步骤S51中获取的距离校正为在步骤S53中检测到的交叉点的距离。换言之，在图9的示例中，重新计算交叉点P₁的坐标。

在步骤S55中，交叉点检测单元143确定是否存在多个交叉点。将参考图10描述该状态。图10是用于描述根据本技术的第一实施例的精度提高处理的图。

在图10的示例中，在视线方向201_A2上，从由获取单元141获取的立体摄像系统21A的图像观察到观察点P_A2。该观察点P_A2的坐标具有距离测量误差D_A2。此外，在视线方向201_C2上，从由获取单元142获取的立体摄像系统21C的图像观察到观察点P_C2。该观察点P_C2的坐标具有距离测量误差D_C2。此外，在视线方向201_C3上，从由获取单元142获取的立体摄像系统21C的图像观察到观察点P_C3。该观察点P_C3的坐标具有距离测量误差D_C3。

误差D_A2和误差D_C2具有交叉点P₂，误差D_A2和误差D_C3具有交叉点P₃。即，在本示例中，除了交叉点P₂之外还检测交叉点P₃，并且存在多个交叉点。

在步骤S55中确定存在多个交叉点的情况下，在步骤S56中，距离校正单元144选择交叉点。在图10的示例中，基于预定标准选择交叉点P₂或交叉点P₃。例如，可以选择靠近车辆11的交叉点或靠近观察点的交叉点。在图10的示例的情况下，无论采用哪个标准，都选择交叉点P₂。分离计算单元144将所选择的交叉点的距离设置为检测距离。在图10的示例中，交叉点P₂的距离被设置为检测距离，代替由立体距离测量单元91A测量的观察点P_A2的距离。

在步骤S55中确定不存在多个交叉点的情况下，在步骤S58中，距离校正单元144将交叉点的距离设置为检测距离。换言之，在步骤S54中计算的交叉点的距离实际上被用作检测距离。在图9的示例的情况下，由于仅存在一个交叉点，因此处理从步骤S55进行到步骤S58，其中代替观察点P_A1，交叉点P₁的距离被设置为检测距离。

在步骤S53中确定不存在交叉点的情况下，在步骤S61中，距离校正单元144将到观察点的距离设置为检测距离。将参考图11描述该状态。图11是用于描述根据本技术的第一实施例的精度提高处理的图。

在图11的示例中，在视线方向201_A3上，从由获取单元141获取的立体摄像系统21A的图像中观察观察点P_A3。该观察点P_A3的坐标具有距离测量误差D_A3。在视线方向201_C4上，从由获取单元142获取的立体摄像系统21C的图像中观察观察点P_C4。该观察点P_C4的坐标具有距离测量误差D_C4。视线方向201_A3和视线方向201_C4相交，但是误差D_A3和误差D_C4不相交。

图11的示例是在重叠范围中观察到观察点P_A3和观察点P_C4(在步骤S52中确定为是)，但不存在交叉点(在步骤S53中确定为否)的示例。在这种情况下，在步骤S61中，距离校正单元144将到观察点的距离设置为检测距离。换言之，观察点P_A3和观察点P_C4之间的距离实际上被用作检测距离。也就是说，在这种情况下，观察到不同的观察点(目标物体)。

图12是用于描述根据本技术的第一实施例的精度提高处理的图。在图12的示例中，在视线方向201_A4上，从由获取单元141获取的立体摄像系统21A的图像中观察观察点P_A4。该观察点P_A4的坐标具有距离测量误差D_A4。此外，获取单元142不从立体摄像系统21C的图像中检测观察点。该示例也是在重叠范围中观察观察点P_A4(在步骤S52中确定为是)，但不存在交叉点(在步骤S53中确定为否)的示例。因此，即使在这种情况下，在步骤S61中，距离校正单元144也将到观察点的距离设置为检测距离。换言之，观察点P_A4的距离实际上被用作检测距离。

注意，在观察点中不存在交叉点并且观察点本身的误差和坐标匹配的情况下，即，在立体摄像系统21A和21C检测到相同坐标的观察点的情况下，在步骤S53中确定不存在交叉点。之后，在步骤S61中，将到观察点的距离实际上用作检测距离。

注意，在重叠范围内观察到观察点(步骤S52中的是)但没有交叉点(在步骤S53中确定为否)的情况下，即，在图12的示例的情况下，这种情况可以如图8中的虚线所示进行处理。

换言之，在步骤S53中确定不存在交叉点的情况下，在步骤S60中，交叉点检测单元143确定附近是否存在另一个观察点。在附近存在另一个观察点的情况下，在步骤S61中，距离校正单元144将到观察点的距离设置为检测距离。

在步骤S60中确定附近不存在其他观察点的情况下，在步骤S62中，距离校正单元144执行误差处理。换言之，在该处理中，假定观察点P_A4由立体摄像系统21C检测，但是在图12所示的情况下未检测到观察点P_A4。因此，观察点P_A4的检测是确定为误差并被删除。

在步骤S52中确定观察点不位于重叠范围内的情况下，在步骤S61中，距离校正单元144将到观察点的距离设置为检测距离。换言之，观察点的距离实际上被用作检测距离。本示例将结合图13进行说明。

图13是用于描述根据本技术的第一实施例的精度提高处理的图。在图13的示例中，在视线方向201_A5上，从由获取单元141获取的立体摄像系统21A的图像中观察观察点P_A5。该观察点P_A5的坐标具有距离测量误差D_A5。观察点P_A5在检测范围22A中被观察到，但是检测范围22A不是区域61AC。此外，在检测范围22C中没有检测到观察点。在这种状态下，观察点P_A5的距离实际上被作为检测距离。换言之，没有位于检测范围22中的区域61内的观察点的距离实际上被作为检测距离。

在步骤S56、S58或S61中的处理之后，在步骤S57中，输出单元145将获得的测量信息输出到集成单元93。换言之，将在步骤S56中选择的交叉点的测量信息、在步骤S58中获得的交叉点的测量信息、或者在步骤S61中获得的到观察点的距离的测量信息提供给集成单元93。

在步骤S57或S62中的处理之后，在步骤S59中，距离校正单元144确定是否终止处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S51并且重复类似的处理。在已经给出关于终止的指令的情况下，处理终止。

在距离精度提高单元92AC、距离精度提高单元92BC、距离精度提高单元92AD和距离精度提高单元92BD中的每一个中执行上述处理。

(5)误差

下面，将进一步描述立体摄像系统21的误差。当上述等式(5)被变换为用于计算从立体摄像系统21到目标点P的距离ρ的等式时，获得等式(6)。

ρ≈L·sinθ/sin(θa-θb)＝L·sinθ/sinα......(6)

注意α＝θa-θb。

此外，当α足够小时，可以近似为sinα≈α。因此，等式(6)可以进一步转换成下式(7)。

ρ≈L·(sinθ)/α......(7)

由于在立体摄像系统21中观察到的角是角θa和θb，因此距离ρ的误差可以根据角α(＝θa-θb)的倒数比来计算，其中距离L和角θ是常数。通常，由于从立体摄像系统21获得的角θa和θb是离散值，因此角α也是离散的。

这里，当α表示为α＝d/E时，等式(7)可以由下式(8)表示。d是整数并且根据α而变化，E是根据摄像机的分辨率等确定的实数的固定值。尽管α的值范围是0<α<π(3.14)，但是通过除以足够大的固定值E，d可以大于3.14。

ρ≈L·E·(sinθ)/d......(8)

假设d的误差为±1。在这种情况下，当d的误差为-1时距离ρ的误差Δρm和当d的误差为+1时的距离ρ的误差Δρp如下。

Δρm＝L·E·(sinθ)/(d-1)-L·E·(sinθ)/d

＝L·E·(sinθ)/(d·(d-1))＝ρ/(d-1)

(注意d>1)......(9)

Δρp＝L·E·(sinθ)/d-L·E·(sinθ)/(d+1)

＝L·E·(sinθ)/(d·(d+1))＝ρ/(d+1)......(10)

在d＝2的情况下，距离ρ的误差Δ变为最大。在这种情况下，来自等式(9)的Δρm＝ρ，并且来自等式(10)的Δρp＝ρ/3。当d为-1时的误差，换言之，距离ρ变大(更长)的一侧的误差相对于到要拍摄的目标点P的距离ρ是100％。此外，当d为+1时的误差，即距离ρ变得更小(更短)的一侧的误差相对于到要拍摄的目标点P的距离ρ为33％。这是最大误差，正常误差较小。例如，在d＝10的情况下，误差Δρm是距离ρ的11％，误差Δρp是距离ρ的9％。此外，这是d的误差为±1的情况，并且距离ρ的误差随着d的误差变大而变大。

如上所述，可以通过在系统设计中正确地确定d的值为±1、±2等来确定误差D_A，D_C等。例如，首先，用±1检查立体摄像系统21，然后将该值改变为±2、±3等来调整误差。

(6)集成处理(图14)

下面，将参考图14描述集成处理。图14是用于描述根据本技术的第一实施例的集成处理的流程图。

在步骤S91中，图4中的集成单元93执行集成处理。换言之，由距离精度提高单元92AC、距离精度提高单元92BC、距离精度提高单元92AD和距离精度提高单元92BD测量的测量信息是车辆11周边(即，左侧、右侧、前侧和后侧)的测量信息。集成单元93集成这些测量信息，并使监视器(未示出)显示该集成信息作为在车辆11的所有方向上的测量信息，并使存储单元存储该集成信息。

集成单元93执行各种辅助。例如，集成单元93可以执行诸如后退停车和平行停车的停车辅助、提供障碍识别信息(例如在交叉路口停车或者信号灯或左转时，车辆后方不明显的结构、自行车和行人)，并且在变换车道时监视相邻车道的紧邻车辆。

此外，尽管在正常驾驶时执行监视，但是可以使集成单元93不发出警报，而在等于或小于基准距离的距离处检测到障碍时可以发出警报，或者可以特别地监视车辆行驶方向的相反侧(例如，左转弯的右侧或右转弯的左侧)。相反，可以省略在不必要的方向上的监视(例如，左转弯时的右侧和右转弯时的左侧)。此外，尽管四个方向上的检测精度可以相同，但可以使一个方向(例如，侧面)的检测精度高于另一个方向(例如，前面或后面)。

在步骤S92中，集成单元93确定是否结束处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S91并且重复类似的处理。在已经给出关于终止的指令的情况下，处理终止。

通常，为了扩大监视范围，将具有广视角的镜头连接到摄像机。特别地，在需要大范围(例如车辆的侧面)监视的情况下，可以通过使用超广角镜头(例如鱼眼镜头)的一个摄像机或一组立体摄像系统来监视车辆的整个侧面。然而，在使用超广角镜头的情况下，拍摄的图像的空间分辨率会降低，由此传送到图像的物体的尺寸会变小，并且，在分析拍摄的图像和执行图像识别等情况下，分析精确度会降低。立体图像处理的距离测量精度也降低。

然而，根据本技术，检测测量范围重叠的多个观察点的重叠，并且基于观察点的重叠来计算新距离。因此，可以抑制距离测量精度的降低。

注意，本技术还可以应用于使用具有正常视角的摄像机来测量距离的情况。

注意，尽管立体摄像系统21的摄像机41和42可以布置在侧向上，但是摄像机41和42也可以布置成上下移位(在垂直方向上)，如下面参照图17和图22所述。另外，摄像机41和42可以布置成具有相对于平行于基准平面的方向向下指向的光轴。

此外，如上所述，立体摄像系统21监视四个方向，但是可以通过超声波、雷达、激光传感器、红外传感器等监视四个方向中的至少一个。此外，除了立体摄像系统21的障碍识别和监视之外，还可以组合使用观察系统。

(7)变型(图15和16)

注意，为了通过距离校正单元144校正距离，可以进一步增加配置。图15是示出根据本技术的第一实施例的距离精度提高单元的配置的框图。

在图15的配置示例中，除了摄像系统20之外还提供检测系统85。检测系统85包括检测单元149。检测单元149对应于检测范围22A至22D中的每一个而设置。检测单元149由例如超声波传感器、红外线传感器、毫米波传感器或雷达中的至少一个构成。作为另一检测单元的检测单元149通过超声波传感器、红外传感器、毫米波传感器、雷达等检测检测范围22A至22D中每一个的观察点的距离。检测结果被提供给相应的距离校正单元144。距离校正单元144不仅使用来自交叉点检测单元143的输出，而且还使用检测单元149的检测结果来执行精度提高处理。利用该配置，可以实现更精确的精度提高处理。

此外，可以增加另一个功能。图16是示出根据本技术的第一实施例的成像控制系统的配置的框图。

在图16的配置示例中，将立体摄像系统21A的成像单元101A或102A中的至少一个(在本实施例中是成像单元101A)的拍摄图像提供给识别处理单元83。同样地，将立体摄像系统21B的成像单元101B、立体摄像系统21C的成像单元101C和立体摄像系统21D的成像单元101D的拍摄图像提供给识别处理单元83。识别处理单元83识别在检测范围22A至22D中的每一个观察到的目标物体哪个是来自输入的拍摄图像。将识别结果呈现给用户。

<第二实施例>

(1)摄像机的布置(图17至22)

下面，将描述第二实施例。图17和18是示出根据本技术的第二实施例的成像控制系统的配置的图。

如图17和18所示，在根据第二实施例的成像控制系统501中，包括作为一组的两个摄像机541和542的立体摄像系统521沿上下方向(即，垂直方向)设置在车辆511的侧面上。换言之，摄像机541和542布置在垂直于基准平面(路面551)的平面中，以在高度方向上具有视差。注意，摄像机541和542，立体摄像系统521和车辆511分别对应于第一实施例的摄像机41和42，立体摄像系统21和车辆11。尽管摄像机541和542的连接位置在车辆511的侧面的中心附近的适当附近，但是由于在中心附近存在门等，因此在某些情况下安装是困难的。图17和18示出了摄像机541和542连接到后视镜附近的示例。

此外，将摄像机连接在后视镜附近的另一个原因是为了将立体摄像系统521连接在斜向下的位置，如图18所示。立体摄像系统521可以斜向下连接到后视镜，而不用增加特殊的夹具等。注意，这里使用广角摄像机用于构成立体摄像系统521的摄像机541和542。

注意，在图17和18中，立体摄像系统521仅安装在车辆511的左侧。然而，实际上，立体摄像系统521也安装在右侧。

当然，立体摄像系统521可以连接在除了车门后视镜之外的柱状物(前柱状物、中柱状物、后柱状物等)、门、车顶纵梁等上。立体摄像系统521可以连接到车辆511的侧面上的任何地方。

在下文中，将说明将摄像机541和542如图17和图18所示布置的原因。在说明之前，将描述立体摄像系统521的坐标系。

摄像机541和542的坐标系和要拍摄的目标点P类似于第一实施例的图2所示的情况。因此，省略了该坐标系的描述。然而，应该通过用摄像机541和542替换图2中的摄像机41和42来理解第二实施例。

由于应用了图2中的坐标系，因此等式(1)至(5)也适用于第二实施例。

从等式(5)，发现θa-θb(sin(θa-θb))与从立体摄像系统521的中心点O到物体(要拍摄的目标点P)的距离ρ成反比，并且与由物体和立体摄像系统521形成的角θ成正比。可以说，较大的θa-θb(sin(θa-θb))更能抵抗误差的影响，并且距离测量精度更高。因此，当由物体和立体摄像系统521形成的角θ接近0或180度时，sin(θa-θb)会变小，并因此降低距离测量精度。

由于上述原因，当立体摄像系统521的两个摄像机541和542并排安装在车辆511的侧面时(即，在与路面551平行的相同高度处)，测量从车辆511的侧面到前方或后方的距离会变得困难。因此，在将立体摄像系统521安装在车辆511的侧面的情况下，最好上下安装两个摄像机541和542(即，通过垂直地改变与路面551的高度)。如此，可以精确地测量从车辆511的侧面到前面(在车辆行进方向上)的距离或到后面的距离(在与车辆行进方向相反的方向上)，以及车辆511的侧面的基本中心部分的距离。

然而，当垂直布置立体摄像系统521的两个摄像机541和542时，此时立体摄像系统521正上方和正下方的距离测量精度降低。尽管对立体摄像系统521正上方的空间执行距离测量处理以检测障碍物等的必要性很低，因为该空间通常是天空。然而，立体摄像系统521正下方的空间是路面551，因此需要执行距离测量处理。因此，如图18所示，考虑将立体摄像系统521布置成使光轴倾斜指向下(路面551的方向)，同时保持垂直布置。

本文中，进一步定义了图19中所示的坐标系。图19是示出根据本技术的第二实施例的立体摄像系统的坐标系的图。由立体摄像系统521和车辆511行驶的路面551形成的角为β。换言之，穿过摄像机541和542的直线552在点R处与路面551相交。由直线552和路面551形成的角是β。

摄像机541的光轴541oa和摄像机542的光轴542oa指向垂直于穿过摄像机541和542的直线552的方向。直线553是与路面551垂直的直线，其穿过立体摄像系统521的中心点O，与路面551上的点T相交。换言之，点T是立体摄像系统521正下方的路面551上的点(即，在车辆511的正下方)。光轴541oa和542oa相对于穿过立体摄像系统521的中心点O和点T的直线553指向角β的方向。换言之，角β表示立体摄像系统521的连接角，也表示摄像机541和542的光轴541oa和542oa的指向方向。

此外，当立体摄像系统521的中心点O到路面551的高度(直线553的长度)是H并且要在路面551上拍摄的目标点是Q时，中心点O和要拍摄的目标点Q之间的距离ρ(连接中心点O和要拍摄的目标点Q的直线554的长度)可以由等式(12)表示。等式(12)可以从等式(11)导出。

H/ρ＝sin(π-(θ+β))＝sin(θ+β)......(11)

ρ＝H/sin(θ+β)......(12)

这里，从等式(5)和(12)获得下式(13)。

sin(θa-θb)≈L/H·sinθ·sin(θ+β)......(13)

假设立体摄像系统521的两个摄像机541和542之间的距离L和连接高度H在等式(13)中是常数。则关于车辆511附近的路面551的距离测量精度取决于立体摄像系统521的连接角β。

在角β＝π/2的情况下，即，在立体摄像系统521的两个摄像机541和542相对于路面551垂直连接的情况下，当立体摄像系统521正下方的点T被拍摄时，角θ＝0。结果，根据等式(13)发现距离测量精度变得最低。

相反，在角β＝0的情况下，即，在立体摄像系统521的两个摄像机541和542被安装成直接指向路面551的下方并且与路面551平行的情况下，当立体摄像系统521正下方的点T被拍摄时，角θ＝π/2，并且根据等式(13)发现距离测量精度变得最高。

在0<β<π/2的情况下，当正下方的点T被拍摄时，角θ＝π/2-β。此时，等式(13)如下式(14)。

sin(θa-θb)≈L/H·sin(π/2-β)·sin(π/2-β+β)

＝L/H·cosβ......(14)

图20示出了当立体摄像系统521的连接角β在改变为某些值时，等式(13)相对于角θ的变化。图20是示出根据本技术的第二实施例的距离精度特性的图。在图20中，纵轴表示距离测量精度的放大率，横轴表示角θ(单位是弧度)。

将描述距离测量精度的放大率。在立体摄像系统521与路面551平行地安装的情况下(角β＝0)，当拍摄立体摄像系统521正下方的空间(角θ＝π/2)时，距离测量精度变得最大。假设立体摄像系统521的连接高度H是1.0m，并且构成立体摄像系统521的两个摄像机541和542之间的距离L是1.0m，并且将基于上述假设的距离测量精度设置为标准(一倍放大率)。设定L＝1.0m的原因是，通过将等式(14)的常数项(L/H)设定为1来使距离测量精度的标准为一倍放大率。构成真实立体摄像系统521的两个摄像机541和542之间的距离约几到几十厘米。

在图20中，曲线631表示角β＝0的情况，曲线632表示角β＝π/6的情况，曲线633表示角β＝π/4的情况，曲线634表示角β＝π/3的情况，曲线635表示角β＝5π/12的情况，曲线636表示角β＝π/2的情况。

将描述图20中的曲线的左侧在中间被中断的原因。在角θ＝π/2-β的情况下，要拍摄的目标点Q与立体摄像系统521正下方的路面551上的点T一致。在θ+β<π/2的情况下如图19所示，要拍摄的目标点Q位于图19中的点T的右侧，即，立体摄像系统521安装在车辆511内，因此不能拍摄路面551。此外，在θ+β>π的情况下，要拍摄的目标点Q处于无穷远，因此不能进行测量。因此，图20仅示出了建立π/2<θ+β<π的部分(角θ的值范围是π/2-β<θ<π-β的部分，因为立体摄像系统521的连接角β是是常数)。

参照图20，在角β＝0的情况下(在曲线631的情况下)，当角θ＝π/2时距离测量精度取最大值1，当角θ变得大于π/2时距离测量精度单调减小。此外，在角β>0的情况下(在曲线632至636的情况下)，在角θ＝π/2-β处获得值L/H·cosβ。当角θ变得大于π/2-β时，距离测量精度一度变大然后变小。之后，当角θ＝π/2时，获得相同的值L/H·cosβ，其等于立体摄像系统521正下方的点T的分辨率。此后，当角θ>π时，距离测量精度变小。即，在等式(13)中，可以说距离测量精度在π/2-β<θ<π/2的范围内高，并且该范围适于距离测量。

当增大角β(其中β≤π/2)时，适合于距离测量的范围变宽，但是等式(14)的值变小。换言之，达到距离测量精度低的状态。同时，当减小角β时，适合于距离测量的范围变窄，但是等式(14)的值变高并且距离测量精度变高。因此，根据等式(13)，可以说距离测量精度和距离测量范围处于折衷状态。

因此，如果需要宽的距离测量范围，则角β变大(接近π/2)。换言之，使立体摄像系统521的连接角β垂直于路面551就足够了(使摄像机541和542的光轴541oa和542oa平行于路面551就足够了)。同时，如果需要短距离处的距离测量精度，则角β减小(接近零)。换言之，使立体摄像系统521的连接角β平行于路面551(即，在这种情况下为水平)就足够了(使摄像机541和542的光轴541oa和542oa垂直于路面551就足够了)。

通过将角β设定在0<β<π/2的范围内，摄像机541和542的光轴541oa和542oa在点M和N处与路面551相交。即，通过连接摄像机541和542，使得它们的光轴541oa和542oa与路面551相交，使距离测量处理变得可能。

图20示出了立体摄像系统521的连接角β与要拍摄的目标点Q相对于立体摄像系统521的角θ之间的关系。为了使车辆511与要拍摄的目标点Q之间的关系易于理解，图20被变换成示出距离测量精度与距离W之间的关系，其中点T与要拍摄的目标点Q之间的距离是W，如图19所示。首先，距离W由下式(15)表示。注意，由于θ+β的值大于π/2，因此tan(θ+β)的值变为负，距离W的值变为正。

W＝H/tan(π-(θ+β))＝-H/tan(θ+β)......(15)

图21中示出了图20使用等式(15)的变型版。图21是示出根据本技术的第二实施例的距离精度特性的图。在图21中，纵轴表示距离测量精度的放大率，横轴表示距离W(单位为米)。在图21中，曲线641表示角β为0的情况下的放大率，曲线642表示角β为π/6的情况下的放大率，曲线643表示角β为π/4的情况下的放大率，曲线644表示角β分别为π/3的情况下的放大率。曲线645表示角β为5π/12的情况下的放大率，曲线646和645表示角β为π/2的情况下的放大率。

如图21所示，在角β＝0的情况下(在曲线641的情况下)，即，在立体摄像系统521平行于路面551连接的情况下，立体摄像系统521正下方的点T(W＝0.0m)处的距离测量精度的放大率变为最高，变为1。然而，随着距离W增加，距离测量精度大大降低(换言之，降低率大，距离测量精度变得比在角β大于0°的情况下的低)。在角β＝π/2的情况下(即，在曲线646的情况下)，点T处的距离测量精度大大降低。然而，当距离W变大时，即，当要拍摄的目标点Q远离车辆511时，距离测量精度的降低率低(精度优于在角β为0的情况下的精度)。

也就是说，当角β小时，短距离处的距离测量精度高，而长距离处的距离测量精度低。相反，当角β增加时，短距离处的距离测量精度降低，但可以防止长距离处的距离测量精度显着降低。因此，通过将角β设定在从π/6到5π/12的范围内(曲线642到645所示的范围)，可以平衡短距离和长距离处的距离测量精度。换言之，该范围是具有高实用值的范围，在该范围下可以实现从短距离到长距离的距离测量。

例如，假设在立体摄像系统521连接到车辆511的侧面的情况下期望测量整个相邻车道的距离。在宽公路的情况下车道宽度约为3.5m，但考虑到车辆511的车道内的行驶位置，认为需要约4m的距离测量。如图21所示，在角β＝π/3的情况下(在曲线644的情况下)或在π/2的情况下(在曲线646的情况下)，距离测量精度高。在角β＝π/2的情况下(在曲线646的情况下)，点T附近的距离测量精度(W＝0.0m)非常低。因此，考虑到短距离处的距离精度，可以说角β＝π/3的情况(曲线644的情况)比角β＝π/2的情况(在646曲线的情况下)更合乎需要。

换言之，为了增加靠近车辆511的侧面的一个车道的距离测量精度，最好将立体摄像系统521以角β＝π/3(曲线644的情况，即约60度的角度)连接到车辆511的侧面。

然而，在诸如卡车的大型车辆的情况下，高度H变大，因此驾驶员难以确认车辆511的附近。因此，在这种情况下，可以将角β设定为较小的值，使得可以在距离W小时，提高精度。

将参考图22进一步描述立体摄像系统521的连接角β。图22是示出根据本技术的第二实施例的成像控制系统的配置的图。图17示出了车辆511布置在水平路面551上的情况。与此相反，图22示出了车辆511布置在倾斜路面551上的情况。

换言之，在图22中，路面551相对于垂直于作为重力方向的垂直方向553的水平面552倾斜角γ。即，图22示出了车辆511正在攀爬上坡路面551的状态。立体摄像系统521监视的是路面上的识别显示，例如车辆511行驶的路面551上的白线，路面的端部，路边，凹槽，护栏等。因此，车辆511行驶的路面551被用作基准平面，立体摄像系统521相对于基准平面以角β安装。无论路面551的角γ的值如何，图19的坐标系都可以应用于图22。

也就是说，立体摄像系统521的摄像机541和542在垂直于作为基准平面的路面551的平面556中沿上下方向(垂直方向)布置，并且包括光轴541oa和542oa。平面556也是与图17、18和22的示例中的车辆511的行进方向垂直的平面。在图17、18和22的示例中，摄像机541向下布置，摄像机542向上布置在平面556中。于是，立体摄像系统521在平面556内倾斜，使得与基准平面(路面551)形成的角变为β。

换言之，立体摄像系统521的摄像机541和542被布置成使得光轴541oa和542oa相对于与基准平面(路面551)平行的方向向下指向，换言之，光学轴541oa和542oa与基准平面相交。或者，光轴541oa和542oa相对于车辆511倾斜向下布置。换言之，参考图19，摄像机541布置成使得由光轴541oa和从光轴541oa直接朝向车辆511下方的方向形成的角β落在π/6到5π/12的范围内。类似地，这也适用于摄像机542。光轴541oa或542oa中的至少一个(参见如下所述的图40)被布置成朝监视方向倾斜向下(图18中的摄像机541和542的右侧方向与图19中的摄像机541和542的左侧方向)。特别地，摄像机541和542被布置成使得图19中的角β满足0<β<π/2。在该布置下，可以在相对靠近车辆511的宽范围内精确地执行距离测量。因此，它适用于对行驶车辆511的侧面进行监视，这需要进行大范围的监视。

注意，可以使用具有正常视角的摄像机代替广角摄像机，来作为摄像机541和542。

(2)成像控制系统的配置示例1(图23和24)

接下来，将参照图23描述成像控制系统501，其中立体摄像系统521被布置成具有相对于与基准平面(路面551)平行的方向向下指向的光轴541oa和542oa。图23是示出根据本技术的第二实施例的成像控制系统的配置的框图。

图23中的成像控制系统501由立体摄像系统521和成像控制单元581配置。该成像控制单元581控制立体摄像系统521的成像操作。

例如，布置在车辆511左侧的立体摄像系统521由包括摄像机541的成像单元701和包括摄像机542的成像单元702构成。如上所述，摄像机541和542上下地布置在车辆511的侧面，并且使得光轴541oa和542oa相对于与基准平面(路面551)平行的方向向下指向。成像单元701输出由摄像机541拍摄的图像，成像单元702输出由摄像机542拍摄的图像。

成像控制单元581包括图像校正单元711和712、立体图像处理单元713和分析单元714。将立体摄像系统521的成像单元701和成像单元702的输出分别提供给图像校正单元711和图像校正单元712，并校正镜头等的像差作为预处理。执行距离测量处理的立体图像处理单元713根据图像校正单元711和712的输出计算到目标物体的距离。分析单元714分析距离测量的结果并将分析结果输出到后续设备。

下面，将参考图24描述成像控制系统501的操作。图24是用于描述根据本技术的第二实施例的距离测量处理的流程图。

在步骤S111中，成像控制单元581控制立体摄像系统521的成像操作。注意，其后将继续执行该处理。此外，也可以在外部控制该处理。在步骤S112中，图23中的成像单元701(包括摄像机541)和成像单元702(包括摄像机542)拍摄观察点。在步骤S113中，图像校正单元711校正由成像单元701拍摄的图像的镜头像差、摄像机图像失真等。类似地，图像校正单元712校正由成像单元702拍摄的图像的镜头像差、摄像机图像失真等。换言之，校正图像的失真并将图像投影在虚拟平面上，以获得用于距离计算的平面图像。

在步骤S114中，立体图像处理单元713，作为执行监视处理的监视处理单元，计算到观察点的距离。换言之，成像单元701的摄像机541和成像单元702的摄像机542被布置在间隔距离L的位置处。因此，由摄像机541拍摄拍摄的图像和由摄像机542拍摄的图像具有相位差，可以基于该相位差计算到观察点的距离。换言之，与出现在摄像机541和542的一个图像中的物体相对应的物体从摄像机541和542的另一图像中被检测到，根据两个图像中的物体的位置之间的偏差计算距离。将该计算结果输出到分析单元714。

在步骤S115中，分析单元714分析由立体图像处理单元713计算的距离，并输出分析结果。例如，将与路面551处于相同高度的白线等(显示在路面551上)保持原样，将位置高于路面551的物体识别为障碍。或者，根据相对于车辆511的位置共同显示信息，在测量的距离小于预定标准值等情况下发出警报。

在步骤S116中，立体图像处理单元713确定是否终止处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S111，并且重复步骤S111和后续步骤中的处理。在已经给出关于处理终止的指令的情况下，处理终止。

尽管未示出，但是也在立体摄像系统521和相应的成像控制单元581中执行上述处理，立体摄像系统521包括布置在车辆511右侧的摄像机541和542。

如上所述，监视车辆511的两侧并辅助其驱动。摄像机541和542上下布置，使得摄像机541和542的光轴被布置成相对于与基准平面平行的方向指向下方。因此，不仅可以精确地测量车辆511的侧面的前方或后方的距离，而且尤其还可以精确地测量该侧的大致中心部分附近的距离。

此外，在上述说明中，测量处理主要被描述为监视处理。然而，在监视处理中也可以处理白线识别、路边识别、路面状况检测、包括超车和迎面车辆的车辆检测、行人检测等。

(3)成像控制系统的配置示例2(图25和26)

下面，将参考图25和26描述另一成像控制系统。图25是示出根据本技术的第二实施例的成像控制系统的配置的图。图26是示出根据本技术的第二实施例的成像控制系统的配置的框图。

在图25的成像控制系统501中，立体摄像系统521A和521B布置在车辆511的左右侧面上。此外，在成像控制系统501中，立体摄像系统521C布置在车辆511的前侧，立体摄像系统521D布置在车辆511的后侧。

立体摄像系统521A在车辆511的左侧的检测范围522A中执行测量，立体摄像系统521B在车辆511的右侧的检测范围522B中执行测量。类似地，立体摄像系统521C执行在车辆511前方(即，车辆511向前行进的方向)的检测范围522C中的测量。立体摄像系统521D在车辆511后方(即，车辆511向后行进的方向)的检测范围522D中执行测量。

图25示出了检测范围522A至522D的视角为180度的示例(注意，为了实际确保180度的视角，需要具有比180度更宽的视角的镜头，例如，190度)。

注意，图25中的检测范围522表示角度方向上的范围，并且距离方向上的尺寸，即，半圆直径的尺寸实际上更大。

如图26所示，在图26的成像控制系统501中，对应于车辆511的四个面设置图23所示的立体摄像系统521和成像控制单元581。换言之，设置立体摄像系统521A和成像控制单元581A、立体摄像系统521B和成像控制单元581B、立体摄像系统521C和成像控制单元581C、以及立体摄像系统521D和成像控制单元581D。

立体摄像系统521A包括拍摄检测范围522A的成像单元701A和成像单元702A。成像控制单元581A包括校正成像单元701A和702A的输出的图像校正单元711A和712A，以及根据图像校正单元711A和712A的输出计算检测范围522A中的距离的立体图像处理单元713A。

立体摄像系统521B包括拍摄检测范围522B的成像单元701B和成像单元702B。成像控制单元581B包括校正成像单元701B和702B的输出的图像校正单元711B和712B，以及根据图像校正单元711B和712B的输出计算检测范围522B中的距离的立体图像处理单元713B。

立体摄像系统521C包括拍摄检测范围522C的成像单元701C和成像单元702C。成像控制单元581C包括校正成像单元701C和702C的输出的图像校正单元711C和712C，以及根据图像校正单元711C和712C的输出计算检测范围522C中的距离的立体图像处理单元713C。

立体摄像系统521D包括拍摄检测范围522D的成像单元701D和成像单元702D。成像控制单元581D包括校正成像单元701D和702D的输出的图像校正单元711D和712D，以及根据图像校正单元711D和712D的输出计算检测范围522D中的距离的立体图像处理单元713D。

为检测范围522A至522D提供共有的分析单元714，该分析单元714分析立体图像处理单元713A至713D的输出。

图26中的成像控制系统501的操作类似于图24中的流程图中所示的操作。因此，将参照图24描述图26中的成像控制系统501的操作。

在步骤S112中，图26中的成像单元701A(包括摄像机541A)和成像单元702A(包括摄像机542A)拍摄观察点。在步骤S113中，图像校正单元711A校正由成像单元701A拍摄的图像的镜头像差、摄像机图像失真等。类似地，图像校正单元712A校正由成像单元702A拍摄的图像的镜头像差、摄像机图像失真等。换言之，校正图像的失真并将图像投影在虚拟平面上以获得用于距离计算的平面图像。

在步骤S114中，立体图像处理单元713A计算到观察点的距离。换言之，成像单元701A的摄像机541A和成像单元702A的摄像机542A布置在间隔距离L的位置处。因此，由摄像机541A拍摄的图像和由摄像机542A拍摄的图像具有相位差，可以基于该相位差计算到观察点的距离。也就是说，与出现在摄像机541A和542A的一个图像中的物体相对应的物体被从摄像机541A和542的另一图像中检测到，并且根据两个图像中的物体的位置之间的偏差计算距离。计算结果被输出到分析单元714A。

类似地，在立体摄像系统521B至521D和成像控制单元581B至581D中执行步骤S111至S114中的上述处理。

在步骤S115中，分析单元714分析由立体图像处理单元713A至713D计算的距离，并输出分析结果。例如，在测量距离小于预定标准值的情况下，执行诸如发出警告的处理。

在步骤S116中，立体图像处理单元713A至713D确定是否终止处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S111，并且重复步骤S111和后续步骤中的处理。在已经给出关于处理终止的指令的情况下，处理终止。

如上所述，不仅监视车辆511的两侧而且监视车辆511的前方和后方，并且辅助车辆511驱动。摄像机541和542上下布置，并且光轴布置成相对于平行于基准平面的方向向下指向。因此，不仅可以精确地测量车辆511的检测范围522A至522D中的大致中心部分的距离，而且可以精确地测量从中心部分沿左右方向的部分的距离。

此外，图25中所示的车辆511的前侧的立体摄像系统521C和车辆511的后侧的立体摄像系统521D，相比两个侧面上的立体摄像系统521A和521B，可以在与距离测量的路面551平行的平面中具有较窄的测量范围。因此，通过作为距离测量处理单元的超声波、雷达、激光传感器、红外传感器等，或者通过前述设备和立体摄像系统521的组合系统，来执行车辆511前方和后方的检测范围522C和522D中的距离测量处理。

(4)成像控制系统的配置示例3(图27至30)

下面，将参考图27描述另一成像控制系统。图27是示出根据本技术的第二实施例的成像控制系统的配置的框图。

与图26中的成像控制系统501类似，图27中的成像控制系统501包括立体摄像系统521A至521D和成像控制单元581A至581D。成像控制单元581A包括图像校正单元711A和712A及立体图像处理单元713A。成像控制单元581B包括图像校正单元711B和712B以及立体图像处理单元713B。成像控制单元581C包括图像校正单元711C和712C以及立体图像处理单元713C。成像控制单元581D包括图像校正单元711D和712D以及立体图像处理单元713D。此外，成像控制单元581A至581D包括成像控制单元581A至581D共用的分析单元714。上述配置是与图26中的成像控制系统501类似的配置。

另外，在图27中，分别地，成像控制单元581A包括图像转换单元811A，成像控制单元581B包括图像转换单元811B，成像控制单元581C包括图像转换单元811C，以及成像控制单元581D包括图像转换单元811D。此外，成像控制单元581A至581D包括成像控制单元581A至581D共用的集成单元812。

图像转换单元811A使用诸如投影变换的图像转换方法来转换由成像单元701A输出的图像的视点。通过该转换，可以获得用户观看车辆511的周边的图像，诸如用于监视系统周围的图像。类似地，图像转换单元811B使用诸如投影变换的图像转换方法来转换由成像单元701B输出的图像的视点，图像转换单元811C使用诸如投影变换的图像转换方法来转换由成像单元701C输出的图像的视点。图像转换单元811D使用诸如投影变换的图像转换方法来转换由成像单元701D输出的图像的视点。

注意，图像转换单元811A至811D对从成像单元701A至701D输出的图像执行投影变换。而图像转换单元811A至811D可以对从成像单元702A至702D输出的图像执行投影变换。

集成单元812对图像转换单元811A、图像转换单元811B、图像转换单元811C和图像转换单元811D的输出进行集成。

下面，将参考图28描述图27中的成像控制系统501的操作。注意，关于

图27中的成像控制系统501的操作的成像单元701和702、图像校正单元711和712、立体图像处理单元713(作为执行监视处理的监视处理单元)、以及分析单元714，类似于图26中的成像控制系统501的操作。换言之，该操作类似于图24中的流程图所示的操作。因此，省略重复的描述。

下面，将主要描述图27中的成像控制系统501中的图像转换单元811和集成单元812的配置的操作。图28是用于描述根据本技术的第二实施例的集成处理的流程图。

在步骤S151中，图27中的成像单元701A(即，摄像机541A)拍摄观察点。类似地，成像单元701B(即，摄像机541B)、成像单元701C(即，摄像机541C)和成像单元701D(即，摄像机541D)也拍摄观察点。

类似地，成像单元702A(即，摄像机542A)到成像单元702D(即，摄像机542D)拍摄观察点，但是拍摄的图像不用于目前描述的集合处理，因此省略描述。

在步骤S152中，图像转换单元811A执行图像转换处理。换言之，由成像单元701A(即，摄像机541A)拍摄的图像的视点通过诸如投影变换的图像转换方法来转换。通过转换，生成用于监视系统周围的图像。由图像转换单元811B、811C和811D执行类似的图像转换处理。

在步骤S153中，集成单元812执行集成处理。换言之，通过图像转换单元811A至811D获得车辆511周围的检测范围522A至检测范围522D的图像。因此，集成这些图像，并且生成并输出用于在鸟瞰中观察车辆511的周边的监视系统周围的图像。该图像在后续步骤显示在监视器等上。

在步骤S154中，图像转换单元811A至811D确定是否终止处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S151，并且重复步骤S151和后续步骤中的处理。在已经给出关于处理终止的指令的情况下，处理终止。

这里，将描述视点转换处理。图29和30是用于描述视点转换处理的图。图30是示出图29所示的虚拟摄像机的图片与真实摄像机的图片之间的位置关系的图，其展开成从侧面看到的Y-Z平面和从上方看到的X-Z平面。

如图29所示，将描述一示例，其中由安装在三维空间中的任意位置处的点Cr(Xr，Yr，Zr)处的真实摄像机成像的图片Pr被转换为安装在任意位置处的点Cv(Xv，Yv，Zv)的虚拟摄像机的图片Pv。在这里，两个摄像机应该是在一个点处拍摄图片的针孔摄像机。此外，只要图片Pr和Pv垂直于指示摄像机方向的矢量Lr和Lv，则图像Pr和Pv就可以根据图像的尺寸设置到任意位置。期望在图像大的情况下向后设置图片，在图像小的情况下向前设置图片。

将描述用于将成像图片Pr转换为虚拟摄像机的图片Pv的过程。首先，将点Iv设置在图片Pv上的任意位置，并且获得连接点Iv和点Cv的直线与X-Z平面相交的点Iz。注意，在连接点Iv和点Cv的直线不与X-Z平面相交的情况下，点Iv的像素的颜色被设置为预定颜色，以指示点Iv在真实摄像机的成像范围。

下面，获得连接点Iz和点Cr的直线与图片Pr的平面相交的点Ir，并且将点Ir的像素的颜色设置为与点Iv的像素的颜色相同的颜色。注意，在连接点Iz和点Cr的直线不与图片Pr的平面相交的情况下，将点Ir的像素的颜色设置为预定颜色，以指示点Ir超出真实摄像机的成像范围。重复上述处理，直到确定图片Pr上的所有点的像素的颜色。

图30所示的真实摄像机位置处的点Cr的中心线与Z轴相交的点Zctr由下式(16)表示。

Zctr＝Yr·tan(θr)......(16)

这里，θr是真实摄像机相对于X-Z平面的倾斜角。真实摄像机的图片Pr的直线Qrxy(通过由Y-Z平面截取的横截面)正交于真实摄像机的中心线(通过点Cr和点Zctr的具有斜率1/tan(θr)的直线)，并且通过图片Pr的下端的坐标点(Yps，Zps)。因此，直线Qrxy由下式(17)表示。

Y＝-tan(θr)·Z+tan(θr)·Zps+Yps......(17)

获得穿过虚拟摄像机的图像Pv上的点Iv的直线和虚拟摄像机位置处的点Cv与Z轴相交的点Iz，然后获得穿过点Iz和真实摄像机位置处的点Cr的直线与由等式(17)表示的直线Qrxy相交的点Ir的YZ坐标。对于X-Z平面，点Ir的X-Z坐标与Y-Z平面类似地获得。然后，将虚拟摄像机的图片Pv上的点Iv的像素的颜色设置为与真实摄像机的图片Pr上的点Iv的像素的颜色相同的颜色，并且对虚拟摄像机的图片Pv上的所有点执行上述处理。

以这种方式，根据图27的成像控制系统501，除了诸如警告和自动控制与到目标物体的距离测量相关联的制动的驾驶辅助之外，还可以执行诸如后退停车、平行停车等的停车辅助，在交叉路口停止时提供斜向后的自行车、行人等的识别信息，在车道变换时监视下一车道中的跟随车辆，以及通过目视观察辅助用户驾驶。例如，可以将分析单元714的分析结果提供给集成单元812，并且可以在视觉观察屏幕上，以视觉可观察的方式显示基于距离测量结果的障碍物等的位置。

注意，在图27中的成像控制系统501中，在图像转换单元811中处理由构成立体摄像系统521的成像单元701拍摄的图像。然而，可以单独提供特殊摄像机。在使用构成立体摄像系统521的成像单元701的图像的情况下，这个图像可以用于通过视觉观察的监视和通过距离测量的监视。由此可以降低成本。在已经存在视觉监视系统的情况下，可以通过简单地添加构成立体摄像系统521的一个摄像机来执行通过距离测量的监视。

(5)成像控制系统的配置示例4(图31至37)

下面，将参考图31描述另一成像控制系统。图31是示出根据本技术的第二实施例的成像控制系统的配置的框图。

类似于图23中的成像控制系统501，图31中的成像控制系统501由立体摄像系统521和成像控制单元581构成。成像控制单元581控制立体摄像系统521的成像操作。

立体摄像系统521包括成像单元701(包括摄像机541)和成像单元702(包括摄像机542)。如上所述，摄像机541和542上下布置在车辆511的侧面上，并且使得光轴相对于平行于基准平面的方向向下指向。成像单元701输出由摄像机541拍摄的图像，成像单元702输出由摄像机542拍摄的图像。

成像控制单元581包括图像校正单元711和712、立体图像处理单元713和分析单元714。立体摄像系统521的成像单元701和成像单元702的输出分别被提供给图像校正单元711和图像校正单元712，并校正镜头等的像差作为预处理。作为监视处理单元的立体图像处理单元713根据成像单元701和702的输出计算到目标物体的距离。分析单元714分析距离测量的结果，并将分析结果输出到后续设备。

图31中的成像控制单元581还包括边缘角检测单元851和运动立体处理单元852。边缘角检测单元851检测在图像中引起亮度或颜色变化的部分，和是由图像校正单元711校正的图像的改变方向的角度，并将检测结果输出到分析单元714。

作为执行监视处理的另一监视处理单元的运动立体声处理单元852，通过运动立体声处理由图像校正单元711校正的图像，来执行距离测量。换言之，当图像中的静止物体的位置在摄像机视图中随摄像机的移动而改变时，可以使用多个摄像机，以与立体摄像系统中的立体图像处理类似的原理来执行距离测量。将测量信息输出到分析单元714。

下面，将参考图32描述图31中的成像控制系统501的操作。图32是用于描述根据本技术的第二实施例的距离测量处理的流程图。

在步骤S211中，成像控制单元581控制立体摄像系统521的成像操作。注意，此后将继续执行该处理。此外，也可以在外部控制该处理。在步骤S212中，图31中的成像单元701(包括摄像机541)和成像单元702(包括摄像机542)拍摄观察点。在步骤S213中，图像校正单元711校正由成像单元701拍摄的图像的镜头像差、摄像机图像失真等。类似地，图像校正单元712校正由成像单元702拍摄的图像的镜头像差、摄像机图像失真等。换言之，校正图像的失真，并将图像投影在虚拟平面上以获得用于距离计算的平面图像。

在步骤S214中，立体图像处理单元713计算到观察点的距离。换言之，成像单元701的摄像机541和成像单元702的摄像机542被布置在间隔距离L的位置处。因此，由摄像机541拍摄的图像和由摄像机542拍摄的图像具有相位差，可以基于该相位差计算到观察点的距离。也就是说，与出现在摄像机541和542的一个图像中的物体对应的物体从从另一图像中被检测到，并且根据两个图像中的物体的位置之间的偏差来计算距离。将计算结果输出到分析单元714。

在步骤S215中，边缘角检测单元851从由图像校正单元711输出的校正图像中检测边缘角。换言之，检测在图像中引起亮度和颜色变化的部分，和检测是变化方向的角度。

对于边缘检测，可以采用计算亮度变化程度的差(差分)方法。例如，已知的Prewitt边缘检测器和Sobel边缘检测器，以及可以通过由各边缘检测操作者执行处理来检测边缘。此外，可以采用检测亮度变化最剧烈的位置的过零方法。当然，也可以采用其他各种方法。

在步骤S216中，运动立体声处理单元852通过运动立体声计算到观察点的距离。将计算结果提供给分析单元714。本文，将描述运动立体声。

首先，将参考图33和34描述光流。图33是用于描述当前帧的图像的图，图34是用于描述过去帧的图像的图。光流是指示按时间顺序排列的前图像和后续图像中的对应点的运动量的矢量。例如，从当前帧(参见图33)的图像A和从过去(相比图像A)获取的过去帧中的图像B(参见图34)获得光流的处理，开始于从图像A搜索图像B中存在的点在图像A中被移动。注意，V轴是沿图像的上方向拍摄的，U轴是沿图像的右方向拍摄的。此外，图像的中心被视为U轴和V轴的原点。

假设点P从图像B移动到图像A，如图33所示。图像B中的点P的位置是(u-Δu，v-Δv)，图像A中的点P的位置是(u，v)。(Δu，Δv)是图像A中的点P的位置与图像B中的点P的位置之间的差，是图像A的点(u，v)处的光流。换言之，图像A的点(u，v)是光流的终点，可以认为图像A上的对应于图像B的点(u-Δu，v-Δv)的点(u-Δu，v-Δv)是光流的起点。

下面，将参考图35到37描述单眼运动立体声。图35是示出单目摄像机和坐标轴之间的关系的图。图36是示出摄像机和成像表面之间的关系的图。图37是用于描述来自图像中心的光流的图。

在单眼运动立体声中，根据图像A和B之间的光流估计摄像机的移动量(下文中称为摄像机运动参数)，并估计到图像中存在的物体的距离。因此，为了实现单眼运动立体声，需要图像A和B之间的光流、摄像机运动参数和到物体的距离之间的关系。摄像机运动参数对应于拍摄单元的移动量。

这里，假设由摄像机拍摄的物体是静止的。在如图35所示的一般针孔摄像机模型中，将如图36所示的模型用作摄像机和成像表面。摄像机坐标的X轴和Y轴以及所拍摄图像的U轴和V轴彼此平行，并且所拍摄图像的中心位于摄像机坐标(参见图36)中的(0,0，f)位置。这里，f表示摄像机的焦距。PL表示虚拟成像平面，其中拍摄的图像应该位于摄像机坐标系中。

摄像机运动参数具有六个自由度，如图35所示。换言之，相对于旋转移动量的三个自由度(ωx，ωy，ωz)和相对于平移移动量的三个自由度(tx，ty，tz)。旋转移动量是单位时间内的角度的变化量，平移移动量是单位时间内的距离的变化量。已知在摄像机运动参数(ωx，ωy，ωz)和(tx，ty，tz)、到摄像机拍摄的物体的距离z，图像中的特定点(u，v)和该点中的光流(Δu，Δv)之间建立以下关系。

Δu＝-ωy·f-tx·f/z+tz/z·u+ωz·v+ωx/f·uv-ωy/f·u2......(18)

Δv＝+ωx·f-ty·f/z+tz/z·v-ωz·u-ωy/f·uv+ωx/f·v2......(19)

使用等式(18)和(19)根据光流估算摄像机运动参数。注意，在车辆511直线行进的情况下，可以简化摄像机运动参数。由于摄像机541是单目摄像机，所以在直行的情况下的摄像机运动参数如下。

(ωx，ωy，ωz)＝(0,0,0)......(20)

(tx，ty，tz)＝(0,0，tz)......(21)

使用等式(20)和(21)，等式(18)和(19)如下。

Δu＝tz/z·u......(22)

Δv＝tz/z·v......(23)

通过对等式(22)和(23)的各个边进行平方和相加，获得以下等式。

(Δu)²+(Δv)²＝tz²/z²·(u²+v²)......(24)

这里，由于距图像中心的距离w是w²＝u²+v²，因此等式(24)使用等式(22)和(23)变为下式。

Δw＝tz/z·w......(25)

等式(25)意味着可以使用在从图像的中心径向延伸的方向上的光流Δw(参见图37)和车速tz(在Z轴方向上的平移移动量)来估算距离z。理论上解释了可以通过执行如上所述的计算来估算距离z。图37示出了图像B中的光流的起始点也显示在图像A上的图像。图37可以被视为光流矢量集的图像。这些光流Δw朝向起点汇聚的点是消失点。换言之，该消失点也可以认为是从光流Δw向起始点延伸的直线的相交点。在图37中，消失点Po与图像的中心重合。

返回参考图32的描述，在步骤S217中，分析单元714对从立体图像处理单元713、边缘角检测单元851和运动立体声处理单元852提供的信息进行整合，以计算距离。也就是说，基于边缘角检测单元851的检测结果、立体图像处理单元713的距离测量处理结果和运动立体声处理单元852的距离测量处理结果来重新计算距离。

如参考图17至24所述，当立体摄像系统521的两个摄像机541和542沿垂直方向(垂直于基准平面的方向)排列时，可以有利地执行图像中在横向方向(平行于基准平面的方向)上的距离测量。这是因为两个摄像机541和542垂直排列，使得图像中的成像位置容易在横向方向上改变，并且等式(13)中的θa-θb容易变大。

例如，在摄像机541和542安装在车辆511的侧面上的情况下，通常在靠近图像中的横向方向上的线的状态下拍摄路面上的识别显示(例如路面551上的白线)、路面的端部、路边、凹槽，护栏等。因此，立体摄像系统521的距离测量是有利的，其中摄像机541和542在垂直方向上布置。相反，图像中垂直线(垂直方向上的线)的距离测量是不利的。这是因为，在摄像机541和542沿垂直方向布置的情况下，难以检测由垂直方向上的成像位置的偏差引起的垂直线的位置偏差。例如，摄像机视图中的诸如电线杆之类的杆状物体通常具有垂直线(垂直方向上的线)。

在车辆511移动，而摄像机541和542布置在车辆511的侧面上并且拍摄图像的情况下，摄像机视图中的物体在横向方向上流动。以这种方式，在图像中的物体引起相对于时间的位置偏离的情况下，很容易应用运动立体声处理。在运动立体声中，当图像中的静止物体的位置随着摄像机的移动而在摄像机视图中改变时，可以使用与使用多个立体摄像系统中的立体图像处理相同的原理来执行距离测量。在图像中的垂直线(垂直方向上的线)横向移动的情况下，容易检测位置偏差并且容易应用运动立体声。相反，运动立体声不容易应用到横向方向上的线。

因此，基于边缘角检测单元851检测到的边缘的方向，对于横向方向上的线或靠近横向方向上的线，分析单元714优选地采用由立体图像处理单元713测量的距离。例如，立体图像处理单元713计算到基本上沿道路延伸(即，基本上平行于道路)的目标物体(例如路面、路面上的识别显示(例如白线)、路面的端部、路边、凹槽或护栏)的距离。而运动立体声处理单元852的测量结果优先用于垂直线或靠近该垂直线的线。例如，运动立体声处理单元852计算到垂直于道路的目标物体(例如交通信号或交通标志的支柱，电线杆等)的距离。可以根据基于实验等创建的可靠性地图来预先确定采用哪种测量结果。

如上所述，根据物体的线的方向采用不同的距离测量方法。当然，可以通过根据边缘的方向等进行加权来集成两种方法，而不是简单地采用一种方法。

在步骤S218中，立体图像处理单元713、边缘角检测单元851和运动立体声处理单元852确定是否终止处理。在用户尚未给出关于处理终止的指令的情况下，处理返回到步骤S211，并且重复步骤S211和后续步骤中的处理。在已经给出关于处理终止的指令的情况下，处理终止。

注意，在以上描述中，已经使距离测量方法对应于边缘角度。然而，例如，可以单独提供：特别检测基本上沿道路延伸(即，基本上平行于道路延伸)的物体(例如道路上的路面、路面上的识别显示(例如白线)、路面的端部、路边、凹槽或护栏)的检测单元，以及特别检测不一定沿道路延伸(即，基本上不与道路平行)的目标物体的检测单元。例如，立体图像处理单元713可以被配置为特别检测基本上平行于道路延伸的目标物体的检测单元，运动立体声处理单元852可以被配置为特别检测不一定与道路平行的目标物体的检测单元。在这种情况下，可以省略边缘角检测单元851。此外，可以提供在弯道等处检测迎面而来的车辆的检测单元。

如上所述，根据图31中的成像控制系统501，通过根据目标物体的特性的方法来测量距离，从而可以进行精确测量。

注意，尽管图31中的成像控制系统501布置在车辆511的左右侧面上。然而，除了侧面，成像控制系统501也可以布置在车辆的前侧和后侧。此外，前后和左右成像控制系统501可以协作地执行距离测量操作。

(6)变型(图38至40)

下面，将参考图38至40描述摄像机541和542的布置的变型。图38至40是示出根据本技术的第二实施例的立体摄像系统的摄像机的布置的图。

在图17至图19的示例中，摄像机541和542如图38所示那样排列。换言之，从车辆511的前方看(图38的左图)，摄像机542配置在上方，摄像机541布置在下方。

此外，摄像机542被布置在比摄像机541更远离车辆511的位置(车辆511的外侧上的位置)，并且摄像机541被布置在比摄像机542更靠近车辆511的位置处(车辆511内侧上的位置)。连接摄像机541和542的中心的线552倾斜，以从车体跳出到监视方向(以从车辆511的侧面跳出)。换言之，线552倾斜以从车辆511的车体的安装面(侧面)跳出。立体摄像系统521不平行于车体并且不垂直于路面551。。

从车辆511的前方看(图38中的左图)，摄像机541和542都指向车辆511的倾斜向下方向。换言之，摄像机541和542在包括它们的光轴541oa和542oa的平面中是倾斜的，使得光轴541oa和542oa相对于平行于基准平面(路面551)的方向向下指向并且与基准平面相交。也就是说，摄像机541和542倾斜使得连接摄像机541和542的中心的线552相对于基准平面形成角β。换言之，摄像机541和542倾斜使得光轴541oa和542oa相对于垂直于基准平面的线553形成角β。

此外，从车辆511的顶面看(图38中的右图)，摄像机541和542的光轴541oa和542oa指向垂直于车辆511的行进方向的方向(图38中向下)，即，指向垂直于车辆511的侧面的方向。

相反，在图39中的A所示的示例中，从车辆511的前方看(图39中的A的左图)，摄像机542布置在上方，摄像机541布置在下方。然后，摄像机541和542布置在距车辆511相同的距离处。换言之，摄像机541和542布置成使得连接摄像机541和542的中心的线552变得平行于车体(变得垂直于作为基准平面的路面551)。

然而，摄像机541和542在包括它们的光轴541oa和542oa的平面中倾斜，使得光轴541oa和542oa相对于平行于基准平面的方向向下指向并与基准平面相交。

此外，从车辆511的顶面看(图39中的A的右图)，摄像机541和542的光轴541oa和542oa都指向垂直于车辆511的行进方向(在图39向下)的方向，即，指向垂直于车辆511的侧面的方向。

从图39中的B所示的示例的车辆511的前方看到的配置(图39中的B的左图)类似于图38中的左图所示的情况。省略重复描述。

图39中的右图中的配置与图38中的右图中的配置不同。换言之，在该示例中，从车辆511的顶面看，摄像机541和542的光轴541oa和542oa都是略微指向车辆511的行进方向，而不是垂直于车辆511的行进方向(图39中向下)的方向。当光轴541oa和542oa像这样略微指向车辆511的行进方向，有利于与用于测量行进方向范围内的距离的立体摄像系统(例如，用于测量图25中的检测范围522C的距离的立体摄像系统521C)协作进行距离测量操作。

从图39中的C所示的示例的车辆511的前方看到的配置(图39中的C的左图)类似于图38中的左图所示的情况。省略重复描述。

图39中的右图中的配置与图38中的右图中的配置不同。换言之，从车辆511的顶面看(图39中C中的右图)，摄像机542的光轴542oa指向垂直于车辆511的行进方向(图39中向下)的方向，即，垂直于车辆511的侧面的方向。换言之，摄像机542的配置类似于图38中的情况。

相反，摄像机541的光轴541oa略微指向车辆511的行进方向而不是垂直于车辆511的行进方向(图39中向下)的方向。即，摄像机541的配置类似于图39中的B中的情况。因此，图中相对窄的阴影范围是立体摄像系统的距离可测量范围。在需要扩展该距离可测量范围的情况下，可以使用具有180度或更大视角的摄像机。

在图40中的A所示的示例中，从车辆511的前方看(图40中的A中的左图)，摄像机542布置在上方，摄像机541布置在下方。然后，摄像机541和542布置在距车辆511相同的距离处。换言之，摄像机541和542布置成使得连接摄像机541和542的中心的线552变得平行于车体(变得垂直于作为基准平面的路面551)。

于是，当从车辆511的前方看时(在图38的左图中)，摄像机541指向车辆511的斜下方。换言之，摄像机541在包括光轴541oa的平面中倾斜，使得光轴541oa相对于平行于基准平面的方向向下指向并与基准平面相交。摄像机541倾斜，使得光轴541oa相对于垂直于基准平面的线553成角β。也就是说，摄像机541的配置类似于图38中的情况。

然而，摄像机542被布置成使得光轴542oa平行于基准平面。也就是说，摄像机541和542中仅一个(布置在下面的摄像机541)被布置成使得光轴541oa相对于与作为基准平面的路面551平行的方向向下指向，并且与路面551相交。然后，另一个(布置在上面的摄像机542)被布置成使得光轴542oa变得平行于基准平面。即使当以这种方式安装摄像机541和542时，图中车辆511附近的阴影范围也是立体摄像系统的距离可测量范围。该范围相对较窄。在需要扩展距离可测量范围的情况下，可以使用具有180度或更大视角的摄像机。

图40中的A所示(在图40中的A中的右图中)的示例的配置(从车辆511的前方看)类似于图38中的右图所示的情况。换言之，摄像机541和542的光轴541oa和542oa指向垂直于车辆511的行进方向(图40中向下)的方向，即，垂直于车辆511侧面的方向。

在图40中的B所示(图40中的B的左图)的示例中，从车辆511的前方看，摄像机542布置在上方，摄像机541布置在下方。然后，摄像机542布置在比摄像机541更远离车辆511的位置，摄像机541布置在比摄像机542更靠近车辆511的位置。连接摄像机541和542的中心的线552从车体倾斜跳出到监视方向(从车辆511的侧面跳出)。也就是说，摄像机541和542倾斜，使得连接摄像机541和542的中心的线552相对于基准平面形成角β。

于是，摄像机541在包括光轴541oa的平面中倾斜，使得光轴541oa相对于与基准平面平行的方向向下指向并与基准平面相交。也就是说，摄像机541倾斜，使得连接摄像机541的中心和摄像机542的中心的线552相对于基准平面形成角β。换言之，摄像机541倾斜，使得光轴541oa相对于垂直于基准平面的线553形成角β。

然而，摄像机542被布置成使得光轴542oa平行于基准平面。也就是说，摄像机541和542中仅一个(布置在下面的摄像机541)被布置成使得光轴541oa相对于与作为基准平面的路面551平行的方向向下指向，并且与之相交。然后，另一个(布置在上面的摄像机542)被布置成使得光轴542oa变得平行于基准平面。即使当以这种方式连接摄像机541和542时，图中车辆511附近的阴影范围也是立体摄像系统的距离可测量范围。该范围相对较窄。在需要扩展距离可测量范围的情况下，可以使用具有180度或更大视角的摄像机。

从图40中的B所示(图40中的B中的右图)的示例的配置(从车辆511的前方看)类似于图38中的右图所示的情况。换言之，摄像机541和542的光轴541oa和542oa指向垂直于车辆511的行进方向(图40中向下)的方向，即，垂直于车辆511的侧面的方向。

在以上描述中，构成立体摄像系统的摄像机的视角是相同的(例如，180度)，但是各个视角(焦距)可以不同。如果使视角变宽，则可以在更宽的范围内进行识别，而如果使视角变窄，则可以在更高的清晰度范围内进行识别。在立体摄像系统中，可以在视角重叠的范围内进行距离测量。

注意，在不脱离本技术的本质的范围内，本技术中可以存在各种变型。

<应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开技术可以实现为安装在任何类型的车辆(例如汽车、电动汽车、混合动力电动汽车、电动摩托车等)上的装置。

图41是示出可应用本公开技术的车辆控制系统2000的示意性配置示例的框图。车辆控制系统2000包括经由通信网络2010连接的多个电子控制单元。在图41所示的示例中，车辆控制系统2000包括驱动系统控制单元2100、车体系统控制单元2200、电池控制单元2300、车辆外部信息检测装置2400、车辆内部信息检测装置2500和集成控制单元2600。连接多个控制单元的通信网络2010例如可以是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)、或符合本地定义的通信标准的网络。

各控制单元包括例如根据各种程序执行运算处理的微计算机、存储由微计算机执行的程序的存储单元、用于各种计算的参数等、以及驱动需要控制的各种设备的驱动电路。各控制单元包括网络I/F和通信I/F，网络I/F用于经由通信网络2010与另一控制单元通信，通信I/F用于通过有线通信或无线通信与车辆外部的设备、传感器等通信。图41示出了作为集成控制单元2600的功能配置的微计算机2610、通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车载设备I/F 2660、音频图像输出单元2670、车载网络I/F2680和存储单元2690。类似地，其他控制单元包括微计算机、通信I/F，存储单元等。

驱动系统控制单元2100根据各种程序控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元2100用作用于产生车辆的驱动力的驱动力产生装置(例如内燃机或驱动电动机)的控制装置、用于将驱动力传递到车轮的驱动力传递机构、调节车辆转向角的转向机构、产生车辆制动力的制动装置等。驱动系统控制单元2100可以作为防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制装置。

驱动系统控制单元2100与车辆状态检测单元2110连接。车辆状态检测单元2110包括例如下面传感器中的至少一个：用于检测车体的轴向旋转运动的角速度的陀螺仪传感器；用于检测车辆加速度的传感器；和用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、车轮的转速等的传感器。驱动系统控制单元2100使用从车辆状态检测单元2110输入的信号执行运算处理，并控制内燃机、驱动电机、电动助力转向装置、制动装置等。

车体系统控制单元2200根据各种程序控制装配在车体中的各种装置的操作。例如，车体系统控制单元2200用作无钥匙进入系统、智能钥匙系统、自动车窗装置以及诸如前灯、后灯、刹车灯、转向灯和雾灯的各种灯的控制装置。在这种情况下，可以将从代替钥匙移动设备发射的无线电波或一个或多个开关的信号的无线电波输入到车体系统控制单元2200。车体系统控制单元2200接收无线电波或信号的输入，并控制车辆的门锁装置、自动车窗装置、车辆的灯等。

电池控制单元2300根据各种程序控制作为驱动电机的电源的二次电池2310。例如，电池控制单元2300从包括二次电池2310的电池装置接收诸如电池温度、电池输出电压或电池剩余容量的信息。电池控制单元2300使用这些信号执行运算处理。控制二次电池2310、设置在电池装置中的冷却装置等的温度调节。

车辆外部信息检测装置2400检测安装有车辆控制系统2000的车辆外部的信息。例如，成像单元2410或车辆外部信息检测单元2420中的至少一个连接到车辆外部信息检测装置2400。成像单元2410包括飞行时间(ToF)摄像机、立体摄像机、单筒摄像机、红外摄像机或其他摄像机中的至少一个。车辆外部信息检测单元2420包括例如用于检测当前天气或大气现象的环境传感器、或用于检测配备有车辆控制系统2000的车辆周围的其他车辆、障碍物、行人等的环境信息检测传感器。

环境传感器可以是例如用于检测阴雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照度的日照传感器、或用于检测降雪的雪传感器中的至少一个。环境信息检测传感器可以是超声波传感器、雷达设备或光检测和测距、激光成像检测和测距(LIDAR)设备中的至少一种。成像单元2410和车辆外部信息检测单元2420可以分别作为独立的传感器或设备提供，或者可以作为集成有多个传感器或设备的设备提供。

这里，图42示出了成像单元2410和车辆外部信息检测单元2420的安装位置的示例。在例如车辆2900的前鼻、后视镜、后保险杆、后门和内部的挡风玻璃的上部中的至少一个位置处提供成像单元2910、2912、2914、2916和2918中的每一个。设置在前鼻的成像单元2910和设置在车辆内部的挡风玻璃的上部的成像单元2918主要获取车辆2900的前方图像。设置在后视镜上的成像单元2912和2914主要获取车辆2900的侧方图像。设置在后保险杠或后门的成像单元2916主要获取车辆2900的后方图像。设置在车辆内部的挡风玻璃的上部的成像单元2918主要用于检测前方车辆，行人，障碍物，交通信号灯，交通标志，车道等。

注意，图42示出了成像单元2910、2912、2914和2916的拍摄范围的示例。成像范围a指示设置在前鼻的成像单元2910的成像范围，成像范围b和c分别指示设置在后视镜的成像单元2912和2914的成像范围，成像范围d指示设置在后保险杆或后门的成像单元2916的成像范围。例如，通过叠加在成像单元2910、2912、2914和2916成像的图像数据，可以获取从上面看的车辆2900的鸟瞰视图。

例如，设置在车辆2900的前方、后方、侧方、角部和内部的挡风玻璃的上部的车辆外部信息检测单元2920、2922、2924、2926、2928和2930可以是超声波传感器或雷达设备。设置在车辆2900的前鼻、后视镜、后保险杆、后门和内部的挡风玻璃的上部的车辆外部信息检测单元2920、2926和2930可以是例如LIDAR设备。这些车辆外部信息检测单元2920至2930主要用于检测前方车辆、行人，障碍物等。

返回参考图41，将继续描述。车辆外部信息检测装置2400使成像单元2410对车辆外部的图像进行成像，并接收所成像的图像数据。此外，车辆外部信息检测装置2400从连接的车辆外部信息检测单元2420接收检测信息。在车辆外部信息检测单元2420是超声波传感器，雷达设备或LIDAR设备的情况下，车辆外部信息检测装置2400发送超声波，电磁波等，并接收所接收的反射波的信息。车辆外部信息检测装置2400可以基于所接收的信息对路面上的人、车辆、障碍物、标志、字母等执行物体检测处理或距离检测处理。车辆外部信息检测装置2400可以基于所接收的信息执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测装置2400可以基于所接收的信息计算到车辆外部的物体的距离。

此外，车辆外部信息检测装置2400可以基于所接收的图像数据，执行识别路面上的人、车辆、障碍物、标志、字母等的图像识别处理或距离检测处理。车辆外部信息检测装置2400可以对接收的图像数据执行诸如失真校正或校准的处理，并且组合由不同的成像单元2410成像的图像数据，以生成俯瞰视图或全景图像。车辆外部信息检测装置2400可以使用由不同成像单元2410成像的图像数据，来执行视点转换处理。

车辆内部信息检测装置2500检测车辆内部的信息。例如，利用检测驾驶员的状态的驾驶员状态检测单元2510来检测车辆内部信息检测装置2500。驾驶员状态检测单元2510可包括用于对驾驶员成像的摄像头、用于检测驾驶员的生物信息的生物识别传感器、用于收集车辆内部的声音的麦克风等。生物识别传感器例如设置在座位表面、方向盘等上，并且检测坐在座位上的乘员或者握持方向盘的驾驶员的生物信息。车辆内部信息检测装置2500可以基于从驾驶员状态检测单元2510输入的检测信息，来计算驾驶员的疲劳程度或集中程度，或者可以确定驾驶员是否在驾驶中处于睡眠状态。车辆内部信息检测装置2500可以对收集的声音信号执行诸如噪声消除处理之类的处理。

集成控制单元2600根据各种程序控制车辆控制系统2000中的整体操作。集成控制单元2600与输入单元2800连接。输入单元2800由可由乘员操作和输入的设备实现，例如触摸板、按钮、麦克风、开关或控制杆。输入单元2800可以是例如使用红外线或其他无线电波的遥控设备，或者可以是外部连接设备，例如与车辆控制系统2000的操作相对应的移动电话或个人数字助理(PDA)。输入单元2800可以是例如摄像机，并且在这种情况下，乘员可以通过手势输入信息。此外，输入单元2800可以包括例如输入控制电路，该输入控制电路基于乘员等使用上述输入单元2800输入的信息生成输入信号，并将该输入信号输出到集成控制单元。乘员等通过操作输入单元2800向车辆控制系统2000输入各种数据，并指示车辆控制系统2000进行处理操作。

存储单元2690可以包括用于存储由微计算机执行的各种程序的随机存取存储器(RAM)，以及用于存储各种参数、计算结果、传感器值等的只读存储器(ROM)。此外，存储单元2690可以由诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。

通用通信I/F 2620是通用通信I/F，其调解与外部环境2750中存在的各种设备的通信。通用通信I/F 2620可以包括例如蜂窝通信协议，例如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)，或其他无线通信协议，例如无线LAN(也称为Wi-Fi)(注册商标))。例如，通用通信I/F 2620可以经由基站或接入点，连接到外部网络(例如，因特网、云网络或公司特定网络)上存在的设备(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 2620可以使用对等(P2P)技术，与存在于车辆附近的终端(例如，行人或商店的终端、或机器类型通信(MTC)终端)连接。

专用通信I/F 2630是支持制定用于车辆的通信协议的通信I/F。专用通信I/F2630可以包括例如标准协议，诸如车辆环境中的无线接入(WAVE)，其是较低层IEEE802.11p和较高层IEEE 1609的组合，或者是专用短程通信(DSRC)。专用通信I/F 2630通常执行V2X通信，该V2X通信是包括车辆对车辆通信，车辆对基础设施通信以及车辆对行人通信中的一个或多个的概念。

定位单元2640从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)来执行定位，并生成包括例如车辆的纬度、经度和海拔高度的位置信息。注意，定位单元2640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如移动电话、PHS或具有定位功能的智能电话的终端获取位置信息。

信标接收单元2650接收例如从安装在道路上的无线站等发送的无线电波或电磁波，并获取诸如当前位置、拥堵、道路封闭或所需时间的信息。注意，信标接收单元2650的功能可以包括在上述专用通信I/F 2630中。

车载设备I/F 2660是通信接口，其调解微计算机2610与车辆中的各种设备之间的连接。车载设备I/F 2660可以使用诸如无线LAN，蓝牙(注册商标)，近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车载设备I/F 2660可以经由连接端子(未示出)(以及必要时的电缆)建立有线连接。车载设备I/F 2660与例如乘员拥有的移动设备或可穿戴设备或者携带在或连接到车辆的信息设备交换控制信号或数据信号。

车载网络I/F 2680是调解微计算机2610和通信网络2010之间的通信的接口。车载网络I/F 2680根据由通信网络2010支持的预定协议发送和接收信号等。

集成控制单元2600的微计算机2610基于经由通用通信I/F 2620、专用通信I/F2630、定位单元2640、信标接收单元2650、车载设备I/F 2660或车载网络I/F 2680中的至少一个获取的信息，根据各种程序控制车辆控制系统2000。例如，微计算机2610可以基于所获取的车辆内部和外部的信息，计算驱动力产生装置、转向机构或制动装置的控制目标值，并将控制命令输出到驱动系统控制单元2100。例如，微计算机2610可以执行协作控制，以避免车辆碰撞或减轻冲击、基于车辆之间的距离的追踪、保持行驶的车速、自动驾驶等。

微计算机2610可以基于经由通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车载设备I/F 2660或车载网络I/F 2680中的至少一个所获取的信息，来创建包括车辆的当前位置的周边信息的本地地图信息。此外，微计算机2610可预测危险，诸如车辆碰撞、行人靠近等、或行人等进入封闭道路，并产生警告信号。该警告信号可以是例如用于产生警告声或用于使警告灯点亮的信号。

音频图像输出单元2670将声音或图像中的至少一个的输出信号发送到输出装置，该输出装置可以在视觉上和听觉上通知乘员车辆或车辆外部的信息。在图41的示例中，示例性地示出了作为输出设备的音频扬声器2710、显示单元2720和仪表板2730。显示单元2720可以包括例如车载显示器或平视显示器中的至少一个。显示单元2720可以具有增强现实(AR)显示功能。除了这些设备之外，输出设备可以是诸如耳机、投影仪或灯之类的另一设备。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格和图表等各种格式，可视地显示由微计算机2610执行的各种处理中获得的结果，或从另一控制单元接收的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将包括再现的音频数据、声学数据等的音频信号转换为模拟信号，并且在听觉上输出该模拟信号。

注意，在图41所示的示例中，经由通信网络2010连接的至少两个控制单元可以集成为一个控制单元。或者，单独的控制单元可以由多个控制单元构成。此外，车辆控制系统2000可以包括另一个控制单元(未示出)。此外，在以上描述中，由任何一个控制单元执行的一些或所有功能可以由另一个控制单元执行。换言之，只要经由通信网络2010发送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到任何控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络2010彼此发送和接收检测信息。

在上述车辆控制系统2000中，根据参照图4、23、26、27和31描述的本实施例的车辆控制系统2000、成像控制单元81和成像控制单元581，可以应用于图41所示的应用示例的集成控制单元2600。

此外，参考图4、23、26、27和31描述的成像控制单元81和成像控制单元581的部分配置元件至少可以在用于图41所示的集成控制单元2600的模块(例如，由一个管芯配置的集成电路模块)中实现。或者，参考图4、23、26、27和31描述的成像控制单元81和成像控制单元581可以通过图41中所示的车辆控制系统2000的多个控制单元来实现。

注意，用于实现参考图4、23、26、27和31描述的成像控制单元81和成像控制单元581的功能的计算机程序可以安装在任何控制单元等中。此外，可以提供存储这种计算机程序的计算机可读记录介质。该记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以通过例如网络传送，而不需要使用记录介质。

此外，本技术的实施例不限于上述实施例，在不脱离本技术的主旨的情况下，可以进行各种变型。

<其它>

本技术还可以具有以下配置。

(1)

一种成像控制装置，包括：

成像控制单元，其被配置为通过立体摄像系统控制成像，所述立体摄像系统包括沿垂直方向布置的至少一组摄像机，所述摄像机组包括布置成使光轴指向斜下方的至少一个摄像机；和

监视处理单元，被配置为基于由所述立体摄像系统拍摄的图像执行监视处理。

(2)

根据(1)所述的成像控制装置，其中，图像是由布置在车辆的侧面上的摄像机拍摄的图像。

(3)

根据(1)或(2)所述的成像控制装置，其中，所述监视处理单元计算沿车辆行驶的表面的目标物体的距离。

(4)

根据(1)或(3)所述的成像控制装置，其中，所述目标物体包括路面、路面上的识别显示、路面的端部、路边和护栏中的任何一个。

(5)

根据(1)至(4)中任一项所述的成像控制装置，还包括：另一监视处理单元，其被配置为计算垂直于车辆行驶的表面的目标物体的距离。

(6)

根据(1)至(5)中任一项所述的成像控制装置，其中，所述监视处理单元基于所述立体摄像系统执行距离测量处理，以及

所述另一监视处理单元通过运动立体声处理执行距离测量处理。

(7)

根据(1)至(6)中任一项所述的成像控制装置，其中，所述监视处理单元从摄像机拍摄的图像中检测边缘，并基于所述边缘的角度计算距离。

(8)

根据(1)至(7)中任一项所述的成像控制装置，还包括：

图像转换单元，其被配置为将由所述摄像机拍摄的图像转换为观察车辆周边的图像。

(9)

根据(1)至(8)中任一项所述的成像控制装置，还包括：

距离测量单元，其被配置为通过超声波、雷达、激光传感器或红外传感器对车辆前方和后方的距离执行距离测量处理。

(10)

根据(1)至(9)中任一项所述的成像控制装置，其中，布置成使光轴指向斜下方的摄像机，被布置成使得光轴和从所述光轴直接朝向车辆下方的方向所成的角落在π/6到5π/12的范围内。

(11)

根据(1)至(10)中任一项所述的成像控制装置，其中，所述摄像机拍摄的图像是由广角摄像机拍摄的图像。

(12)

根据(1)至(11)中任一项所述的成像控制装置，还包括：

构成所述立体摄像系统的至少一组摄像机。

(13)

一种成像控制方法，包括：

通过立体摄像系统控制成像的步骤，所述立体摄像系统包括至少一组沿垂直方向排列的摄像机，该组摄像机包括设置成使光轴指向斜下方的至少一个摄像机；和

基于所述立体摄像系统拍摄的图像执行监视处理的步骤。

(14)

一种车辆，包括：

包括至少一组沿垂直方向排列的摄像机的立体摄像系统，该组摄像机包括至少一个摄像机，该组摄像机包括设置成使光轴指向斜下方的至少一个摄像机；和

监视处理单元，其被配置为基于由所述立体摄像系统拍摄的图像执行监视处理。

参考符号列表

1 成像控制系统

11 车辆

21A至21D 立体摄像系统

22A至22D 检测范围

91A至91D 立体距离测量单元

92A至92D 距离精度改善单位

93 集成单元

101A至101D和102A至102D 成像单元。

Claims (9)

1.一种成像控制装置，包括：

成像控制单元，其被配置为控制立体摄像系统的成像，所述立体摄像系统包括在车辆的侧面上且沿垂直方向布置的至少一组摄像机，所述一组摄像机包括布置成使光轴指向斜下方的至少一个摄像机；

监视处理单元，其被配置为基于由所述立体摄像系统拍摄的图像检测沿车辆行驶的表面的目标物体的距离；

另一监视处理单元，其被配置为根据运动立体声处理来检测垂直于车辆行驶的表面的目标物体的距离；

边缘角检测单元，根据拍摄的图像中的亮度和颜色的变化检测边缘并对检测出的边缘的角度即该变化的方向进行检测；以及

整合单元，根据所述边缘的角度，整合由所述监视处理单元检测的目标物体的距离和由所述另一监视处理单元检测的目标物体的距离，其中

所述运动立体声处理基于所述至少一个摄像机的移动和按时间顺序排列的前图像和后续图像中的所述目标物体的位置变化。

2.根据权利要求1所述的成像控制装置，其中，

所述目标物体包括路面、路面上的识别显示、路面的端部、路边、凹槽和护栏中的任何一个。

3.根据权利要求1所述的成像控制装置，还包括：

图像转换单元，其被配置为将由所述摄像机拍摄的图像转换为观察车辆周边的图像。

4.根据权利要求1所述的成像控制装置，还包括：

距离测量单元，其被配置为通过超声波、雷达、激光传感器或红外传感器对车辆前方和后方的距离执行距离测量处理。

5.根据权利要求1所述的成像控制装置，其中，

布置成使所述光轴指向斜向下方的所述摄像机被布置成使得所述光轴和从光轴直接朝向车辆下方的方向所成的角度落在π/6到5π/12的范围内。

6.根据权利要求1所述的成像控制装置，其中，所述摄像机拍摄的图像是由广角摄像机拍摄的图像。

7.根据权利要求1所述的成像控制装置，还包括：构成所述立体摄像系统的至少一组摄像机。

8.一种成像控制方法，包括：

控制立体摄像系统的成像的步骤，所述立体摄像系统包括在车辆的侧面上且沿垂直方向排列的至少一组摄像机，所述一组摄像机包括布置成使光轴指向斜下方的至少一个摄像机；

基于所述立体摄像系统拍摄的图像检测沿车辆行驶的表面的目标物体的距离的步骤；

根据运动立体声处理来检测垂直于车辆行驶的表面的目标物体的距离的另一步骤；

根据拍摄的图像中的亮度和颜色的变化检测边缘并对检测出的边缘的角度即该变化的方向进行检测的步骤；以及

根据所述边缘的角度，整合通过检测距离的步骤检测的目标物体的距离和通过检测距离的另一步骤检测的目标物体的距离，其中

所述运动立体声处理基于所述至少一个摄像机的移动和按时间顺序排列的前图像和后续图像中的所述目标物体的位置变化。

9.一种车辆，包括：

包括在车辆的侧面上且沿垂直方向布置的至少一组摄像机的立体摄像系统，所述一组摄像机包括布置成使光轴指向斜下方的至少一个摄像机；

监视处理单元，其被配置为基于由所述立体摄像系统拍摄的图像检测沿车辆行驶的表面的目标物体的距离；

另一监视处理单元，其被配置为根据运动立体声处理来检测垂直于车辆行驶的表面的目标物体的距离；

边缘角检测单元，根据拍摄的图像中的亮度和颜色的变化检测边缘并对检测出的边缘的角度即该变化的方向进行检测；以及

整合单元，根据所述边缘的角度，整合由所述监视处理单元检测的目标物体的距离和由所述另一监视处理单元检测的目标物体的距离，其中

所述运动立体声处理基于所述至少一个摄像机的移动和按时间顺序排列的前图像和后续图像中的所述目标物体的位置变化。

Images