CN1813168A

CN1813168A - 物体识别装置

Info

Publication number: CN1813168A
Application number: CNA2004800181887A
Authority: CN
Inventors: 荒井和彦; 岩城秀和; 三由贵史
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-08-28
Filing date: 2004-08-19
Publication date: 2006-08-02
Anticipated expiration: 2024-08-19
Also published as: US20060072914A1; CN100541118C; EP1645844A4; US7499638B2; JP2005077130A; EP1645844A1; WO2005022083A1; JP4402400B2

Abstract

物体识别装置具有：主动测距仪(24)，具有将光照射到目标物体上的投光灯单元(30)，并且基于从目标物体的反射光确定至目标物体的距离；立体摄像机(26)，基于来自目标物体的图像信息确定至目标物体的距离；物体识别单元(110)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号来识别目标物体；以及辅助光控制单元(116)，控制投光灯单元(30)操作以照射由投光灯单元(30)发射的光作为立体摄像机(26)的辅助光。

Description

物体识别装置

技术领域

本发明涉及一种用于安装在诸如汽车、飞机、轮船和机器人之类的移动体或者诸如室外监控系统之类的非移动体上的物体识别装置。

背景技术

作为安装在汽车等上用来识别其前方物体的装置，立体摄像机是公知的。这种立体摄像机具有从不同视线方向观察目标物体、并且测量至目标物体的距离的功能。根据例如日本专利申请特开平5-114099号公报等的立体摄像机技术已广为人知。

立体摄像机一般很难在昏暗处正确地检测物体和距离。此外，即使在明亮处，当目标物体对比度较低时，也难以准确得到至目标物体的距离。

另一方面，作为车载视频摄像机，根据日本专利申请特开平5-189694号和特开平5-338487号公报等的采用前灯作为辅助光的的视频摄像机是已知的。

此外，根据日本专利申请特开2002-240629号公报的将发射红外光作为辅助光的发射设备加入车载视频摄像机，并且在将视频摄像机的摄像定时与红外辅助光从发射设备的发光定时同步的同时执行照明的同样的技术是公知的。

此外，在日本专利申请特开2003-134509号公报中，公开了一种作为车载视频摄像机的、采用激光束作为辅助光的视频摄像机。

在采用红外光或激光束作为辅助光的视频摄像机中，必须加入发射辅助光的光源，这导致了装置成本的增加。

近来，根据日本专利申请特开2000-329852号和特开2003-121547号公报等公知了一种一起提供诸如立体摄像机和激光雷达的两种类型的测距设备，且基于该两个测距设备的测距结果按照预定算法执行物体识别的技术。

在一起提供两种类型测距设备的复合型物体识别装置中，通过分别利用立体摄像机和激光雷达具有的优点可以根据情况获得高度可靠的测距性能和物体识别。也就是说，根据立体摄像机，不可能准确检测至远处目标物体的距离。然而，可以详细识别比较近的距离处的目标物体的形状，并可以检测道路表面和道路上的白线。与此相对，在激光雷达中，不能详细检测目标物体的形状，但可以准确检测至远处(例如，距离大于或等于100mm)目标物体的距离。

在上述日本专利申请特开2000-329852号和特开2003-121547号公报中，公开了一种与用于优化集成两种测距设备以利用两者的优点的装置相关的技术。

发明内容

因此，本发明的目的是提供一种物体识别装置，可以由立体摄像机和主动测距仪(active range finder)两者来以极高可靠性识别物体，并可以减少安装空间且可以以低成本进行制造。

注意前述主动测距仪是例如激光雷达的测量设备，其将诸如激光束的电磁波照射至目标物体，并接收从目标物体反射的波，并且基于反射波中包括的信息执行测距。

本发明的特征是一种物体识别装置，该装置包括：

主动测距仪，具有，将光照射到目标物体上的投光灯单元，并基于从目标物体反射的光来确定至目标物体的距离；

立体摄像机，基于来自目标物体的图像信息确定至目标物体的距离；

物体识别单元，基于主动测距仪的输出信号和立体摄像机的输出信号来识别目标物体；以及

辅助光控制单元，控制投光灯单元操作以照射由主动测距仪的投光灯单元发射的光作为立体摄像机的辅助光。

本发明的另一特征是一种物体识别装置，该装置包括：

主动测距仪，具有将光照射到目标物体上的投光灯单元，并基于从目标物体反射的光来确定至目标物体的距离；

物体识别单元，基于主动测距仪的输出信号和立体摄像机的输出信号来识别目标物体；

辅助光控制单元，控制投光灯单元操作以照射由主动测距仪的投光灯单元发射的光作为立体摄像机的辅助光；以及

防护玻璃，置于立体摄像机前面，其中

对于防护玻璃，包括从主动测距仪的投光灯单元发射的并从目标物体反射的光入射的区域的预定区域用作红外光透过区，而该预定区域之外的区域用作红外光透过受限区。

本发明的又一特征是一种物体识别装置，该装置包括：

主动测距仪，具有将光照射到目标物体上的投光灯单元，并且基于从目标物体反射的光来确定至目标物体的距离；

辅助光控制单元，将由主动测距仪的投光灯单元发射的光作为立体摄像机的辅助光照射到与立体摄像机的视野范围具有预定关系的照射范围上；以及

物体识别单元，基于主动测距仪的输出信号和立体摄像机的输出信号来识别目标物体。

本发明的另一特征是一种物体识别装置，该装置包括：

主动测距仪，具有将光照射到目标物体上的投光灯单元，并基于从目标物体的反射光来确定至目标物体的距离；

辅助光控制单元，控制投光灯单元操作以照射由主动测距仪的投光灯单元发射的光作为立体摄像机的辅助光，其中

所述辅助光控制单元基于从立体摄像机获得的图像信息执行对作为辅助光照射单元的投光灯单元的控制。

本发明的又一特征是一种物体识别装置，该装置包括：

主动测距仪，具有将光照射到目标物体上的投光灯单元，且基于从目标物体的反射光来确定至目标物体的距离；

可靠性判定单元，基于主动测距仪的输出信号和立体摄像机的输出信号判定物体识别性能的可靠性。

附图说明

图1A示出了将根据本发明第一实施例的物体识别装置应用于车辆(客车)中的示例，并且图1A是从车辆前方看到的外观前视图。

图1B示出了将根据本发明第一实施例的物体识别装置应用于车辆(客车)中的示例，并且图1B是从车辆侧面看到的示意图。

图2是示出根据本发明第一实施例的物体识别装置的外观的透视图。

图3A是示出根据本发明第一实施例的物体识别装置的内部结构的剖视图。

图3B示出了根据本发明第一实施例的物体识别装置的内部结构，并且图3B是沿主动测距仪的一部分截取的纵向剖视图。

图3C示出了根据本发明第一实施例的物体识别装置的内部结构，并且图3C是多角镜的顶视图。

图4A示出了根据本发明第一实施例的物体识别装置的立体摄像机的结构，并且图4A是示出了立体光学系统和摄像单元的示意图。

图4B示出了根据本发明第一实施例的物体识别装置的立体摄像机的结构，并且图4B是示出所获得的立体图像的示例的视图。

图5是示出了根据本发明第一实施例的物体识别装置的包括控制系统的内部结构的框图。

图6是示出在根据本发明第一实施例的物体识别装置中获得的立体图像的有效投影照射范围WL和WR的视图。

图7是示出在根据本发明第一实施例的物体识别装置中获得的立体图像的有效投影照射光斑SP的扫描状况的视图。

图8是对从根据本发明第一实施例的物体识别装置中的激光光源照射的作为立体摄像机的辅助光的光的左右照射范围的调整的说明图，该视图示出了多角镜的各倾斜反射表面的回转操作以及脉冲激光照射的定时之间的关系。

图9A是对从根据本发明第一实施例的物体识别装置中的激光光源照射的作为立体摄像机的辅助光的光的左右照射范围的调整的说明图，该视图示出了将作为辅助光的发光扫描范围移至左侧的状态。

图9B是对从根据本发明第一实施例的物体识别装置中的激光光源照射的作为立体摄像机的辅助光的光的左右照射范围的调整的说明图，该视图示出了作为辅助光的发光扫描范围的基准状态。

图9C是对从根据本发明第一实施例的物体识别装置中的激光光源照射的作为立体摄像机的辅助光的光的左右照射范围的调整的说明图，该视图示出了将作为辅助光的发光扫描范围移至右侧的状态。

图10是示出了由根据本发明第一实施例的物体识别装置的集成控制单元执行的总控制序列的流程图。

图11是示出了在图10的流程图中步骤S1和S2的序列中的摄像设备的电荷存储周期、多角镜倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。

图12是在图10的流程图中步骤S1中的立体成像序列的子程序。

图13的说明表以表格形式收集了对图10的流程图中示出的立体成像序列的流程的评价。

图14A是示出了根据本发明第二实施例的物体识别装置的结构的视图，示出该视图以与图1A对应。

图14B是示出根据本发明第二实施例的物体识别装置的结构的视图，示出该视图以与图1B对应。

图15是示出根据本发明第二实施例的物体识别装置的结构的外观透视图，示出该视图以与图2对应。

图16示出了根据本发明第三实施例的物体识别装置的操作，并且图16是示出了摄像设备的电荷存储周期、多角镜倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。

图17A是示出了在根据本发明第三实施例的物体识别装置中通过三次拍摄获得的立体图像与有效投影照射范围WL和WR之间的关系、并且示出通过第一拍摄获得的立体图像与有效投影照射范围WL和WR之间的关系的视图。

图17B是示出了在根据本发明第三实施例的物体识别装置中通过三次拍摄获得的立体图像以及有效投影照射范围WL和WR之间的关系、并且示出了通过第二拍摄获得的立体图像以及有效投影照射范围WL和WR之间的关系的视图。

图17C是示出了在根据本发明第三实施例的物体识别装置中通过三次拍摄获得的立体图像以及有效投影照射范围WL和WR之间的关系、并且示出了通过第三拍摄获得的立体图像以及有效投影照射范围WL和WR之间的关系的视图。

图18示出了根据本发明第四实施例的物体识别装置的操作，并且图18是示出摄像设备的电荷存储周期、多角镜倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。

图19示出了根据本发明第五实施例的物体识别装置的操作，并且图19是示出了激光脉冲照射定时与多角镜各倾斜反射表面的回转周期之间的对应的时序图。

图20是示出了在根据本发明第五实施例的物体识别装置中获得的立体图像和有效投影照射范围WL和WR之间的关系的视图。

图21示出了根据本发明第六实施例的物体识别装置的操作，并且图21是示出了激光脉冲照射定时与多角镜各倾斜反射表面的回转周期之间的对应的时序图。

图22A是示出了在根据本发明第六实施例的物体识别装置中获得的立体图像和有效投影照射范围WL和WR之间的关系的视图。

图22B是示出了对应于图22A的方向盘的舵转角的操作方向的示意图。

图23A是示出了在根据本发明第七实施例的物体识别装置中获得的立体图像和有效投影照射范围WL和WR之间的关系的视图，该视图示出了通常的情况。

图23B是示出了在根据本发明第七实施例的物体识别装置中获得的立体图像和有效投影照射范围WL和WR之间的关系的视图，该视图示出了发射以插入柱面镜并使得发光脉冲周期变短的情况。

图24是示出了在根据本发明第八实施例的物体识别装置中获得的立体图像和有效投影照射范围WL和WR之间的关系的视图。

图25示出了根据本发明第九实施例的物体识别装置的操作，并且图25是示出了摄像设备的电荷存储周期、多角镜倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。

图26是示出了根据本发明第十实施例的物体识别装置的结构的外观透视图。

具体实施方式

下面，将参照附图说明本发明的实施例。

(第一实施例)

图1A和1B是示出了将根据本发明第一实施例的物体识别装置应用于车辆(客车)中的示例的视图，其中图1A是从车辆前方看到的外观前视图，而图1B是从车辆的侧面看到的示意性说明图。图2是示出了根据本发明第一实施例的物体识别装置的外观的透视图。

如图1A、图1B和图2所示，将物体识别装置20附于车辆12的车室14内。将物体识别装置20构造为使例如由激光雷达组成的主动测距仪24和立体摄像机26集成嵌入用作外壳的壳体(case)22中，使两者成为一个单个的单元。

将主动测距仪24的投光灯单元30中的投光窗32置于壳体22前面中央上部。进一步，将主动测距仪24的受光单元34中的传感器窗36置于壳体22前面中央下部。另外，将立体摄像机26的左光学输入单元40的左视野开口40a置于壳体22前面左侧部分。同样，将立体摄像机26的右光学输入单元42的右视野开口42a置于壳体22前面右侧部分。立体摄像机26的摄像单元46嵌入壳体22的后部壳体内。

如图1A和1B所示，将主动测距仪24和立体摄像机26制成一个单个单元，并且安装在车辆12的挡风玻璃上部。因此，与主动测距仪24和立体摄像机26有间隔地安装在车辆12前部分开位置的情况(例如，立体摄像机26位于挡风玻璃上部区域，而主动测距仪24位于前保险杆附近)相比，能够实现有效辅助光照射。

即，如果这些部件如图1A和1B所示放置，则当主动测距仪24的投光灯单元30用作立体摄像机26的辅助光照射装置时，辅助光的发光点和立体摄像机的视点之间的一致性可以得到提高。因此，在由立体摄像机26进行成像时，可以实现有效的辅助光照射。

与之相对，当将主动测距仪24和立体摄像机26有间隔地附接在分开位置时，辅助光的发光点与立体摄像机26的视点之间的一致性较低。因此，当目标物体10为三维物体时，出现辅助光不能到达的部分，并导致立体摄像机26的图像上出现阴影。换言之，不可能执行有效的辅助光照射。

进一步，当基于立体摄像机26的测距结果和主动测距仪24的测距结果依照预定算法执行物体识别时，两者检测系统之间的视差优选为很小。在图1A和1B的配置中，两个检测系统之间的视差极小。然而，当两者有间隔地附接在分开的位置处时，不可避免地要引入一定程度的视差。

此外，根据本发明，车辆12的其上附有物体识别装置20的挡风玻璃16由防护玻璃构成。防护玻璃16置于主动测距仪24和立体摄像机26前面。因而，防护玻璃16具有用作红外光透过区的预定区域E，该预定区域E包括主动测距仪24的投光灯单元30发射的、从目标物体10反射的光入射的区域。

预定区域E以外的其他区域是红外光透过受限区。预定区域E是从投光灯单元30发射的红外光部分或全部频域透过的区域。

接着，将参照图3A至3C、4A和4B说明主动测距仪24和立体摄像机26的详细结构。

图3A至3C是示出了物体识别装置20的内部结构的图，其中图3A是剖视图，图3B是沿部分主动测距仪24截取的纵向剖视图，而图3C是多角镜54的顶视图。

如图3A至3C所示，主动测距仪24具有：用作将光(红外光)照射到目标物体10上的投光灯装置的投光灯单元30；以及接收反射光并确定至目标物体10的距离的受光单元34。

投光灯单元30安装在立体摄像机26的两个光学输入单元40和42的基本中央位置处。投光灯单元30具有激光光源50和扫描单元52(其机械地扫描来自扫描光源50的光通量)。扫描单元52具有：多角镜54，其中将多个镜子排列成多角棱锥形；以及扫描电机56，通过驱动多角镜54转动来执行对光通量的扫描。

如图3C所示，多角镜54具有六个表面U1、M1、L1、U2、M2和L2，用作反射发自激光光源50的光的表面。U1和U2是具有与水平表面成预定程度的同一角度的倾斜反射表面，并且通过利用倾斜反射表面来在水平方向上扫描照射范围W的上部。M1和M2同样具有与水平表面成预定程度的同一角度(不同于U1和U2的角度)的倾斜反射表面，并且通过采用倾斜反射表面在水平方向上扫描照射范围W的中部。L1和L2同样具有与水平表面成预定程度的同一角度(不同于U1和U2以及L1和L2的角度)的倾斜反射表面，并且通过采用倾斜反射表面在水平方向上扫描照射范围W的下部。这样，在多角镜54转动一圈时可分别扫描照射范围W的上部、中部和下部两次。

投光灯单元30具有调整照射范围W的装置，通过调整激光光源50的发光定时和扫描单元52的操作定时之间的关系，将光通量(lightflux)作为立体摄像机26的辅助光照射到该照射范围W的右侧和左侧。稍后将详述这一点。

进一步，投光灯单元30具有调整机构(未示出)，用来通过可调整地向上和向下设置投光灯单元30的支承角来上下调整要照射的光通量的照射角。

另一方面，受光单元34具有受光元件60和测量电路单元62。SC表示要输入到受光单元34的控制信号，而SD表示从受光单元34输出的距离输出信号。

主动测距仪24在受光单元34处接收从目标物体10反射的光(例如，从投光灯单元30发射的红外光)，并且基于从光发射到光接收的时间差(可以是诸如相位差或其他的信息)来确定至目标物体10的距离。

立体摄像机26被构造为基于来自目标物体10的图像信息确定至目标物体10的距离。立体摄像机26具有立体光学系统66和摄像单元46。立体光学系统66具有两个光学输入单元40和42，用来从不同视线方向获取来自目标物体10的图像信息。两个光学输入单元40和42具有一对前曲率单元(curvature unit)40b和42b、一对初级偏光镜40c和42c、以及一对次级偏光镜40d和42d。

该对前曲率单元40b和42b设置为在具有预定间隔空间的左右位置处接收来自同一目标物体10的光。该对次级偏光镜40d和42d对在初级偏光镜40c和42c上反射的各个光进行进一步的反射以将其导入摄像单元46。

图4A示出了立体摄像机26的立体光学系统66和摄像单元46的示意性结构。图4B示出了由立体光学系统66获得的立体图像18。

在初级偏光镜40c和42c上对通过前曲率单元40b和42b入射的来自目标物体10的光通量OP1和OP2进行反射。初级偏光镜40c和42c具有如下程度的尺寸：可以反射通过前曲率单元40b和42b透过的光通量。即，初级偏光镜40c和42c具有如下程度的尺寸：与前曲率单元40b和42b的未遮挡区域基本相同或略大。

进一步，将初级偏光镜40c和42c设置成与水平方向成约45度角倾斜。然后，初级偏光镜40c放置为在垂直方向上向次级偏光镜40d侧向下倾斜几度角的状态。另一方面，初级偏光镜42c放置为在垂直方向上向次级偏光镜42d侧向上倾斜几度角的状态。由于初级偏光镜40c和42c如此放置，所以在初级偏光镜40c和42c上反射的各光通量分别入射到次级偏光镜40d和42d上。

次级偏光镜40d和42d放置为在水平方向上基本平行面对初级偏光镜42c和40c，并且从顶部表面方向看彼此交叉。然后，次级偏光镜40d放置为在垂直方向上向摄像设备侧向下倾斜几度角的状态。另外，次级偏光镜42d放置为在垂直方向上向摄像设备侧向上倾斜几度角的状态。由于次级偏光镜40d和42d如此放置，在次级偏光镜40d和42d上反射的各光通量入射到摄像单元46。

即，从初级偏光镜40c入射的光通量OP1被偏转为在次级偏光镜40d上被反射，以入射到摄像单元46。另一方面，从初级偏光镜42c入射的光通量OP2被偏转为在次级偏光镜42d上被反射，以入射到摄像单元46。

摄像单元46被构造为具有摄像光学系统74和摄像设备76，并且摄像单元46基于从立体光学系统66入射的光通量来获得视差图像18。

即，经由左侧光学输入单元40的光学系统入射的光通量通过摄像光学系统74被成像在摄像设备76的下半区。经由右侧光学输入单元42的光学系统入射的光通量通过摄像光学系统74被成像在摄像设备76的上半区。即，由安装在前曲率单元40b和42b上的视野遮光板来限制视野，使得图像彼此不交叠地成像在摄像设备76的受光表面上。

然而，这里，右图像成像在摄像设备76的上半区，而左图像成像在下半区。因而，由于成像透镜的作用，图像倒置成像。随后，当将头和尾的关系倒置并恢复至正确方向时，如图4B所示，左右之间具有视差的左图像18L和右图像18R被成像为对应于摄像设备76的受光表面的上半区和下半区。

图5是示出了根据本发明第一实施例的物体识别装置20的包括控制系统的内部结构的框图。

如图5所示，物体识别装置20被构造为具有(大致划分为)主动测距仪24、立体摄像机26、以及处理单元28。

主动测距仪24的投光灯单元30被构造为包括多角镜54、多角镜驱动器(PM驱动器)56、脉冲控制单元80、脉冲生成单元82、功率控制单元84、以及激光光源(LD)50。

多角镜驱动器54是用来驱动多角镜54的驱动装置。脉冲控制单元80在与来自多角镜驱动器56的驱动脉冲同步地同时执行对激光光源50的脉冲发射控制。脉冲生成单元82通过从脉冲控制单元80接收信号来生成发光脉冲。功率控制单元84依据来自脉冲生成单元82的输出脉冲来调整发光强度。然后，由从功率控制单元84输出的信号来操作激光光源50发光。

除了上述受光元件60外，主动测距仪24的受光单元34还具有放大器90、距离计算单元92、测光装置94、增益控制器96等。

通过接收来自前述车辆的所谓反射器(自然反光器)的反射光，主动测距仪24可以检测车辆等(尤其是位于远距离处的)的距离。另一方面，立体摄像机26不能检测至远处物体的距离，尽管这取决于左右之间的视差大小。从而，例如在高速驾驶期间，在诸如躲避停放在相当远距离处的其他车辆的操作支持中，使用主动测距仪24的输出是非常有效的。

与之相对，立体摄像机26具有稍后将说明的特征。因此，在本实施例中，努力地通过利用两个检测系统的优点按照预定算法来执行物体检测，以最终很好地利用从两个检测系统的输出来进行操作支持。

立体摄像机26具有立体光学系统66、摄像单元46、孔径调整单元100、快门调整单元102、灵敏度调整单元104、曝光调整单元106、距离计算单元108等。

摄像单元46具有上述摄像设备76，并且摄像设备76将由立体光学系统66捕获的立体图像转变为电信号。孔径调整单元100执行对立体光学系统66内的孔径机构(未示出)的调整。进一步，快门调整单元102对摄像设备46内的电子快门的电荷存储周期进行调整。

灵敏度调整单元104用来对摄像设备76内的模拟图像信号放大器的增益进行调整。此外，曝光调整单元106用来调整孔径调整单元100、快门调整单元102、以及灵敏度调整单元104，执行所谓的曝光调整。

立体摄像机26内的摄像设备46具有对可见光的光谱灵敏度特性。为了利用从投光灯单元30发射的红外光作为立体摄像机26的辅助光，摄像设备46还具有可以捕获从投光灯单元30发射的红外光的部分或全部频域的可用灵敏度区域。

立体摄像机26的灵敏度调整单元104通常设定为获得标准灵敏度。然而，灵敏度调整单元104可以被控制为根据与立体摄像机26获得的辅助光相伴随的图像亮度信息而变化。此外，立体摄像机26通过周期性地操作摄像设备76以从目标物体10获得图像信息来周期性地获得立体图像，在距离计算单元108处对所获得的立体图像执行距离运算、并且周期性地确定至目标物体10的距离。

处理单元28具有物体识别单元110、辅助光控制单元116(具有定时调整单元112和曝光调整单元114)、可靠性判定单元118、集成控制单元120、信息输入终端122(用来输入操作条件)等。

处理单元28中的物体识别单元110基于主动测距仪24的距离输出信号SD、从立体摄像机26内的摄像单元46(摄像设备76)输出的纹理图像数据ST、从距离计算单元108输出的三维图像数据SV、以及来自运转状况输入单元124的信息SI来识别目标物体10。运转状况输入单元124通过驾驶员来检测车辆的操作状况。

这里，纹理数据ST是平面图像数据，没有关于物体的距离信息，只包括亮度和色彩信息。三维图像数据SV是示出了与纹理图像数据ST的像素对应的距离数据串的分布的数据，不包括物体的亮度和色彩信息。

基于来自立体摄像机26的纹理图像数据ST和三维距离图像数据SV，可以检测道路上的白线、并且检测防护栏和其他障碍物。因此，可以在跟踪白线的同时进行驾驶，并且可以支持避开障碍物的驾驶的操作。这一功能不是通过主动测距仪24能获得的功能，而是立体摄像机26的特征。

定时调整单元112通过接收来自集成控制单元120的控制信号并将控制信号输出至投光灯单元30的脉冲控制单元80，来控制来自激光光源50的脉冲光发射的发光定时。进一步，定时调整单元112通过将控制信号输出至受光单元34来执行对受光单元34的受光元件60、距离计算单元92等的控制。此外，定时调整单元112通过将控制信号输出至立体摄像机26中的摄像设备46来执行对摄像设备46的控制以进行驾驶。

曝光调整单元114根据稍后要说明的算法，基于从物体识别单元110输出的关于物体距离的信息以及通过物体识别单元110获得的来自立体摄像机26的纹理图像数据ST，通过将控制信号输出至投光灯单元30中的功率控制单元84来控制激光光源50的发光强度。曝光调整单元114通过将控制信号输出至受光单元34内的增益控制器96来调整光灵敏度。此外，曝光调整单元114通过将控制信号输出至立体摄像机26内的曝光调整单元106来执行对立体摄像机26内的孔径、电子快门、以及光灵敏度的调整。

可靠性判定单元118通过将主动测距仪24的测距结果与立体摄像机26的测距结果进行比较来执行对两个测距结果的比较判定。作为判定的结果，当来自两者的测距结果之间存在较大差异时，判定装置中发生故障，并且可靠性判定单元118将预定警告信号输出至外部。

集成控制单元120接收来自物体识别单元110、定时调整单元112、曝光调整单元114、以及可靠性判定单元118的输出信号，并且通过将控制信号输出至物体识别单元110、定时调整单元112、曝光调整单元114、以及可靠性判定单元118来执行整体集成控制。

包括定时调整单元112和曝光调整单元114的辅助光控制单元116具有如下各种功能。

控制投光灯单元30操作以照射由主动测距仪24的投光灯单元30发射的光作为立体摄像机24的辅助光。进一步，辅助光控制单元116将由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光照射到与立体摄像机26的视野范围V具有预定关系的照射范围W上。

对于立体摄像机26的成像操作，辅助光控制单元116使主动测距仪24的投光灯单元30作为立体摄像机26的辅助光照射装置在预定定时进行操作。辅助光控制单元116还包括用来在一次成像操作中照射预定照射范围的装置。

进一步，辅助光控制单元116包括用来在多次成像操作中照射预定的、不同的照射范围的装置。除此之外，辅助光控制单元116包括用来使主动测距仪24的投光灯单元30有选择地仅在多个成像操作中的特定成像操作中进行操作的装置。

此外，辅助光控制单元116基于从立体摄像机26获得的图像信息来控制投光灯单元30。进一步，辅助光控制单元116根据从立体摄像机26获得的图像信息执行对投光灯单元30的开/关控制。此外，辅助光控制单元116根据从立体摄像机26获得的图像信息执行对投光灯单元30的光强控制。

辅助光控制单元116根据从立体摄像机26获得的图像信息执行对投光灯单元30的光强的条件控制，使得目标区的亮度落入预定亮度范围内。辅助光控制单元116还包括用来在根据从立体摄像机26获得的图像信息确定在目标区可能有人存在时关闭投光灯单元30或者降低光强的装置。

另外，辅助光控制单元116包括用来根据从立体摄像机26获得的图像信息控制来自投光灯单元30的投光灯光斑大小的装置。此外，辅助光控制单元116包括用来根据从立体摄像机26获得的图像信息控制投光灯单元30的照射范围W的装置。

辅助光控制单元116包括用来在装置开始操作时，将投光灯单元30从关闭状态或光强相当弱的状态逐渐增强到光强相当强的状态的装置。

辅助光控制单元116包括用来根据从立体摄像机26获得的亮度信息控制投光灯单元30的装置。另外，辅助光控制单元116包括用来根据从立体摄像机26获得的图像信息控制投光灯单元30并调整立体摄像机26的光灵敏度的装置。

此外，辅助光控制单元116包括用来基于由运转状况输入单元124输入的车辆12的运转状况(例如，方向盘的舵偏角)来确定投光灯单元30的照射范围W的装置。

注意，该装置20除了上述那些功能还具有以下功能。

即，装置20具有针对辅助光照射范围的调整单元，其中，针对立体摄像机26的视野范围V或视野范围V的基准位置来调整范围W(由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光照射在该范围W上)。

装置20还具有校准执行单元，基于主动测距仪24的测距结果对立体摄像机26的测距结果进行校准。在立体摄像机26的光学系统中，执行准确的光学调整。然而，当长期使用时，由于振动等，随着时间的流逝，测距结果会出现误差。

主动测距仪24的测距方法是通过测量从执行从激光光源50发光的时刻到从目标物体10反射的光返回的时刻的期间来进行测距。因此，与立体摄像机26相比，几乎不会随时间流逝出现变化，并且测得的值是稳定的。因此，优选地周期性地或者每当打开物体识别装置的电源时执行校准。

进一步，该装置20具有由增益控制器96和集成控制单元120构成的投光灯控制单元。投光灯控制单元使投光灯单元30操作以在摄像单元46的摄像设备76的操作周期期间、并且在执行电荷存储的时间周期内照射立体摄像机26的辅助光。另外，除了执行电荷存储的时间周期外，投光灯控制单元使投光灯单元110作为主动测距仪24操作以获得测距数据。

以下，将说明上述第一实施例的操作和作用。

图6示出了在物体识别装置20处获得的立体图像18(左图像18L，右图像18R)，并且图6是示出了有效投影照射范围WL和WR的视图。图7示出了在物体识别装置20处获得的立体图像18(左图像18L、右图像18R)，并且图7是示出了有效投影照射光斑SP的扫描状况的视图。在图7中，箭头X1、X2、X3…示出了多角镜54的各倾斜反射表面的水平扫描线。

图8和9A至9C是关于对从激光光源50照射的作为立体摄像机26的辅助光的光的左照射范围和右照射范围进行调整的说明图。

图8示出了多角镜54的三个倾斜反射表面(PM-U、PM-M、PM-L)的转动操作和脉冲激光照射定时A、B和C之间的关系。这里，PM-U对应于图3C中所示的U1或U2，PM-M对应于图3C中所示的M1或M2，PM-L对应于图3C中所示的L1或L2。

脉冲激光照射B示出了激光光源50的基准发光定时。激光光源50在预定定时执行脉冲光发射以与多角镜54的各倾斜反射表面的转动周期同步。结果，如图9B所示，激光光源50针对立体摄像机26的检测视野在预定照射范围W(WL、WR)处执行发光扫描作为辅助光。

这里，将投光灯单元30(尤其是激光光源50)准确附于立体摄像机26的检测视野就足够了。然而，在如图9A或9C所示的其他情况下，作为辅助光的扫描范围发生移动。在如图9C所示的扫描范围移至右侧的情况下，如图8中脉冲激光照射A所示，将激光光源50的发光定时比基准提前Δt。这样，结果就成为了图9B所示的情况。

在如图9A中所示的扫描范围移至左侧的情况下，如图8中脉冲激光照射C所示，激光光源50的发光定时延迟Δt。这样，结果就成为了图9C所示的情况。前述调整是这样的调整，其不仅可以在激光光源50作为立体摄像机26的辅助光时可用，而且可以以相同的方式在激光光源50作为主动测距仪本身的情况下可用。

图10是示出了由集成控制单元120执行的总控制序列的流程图。

由集成控制单元120以30次/秒的频率来执行作为一个集合的步骤S1中的立体成像和步骤S2中的主动测距仪24处的测距。即，对于大约33毫秒的一个周期，在其前一半执行步骤S1中的处理，而在后一半执行步骤S2中的处理。

进一步，与步骤S1和S2中的序列并行地执行步骤S3中的物体识别序列和步骤S4中的操作支持信息输出序列。通过使用由于以往循环(诸如上一次或倒数第二次)确定的步骤S1和S2中的结果来执行步骤S3和S4。

图11是示出了步骤S1和S2的序列中摄像设备76的电荷存储周期、多角镜54的倾斜反射表面上的运动、以及激光光源(LD)50的发光脉冲照射定时的时序图。如图所示，在一次成像操作(一个周期)的前一半1/2周期中执行伴随从多角镜54的各倾斜反射表面(PM-U1、PM-M1、PM-L1)的辅助光照射的电荷存储。随后，在后一半，通过从多角镜54的各倾斜反射表面(PM-U2、PM-M2、PM-L2)照射激光束来作为主动测距仪24执行测距操作。

使激光光源(LD)50操作为以如图11所示的时序发光，从而如图9B所示，可以通过在立体摄像机26的视野中的预定范围内照射辅助光并且通过作为主动测距仪24在预定范围内照射激光束来执行测距。

下面将利用图12的子程序和图13中示出的表来进一步详述步骤S1中的立体成像序列。

首先，在步骤S11，判定是否为高亮度。这里，在快门打开周期(电荷存储周期)为最大长度15毫秒、孔径为最小孔径、并且摄像设备76的灵敏度设置为最小灵敏度的条件下，当亮度为使得摄像设备76的输出饱和的亮度时，将该亮度判定为高亮度。从而，程序进行到步骤S12，并且执行高亮度控制。

在步骤S12的高亮度控制中，如图13中的X项所示，将快门打开周期控制为在15毫秒(最长秒时)到1微秒(最短秒时)之间根据亮度而变化。将孔径固定在最小孔径。摄像设备76的灵敏度设置固定在最小灵敏度。假设没有由激光光源50提供的辅助光(关闭)。

这里，快门打开周期被控制为通过提供反馈至各立体成像来进行调整，使得从摄像设备76获得的图像数据的MAX(最大)值落入饱和程度的70％到100％的范围内。

当在步骤S11判定不是高亮度时，程序进行到步骤S13，在步骤S13判定是否为低亮度。这里，在快门打开周期(电荷存储周期)为最大长度15毫秒、孔径为最大孔径、并且摄像设备76的灵敏度设置为最小灵敏度的条件下，当摄像设备76的输出为饱和程度的70％或更低时将其判定为低亮度，并且执行步骤S15中的低亮度控制。在其他情况下，判定为中亮度，并且程序进行到步骤S14，在步骤S14处执行中亮度控制。

在步骤S14的中亮度控制中，如图13的Y项所示，快门打开周期固定在15毫秒(最长秒时)。将孔径控制为在最小孔径和最大孔径之间随亮度变化。摄像设备76的灵敏度设置固定在最小灵敏度。假设存在由激光光源50提供的辅助光(打开)。

将激光光源50的发射强度控制为根据至目标物体10的距离和孔径的控制值进行调整以成为适合目标物体10的辅助光。这里，将孔径控制为通过将各立体成像的反馈提供给后面的立体成像来进行调整，使得从摄像设备76获得的图像数据的MAX值落入饱和程度的70％到100％的范围内。

在步骤S15的低亮度控制中，如图13的Z项所示，快门打开周期固定在15毫秒(最长秒时)。孔径固定在最大孔径。摄像设备76的灵敏度设置被控制为在最小灵敏度和最大灵敏度之间根据亮度变化。假设存在激光提供的辅助光(打开)。将激光光源50的发射强度控制为根据至目标物体10的距离和摄像设备76的灵敏度设置的控制值进行调整来成为适合于目标物体10的辅助光。

这里，将摄像设备76的灵敏度设置控制为通过将各立体成像结果的反馈提供给后面的立体成像来进行调整，使得从摄像设备76获得的图像数据的MAX值落入饱和程度的70％到100％的范围内。

注意，作为条件控制，可以如在一般视频摄像机拍摄时的孔径优先、快门速度优先、孔径或快门速度优先等相同的方式执行曝光控制。

如上所述，可以根据从立体摄像机26的摄像设备76的输出适当地执行快门打开周期的条件控制、孔径的条件控制、摄像设备76的灵敏度设置的条件控制、激光光源50的发射强度的条件控制等。

(第二实施例)

接着，说明本发明的第二实施例。

图14A、14B和图15示出了根据本发明第二实施例的物体识别装置20的结构，所示出的这些图分别对应图1A、1B和图2。

第二实施例以及下面要说明的实施例中的物体识别装置的结构与第一实施例的相同。因此，将仅说明不同的结构和操作，以相同的附图标号来表示那些相同的其他部分，并略去对其的图示和说明。

第二实施例不同于第一实施例之处仅在于将主动测距仪24的投光灯单元30安装在车辆中与立体摄像机26集成，而主动测距仪24的受光单元34安装在车辆前保险杆附近。在该实施例中，可以实现本发明的目的。

(第三实施例)

接着，将说明本发明的第三实施例。

图16示出了根据本发明第三实施例的物体识别装置的操作，并且图16是示出了摄像设备76的电荷存储周期、多角镜54的倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。图17A至17C是示出了通过由根据本发明的物体识别装置20三次拍摄获得的立体图像与有效投影照射范围WL和WR之间的关系的视图。

第三实施例是对应于以下情况的实施例：多角镜54的工作速度不象上述第一实施例中的高，并且在一个周期内不能实现对多角镜54的六面驱动，只能实现对其的三面驱动。在这种情况下，不可能将快门秒时设定为如第一实施例中的约15毫秒。这是这样一个示例，其中在快门速度很高并且电荷存储周期短于或等于1/4个周期的条件下，将拍摄操作执行为根据多角镜54的发光扫描速度将其划分为多次(在本实施例中为三次)，并且通过合成由此拍摄的图像来获得一幅所需要的图像。

在图16中，阴影区域PA、PB和PC示出了由于辅助光照射导致的拍摄定时。如图17A、17B和17C所示，有效投影照射范围WL和WR依次下移以对应于图17A、17B、17C…所示的多次(在本实施例中为三次)拍摄操作。

(第四实施例)

接着，将说明本发明的第四实施例。

图18示出了根据本发明第四实施例的物体识别装置的操作，并且图18是示出了摄像设备76的电荷存储周期、多角镜的倾斜反射表面上的运动、以及激光光源(LD)的发光脉冲照射定时的时序图。

第四实施例不同于第一实施例之处在于以每三次立体成像打开一次的比例打开辅助光。

即，如图18所示，在执行立体成像的周期(电荷存储周期)F1、F7…中打开辅助光。在周期F3、F5、F9和F11中，关闭激光束。用作主动测距仪24的激光光源50并不是时时都操作，而是分别在周期F2、F4、F6、F10…中操作。

(第五实施例)

图19示出了根据本发明第五实施例的物体识别装置的操作，并且图19是示出了激光脉冲照射定时LP1、LP2、LP3、LP4…与多角镜各倾斜反射表面(PM-U、PM-M、PM-L)的转动周期之间的对应关系的时序图。图20是示出了当激光脉冲LP1、LP2、LP3、LP4…以图19所示的定时照射时在立体图像18上的有效投影照射范围WL和WR的视图。

第五实施例不同于第一实施例之处在于当确定立体图像数据中的目标物体是立体摄像机26的视野范围的一部分时，辅助光仅照射在受限部分上。

如图19所示，从投光灯单元30发射的激光脉冲LP1、LP2、LP3、LP4…的照射宽度比一般情况下要窄。如图19所示，有效投影照射范围WL和WR限于各立体图像18L和18R的上区域。

(第六实施例)

图21示出了根据本发明第六实施例的物体识别装置的操作，并且图21是示出了激光脉冲照射定时LP1、LP2、LP3、LP4…与多角镜54的各倾斜反射表面(PM-U、PM-M、PM-L)的转动周期之间的对应关系的时序图。图22A是示出了由根据本发明的物体识别装置获得的立体图像与有效投影照射范围WL和WR之间的关系的视图，而图22B是示出了对应于图22A的方向盘的舵转角的操作方向的示意图。

第六实施例不同于第一实施例之处在于根据从运转状况输入装置(未示出)经由输入终端350输入的信息SI，将辅助光照射到受限范围上。运转状况输入单元124输入汽车方向盘的舵转角，并且例如当如图2B所示方向盘H打向右方向时，确定目标物体10为位于立体摄像机24视野的右侧的目标。其被构成为：根据方向盘的舵转角，如图22A所示，辅助光照射范围WL和WR被移至已移至右侧的区域中。

(第七实施例)

接着，将说明本发明的第七实施例。

图23A和27B是示出了由根据本发明第七实施例的物体识别装置获得的立体图像与有效投影照射范围WL和WR之间的关系的视图，其中图27A是一般情况下的视图，而图27B是插入柱面镜并使得发射脉冲周期变短的发光情况的视图。

第七实施例不同于第一实施例之处在于可以插入柱面镜(未示出)(可插入激光光源50和多角镜54之间并可从激光光源50和多角镜54之间卸下)。在一般情况下，柱面镜不插入激光光源50的前面，并且发射圆形激光束通量。于是，如图23A所示，辅助光照射在标准照射范围WL和WR上。

例如，当目标物体10位于远处并且获得较强的辅助光时，将柱面镜插入激光光源50前面、发射辅助光使得激光束通量变形以在垂直方向上拉长、并且缩短激光光源50的发射脉冲周期。于是，如图23B所示，辅助光照射在比标准照射范围WLa和WRa窄的照射范围WLb和WRb上。这样，可以有效地将辅助光照射到位于远处的目标物体10上。

尽管在第七实施例中将柱面镜插入激光光源50与多角镜54之间，但是柱面镜可以插入多角镜54的光发射侧。在这种情况下，即使激光光源50的发光脉冲周期没有改变，仅通过插入和卸下柱面镜可以获得相同的效果。

(第八实施例)

图24是示出了由根据本发明第八实施例的物体识别装置获得的立体图像与有效投影照射范围WL和WR之间的关系的视图。

第八实施例不同于第一实施例之处在于通过进一步增加辅助光照射的不均匀度来提高增加目标物体的对比度的效果。即，如图24所示，当操作激光光源50作为照射立体摄像机26的辅助光的装置时，通过令发光周期长于标准周期使得各发光脉冲之间的间隔变宽。

由此，目标物体10表面上的照射不均匀度更加明显，并且提高了增加目标物体10的对比度的效果。

(第九实施例)

第九实施例不同于第一实施例之处在于通过对发自激光光源50的脉冲发光强度进行调制而在目标物体10上出现照射的不均匀度。

即，在以下点上与图23A相同：不停顿地照射激光束作为立体摄像机26的辅助光。然而，如图25所示，将强度随机变化的脉冲发光照射到目标物体10上。

根据本实施例，在以下点上与上述第八实施例相同：提高了增加目标物体10的对比度的效果。除此之外，由于目标物体10上的照射不均匀度不是周期性的，因此产生测距误差的风险很小。

比较而言，立体摄像机26的测距方法是利用左右之间的视差。因此，当照射不均匀度是周期性时，不能执行准确检测，这会导致产生测距误差的风险。

(第十实施例)

接着，说明本发明的第十实施例。

第十实施例不同于第一实施例之处在于：如图26所示，提供了调整机构，其中可以转动集成了投光灯单元30和受光单元34的整个主动测距仪24以如箭头R所示自由地提升到转轴AX中央，并且照射范围W的垂直方向可以上下调整。注意转轴AX沿连接左视野开口40a和右视野开口42a的线设置。

(实施例特性)

[1]实施例中说明的一种物体识别装置包括：

主动测距仪24，具有将光照射到目标物体上的投光灯单元30，并且基于从目标物体反射的光确定至目标物体的距离；

立体摄像机26，基于来自目标物体的图像信息确定至目标物体的距离；

物体识别单元110，基于主动测距仪24的输出信号S1和立体摄像机26的输出信号S2识别目标物体；以及

辅助光控制单元116，控制投光灯单元30操作以照射由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光。

在该物体识别装置中，主动测距仪24的投光灯单元30在具有主动测距仪24和立体摄像机26这两种类型的测距单元的装置中用作立体摄像机26的辅助光。因此，即使在环境昏暗的条件下，无需特别提供专用辅助光照射单元也可以获得合适的立体图像。另外，该装置可以形成得很紧凑，并可以低成本进行制造，此外，从安装空间的观点来看也是有优势的。进一步，通过提供辅助光的照射图案的分布，可以提供投射图案的功能。因此，对于具有低对比度的目标物体，可以在环境明亮的条件下投射所要求的对比度，并且可以提高测距精度。

[2]实施例中说明的一种车载物体识别装置包括：

主动测距仪24，具有将光照射到目标物体上的投光灯单元30，并基于从目标物体反射的光确定至目标物体的距离；

立体摄像机26，基于来自目标物体的图像信息确定至目标物体的距离；以及

物体识别单元110，基于主动测距仪24的输出信号S1和立体摄像机26的输出信号S2识别目标物体，其中

主动测距仪24和立体摄像机26置于车室14内。

在该物体识别装置中，至少可以在车室14中上部位置处设置立体摄像机26。因此，在执行检测道路上的白线等的情况下视野足够宽阔。进一步，主动测距仪24和立体摄像机26设置在车室14内，从而使得可以保护物体识别装置免受雨、风和灰尘。此外，当物体识别装置所附的位置置于车室14的挡风玻璃16内侧时，使得挡风玻璃16处于以下状态中：即使下雨也可由挡风玻璃雨刷功能移除雨滴，并且因此不受雨滴带来的不利影响地获得图像数据。

[3]实施例中说明的一种物体识别装置包括：

物体识别单元110，基于主动测距仪24的输出信号S1和立体摄像机26的输出信号S2识别目标物体；

辅助光控制单元116，控制投光灯单元30操作以照射由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光；以及

防护玻璃16，置于立体摄像机26前面，其中

对于防护玻璃16，包括从主动测距仪24的投光灯单元30发射的并从目标物体反射的光入射的区域的预定区域E用作红外光透过区，而该预定区域外的区域用作红外光透过受限区。

在该物体识别装置中，从目标物体反射的必要红外光在透过预定区域E后入射。因此，可以避免不必要的红外光侵入车室14内导致的有害影响。

[4]实施例中说明的一种物体识别装置包括：

物体识别单元110，基于主动测距仪24的输出信号和立体摄像机26的输出信号识别目标物体；

防护玻璃16，置于立体摄像机26前面，其中

防护玻璃16具有透过从投光灯单元30发射的红外光的部分或全部频域的可用灵敏度区域。

在该物体识别装置中，可有效地将辅助光应用于置于车室14内的立体摄像机26。

[5]实施例中说明的一种物体识别装置包括：

辅助光控制单元116，控制投光灯单元30操作以照射由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光，其中

主动测距仪24的投光灯单元30和立体摄像机26嵌入同一外壳22中以进行使用。

在该物体识别装置中，可以在将物体识别装置附于诸如车辆12的移动体上之前的阶段，作为单独单元，执行诸如立体摄像机26的检测视野(左右摄像机视野的交叠区)V和辅助光照射范围(雷达扫描区)W之间的位置调整等的校准。

[6]实施例中说明的一种物体识别装置是根据第[5]项的物体识别装置，其中

立体摄像机26具有两个光学输入单元46、66以从不同视线方向获得关于目标物体的图像信息，并且

将投光灯单元30安装在立体摄像机26的两个光学输入单元46、66之间的基本中央位置处。

在该物体识别装置中，可以有效地将辅助光P照射到立体摄像机26的检测视野(左右摄像机视野的交叠区)V上。进一步，物体识别装置的集成单元20可以形成得很紧凑，从而可以将单元20的所需安装空间压缩至最小。注意，当目标物体为三维物体时，在目标物体的阴影部分中会导致辅助光没有照射的部分。然而，如上所述，投光灯单元30基本置于两个光学输入单元46和66的中央位置处，并且因此可以尽可能地缩小了辅助光没有照射的区域。

[7]实施例中说明的一种物体识别装置包括：

辅助光控制单元116，将由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光照射到与立体摄像机26的视野范围V具有预定关系的照射范围上；以及

物体识别单元110，其基于主动测距仪24的输出信号和立体摄像机26的输出信号识别目标物体。

在该物体识别装置中，由于以预定关系调整立体摄像机26的检测视野范围V和辅助光照射范围W，因此可以将辅助光有效地照射到立体摄像机26的目标物体上。

[8]实施例中说明的一种物体识别装置包括：

主动测距仪24，具有将光照射到目标物体上的投光灯单元30，并且基于从目标物体反射的光确定至该目标物体的距离；

立体摄像机26，基于来自目标物体的图像信息确定至该目标物体的距离；

调整单元，针对立体摄像机26的视野范围V或视野范围V的基准位置，调整由主动测距仪24的投光灯单元30发射的光作为立体摄像机26的辅助光照射的区域W。

[9]实施例中说明的一种物体识别装置是根据第[8]项的物体识别装置，其中

投光灯单元30具有光源50和机械地扫描发自光源50的光通量的扫描单元52，并且投光灯单元30通过调整光源50的发光定时与扫描单元52的操作定时之间的关系来调整待照射辅助光的范围W。

[10]实施例中说明的物体识别装置是根据第[8]项的物体识别装置，其中

投光灯单元30具有调整单元，对发自投光灯单元30的光通量的照射角进行调整。

[11]实施例中说明的一种物体识别装置包括：

主动测距仪24，具有将光照射到目标物体上的投光灯单元30，且基于从目标物体反射的光确定至目标物体的距离；

辅助光控制单元116，针对立体摄像机26的成像操作，使得主动测距仪24的投光灯单元30作为立体摄像机26的辅助光照射单元在预定定时操作；以及

物体识别单元110，基于主动测距仪24的输出信号和立体摄像机26的输出信号识别目标物体。

在该物体识别装置中，投光灯单元30作为辅助光照射单元针对立体摄像机26的拍摄操作以预定定时操作。因此，仅在成像操作周期内的必要周期期间有效地照射辅助光。

[12]实施例中说明的一种物体识别装置是根据第[11]项的物体识别装置，其中

辅助光控制单元116在一次成像操作中照射预定照射范围。

[13]实施例中说明的一种物体识别装置是根据第[11]项的物体识别装置，其中

辅助光控制单元116在多次成像操作中照射预定的不同的照射范围。

在该物体识别装置中，在物体亮度比较亮的情况下，并当摄像单元的曝光周期(电荷存储周期)极短时(在这种情况下，不可能在一次成像操作期间[在曝光周期期间]将辅助光照射到整个必要照射范围上)，在多次成像操作中分别将辅助光照射到必要照射范围上。

[14]实施例中说明的一种物体识别装置是根据第[11]项的物体识别装置，其中

辅助光控制单元116使得主动测距仪24的投光灯单元30有选择地仅在多次成像操作中的特定成像操作中操作。

在该物体识别装置中，防止不必要地多次执行照射辅助光。因此，可以延长投光灯单元30的寿命。

[15]实施例中说明的一种物体识别装置包括：

立体摄像机26，基于来自目标物体的图像信息确定至目标物体的距离，所述立体摄像机设置在车室14内；

辅助光控制单元116，控制投光灯单元操作以照射由主动测距仪24的投光灯单元110发射的光作为立体摄像机26的辅助光，其中

立体摄像机26具有可以捕获从投光灯单元30发射的红外光的部分或全部频域作为可用灵敏度区域的光谱灵敏度。

在该物体识别装置中，在立体摄像机26的光谱灵敏度和投光灯单元30的光谱灵敏度中产生交叠区。因此，主动测距仪24的投光灯单元30可以有效地用作立体摄像机26的辅助光照射单元。

[16]实施例中说明的一种物体识别装置包括：

立体摄像机26还具有图像信号放大器，并且控制该图像信号放大器的增益以根据伴随从立体摄像机26获得的辅助光的图像亮度信息而变化。

在该物体识别装置中，当由于外部光的状况(红外干扰光的状况随晴天、夜间等而不同)以及至目标物体的距离的关系，不能良好地执行采用辅助光的立体图像拍摄时，自动执行增益增加。因此，始终可以进行良好的辅助光拍摄。

[17]实施例中说明的一种物体识别装置包括：

辅助光控制单元116基于从立体摄像机26获得的图像信息执行对作为辅助光照射单元的投光灯30的控制。

在该物体识别装置中，以适当的方式执行对立体摄像机26的必要辅助光照射。因此，具有可以实现能量的有效利用优势。

[18]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的图像信息执行对作为辅助光照射单元的投光灯单元30的开/关控制。

在该物体识别装置中，当基于立体图像信息确定辅助光不必要时控制辅助光使其关闭。因此，可以实现能量等有效利用。

[19]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的图像信息对作为辅助光照射单元的投光灯单元30执行光强控制。

在该物体识别装置中，当确定辅助光强度不需要那么强时，或者当基于立体图像信息确定由于辅助光强度强会带来某种负作用时，自动减弱辅助光强度。另一方面，当基于立体图像信息确定需要强辅助光时，自动增强辅助光强度。因此，可以根据情况设定合适的辅助光强度。

[20]实施例中说明的一种物体识别装置是根据第[19]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的图像信息，执行对投光灯单元30的光强的条件控制，使得目标物体的亮度落入预定亮度范围内。

[21]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

当根据从立体摄像机26获得的图像信息确定在目标区域内可能有人时，辅助光控制单元116关闭投光灯单元30，或者使得光强减弱。

在该物体识别装置中，通过照射辅助光防止伤害到人体。

[22]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的图像信息，控制来自作为辅助光照射单元的投光灯单元30的投光灯光斑大小。

通常，当通过激光雷达试图检测可能位于远处的目标物体时，通过使投光灯光斑直径变大而使覆盖的测距区变大，并且由激光雷达检测车辆的反射器。在该物体识别装置中，可以同时利用关于立体图像的信息，并且因此当检测车辆的反射器位置时，可以将小直径、强光强的激光照射到该位置上。结果，提高了激光雷达的测距性能。

[23]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的图像信息对作为辅助光照射单元的投光灯单元30的照射范围W进行控制。

在该物体识别装置中，辅助光可以仅照射所需的照射范围。因此，可以实现能量的有效利用。

[24]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

在开始操作时，辅助光控制单元116将作为辅助光照射单元的投光灯单元30从关闭状态或从光强相当弱的状态逐渐增强到光强相当强的状态。

在该物体识别装置中，可以降低在突然进行强光强操作时导致的能量损耗。

[25]实施例中说明的一种物体识别装置是根据第[22]项的物体识别装置，其中

[26]实施例中说明的一种物体识别装置是根据第[17]项的物体识别装置，其中

辅助光控制单元116根据从立体摄像机26获得的亮度信息对作为辅助光照射单元的投光灯单元30进行控制。

在该物体识别装置中，可以根据亮度信息照射辅助光，使得当亮度高时减弱辅助光强度，并且当亮度低时增强辅助光强度。因此，可以根据亮度设定辅助光的必要强度并且可以实现能量的有效利用。

[27]实施例中说明的一种物体识别装置包括：

辅助光控制单元116根据从立体摄像机获得的图像信息执行对作为辅助光照射单元的投光灯30的控制，并且执行对立体摄像机26的受光灵敏度的调整。

在该物体识别装置中，可以精确照射立体摄像机26所必要的辅助光。另外，可以根据立体摄像机26的输出信号S2的大小处理信号。因此，可以实现能量的有效利用，并且可以确保立体摄像机26的输出信号S2的必要动态范围。

[28]实施例中说明的一种物体识别装置包括：

主动测距仪24，具有将光照射到目标物体上的投光灯单元30，且基于从目标物体的反射光确定至目标物体的距离；

校准执行单元，利用来自主动测距仪24的距离输出信号S1执行对立体摄像机26的距离输出信号的校准。

立体摄像机一般具有复杂而精密的光学机构，并且可能由于诸如振动之类的因素导致光学系统的准直(alignment)随时间而变动。与之相对，主动测距仪24更能够抵抗随时间的变化。在该物体识别装置中，可以利用主动测距仪24的距离输出信号S1来适当地执行对立体摄像机26的距离输出信号S2的校准。因此，可以实现随时间变化很小的物体识别装置。

[29]实施例中说明的一种车载物体识别装置包括：

物体识别单元116，基于主动测距仪24的输出信号S1和立体摄像机26的输出信号S2识别目标物体；

运转状况输入单元，输入车辆12的运转状况，其中

辅助光控制单元116基于由运转状况输入单元输入的运转状况确定作为辅助光照射单元的投光灯单元30的照射范围W。

在该物体识别装置中，基于由运转状况输入装置输入的运转状况，可以将辅助光集中地照射到立体摄像机26的检测视野范围V的所需区域或重要区域。因此，可以实现能量的有效利用等。

[30]实施例中说明的一种物体识别装置是根据第[29]项的物体识别装置，其中

运转状况输入单元是输入车辆方向盘的舵转角的输入单元，并且

辅助光控制单元116基于从运转状况输入单元输入的方向盘的舵转角来确定作为辅助光照射单元的投光灯单元30的照射范围。

在该物体识别装置中，可以将辅助光仅照射到立体摄像机26的检测视野V中的与方向盘转向的方向对应的区域上。因此，可以有效利用能量等。

[31]实施例中说明的一种物体识别装置包括：

可靠性判定单元118，基于主动测距仪24的输出信号S1和立体摄像机26的输出信号S2判定物体识别性能的可靠性。

在该物体识别装置中，通过比较主动测距仪24的距离输出信号S1和立体摄像机26的距离输出信号S2来执行对可靠性的判定。因此，当损害到可靠性时，可以迅速而准确地处理问题。

[32]实施例中说明的一种物体识别装置，包括：

立体摄像机26，包括摄像单元46，从目标物体获得图像信息，并且通过使得该摄像单元46周期性地操作来周期性地确定至目标物体的距离；

投光灯控制单元96、120，在摄像单元46的操作周期期间，使投光灯单元30在执行电荷存储的时间帧内作为立体摄像机26的辅助光照射单元进行操作，并且使投光灯单元30在执行电荷存储的时间帧以外作为主动测距仪24进行操作。

在该物体识别装置中，可以周期性地执行采用辅助光的立体摄像机26的成像操作，并且在其间隔之间执行主动测距仪24的初始测距操作。因此，在受限周期内可有效地操作主动测距仪24和立体摄像机26的检测系统两者。

[33]实施例中说明的一种物体识别装置是根据第[1]至[8]项以及[10]至[32]之一的物体识别装置，其中

投光灯单元30包括光源50以及机械地扫描发自光源50的光通量的扫描单元52(54，56)。

[34]实施例中说明的一种物体识别装置是根据第[1]至[32]项之一的物体识别装置，其中

所述主动测距仪24为激光雷达。

[35]实施例说明了一种物体识别装置中的校准方法，所述物体识别装置包括：

主动测距仪24，具有投光灯单元30，将光照射到目标物体上且基于从目标物体的反射光确定至目标物体的距离；

利用从主动测距仪24获得的距离输出信号执行对立体摄像机26的距离输出信号的校准。

(变型例)

实施例中示出的物体识别装置包括以下变型例。

提供了一种构成要件，使激光光源50操作后发光强度立即处于关闭或相当弱的状态，并且从此状态开始逐次变强。

由于在环境明亮的状态下避免突然发射具有强光强的激光束，并且当不必要求激光光源50的辅助光时，可以避免能量浪费。

工业适用性

采用该装置可以高精度地识别周围状况。因此，例如将该装置安装在诸如车辆等的移动体上，从而在实现移动体的安全驾驶时，该装置极为有用。

Claims

1、一种物体识别装置，包括：

主动测距仪(24)，具有将光照射到目标物体上的投光灯单元(30)，并且基于从目标物体反射的光确定至目标物体的距离；

立体摄像机(26)，基于来自目标物体的图像信息确定至目标物体的距离；

物体识别单元(110)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号识别目标物体；以及

辅助光控制单元(116)，控制投光灯单元(30)操作以照射由主动测距仪(24)的投光灯单元(30)发射的光作为立体摄像机(26)的辅助光。

2、一种车载物体识别装置，包括：

立体摄像机(26)，基于来自目标物体的图像信息确定至目标物体的距离；以及

物体识别单元(110)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号识别目标物体，其中

所述主动测距仪(24)和所述立体摄像机(26)设置在车室(14)内。

3、一种物体识别装置，包括：

物体识别单元(110)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号识别目标物体；

辅助光控制单元(116)，控制投光灯单元(30)操作以照射由主动测距仪(24)的投光灯单元(30)发射的光作为立体摄像机(26)的辅助光；以及

防护玻璃(16)，置于立体摄像机(26)前面，其中

对于所述防护玻璃(16)，包括从主动测距仪(24)的投光灯单元(30)照射的并从目标物体反射的光入射的区域的预定区域E用作红外光透过区，而该预定区域之外的区域用作红外光透过受限区。

4、一种物体识别装置，包括：

防护玻璃(16)，置于所述立体摄像机前面，其中

所述防护玻璃(16)具有可透过从投光灯单元(30)发射的红外光的部分或全部频域的可用灵敏度区域。

5、一种物体识别装置，包括：

辅助光控制单元(116)，控制投光灯单元(30)操作以照射由主动测距仪(24)的投光灯单元(30)发射的光作为立体摄像机(26)的辅助光，其中

所述主动测距仪(24)的投光灯单元(30)和所述立体摄像机(26)嵌入同一外壳中以进行使用。

6、根据权利要求5所述的物体识别装置，其中

立体摄像机(26)具有两个光学输入单元(46，66)以从不同视线方向获得关于目标物体的图像信息，并且

将投光灯单元(30)安装在立体摄像机(26)的两光学输入单元(46，66)之间的基本中央位置处。

7、一种物体识别装置，包括：

辅助光控制单元(116)，将由主动测距仪(24)的投光灯单元(30)发射的光作为立体摄像机(26)的辅助光照射到与立体摄像机(26)的视野范围具有预定关系的照射范围上；以及

物体识别单元(110)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号识别目标物体。

8、一种物体识别装置，包括：

主动测距仪(24)，具有将光照射到目标物体上的投光灯单元(30)，并且基于从目标物体的反射光确定至目标物体的距离；

调整单元，针对立体摄像机(26)的视野范围或视野范围的基准位置，调整由主动测距仪(24)的投光灯单元(30)发射的光作为立体摄像机(26)的辅助光照射的区域。

9、根据权利要求8所述的物体识别装置，其中

投光灯单元(30)具有光源(50)和机械地扫描来自光源(50)的光通量的扫描单元(52)，并且通过调整光源(50)的发光定时与扫描单元(52)的操作定时之间的关系来调整待作为辅助光照射的范围。

10、根据权利要求8所述的物体识别装置，其中

投光灯单元(30)具有调整单元，对发自投光灯单元(30)的光通量的照射角进行调整。

11、一种物体识别装置，包括：

辅助光控制单元(116)，对于立体摄像机(26)的成像操作，使主动测距仪(24)的投光灯单元(30)在预定定时作为立体摄像机(26)的辅助光照射单元操作；以及

物体识别单元(110)，其基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号识别目标物体。

12、根据权利要求11所述的物体识别装置，其中

辅助光控制单元(110)包括在一次成像操作中照射预定照射范围的照射单元。

13、根据权利要求11所述的物体识别装置，其中

辅助光控制单元(110)包括在多次成像操作中照射预定的不同的照射范围的照射单元。

14、根据权利要求11所述的物体识别装置，其中

辅助光控制单元(110)包括操作单元，该操作单元使得主动测距仪(24)的投光灯单元(30)有选择地仅在多次成像操作中的特定成像操作中操作。

15、一种物体识别装置，包括：

主动测距仪(24)，具有将光照射到目标物体上的投光灯单元(30)，且基于从目标物体的反射光确定至目标物体的距离；

立体摄像机(26)，基于来自目标物体的图像信息确定至目标物体的距离，所述立体摄像机设置在车室内；

立体摄像机(26)具有可以捕获从投光灯单元(30)发射的红外光的部分或全部频域作为可用灵敏度区域的光谱灵敏度。

16、一种物体识别装置，包括：

所述立体摄像机(26)还具有图像信号放大器，并且控制该图像信号放大器的增益以根据伴随立体摄像机(26)获得的辅助光的图像亮度信息变化。

17、一种物体识别装置，包括：

所述辅助光控制单元(116)基于从立体摄像机(26)获得的图像信息执行对作为辅助光照射单元的投光灯(30)的控制。

18、根据权利要求17所述的物体识别装置，其中

所述辅助光控制单元(116)根据从立体摄像机(26)获得的图像信息执行对作为辅助光照射单元的投光灯单元(30)的开/关控制。

19、根据权利要求17所述的物体识别装置，其中

所述辅助光控制单元(116)根据从立体摄像机(26)获得的图像信息对作为辅助光照射单元的投光灯单元(30)执行光强控制。

20、根据权利要求19所述的物体识别装置，其中

所述辅助光控制单(116)根据从立体摄像机(26)获得的图像信息，执行对投光灯单元(30)的光强的条件控制，使得目标物体的亮度落入预定亮度范围内。

21、根据权利要求17所述的物体识别装置，其中

当根据从立体摄像机(26)获得的图像信息确定在目标区域内可能有人时，所述辅助光控制单元(116)关闭投光灯单元(30)，或者使得光强减弱。

22、根据权利要求17所述的物体识别装置，其中

所述辅助光控制单元(116)根据从立体摄像机(26)获得的图像信息，控制来自作为辅助光照射单元的投光灯单元(30)的投光灯光斑大小。

23、根据权利要求17所述的物体识别装置，其中

所述辅助光控制单元(116)根据从立体摄像机(26)获得的图像信息对作为辅助光照射单元的投光灯单元(30)的照射范围进行控制。

24、根据权利要求17所述的物体识别装置，其中

在开始操作时，所述辅助光控制单元(116)将作为辅助光照射单元的投光灯单元(30)从关闭状态或从光强相当弱的状态逐渐增强到光强相当强的状态。

25、根据权利要求22所述的物体识别装置，其中

在开始操作时，辅助光控制单元(116)将作为辅助光照射单元的投光灯单元(30)从关闭状态或从光强相当弱的状态逐渐增强到光强相当强的状态。

26、根据权利要求17所述的物体识别装置，其中

所述辅助光控制单元(116)根据从立体摄像机(26)获得的亮度信息对作为辅助光照射单元的投光灯单元(30)进行控制。

27、一种物体识别装置，包括：

辅助光控制单元(116)根据从立体摄像机(26)获得的图像信息执行对作为辅助光照射单元的投光灯(30)的控制，并且执行对立体摄像机(26)的受光灵敏度的调整。

28、一种物体识别装置，其特征在于包括：

校准执行单元，利用主动测距仪(24)的距离输出信号执行对立体摄像机(26)的距离输出信号的校准。

29、一种车载物体识别装置，包括：

主动测距仪(24)，具有将光照射到目标物体上的投光灯单元(30)，且基于从目标物体反射的光确定至目标物体的距离；

运转状况输入单元，输入车辆的运转状况，其中

所述辅助光控制单元(116)基于由运转状况输入单元输入的操作条件确定作为辅助光照射单元的投光灯单元(30)的照射范围。

30、根据权利要求29所述的物体识别装置，其中

所述运转状况输入单元是输入车辆方向盘的舵转角的输入单元，并且

所述辅助光控制单元(116)基于从运转状况输入单元输入的方向盘的舵转角来确定作为辅助光照射单元的投光灯单元(30)的照射范围。

31、一种物体识别装置，包括：

可靠性判定单元(118)，基于主动测距仪(24)的输出信号和立体摄像机(26)的输出信号判定物体识别性能的可靠性。

32、一种物体识别装置，其特征在于包括

立体摄像机(26)，包括摄像单元(46)，从目标物体获得图像信息，并且通过使得该摄像单元(46)周期性地操作来周期性地确定至目标物体的距离；

投光灯控制单元(96，120)，在摄像单元(46)的操作周期期间，使得投光灯单元(30)在执行电荷存储的时间帧内作为立体摄像机(26)的辅助光照射单元(116)进行操作，并且使得投光灯单元(30)在执行电荷存储的时间帧以外作为主动测距仪(24)进行操作。

33、根据权利要求1至8以及10至32中的一个所述的物体识别装置，其中

投光灯单元(30)包括光源(50)以及机械地扫描来自光源(50)的光通量的扫描单元(52)。

34、根据权利要求1至32中的一个所述的物体识别装置，其中

所述主动测距仪(24)为激光雷达。