CN101130353A - 摄像系统、车辆乘员检测系统、动作装置控制系统、车辆 - Google Patents

Abstract

本发明提供摄像系统、车辆乘员检测系统、动作装置控制系统、车辆，特别提供一种对高精度地检测多个对象物的拍摄图像有效的技术。作为本发明的摄像系统的对象物检测系统(100)构成如下结构：使由对象物A及对象物B的各对象物反射的入射光通过光学系统(114)入射到距离测量图像芯片(116)，由此将对象物A及对象物B的全部或一部分重叠后的成像投影到距离测量图像芯片(116)的规定成像区域(116a)，并且通过遮光滤光器(118)在该成像区域(116a)分别独立地形成仅投影对象物A的状态和仅投影对象物B的状态。

Description

摄像系统、车辆乘员检测系统、动作装置控制系统、车辆

技术领域

本发明涉及一种用于构筑摄像系统的技术，通过所述摄像系统可得到多个对象物的拍摄图像。

背景技术

以往，公知有利用照相机等摄像单元检测与车辆乘员座椅上的就座物有关的信息的各种技术。例如，在下述专利文献1中公开了利用设在车辆乘员前方的单一照相机来检测该车辆乘员的位置的乘员检测装置的结构。

专利文献1：特开2003-294855号公报

然而，公知的是，如上述专利文献1中记载的乘员检测装置，在利用照相机检测与车辆乘员有关的信息的情况下，照相机视野角度越扩大，例如超过90度而扩大，通过光学透镜在图像芯片的成像区域内成像的光量越向透镜周边越少，并且在图像芯片的成像区域内成像的图像的失真在周边区域比中央区域大，因而会降低车辆乘员的检测精度。因此，要想同时检测驾驶座侧和副驾驶座侧双方的车辆乘员，就需要使用高亮度且失真象差少的价格高昂的透镜，或者使用多个照相机，由此会导致装置成本上升。并且，为了得到车辆乘员的位置、姿势、体格、动作等详细信息，在使用3D照相机检测车辆乘员的距离信息的情况下，产生与该车辆乘员的距离有关的精度降低、偏差，难以高精度地得到所希望的信息。并且，这种问题不仅在装载于车辆上对车内的多个对象物进行拍摄的照相机中产生，而且在对车外的多个对象物进行拍摄的照相机以及对与汽车无关的场景的多个对象物进行拍摄的照相机中也产生。因此，在设计这种检测系统时，要求对以高精度检测与多个对象物有关的所希望的信息有效的技术。

发明内容

本发明就是鉴于上述问题提出的，其目的在于提供一种对高精度地检测多个对象物的拍摄图像有效的技术。

为了解决上述问题，构成本发明。本发明典型地适用于在汽车中得到车辆乘员座椅上的多个对象物的拍摄图像的摄像系统，也同样可以相对于与汽车以外的车辆，例如飞机、船舶、电车、公共汽车等有关的摄像系统以及其他的用于得到与车辆无关的对象物的拍摄图像的摄像系统应用本发明。

(本发明的第一发明)

解决上述问题的本发明的第一发明是如技术方案1所述的摄像系统。

技术方案1所述的该摄像系统，用于得到多个对象物的拍摄图像，特别是，至少具有第一照射单元、第二照射单元、驱动单元、摄像单元、遮光单元、处理单元。在此所称的“对象物”中广泛包含车辆乘员、车辆乘员以外的载置物、儿童座椅、幼儿座椅以及与车辆无关的各种对象物。

本发明的第一照射单元构成产生朝向第一对象物的照射光的单元，另一方面，本发明的第二照射单元构成产生朝向不同于第一对象物的第二对象物的照射光的单元。所述照射单元还称作“发光单元”或“照明单元”。

本发明的驱动单元构成为，在第一照射单元侧的照射光量较多的第一动作状态和第二照射单元侧的照射光量较多的第二动作状态之间对第一照射单元及第二照射单元进行切换驱动。即，在本发明中，排他性或择一性地选择第一动作状态或第二动作状态。作为第一动作状态的具体例子，除了以使第一照射单元的照射光量比第二照射单元的照射光量多的方式使各照射单元点亮的情况以外，可举出使第一照射单元点亮，并且使第二照射单元熄灭的情况。另一方面，作为第二动作状态的具体例子，除了以使第二照射单元的照射光量比第一照射单元的照射光量多的方式使各照射单元点亮的情况以外，可举出使第二照射单元点亮，并且使第一照射单元熄灭的情况。

另外，在第一动作状态或第二动作状态下对该驱动单元进行驱动的驱动开始时刻、选择第一动作状态和第二动作状态中任意一个的驱动切换时刻等的控制，典型的可通过在该驱动单元本身设有的控制部或与该驱动单元独立设置的控制单元来进行。

本发明的摄像单元构成如下的单元：具有光学系统和图像芯片，使由第一对象物及第二对象物的各对象物反射的反射光，通过光学系统入射到图像芯片，由此可将第一对象物和第二对象物的全部或一部分重叠后的成像投影到该图像芯片的规定成像区域。在此所称的“光学系统”是用于实现光学功能的单元，其典型地构成如下光学单元：

使用如使光反射或折射的结构的透镜或透镜组、棱镜、反射镜以及其他光学元件等而构成。该光学系统也被称作有助于成像的成像系统。并且，在此所称的“图像芯片”中包含用于得到三维图像的3D图像芯片(距离测量图像芯片)、用于得到二维图像的2D图像芯片。

入射到该图像芯片的一部分入射光被本发明的遮光单元隔断，投影在该图像芯片的规定成像区域的成像，通过本发明的处理单元作为图像信息而输出。该处理单元，典型地具有进行用于得到高品质图像的照相机控制、用于对拍摄的图像进行加工分析的图像处理控制的图像处理功能、运算控制软件、校正用数据、前处理用的帧缓冲存储器、记录(存储)用于识别运算的定义数据或基准图形的存储功能等。

特别是在本发明中，驱动单元以第一动作状态进行驱动时，遮光单元隔断小于从第一照射单元照射并由第一对象物反射后入射到图像芯片的入射光量的光量。即，在第一照射单元侧的照射光量大于第二照射单元侧的第一动作状态的情况下，光量比来自第一照射单元的照射光小的光，具体而言，普通光(自然光或太阳光)、来自第二照射单元的照射光被该遮光单元隔断，从而阻止入射到图像芯片。因此，在该第一动作状态下，在图像芯片的规定成像区域上，仅投影第一对象物。然后，处理单元根据驱动单元处于第一动作状态的信息，将投影在图像芯片的规定成像区域上的成像作为与第一对象物有关的图像信息而输出。由此，在第一动作状态下，可得到与第一对象物有关的图像信息。

另一方面，驱动单元以第二动作状态进行驱动时，遮光单元隔断小于从第二照射单元照射并由第二对象物反射后入射到图像芯片的入射光量的光量。即，在第二照射单元侧的照射光量大于第一照射单元侧的第二动作状态的情况下，光量比来自第二照射单元的照射光小的光，具体而言，普通光(自然光或太阳光)、来自第一照射单元的照射光被该遮光单元隔断，从而阻止入射到图像芯片。因此，在该第二动作状态下，在图像芯片的规定成像区域上，仅投影第二对象物。然后，处理单元根据驱动单元处于第二动作状态的信息，将投影在图像芯片的规定成像区域上的成像作为与第二对象物有关的图像信息而输出。由此，在第二动作状态下，可得到与第二对象物有关的图像信息。

根据技术方案1所述的成像系统的这种结构，由于利用摄像单元的图像芯片中的规定成像区域，在同一该成像区域至少形成两个焦点，并且该在成像区域分别独立地形成仅投影第一对象物的状态和仅投影第二对象物的状态，从而能够将同一成像区域兼用作投影两个对象物的投影区域。由此能够改善构成光学系统的光学透镜的透镜外周部的亮度降低、产生失真象差的情况，并能够以高精度构筑小型化光学系统，因而无需使用高亮度且失真象差少的价格高昂的透镜，或者使用多个照相机，能够减少装置成本。

另外，在本发明中，只要能够至少得到两个对象物的拍摄图像即可，也可以根据需要构成为检测3个以上的对象物的拍摄图像。关于本结构，可采用如下的摄像单元：使由多个对象物的各对象物反射的反射光，通过光学系统入射到图像芯片，由此可将多个对象物的全部或一部分重叠后的成像投影到该图像芯片的规定成像区域。

(本发明的第二发明)

解决上述问题的本发明的第二发明是如技术方案2所述的摄像系统。

在技术方案2所述的该摄像系统中，技术方案1所述的驱动单元构成如下结构：在第一动作状态下进行驱动，以仅使第一照射单元产生照射光，另一方面，在第二动作状态下进行驱动，以仅使第二照射单元产生照射光。

根据技术方案2所述的摄像系统的这种结构，由于可进行仅使各照射单元点亮及熄灭的控制，因而与各照射单元的照射光量可变的情况相比，能够简化控制。

(本发明的第三发明)

解决上述问题的本发明的第三发明是如技术方案3所述的摄像系统。

技术方案3所述的该摄像系统，在技术方案1或技术方案2所述的结构中，构成装载于车辆上的车辆用摄像系统。在此所称的“车辆”包含以汽车为代表的飞机、船舶、电车、公共汽车、卡车等各种车辆。

本发明的第一照射单元构成产生朝向作为第一对象物的第一车辆乘员的照射光的结构，本发明的第二照射单元构成产生朝向作为第二对象物的不同于第一车辆乘员的第二车辆乘员的照射光的结构。

本发明的摄像单元构成如下的结构：使由第一车辆乘员及第二车辆乘员的各车辆乘员反射的反射光，通过光学系统入射到上述图像芯片，由此可将第一车辆乘员及第二车辆乘员的全部或一部分重叠后的成像投影到规定成像区域。

在本发明中，特别构成如下结构：驱动单元以第一动作状态进行驱动时，遮光单元隔断小于从第一照射单元照射并由第一车辆乘员反射后入射到图像芯片的入射光量的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的上述规定成像区域的成像作为与第一车辆乘员有关的图像信息而输出的处理。

另一方面，构成如下结构：驱动单元以第二动作状态进行驱动时，遮光单元隔断小于从第二照射单元照射并由第二车辆乘员反射后入射到图像芯片的入射光量以下的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的规定成像区域的成像作为与第二车辆乘员有关的图像信息而输出的处理。

另外，关于以第一动作状态、第二动作状态对该驱动单元进行驱动的驱动开始时刻，典型的是，检测到乘员乘车的时刻被设定为该驱动开始时刻，具体而言，检测到安全带带扣安装到车辆座椅上或通过车辆座椅的重量传感器检测到乘员就座的时刻被设定为该驱动开始时刻。并且，根据预先设定的时刻表适当设定可以选择第一动作状态及第二动作状态中任意一个驱动切换时刻。

根据技术方案3所述的摄像系统的这种结构，由于能够在车辆中，改善产生构成光学系统的光学透镜的透镜外周部的亮度降低、失真象差的情况，并能够以高精度构筑小型光学系统，因而对同时高精度地检测多个车辆乘员有效。特别是如车辆这样，在有限的空间内配置摄像单元的情况下，例如难以同时高精度地检测驾驶座侧和副驾驶座侧双方的车辆乘员，但本发明对解决这种问题特别有效。

(本发明的第四发明)

解决上述问题的本发明的第四发明是如技术方案4所述的车辆乘员检测系统。

技术方案4所述的该车辆乘员检测系统，除了技术方案3所述的摄像系统以外，还至少具有检测单元。本发明的检测单元构成根据由摄像系统的处理单元输出的、第一车辆乘员及第二车辆乘员中任一方的图像信息，检测与该车辆乘员的体格、位置或姿势有关的车辆乘员信息的单元。通过该检测单元检测出的车辆乘员信息，可适用于与为了约束该车辆乘员而动作的乘员约束单元例如气囊装置、安全带装置、警报设备(显示输出、声音输出等)等有关的控制中。

根据技术方案4所述的车辆乘员检测系统这种结构，能够高精度地检测与车辆乘员有关的车辆乘员信息。

(本发明的第五发明)

解决上述问题的本发明的第五发明是如技术方案5所述的动作装置控制系统。

技术方案5所述的该动作装置控制系统，构成至少具有技术方案4所述的车辆乘员检测系统、根据由该车辆乘员检测系统的检测单元检测出的车辆乘员信息进行动作的动作装置、对动作装置的驱动进行控制的控制单元的结构。在本发明的动作装置中，包括进行警报输出的警报装置、进行动作以通过气囊、安全带约束乘员的乘员约束装置等。

因此，根据技术方案5所述的动作装置控制系统的这种结构，由于以与车辆乘员检测系统的检测单元检测出的车辆乘员信息的检测结果对应的适当方式，对动作装置进行驱动控制，因而能够实现动作装置的非常细致的控制。

(本发明的第六发明)

解决上述问题的本发明的第六发明是如技术方案6所述的车辆。

技术方案6所述的该车辆至少包括发动机行驶系统、电装系统、驱动控制装置、车辆乘员信息检测装置。发动机行驶系统构成与发动机和车辆的行驶有关的系统。电装系统构成与车辆使用的电子部件有关的系统。驱动控制装置构成具有进行发动机行驶系统和电装系统的驱动控制的功能的装置。车辆乘员信息检测装置构成检测与车辆乘员座椅上的车辆乘员的体格、位置或姿势有关的车辆乘员信息的装置。在本发明中，该车辆乘员信息检测装置使用技术方案4所述的车辆乘员检测系统构成。

因此，根据技术方案6所述的发明，可提供装载车辆乘员检测系统的车辆，所述车辆乘员检测系统可以利用摄像装置高精度地检测出与车辆乘员座椅上的车辆乘员有关的信息。

发明效果

如上所述，根据本发明，在用于得到多个对象物的拍摄图像的摄像系统中，特别是通过使由第一对象物及第二对象物的各对象物反射的入射光通过光学系统入射到图像芯片，从而能够将第一对象物及第二对象物的全部或一部分重叠后的成像投影到该图像芯片的规定成像区域的摄像单元，并且通过遮光单元在该成像区域分别独立地形成仅投影第一对象物的状态和仅投影第二对象物的状态，根据该结构，能够高精度地检测多个对象物的拍摄图像。

附图说明

图1是表示本实施方式的车载用对象物检测系统100的结构的图。

图2是示意性地表示使用本实施方式的对象物检测系统100得到拍摄图像的情况的图。

图3是表示在本实施方式的照相机112中，距离测量图像芯片116的成像区域116a的情况的图。

图4是表示在本实施方式的照相机112中，距离测量图像芯片116的成像区域116a的情况的图。

图5是本实施方式的对象物检测系统100中的“图像信息选择处理控制”的流程图。

图6是示意性地表示具有另一实施方式的光学系统314的对象物检测系统300的图。

具体实施方式

下面，参照图1至图5说明作为本发明中的“摄像系统”、“车辆乘员检测系统”或“车辆乘员信息检测装置”的一个实施方式的对象物检测系统100。

本实施方式的车载用对象物检测系统100的结构如图1所示。

本实施方式的对象物检测系统100，为了在作为本发明中的“车辆”的汽车车辆中，检测与以车辆乘员为代表的车内对象物有关的信息而装载。如图1所示，该对象物检测系统100以摄像装置110、照明装置130、控制/运算部150为主体而构成。

而且，该对象物检测系统100与车辆侧的作为驱动控制装置的ECU200及乘员约束单元210一起构成发生车辆事故时约束车辆乘员的“乘员约束装置”。此外，虽然没有特别图示，但该车辆具有作为与发动机和车辆的行驶有关的系统的“发动机行驶系统”、作为与车辆使用的电子部件有关的系统的“电装系统”、对发动机行驶系统及电装系统进行驱动控制的“驱动控制装置(ECU200)”。

本实施方式的摄像装置110构成包括作为拍摄设备的照相机112和数据传输电路(省略图示)的结构。照相机112构成为在使用CCD(电荷耦合器件)的基础上，将光传感器配置成阵列状(格子状)的3D(三维图像)式的照相机(也称作“监视器”)。该照相机112具有光学透镜114和距离测量图像芯片116。在本实施方式中，该光学系统114是用于实现光学功能的设备，其构成如下光学单元：使用如使光反射或折射的结构的透镜或透镜组、棱镜、反射镜以及其他光学元件等而构成。该光学系统114也被称为有助于成像的成像系统。距离测量图像芯片116构成3D式照相机中的CCD(电荷耦合器件)芯片，即所谓的“3D图像芯片”。在该照相机112中，通过光学透镜114入射到距离测量图像芯片116的光，在该距离测量图像芯片116的规定成像区域(后文所述的“成像区域116a”)成像。该光学系统114相当于本发明中的“光学系统”，距离测量图像芯片116相当于本发明中的“图像芯片”。

通过上述结构的照相机112，多次测量至对象物A、对象物B的距离信息而检测出立体表面形状，用在该对象物的有无、大小、位置、姿势等的识别中。并且，可利用该照相机112检测出通过光学系统114入射到距离测量图像芯片116上的光的光量或亮度信息。该照相机112的基本原理为将近红外线调制而向对象物照射，根据照射光和该照射光由对象物反射回来的反射光之间的相位差(时间的偏差)测量光的到达时刻，从而求出至对象物的距离的方式，即所谓的TOF(Time offlight：飞行时间法)方式。作为该照相机112，可以使用单眼CMOS 3D照相机、复眼立体3D照相机。该摄像装置110构成本发明中的“摄像单元”。

此外，本实施方式的照相机112以适当嵌入的形状设在汽车的内后视镜外周部、侧视镜外周部、仪表板的左右中心部分等上，并且朝向一个或多个乘员座椅的方向安装。利用该照相机112可以周期性地多次测量与驾驶座、副驾驶座、后部座椅等车辆乘员座椅上的对象物有关的信息。此外，虽然没有特别图示，但在本实施方式的对象物检测系统100中，装载有将车辆电池的电力提供给该照相机112的电源装置。通过该照相机12进行的该拍摄例如被设定为：当点火开关钥匙处于接通状态时，或者安装在驾驶座内的就座传感器(图示省略)检测到就座于该驾驶座上的车辆乘员时，开始进行拍摄。

本实施方式的照明装置130至少具有第一光源131及第二光源132、第一驱动部133及第二驱动部134。通过第一驱动部133对第一光源131进行驱动，通过第二驱动部134对第二光源132进行驱动。

第一光源131及第二光源132都构成将近红外线调制而向对象物照射的结构，第一驱动部133及第二驱动部134构成进行用于相应动作的驱动的装置。从第一光源131及第二光源132发光并由对象物反射的光，配光至照相机112。特别是，在本实施方式中，根据第一光源131及第二光源132的配置、朝向，第一光源131向驾驶座侧的车辆乘员发出照射光，并且第二光源132向副驾驶座侧的车辆乘员发出照射光。在此所称的第一光源131相当于本发明中的“第一照射单元”，第二光源133相当于本发明中的“第二照射单元”。

第一驱动部133及第二驱动部134为通过控制/运算部150进行控制的结构，根据来自该控制/运算部150的控制信号对各光源进行驱动。第一驱动部133及第二驱动部134可以分别构成为驱动部，或者也可以构成单一的驱动部。并且，也可以是第一驱动部133本身、第二驱动部134本身具有控制功能的结构。对第一光源131进行驱动的第一驱动部133以及对第二光源132进行驱动的第二驱动部134构成本发明中的“驱动单元”。

本实施方式的控制/运算部150还至少具有图像处理单元152、运算单元(MPU)154、存储单元156、输入输出单元158以及没有特别图示的外围设备等。该控制/运算部150构成进行如下处理的单元：在照相机112中将投影至距离测量图像芯片116的规定成像区域上的成像作为图像信息而输出的处理；并根据该图像导出与驾驶座侧以及副驾驶座侧的对象物有关的信息的处理。该控制/运算部150构成本发明中的“处理单元”。

图像处理单元152构成进行用于得到高品质图像的照相机控制、用于对通过照相机112拍摄的图像进行加工分析的图像处理控制的单元。具体而言，在照相机控制中，进行帧频、快门时间、灵敏度调整、精度校正，并调整动态范围、亮度、白平衡等。此外，在图像处理控制中，进行图像的旋转校正、透镜失真校正、过滤运算、差分运算等的图像前处理运算和形状判断、跟踪等的图像识别处理运算。

运算单元154根据来自图像处理单元152的信息，进行提取与对象物相关的信息的处理。具体而言，提取与对象物的有无、大小、位置、姿势等有关的信息，对于对象物为车辆乘员的情况，提取(导出)乘员的有无、乘员的大小(体格等级)、头、肩至上半身的位置、不正确位置(OOP)等。

存储单元156，除了运算控制软件外，还构成为校正用数据、前处理用的帧缓冲存储器、记录(存储)用于识别运算的定义数据或基准图形、运算单元154的处理结果等的单元。

输入输出单元158，在与进行与车辆整体有关的控制的ECU200之间，输入与车辆有关的信息、与周围的交通状况有关的信息、与天气、时区有关的信息等，并输出识别结果。作为与车辆有关的信息的例子，有车门的关闭、安全带的佩戴与否、制动器的动作、车速、转向操舵角度等。在本实施形式中，根据从该输入输出单元158输出的信息，ECU200向作为驱动对象的乘员约束单元210输出驱动控制信号。作为该乘员约束单元210，可举出进行动作以通过气囊、安全带约束乘员的装置等。该乘员约束单元210相当于本发明中的“动作装置”，对该乘员约束单元210进行驱动控制的ECU200相当于本发明中的“控制单元”。另外，在对象物检测系统100中添加ECU200和乘员约束单元210的结构相当于本发明中的“动作装置控制系统”。此外，除了作为动作装置一个方式的该乘员约束单元210外，或者代替该乘员约束单元210，还可以采用通过ECU200控制进行警报输出(显示输出、声音输出等)的警报装置的驱动的结构。

接着，参照图2至图5，说明结构如上的对象物检测系统100的具体动作。其中，在图2示意性地表示使用本实施方式的对象物检测系统100得到拍摄图像的情况；在图3及图4表示在本实施方式的照相机112中的距离测量图像芯片116的成像区域116a的情况。

如图2所示，来自第一光源131的照射光以及其他的普通光(自然光或太阳光)由驾驶座侧的对象物A反射，该反射光可通过光学系统114入射到距离测量图像芯片116。另一方面，来自第二光源132的照射光以及其他的普通光(自然光或太阳光)由副驾驶座侧的对象物B反射，该反射光可通过光学系统114入射到距离测量图像芯片116。在此所称的对象物A包含驾驶座侧的车辆乘员和其他就座物，该对象物A相当于本发明中的“第一对象物”。并且，在此所称的对象物B包含副驾驶座侧的车辆乘员和其他就座物，该对象物B相当于本发明中的“第二对象物”。

并且，在本实施方式中，由对象物A及对象物B的各对象物反射的反射光，通过光学系统114入射到距离测量图像芯片116，并导入至该距离测量图像芯片116的成像区域116a(还称作“摄像面”或“焦平面”)，从而可作为使对象物A及对象物B的全部或一部分重叠后的成像进行投影。即，本实施方式的照相机112构成如下结构：可将对象物A及对象物B重叠地投影在同一距离测量图像芯片116的成像区域，在该成像区域内具有对象物A及对象物B的两个焦点。此时，距离测量图像芯片116的成像区域116a中的对象物A及B的成像，可以如图3所示全部重叠而构成，也可以如图4所示一部分重叠而构成。该成像区域116a相当于本发明中的“规定成像区域”。

并且，本实施方式的照相机112具有隔断一部分入射光的遮光滤光器118。该遮光滤光器118构成如下的光隔断单元：在第一光源131或第二光源132处于发光状态(还称作“点亮状态”或“照射状态”)的情况下，隔断该光源不发光的状态(还称作“熄灭状态”)下的光，即该光源以外的普通光(自然光或太阳光)，以达到不能被距离测量图像芯片116检测到的程度(还称作“遮光”或“隔绝”)。该遮光滤光器118相当于本发明中的“遮光单元”。

通过利用该遮光滤光器118，在第一光源131处于发光状态，第二光源132处于熄灭状态(相当于本发明中的“第一动作状态”的状态)的情况下，距离测量图像芯片116不会检测到本来由普通光(自然光或太阳光)成像的对象物A及对象物B这两个图像，距离测量图像芯片116只会检测到由来自第一光源131的照射光成像的对象物A的图像(以下，称作“控制模式A”)。同样，在第二光源132处于发光状态，第一光源131处于熄灭状态(相当于本发明中的“第二动作状态”的状态)的情况下，距离测量图像芯片116不会检测到本来由普通光(自然光或太阳光)成像的对象物A及对象物B这两个图像，距离测量图像芯片116只会检测到由来自第二光源132的照射光成像的对象物B的图像(以下，称作“控制模式B”)。”

在此，公知的是，如上述摄像装置110，在使用照相机拍摄车辆乘员的情况下，照相机的视野角度越扩大，例如超过90而扩大，光学系统的亮度越降低，并且相比透镜中央部，在透镜外周部越产生失真，因而降低车辆乘员的检测精度。因此，在要想同时检测驾驶座侧和副驾驶座侧双方的车辆乘员的情况下，就需要使用高亮度且失真少的价格高昂的透镜，或者需要使用多个照相机，由此导致装置成本上升。并且，在为了得到车辆乘员的位置、姿势、体格、动作等详细信息而使用3D照相机检测车辆乘员的距离信息的情况下，发生与该车辆乘员的距离有关的精度降低或偏差，难以高精度地得到所希望的信息。

在本实施方式的摄像装置110中，其结构为：在照相机112的距离测量图像芯片116的同一成像区域116a形成对象物A及对象物B这两个焦点，并且在第一光源131处于发光状态的情况下，仅检测对象物A的图像信息，在第二光源132处于发光状态的情况下，仅检测对象物B的图像信息。在这种情况下，成像区域116a中的对象物A及B的焦点，可以如图3所示，是整体大致重叠的结构，也可以如图4所示，是一部分重叠的结构。该结构相当于技术方案1中的“使由第一对象物及第二对象物的各对象物反射的反射光，通过光学系统入射到图像芯片，由此可将第一对象物及第二对象物的全部或一部分重叠后的成像投影到规定成像区域”的方式、以及技术方案3中的“使由第一车辆乘员及第二车辆乘员的各车辆乘员反射的反射光，通过光学系统入射到图像芯片，由此可将第一车辆乘员及第二车辆乘员的全部或一部分重叠后的成像投影到规定成像区域”的方式。

根据本实施方式的摄像装置110，由于在距离测量图像芯片116的成像区域116a形成对象物A及对象物B的两个焦点，并且在该成像区域116a分别独立地形成仅投影对象物A的状态和仅投影对象物B的状态，从而能够将同一成像区域116a兼用作投影有对象物A及对象物B的投影区域。由此能够改善构成光学系统的光学透镜的透镜外周部的亮度降低、产生失真象差的情况，并能够以高精度构筑小型光学系统，因而无需使用高亮度且失真象差少的价格高昂的透镜，或者使用多个照相机，能够减少装置成本。并且，例如在采用将图像芯片的区域分为驾驶座侧和副驾驶座侧这两个而使用的结构的情况下，需要2倍以上象素数的图像芯片，从而成为成本上升的主要原因，但根据本实施方式的摄像装置110，能够解决这种问题，在成本方面有利。

接着，在图5表示本实施方式的对象物检测系统100中的“图像信息选择处理控制”的流程图。

首先，在图5中的步骤S101中，进行第一光源131及第二光源132中任意一个光源的选择和切换。具体而言，根据来自控制/运算部150的控制信号，对第一驱动部133及第二驱动部134进行控制，从而排他性或择一性地选择第一光源131处于发光状态且第二光源132处于熄灭状态的控制模式A、或第一光源131处于熄灭状态且第二光源132处于发光状态的控制模式B。关于所述控制模式A、控制模式B中的光源的驱动开始时刻，典型的是，检测到乘员乘车的时刻被设定为该驱动开始时刻，具体而言，检测到安全带带扣安装到车辆座椅上或通过车辆座椅的重量传感器检测到乘员就座的时刻被设定为该驱动开始时刻。并且，根据预先设定的时刻表适当设定可以选择控制模式A及控制模式B中任意一个的驱动切换时刻。

在控制模式A中，由于仅有第一光源131处于发光状态，因而通过遮光滤光器118的遮光作用，仅有从第一光源131照射并由对象物A反射的反射光，通过光学系统114而入射到距离测量图像芯片116。由此，在该控制模式A中，在距离测量图像芯片116的成像区域仅投影对象物A。另一方面，在控制模式B中，由于仅有第二光源132处于发光状态，因而通过遮光滤光器118的遮光作用，仅有从第二光源132照射并由对象物B反射的反射光，通过光学系统114而入射到距离测量图像芯片116。由此，在该控制模式B中，在距离测量图像芯片116的成像区域仅投影对象物B。

接着，在图5中的步骤S102，进行图像数据的取得处理。此时，在步骤S101设定为控制模式A的情况下，取得在距离测量图像芯片116的成像区域投影的对象物A的图像数据。相反，在步骤S101设定为控制模式B的情况下，取得在距离测量图像芯片116的成像区域投影的对象物B的图像数据。即，在要取得图像数据的对象物为驾驶座侧的对象物A的情况下，设定为仅使第一光源131处于发光状态的控制模式A，在要取得图像数据的对象物为副驾驶座侧的对象物B的情况下，设定为仅使第二光源132处于发光状态的控制模式B即可。该设定结果存储在控制/运算部150的存储单元156中。

在图5中的步骤S103中，通过读取存储在控制/运算部150的存储单元156中的信息，进行取得光源的点亮信息的处理，紧接着在步骤S104，判断点亮的光源是否为第一光源131。在步骤S104，判断点亮的光源为第一光源131的情况下(步骤S104为“是”)，进入步骤S105，在不是第一光源131的情况下，即，在判断点亮的光源为第二光源132的情况下(步骤S104为“否”)，进入步骤S106。

在步骤S105，在判断通过步骤S102取得的图像数据为驾驶座侧的对象物A的图像数据，并将该图像数据作为对象物A的图像信息而输出后，结束该图像信息选择处理控制。

另外，步骤S105中的该情况相当于技术方案1中的“驱动单元以第一动作状态进行驱动时，遮光单元隔断小于从第一照射单元照射并由第一对象物反射后入射到图像芯片的入射光量的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的规定成像区域的成像作为与第一对象物有关的图像信息而输出的处理”的方式、以及技术方案3中的“驱动单元以第一动作状态进行驱动时，遮光单元隔断小于从第一照射单元照射并由第一对象物反射后入射到图像芯片的入射光量的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的规定成像区域的成像作为与第一车辆乘员有关的图像信息而输出的处理”的方式。

在步骤S106中，进一步判断点亮的光源是否为第二光源132。在步骤S106，判断点亮的光源为第二光源132的情况下(步骤S106为“是”)，进入步骤S107，在不是第二光源132的情况下，即，在判断点亮的光源既不是第一光源131又不是第二光源132的情况下(步骤S106为“否”)，在步骤S108判断为无效图像信息，并直接结束该图像信息选择处理控制。在步骤S107，在判断通过步骤S102取得的图像数据为副驾驶座侧的对象物B的图像数据，并将该图像数据作为对象物B的图像信息而输出后，结束该图像信息选择处理控制。

另外，步骤S107中的该方式相当于技术方案1中的“驱动单元以第二动作状态进行驱动时，遮光单元隔断小于从第二照射单元照射并由第二对象物反射后入射到图像芯片的入射光量的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的规定成像区域的成像作为与第二对象物有关的图像信息而输出的处理”的方式、以及技术方案3中的“驱动单元以第二动作状态进行驱动时，遮光单元隔断小于从第二照射单元照射并由第二对象物反射后入射到图像芯片的入射光量的光量，处理单元进行根据驱动单元的动作状态，将投影到图像芯片的规定成像区域的成像作为与第二车辆乘员有关的图像信息而输出的处理”的情况。

由此，通过依次进行上述图像信息选择处理控制中的各步骤，能够高精度地检测出驾驶座侧的对象物A及副驾驶座侧的对象物B的图像信息。在这种情况下，从照相机112至对象物A或对象物B的距离，可根据来自第一光源131或第二光源132的照射光和该照射光由该对象物反射回来的反射光之间的相位差(时间的偏差)测量光的到达时间，从而求出。通过对于各对象物多次进行该测量来检测出该对象物的立体表面形状，并输出该对象物的有无、大小、位置、姿势等与该对象物有关的各种信息。然后，根据与该对象物有关的各种信息，ECU200向乘员约束单元210输出驱动控制信号，从而进行以适当的方式约束驾驶座侧、副驾驶座侧的车辆乘员的控制。由此，能够进行乘员约束单元210的非常细致的控制。

并且，根据本实施方式，可提供装载了对象物检测系统100的车辆，所述对象物检测系统100可利用摄像装置110高精度地检测出与车辆乘员座椅上的对象物有关的信息。

并且，在上述实施方式中，对作为照相机112使用3D(三维图像)式照相机的情况进行了说明，在本发明中，代替该照相机112还可以使用可以得到二维图像的2D式照相机。这种情况下的结构，可通过在图2中的对象物检测系统100的各结构要素中，将作为3D图像芯片的距离测量图像芯片116换成2D图像芯片，并省略第一光源131及第二光源132、第一驱动部133及第二驱动部134中的近红外线的调制功能的结构来适用。根据本结构，也同样能够改善构成光学系统的光学透镜的透镜外周部的亮度降低、产生失真象差的情况，并能够以高精度构筑小型光学系统。另外，在利用具有2D图像芯片的照相机的结构中，作为与对象物有关的信息，输出该对象物的有无、外形、轮廓等信息。

其他实施方式

此外，本发明并不只限于上述实施方式，也可以考虑各种应用、变形。例如，也可以实施应用上述实施方式的下述各方式。

在本发明中，也可以采用不同于图2所示的光学系统114的结构。在此，在图6示意性地表示具有另一实施方式的光学系统314的对象物检测系统300。

图6所示的对象物检测系统300，关于光学系统314以外的结构，具有与上述对象物检测系统100相同的结构。作为本发明中的“光学系统”的光学系统314具有半透明反射镜314b，在该半透明反射镜314b和驾驶座侧的对象物A及副驾驶座侧的对象物B之间，配置有在半透明反射镜314b一侧具有凹部的平面凹透镜314a、314a。一方平面凹透镜314a朝向驾驶座侧的对象物A而配置，另一方平面凹透镜314a朝向副驾驶座侧的对象物B而配置。半透明反射镜314b构成如下的半透明反射镜：对于来自驾驶座侧的对象物A的反射光，使该反射光向距离测量图像芯片116透射，另一方面，对于来自副驾驶座侧的对象物B的反射光，使该反射光向距离测量图像芯片116反射。通过利用这种结构的光学系统314，能够确保比对象物检测系统100更宽范围的视野。由此，对于驾驶座座椅、副驾驶座座椅，即使在由于座椅的移动、座椅靠背倾倒而产生车辆乘员的姿势变化的情况下，也能够相对于距离测量图像芯片116的同一成像区域116a，可靠地使对象物A及对象物B投影，由此能够可靠地得到所需信息。

并且，在上述实施方式中，对得到驾驶座侧的对象物A和副驾驶座侧的对象物B这两个对象物的拍摄图像的情况进行了说明，在本发明中，也可以根据需要构成为检测3个以上的对象物的拍摄图像。

并且，在上述实施方式中，对在检测驾驶座侧的对象物A的图像信息时使第二光源132处于熄灭状态，在检测副驾驶座侧的对象物B的图像信息时使第一光源131处于熄灭状态的情况进行了说明，在本发明中，也可以采用不使各光源处于熄灭状态的控制。例如也可以采用如下的控制方法：在检测驾驶座侧的对象物A的图像信息的情况下，使第二光源132处于比第一光源131弱的发光状态，在检测副驾驶座侧的对象物B的图像信息的情况下，使第一光源131处于比第二光源132弱的发光状态。

并且，在本发明中，通过照相机112检测的对象物，除了驾驶座侧的车辆乘员、副驾驶座侧的车辆乘员以外，广泛包含后部座椅侧的车辆乘员、各座椅上的车辆乘员以外的载置物、儿童座椅、幼儿座椅以及与车辆无关的各种对象物。在这种情况下，作为与利用上述结构的照相机112检测的对象物有关的信息，具有对象物的有无、大小、位置、距离、姿势、动作、相对于对象物的入射光量(配光量)、亮度等的信息。

此外，在上述实施方式中，虽然说明了安装在汽车上的对象物检测系统的结构，也可以相对于安装在以汽车为代表的飞机、船舶、电车、公共汽车、卡车等各种车辆上的对象物检测系统、以及在汽车以外、在屋内或屋外检测多个对象物的对象物检测系统的结构广泛应用本发明。

Claims (6)

1.一种摄像系统，用于得到多个对象物的拍摄图像，其特征在于，

包括：

第一照射单元，产生朝向第一对象物的照射光；

第二照射单元，产生朝向不同于所述第一对象物的第二对象物的照射光；

驱动单元，在第一照射单元侧的照射光量较多的第一动作状态和第二照射单元侧的照射光量较多的第二动作状态之间对所述第一照射单元及第二照射单元进行切换驱动；

摄像单元，具有光学系统和图像芯片，使由所述第一对象物及第二对象物的各对象物反射的反射光通过所述光学系统入射到所述图像芯片，从而能够将所述第一对象物和第二对象物的全部或一部分重叠后的成像投影到该图像芯片的规定成像区域；

遮光单元，隔断入射到所述图像芯片的入射光量的一部分；和

处理单元，进行将投影到所述规定成像区域的成像作为图像信息而输出的处理，

所述驱动单元以所述第一动作状态进行驱动时，所述遮光单元隔断小于从所述第一照射单元照射并由所述第一对象物反射后入射到所述图像芯片的入射光量的光量，所述处理单元进行根据所述驱动单元的动作状态将投影到所述图像芯片的所述规定成像区域的成像作为与所述第一对象物有关的图像信息而输出的处理；

另一方面，所述驱动单元以所述第二动作状态进行驱动时，所述遮光单元隔断小于从所述第二照射单元照射并由所述第二对象物反射后入射到所述图像芯片的入射光量的光量，所述处理单元进行根据所述驱动单元的动作状态将投影到所述图像芯片的所述规定成像区域的成像作为与所述第二对象物有关的图像信息而输出的处理。

2.根据权利要求1所述的摄像系统，其特征在于，所述驱动单元的结构为：在所述第一动作状态下进行驱动，以仅使所述第一照射单元产生照射光；另一方面，在所述第二动作状态下进行驱动，以仅使所述第二照射单元产生照射光。

3.根据权利要求1或2所述的摄像系统，其特征在于，

所述摄像系统，构成装载于车辆上的车辆用摄像系统；

所述第一照射单元为产生朝向作为所述第一对象物的第一车辆乘员的照射光的结构，所述第二照射单元为产生朝向作为所述第二对象物的不同于所述第一车辆乘员的第二车辆乘员的照射光的结构；

所述摄像单元构成如下的结构：使由所述第一车辆乘员及所述第二车辆乘员的各车辆乘员反射的反射光通过所述光学系统入射到所述图像芯片，从而能够将所述第一车辆乘员和所述第二车辆乘员的全部或一部分重叠后的成像投影到所述规定成像区域；

所述驱动单元以所述第一动作状态进行驱动时，所述遮光单元隔断小于从所述第一照射单元照射并由所述第一车辆乘员反射后入射到所述图像芯片的入射光量的光量，所述处理单元进行根据所述驱动单元的动作状态将投影到所述图像芯片的所述规定成像区域的成像作为与所述第一车辆乘员有关的图像信息而输出的处理；

另一方面，所述驱动单元以所述第二动作状态进行驱动时，所述遮光单元隔断小于从所述第二照射单元照射并由所述第二车辆乘员反射后入射到所述图像芯片的入射光量的光量，所述处理单元进行根据所述驱动单元的动作状态将投影到所述图像芯片的所述规定成像区域的成像作为与所述第二车辆乘员有关的图像信息而输出的处理。

4.一种车辆乘员检测系统，其特征在于，包括：

如权利要求3所述的摄像系统；和

检测单元，根据由该摄像系统的所述处理单元输出的、所述第一车辆乘员及第二车辆乘员中任一方的图像信息，检测与该车辆乘员的体格、位置或姿势有关的车辆乘员信息；

5.一种动作装置控制系统，其特征在于，包括：

如权利要求4所述的车辆乘员检测系统；

动作装置，根据由该车辆乘员检测系统的所述检测单元检测出的车辆乘员信息进行动作；和

控制单元，对所述动作装置的驱动进行控制。

6.一种车辆，其特征在于，包括发动机行驶系统、电装系统、对所述发动机行驶系统和电装系统进行驱动控制的驱动控制装置以及检测与车辆乘员座椅上的车辆乘员的体格、位置或姿势有关的车辆乘员信息的车辆乘员信息检测装置；

所述车辆乘员信息检测装置使用权利要求4所述的车辆乘员检测系统构成。

Images