CN104512411A - 车辆控制系统及图像传感器 - Google Patents

Abstract

本申请涉及一种车辆控制系统及图像传感器。其中，该车辆控制系统包括：光接收部，该光接收部包括具有不同通带的多个滤波器和多个光接收元件，光接收元件中的每个光接收元件经由滤波器中的任一个滤波器来接收入射光；图像数据生成部，其当接收作为光接收部的输出的一般图像数据时，提取与滤波器相关的光接收元件的输出以生成离散图像数据，该离散图像数据是针对滤波器中的每个滤波器的图像数据；图像数据处理部，该图像数据处理部基于图像数据生成部生成的离散图像数据或通过组合离散图像数据而生成的合成图像数据来检测至少一个对象；以及车辆控制部，该车辆控制部根据由图像数据处理部检测的对象来进行车辆控制。

Description

车辆控制系统及图像传感器

技术领域

本发明涉及于使用图像来检测对象的技术和用于使用所检测的对象来进行车辆控制的技术。

背景技术

在公知的技术中，使用从车载摄像装置获取的拾取图像来检测存在于车辆周围的对象。在该技术中，检测结果被提供给车辆驾驶员，或者检测结果用于各种车辆控制处理。

如果成像场景具有高的对比度，则由于摄像装置的动态范围不足，图像具有过度曝光区域或曝光不足区域。这些过度曝光区域或曝光不足区域可能阻碍检测存在于该区域中的对象。

另一方面，在另一种公知的技术中，获取在不同的曝光条件下拾取的多个图像，使用具有多个图像的好的对比度的部分来进行图像识别(例如，参见UP-A-2012-088785)。

如上所述的传统技术使用在不同时间点获取的多个图像，并且因此，有必要确定在各个图像中检测的对象是否是相同的。该确定所涉及的处理还得花费时间。除此之外，传统技术存在问题，例如单个对象可能被错误检测为多个不同对象，或者，不同对象可能被错误地检测为单个对象。

发明内容

实施方式提高了使用图像来检测对象的精确度。

作为实施方式的一方面，提供了一种车辆控制系统，包括：光接收部，该光接收部包括具有不同通带的多个滤波器和多个光接收元件，光接收元件中的每个光接收元件经由滤波器中的任一个滤波器来接收入射光；图像数据生成部，该图像数据生成部当接收作为光接收部的输出的一般图像数据时，提取与滤波器相关的光接收元件的输出，以生成离散图像数据，该离散图像数据是针对滤波器中的每个滤波器的图像数据；图像数据处理部，该图像数据处理部基于图像数据生成部生成的离散图像数据或基于通过组合离散图像数据而生成的合成图像数据，检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断光接收部的视野的实体以及车辆外部的环境特征；以及车辆控制部，该车辆控制部根据由图像数据处理部检测的对象来进行与下述中的至少之一相关的车辆控制：碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。

附图说明

在附图中：

图1是示出了车辆控制系统的一般配置的框图；

图2是示出了传感器部的示意图；

图3A和图3B是分别示出了单元模式和一般模式的图，图3A和图3B各自示出了构成RGBC Bayer的滤波器的布置；

图4是示出了构成RGBC Bayer的滤波器的传输特性的图表；

图5是示出了由信号处理部进行的图像数据生成处理的图；

图6是示出了由信号处理部进行的对象检测处理的流程图；

图7是示出了根据第二实施方式的对象检测处理的流程图；以及

图8是示出了Bayer的基本模式(基本Bayer滤波器)的另一配置示例的图。

具体实施方式

参照附图，下文是本发明应用到其的所描述的实施方式。

[第一实施方式]

<一般配置>

图1是示出了根据第一实施方式的车辆控制系统1的一般配置的框图。车辆控制系统1检测存在于车辆周围的各种对象。车辆控制系统1基于检测结果和从车载传感器5获取的各条信息使用车辆控制单元7来进行各种车辆控制。

车载传感器5包括检测车辆的行为的传感器和检测车辆周边的环境特征的传感器。检测车辆的行为的传感器包括例如车速传感器、各种加速度传感器和转向角传感器。检测车辆周边的环境特征的传感器包括例如用于输出自身车辆的位置数据的单元(例如，GPS(全球定位系统))、用作为提供地图数据的源的单元(例如，导航装置)、通信单元(例如，移动单元如道路到车辆通信单元或智能手机)以及雷达。单独地使用这些传感器，或者组合地使用这些传感器的检测结果。

车辆控制单元7包括控制车辆的本体系统、动力传动系统及底盘系统的受控对象的多个单元。受控对象至少包括转向装置(例如，电动助力转向)71、扬声器72、显示器73、制动装置(如制动器)74、驱动装置(如，加速器)75和灯76。车辆控制单元7根据车辆的行驶条件来控制受控对象的行为。此外，车辆控制单元7通过根据来自检测ECU 30的指令以控制受控对象的行为来进行公知的车辆控制，例如碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制(ACC)、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。

<车辆控制系统>

车辆控制系统1包括图像传感器10、雷达传感器20以及检测ECU30。

图像传感器10在车辆的向前方向上拾取图像，以重复地获取图像数据，并且处理所获取的图像数据以检测存在于预定的成像范围中的对象。图像传感器10生成包括对象的至少位置、宽度和高度的对象信息，并且连同要被显示的图像数据一起将所生成的对象信息输出到检测ECU 30。

雷达传感器20是公知的下述传感器，该传感器传输并接收毫米波段的雷达波或激光束的雷达波，以检测存在于预定探索范围内并且反射了雷达波的对象。雷达传感器20生成至少包括从车辆到对象的距离、对象相对于车辆的速度及对象相对于车辆的横向位置的对象信息，并且将所生成的对象信息输出到检测ECU 30。

在生成关于检测对象的信息时，图像传感器10和雷达传感器20还使用从车载传感器5获得的信息。由图像传感器10和雷达传感器20检测的对象包括例如障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断传感器部11的视野的实体以及车辆外部的环境特征。然而，传感器10和传感器20不必须检测这些对象中的所有对象，而是可以检测由检测ECU 30进行的(后面描述的)车辆控制处理所需要的至少这些对象。

通过包括至少CPU 31、RAM 32以及ROM 33的公知的微型计算机来主要构成检测ECU 30。ROM 33存储用于进行车辆控制处理的控制程序，该车辆控制处理基于从图像传感器10和雷达传感器20输出的关于检测对象的信息使用车辆控制单元7来实现上述各种车辆控制。检测ECU30将指令输出到车辆控制单元7。特别地，检测ECU 30将由图像传感器10生成的图像数据或通过对图像数据进行处理以适于信息显示而获得的数据输出到显示器73。

应该注意的是，在车辆控制处理中，不必须实现上述所有车辆控制，而是可以确保进行车辆控制中的至少一个车辆控制。可以根据来自外部单元的指令或从车载传感器5获取的信息确保适当地进行车辆控制。

<图像传感器>

图像传感器10包括传感器部11和信号处理部12。传感器部11将入射光转化成电信号，并且输出经转换的信号。信号处理部12进行用于根据传感器部11的输出来生成图像数据的图像数据生成处理，和用于基于通过图像数据生成处理而生成的图像数据来检测各种对象的对象检测处理，并且将检测结果输出到检测ECU 30。周期性地激活图像传感器10以拾取车辆外部的场景的图像。

传感器部11构成单目摄像装置。图2是示出了传感器11的示意图。如图2所示，传感器部11包括透镜系统13、红外截止滤波器14、光学低通滤波器15以及图像传感器组件16。

使入射光在图像传感器组件16的表面上形成图像的多个透镜来构成透镜系统13。具体地，通过来自光入射侧(图中的左侧)的4个透镜，即平凸透镜13a，双凹透镜13b中，平凸透镜13c和凹半月透镜13d来构成透镜系统13。使用这四个透镜确保了透镜系统13具有防止像差，例如色像差和彗像差的结构。

红外截止滤波器14布置在透镜系统13的下游以切断被包括在入射光中的近红外射线。光学低通滤波器15布置在红外截止滤波器14的下游并且被配制成通过使用极化特性来将通过透镜系统13和红外截止滤波器14的入射光分裂成4个入射光射线。分别确保4个入射光射线被输入到构成图像传感器组件16的基本单元的4个像素中的任何像素。在图2的图像传感器组件16中，为了清楚地示出并且为了容易地理解光学低通滤波器15的操作，放大地示出了构成基本单元的仅4个像素。

例如，如在JP-A-2011-233763中公开的那样，透镜系统13、红外截止滤波器14以及光学低通滤波器15是公知的。因此，省略了对细节的说明。

通过阵列型图像传感器和RGBC Bayer来构成图像传感器组件16。阵列型图像传感器是其中光接收元件例如CMOS传感器和CCD传感器被排成阵列以获取光学图像的公知的传感器。RGBC Bayer是其通带彼此不同的多个类型的光学滤波器的集合。每个光接收元件被配置成经由构成RGBC Bayer的光学滤波器中的任一个光学滤波器来接收入射光。每个光接收元件具有至少对与可见光对应的波长敏感的光接收带。

RGBC Bayer包括与相应的光接收元件相关的光学滤波器，并且被布置在模式中。这里，RGBC Bayer由4种类型的光学滤波器，即R(红色)滤波器、G(绿色)滤波器、B(蓝色)滤波器以及C(透明)滤波器形成。图3A是示出了与4个像素对应的单元模式。图3B是示出了其中单元模式的集合被布置为完全覆盖阵列型图像传感器的通常模式的图。在下面的描述中，构成RGBC Bayer的4中类型的光学滤波器被称为R滤波器、G滤波器、B滤波器以及C滤波器。

图4是示出了RGBC Bayer的滤波器的传输特性的图表。如图4所示，R滤波器、G滤波器以及B滤波器(下文也统称为“颜色滤波器”)具有被设定以通过具有与特定颜色(红色、绿色以及蓝色)对应的波长的光的通带。设定C滤波器的通带以完全包括3中类型的颜色滤波器的通带，并且具有与每个波长的颜色滤波器的量子效率相等或比每个波长的颜色滤波器的量子效率更大的量子效率。换言之，颜色滤波器对应于限定滤波器，并且C滤波器对应于全通滤波器。

此外，传感器部11包括放大器和A/D转换器，放大器和A/D转换器均没有示出。放大器以预定增益放大从构成图像传感器组件16的光接收元件读取的输出(作为指示相应像素的亮度的模拟信号的输出)，并且A/D转换器将经放大的模拟值转换成数字值(像素值)，并且将经转换的值输出到信号处理部12。在下文中将传感器部11的输出称为(与一般图像数据对应的)“Bayer图像数据”，通过Bayer图像数据表示的图像被称为“Bayer图像”。

<信号处理部>

通过至少包括CPU、RAM以及ROM的公知的微型计算机来主要构成信号处理部12。ROM存储用于进行后面描述的图像数据生成处理和对象检测处理的控制程序。

图5是示出了由信号处理部12进行的图像数据生成处理的图。如图5所示，在图像数据生成处理中，当从传感器部11获取与一个帧对应的Bayer图像数据时，信号处理部12提取与C滤波器相关的光接收元件的输出以生成表示C图像的高感光度图像数据。同时，信号处理部12针对每种类型的颜色滤波器提取与该每种类型的颜色滤波器相关的光接收元件的输出，从而生成分别表示R图像、G图像以及B图像的3个不同的低感光度图像数据。在下文中将通过这种方式获得的4个不同的图像数据称为离散图像数据。

构成RGBC Bayer的滤波器一致地布置在整个Bayer图像上。因此，针对各个类型的滤波器生成的离散图像数据处于其中视角和分辨率基本相同的情况。

在图像数据生成处理中，信号处理部12可以基于3条不同的低感光度图像数据来进行颜色计算(以预定比例求和)，以生成一个或更多个不同的M图像(黑色和白色或任意颜色的低感光度图像)，并且可以将所生成的M图像添加到离散图像数据。

参考图6，描述了对象检测处理。图6是示出了由信号处理部12进行的对象检测处理的流程图。对象检测处理每次在通过图像数据生成处理生成了与一个帧对应的离散图像数据时开始。

在本处理中，信号处理部12估计通过由传感器部11获取的Bayer图像数据的图像(Bayer图像)表示了什么场景(步骤S110)。然后，信号处理部12确定所估计的场景是否是具有由于动态范围不足而导致的过度曝光区域或曝光不足区域的可能性的特定场景(步骤S120)。

具体地，信号处理部12基于图像具有其中亮度完全不同于该图像中的其他区域的区域的可能性来确定所估计的场景是否是特定场景。例如，这种特定场景可以是包括投射了等于或大于对象的阴影的建造物(建筑物)的图像的场景，例如在隧道的入口/出口附近的场景、升降结构下的场景或建筑侧的场景。例如，可以根据从导航装置获取的在当前位置附近的地图数据(准备的地图信息)，或者对象检测处理得到的检测结果来确定这种特定场景。或者，可以基于Bayer图像数据或离散图像数据，通过比较图像中的各个部分之间的亮度来进行对特定场景的确定。

如果确定出所估计的场景不是特定场景(步骤S120处为否)，则信号处理部12进行基于高感光度图像数据(C图像数据)来检测图像中拍摄的对象的处理，并且生成与所检测的对象相关的对象信息(步骤S130)。

如果确定出所估计的场景是特定场景(步骤S120处为是)，则信号处理部12选择高感光度图像数据和低感光度图像数据中的至少低感光度图像数据，针对所选中的图像数据中的每个图像数据来进行检测图像中拍摄的对象的处理，并且生成与所检测的对象相关的对象信息(步骤S140)。此外，信号处理部12针对各个图像数据合并在步骤S140中生成的对象信息(步骤S150)。在这种情况下，将在两个图像数据中的相同位置上检测的对象视为相同的对象并且组合成一个对象。换言之，由于同时获取图像数据，所以可以在不进行另一处理例如跟踪的情况下将在同一位置上检测的对象直接确定为相同对象。

然后，信号处理部12连同要被显示的预定图像数据(例如，高感光度图像数据或用于检测对象的图像数据)一起将在步骤S130或步骤S150中生成的对象信息输出到检测ECU 30(步骤S160)。然后，本处理终止。应该注意的是，在步骤S160中，可以将对象信息单独输出到检测ECU 30。

<有益效果>

如上所述，车辆控制系统1根据Bayer图像数据生成具有不同程度的亮度(感光度)的多个离散图像数据。此外，针对具有高对比度和动态范围不足的特定场景，使用具有不同程度的亮度的多个离散图像数据来检测对象。因此，例如，在高感光度图像数据或低感光度图像数据中的任何图像数据中存在有其中导致了过度曝光或曝光不足的区域的情况下，基于不处于这种情况中的其他图像数据来检测存在于该区域中的对象。因此，可以在没有任何遗漏的情况下检测存在于成像范围内的对象。具体地，车辆控制系统1能够在没有任何遗漏的情况下检测位于其中由于大建造物的阴影而难以检测对象的地点中的对象。这种对象包括例如隧道的入口/出口附近的车辆、建筑侧的行人、升降结构下的车辆或桥轨侧的车辆。

根据在同一时刻获取的Bayer图像数据来生成多个离散图像数据。因此，在离散图像数据之间没有导致对象的位置偏移。这样，可以直接将存在于同一位置的对象确定为相同对象。结果是，防止了对对象的错误检测，也就是说，在没有进行特定处理例如跟踪的必要性的情况下，提高了检测对象的精确度。

[第二实施方式]

现在参考图7描述第二实施方式。第二实施方式具有与第一实施方式的基本配置类似的基本配置，第二实施方式与第一实施方式的不同仅在于由信号处理部12来进行对象检测处理。因此，下面的描述致力于不同之处，而省略了对共同配置的说明。此外，在第二实施方式和随后的实施方式中，为了省略不必要的说明，将相同的参考标记给予与第一实施方式中的部件相同或类似的部件。

<对象检测处理>

图7是示出了根据第二实施方式的对象检测处理的流程图。在开始本处理时，信号处理部12进行场景估计(步骤S110)，并且确定所估计的场景是否是确定场景(步骤S120)。

如果确定出所估计的场景不是特定场景(步骤S120处为否)，则信号处理部12选择要被处理的图像数据(步骤S122)。具体地，如果基于C图像数据的图像的平均亮度等于或低于预定阈值，则信号处理部12选择高感光度图像数据(C图像数据)作为要被处理的图像数据，如果平均亮度高于阈值，则信号处理部12选择低感光度图像数据(R图像数据、G图像数据、B图像数据以及M图像数据中的任何图像数据)作为要被处理的图像数据。

如果确定出所估计的场景是特定场景(步骤S120处为是)，则信号处理部12通过将高感光度图像数据与低感光度图像数据组合来生成合成图像数据，并且选择该合成图像数据作为要被处理的图像数据(步骤S124)。

在生成合成图像数据时，将低感光度图像数据施用到其非常亮于其他部分的部分(具有遭受过度曝光的可能性的区域)(如果存在的话)，并且将高感光度图像数据施加到其他部分。相反地，在生成合成图像数据时，将高感光度图像数据施用到其非常暗于其他部分的部分(具有遭受曝光不足的可能性的区域)(如果存在的话)，并且将低感光度图像数据施加到其他部分。

然后，信号处理部12进行如下处理：该处理用于基于在步骤S122或步骤S124中选择的要被处理的图像数据来检测图像中存在的对象，并且生成与所检测的对象相关的对象信息(步骤S135)。

然后，信号处理部12连同要被显示的预定图像数据一起将在步骤S135中生成的对象信息输出到检测ECU 30(步骤S160)。然后，本处理终止。

<有益效果>

在本实施方式中，当所估计的场景是特定场景时，根据通过图像数据生成处理生成的多个离散图像数据来生成合成图像数据，并且使用合成图像数据来检测对象。这样，由于要在对象检测处理中仅处理一个图像数据，所以减轻了对象检测处理的处理负荷。

[第三实施方式]

描述了第三实施方式。第三实施方式具有与第一实施方式的基本配置类似的基本配置，第三实施方式与第一实施方式的不同仅在于对象检测处理和由检测ECU 30进行的一部分处理。因此，下面的描述致力于不同之处，而省略了对共同配置的说明。

<检测ECU>

除了用于实现第一实施方式中描述的对车辆的各种控制的处理之外，检测ECU 30进行下述处理。在该处理中，检测ECU 30(外部单元)基于从车载传感器5获得的车辆周围的情况(天气、一天的时间等)和车辆控制的情况，将对于有效地操作车辆控制必要的并且适于对对象进行检测的指定了要被处理的图像数据的图像数据指定指令输出到图像传感器10。

<信号处理部>

信号处理部12将存储来自检测ECU 30的图像数据指定指令存储在RAM的预定存储区域中。

然后，进行参考图6或图7描述的对象检测处理。

然而，当进行图6中示出的处理时，在步骤S130中，信号处理部12使用通过存储在存储区域中的图像数据指定指令而指定的离散图像数据或合成图像数据对对象进行检测。

当进行图7中示出的处理时，在步骤S122中，信号处理部12选择通过存储在存储区域中的图像数据指定指令而指定的离散图像数据或合成图像数据作为要被处理的图像数据。

<有益效果>

根据本实施方式，使用适于当前进行的车辆控制的离散图像数据或合成图像数据来检测对象。因此，进一步提高了对对象进行检测的精确度。

具体地，例如，当在晚上进行将前方车辆检测作为对象所需要的车辆控制时，因为前方车辆的尾灯非常亮，所以检测ECU 30可以输出用于针对对对象的检测来使用低感光度图像数据的图像数据指定指令。同样，当在晚上进行将行人检测作为对象所需要的车辆控制时，因为行人显得较暗，所以检测ECU 30可以输出用于针对对对象的检测来使用高感光度图像数据的图像数据指定指令。

[其他实施方式]

将理解的是，本发明不限于上述的配置，应该认为本领域普通技术人员能够想到的任何以及全部修改、变型或等同方案落入本发明的范围。

(1)在前述实施方式中，没有限定图像传感器10的成像范围与雷达传感器20的探索范围之间的关系。成像范围和探索范围可以被确定为相互交叠，或者可以被确定为相互不同。在成像范围和探索范围相互交叠的情况下，综合地处理由各种类型的传感器获得的数据。这种传感器熔合可以实现较高的识别功能，并且可以进一步提高对对象检测的精确度。

(2)如图3A所示，将不同的滤波器布置在RGBC Bayer的单元模式的四个像素中。或者，可以以读取光接收元件的输出的方向将不同的滤波器布置在行特定基础上的单元模式中。例如，如图8所示，当读取光接收元件的输出的方向是图中的从左到右方向时，可以将R滤波器和G滤波器的组合布置在上半部分，并且可以将C滤波器单独布置在下半部分。在这种情况下，在其中单独需要高分辨率图像数据(C图像数据)的情况下，可以从传感器部仅读取被布置成与C滤波器相关的光接收元件的行中的数据，从而有助于减小处理的量。滤波器的布置不限于图8中示出的示例中的布置。例如，或者，还可以将单色滤波器布置在行特定基础上的单元模式中。例如，还可以用一行C滤波器和R滤波器来替代一行R滤波器。

(3)在前述实施方式中，配置传感器部11使得光接收元件能够经由RGBC Bayer来接收入射光。因此，确保根据从传感器部11输出的Bayer图像数据来生成具有不同程度的亮度的多个离散图像数据。与此类似，也可以通过包括具有不同通带的多个类型的滤波器的接收器部和用于经由相应的滤波器来接收电磁波的多个接收元件来配置雷达传感器20。因此，基于与接收器部的输出对应的一般扫描数据组，可以提取来自与同一类型的滤波器相关的接收元件的输出。因此，可以生成是各个类型的滤波器的扫描数据组的离散扫描数据组。然后，可以确保基于离散扫描数据组或通过组合离散扫描数据组而获得的合成扫描数据组来检测对象。

(4)在前述实施方式中，由图像传感器10的信号处理部12来进行对象检测处理。或者，也可以由检测ECU 30来进行对象检测处理。此外，可以省略图像传感器10的信号处理部12，并且可以由检测ECU 30来进行由信号处理部12进行的全部处理。

(5)在前述实施方式中，对场景进行估计，并且取决于该场景是否是特定场景来确保选择了用于对对象进行检测的离散图像数据或者来确保生成了用于检测的合成图像数据。或者，可以在不进行估计或判断场景的情况下，确保根据离散图像数据来生成合成图像数据。例如，在图像中，例如，远距离的车辆趋向于明亮地反射阳光。因此，可以针对远距离区域使用低感光度图像数据来生成合成图像数据，并且可以针对短距离区域使用高感光度图像数据来生成合成图像数据。

(6)在前述实施方式中，当生成合成图像数据时，如同离散图像数据处于图像中的每个区域一样使用离散图像数据中的任何离散图像数据。或者，可以将具有增大的比特大小的像素值的图像数据和具有调整的像素值的图像数据生成作为合成图像数据，使得可以通过单个图像数据来表示高感光度图像数据的动态范围和低感光度图像数据的动态范围。

(7)在前述实施方式中，当所估计的场景不是特定场景时，使用高感光度图像数据，而当所估计的场景是特定场景时，单独地或组合地使用高感光度图像数据和低感光度图像数据。或者，当所估计的场景是特定场景时，可以使用高感光度图像数据，而当所估计的场景不是特定场景时，可以使用低感光度图像数据。

(8)在前述实施方式中，单独地或组合地使用高感光度图像数据和低感光度图像数据。然而，可以通过比较来使用高感光度图像数据和低感光度图像数据。例如，远距离的黑暗尾灯可以具有小的像素值，并且因此可能被噪声淹没。为解决这个问题，可以将低感光度图像数据和与该低感光度图像数据对应的高感光度图像数据相比较以确定光源的候选者是否是噪声。换言之，可以使用C图像来检查R图像。具体地，如果C像素值不比R像素值大预定因子或更大，则可以将光源的候选者确定为噪声。因此，可以适当地将使用图像数据的方法施用到系统例如汽车远光灯，该系统基于光源识别例如前方车辆的尾灯或迎面过来的车辆的头灯。因此，可以提高识别光源的精确度。

(9)在前述实施方式中，将被确定为特定场景的场景特别地例示成其中建造物投射了下述阴影的场景，所述阴影具有等于或大于对象的大小，例如在隧道的出口/入口附近的阴影、升降结构下的阴影或建筑侧的阴影。然而，可以将白天场景或晚上场景确定为特定场景的另一示例。例如，在确定白天场景或晚上场景时，可以使用亮度传感器。如果亮度低于预定阈值，则可以将该场景确定为晚上场景。另一方面，在明亮的白天场景中可以使用低感光度图像数据以降低感光度。因此，可以以较长的曝光时间对具有周期性的目标(例如，车辆灯、LED电子标志或交通灯)进行成像，从而防止闪烁。此外，由于黑暗晚上场景相反地具有由于感光度的降低而导致的被噪声淹没的高可能性，所以可以使用高感光度图像数据。因此，可以将使用图像数据的方法适当地施用于诸如用于基于标识识别的速度警示或标志显示的系统。因此，可以提高识别标志的精确度。

然而，在黑暗晚上场景中，如果用远光灯照亮标识，则拾取图像可能是饱和的，不能识别标志。在这种情况下，图像是否是饱和的可以用作为用于确定特定场景的基础。如果图像是饱和的，则可以施用低感光度图像数据。

在明亮的白天场景中，图像可能由于背光等而变的非常暗。在这种情况下，图像是否非常地暗可以用作为用于确定特定场景的基础。如果图像非常暗，则可以使用高感光度图像数据以升高感光度。

(10)本发明的部件是概念性的，并且不应该被解释为限于上述实施方式的部件。例如，可以将通过单个部件处理的功能分解成多个部件或者可以将通过多个部件处理的功能组合成单个部件。此外，可以用具有相同功能的公知的配置来替代前述实施方式中的每个实施方式中的至少一部分配置。此外，可以将前述实施方式中的每个实施方式中的至少一部分配置添加到与前述实施方式的不同的一个实施方式中，或者可以用与前述实施方式的不同的一个实施方式来替代前述实施方式中的每个实施方式中的至少一部分配置。

在下文中，将概括上述实施方式的各方面。

作为实施方式的一方面，车辆控制系统包括光接收部、图像数据生成部、图像数据处理部以及车辆控制部。

光接收部包括具有不同通带的多个滤波器和多个光接收元件，光接收元件中的每个光接收元件经由滤波器中的任一个滤波器来接收入射光。图像数据生成部当接收作为光接收部的输出的一般图像数据时，提取与滤波器相关的光接收元件的输出以生成离散图像数据，该离散图像数据是针对滤波器中的每个滤波器的图像数据。图像数据处理部基于由图像数据生成部生成的离散图像数据或基于通过组合离散图像数据而生成的合成图像数据来检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断光接收部的视野的实体以及车辆外部的环境特征。

切断视野的实体包括例如附接到玻璃或透镜上的污点、多云天气以及遮蔽物。车辆外部的环境特征包括例如雨、雪、雾、天、云、太阳以及月亮。

车辆控制部根据由图像数据处理部检测的对象来进行与下述中的至少之一相关的车辆控制：碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。

与作为生成相应的离散图像数据(图像模式)的源的接收元件相关的滤波器具有不同的通带。因此，虽然在同一定时获取了离散图像数据，但是通过离散图像数据表示的图像的亮度的程度是相互不同的。

以这种方式配置的本实施方式的车辆控制系统使得能够同时拾取具有不同程度的亮度的多个图像数据。因此，在包括动态范围不足的高对比度的拾取场景中可以合适地选择具有适于对对象进行检测的亮度的图像数据，从而以在不遗漏的情况下检测存在于成像范围内的对象。

由于在同一定时获取了多个图像数据，所以在多个图像数据之间没有引起对象的位置偏移。因此，可以直接将存在于同一位置的对象确定为相同对象。因此，防止了对对象的错误检测，并且提高了对对象检测的精确度。

不同于上述的车辆控制系统，可以以各种模式来实现本实施方式，所述各种模式，例如：包括接收器部而不是光接收部以用于接收电磁波的车辆控制系统；使用光接收部的输出和接收器部的输出二者来检测对象的车辆控制系统；以及包括光接收部和图像数据生成部的图像传感器。

Claims (23)

1.一种车辆控制系统，包括：

光接收部，所述光接收部包括具有不同通带的多个滤波器和多个光接收元件，所述光接收元件中的每个光接收元件经由所述滤波器中的任一个滤波器来接收入射光；

图像数据生成部，所述图像数据生成部当接收作为所述光接收部的输出的一般图像数据时，提取与所述滤波器相关的所述光接收元件的输出以生成离散图像数据，所述离散图像数据是针对所述滤波器中的每个滤波器的图像数据；

图像数据处理部，所述图像数据处理部基于由所述图像数据生成部生成的离散图像数据或基于通过组合所述离散图像数据而生成的合成图像数据，检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断所述光接收部的视野的实体以及车辆外部的环境特征；以及

车辆控制部，所述车辆控制部根据所述图像数据处理部检测的对象，进行与下述中的至少之一相关的车辆控制：碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。

2.根据权利要求1所述的车辆控制系统，其中

所述滤波器包括其光接收带是所述光接收元件对其敏感的带并且其通带是所述光接收带的一部分的至少一种类型的限定滤波器、以及其通带至少是所述限定滤波器的组合的通带的全通滤波器。

3.根据权利要求2所述的车辆控制系统，其中

所述光接收带包括与可见光对应的带，以及

所述限定滤波器具有与红色、绿色以及蓝色中的任一种颜色对应的通带。

4.根据权利要求2所述的车辆控制系统，其中

所述图像数据生成部基于经由所述全通滤波器接收光的所述光接收部的输出来生成高感光度图像数据作为所述离散图像数据，以及所述图像数据生成部基于经由所述限定滤波器接收光的所述光接收部的输出来生成低感光度图像数据作为所述离散图像数据。

5.根据权利要求1所述的车辆控制系统，其中

所述光接收部具有多个光接收元件列，在所述光接收元件列中所述光接收元件被布置成行，并且所述光接收部读取所述光接收元件列中的每个光接收元件列的光接收元件的输出，并且

针对所述光接收元件列中的每个光接收元件列限定施用于所述光接收元件的滤波器的类型。

6.根据权利要求1所述的车辆控制系统，还包括图像选择装置，所述图像选择装置用于根据要被检测的对象的类型和所述离散图像数据表示的图像的场景中的至少一个，选择用于检测所述对象的离散图像数据，其中

所述图像数据处理部通过使用所述图像选择装置选择的图像数据来检测所述对象。

7.根据权利要求4所述的车辆控制系统，其中

如果场景的平均亮度等于或低于预定阈值，则所述图像选择装置选择所述高感光度图像数据，并且如果所述平均亮度高于所述预定阈值，则所述图像选择装置选择所述低感光度图像数据。

8.根据权利要求4所述的车辆控制系统，其中

所述图像数据生成部包括场景确定装置，所述场景确定装置用于确定所述图像数据表示的场景是否是具有动态范围不足的可能性的特定场景，并且

如果所述场景确定装置确定出所述图像数据表示的场景是所述特定场景，则所述图像数据生成部生成所述合成图像数据，在所述合成图像数据中，所述高感光度图像数据被用在其亮度等于或低于预定阈值的区域中，并且所述低感光度图像数据被用在其亮度高于所述预定阈值的区域中。

9.根据权利要求8所述的车辆控制系统，其中

所述场景确定装置确定出存在有建造物的场景是所述特定场景，所述建造物投射等于或大于所述对象的阴影。

10.根据权利要求8所述的车辆控制系统，其中

所述场景确定装置通过使用所述对象的过去的检测结果和准备的地图信息中的至少一个来进行所述确定。

11.根据权利要求1所述的车辆控制系统，其中

所述光接收部的滤波器被设定使得针对所述滤波器分别生成的离散图像数据处于其中视角和分辨率基本相同的情况中。

12.一种图像传感器，包括：

光接收部，所述光接收部包括具有不同通带的多个滤波器和多个光接收元件，所述光接收元件中的每个光接收元件经由所述滤波器中的任一个滤波器来接收入射光；以及

图像数据生成部，所述图像数据生成部当接收作为所述光接收部的输出的一般图像数据时，提取与所述滤波器相关的所述光接收元件的输出以生成离散图像数据，所述离散图像数据是针对所述滤波器中的每个滤波器的图像数据。

13.根据权利要求12所述的图像传感器，其中

所述图像传感器构成单目摄像装置。

14.根据权利要求12所述的图像传感器，其中

所述滤波器包括其光接收带是所述光接收元件对其敏感的带并且其通带是所述光接收带的一部分的至少一种类型的限定滤波器、以及其通带是所述限定滤波器的整个通带的全通滤波器。

15.根据权利要求14所述的图像传感器，其中

所述光接收带包括与可见光对应的带，以及

所述限定滤波器具有与红色、绿色以及蓝色中的任一种颜色对应的通带。

16.根据权利要求14所述的图像传感器，其中

所述图像数据生成部基于经由所述全通滤波器接收光的所述光接收部的输出来生成高感光度图像数据作为所述离散图像数据，以及所述图像数据生成部基于经由所述限定滤波器接收光的所述光接收部的输出来生成低感光度图像数据作为所述离散图像数据。

17.根据权利要求12所述的图像传感器，其中

所述光接收部具有多个光接收元件列，在所述光接收元件列中所述光接收元件被布置成行，并且所述光接收部读取所述光接收元件列中的每个光接收元件列的光接收元件的输出，并且针对所述光接收元件列中的每个光接收元件列限定施用于所述光接收元件的滤波器的类型。

18.根据权利要求12所述的图像传感器，其中

所述图像数据生成部生成其中离散图像数据被组合的合成图像数据。

19.根据权利要求12所述的图像传感器，其中

所述图像数据生成部输出外部单元指定的图像数据。

20.根据权利要求12所述的图像传感器，其中

所述光接收部的滤波器被设定使得针对所述滤波器分别生成的离散图像数据处于其中视角和分辨率基本相同的情况中。

21.根据权利要求12所述的图像传感器，还包括图像数据处理部，所述图像数据处理部基于所述图像数据生成部生成的离散图像数据或基于通过组合所述离散图像数据而生成的合成图像数据，检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断所述光接收部的视野的实体以及车辆外部的环境特征。

22.一种车辆控制系统，包括：

接收器部，所述接收器部包括具有不同通带的多个滤波器和多个接收元件，所述接收元件中的每个接收元件经由所述滤波器中的任一个滤波器来接收电磁波；

扫描数据生成部，所述扫描数据生成部当接收作为所述接收器部的输出的一般扫描数据时，提取与所述滤波器相关的所述接收元件的输出以生成离散扫描数据，所述离散扫描数据是针对所述滤波器中的每个滤波器的扫描数据；

扫描数据处理部，所述扫描数据处理部基于所述扫描数据生成部生成的离散扫描数据或基于通过组合所述离散扫描数据而生成的合成扫描数据，检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断所述光接收部的视野的实体以及车辆外部的环境特征；以及

车辆控制部，所述车辆控制部根据所述图像数据处理部检测的对象，进行与下述中的至少之一相关的车辆控制：碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。

23.一种车辆控制系统，包括：

光接收部，所述光接收部包括具有不同通带的多个滤波器和多个光接收元件，所述光接收元件中的每个光接收元件经由所述滤波器中的任一个滤波器来接收入射光；

图像数据生成部，所述图像数据生成部当接收作为所述光接收部的输出的一般图像数据时，提取与所述光接收部的滤波器相关的所述光接收元件的输出以生成离散图像数据，所述离散图像数据是针对所述滤波器中的每个滤波器的图像数据；

接收器部，所述接收器部包括具有不同通带的多个滤波器和多个接收元件，所述接收元件中的每个接收元件经由所述滤波器中的任一个滤波器来接收电磁波；

扫描数据生成部，所述扫描数据生成部当接收作为所述接收器部的输出的一般扫描数据时，提取与所述接收器部的滤波器相关的所述接收元件的输出以生成离散扫描数据，所述离散扫描数据是针对所述滤波器中的每个滤波器的扫描数据；

图像数据处理部，所述图像数据处理部基于所述图像数据生成部生成的离散图像数据或通过组合所述离散图像数据而生成的合成图像数据、以及所述扫描数据生成部生成的离散扫描数据或通过组合所述离散扫描数据而生成的合成扫描数据，检测包括在下述中的至少一个对象：障碍、前方车辆、前方行人、前方物体、静止车辆、静止行人、静止物体、迎面过来的车辆、迎面过来的行人、迎面过来的物体、车道、道路表面情况、道路形状、光源、道路标志、交通信号、切断所述光接收部或所述接收器部的视野的实体以及车辆外部的环境特征；以及

车辆控制部，所述车辆控制部根据所述图像数据处理部检测的对象，进行与下述中的至少之一相关的车辆控制：碰撞避免、速度警示、车道偏离预防、追尾碰撞警示、车辆间警示、车道偏离警示、汽车远光灯、标志指示、全速度范围自适应巡航控制、车道保持、车道变更事故预防、盲点警示、盲点监视、自动车道变更、前方十字路口交通警示、后方十字路口交通警示、错误踏板使用预防以及自动停车。