CN103959041B - 附着物探测器和附着物检测方法 - Google Patents

Abstract

一种附着物检测器包括：光源，其向透明构件发射光；成像设备，其通过图像传感器接收从所述光源发射并且被在所述透明构件上附着的附着物反射的光，并且以预定的成像频率将所述附着物的图像连续地成像；以及，附着物检测处理器，其基于由所述成像设备成像的图像来检测所述附着物，其中，所述光源发射以与所述成像频率不同的驱动频率闪烁的光，并且所述成像设备经由选择和透射所述反射光的滤光器接收所述反射光，并且，所述附着物检测处理器检测由在所述成像频率和所述驱动频率之间的差产生的在图像上的节拍，并且将其中检测到所述节拍的图像区域识别为附着物图像区域。

Description

附着物探测器和附着物检测方法

技术领域

本发明涉及一种附着物检测器和一种附着物检测方法，该附着物检测器将附着在诸如前窗等的板状透明构件上的、诸如雨滴等的附着物成像，并且基于所成像的图像来执行附着物的检测。

背景技术

日本专利编号4326999公开了一种图像处理系统(附着物检测器)，其检测附着在诸如用于汽车、船只或飞机等的玻璃或者一般的建筑物的窗口玻璃的各种窗口玻璃的表面上的、诸如例如雨滴等的液滴、雾和尘埃的杂质(附着物)。在该图像处理系统中，从在某人自己的汽车内部布置的光源发射光，并且该光照亮该某人自己的汽车的前窗(板状透明构件)，并且来自照亮前窗的光的反射光被图像传感器接收，并且成像图像。并且然后，分析所成像的图像，并且确定诸如雨滴等的杂质是否附着在前窗上。具体地说，当点亮光源时，对于所成像的图像的图像信号执行使用拉普拉斯滤光器的边缘检测运算等，并且产生边缘图像，其中，在雨滴的图像区域和非雨滴的图像区域之间的边界被加强。而且，对于该边缘图像执行广义Hough变换，检测圆形的图像区域，并且计数所检测的圆形图像区域的数量，并且将所检测的圆形图像区域的数量转换为雨的数量，并且获得雨的数量。

除了来自雨滴的反射光之外的、诸如来自到来的汽车的头灯的光的各种环境光输入到图像传感器。在诸如在日本专利编号4326999中公开的图像处理系统的一般附着物检测器中，在这样的环境光被输入到图像传感器的情况下，不可能充分地将来自雨滴的反射光与环境光区别，并且存在高频的其中将环境光识别为来自雨滴的反射光的错误检测的问题。

发明内容

本发明的目的是提供一种附着物检测器和一种附着物检测方法，在附着物检测器中，改善了在将从在透明构件上附着的诸如雨滴等的杂质反射的光与环境光相区别的识别上的精度，并且所述附着物检测器具有低频的其中将环境光识别为从附着物反射的光的错误检测。

为了实现上面的目的，本发明的一个实施例提供了一种附着物检测器，包括：光源，其向透明构件发射光；成像设备，其通过图像传感器接收从所述光源发射并且被在所述透明构件上附着的附着物反射的光，通过二维布置的成像像素阵列来构造所述图像传感器的光接收元件，并且所述成像设备以预定的成像频率将在所述透明构件上附着的所述附着物的图像连续地成像；以及，附着物检测处理器，其基于由所述成像设备成像的图像来检测所述附着物，其中，所述光源发射以与所述成像频率不同的驱动频率闪烁的光，并且所述成像设备通过所述图像传感器经由选择和透射所述反射光的滤光器接收所述反射光，并且，所述附着物检测处理器检测由在所述成像频率和所述驱动频率之间的差产生的在图像上的节拍，并且将其中检测到所述节拍的图像区域识别为其中示出所述附着物的附着物图像区域。

为了实现上面的目的，本发明的一个实施例提供了一种附着物检测方法，包括步骤：从光源向透明构件发射光；通过图像传感器接收被在所述透明构件上附着的附着物反射的光，通过二维布置的成像像素阵列来构造所述图像传感器的光接收元件，并且所述成像设备以预定的成像频率将所述附着物的图像连续地成像；以及，基于所述成像的图像来检测所述附着物，其中，使用发射以与所述成像频率不同的驱动频率闪烁的光的所述光源，通过所述图像传感器经由选择和透射所述反射光的滤光器接收所述反射光，检测由在所述成像频率和所述驱动频率之间的差产生的在图像上的节拍，并且将其中检测到所述节拍的图像区域识别为其中示出所述附着物的附着物图像区域。

附图说明

图1是图示根据本发明的实施例的汽车中设备控制系统的示意结构的示意图。

图2是图示在汽车中设备控制系统中的成像单元的示意结构的示意图。

图3是图示在成像单元中包括的成像设备的示意结构的说明图。

图4是图示作为在其中成像透镜聚焦在司机的汽车的前窗的外表面上的雨滴的情况下、用于雨滴检测的成像的图像数据的红外线图像数据的说明图。

图5是图示作为在其中成像透镜聚焦在无限远的情况下、用于雨滴检测的成像的图像数据的红外线图像数据的说明图。

图6是图示适于用于雨滴检测的成像的图像数据的切除滤光器的滤光器特性的图形。

图7是图示适于用于雨滴检测的成像的图像数据的带通滤光器的滤光器特性的图形。

图8是在成像设备的滤光器中包括的前滤光器的前视图。

图9是图示成像设备的成像的图像数据的图像示例的说明图。

图10是图示成像设备的细节的说明图。

图11是当从垂直于光透射方向的方向观看时的成像设备的滤光器和图像传感器的放大示意图。

图12是图示滤光器的偏振滤光器层和光谱滤光器层的区域划分图案的说明图。

图13是示意地图示滤光器的层结构的截面图。

图14是图示与透过滤光器部分以用于滤光器的汽车检测并且被在图像传感器上的每一个光电二极管接收到的光的数量对应的信息(每一个成像像素的信息)的内容的说明图。

图15A是沿着在图14中的虚线A-A的截面图，用于示意地图示用于滤光器的汽车检测的滤光器部分和图像传感器。图15B是沿着在图14中的虚线B-B的截面图，用于示意地图示用于滤光器的汽车检测的滤光器部分和图像传感器。

图16是图示与透过滤光器部分以用于滤光器的雨滴检测并且被在图像传感器上的每一个光电二极管接收到的光的数量对应的信息(每一个成像像素的信息)的内容的说明图。

图17A是沿着在图16中的虚线A-A的截面图，用于示意地图示用于滤光器的雨滴检测的滤光器部分和图像传感器。图17B是沿着在图16中的虚线B-B的截面图，用于示意地图示用于滤光器的雨滴检测的滤光器部分和图像传感器。

图18是与雨滴检测相关的各种光束的说明图。

图19是图示下述示例的说明图，在该示例中，线栅结构的金属线的纵长方向在用于滤光器的雨滴检测的滤光器部分中的偏振滤光器层的每一个位置不同。

图20是图示在一个实施例中的汽车检测操作的流程的流程图。

图21是图示在布儒斯特角处的反射光的偏振状态的说明图。

图22A是图示当雨滴附着在前窗的外表面上时的成像的图像的说明图。图22B是图示当雨滴未附着在前窗的外表面上时的成像的图像的说明图。

图23是图示在实施例的雨滴检测操作(卷帘快门方法)中的驱动频率(光源周期)和成像频率(成像帧周期)之间的关系的说明图。

图24A是图示其中在用于雨滴检测的图像区域中示出雨滴的状态的说明图。图24B是图示其中示出雨滴的图像区域中的放大图。

图25是图示在全局快门方法中的驱动频率(光源周期)和成像频率(成像帧周期)之间的关系的说明图。

图26A是放大在全局快门方法中的用于雨滴检测的图像区域中示出的雨滴图像区域的放大图。图26B是放大在与在图26A中图示的雨滴图像区域对应的下一个成像的图像中的用于雨滴检测的图像区域的放大图。

图27A是图示在光源驱动频率是50Hz的情况下，在示出在通过连续拍摄拍摄的成像的图像中的雨滴的图像区域中的像素值的平均值的改变的图形。图27B是图示在光源驱动频率是60Hz的情况下，在示出在通过连续拍摄拍摄的成像的图像中的雨滴的图像区域中的像素值的平均值的改变的图形。图27C是图示在光源驱动频率是0Hz的情况下(即，在发射没有闪烁的光的情况下)，在示出在通过连续拍摄拍摄的成像的图像中的雨滴的图像区域中的像素值的平均值的改变的图形。

图28是图示在实施例中的雨滴检测操作的流程的流程图。

图29A是放大在卷帘快门方法中的用于雨滴检测的图像区域中示出的雨滴图像区域的放大图。图29B是放大在与在图29A中图示的雨滴图像区域对应的下一个成像的图像中的雨滴图像区域的放大图。

具体实施方式

以下将描述根据本发明的一个实施例的在汽车中设备控制系统中使用的成像设备。

注意，根据本发明的一个实施例的成像设备不仅适于汽车中设备控制系统，而且适于其他系统，例如，包括基于成像的图像来执行物质检测的物质检测器的系统。

图1是图示根据本发明的一个实施例的汽车中设备控制系统的示意结构的示意图。

汽车中设备控制系统通过在司机的汽车(某人自己的汽车)100中配备的成像设备来将在某人自己的汽车的行驶方向上的前区域(成像区域)成像，使用某人自己的汽车的行驶方向上的前区域的成像的图像数据，并且执行头灯的光分布、刮水器的驱动控制和其他汽车中设备的控制。

根据本发明的一个实施例的在汽车中设备控制系统中设置的一种成像设备被包括在成像单元101中，并且将在司机的汽车100的行驶方向上的前区域成像为成像区域。例如，该成像设备被布置在司机的汽车100的前窗105的后视镜(未示出)周围。通过成像单元101的成像设备成像的图像数据被输入到图像分析单元102。图像分析单元102分析从成像设备发送的成像的图像数据，计算在成像的图像数据中的在司机的汽车100之前存在的另一辆汽车的位置、方向和距离，检测在前窗105上附着的诸如雨滴或杂质等的附着物，并且检测在成像的区域中存在的要检测的物体，诸如在道路上的白线(道路标线)。在另一辆汽车的检测中，通过识别另一辆汽车的尾灯，检测在与司机自己的汽车100的行驶方向相同的行驶方向上在前行驶的汽车，并且通过识别另一辆汽车的头灯，检测在与司机的汽车100的相反方向上行驶的接近的汽车。

图像分析单元102的计算结果被发送到头灯控制单元103。头灯控制单元103例如从由图像分析单元102计算的距离数据产生控制作为司机的汽车100的汽车内设备的头灯104的控制信号。具体地说，例如，执行头灯104的强光和弱光的转换控制和头灯104的部分遮光控制，使得通过防止司机的汽车100的头灯104的强光入射到在前面的汽车或接近的汽车的司机的眼睛来执行防止另一辆汽车的司机的目眩，并且，实现司机的汽车100的司机的视场的安全。

图像分析单元102的计算结果也被发送到刮水器控制单元106。刮水器控制单元106控制刮水器107，以去除附着在司机的汽车100的前窗105上的诸如雨滴或杂质等的附着物。刮水器控制单元106接收由图像分析单元102检测的附着物检测结果，并且产生控制刮水器107的控制信号。当由刮水器控制单元106产生的控制信号被发送到刮水器107时，刮水器107运行以便保证司机的汽车100的司机的视场。

另外，图像分析单元102的计算结果也被发送到汽车巡航控制单元108。在司机的汽车100在由白线标注的道路标线区域之外的情况下，基于由图像分析单元102检测的白线检测结果，汽车巡航控制单元108向司机的汽车100的司机通知警告，并且执行巡航支持控制，诸如司机的汽车100的方向盘或制动器的控制。

图2是图示成像单元101的示意结构的示意图。

图3是图示在成像单元101中包括的成像设备200的示意结构的说明图。

成像单元101包括成像设备200、光源202和存储如上所述的那些部分的外壳201。成像单元101被布置在司机的汽车100的前窗105的内表面侧上。如图3中所示的成像设备200包括成像镜头204、滤光器205和图像传感器206。光源202被布置使得当从光源202向前窗105发光，并且被前窗105的外表面反射时，反射光入射到成像设备200。

在本实施例中，光源202是用于检测在前窗105的外表面上附着的附着物(以下，将描述附着物是作为示例的雨滴的情况)者。在雨滴203未附着在前窗105的外表面上的情况下，从光源202发射的光被在前窗105的外表面和空气之间的界面反射，并且，反射光入射到成像设备200。另一方面，如图2中所示，在雨滴203附着在前窗105的外表面上的情况下，在前窗105的外表面和雨滴203之间的折射率差小于在前窗105的外表面和空气之间的折射率差。因此，从光源202发射的光透过该界面表面，并且未入射到成像设备200。因为该差，从由成像设备200成像的图像数据执行在前窗105上附着的雨滴203的检测。

另外，在本实施例中，如图2中所示，通过具有前窗105的外壳201覆盖成像单元101的成像设备200和光源202。因此，通过被外壳201覆盖，即使前窗105的内表面有雾，也可能抑制被成像单元101覆盖的前窗105有雾的状态。因此，有可能已知下述状态：其中，图像分析单元102因为在前窗105上的雾错误地执行分析，并且基于图像分析单元102的分析结果来适当地执行各种控制操作。

然而，在从由成像设备200成像的图像数据检测在前窗105上的雾并且例如执行司机的汽车100的空调器控制的情况下，可以在外壳201的一部分中形成空气流过的路径，使得面向成像设备200的前窗105的一部分变为与其他部分相同的状态。

在此，在本实施例中，成像镜头204的聚焦位置被设置为无限远或在无限远和前窗105之间。因此，不仅在执行在前窗105上附着的雨滴的检测的情况下，而且在执行在前面的汽车或接近的汽车的检测或白线的检测的情况下，可能从由成像设备200成像的图像数据获得适当的信息。

例如，在执行在前窗105上附着的雨滴203的检测的情况下，因为在成像的图像数据中的雨滴203的图像的形状经常是圆形，所以执行形状识别操作，其中，确定在成像的图像数据中的雨滴候选图像是否是圆形，并且将雨滴候选图像识别为雨滴的图像。在执行这样的形状识别操作的情况下，如上所述成像镜头204聚焦在无限远或在无限远和前窗105之间的情况比成像镜头204聚焦于在前窗105的外表面上的雨滴203的情况略微脱焦，这使得雨滴(圆形)的形状识别率较高，并且雨滴检测性能高。

图4是图示作为在成像镜头204聚焦在雨滴203的外表面上的雨滴203的情况下用于雨滴检测的成像的图像数据的红外线图像数据的说明图。

图5是图示作为在成像镜头204聚焦在无限远的情况下用于雨滴检测的成像的图像数据的红外线图像数据的说明图。

在成像镜头204聚焦在雨滴203的外表面上的雨滴203的情况下，如图4中所示，甚至将在雨滴上反射的背景图像203a成像。这样的背景图像203a变为雨滴203的错误检测的原因。另外，如图4中所示，存在下述情况：其中，在雨滴的一部分203b中的亮度以弧状方式等变得更亮，并且，更亮部分的形状，即，雨滴图像的形状根据太阳光或街灯的位置等而改变。为了对于因此不同地改变的这样的雨滴图像形状执行形状识别操作，处理负荷大，并且在识别中的精度降低。

另一方面，在成像镜头204聚焦在无限远的情况下，如图5中所示，略微脱焦的情况出现。

因此，在成像的图像数据上不反射背景图像203a的反射，并且，减少了雨滴203的错误检测。另外，因为略微脱焦的出现，雨滴图像的形状根据太阳光的方向或街灯的位置等的改变程度变小，并且，雨滴图像的形状总是大体为圆形。因此，雨滴203的形状识别操作的处理负荷小，并且在识别上的精度也高。

然而，在成像镜头204聚焦在无限远的情况下，当识别在一定距离行驶的在前面的汽车的尾灯时，存在接收在图像传感器206上的尾灯的光的光接收元件的数量大体为1的情况。下面将描述细节；然而，在该情况下，存在接收尾灯的颜色(红色)的红色光接收元件未接收到尾灯的光的风险，并且因此，未识别尾灯，并且未检测到在前面的汽车。在避免这样的风险的情况下，优选的是，将成像镜头204聚焦在比无限远更近的一侧上。因此，在一定距离在前面行驶的汽车的尾灯脱焦；因此，有可能增大接收尾灯的光的光接收元件的数量，并且在尾灯的识别上的精度增大，并且在前面的汽车的检测上的精度改善。

发光二极管(LED)或激光二极管(LD)等可以用于成像单元101的光源202。另外，作为光源202的发射波长，例如，可以使用可见光或红外线。然而，在防止接近的汽车的司机或行人等被光源202的光炫目的情况下，优选的是，选择比可见光更长的波长，并且在图像传感器206的光接收灵敏度的范围中，例如选择等于或大于800nm并且小于或等于1000nm的红外线区域的波长。本实施例的光源202发射具有红外线区域的波长的光。

在此，在通过成像设备200成像从光源202发射并且被前窗105反射的红外线波长光的情况下，成像设备200的图像传感器206也接收大量的环境光，该大量的环境光除了从光源202发射的红外线波长光之外也例如包括诸如太阳光的红外线波长光。因此，为了从这样的大量环境光识别从光源202发射的红外线波长光，需要充分地比环境光增大光发射量。然而，存在难以使用这样的大量发射量的光源202的许多情况。

因此，本实施例被构造使得图像传感器206例如经由如图6中所示的用于切除比光源202的发射波长更短的波长的光的切除滤光器或者经由如图7中所示的其中发射峰值大体对应于光源202的发射波长的带通滤光器接收从光源202发射的光。因此，有可能接收从光源202发射的光以去除除了光源202的发射波长的光，并且从光源202发射并且被图像传感器206接收的光的数量相对于环境光相对增大。结果，有可能将从光源202发射的光与环境光相区别，而不使用大光发射量的光源202。

然而，在本实施例中，从成像的图像数据，不仅执行在前窗105上的雨滴203的检测，而且执行在前面的汽车或接近的汽车的检测和白线的检测。因此，如果从整个成像的图像去除除了从光源202发射的红外线波长光之外的波长范围，则不可能接收用于执行在前面的汽车或接近的汽车的检测和白线的检测所需的波长范围中的光，这干扰了那些检测。因此，在本实施例中，将成像的图像数据的图像区域划分为用于检测在前窗105上的雨滴203的雨滴检测的图像区域和用于执行在前面的汽车或接近的汽车的检测和白线的检测的汽车检测的图像区域，并且，在滤光器205处布置滤光器，该滤光器仅相对于与用于雨滴检测的图像区域对应的部分去除除了从光源202发射的红外线波长光之外的波长范围。

图8是在滤光器205处设置的前滤光器210的前视图。

图9是图示成像的图像数据的示例的说明图。

如图3中所示，本实施例的滤光器205具有前滤光器210和后滤光器220，并且具有使得在发光方向上将它们分层的结构。如图8中所示，前滤光器210被划分为：在与上部对应的部分中布置的红外线切除滤光器区域211，即作为用于汽车检测的图像区域213的成像的图像的2/3；以及，在与下部对应的部分上布置的红外线发射滤光器区域212，即作为用于雨滴检测的图像区域214的成像图像的1/3。在红外线发射滤光器区域212中，使用在图6中所示的切除滤光器或如图7中所示的带通滤光器。

接近的汽车的头灯、在前面的汽车的尾灯和白线的图像经常存在于成像的图像的上部和成像的图像的下部，在司机的汽车100之前的最近道路表面的图像通常存在。因此，用于接近的汽车的头灯、在前面的汽车的尾灯和白线的识别的所需信息集中在成像的图像的上部，并且，成像的图像的下部对于那些的识别不重要。因此，在从单个成像的图像数据执行接近的汽车、在前面的汽车或白线的检测和雨滴的检测两者的情况下，如图9中所示，将成像的图像的下部作为用于雨滴检测的图像区域214，并且将剩余部分，成像的图像的上部作为用于汽车检测的图像区域213，并且优选的是，将前滤光器210划分为与上面对应的区域。

当包括向下的成像设备200的成像方向时，存在在成像的区域的下部捕获司机的汽车100的车罩的情况。在该情况下，被司机的汽车100的车罩反射的太阳光或在前面的汽车的尾灯光等变为环境光，该环境光被包括在成像的图像数据中，并且变为接近的汽车的头灯、在前面的汽车的尾灯和白线的错误识别的原因。即使在这样的情况下，在本实施例中，在与成像的图像的下部对应的部分中，布置了在图6中所示的切除滤光器或在图7中所示的带通滤光器，并且因此，去除了诸如由车罩反射的太阳光或在前面的汽车的尾灯光等的环境光。因此，改善了在接近的汽车的头灯、在前面的汽车的尾灯和白线的识别上的精度。

注意，在本实施例中，因为成像镜头204的特性，在成像区域中的视图和在图像传感器206上的图像相对于彼此垂直翻转。因此，在将成像的图像的下部看作用于雨滴检测的图像区域214的情况下，在图6中所示的切除滤光器或在图7中所示的带通滤光器构成滤光器205的前滤光器210的上部。

在此，在检测在前面的汽车的情况下，通过在成像的图像中识别在前面的汽车的桅顶来执行在前面的汽车的检测。

然而，尾灯的光量月接近的头灯的光量，并且，诸如街灯等的许多环境光存在，并且因此，难以仅从亮度数据精确地检测尾灯。因此，光谱信息用于尾灯的识别，并且需要基于红光的所接收光量来识别尾灯。在本实施例中，如下所述，在滤光器205的后滤光器220处，布置了与尾灯的颜色对应的红色滤光器或青色滤光器(仅发射尾灯的映射的波长范围的滤光器)，并且检测红光的所接收光量。

然而，本实施例的构成图像传感器206的光接收元件相对于在红外线波长范围中的光具有灵敏度。因此，当图像传感器206接收到包括红外线波长范围的光时，所获得的成像的图像可以整体是红色图像。结果，存在难以识别与尾灯对应的红色图像的情况。因此，在本实施例中，在滤光器205的前滤光器210中，与用于汽车检测的图像区域213对应的部分被看作红外线切除滤光器区域211。因此，从用于识别尾灯的成像的图像数据部分去除红外线波长范围，并且改善在尾灯的识别上的精度。

图10是图示在本实施例中的成像设备200的细节的说明图。

成像设备200主要包括成像镜头204、滤光器205、传感器基板207和信号处理器208。传感器基板207包括具有二维排列的像素阵列的图像传感器206。信号处理器208产生和输出作为从自传感器基板207输出的模拟电信号(通过在图像传感器206上的每一个光接收元件接收的所接收光量)转换的数字电信号的成像的图像数据。通过成像镜头204来自包括拍摄被摄体(要检测的对象)的成像区域的光透过滤光器205，并且被图像传感器206根据光强被转换为电信号。当从图像传感器206输出的电信号(模拟信号)被输入到信号处理器208时，从该电信号，信号处理器208与图像的水平和垂直同步信号一起向随后的单元输出数字信号，该数字信号示出在图像传感器206上的每一个像素的亮度(光亮度)数字信号来作为成像的图像数据。

图11是当从垂直于光透过方向的方向观看时的滤光器205和图像传感器206的放大示意图。

图像传感器206是使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)等的图像传感器，并且作为其光接收元件，使用光电二极管206A。每一个行驶以阵列方式二维地排列光电二极管206A，并且为了增大光电二极管206A的光收集效率，在每一个光电二极管206A的入射侧上设置了微透镜206B。通过引线接合方法等来将图像传感器206在PWB(印刷布线板)上连接，并且形成传感器基板207。

在图像传感器206的微透镜206B的一侧上，紧密地布置了滤光器205。滤光器205的后滤光器220具有层结构，其中，依序在透明滤光器基板221上形成偏振滤光器层222和光谱滤光器层223。如图11中所示。偏振滤光器层222和光谱滤光器层223的每一个被对应地划分为在图像传感器206上的一个光电二极管206A。

在滤光器205和图像传感器206之间，可以布置气隙。然而，滤光器205与图像传感器206紧密接触，使得容易将滤光器205的偏振滤光器层222和光谱滤光器层223的每一个区域的边界与在图像传感器206上的光电二极管206A之间的边界符合。可以例如使用UV粘结剂粘结滤光器205和图像传感器206，或者，使用成像的有效像素范围外部的四边形区域可以在被有效像素范围外部的过滤器支撑的状态中通过UV粘结或热压粘结来粘结。

图12是图示滤光器205的偏振滤光器层222和光谱滤光器层223的区域划分图案的说明图。

相对于偏振滤光器层222和光谱滤光器层223的每个，分别在图像传感器206上的一个电二极管206A上对应地布置第一和第二区域两种类型区域的每一个。因此，有可能根据所接收的光透过的偏振滤光器层222和光谱滤光器层223的区域的类型获得作为偏振信息或光谱信息等的由在图像传感器206上的每一个光电二极管206A接收的所接收光量。

注意，假定图像传感器206是用于单色图像的成像元件地说明本实施例；然而，可以通过用于彩色图像的成像元件来构成图像传感器206。在通过用于彩色图像的成像元件构成图像传感器206的情况下，可以根据附接到用于彩色图像的成像元件的每一个成像像素的滤色器的特性来调整偏振滤光器层222和光谱滤光器层223的每一个的透光特性。

在此，将描述在本实施例中的滤光器205的示例。

图13是示意地图示在本实施例内的滤光器205的层结构的截面图。

在本实施例中的滤光器205的后滤光器220中，与用于汽车检测的图像区域213对应的用于汽车检测的滤光器部分220A的层结构和与用于雨滴检测的图像区域214对应的用于雨滴检测的滤光器部分220B不同，但是用于雨滴检测的滤光器部分220B没有光谱滤光器层223。另外，偏振滤光器层222、225的结构在用于汽车检测的滤光器部分220A和用于雨滴检测的滤光器部分220B中不同。

图14是图示在本实施例中的与透过滤光器205的用于汽车检测的滤光器部分220A和被在图像传感器206的每一个光电二极管206A接收的光的数量对应的信息(每个成像像素的信息)的内容的说明图。

图15A是沿着在图14中的虚线A-A的截面图，其示意地图示了滤光器205的用于汽车检测的滤光器部分220A和图像传感器206。图15B是沿着在图14中的虚线B-B的截面图，其示意地图示了滤光器205的用于汽车检测的滤光器部分220A和图像传感器206。

在本实施例中的滤光器205的用于汽车检测的滤光器部分220A具有层结构，其中，在透明滤光器基板221上形成偏振滤光器层222，并且然后在偏振滤光器层222上形成光谱滤光器层223，如图15A和15B中所示。偏振滤光器层222具有线栅结构，并且在偏振滤光器层222的层方向上的上表面(在图15A和15B中的下侧表面)是波纹曲面。在这样的波纹曲面上，如果直接形成光谱滤光器层223，则沿着波纹曲面形成光谱滤光器层223，并且存在出现光谱滤光器层223的层厚度的不均匀并且未获得原始的光谱性能的情况。因此，对于在本实施例中的滤光器205，在偏振滤光器层222的层方向上的上表面侧被填充填充剂224被被整平，并且然后，在填充剂224上形成光谱滤光器层。

填充剂224的材料可以是不影响偏振滤光器层222的功能的材料，偏振滤光器层222的波纹曲面被填充剂224整平。因此，在本实施例中，使用没有偏振功能的材料。另外，作为使用填充剂224的整平操作，例如，可以适当地采用通过在玻璃上旋涂的方法来施加填充剂224的方法。然而，不限于此。

在本实施例中，偏振滤光器层222的第一区域是垂直偏振区域，该区域选择和仅透过与图像传感器206的成像像素的垂直行(垂直方向)平行地振荡的垂直偏振分量，并且，偏振滤光器层222的第二区域是水平偏振区域，该区域选择和仅透过与图像传感器206的成像像素的水平行(水平方向)平行地振荡的水平偏振分量。

另外，光谱滤光器层223的第一区域是红色光谱区域，该区域选择和仅透过在能够透过偏振滤光器层222的所使用波长范围中包括的红色波长范围(特定波长范围)的光，并且，光谱滤光器层223的第二区域是透过光而不执行波长选择的非光谱区域。在本实施例中，如被在图14中的粗虚线围绕地所示，通过两个相邻的垂直和两个相邻的水平成像像素总共四个成像像素(通过附图标记a、b、e、f表示的四个成像像素)构成成像的图像数据的一个图像像素。

在图14中所示的成像像素“a”接收透过滤光器205的偏振滤光器层222的垂直偏振区域(第一区域)和光谱滤光器层223的红色光谱区域(第一区域)的光。因此，成像像素“a”接收垂直偏振分量(由在图14中的附图标记P表示)的红色波长范围(由在图14中的附图标记R表示)的光P/R。

在图14中所示的成像像素“b”接收透过滤光器205的偏振滤光器层222的垂直偏振区域(第一区域)和光谱滤光器层223的非光谱区域(第二区域)的光。因此，成像像素“b”接收垂直偏振分量P的非光谱光的光P/C。

在图14中所示的成像像素“e”接收透过滤光器205的偏振滤光器层222的水平偏振区域(第二区域)和光谱滤光器层223的非光谱区域(第二区域)的光。因此，成像像素“e”接收水平偏振分量(被在图14中的附图标记S表示)的非光谱光的光S/C。

在图14中所示的成像像素“f”接收透过滤光器205的偏振滤光器层222的垂直偏振区域(第一区域)和光谱滤光器层223的红色光谱区域(第一区域)的光。因此，成像像素“f”接收垂直偏振分量P的红色波长范围R的光P/R以及成像像素“a”。

通过上述结构，根据本实施例，从成像像素“a”和成像像素“f”的输出信号获得相对于红光的垂直偏振分量的图像的一个成像像素，并且，从成像像素“b”的输出信号获得相对于非光谱光的垂直偏振分量的图像的一个成像像素，并且从成像像素“e”的输出信号获得相对于非光谱光的水平偏振分量的图像的一个成像像素。因此，根据本实施例，单个成像操作使得有可能获得三种成像的图像数据，即，红光的垂直偏振分量的图像、非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像。

注意，在上面的成像的图像数据中，成像像素的数量小于成像像素的数量。然而，在获得较高分辨率图像的情况下，可以使用公知的图像插入技术。例如，在获得具有较高分辨率的红光的垂直偏振分量的图像的情况下，相对于与成像像素“a”和成像像素“f”对应的成像像素，直接地使用由那些成像像素“a和f”接收的红光的垂直偏振分量P的信息，并且相对于与成像像素“b”对应的成像像素，例如，将围绕成像像素“b”的成像像素“a、c、f和j”的平均值用作成像像素的红光的垂直偏振分量的信息。

另外，在获得具有较高分辨率的非光谱光的水平偏振分量的图像的情况下，相对于与成像像素“e”对应的成像像素，直接使用由成像像素“e”接收的非光谱光的水平偏振分量S的信息，并且相对于与成像像素“a、b和f”对应的成像像素，使用围绕成像像素“a、b和f”的、接收非光谱光的水平偏振分量的成像像素“g”等，并且可以使用与成像像素“e”相同的值。

例如如此获得的红光的垂直偏振分量的图像可以用于尾灯的识别。在红光的垂直偏振分量的图像中切除水平偏振分量S；因此，有可能获得红色图像，其中，抑制了因为作为被道路表面反射的红光的、其中水平偏振分量S强的红光或来自在司机的汽车100内部的仪表盘的红光(反射光)等导致的环境因素。因此，通过使用用于识别尾灯的红光的垂直偏振分量的图像，改善了尾灯的识别率。

另外，非光谱光的垂直偏振分量的图像可以用于例如识别白线或接近的汽车的头灯。在非光谱光的垂直偏振分量的图像中切除水平偏振分量S；因此，有可能获得非光谱图像，其中，抑制了因为作为被道路表面反射的白光的、其中水平偏振分量S强的白光或来自在司机的汽车100内部的仪表盘的白光(反射光)等导致的环境因素。因此，通过使用用于识别白线或接近的汽车的头灯的非光谱光的垂直偏振分量的图像，改善了那些的识别率。具体地说，公知在雨中的道路上，在来自湿的道路表面的反射光上存在许多水平偏振分量S。因此，通过使用用于识别白线的非光谱光的垂直偏振分量的图像，有可能适当地识别湿的道路表面上的白线，并且改善识别率。

另外，如果使用其中将索引值——其中，在非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像之间比较每一个像素值——作为像素值的比较图像，则如下所述，在成像的区域中的金属对象、道路表面的湿/干条件、在成像的区域中的三维对象和在雨中的在道路上的白线的高精度识别是可能的。例如，作为在此使用的比较图像，可以使用：差图像，其中，将在非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像大之间的像素值的差值看作像素值；比率图像，其中，将在那些图像之间的像素值的比率看作像素值；或者，差偏振度图像，其中，将在那些图像之间的像素值的差值相对于在那些图像之间的总的像素值的比率(差偏振度)看作像素值等等。

图16是图示在本实施例中与透过滤光器205的用于雨滴检测的滤光器部分220B并且被在图像传感器206的每一个光电二极管206A接收的光的数量对应的信息(每一个成像像素的信息)的内容的说明图。

图17A是在图16中的沿着虚线A-A的截面图，其示意地图示了滤光器205的用于汽车检测的滤光器部分220A和图像传感器206。

图17B是在图16中的沿着虚线B-B的截面图，其示意地图示了滤光器205的用于雨滴检测的滤光器部分220B和图像传感器206。

在本实施例中的滤光器205的用于雨滴检测的滤光器部分220B中，在被用于汽车检测的滤光器部分220A共享的滤光器基板221上形成线栅结构的偏振滤光器层225，如图17A和17B中所示。通过使用填充剂224填充在层方向上的上表面侧，与用于汽车检测的滤光器部分220A的偏振滤光器层222一起将偏振滤光器层225整平。然而，用于雨滴检测的滤光器部分220B与用于汽车检测的滤光器部分220A不同，并且未层叠光谱滤光器层223。

在本实施例中，经常在前窗105的内表面上反射司机的汽车100的内侧的视图。该反射由通过前窗105的内表面镜面反射的光引起。因为该反射是镜面反射的光，所以它是环境光，其强度较大。因此，当与雨滴一起在用于雨滴检测的图像区域214中示出该反射时，降低了在雨滴检测上的精度。另外，当与雨滴一起在用于雨滴检测的图像区域214中示出从光源202发射并且被前窗105的内表面镜面反射的镜面反射光时，镜面反射光也变为环境光，并且降低了在雨滴检测上的精度。

因为降低了在雨滴检测上的精度的这样的环境光是被前窗105的内表面镜面反射的镜面反射光，所以其偏振分量的大部分是其偏振方向操作员光源入射平面的偏振分量，即，与图像传感器206的成像像素的水平行(水平方向)平行地振荡的水平偏振分量S。因此，在本实施例中的滤光器205中的用于雨滴检测的滤光器部分220B中的偏振滤光器层225中，设置了透射横轴，以便透射其偏振方向平行于虚拟平面(光源入射平面)的偏振分量，该虚拟平面包括从光源202发射并且向前窗105传播的光的光轴和成像镜头204的光轴，该偏振分量即仅是与图像传感器206的成像像素的垂直行(垂直方向)平行地振荡的垂直偏振分量P。

因此，透过用于雨滴检测的滤光器部分220B的偏振滤光器层225的光仅是垂直偏振分量P，并且有可能切除占用前窗105的内表面的反射的大量环境光或从光源202发射并且被前窗105的内表面镜面反射的镜面反射光等的水平偏振分量S。结果，用于雨滴检测的图像区域214用于被环境光较少地影响的垂直偏振分量P的垂直偏振图像，并且，改善了在基于用于雨滴检测的图像区域的成像的图像数据的雨滴检测中的精度。

在本实施例中，通过具有不同层结构的多层膜来形成构成前滤光器210的红外线切除滤光器区域211和红外线透射滤光器区域212的每一个。作为这样的前滤光器210的产生方法，存在一种方法，该方法使得在通过真空沉积而将红外线透射滤光器区域212的一部分膜化、对于掩模覆盖红外线透射滤光器区域212的该部分并且然后使用掩模来覆盖红外线透射滤光器区域212的该部分后，通过真空沉积来将红外线切除滤光器区域211的一部分膜化。

另外，在本实施例中，用于汽车检测的滤光器部分220A的偏振滤光器层222和用于雨滴检测的滤光器部分220B的偏振滤光器层225的每一个具有线栅结构，在二维方向上在区域上划分了该结构；然而，前一个偏振滤光器层222是下述部分，其中，其中透射轴彼此垂直的两种类型的区域(垂直偏振区域和水平偏振区域)被成像像素单元在区域上划分，并且后一个偏振滤光器层225是下述部分，其中，具有仅透过垂直偏振分量P的透射轴的一种类型的区域在区域上被成像像素单元划分。在同一透明滤光器基板221上形成具有这样的不同结构的偏振滤光器222、225的情况下，例如，通过调整执行具有线栅结构的金属线的图案化的模板(等同于模具)的凹槽方向，该区域的金属线的纵向的调整容易。

注意，在本实施例中，滤光器205不具有红外线切除滤光器区域211，但是成像镜头204可以具有红外线切除滤光器区域211。在该情况下，滤光器205的生产容易。

另外，取代红外线切除滤光器区域211，在光源202的用于雨滴检测的滤光器部分220B中可以执行仅透过垂直偏振分量P的光谱滤光器层。在该情况下，不必在前滤光器210中形成红外线切除滤光器区域211。

图18是关于雨滴检测的各种光束的说明图。

光源202被布置使得由前窗105的外表面镜面反射的光大体对应于成像镜头204的光轴。

在图18中的光束A是从光源202发射并且透过前窗105的光束。在雨滴203未附着在前窗105的外表面上的情况下，从光源202阿飞色并且向前窗105传播的光透过前窗105，并且直接泄漏处司机的汽车100。因此，作为光源202，考虑到撞到人眼的光，优选的是，选择在人眼安装范围中的波长和数量的光的光源。另外，如图18中所示，更优选地构造使得从光源202发射并且向前窗105传播的光在垂直方向上向上传播，并且由此，降低了撞到人眼的光的可能性。

在图18中的光束B是从光源202发射、被前窗105的内表面镜面反射并且入射到成像设备200的光束。从光源202发射并且向前窗105传播的光的一部分被前窗105的内表面镜面反射。关于镜面反射的光(光束B)的偏振分量，一般知道，在垂直于入射平面的方向(与图18的纸张的表面垂直的方向)上振荡的S偏振分量(水平偏振分量S)是支配的。从光源202发射并且被前窗105的内表面镜面反射的镜面反射光(光束B)不根据在前窗105的外表面上附着的雨滴203的存在而被改变，它不仅是雨滴检测不需要的光，而且是降低在雨滴检测上的精度的环境光。在本实施例中，光束B(水平偏振分量S)被用于雨滴检测的滤光器部分220B的偏振滤光器层225切除；因此，有可能抑制因为光束B导致的在雨滴检测上的精度的降低。

在图18中的光束C是从光源202发射、透过前窗105的内表面、被在前窗105的内表面上附着的雨滴反射并且入射到成像设备200的光束。从光源202发射并且向前窗105传播的光的一部分透过前窗105的内表面；然而，透射光具有比水平偏振分量S更多的垂直偏振分量P。并且，在雨滴203附着在前窗105的外表面上的情况下，通过前窗105的内表面的光不象光束A那样泄漏到外部，在雨滴内被多次反射，再一次透过前窗105内部并且向成像设备的一侧传播，并且入射到成像设备200。此时，在成像设备200的滤光器205中的前滤光器210的红外线透射滤光器区域212被构造使得发射光源202的发射波长(红外线)；因此，光束C透过红外线透射滤光器区域212。另外，后滤光器220的用于雨滴检测的滤光器部分220B的偏振滤光器层225具有线栅结构，并且该线栅结构的金属线的纵向被形成使得透过垂直偏振分量P；因此，光束C透过偏振滤光器层225。因此，光束C到达图像传感器206，并且通过图像传感器206根据所接收光量来执行雨滴检测。

在图18中的光束D是从前窗105的外部透过前窗105并且入射在成像设备200的用于雨滴检测的滤光器部分220B上的光束。光束D也可以在雨滴检测时为环境光；然而，在本实施例中，通过在滤光器205中的前滤光器210的红外线透射滤光器区域212来切除光束D的大部分。因此，有可能抑制因为光束D导致的在雨滴检测上的精度的降低。

在图18中的光束E是从前窗105外部透过前窗105并且入射在成像设备200的用于汽车检测的滤光器部分220A上的光束。在滤光器205中的前滤光器210的红外线切除滤光器区域211切除光束E的红外线范围，并且仅将在可见范围中的光成像。如此成像的图像用于检测接近的汽车的头灯、在前面的汽车的尾灯或白线等。

注意，在本实施例中，已经描述了存在一个光源202的情况；然而，可以布置多个光源202。在那种情况下，作为用于雨滴检测的滤光器部分220B的偏振滤光器层225，使用下述部分，其中，其透射轴的方向彼此不同的多个偏振滤光器区域在区域上被成像像素单元划分以便在成像像素的二维布置方向上重复。并且相对于每个偏振滤光器区域，设置透射轴使得仅透过偏振分量，该偏振分量的偏振方向平行于包括从具有最大入射光量的光源向多个光源202的偏振滤光器区域的光轴和成像镜头204的光轴的虚拟平面。

另外，与光源202的数量无关，根据入射在偏振滤光器层225的每一个点上的环境光的在前窗的内表面上的反射点来改变能够适当地去除被前窗105的内表面镜面反射的环境光的偏振滤光器层225的透射轴的方向。这是因为汽车的头灯104不仅向前向下倾斜，而且在右和左方向上从中心部分向两端部分向后大幅度弯曲，以便改善空气动力学特性。在这样的情况下，在成像的图像的用于雨滴检测的图像区域214中，在成像的图像的中心部分中适当地切除环境光，但是未在两端部分上适当地切除环境光的情况可以出现。

图19是图示其中线栅结构的金属线的纵向在偏振滤光器层225的每一个位置(点1至3)处处不同的示例。

通过具有这样的结构，有可能适当地整体切除成像的图像的用于雨滴检测的图像区域214中的环境光。

注意，关于在本实施例中的滤光器205，比前滤光器210相对于图像传感器206的一侧更近地设置后滤光器220，该后滤光器220具有在区域上如图14中所示被划分的偏振滤光器层222和光谱滤光器层223；然而，可以比～)相对于图像传感器206的该侧更低地设置前滤光器210。

接下来，将描述在本实施例中的在前面的汽车和接近的汽车的检测操作的流程。

图20是图示在本实施例中的汽车检测操作的流程的流程图。

在本实施例的汽车检测操作中，对于由成像设备200成像的图像数据执行图像处理，并且，提取被看作要检测的对象的图像区域。并且，通过识别在图像区域中所示的光源多信道的类型是否是要检测的两种类型的对象的任何一种，执行在前面的汽车和接近的汽车的检测。

首先，在步骤S1中，在存储器中存储由成像设备200的图像传感器206成像的在司机的汽车100前面的图像数据。该图像数据包括示出在图像传感器206的每个成像像素中的亮度的信号，如上所述。接下来，在步骤S2中，从汽车行为传感器(未示出)获得关于司机的汽车100的行为的信息。

在步骤S3中，从在存储器中存储的图像数据提取被看作要检测的对象的高亮度图像区域(在前面的汽车的尾灯和接近的汽车的头灯)。该高亮度图像区域是具有比在图像数据中的雨滴阈值亮度高的亮度的明亮区域，并且通常有存在多个高亮度区域，并提取那些的全部的情况。因此，在该步骤中，也将示出从湿道路表面的反射光的图像区域提取为高亮度区域。

在高亮度图像区域调整操作中，首先，在步骤S31中，通过下述方式来执行二进制化操作：将在图像传感器206上的每个成像像素的亮度值和雨滴的阈值亮度作比较。具体地说，向具有等于或大于雨滴阈值亮度的亮度的像素分配“1”，并且，向除了上面之外的像素分配“0”，并且建立二进制化的图像。接下来，在步骤S32中，在二进制化的图像中，在被分配“1”的像素相邻的情况下，执行将那些像素识别为一个高亮度图像区域的标注操作。因此，将具有骨朵拉值的多个相邻的显示的集合提取为一个高亮度图像区域。

在上面的高亮度图像区域提取操作后执行的步骤S4中，计算在与每一个提取的高亮度图像区域对应的成像区域中的对象和司机的汽车100之间的距离。在该距离计算操作(步骤S4)中，执行：双灯距离计算操作(步骤S42)，其通过使用作为左和右一对光的汽车的光来检测距离；以及，单光距离计算操作(步骤S43)，其中，在长距离的情况下，未区别地识别左和右一对光的每一个，并且将该左和右对光识别为单光。

首先，对于对光距离计算操作，在步骤S41中，执行建立一对光的对光建立操作。在由成像设备200成像的图像数据中，左和右一对光满足下述条件：其中，左和右一对光的每一个相邻，并且在大体相同的高度的位置处，高亮度图像区域的每一个区域大体相同，并且高亮度图像区域的每一个形状相同。因此，满足这样的条件的高亮度图像区域的两个被作为一对光。未被看作对光的高亮度图像区域是单光。在建立对光的情况下，通过在步骤S42中的对光距离计算操作，计算到对光的距离。通过常数值“w0”(例如，大约1.5m)来近似在左和右头灯之间的距离和在汽车的左和右尾灯之间的距离。另一方面，因为已知在成像设备200中的焦距“f”，所以通过计算在成像设备200的图像传感器206上的左和右光“w1”之间的距离，通过简单比例计算(x＝f·w0/w1)来计算到对光的实际距离“x”。注意，对于在前面的汽车和接近的汽车的距离检测，可以使用特殊的距离传感器，诸如激光雷达或毫米波雷达等。

在步骤S5中，垂直偏振分量P的红色图像与垂直偏振分量P的白色图像的比率(红色亮度比)被用作光谱信息，并且从该光谱信息，执行光类型识别操作，该操作通过来自头灯的光或来自尾灯的光来识别被作为对光的高亮度图像区域的两个。在光类型识别操作中，首先在步骤S51中，相对于被作为对光的高亮度图像区域，建立红色比率图像(红色比率图像建立操作)，其中，将与在图像传感器206上的成像像素“a，f”对应的像素数据和与在图像传感器206上的成像像素“b”对应的像素数据的比率作为像素值。并且然后，在步骤S52中，执行光分类操作，其中，将红色比率图像的像素值与雨滴阈值作比较，通过来自尾灯的光将其中阈值等于或大于预定阈值的高亮度图像区域作为尾灯图像区域，并且通过来自头灯的光将其中像素值小于预定阈值的高亮度图像区域作为头灯图像区域。

并且然后，在步骤S6中，相对于被识别为尾灯图像区域和头灯图像区域的每一个图像区域，通过使用作为偏振信息的差偏振度((S-P)/(S+P))，执行反射识别操作，该操作识别来自尾灯或头灯的直射光或由湿路面的镜面部分反射并且被接收的反射光等。在反射识别操作中，首先，在步骤S61中，相对于尾灯图像区域，计算差偏振度((S-P)/(S+P))，并且建立差偏振度图像，其中，将所计算的差偏振度作为像素值。并且同样，相对于头灯图像区域，计算差偏振度((S-P)/(S+P))，并且建立差偏振度图像，其中，将所计算的差偏振度作为像素值(差偏振度图像建立操作)。并且，在步骤S62中，执行反射去除操作，其中，将每一个差偏振度图像的像素值与雨滴阈值作比较，将其中像素值等于或大于预定值的尾灯图像区域和头灯图像区域确定为通过反射光的图像区域，通过反射光的每一个图像区域被作为未示出在前面的汽车的尾灯或接近的汽车的头灯的图像区域，并且被去除。在上面的去除操作后剩余的尾灯图像区域和头灯图像区域被识别为示出在前面的汽车的尾灯的图像区域或示出接近的汽车的头灯的图像区域。

注意，仅在汽车配备了雨传感器并且该雨传感器确定在下雨的情况下，可以执行上面的反射识别操作S6。另外，仅在通过随机操作刮水器的情况下，可以执行上面的反射识别操作S6。简而言之，当假设通过湿路面反射时仅在下雨时执行上面的反射识别操作S6。

由上述汽车检测操作检测的在前面的汽车和接近的汽车的检测结果用于在本实施例中的作为司机的汽车100的汽车中设备的头灯的光分布控制。具体地说，在通过汽车检测操作来检测在前面的汽车的尾灯并且移动得更接近其中司机的汽车100的头灯的照明光入射到在前面的汽车的后视镜的距离范围的情况下，执行阻挡司机的汽车100的头灯的一部分并且在上和下方向或右和做方向上转换司机的汽车100的头灯的照明光的控制，使得司机的汽车100的头灯的照明光不找到在前面的汽车。另外，在通过汽车检测操作检测接近的汽车的头灯并且移动得更接近司机的汽车100的头灯的照明光撞到接近的汽车的司机的距离范围的情况下，执行阻挡司机的汽车100的头灯的一部分并且在上和下方向或右和做方向上转换司机的汽车100的头灯的照明光的控制，使得司机的汽车100的头灯的照明光不照到接近的汽车。

[白线检测操作]

以下，将说明在本实施例中的白线检测操作。

在本实施例中，为了防止司机的汽车100偏离行驶区域，执行检测作为要检测的对象的白线(路标线)的操作。在此的术语“白线”包括所有类型的路标白线，诸如实线、短划线、点线和双线等。注意同样，也能够检测诸如黄色等的、除了白色之外的颜色的路标线。

在本实施例的白线检测操作中，使用在能够从成像单元101获得的信息中的白色分量(非光谱光)的垂直偏振分量P的偏振信息。注意，白色分量的垂直偏振分量P可以包括青光的垂直偏振分量。公知白线和沥青表面具有在可见光区域中的平坦光谱亮度特性。另一方面，青光包括在可见光区域中的宽范围；因此，其适合于将沥青表面和白线成像。因此，通过使用滤光器205，并且在白色分量的垂直偏振分量中包括青光的垂直偏振分量，所使用的成像像素的数量增加，并且结果，分辨率增大，并且也可能检测在一定距离中的白线。

在本实施例的白线检测操作中，在许多道路上，在其颜色接近黑色的道路的表面上形成白线，并且在白色分量(非光谱光)的垂直偏振分量P的图像中，白线的一部分的亮度足够地大于在道路表面上的另一个部分的亮度。因此，等于或大于预定值的在道路的表面上的亮度被确定为白线，并且因此，有可能检测白线。具体地说，在本实施例中，因为在白色分量(非光谱光)的垂直偏振分量P的使用图像中切除水平偏振分量S，所以有可能获得其中抑制了从湿路表面等反射的光的图像。因此，有可能执行白线检测，而没有错误的检测，其中，诸如在夜晚来自湿道路表面等的头灯的反射光的环境光被检测为白线。

另外，在本实施例的白线检测操作中，在能够从成像单元101获得的信息中，可以使用通过将白色分量(非光谱光)的水平偏振分量S与其垂直偏振分量P作比较的信息，例如，白色分量(非光谱光)的水平偏振分量S和其垂直偏振分量P的差偏振度((S-P)/(S+P))。关于从白线的反射光，通常，漫反射分量占优势。因此，反射光的垂直偏振分量P和水平偏振分量S大体相等，并且，差偏振度示出接近0的值。另一方面，在其中未形成白线的沥青表面部分上，当它干时，特性示出漫反射分量占优势，并且其差偏振度示出较大的值。因此，有可能确定其中在道路表面部分上的所获得的差偏振值小于作为白线的预定阈值。

[在前窗上的雨滴检测操作]

以下，将说明本实施例的雨滴检测操作。

在本实施例中，为了执行刮水器107的驱动控制和挡风玻璃清洗液的喷射控制的目的，执行将雨滴检测为要检测的对象的操作。在此注意，雨滴是附着物的情况被作为示例，并且将被描述，并且这适于诸如鸟粪以及附近的汽车的水溅的附着物的情况。

在本实施例的雨滴检测操作中，在能够从成像单元101获得的信息中，使用接收通过前滤光器210的红外线透射滤光器层212和在后滤光器220的用于雨滴检测的滤光器部分220B中的偏振滤光器层225发射的光的用于雨滴检测的图像区域214的垂直偏振分量P的偏振信息。

图21是图示以布儒斯特角的反射光的偏振状态的说明图。

通常，当光入射在诸如玻璃等的平坦表面上时，水平偏振分量S的反射率相对于入射角单调增大；然而，垂直偏振分量P的反射率在特定角度(布儒斯特角θB)变为零，并且，垂直偏振分量P如图21中所示不被反射，并且仅是透射光。因此，光源202被构造使得仅以布儒斯特角θB的入射角从汽车内部向前窗105发射垂直偏振分量P的光，使得由前窗105的内表面(在汽车内部的一侧上的表面)的反射光不出现，并且，向前窗105的外表面(在汽车的外部的一侧上的表面)发射垂直偏振分量P的光。当由前窗105的内表面的反射光存在时，反射光变为到成像设备200的环境光，并且，变为用于减小雨滴检测率的因素。

为了仅从光源202发射的光的垂直偏振分量P入射到前窗105，在例如将发光二极管(LED)用作光源202的情况下，在光源202和前窗105之间，优选的是，布置仅发射垂直偏振分量P的偏振器。另外，在将激光二极管(LD)用作光源202的情况下，因为LD仅发射特定偏振分量的光，所以可以调整LD的轴使得仅垂直偏振分量P入射到前窗105。

图22A是图示当雨滴附着在前窗105的外表面上时的成像的图像的说明图。

图22B是图示当雨滴未附着在前窗105的外表面上时的成像的图像的说明图。

在图22A和22B的每一个中，在附图中的下区域是用于雨滴检测的图像区域214，并且在附图中的剩余部分是用于汽车检测的图像区域213。在用于雨滴检测的图像区域214中，当附着雨滴时，如图22A中所示，示出来自光源202的光，并且当雨滴未附着时，如图22B中所示，未示出来自光源202的光。因此，有可能容易地通过调整来自光源202的所接收光的数量的阈值来执行在用于雨滴检测的图像区域214中的雨滴图像的识别操作。注意，该阈值不必是固定值，并且可以根据在配备了成像设备200的司机的汽车周围的情况的改变等而被适当地改变。例如，基于成像设备200的曝光调整信息等来计算最佳值，并且可以改变阈值。

在本实施例中，通过在滤光器205中的前滤光器210的红外线透射滤光器区域212，切除了从前窗105的外部透过前窗105并且入射到成像设备200的用于雨滴检测的滤光器部分220B的诸如可见光的除了红外线之外的光。因此，减少了从前窗105的外部入射的环境光，并且，抑制了因为这样的环境光导致的在雨滴检测上的精度的降低。

而且，在本实施例中，透过用于雨滴检测的滤光器部分220B的偏振滤光器层225的光仅是垂直偏振分量P，并且也切除了占用前窗105的内表面的反射的大量环境光的水平偏振分量S或从光源202发射并且被前窗105镜面反射的镜面反射的光等。因此，也抑制了因为这样的环境光导致的在雨滴检测上的精度的降低。

然而，即使环境光如此被红外线透射滤光器区域212和滤光器205的偏振滤光器层225切除，也存在通过诸如从前窗105的外部入射的红外线等的环境光降低在雨滴检测上的精度的情况。因此，在本实施例中，为了将能被滤光器205切除的环境光与从雨滴反射的光相区别，执行下面的图像处理。

在说明特定的雨检测操作之前，在本实施例中，将说明将不能被滤光器205切除的环境光与来自雨滴的反射光相区别的机制。

图23是图示当成像设备200连续的将成像的图像成像时在光源202的驱动频率(光源周期)和成像频率(成像帧周期)之间的关系的说明图。

在本实施例中的光源202以预定的驱动频率(在本实施例中，将100Hz作为示例)驱动，并且发射根据该驱动频率来闪烁的光。另一方面，在本实施例中的成像设备200以预定的成像频率(在本实施例中，将30Hz作为示例)来将成像的图像连续地成像，并且能够在与该成像频率对应的每一个成像帧周期(33.3ms)获得每个单个成像的图像。

在本实施例中，相对于在光源202的驱动频率(以下称为“光源驱动频率”)和成像设备200的成像频率之间的关系，将光源驱动频率和成像频率之一设置得偏离另一个的整数倍。因此，如图23中所示，在开始前一个成像时和在开始最新成像时从光源202发射的光的强度不同。结果，即使从光源202发射的反射光是通过同一点(雨滴)反射的光，光源202的图像传感器以在前一个成像的图像和最新的成像的图像之间的不同接收光量接收反射光。另一方面，通常不是从光源202发射的光的环境光不是作为从光源202发射的光以短的周期闪烁的光。因此，相对于这样的环境光，在前一个成像的图像和最新成像的图像之间由成像设备200的图像传感器接收的所接收光量上没有差别。

因此，通过在从雨滴反射的光火和环境光之间的这样的差别，识别它们。具体地说，如果在前一个成像的图像和其图像区域是示出雨滴的区域的最新成像的图像之间在所接收的光量上存在差别，并且即使其中在前一个成像的图像和最新成像的图像之间在所接收的光量上没有差别的图像区域是其中接收到特定数量的光的区域，则有可能确定示出雨滴的区域。

在此，在本实施例中的成像设备200采用卷帘快门方法，并且以在图像传感器上的水平方向上延伸的图像线为单位来以预定的信号获取频率获得图像数据。因此，在单个成像的图像中，在其中如在图24A中所示示出雨滴的成像区域(接收从光源202发射并且被雨滴反射的反射光的区域)中，如图24B中所示，在图像线的排列方向(垂直方向)中，示出所接收光量的强度的不同色调的条纹图案而以通过在信号获取频率和光源驱动频率之间的差出现的节拍的周期出现。此时，在其中相对于确定在前一个成像的图像和最新成像的图像之间的所接收光量的差的检测单位区域，与对应于上面的条纹图案的图像线的数量对应地设置在图像传感器的成像像素的垂直行方向(垂直方向)上的长度(图像线的数量)的情况下，在检测单位区域中的所接收光量的重量或平均数量变得在前一个成像的图像和最新成像的图像之间相同。在该情况下，用于检测在前一个成像的图像和最新成像的图像之间的所接收光量的差别的操作变得复杂。因此，如图24B中所示，优选的是，将该检测单位区域设置使得在该检测单位区域中的成像像素的垂直行方向上的长度(图像线的数量)变得小于从条纹图案的周期转换的图像线的数量的值。

注意在采用卷帘快门方法的情况下，如上所述，在单个成像的图像中，示出所接收光量的强度的不同色调的条纹图案以通过在信号获取频率和光源驱动频率之间出现的节拍的周期出现。因此，如果检测到该节拍，即使仅单个成像的图像，也可能确定示出雨滴的区域。

注意，作为在本实施例中的成像设备200，可以不仅采用卷帘快门方法，而且采用如图25中所示的全局快门方法。在该情况下，不同色调的条纹图案不象在卷帘快门方法中那样出现在单个成像的图像中。然而，如果在光源驱动频率和成像频率之间的关系被设置得偏离彼此的整数倍，则如图26A和26B中所示，在示出雨滴的图像区域(接收从光源202发射并且被雨滴反射的光的区域)中，在前一个成像的图像和最新成像的图像之间出现所接收光量的差别。

图27A是图示在其中光源驱动频率是50Hz的情况下在连续拍摄的成像的图像中的示出雨滴的图像区域中的像素值的平均值的改变的图形。

图27B是图示在其中光源驱动频率是60Hz的情况下在连续拍摄的成像的图像中的示出雨滴的图像区域中的像素值的平均值的改变的图形。

图27C是图示在其中光源驱动频率是0Hz的情况下(即在发射具有闪烁的光的情况下)在连续拍摄的成像的图像中的示出雨滴的图像区域中的像素值的平均值的改变的图形。

如图27A中所示，在光源驱动频率是50Hz的情况下，在上面和成像频率(30Hz)之间的差较小；因此，像素值的平均值的改变周期短。另一方面，如图27B中所示，在光源驱动频率是60Hz的情况下，在上面和成像频率(30Hz)之间的差较大；因此，像素值的平均值的改变周期长。作为比较数据，如图27C中所示，在光源驱动频率是0Hz的情况下，即，在发射没有闪烁的光的情况下，节拍不在图像中出现，并且在像素值的平均值上不出现任何改变。

在此，将具体说明在本实施例中的雨滴检测操作的内容。

图28是图示在本实施例中的雨滴检测操作的流程的流程图。

当从成像单元101的成像设备200输入成像的图像数据时，在增加帧的数量的数据的一个计数值后(步骤S71)，图像分析单元102作为附着物检测处理器，并且计算在通过将用于雨滴检测的图像区域214划分为多个区域而获得的每一个单位图像区域(检测单位区域)的检测单位区域中的像素值的平均值(以下称为“像素平均值”)(步骤S72)。

在图像分析单元102中，依序输入以预定成像频率(30Hz)连续成像的、用于雨滴检测的图像区域214的图像数据。图像分析单元102在预定图像存储器中至少存储最新成像的图像的图像数据(用于雨滴检测的图像区域214的图像)和前一个成像的图像或比前一个更早成像的图像的图像数据。在本实施例中，在图像存储器中存储若夫图29B中所示的最新成像的图像数据和在图29A中所示的前一个成像的图像数据，并且，在那些成像的图像数据之间执行比较操作。

具体地说，相对于在步骤S72中计算的像素平均值，每一个检测单位区域，计算在最新成像的图像和前一个成像的图像之间之间的差值(步骤S73)。并且确定所计算的每一个检测单位区域的每一个差值的累积值是否超过雨滴阈值(步骤S74)，并且，如果确定该累积值超过雨滴阈值，则加上雨滴附着图像的数量的数量的一个计数值(步骤S75)。如果确定累积值未超过预定阈值，则不加上雨滴附着图像的数量的数据的任何计数值。

相对于10个成像的图像数据，重复执行上面的步骤S71至75的操作，并且如果帧的数量的数据的计数值达到10(步骤S76的是)，则确定雨滴附着图像的数量的数据的计数值是否超过预定雨滴检测阈值(在本实施例中，将“8”作为示例)(步骤S77)。结果，在确定雨滴附着图像的数量的数据的计数值超过雨滴雨滴检测阈值的情况下，加上雨滴检测计数数据的一个计数值(步骤S78)。并且然后，将帧的数量的数据和雨滴附着图像的数量的数据的计数值复位为0(步骤S79)，并且，操作进行到下一个雨滴检测操作。

因此，在本实施例中，以10个连续成像的图像为单位来重复执行雨滴检测操作，并且在雨滴检测计数数据中计数在每一个雨滴检测操作中的雨滴的存在的检测结果。刮水器控制单元106例如当雨滴检测计数数据满足雨滴条件(诸如连续计数10个图像的情况)时执行刮水器107的驱动控制或挡风玻璃清洗液的喷射控制。

注意在向在零的状态中的雨滴检测计数数据的计数值加1的情况下，可以执行增大成像设备200的成像频率的控制。因此，直到检测到第一雨滴，成像设备200以较低的成像频率成像，并且有可能在轻的操作负荷下连续地执行操作。另一方面，可以说，当检测到第一雨滴时的时间可能是当雨开始下时的时间，并且随后，很可能是雨滴附着的状态。因此，在很可能雨滴附着的状态中，通过在检测到对于雨滴后增大成像频率，有可能在更短的时间中重复更多的雨滴检测操作，并且更迅速地实现雨滴的存在。

另外，在当在用于雨滴检测的图像区域中示出雨滴图像区域时来自图像传感器的图像数据示出饱和值的情况下，优选的是，调整使得降低光源202的光发射的强度。因此，在不降低在来自雨滴的反射光的检测的精度的情况下，有可能减小噪声分量，并且改善在雨滴检测上的精度。

为了在本实施例中确认雨滴检测操作的效果，将说明效果确认测试，其将本实施例与比较示例作比较，该比较示例仅检测在作为雨滴图像区域的用于雨滴检测的图像区域214中检测到其中所接收的光量超过雨滴阈值的图像区域。

在效果确认测试中，相对于其中雨滴附着在前窗上的状态和其中雨滴未附着在前窗上的状态的每一个，在实际在道路上驾驶的同时执行雨滴检测操作。在效果确认测试中，连续成像1000个成像的图像，将10个成像的图像作为一个检测单位，并且最多执行100次雨滴的存在的检测。注意，在该比较示例中，当相对于10该成像的图像的8个成像的图像检测到所接收光量超过阈值时确认雨滴附着。

在其中没有来自接近的汽车的头灯的环境光的白天时间执行的效果确认测试的结果如下。

在本实施例和比较示例中，在雨滴附着在前窗的状态中，检测到雨滴以100中的100次附着。另一方面，与雨滴未附着在前窗上的状态作比较，在比较示例中，执行100中的5次错误检测，并且在本实施例中，仅执行100中的1次错误检测。

另外，在其中存在来自接近的汽车的头灯的环境光的晚间执行的效果确认测试的结果如下。

在本实施例和比较示例中，在雨滴附着在前窗的状态中，检测到雨滴以100中的100次附着。另一方面，与雨滴未附着在前窗上的状态作比较，在比较示例中，执行100中的8次错误检测，并且在本实施例中，仅执行100中的2次错误检测。

因此，在本实施例中，即使在白天，并且即使在来自接近的汽车的头灯的环境光入射，并且由此雨滴检测的精度很可能低于白天的晚间，相对于比较示例也可能在雨滴检测中获得更高精度。

根据本发明的一个实施例，获得下面的效果。

根据本发明的一个实施例，因为在光源的驱动频率和成像设备的成像频率之间的差，相对于从光源发射并且被附着物反射的反射光的图像区域，在成像的图像上产生节拍。另一方面，不是从光源发射的光的环境光通常不是作为从光源发射的光的在短的周期中闪烁的光，并且不在环境光和和成像设备的成像频率之间产生节拍。因此，通过使用在从附着物反射的光和环境光之间的差，有可能以高精度将附着物的反射光与环境光相区别。

根据本发明的一个实施例，有可能稳定地产生节拍。

根据本发明的一个实施例，有可能通过滤光器预先切除在偏离来自附着物的反射光的波长范围(由光源发射的特定波长)的波长范围中的环境光，并且因此有可能以较高的精度将来自附着物的反射光与环境光相区别。

根据本发明的一个实施例，有可能预先切除占用前窗105的内表面的反射的大量环境光的水平偏振分量S或从光源202发射并且被前窗105的内表面镜面反射的镜面反射光等，并且因此，有可能以较高的精度将来自附着物的反射光与环境光相区别。

根据本发明的一个实施例，即使在未通过一个图像精确地检测到节拍的情况下，通过比较多个图像，有可能精确地检测到节拍。

根据本发明的一个实施例，有可能通过简单的计算操作来精确地检测节拍。

根据本发明的一个实施例，在采用卷帘快门方法的成像设备中，在比较在不同时间成像的多个图像的情况下，有可能大大地获得在多个图像之间的差。

根据本发明的一个实施例，在未检测到附着物的状态中，有可能通过以较低的成像频率成像来减小垂直设备的操作负荷，并且在检测到附着物后的状态中，有可能在更短的时间中重复更多的雨滴检测操作，并且更迅速地实现雨滴的存在。

根据本发明的一个实施例，在不降低在来自雨滴的反射光的检测上的精度的情况下，有可能减小噪声分量，并且改善在雨滴检测上的精度。

根据本发明的一个实施例，通过节拍生成存在的差别，可能以高精度从环境光识别来自附着物的反射光。

根据本发明的一个实施例，改善了在将来自诸如附着在透明构件上的雨滴的附着物的反射光与环境光相区别上的精度，并且有可能获得对于在将环境光识别为来自附着物的反射光的错误检测的频率上的降低的有益效果。

虽然已经以示例性实施例描述了本发明，但是其不限于此。应当明白，可以在不偏离由所附的权利要求限定的本发明的范围的情况下，由本领域内的技术人员在所述的实施例中进行改变。

对于相关申请的交叉引用

本申请基于并且要求优先权于来自在2011年11月30日提交的日本专利申请No.2011-262113的优先权，其公开由此整体被包含在此。

Claims (10)

1.一种附着物检测器，包括：

光源，其向透明构件发射光；

成像设备，其通过图像传感器接收从所述光源发射并且被在所述透明构件上附着的附着物反射的光，通过二维布置的成像像素阵列来构造所述图像传感器的光接收元件，并且所述成像设备以预定的成像频率将在所述透明构件上附着的所述附着物的图像连续地成像；以及，

附着物检测处理器，其基于由所述成像设备成像的图像来检测所述附着物，

其中，所述光源发射以与所述成像频率不同的驱动频率闪烁的光，并且所述成像设备通过所述图像传感器经由选择和透射反射光的滤光器接收所述反射光，并且，所述附着物检测处理器检测由在所述成像频率和所述驱动频率之间的差产生的在图像上的节拍，并且将检测到所述节拍的图像区域识别为示出所述附着物的附着物图像区域。

2.根据权利要求1所述的附着物检测器，其中，所述驱动频率和所述成像频率之一被设置为偏离另一个的整数倍。

3.根据权利要求2所述的附着物检测器，其中，光源发射特定波长范围的光，并且所述滤光器包括选择和透射所述特定波长范围的滤光器。

4.根据权利要求3所述的附着物检测器，其中，所述滤光器包括选择和透射特定偏振分量的滤光器。

5.根据权利要求4所述的附着物检测器，其中，所述附着物检测处理器比较在不同时间成像的多个图像，并且检测所述节拍。

6.根据权利要求5所述的附着物检测器，其中，所述附着物检测处理器基于在不同时间成像的所述多个图像之间的差信息来检测所述节拍。

7.根据权利要求6所述的附着物检测器，其中，所述成像设备以预定的信号获取频率在图像传感器上获得以一条图像线为单位或以等于或大于两条图像线为单位的图像数据，并且将所述附着物的图像成像，并且所述附着物检测处理器通过比较在通过将成像的图像划分为多个区域而获得的每一个单位图像区域的所述多个图像之间的像素值来检测所述节拍，并且从在所述单位图像区域中的所述图像线的布置方向上的大小转换的图像线的数量的值被设置得小于来自由在所述信号获取频率和所述驱动频率之间的差产生的节拍的周期的图像线的数量的值。

8.根据权利要求7所述的附着物检测器，包括：

成像频率改变器，其当从所述附着物检测处理器未检测到所述附着物的状态向检测到所述附着物的状态改变时执行控制，所述控制增大了所述成像设备的成像频率。

9.根据权利要求8所述的附着物检测器，包括：

光发射强度调整器，其当所述附着物被所述附着物检测处理器检测到时确定来自所述图像传感器的图像数据是否示出饱和值，并且基于确定结果来调整所述光源的光发射强度。

10.一种附着物检测方法，包括步骤：

从光源向透明构件发射光；

通过图像传感器接收被在所述透明构件上附着的附着物反射的光，通过二维布置的成像像素阵列来构造所述图像传感器的光接收元件，并且以预定的成像频率将所述附着物的图像连续地成像；以及，

基于成像的图像来检测所述附着物，

其中，使用发射以与所述成像频率不同的驱动频率闪烁的光的所述光源，通过所述图像传感器经由选择和透射反射光的滤光器接收所述反射光，检测由在所述成像频率和所述驱动频率之间的差产生的在图像上的节拍，并且将检测到所述节拍的图像区域识别为示出所述附着物的附着物图像区域。