CN104080663A - 借助摄像机和照射装置探测在玻璃上的雨滴 - Google Patents

Abstract

本发明涉及一种用于识别下雨(4)的装置和方法。所述用于识别下雨的装置包括一个具有一个图像传感器(5)和一些用于该图像传感器的以多个滤色镜原色(R；G；B)的像素的滤色镜的摄像机，和一个用于产生第一滤色镜原色的单色光(h)光源(3)。所述单色光在被第一滤色镜原色传送并被其它滤色镜原色阻隔的可见波长范围内。所述摄像机和光源(3)如此构造和设置，以致摄像机可以检测单色光(r1、r2′)的信号，光源(3)利用该信号照射玻璃(2)。

Description

借助摄像机和照射装置探测在玻璃上的雨滴

技术领域

本发明涉及借助光源和摄像机探测在玻璃上的雨滴的装置和方法。

背景技术

在US 7,259,367 B2中建议借助一部摄像机进行下雨感知，它设定利用玻璃大面积照射摄像机视场角度的透视窗。该摄像机几乎聚焦到无穷远继而同时或用于驾驶员辅助功能。由于成像到远距区域上，所以雨滴仅以干扰形式在图像上可察觉到，这些雨滴通过对利用与像素周期同步脉动的或调制的光所拍摄的图像进行耗时费力的差值测量加以探测。

在WO 2012/092911 A1中描述了一种用于识别下雨的装置和方法。将一部摄像机设置在玻璃后，尤其是在车辆内设置在挡风玻璃后，并且聚焦到位于玻璃前的一个远距区域上。用于产生至少一束对准车窗玻璃光线的光源将所述至少一束光线如此对准玻璃，以致至少一束从玻璃外侧反射的光线作为外部光反射或外部反射显现到摄像机上。所述至少一束显现到摄像机上的光线或光反射的光量可以由摄像机进行测量。光源还可以附加地将所述至少一束光线如此对准玻璃，以致由玻璃内侧和外侧反射的光线作为至少两束在空间上分开的光线显现到摄像机上。此时，在摄像机上显现的、至少两束光线(外反射和内反射)的光量也可由摄像机测得。(直接)在摄像机上显现的、玻璃内侧反射的光线被用作参照信号，因为该光线的光量在玻璃外侧无论有无雨滴都保持恒定。

为了减小背景影响并且为了改善信噪比，建议在图像刷新频率的周期内对照射装置进行时间调制。

调制为100％时意味着图像被完全照射，而下一张图像未被照射。若两次拍摄之间的场景不变，则通过将这两副图像相减全面减小背景影响，以便仅保留由玻璃反射的光进行评估。

但在实际情况中，两次拍摄之间背景不会改变的理想假设出现的机会是有限的。在行驶中，尤其是转弯时，背景都或多或少地会发生大幅度改变，由此对背景影响的补偿就不足了。这会与实际的下雨信号发生叠加，由此可能导致对下雨信号的误判。为了避免错误地触发雨刮器，可给用于探测润湿挡风玻璃的阈值设定足够的公差，但这又不可避免地会造成相应的灵敏度降低。

在DE 602 04 567 T2中介绍了一种以叠加马赛克形式成像的下雨传感器。这种传感器含有一个用于通过第一波长的光线照射玻璃的照射装置，并且还有一个同时检测第一波长光线的照射图像以及由第二波长光线构成的环境图像，并能将这两种图像相互比较产生潮湿信号。一个红外线带通滤色镜的马赛克状或带状矩阵取代了红绿蓝(RGB)滤色镜。

发明内容

本发明的任务是克服现有技术中已知装置或方法的所述困难。

所述解决方案的出发点是使用带有滤色镜的图像传感器。拜耳模式极为普及，它使用绿色、红色、蓝色三原色作为滤色镜，按红色－绿色－绿色－蓝色这一已知的方式排列。在可见光波长范围内照射的优势在于，具有彩色分辨率的普通驾驶员辅助摄像机可对这个光谱范围全面检测，与此相反，红外光通常无法过滤用于优化彩色分辨率的普通红外吸收滤色镜，从而无法被这类驾驶员辅助摄像机探测到。

按照本发明的用于识别下雨的装置包括一个具有一个图像传感器和一些用于该图像传感器的以多个滤色镜原色的像素的滤色镜的摄像机，和一个用于产生第一滤色镜原色的单色光的光源。该单色光处于被第一滤色镜原色传送并被其他滤色镜原色阻隔的可见波长范围内。滤色镜原色优选在不同的可见光波长范围内。光源的光线在与第一滤色镜原色相符的波长范围内。这让传统的彩色分辨摄像机的应用成为可能。这类摄像机优选包括一个红外吸收滤色镜，以便让图像传感器不会检测到红外光。

这类摄像机和光源采用的设计和布置方法是，使摄像机可以检测到单色信号，利用该信号光源照射玻璃。此时，摄像机探测到的信号尤其与玻璃内侧或外侧和/或雨滴上反射和/或散射的光源单色光相关联。

所述摄像机优选设置在玻璃后，尤其是在车辆内，例如挡风玻璃后。

摄像机优选包括一个图像传感器，例如CCD或CMOS传感器，以及一个可将电磁辐射聚焦在图像传感器上的透镜。

有利的是，摄像机聚焦到无穷远或一个位于玻璃前的远距区域上。

用于产生单色光的光源将至少一束光以一种优选方式对准玻璃，使至少一束由玻璃外侧反射的光线(或对准窗玻璃的部分光线)显现到摄像机上，显现到摄像机上时，所述光线优选不会与由玻璃内侧反射在摄像机上的部分光线发生叠加。

光源可以是一个或多个发光二极管(LED)或光带。

由摄像机可以探测所述至少一束显现到摄像机上的单色光的照射反射。

在一个优选实施方式中，光源将所述至少一束单色光如此对准玻璃，以致由玻璃内侧和外侧反射的光线作为至少两束在空间上分隔开的光线显现到摄像机上。特别对在内侧反射的光线不需要将光线完全成像在摄像机的图像传感器上。在这种情况下，所述至少两束显现到摄像机上的光线的单色的照射反射可以由摄像机以空间上分离地探测。

(直接)在摄像机上显现的、玻璃内侧反射的光线在此被用作参照信号，因为无论玻璃外侧有无雨滴，该光线的光量保持恒定。

本发明的一个基本想法是以单色光，例如蓝色进行照射。通过这种方式仅在相应(蓝色)像素上就可探测到取决于下雨或润湿的相关信号，因为红色和绿色像素对蓝色光是不透明的。

其优势在于，可实施一个背景的同步摄影，其可以精确的像素确定相邻的、非蓝色像素。

本发明还涉及一种利用摄像机识别下雨的方法，其中，摄像机包括一个图像传感器和一些用于该图像传感器的以多个滤色镜原色的像素的滤色镜。

由一个光源产生第一滤色镜颜色的单色光。利用所述单色光如此照射玻璃，以致摄像机可以检测该单色光的一个信号。

在一个优选实施方式中，确定第一滤色镜原色的第一图像传感器像素的亮度。此外还确定包围第一图像传感器像素并具有不同于第一滤色镜像素颜色的亮度。从所确定的、包围第一图像传感器像素以及具有不同于第一滤色镜像素颜色的像素亮度中确定第一图像传感器像素的背景亮度。

这允许以精确的像素考虑背景信号。通过这种方式可明显改善润湿信号在空间上的分辨率。

优选同步测量包围一蓝色像素的八个红色和绿色像素的亮度。其亮度只受背景影响。从该像素的亮度中则可通过例如求平均值估计蓝色像素的背景信号。也可选择对红色和绿色分量进行不同的加权，以考虑背景的特定光谱分布。

可优选再次对该背景值进行适当加权，因为只应从蓝色像素信号中扣除背景的蓝色分量。

例如可完全根据经验推算出适当加权的比例因数。实践表明，对许多有一些平均光谱分布的场景，可很好地估计蓝色背景分量。

但如果在背景中，例如红色等一种颜色的比例较高，那么也会扣除蓝色像素过高的蓝色分量。但可通过红色和绿色的比例确定光谱分布中的这类冲抵，并在对因数加权时予以考虑。

此外，还可通过在非照射状态下的进一步测量来验证该加权因数或对该加权因数采取相应的跟踪。因为这种测量是通过在时间上交错的拍摄进行的，为此应确保背景几乎不改变或仅微小改变(例如在位置上)。可选择通过图像处理技术方法对所观察的片段做时间跟踪(“Tracking”)，从而获得尽可能真实的、用于因数计算的背景。

也可优选使用像素模式相同的红光取代照射用的蓝光。对背景的计算方式与通过蓝色和绿色像素的方法相似。

在选择绿光作为照射光时，背景必须分别由直接相邻的两个蓝色和两个红色像素组成。

在一个优选的实施形式中，使用其他模式取代拜耳滤色镜，具体是，使用仅有两个原色(例如红色和蓝色)的滤色镜用于按照本发明的方法就足够了。

使用一个模式，该模式的一种颜色对所用照射具有高透射，同时在其他颜色像素上照射被很好阻隔，这对背景进行良好、同步的考虑尤为有益。

按照本发明的一个优选发展形式，依据在玻璃干燥时的背景净化的测量信号对当前的、背景净化的测量信号进行标准化。尤其可通过像素的当前背景净化的强度除以玻璃干燥时同一像素的背景净化的强度对每一个(例如蓝色)像素进行标准化。可以在最初校准范围内测定和保存在玻璃干燥时的背景净化的强度，或在识别到窗玻璃干燥时，偶尔再度进行自动校准。

也可随时按照相同的方法，从玻璃内侧的反射图像(WO2012/092911 A1)中获取一个不受影响的参照信号(对应干燥的玻璃)。只要外部反射图像没有受影响，仅通过与外部反射图像相比较高的强度进行区分。该因数是恒定的，因此可在一次性确定后在比例构成时加以考虑。

附图说明

下面借助附图和实施案例详细阐述本发明。

其中：

图1是根据拜耳(Bayer)的一种滤色镜布置；

图2是使用一个被红色和绿色像素所包围的蓝色像素，以计算蓝色像素的背景信号；

图3是当玻璃上有雨水时，光源和摄像机可能布置的基本原理图示，并带有光程；

图4是由摄像机的图像传感器探测到的信号，它们能推断出是否下雨；

图5是在玻璃干燥时背景信号相减后，灯光光斑的空间立体分布；

图6是在玻璃被直径小于1mm的雨滴润湿时，背景信号相减后的空间立体信号分布；

图7是图6的依据图5的未受影响的信号分布标准化的信号分布。

具体实施方式

较为普及的图像传感器滤色镜是在图1中所示的由美国专利文献3971065公开的拜耳模式(或模板)，它以三个原色，即绿色G、红色R、蓝色B作为颜色滤色镜，采用红色－绿色－绿色－蓝色(RGGB)的分布形式作为滤色镜像素矩阵。

借助示出一个拜耳模板的一个部分的图2对本发明的第一实施形式进行详细阐述。

为了实现对背景的同步拍摄，以蓝光照射。由此可实现仅在蓝色像素(B，划阴影线部分)上探测到取决于下雨或润湿的信号，因为红色R和绿色G像素对于蓝光是不透明的。

同时测量被八个红色R和绿色G像素包围的一个蓝色像素的亮度。图2为将中央蓝色像素(粗体B)包围的四个红色R像素和四个绿色G像素的亮度(较粗网格线内)。其亮度仅受背景影响。然后从该像素亮度可通过例如求平均值等方法评估蓝色像素B的背景信号。可选择对红色和绿色分量进行不同的加权，以对背景的特定光谱分布加以考虑。

对该背景值再次进行适当的加权，因为只从蓝色像素B信号中扣除背景的蓝色分量。

例如，可通过实践经验推算出该因数。实践表明，有一定平均光谱分布的许多场景，蓝色背景分量能较好地加以评估。

若在背景中主要为例如红色一种颜色，那么也会针对蓝色像素B扣除较高的蓝色比例。但可以通过红色和绿色的比例确定出在光谱分布中的这类冲抵，并在对因数加权时予以考虑。

此外，还可通过在非照射状态下进一步的测量来验证该加权因数或对该加权因数采取相应的跟踪。因为这种测量是通过在时间上交错的拍摄进行的，为此应确保背景几乎不改变或仅微小改变(例如在位置上)。可选择通过图像处理技术方法对所观察的片段做时间跟踪(“Tracking”)，从而获得尽可能真实的因数计算背景。

图3展示了一部聚焦到远距区域上的摄像机1以及照射装置3，该照射装置可产生一束或多束蓝色光线h。

由光源3产生的光线h如此对准到玻璃2上，以致由玻璃内侧2.1和外侧2.2反射的光线以至少两束在空间上分隔开的光线r1、r2′形式显现到镜头或摄像机1上。由于聚焦到远距区域上，所以光束的边缘仅模糊地成像到图像芯片5上。但两束光线r1、r2′分隔得足够开，并可借助图像传感器5分别探测它们的照射反射。

在该实施形式中应用了光源3的主光线h，因此光源的光主要可形成光束。主光线在空气和玻璃边界上(或玻璃内侧2.1)反射的分量r1用作参照光线。传送到玻璃内的分量t1中，将在空气和玻璃边界(或玻璃外侧2.2)上反射并碰到摄像机1上的分量被用作测量光束r2′。玻璃2内多重反射的光线分量(在玻璃与雨滴外侧2.2反射后又在玻璃与空气的内侧2.1上反射)不于描述。

若如这里所示，在下雨4时挡风玻璃2的外侧2.2润湿了，那么光的大部分t1会散射，这样反射分量r2′会被相应削弱(见图2)。由内侧2.1反射的光线r1不受此影响。

通过对比探测到的两束光线r1与r2′的照射反射8；9，可在明确两个照射反射信号恒定关系情况下，测量下雨4时减弱的信号r2′，从而对雨刮进行相应控制。

下面会根据图5至7阐述怎样通过对玻璃2的外侧2.2的照射反射9对是否下雨进行可靠评估。

所述摄像机拥有一个如图1所示的拜耳滤色镜，并且根据图2所述对测得的信号进行评估。

图4在用于识别下雨的图像传感器5上部6中示出了各七对照射反射8、9，这些照射反射例如可以是作为光源3的蓝色发光二极管LED产生的。由于摄像机1聚焦到无穷远，所以其成像虽不清晰但可见。尤其可测量光的强度。挡风玻璃2内侧2.1上反射的光线r1生成了上部照射反射8，而下部照射反射9则是由挡风玻璃外侧反射的光线r2′产生的。

图4展示了图像传感器5上驾驶员辅助区7和下雨传感器区6典型的分布情况。挂着一颗雨滴4的外挡风玻璃9的照射反射强度削弱。这些照射反射9来自挡风玻璃2外侧2.2上的反射光线r2′，其强度已被降低，因为射入挡风玻璃2的光线t1通过挡风玻璃上的雨滴4大部分会散射t2′，由此不会再反射r2′回摄像机1。这些照射反射9即给出了挡风玻璃2外侧2.2是否有雨水4的信息，并且其光量可单独用作测量信号。

如图5至图7所示的那样，在将背景以像素精准的方式相减(参见图2的阐释)以及依据未受影响的信号(在玻璃干燥时)标准化后，可以探测到最小的雨滴。

图5展示了在玻璃干燥时，背景信号(分别由将每一蓝色像素包围的绿色和红色像素计算得出)相减后灯光光斑的空间立体分布(9；蓝色像素的测量信号)。在任意一个单元中，各蓝色像素的蓝光反射强度针对任一单元(分别为0到30)中的两个图像坐标都在0到800的范围内。图5展示了干燥玻璃的实际输出信号。

玻璃被雨滴润湿后，信号的削弱取决于润湿面的大小和厚度。图6展示了玻璃被直径小于1mm的小雨滴4润湿后，照射光斑9相应削弱后的空间立体信号分布(与图5的图形一致)。

通过计算图6中由“强度风景”所覆盖的容量相对于图5中未受影响的信号分布所覆盖的容量改变，不仅可灵敏地对最小的雨滴做出反应，还能推断出下雨或润湿形式(雨滴大小)以及雨量。

图7示出图6的依据图5的未受影响的信号分布标准化的信号分布。此时，蓝光的标准化的反射强度在0到1的范围内。在此可清楚看到小雨滴4的信号表现为对称的凸起(标准化的最小值在大约0.6到0.7之间)。在那里，雨滴4没有对照射光线h产生影响的地方，标准化的强度值大约为1。

附图标记清单

1     摄像机

2     玻璃

2.1   玻璃内侧

2.2   玻璃外侧

3     光源

4     下雨，雨滴

5     图像传感器

6     下雨传感器区域

7     驾驶员辅助区域

8     玻璃内侧的照射反射

9     玻璃外侧的照射反射

10    雨滴的信号改变

h     光线

r1    玻璃内侧上反射的h分量

t1    玻璃内侧上传送的h分量

r2′  在玻璃外侧上反射的t1分量(下雨时)

t2′  在玻璃外侧上传送的t1分量(下雨时)

R     红色波长范围光可通过的滤色镜器件

G     绿色波长范围光可通过的滤色镜器件

B     蓝色波长范围光可通过的滤色镜器件

Claims (15)

1.用于识别下雨(4)的装置，包括：

－具有一个图像传感器和一些用于该图像传感器(5)的以多个滤色镜原色(R；G；B)的像素的滤色镜的摄像机，和

－用于产生第一滤色镜原色的单色光(h)的光源(3)，

－其中摄像机和光源(3)如此构造和设置，以致摄像机可以检测单色光(r1、r2′)的一个信号，光源(3)利用该单色光照射玻璃(2)。

2.如权利要求1所述的装置，其中，摄像机设置在玻璃(2)后并聚焦到位于玻璃(2)前的远距区域上。

3.如权利要求2所述的装置，其中，用于产生单色光的光源(3)将至少一束单色光线(h)如此对准玻璃(2)，以致至少一束从玻璃(2)外侧(2.2)反射的光线(r2′)显现到摄像机的图像传感器(5)上。

4.如权利要求3所述的装置，其中，所述至少一束由玻璃(2)外侧(2.2)反射的光线(r2′)不被在玻璃(2)内侧(2.1)反射的光线(r1)叠加地显现到摄像机的图像传感器(5)上。

5.如权利要求3或4所述的装置，其中，光源(3)将所述至少一束单色光线(h)如此对准玻璃(2)，以致由玻璃内侧(2.1)和外侧(2.2)反射的光线作为至少两束在空间上分隔开的光线(r1和r2′)显现到摄像机的图像传感器(5)上。

6.如上述权利要求之一所述的装置，其中，用于图像传感器(5)像素的滤色镜是用于三原色红(R)、绿(G)和蓝(B)的透射滤镜。

7.如权利要求6所述的装置，其中，所述滤色镜以一个拜耳模式(RGGB)设置。

8.如权利要求6或7所述的装置，其中，光源(3)产生在蓝色波长范围内的光(h)。

9.如上述权利要求之一所述的装置，其中，滤色镜原色(R；G；B)在可见的波长范围内。

10.利用摄像机(1)识别下雨(4)的方法，其中，摄像机包括一个图像传感器和一些用于该图像传感器的以多个滤色镜原色(R；G；B)的像素的滤色镜，由一个光源(3)产生第一滤色镜颜色的单色光(h)，利用该单色光(h)如此照射玻璃(2)，以致摄像机可以检测该单色光(r1、r2′)的信号。

11.如权利要求10所述的方法，其中，测定第一滤色镜原色的第一图像传感器像素的亮度，测定包围第一图像传感器像素并具有不同于第一滤色镜像素颜色的像素的亮度，并且从所测定的、包围第一图像传感器像素并具有一种不同于第一滤色镜像素颜色的像素的亮度确定第一图像传感器像素的背景亮度。

12.如权利要求10或11所述的方法，其中，为了确定背景亮度，测定包围第一图像传感器像素并具有一种不同于第一滤色镜像素颜色的像素的亮度的平均值。

13.如权利要求10至12之一所述的方法，其中，为了确定背景亮度，对具有第二滤色镜原色的周围像素的亮度与具有第三滤色镜原色的周围色素不同地进行加权，以考虑背景的确定的光谱分布。

14.如权利要求12或13所述的方法，其中，从周围像素的亮度的平均值或加权值中，仅扣除所测定的第一图像传感器像素(第一滤色镜原色)的亮度的第一滤色镜原色的颜色分量，以消除背景亮度。

15.如权利要求10至14之一所述的方法，其中，依据在玻璃(2)干燥时的背景净化的测量信号对一个当前的、背景净化的测量信号进行标准化。