CN102782478B - 用于借助光谱学进行雾识别的方法和装置 - Google Patents

用于借助光谱学进行雾识别的方法和装置 Download PDF

Info

Publication number
CN102782478B
CN102782478B CN201180011836.6A CN201180011836A CN102782478B CN 102782478 B CN102782478 B CN 102782478B CN 201180011836 A CN201180011836 A CN 201180011836A CN 102782478 B CN102782478 B CN 102782478B
Authority
CN
China
Prior art keywords
gasoloid
image
value
mist
headlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180011836.6A
Other languages
English (en)
Other versions
CN102782478A (zh
Inventor
T·埃尔根
S·文斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102782478A publication Critical patent/CN102782478A/zh
Application granted granted Critical
Publication of CN102782478B publication Critical patent/CN102782478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G01N21/538Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke for determining atmospheric attenuation and visibility
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • G01N2021/177Detector of the video camera type
    • G01N2021/1776Colour camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0216Vehicle borne

Landscapes

  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及借助光谱学来识别或密度确定或分类气溶胶。在此,由车辆的摄像机拍摄图像,其中,由至少一个图像在第一步骤中借助第一颜色过滤求得参数的第一值,在第二步骤中不借助或者借助第二颜色过滤求得同一参数的第二值,所述第二颜色过滤与在前的颜色过滤不同,比较在至少两个步骤中求得的值,以及根据所述比较的结果实施气溶胶的识别或密度确定或分类。

Description

用于借助光谱学进行雾识别的方法和装置
技术领域
本发明从根据独立权利要求分类的装置和方法出发。
背景技术
为了识别车辆中尤其由雾引起的视觉障碍,在现有技术中存在一些用于识别雾的方法。
由EP1498721A1公开了一种装置,其借助车辆中的摄像机沿行驶方向拍摄图像。如下分析处理所述摄像机的图像:是否存在至少一个低于一个亮度值的、即暗的像素。通过雾存在时的散射光效应由此得出:所有像素在存在雾时具有最小亮度并且由此可推断出有雾。
此外,公开了一些在车辆中使用的用于雾识别的摄像机系统,这些系统需要有源元件(例如红外LED),例如EP2020595A1。
另一方法是基于物体的识别以及在必要时其距离的识别的雾探测。EP1826648A2将所识别的物体的边缘强度与数据库中的边缘强度进行比较并且可以由此推导出视野情况或者雨或雾。这仅仅在存在物体并且所述物体在数据库中进行了描述时才起作用。
EP2056093A1说明了一种更详细的方法,在所述方法中观察图像的一个确定区域中、尤其是地平线上的灰度值分布。但是,所述方法在图像中导致相同物理效果的其他天气情况时也可能导致错误探测,一个可能的示例是风景和街道上的积雪。
此外存在具有雾识别主题的大量非专利文献。
但是,迄今没有给出借助成像方法(视频)的雾探测,而不需确定距离(视距),尤其是相对于其他物体的距离或者关于这样的距离的至少一个假设。
发明内容
与此相比,根据本发明的具有独立权利要求特征的方法(装置)具有以下优点:通过分析处理气溶胶的谱特征能够实现一种测量方法,所述测量方法在没有主动的照明、距离或视距的确定或者仅仅用于气溶胶识别的特定传感机构的情况下也没有问题。可以无源地通过周围环境亮度或其他光源来进行照明。
所基于的物理效应是光在穿透气溶胶时提高的吸收,其中光束在颗粒或分子(例如水)处被吸收或折射。但所述吸收和弥散与波长相关,例如认识到:雾产生相对冷的光,即高色温。通过观察视频图像中的颜色分量可以识别所述效应以及随后分析处理所述效应。
此外有利的是,遵循所述光学关系可以区分气溶胶与位于图像中的其他物体或结构以及此外或替换地还确定气溶胶的类型和/或密度(浓度)。在此,借助通过成像方法获得的一个图像或多个图像实施根据本发明的方法。或者根据本发明存在至少两个具有不同颜色信息的图像,或者由一个图像求得所述颜色信息,例如借助已知的颜色提取方法由一个RGB图像或者例如在借助R3l摄像机获得的图像通过掩蔽相应的红色像素或者非红色像素(灰度像素)求得所述颜色信息。可以通过硬件技术措施(在图像拍摄的范畴中)实现颜色过滤,例如位于物镜或物镜的部件前面或者在光程中的相应滤色器或者通过成像器的像素上的彩色掩模。此外,也可以通过软件技术(在图像处理的范畴中)的措施实现过滤,其方式是,从彩色图像中提取出所期望的颜色通道或颜色谱。
至少一个待分析处理的图像必须拍摄如下场景:在所述场景中气溶胶可被识别或者是可见的,更确切地说,确保一定的光学深度,使得弥散效应或吸收效应通过其不同的谱特性在以下程度上起作用:其在所述至少一个图像中起作用并且是可测量的。对准(例如地平面/风景的)远方而不例如对准地面的摄像机定向更有意义,只有摄像机与地面之间存在如此小的距离,使得雾仅仅是不明显地可见的。所述方法适于机动车中的应用,在所述机动车中目前对于其他驾驶员辅助功能通常已经安装有摄像机,所述摄像机可以附加地承担根据本发明的任务,而不产生(重要的)附加硬件成本。
现在应当如此过滤至少一个图像,使得最终存在至少两个(虚拟的)图像,它们包含不同的颜色信息。根据待识别的气溶胶的光学特征或谱特征,待过滤的色带可以较大或较小,必要时也可以限制到一个单个的光频率上。第二(虚拟的)图像在任何情况下必须具有与第一图像不同的颜色信息。与此相应地,过滤器也必须不同地构造。替代地,也可以不使用第二颜色过滤器并且在必要时甚至可以使用具有所有颜色信息(或灰度信息)的原始图像。
如果一个或多个气溶胶的谱区别特征需要详细的颜色光谱,则所述方法不一定以所描述的两个图像或者仅仅两个颜色过滤来应用,而是可以相应于必要性和待分析的颜色范围的数量倍增。由所述虚拟图像、即颜色过滤之后的图像分别求得一个颜色参数,所述颜色参数是相同的类型但具有以下特征:在一个气溶胶或不同气溶胶时在从相应的图像中提取时具有不同的值。如果可能并且适合,则当所期望的参数在没有所述步骤的情况下例如可以直接从原始图像中求得时也可以取消虚拟图像的确定。
通过适当的方式方法彼此比较所求得的参数值,从而可以识别根据应用情况究竟是否存在气溶胶,是否存在确定的气溶胶,存在哪种气溶胶和/或所述气溶胶具有何种密度(浓度)。
当出现具有高弥散或者高反射的雾或气溶胶时,可以有利地避免自眩目,所述自眩目例如在以远光照明浓雾并且反射光使驾驶员炫目时产生。
可以有利地借助根据本发明的方法更精确地确定气溶胶并且避免如迄今经常出现的那样的错误解释,例如当积雪覆盖车道时,摄像机拍摄所述积雪并且图像看起来与有雾时的视野情况类似。
通过在从属权利要求中说明的措施可以实现在独立权利要求中说明的方法的有利扩展和改进。
有利地,所述方法可以用于确定的气溶胶——例如雾,其方式是,第一颜色过滤确定图像中的红色分量并且不进行第二颜色过滤,从而在此确定灰度分量。红色过滤器可以被如此构造,使得其仅仅对于红色范围内的恰好一个波长是可穿透的或者对于红色谱的至少一部分所在的整个频带是可穿透的。具有灰度分量的虚拟灰度图像可以根据装置直接从原始图像中接收或者当原本存在彩色图像时例如通过颜色信息的删除或平均来确定。在例如R3I摄像机的装置中,这可以通过相应像素的掩蔽来进行,其中一个掩模过滤红色像素并且隐没其他像素而另一掩模过滤灰度像素并且隐没红色像素,或者不存在另一掩模,因为像素传感器直接提供灰度值。
除所述两个颜色过滤以外还可以进一步添加在这里没有提到的过滤可能性和分析处理可能性。可考虑附加的蓝色过滤,借助所述蓝色过滤可以实施结果的合理性检验。在识别到有雾时,红色分量经历强的过滤,因为雾在所述频率范围内特别强地吸收并且相反在蓝色范围内相应较少地吸收。
有利地,作为参数选择图像像素的平均亮度值。可以确定通过所述方式或其他方式进行颜色过滤的图像之间的光强(亮度),以便之后与其实施比较。因为气溶胶通常出现平面扩散现象并且引起低对比度的图像,所以形成像素的亮度值的平均值。由此求得具有假定的气溶胶的图像的谱强度分布。
替代地,作为参数也可以选择图像像素的平均梯度。两个像素的梯度由其亮度值的差确定。现在平均所述梯度,以便由此得到反映对比度的尺度。对于雾而言,通常是低的梯度。高的梯度是被照明的交通标志牌等等位于图像的部分面积中的标志。一旦在所述部分面积中存在高的红色分量(由于其反射特性),则这样物体的存在可以导致错误的雾探测。梯度标准的分析处理由此阻止在高梯度时抑制雾报告。
已知在一个或两个方向上、必要时也在多个方向上进行像素之间的梯度形成,以便可以不仅在一个方向上确定对比度,而且可以无方向性地确定对比度。
有利地,对于所述方法需要与其他方法相比相对较小的计算性能,所述其他方法例如必须实施物体确定或者必须分析处理图像历史。
有利地,通过求差来评价参数的至少两个值。由此,实施两个参数值的所描述的比较。通常,将所述差与一个阈值进行比较,在超过或低于所述阈值时识别或不识别气溶胶。
所述差(必要时在没有离散的阈值观察的情况下)也可以是用于气溶胶密度的度量。密度(浓度)与每体积单位的雾滴数量成比例。
所述差的不同阈值或者值范围可以提供关于气溶胶类型的消息以及由此提供分类。为此恰恰使用哪些阈值或者界限或者关系取决于应被确定的相应气溶胶的物理特征。
在仅仅在夜间使用所述方法时,例如为了防止在有雾时打开远光,观察所述差就已经足够。
取代求差也可考虑由两个参数值形成商。商的观察具有以下优点:也可以在不同的光情况(日/夜)时进行与给定的阈值的比较,因为所述比较实现了与亮度范围的无关,因为在求商时在一定程度上消除亮度水平。因此,商说明了在灰度图像中颜色的份额。
此外,也可以形成这些值的方差。所述方差可以被考虑用于图像的结构化的更快速确定。其定义为大量测量值(在此:像素亮度值)与其平均值的平方距离的算术平均。因此,有意义的是,计算红色图像中的像素的亮度值的方差以及灰度图像的像素的方差(或者在RGB中每个所期望的颜色通道的方差)。当所述值大于一个阈值时,则可以假定一个结构化的场景,这是不涉及气溶胶的标志。在此,尤其是考虑灰度值与平均值的方差,这相应于图像中的频率。
此外,也可以借助于灰度值分布信息的组合来实施比较。涉及灰度值或者红色值的分布(当基于高斯分布时,则指的是方差和平均值)。
比较的实施与以上以差为例描述的类似。
有利地,可以通过参数值与另一阈值的比较来实施根据本发明的检验。在此,当例如灰度值的亮度大于红色值的亮度时,附加地检验参数值相对大于、即超过第一阈值的第二阈值的差。这提供关于例如由于(自身大灯光例如在标志牌上的)不希望的反射或者有源光源(例如相向行驶的车辆的大灯)引起的可能的过度曝光或者大的亮度的信息,其在使用仅仅一个阈值的情况下也可能错误地分类为气溶胶。这例如当在位于前方的坡顶后面车辆迎面而来并且其大灯突然可见时出现。
然而,借助于灰度值与红色值之间的亮度求商的变型,这是不可能实现的。
有利地,借助于一个或多个大灯照明气溶胶。这些光源具有其自己的谱特性,由此通过基于其内含的谱特性适当地选择适合的大灯来加强已经描述的物理效应以进行气溶胶识别并且由此简化识别。这或者通过选择仅仅一个适合的大灯被动地发生或者通过在分析处理时考虑大灯的谱特性主动地发生。
大灯的谱特性表明大灯发射的谱,即以怎样的强度怎样的波长。可以通过如下方式进行分析处理时的考虑:例如匹配阈值或者选择合适的比较方法,或者确定一个确定的参数,其迎合所选择的大灯的特定特性。
有利地,进行所选择的大灯的谱与待识别的气溶胶的吸收特性的卷积。大灯的谱是已知的,待识别的气溶胶的谱(或者相反,吸收特性)也是已知的。通过卷积(近似各个波长的衰减相乘——从信号处理中已知)可以求得预期的谱,所述谱当存在相应的气溶胶时出现在图像中。对于例如已经说明的离散的分析处理,现在可以根据气溶胶和大灯求得用于各个波长的阈值。完整的谱分析处理当然同样是可能的。通过考虑大灯特性可以实施更精确的确定。如果要确定图像中的气溶胶是哪种类型,则必须对于每个可能出现(或者待识别)的气溶胶实施与大灯的谱的所述卷积,由此得到多个阈值和类别,并且与图像中实际出现的谱的比较能够实现分类。
氙气大灯或由LED元件构成的大灯尤其可以良好地适用于雾识别(必要时也适用于其他气溶胶),因为其具有加强的蓝色谱,所述谱在与雾的谱卷积的情况下在红色范围中显示出明显的衰减。这种衰减比通过白光照明雾时产生的衰减更明显。
符合目的地,仅仅在考虑图像的一部分的情况下实施参数的求取。如果成功地选择适当的、有意义的图像部分,则计算负荷和计算时间减小并且能够实现资源节省。
当在所述图像部分中给出尽可能好的大灯照明时,所述图像部分的选择(感兴趣区域——ROI)是有利的。当尽可能强地照明ROI的尽可能大的面积时,待观察的效果、即平均的红色值和灰度值之间的差别最大。因此明暗界限应尽可能地位于ROI以外。明暗界限是由大灯预给定的线,在所述线中被照明的区域过渡到暗的、未被照明的区域中。
在一个扩展构型中,图像部分可以不仅固定地在图像中选择而且可以自适应地匹配周围环境条件。可考虑的是,可选地考虑车道模型或拓扑(例如弯道、坡顶或下沉)并且如此选择所述部分,使得在对于进一步的行驶走向有意义的区域中实施气溶胶识别。
因为将所述部分置于以上描述的被照明的区域中是非常有意义的,所以所述部分的跟踪适于可能的自适应大灯(照明距离调节装置、转向灯)。
图像部分也可以相对方向盘/转向角均匀地运动,自适应的转向灯也同样如此。在此,支持以下基本构思:要选择通过光最强照亮的部分,因为在那里是红色值(在有雾时)的谱抑制的最大效果。
通过给出关于存在的气溶胶情况的其他数据进行根据本发明描述的气溶胶识别的合理性验证是有利的。因为不能毫无疑问地排除错误识别或干扰影响,例如具有未知谱的、可能干扰性地作用于结果的其他光源,所以这样的措施是有意义的。通过这样的合理性检验可以进一步限制气溶胶的错误/正确识别。
可以借助已知的方法、例如借助在现有技术中说明的方法实施合理性验证,或者其他方法,例如视距确定,其中从所确定的视距起排除气溶胶的存在。此外,可以借助梯度确定来进行合理性验证,其中当图像(理想化地,灰度图像)中的平均梯度超过一个确定的阈值时从不识别气溶胶,这意味着,肯定存在与确定密度的气溶胶不一致的对比度丰富性(即图像中的结构)。此外,为了合理性验证,可以识别一个或多个外部光源,并且在必要时确定:这些光源是否具有光晕或光轮。如果不是这种情况,则在所述光源与摄像机之间不会存在气溶胶。
为了识别眩目是例如由雾引起的自炫目还是例如由其他车辆引起的其他眩目,例如可以考虑物体识别,所述物体识别必要时识别其他车辆。所照明的标志牌上的反射也可能被错误地识别为雾。在此,例如借助物体识别的合理性验证也是有帮助的。
有利地,气溶胶的识别可以为了多种目的有意义地用在车辆中。关于气溶胶存在或者确定的气溶胶的存在或其浓度的信息可以有意义地用于主动地影响安全性功能/舒适性功能/驾驶员辅助功能或驱动系功能。
如果例如识别到妨碍视野的气溶胶(例如雾),则可以激活有利的光分布(在有雾时,例如车辆前方深的、宽的照明)。当借助于根据本发明的方法没有识别到雾时,尽管图像显示车道上的全部积雪(所述积雪通常不能与浓雾区分开),相反地不改变光分布或如此调节光分布,使得光分布有助于宽的视野。在此情况下,可以激活或保持远光灯,当然在考虑其他已知的边缘条件——如避免反向交通的眩目等的情况下。
可毫无问题地考虑雾尾灯或雾大灯的自动激活和停用。
以光控制为例显示:对于车辆功能的激活如何实现合理性验证。在识别到雾时(差的视野)可以放弃大灯调节的改变,当在白天而不是黑夜时放弃调节的改变。这例如可以借助光敏传感器(也可借助所描述的摄像机作为功能来实现或者典型地作为独立的传感器)和阈值求得。此外,当车辆的速度较低并且不超过阈值时,不进行大灯调节的改变。
如果使用用于光控制的方法并且同时由于车辆的相向行驶出现照明的不期望的效应(所述效应可能会歪曲雾识别),则这不起任何作用,因为在所述情况下反正要关闭远光。因此,光控制至少部分不受影响地抵抗这些不期望的效应。
当从事故潜在性增大开始(例如在视野较差的情况下)时,可以通过适当的方式预张紧或预警安全系统——如安全带拉紧器、安全气囊或制动辅助/制动系统。
当已经识别确定的气溶胶——例如烟、工业气体时,舒适性系统可以从外部空气转换到循环空气或者激活(空气)过滤器。
驾驶员辅助系统可以将在较差的视野情况下所述驾驶员辅助系统由视频图像求得的数据分级为比其他传感器(例如雷达、超声波)的数据更不重要的或更不可用的。
可以如下影响驱动系,使得例如提高转速,以便能够实现更强的马达制动或者产生更响的行驶噪声,所述行驶噪声可以警告周围环境靠近的车辆。
可以实施速度干预和/或转向干预,以便避让局部的气溶胶或者在有雾时降低速度或者发出警告。这可以结合来自导航系统的数据,所述导航系统可以评价位于前方的地形的避让可能性或者可通过性。
根据气溶胶的类型也可以发出对气溶胶的警告或紧急呼叫,例如当气溶胶有毒时。
概念解释
光谱学或者光谱分析是一组观察方法,这些观察方法根据光源(也可以是待分析的图像)的光谱(颜色分解)来研究电磁辐射与物质如何形成相互作用。研究在哪些频率或波长时物质可以接收(吸收)或发出(发射)光子或者电磁波形式的能量。可以借助一个或多个过滤实施颜色分解。
可以通过具有以下特征的摄像机系统实现本发明所需的成像方法:其必须提供适于颜色过滤的图像。所述系统可以是典型的RGB摄像机或者例如R3I摄像机。在所述R3I摄像机中,每4个像素设有一个红色掩模,即仅仅接收红色分量(选择性的像素着色)。因此,在仅仅观察这些像素时得到红色图像,在观察其他像素时得到灰度图像。替代地,也可以使用具有两个单目摄像机或者多个光路(具有不同过滤)的摄像机系统,或者也可以使用一个立体摄像机,其2个光路通过不同的过滤器。
气溶胶是一种由固态的或/和液态的悬浮颗粒和气体构成的混合物,这些悬浮颗粒可以是不同的来源。初级气溶胶的颗粒大多来自机械过程或热过程。在次级气溶胶中,颗粒由气态的物质通过化学反应和/或通过反应产品在凝结核上的积聚形成。气溶胶可以是天然有机成分(花粉、孢子、细菌),天然无机成分(灰尘、精细粉尘、沙、烟、海盐、水滴),由人带来的燃烧产物(烟、香烟的烟、废气、工业气体、浓烟、煤烟或油烟(例如来自汽车排气管)、灰烬或烟尘)或者由人制造的纳米颗粒。
概念“水汽凝结体(Hydrometeor)”是在气象学术语中使用的、冷凝水(词部分“Hydro”)所有形式的上位概念,这些冷凝水在大气中进行观察(词部分“Meteor”),即水中的所有液态和冰冻的颗粒。大气的其他固态的和液态的组成成分称作气溶胶,在这些组成成分组合时水不起作用或者至少几乎不起作用。水汽凝结体的聚集是潮湿的蒸汽、水沫、凝结尾迹、雾、毛毛雨、雨、雨夹雪、云等等。
根据本发明,当提到气溶胶时也要求保护水汽凝结体(或其聚集)。水汽凝结体是否与气溶胶区分开或者是气溶胶的子集,在文献中有时是不一致的。
在物理学中,振动能量转化为其他能量形式称作衰减。这例如表现在信号、振动或波的衰变。电磁波在大气中衰减。在光吸收时,所接收的能量不仅转化为热量,而且可以由于其他机制——如荧光以及通过气溶胶上的散射损失。在此,概念“吸收”和“衰减”具有类似的含义。相反,透射相应于相反含义,即气溶胶中光的(取决于频率的)穿透性。
(部分来源于在线维基百科)
附图说明
在附图中示出并且在以下说明中详细阐述本发明的实施例。
附图示出:
图1:具有雾场景的由摄像机拍摄的图像,
图2:用于构造根据本发明的方法(装置)的框图,
图3:具有和没有雾场景的谱分析,
图4:借助于根据本发明的雾识别进行光控制的流程图。
具体实施方式
在图1中示出图像101,如其可以由车辆中的摄像机在前方视野中拍摄的那样。可看到具有雾或者浓雾104的雾场景,车道标记102延伸到所述场景中并且随着距离的增大越来越不可见。光锥103在车辆附近实现场景的部分照明并且随着距离的增大而实现雾104的照明,其中光由雾散射回来并且可以主要在眩目区域105中出现眩目。以视野边界107定义了一个虚拟的线,直到所述虚拟的线照明是有意义的。在实际中,所述线由于雾的连续的光学特性而不能清晰地成像。根据本发明的方法的应用例如可以限定在测量区域106(感兴趣的区域,ROI)的图像部分上,所述图像部分理想化地位于视野或明暗界限上或包含明暗界限。
在图2中说明了根据本发明的方法(装置)的结构,其中基于可以提供图像101的视频摄像机K实施过滤F1,所述过滤给出具有所期望的颜色信息的(虚拟的)彩色图像。在此,F1在所述构型中是优选滤除不在红色范围中的频率分量的过滤器。通过过滤F1得到了所谓的红色图像,或者红色分量。可选地,应用第二颜色过滤F2。但是,在所说明的用于雾识别的实施方式中也适用原始的灰度图像,从而不必须进行第二颜色过滤。由两个通过F1或者F2求得的图像可以分别求得同一参数P的值。所述参数尤其可以是测量区域106的像素在其相应的颜色过滤F1和F2或者仅仅在F1中的平均亮度值。在此情况下,分别得出一个标量值MG、MR,其代表平均亮度并且在比较V中用于分析处理,例如通过两个标量MG、MR的求差D以及检验:所述差超过还是低于某个阈值。在雾识别的情况中,当灰度图像的亮度的平均值与红色图像的亮度的平均值之间的差超过一个确定的值时,则假定存在雾。
在此没有示出差相对第二阈值的以上提到的检验,但在此同样可以实施。
适当的阈值选择可以由经验尝试或者物理学考虑得出。如果现在已经探测到雾,则负责用于光控制的控制设备S可以相应地触发大灯L。尤其是,如果出现了假定的眩目(即图像中或者眩目区域105中的高亮度),则必须检验:是否存在雾以及因此存在眩目并且不是照亮的场景(这又是所期望的)。在识别到雾时,例如可以停用远光灯和/或激活雾灯。
在图3中图形化地示出了物理学关系。
在子图a)中示出了氙气大灯的谱,其在蓝色范围中、即更高频率或者更短波长λ的范围中的强度或者亮度I高于在低频(红色)范围中。可以给所述谱分配所有频率上的强度的平均值,这相应于平均灰度值MG。根据本发明的红色过滤可以如此构造,使得其仅仅考虑谱带R,即基本上滤除不在谱带R中的所有频率分量。也可以给所述谱带R中的亮度值分配作为谱带R中的所有频率上的强度平均值的平均亮度值MR。两个谱亮度值MG和MR通过差D相区别。所述差根据雾的存在而变化,如以下示出的那样。通过分析处理所述差能够实现根据本发明的比较。替代地,也可以在这些平均亮度值之间形成商或者在发明中描述的其他组合。
在子图b)和d)中现在示出了在存在雾的情况下的场景的延续而在子图c)和e)中示出了所述方法在没有雾的情况下的延续。
在子图b)中示出了雾的谱传输特性,其中在低频范围、例如红色范围中出现较高的衰减(较小的透射率T)而对于较高的频率出现较低的衰减。在子图c)中示出了良好视野的平常情况,即没有衰减。
如果现在将所述吸收特性与子图a)中的大灯谱卷积*,则得到在子图d)和e)中示出的强度曲线,其中子图e)中的曲线相应于子图a)中的原始曲线,因为没有发生任何衰减(1/T)。在此不考虑由图像主题或其他光源导致的影响。这些可以由于前进运动期间的动态图像变化来平均。
在子图d)中示出了在进行拍摄的摄像机的图像中待确定的谱变化曲线,当借助相应于子图a)的大灯在存在具有如子图b)中的衰减特性的雾时拍摄图像时。相应于根据本发明的方法由图像求得在此实施的亮度MG和MR的平均值的确定。
在子图a)中对于大灯出现的(未受影响的)亮度平均值已经由大灯已知的特性得出并且是已知的。因为其在运行中可以不通过摄像机测量,所以其可以被存储/配置用于分析处理以及改进根据本发明的方法。
在子图d)与子图a)相比平均值的差V的放大中可清楚地看出雾的效应。
相反,在子图f)中示出了在图像中感觉到的谱分布,如其当大灯的特性未知或者不具有占优势的谱分量或大灯没有接通(例如在白天)时被测量的那样。在此,虽然亮度的平均值的差V是可测量的,但可看到在应用相应大灯时差的增强或增大,如在子图a)和d)中示出的那样。通过具有已知特性的大灯的增强效果,例如可以更大地选择用于雾识别的阈值,从而出现更少的错误的雾识别。相反必须考虑,这些大灯可以起作用,使得在图像中拍摄的无雾场景也可以增强地具有大灯的谱特性,这可能再次衰减所述效应。但是,经验研究已证实了这一优点。
在图4中示出了一个流程图,如其可以实现用于光控制,其中根据本发明的方法用于雾识别。从起始点401开始,所述起始点例如能够以确定的时间间隔反复调取。也可以选择性地使用在这里介绍的元件和测试,如同在流程中插入其他有意义的点或者改变流程的顺序。
实施视距确定402,其例如可以通过如下方式实现:例如检验前方视距是否超过一个阈值,并且在超过时假设没有雾存在410。例如可以通过其车道识别算法(车道探测)来确定前方视距,当车道(标记)在足够远的距离上仍可见时,所述视距足够好。
如果视距被认为太小,则实施对比度确定403,其例如可以通过如下方式实现:实施梯度确定,其中灰度图像中的平均梯度必须超过某个阈值。如果情况如此,则存在一个相应的对比度,即考虑不存在雾410。如果尽管出现(自)眩目,则其可以由反射的标志牌造成。因此,可以实现眩目的原因的区分。
相反,如果对比度也过小,则此外可以实施光源识别404(外部光源)并且在出现这样的光源识别时检验所述光源是否具有光晕或光轮。如果不是这种情况,即光源是清晰的并且明显可见的,则得出不存在雾410。
如果相反,则可以继续应用光谱学雾识别的根据本发明的方法405,所述方法如所描述的那样可以识别不存在雾410或者存在雾406。直到所述步骤406已经操作了用于雾识别的方法,随后是用于光控制的方法。
如果已经识别到雾406,则夜间识别407检验是否恰好是夜间,例如其方式是,光敏传感器的光量超过一个确定的阈值。如果是白天,则不实施大灯调节或者调节的改变411,因为当灯光激活时这可能是驾驶员的有意期望/调节。
如果是夜间,则实施速度检验408,所述速度检验近似地表示安全换挡,使得在低速(<50km/h)时不进行大灯调节411的改变、尤其是不进行远光灯的激活。但如果达到或超过一个确定的最小速度,则应在存在雾的情况下激活雾灯412。
如果没有识别到雾410,则例如可以在存在其他边缘条件(例如没有方向交通)时激活远光灯。可以使在识别到雾或者没有识别到雾之间的快速变换去抖动,从而大灯调节不会一直改变或者开始闪烁。可以相应地控制雾尾灯。

Claims (11)

1.用于借助于车辆的由摄像机(K)拍摄的至少一个图像(101)来识别或密度确定或分类(405)气溶胶(104)的方法,其中,
-在第一步骤中,由所述至少一个图像借助第一颜色过滤(F1)求得参数(P)的第一值,
-在第二步骤中,不借助所述第一颜色过滤(F1)或者借助第二颜色过滤(F2)求得同一参数(P)的第二值,所述第二颜色过滤与所述第一颜色过滤(F1)不同,
-比较(V)所求得的值,以及
-根据所述比较的结果(D)实施所述气溶胶的识别(401,406)或密度确定或分类,
其特征在于,借助于大灯照明(103)所述气溶胶(104),并且考虑所述大灯的谱特性(图3a),实施所述大灯的谱与至少一个可能的气溶胶(图3b)的吸收特性的卷积(*),以及据此识别(406)所述气溶胶(104)。
2.根据权利要求1所述的方法,其特征在于,所述第一颜色过滤(F1)确定红色分量(R,MR),并且不借助第二颜色过滤(F2)地确定灰度分量(MG)。
3.根据以上权利要求中任一项所述的方法,其特征在于,所述参数是像素的平均亮度值(M)或平均梯度。
4.根据权利要求1或2所述的方法,其特征在于,所述参数的比较(V)通过求差、求商、求方差或与灰度值分布信息的结合形成。
5.根据权利要求4所述的方法,其特征在于,通过求差形成所述比较(V),并且通过至少两个阈值比较形成结果的相关性,其中,当超过较低的阈值并且低于较高的阈值时,识别或者分类所述气溶胶。
6.根据权利要求1所述的方法,其特征在于,使所述比较的结果(D)经历继续进行的第二比较,其中,在不存在气溶胶的情况下实施与所述比较的预期结果的第二比较。
7.根据权利要求1或2所述的方法,其特征在于,仅仅在考虑所述图像的一部分(106)的情况下求得所述参数。
8.根据权利要求7所述的方法,其特征在于,如此选择所述一部分(106),使得在所述一部分中通过所述大灯(103)实现尽可能好的照明和/或相应于转向角跟踪所述一部分和/或相应于位于所述图像(101)中的场景的表面拓扑调节所述一部分。
9.根据权利要求1或2所述的方法,其特征在于,借助其他数据(402,403,404)验证气溶胶识别(405)的合理性。
10.根据以上权利要求中任一项所述的方法的应用,用于调节所述大灯(L)的照明距离或光分布(411,412)和/或激活或影响其他安全性功能/舒适性功能/驾驶员辅助功能或驱动系功能。
11.用于借助于车辆的由摄像机(K)拍摄的图像(101)来识别或密度确定或分类(405)气溶胶(104)的装置,其中,
-通过参数确定单元(P)由所述图像中在第一步骤中借助第一颜色过滤器(F1)求得第一值,
-通过相同的参数确定单元(P)在第二步骤中不借助或借助第二颜色过滤器(F2)求得第二值,所述第二颜色过滤器与前述的颜色过滤器(F1)不同,
-比较器(V)比较在至少两个步骤中求得的值,
-根据所述比较的结果(D)实施所述气溶胶的识别或密度确定或分类(401,406),
其特征在于,借助于大灯照明(103)所述气溶胶(104),并且考虑所述大灯的谱特性(图3a),实施所述大灯的谱与至少一个可能的气溶胶(图3b)的吸收特性的卷积(*),以及据此识别(406)所述气溶胶(104)。
CN201180011836.6A 2010-03-02 2011-01-26 用于借助光谱学进行雾识别的方法和装置 Active CN102782478B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010002488.0 2010-03-02
DE102010002488A DE102010002488A1 (de) 2010-03-02 2010-03-02 Verfahren und Vorrichtung zur Nebelerkennung mittels Spektroskopie
PCT/EP2011/051026 WO2011107308A1 (de) 2010-03-02 2011-01-26 Verfahren und vorrichtung zur nebelerkennung mittels spektroskopie

Publications (2)

Publication Number Publication Date
CN102782478A CN102782478A (zh) 2012-11-14
CN102782478B true CN102782478B (zh) 2015-12-09

Family

ID=43902820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180011836.6A Active CN102782478B (zh) 2010-03-02 2011-01-26 用于借助光谱学进行雾识别的方法和装置

Country Status (6)

Country Link
US (1) US9297754B2 (zh)
EP (1) EP2542881B1 (zh)
JP (1) JP5575276B2 (zh)
CN (1) CN102782478B (zh)
DE (1) DE102010002488A1 (zh)
WO (1) WO2011107308A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017644A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs
DE102011017649B3 (de) 2011-04-28 2012-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Intensität eines Aerosols in einem Sichtfeld einer Kamera eines Fahrzeugs
JP5600332B2 (ja) * 2012-03-29 2014-10-01 富士重工業株式会社 運転支援装置
US9396528B2 (en) * 2013-03-15 2016-07-19 Digitalglobe, Inc. Atmospheric compensation in satellite imagery
KR102089106B1 (ko) * 2013-06-19 2020-03-16 현대모비스 주식회사 안개 발생 여부 판단 방법 및 이를 위한 장치
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
US9734425B2 (en) 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
US9846927B2 (en) 2014-05-20 2017-12-19 Qualcomm Incorporated Systems and methods for haziness detection
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
US10026163B2 (en) * 2015-02-25 2018-07-17 Cale Fallgatter Hydrometeor identification methods and systems
JP6655983B2 (ja) * 2015-12-22 2020-03-04 京セラ株式会社 検知システム、検知方法、および車両
WO2017203507A1 (en) * 2016-05-23 2017-11-30 Technion Research And Development Foundation Ltd. A gas sensing device and a method for sensing gas
DE102016006326A1 (de) * 2016-05-24 2017-11-30 Audi Ag Linear polarisierte Lichtabstrahlung durch einen Fahrzeugscheinwerfer zum Einsatz in einem kamerabasierten Fahrerassistenzsystem
JP7113375B2 (ja) 2018-07-11 2022-08-05 パナソニックIpマネジメント株式会社 表示装置、画像処理装置及び制御方法
CN113077422B (zh) * 2021-03-22 2023-08-15 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004076231A2 (en) * 2003-02-21 2004-09-10 Gentex Corporation Automatic vehicle exterior light control systems
CN1751391A (zh) * 2003-02-21 2006-03-22 金泰克斯公司 自动汽车外部灯光控制系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5149786A (en) * 1974-10-25 1976-04-30 Kogyo Gijutsuin Earozoruno sokuteihoshiki
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP2002286842A (ja) * 2001-03-26 2002-10-03 Mitsubishi Heavy Ind Ltd カラーレーザレーダ装置
EP1498721A1 (de) 2003-07-15 2005-01-19 ELMOS Semiconductor AG Vorrichtung zur Erkennung von Nebel, insbesondere für ein Fahrzeug
US7602937B2 (en) 2004-06-08 2009-10-13 International Electronic Machines Corporation Image-based visibility measurement
US7379177B1 (en) * 2005-08-04 2008-05-27 Applied Vision Company, Llc System and method for performing hard glass inspection
JP5022609B2 (ja) 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP4321591B2 (ja) * 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
JP2009025050A (ja) * 2007-07-17 2009-02-05 Sumitomo Electric Ind Ltd 視界良否判別装置、視界良否判別方法、コンピュータプログラム
FR2919727B1 (fr) 2007-08-03 2010-07-30 Valeo Vision Procede de detection par un vehicule d'un phenomene perturbateur de visibilite
FR2923016B1 (fr) 2007-10-31 2009-11-20 Valeo Vision Procede de detection d'un phenomene perturbateur de visibilite pour un vehicule.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004076231A2 (en) * 2003-02-21 2004-09-10 Gentex Corporation Automatic vehicle exterior light control systems
CN1751391A (zh) * 2003-02-21 2006-03-22 金泰克斯公司 自动汽车外部灯光控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cloud Determination of All-Sky Images under Low-Visibility Conditions;HUO ET AL;《JOURNAL OF ATMOSPHERIC AND OCEANIC TECHNOLOGY》;20091001;第26卷;全文 *
Techniques for Identifying Dust Devils in Mars Pathfinder Images;STEPHEN M METZGER S ET AL;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20000301;全文 *

Also Published As

Publication number Publication date
WO2011107308A1 (de) 2011-09-09
DE102010002488A1 (de) 2011-09-08
CN102782478A (zh) 2012-11-14
US9297754B2 (en) 2016-03-29
US20130057687A1 (en) 2013-03-07
EP2542881A1 (de) 2013-01-09
EP2542881B1 (de) 2024-03-13
JP2013521481A (ja) 2013-06-10
JP5575276B2 (ja) 2014-08-20

Similar Documents

Publication Publication Date Title
CN102782478B (zh) 用于借助光谱学进行雾识别的方法和装置
US10967793B2 (en) Systems and methods for detecting obstructions in a camera field of view
Jokela et al. Road condition monitoring system based on a stereo camera
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US8077921B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
US8477192B2 (en) Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
WO2014189059A1 (ja) 路面状態推定装置
CN106846394A (zh) 积雪覆盖行进路径表面状况检测
CN103493099B (zh) 用于识别车辆摄像机的视野中的气溶胶的强度的方法和设备
CN109703555B (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
Sallis et al. Air pollution and fog detection through vehicular sensors
DE102015112103A1 (de) Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug
CN110307995A (zh) 一种用于自动驾驶汽车边缘测试的测试方法
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
US9171216B2 (en) Method and device for detecting fog at night
CN116324478A (zh) 用于确定传感器退化状态的方法
Hautière et al. Daytime visibility range monitoring through use of a roadside camera
CN112782090B (zh) 一种酒驾自动监测系统及检测方法
Imtiaz et al. A Gas Imaging Sensor System of Automotive Exhaust Plumes for Remote Emission Sensing Application Basing on Schlieren Imaging An Approach to Visualize and Size Vehicle Exhaust Plumes
CN117549890A (zh) 车辆的预警防撞方法、装置、设备及计算机可读存储介质
CN112622919A (zh) 一种酒驾自动监测系统及检测方法
Sahana et al. Survey on Fog Detection using in-vehicle Cameras for Evaluation of Road Condition
JP2013086739A (ja) ヘッドライト制御装置、ヘッドライトシステム、及びヘッドライトシステムの制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant