CN104011737B - 用于探测雾的方法 - Google Patents

用于探测雾的方法 Download PDF

Info

Publication number
CN104011737B
CN104011737B CN201280062789.2A CN201280062789A CN104011737B CN 104011737 B CN104011737 B CN 104011737B CN 201280062789 A CN201280062789 A CN 201280062789A CN 104011737 B CN104011737 B CN 104011737B
Authority
CN
China
Prior art keywords
mist
bidimensional
feature
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280062789.2A
Other languages
English (en)
Other versions
CN104011737A (zh
Inventor
M·帕夫利克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN104011737A publication Critical patent/CN104011737A/zh
Application granted granted Critical
Publication of CN104011737B publication Critical patent/CN104011737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于借助相机图像或摄像图像对雾进行探测的方法，其包括如下步骤：依据两个独立的位置坐标拍摄具有至少一个颜色通道或具有多个颜色通道的两维图像；对于所述至少一个颜色通道或对于所述多个颜色通道中的每一颜色通道确定出两维的灰度函数，该灰度函数依据所述两维图像的两个独立的位置坐标确定灰度的值；依据两个独立的频率坐标对所述两维的灰度函数进行两维的傅里叶变换。

Description

用于探测雾的方法
技术领域
本发明涉及一种用于借助相机图像或摄像图像对雾进行探测的方法。
背景技术
雾的出现对于地面、空中和海上客运及货运交通构成重大影响。因此现代车辆可以装备以摄像为基础的自动的雾探测系统，这些雾探测系统能够与各种不同的驾驶员辅助系统相耦联。
例如，N.Hautiere等在“Automatic fog detection and estimation ofvisibility distance through use of an onboard camera”，Machine Vision andApplications，Vol.17，No.1，pp.8-20，January 2006中介绍了一种日间在车辆中用于以摄像为基础探测雾和估算能见度范围的方案措施，该方案措施也是文献FR 2835911B的主题内容。在此，对利用前置相机拍摄的图像进行处理。借助区域生长(Region-Growing)方案措施提取一个既包含车道部分也包含天空部分的图像区域。在这个区域之内界定一个测量区域，该测量区域对于每一图像行(析像行)包含强度值的中位数。这个测量区域从最下部图像行到最上部图像行的(强度-)变化曲线被称为强度函数。强度函数的转向点界定一个能见度范围，亦即下述的那个图像行，在该图像行以上对于驾驶员来说再无法看见物体。强度函数的转向点是由这样的图像行界定的，在该图像行以上驾驶员就再也不能识别出物体。通过透视投影并且在假设地势平坦的情况下，可以针对该图像行推断出以米为单位的对应的能见度范围。如果具有转向点的图像行位于图像中点以上，那么便产生一个无限远的能见度范围，因此通过这种方法也可以识别雾的存在。
不过由Hautiere等在“Perception through Scattering Media for AutonomousVehicles”，Autonomous Robots Research Advances，Nova Science Publishers，pp.223-267，April 2008中自己又指出：用于提取待调查之图像范围(其既包含道路部分也包含天空部分)的最初使用的区域生长方案措施在很多交通状况中提供不充分的结果。不能始终保证存在从车道到天空的过渡形式的地平线，例如在前面有车辆行驶的交通情况下或在某些自然景物的情况下。
由Bronte等在“Fog Detection System Based on Computer VisionTechniques”，IEEE Intelligent Transportation Systems，pp.1-6，October 2009中以用于探测雾和用于估算能见度范围的系统为题介绍了另一种可选的方案措施。据此，在一个相机图像中通过一种区域生长算法提取两个邻接的区域，一个车道区域和一个天空区域。另外，通过图像特征计算实时的消失点。在有雾场景的情况中，由最上部图像行起测量，天空区域高于消失点。经由两个区域相接触所在的图像行，通过透视投影并且在假设地势平坦的情况下可以求得能见度范围。为了避免误探测，此外还在该算法前置入一个以阈值为基础的“非雾探测器”。这个探测器借助图像上半部之内出现的梯度绝对值的总和来识别在图像中是否存在充分的模糊化以便实施能见度范围估算。由于以单独一幅图像为基础进行的能见度范围估算是很不可靠的，也就是说，按时间观察在多个相继的图像上会经历剧烈的波动，因此要在一个固定的时间期间上实施中位数形成。
发明内容
本发明的目的是，介绍一种改进的、用于借助相机图像或摄像图像对雾进行探测的方法。
这个目的通过按照本发明的方法得以实现：一种用于借助相机图像或摄像图像对雾进行探测的方法，包括如下步骤：
-依据两个独立的位置坐标拍摄具有至少一个颜色通道或具有多个颜色通道的两维图像，
-对于所述至少一个颜色通道或对于所述多个颜色通道中的每一颜色通道确定出两维的灰度函数，该灰度函数依据所述两维图像的两个独立的位置坐标确定灰度的值，
-依据两个独立的频率坐标对所述两维的灰度函数进行两维的傅里叶变换，
-将两维的灰度图像标准化，
-该标准化借助低通滤波器和借助高通滤波器来平衡灰度的强度梯度，
-计算出傅里叶变换结果的绝对值平方，该绝对值平方被称为功率谱，
-借助数码图像处理对所述功率谱进行整理，
-利用加博尔滤波器群组对所述功率谱进行分析，
-利用所述加博尔滤波器群组的每一加博尔滤波器在两维的频率空间上对所述功率谱进行过滤，过滤结果被称为该加博尔滤波器的加博尔特征。
本发明的方法包括下列步骤：
首先要完成对具有至少一个颜色通道或多个颜色通道的两维图像的拍摄，并且对于所述至少一个颜色通道或者对于所述多个颜色通道中的每一颜色通道构建一种灰度值图像，其中，灰度的值是依据两个独立的位置坐标作为两维灰度函数而定的。接着对灰度函数进行两维的傅里叶变换，其中，傅里叶变换结果在频率空间内是依据两个独立的频率坐标而定的。
在该方法中利用了如下情况：在有雾之场景的灰度值图像的拍摄照片中，随着雾的浓度增加，相邻点的强度差或灰度梯度是要比在无雾之相同场景的灰度值图像的拍摄照片中(相邻点的强度差或灰度梯度)更小。在无雾的图像中比起在有雾的拍摄照片中能够看到明显更为清晰(锐化)的边缘和更高的对比度。例如，沥青路面上的白色车道标线在有雾时变得模糊不清，而这些车道标线在阳光下轮廓清晰可见。
例如对一维阶梯函数的傅里叶变换在频率空间内在为零的高频率情况下还提供不同的份额(Beitrag，量值)，这些份额例如在对一维高斯钟形曲线的傅里叶分析中则消失。
因此傅里叶变换提供了如下优点，即，在频率空间内雾出现的“程度”是标准度量的：在有雾的情况下傅里叶变换结果的绝对值集中于频率坐标的零点周围，在阳光照射情况下傅里叶变换更多地提供在两个频率坐标的按照绝对值大小的高值中的份额。由此，本发明的方法特别有利于借助相机或摄像系统对雾进行探测。
黑白显示的图像是基于唯一一个颜色通道。相反，彩色的图像则通常以三个颜色通道为基础-红色通道、绿色通道和蓝色通道。图像的每个通道均得到一种可以描述为灰度值图像的强度分布。
根据本发明的一个优选的变型方案，将两维的灰度图像标准化。
灰度图像的标准化具有如下优点：局部图像范围例如通过照明效果或者曝光效果被尽可能地平衡。该标准化可以通过合适的滤波器如各向同性的高通滤波器和低通滤波器来实现。所述标准化防止了功率谱内若干个图像范围的优势。作为实例，应该提到例如在本身均匀的面上的阴影投射，其影响可以通过标准化而降低。
另外，计算出傅里叶变换结果的绝对值平方，该绝对值平方被称为功率谱。在该功率谱上在两维的频率空间内实施一种数码图像处理。
根据本发明的一个优选的实施方式，利用加博尔滤波器群组对功率谱进行分析。在此，利用加博尔滤波器群组的每一个单独的加博尔滤波器在两维的频率空间上对功率谱进行过滤，过滤结果被称为加博尔特征。
所述功率谱利用一个点对称的加博尔滤波器群组在两维的频率空间内被“扫描”。这意味着：功率谱的图像量也用作加博尔滤波器群组的图像量。每个单独的加博尔滤波器与功率谱褶积，该加博尔滤波器的图像范围和其在频率空间内的取值范围通过其尺度和定向被确定。褶积值被称为加博尔特征。以这种方式，每个加博尔滤波器被赋予一个加博尔特征，并且功率谱的份额在频率空间的不同频率范围内在量上成为可测量的。
加博尔特征附加地与一个预定的权重函数相乘，以计算出雾指标。将雾指标与一个预定的阈值进行比较。通过该比较，以一定置信度水平为一个二进制变量赋予一个代表“雾”的预定值或另一个代表“无雾”的预定值。
这意味着：所述方法以一定可信度提供信息“有雾”或“无雾”。
另外，有益的是：根据经验上的学习数据来求得所述预定的权重函数和预定的阈值。
由此可知：所述方法在研发中(也就是说在其被提供给常规使用之前)要利用学习及训练数据以实践经验为依据进行可靠性确证。为此，可以借助测试照片利用能见度范围估算来实施对拍摄照片的具体化的雾分类，以便借助这些数据对所述方法进行评估。
按照本发明的一个可选的变型方案，可以借助加博尔特征利用主分量分析来实施特征简化(Merkmalsreduktion)。简化的特征被称为主要加博尔特征。
主分量分析提供了如下优点：加博尔特征可以借助训练数据对其相关性进行统计调查。这一点实现了在所述方法的常规应用过程中对计算机处理性能的节省资源的管理。
按照本发明的另一个变型方案，可以使功率谱接受一种利用主分量分析的特征简化。简化的特征被称为主要特征。
在主分量分析的数码图像处理方法中，功率谱在频率空间内的每个像素值都被视为一项单独的特征。在这些特征的基础上通过主分量分析来实施特征简化。作为可选方案，可以在频率空间内使用支持向量法。
按照本发明的另一个实施方式，加博尔特征被分类为主要加博尔特征或加博尔特征。该分类利用一个线性分类器或一个非线性分类器来实施。在分类时，与雾的出现以及附加选择地与雾的浓度相关联的分类变量被赋予一个值和一个置信度水平。
在此，例如可以采用对于数码图像处理方面的专业技术人员来说已知的线性判别分析或者支持向量法。最后，分类法发出一个诸如“有雾”或“无雾”的种类属性作为信息。该种类属性也可以配置有一定的置信度水平。
特别有益的是：在包括控制器、相机或摄像系统和至少一个驾驶员辅助系统的车辆中，由相机或摄像系统和由控制器实时地执行用于对雾进行探测的方法，并且种类属性被传输到所述至少一个驾驶员辅助系统。车辆的驾驶员辅助系统可以在“有雾”时对驾驶员发出警告。作为可选或者补充措施，驾驶员辅助系统可以在针对“雾”所指定的配置中运行。通过这种方式可以在道路交通中对主动安全性作出直接贡献。
所说实时就此而论意味着：种类属性的信息可以由所述方法在一时窗之内求得，该时窗在时间上短于所述相机或摄像系统的灰度值图像的逆反拍摄频率(inverseAufnahmefrequenz)。
附图说明
下文将参照附图对本发明的一个优选实施例加以阐述。由此得到本发明的其他细节、优选的实施方式和发展设计。各附图中示意性地示出：
图1为用于对雾进行探测的方法步骤；
图2a为能见度良好时的灰度值图像；
图2b为能见度良好时的功率谱；
图3a为有雾时的灰度值图像；
图3b为有雾时的功率谱。
具体实施方式
在图1中示出了车辆中用于对雾进行探测的方法的各个方法步骤。该车辆具有一个照相和/或摄像系统，该系统例如沿车辆的行驶方向安装在驾驶员后视镜的区域内。为了对雾进行探测，基于相机或摄像的方案措施是很有发展前途的，因为由此在车辆内的人的感觉可以被很好地复制。例如，按照现有技术一般在车辆中就能够找到照相机，这些照相机沿行驶方向安装在后视镜的区域内，以便尽可能如驾驶者体验的那样检知行驶状态。照相和/或摄像系统具有一个通向车辆控制器的数据接口。另外，车辆包括多个驾驶员辅助系统，诸如提示驾驶者存在速度限制的警报系统或用于自动接通/关断雾灯或后雾灯的开关助手。驾驶员辅助系统同样具有通向控制器的数据接口。
在第一步中，为了对雾进行探测而利用照相或摄像系统创建车辆外部环境的图像。理想的是，该图像获得在行驶期间朝着车辆迎面而来的交通状况。该图像依据两个独立的位置坐标x和y作为两维的灰度图像被获得。以一种具有一个颜色通道的黑白图像为出发点，而这并不构成对一般性的限制。在此，灰度的值表示为i(x，y)。灰度图像附加地可以是拍摄到的相机图像的一个正方形局部部分，因而在灰度图像的图像宽度和图像高度方面像素数量均是相同的。
例如图2a为能见度良好的情况下即无雾天气时的灰度图像以及图3a为有雾情况下的灰度图像。这些图像在图2a和图3a中是示范性地图示表示的。所述方法将图像作为数据记录加以处理，该数据记录没有必要必须图解地示出。
灰度图像进入被称为预滤或标准化的下一步。经过预滤的灰度图像被表示为i′(x，y)。所述预滤由强度值的方差的局部标准化构成：
在此，g(x，y)描述的是一个各向同性的高斯低通滤波器，以及h(x，y)＝1-g(x，y)描述的是一个相应的高通滤波器。算符*表示褶积算符。分子为一个使图像除去中值(mittelwertbefreien)的高斯滤波器。分母则类似输入图像中的方差的一个局部估计量。参数ε是一个常数，该常数削弱在恒定的图像范围内、诸如车道或天空内的噪声放大。预滤用来降低照明效果以及预防在量值谱(振幅谱)中某些图像范围的优势。预滤的作用例如在日射时是极为有效的。在日射时，由于不均匀的照明如阴影投射而产生不同的照明效果以及在原本均匀的面上的不同的灰度值分布。通过预滤，这样的照明效果得到平衡。
在图1中的下一步中，对灰度图像进行两维傅里叶变换(图1中的FFT)。经过傅里叶变换的图像(下文中也被称为傅里叶变换结果)被表示为I(fx，fy)。通过fx和fy给出两维的频率空间。得出傅里叶变换为
在傅里叶变换之前，图像可以选择地与两维的窗函数相乘，以便抑制沿坐标轴的宽频信号部分。这些信号部分通过在对非周期性的信号进行后继傅里叶变换时内含的接收周期性延续的信号而产生(所谓的泄漏效应(Leck-Effekt))。例如可以使用已知的汉宁窗作为窗函数。
在多个颜色通道的情况下，以类似方式对于每个颜色通道保持一个傅里叶变换结果。
在下一步中，按照Γ(fx，fy)＝|I(fx，fy)|2形成傅里叶变换结果的绝对值平方Γ(fx，fy)。Γ(fx，fy)被称为功率谱。
图2b示出的是按图形输出的功率谱。图2b中的功率谱按照由图2a所叙述的方法形成。相应的内容适用于图3b，该图由图3a形成。两个图示被如下地选择，即，两个频率轴fx和fy的零点位于图像的中点，并且各个数值是以对数表示方式绘出的。图示的这种方式仅仅用于使本方法形象化和易于理解。可以清楚地看到，在有雾的情况下(图3b)频谱在频率空间内主要是围绕中点以点对称方式集中。相反，在无雾的情况下(图2b)，频谱在整个频率空间内提供明显更多的、由于亮度印记在图形的边缘区域内也能够看到的份额。
功率谱包含关于雾的出现和关于雾的密度的信息。在此，利用了如下情况：在有雾之场景的灰度值图像的拍摄照片中，随着雾的浓度增加，相邻点的强度差或灰度梯度是要比在无雾之相同场景的灰度值图像的拍摄照片中(相邻点的强度差或灰度梯度)更小。在无雾的图像中比在有雾的拍摄照片中能够看到明显更加清晰的边缘和更高的对比度。例如，沥青路面上的白色车道标线在有雾的情况下变得模糊不清，而这些车道标线在无雾的情况下轮廓清晰可见。
例如对一维阶梯函数的傅里叶分析在频率空间内在为零的高频率的情况下还提供不同的份额，不过这些份额例如在对一维高斯钟形曲线的傅里叶分析中消失。相应地，有雾时的灰度图像在两维的频率空间内被限定于频率参数fx和fy的较低值。
图1所示的方法的其他步骤与下述任务相关：借助数码图像处理方法使功率谱模型化，以便能够根据有雾和无雾场景的拍摄照片中的不同的形式进行分类。例如，可以使用以线性判别分析为基础的线性分类器。在此，功率谱的图像特征经历通过加博尔-滤波器组“扫描”的两级特征简化以及接着经历主分量分析。
借助加博尔-滤波器组在频率空间内通过对功率谱的扫描按照下列公式实施对傅里叶变换结果的两级特征简化(图1中的加博尔-滤波器组)：
gi＝ΣΣΓ(fx，fy)Gi(fxfy)，i＝l，...K
在此情况下，加博尔滤波器组由K个加博尔-滤波器组成，其中一个加博尔-滤波器构成为一个特定尺度(σx，i，σy，i)的和特定定向θi的在例如K＝60个加博尔-滤波器之数量的情况下，由特征简化产生60个特征gi，这些特征在下文中被称为加博尔特征。在多个颜色通道的情况下，这一点类似地适用于每个颜色通道。在例如三个颜色通道的情况下，由此将实现180个加博尔特征。
根据主分量分析实现特征简化的第二级。为此选出M个图像用作训练数据(参照图1中的“训练数据”)，这些图像作为有雾之场景或作为无雾之场景是已知的以及为这些图像计算出加博尔特征。在此，理想地由有雾之场景选出M/2个图像以及由无雾之场景选出M/2个图像。
首先，根据所有这些M个图像的加博尔特征计算出平均加博尔特
征向量：
另外，由除去中值的加博尔特征向量计算出协方差矩阵C：
其中和
协方差矩阵的本征向量为主分量。通过本征值分析V-1CV＝D对角矩阵D包含了本征值并且在矩阵的各列中包含了对应的本征向量。因此D和V可如下地分类，即，使本征值以下降的顺序存在于对角矩阵的主对角线上。为了实现特征简化，选出N，N＜K个第一本征向量并被归并在矩阵内。在此，大体上可以如下地选择N，即例如
适用。最后通过由原始的例如加博尔-特征向量和平均特征向量构成的来确定简化的特征向量因此训练数据的功率谱的简化的特征向量可以用于训练调校分类器(参照图1中的分类器)。借助经过训练调校的分类器，一个场景的图像的功率谱可以分类到一个有雾之场景或一个无雾之场景或一个具有处于有雾与无雾之间的中间级的场景中。
例如分类器被描述为基于线性判别分析的线性分类器：
在线性分类器中，通过由特征向量和权重向量构成的标积可以确定决策变量u：
因此在时，其中1＝“有雾”和0＝“无雾”，通过一个阈值c可以确定出种类属性(参见图1中的“输出”)。
在此，例如“1”代表来自有雾之场景的图像，“0”代表来自无雾之场景的图像。除了二进制的分类之外，这个方法另外还提供了一个形式上为决策变量的置信度水平。随着置信度水平的上升，分类器关于种类属性的输出的准确性便提高。借助训练数据(参见图1中的“训练数据”)也可以使权重向量以及阈值得到学习调校。
图1中的步骤“训练数据”可以如下地理解为特殊的步骤，即，时间上不在方法执行过程期间实现对分类器的“训练调校”(在图1中虚线示出)。分类器的训练调校用来对该分类器加以配置，并且在时间上是在应用所述方法之前进行，例如在该方法的研发和实施中。
可以借助线性判别分析来实现对权重向量和阈值的训练调校。在线性判别分析中，权重向量通过特征向量的协方差矩阵T和来自有雾之场景的图像和来自无雾之场景的图像和的平均特征向量进行学习调校，其中和
在这种情况下，E{}代表着期望值-算符以及代表着所有训练数据的平均特征向量。对此前提条件是：具有足够量的训练数据M，就是说有雾场景的图像和无雾场景的图像。理想的情况是，对于两个种类具有相同数量的图像。借助如此测定的权重向量可以针对每个种类确定平均决策变量以及其标准偏差(σ1，σ2)并因此可以建立一个种类的决策变量的正态分布因此可以通过各正态分布的交点确定阈值
可以实时地执行图1所示的方法。如果用于拍摄图像的照相系统例如每秒钟提供15幅图像的话，那么每幅图像具有约66毫秒的最大处理时间。该方法的涉及数据处理的步骤可以在车辆控制器上执行常用的编程语言例如C++。若在最大的处理时间之内执行了图1所示的从拍摄图像到输出的步骤序列，那么便得到了方法的实时。
由所述方法输出的信息可以传输给驾驶员辅助系统。作为选择，在判别出有雾的情况下可以给驾驶员发出声学的、光学的或触觉的警告。
对于在驾驶员辅助系统中的不同应用，按所介绍的方法进行雾探测可能是有益的。使用前置相机的现有技术的应用例如是车道保持辅助系统(车道偏离警告(LaneDeparture Warning)，LDW；速度限制信息，SLI；或者远光灯助手，FLA)。
存在着这样的可能性，即，使驾驶员注意速度限制。根据德国道路交通管理法(StVO)，§3，第一节，驾驶员必须使他的速度与视线情况相匹配。如果能见度范围由于雾、降雪或降雨而小于50m的话，那么根据德意志联邦共和国(BRD)的道路交通管理法不允许快于50km/小时行驶。由于时间上限制的特征和地区的特征以及由于基础设施的情况，该速度限制并非始终以指示牌的形式明确地表明。基于该项法律规定以及根据联邦统计局很多交通事故归因于过高速度的事实，向驾驶员提示有效的速度调节是有益的。这一点如其当今在明确的速度限制时已经可以使用的那样，例如可以转化为速度限制信息(SLI)的方式。为使驾驶员识别出速度限制的明确特征，作为对速度限制的补充还可以例如在组合仪表中高亮显示出在德国通常的、用于指示妨碍视界的标记。另外，可以使雾灯或者后雾灯的自动接通/关断依据用于雾探测的方法的输出而定。根据StVO，§17，第三节，只有在由于雾、降雪或降雨妨碍视界的情况下才允许使用雾灯，另外，后雾灯只有在能见度范围小于50m时才允许接通。然而交通参与者经常会忘记重新关断后雾灯。正如德国汽车协会ADAC指出的那样。因此继后的交通参与者会发生眩目。如果车辆能够自动探测浓雾的话，那么可以通过自动接通或关断雾灯和后雾灯提供补救的方法。根据现有技术在当前车辆中例如对于近光灯存在着自动的车灯开关系统。
另外的有益的效果在于将输出传送给自动间距控制器。自动间距控制器(ACC，Active Cruise Control，主动巡航控制)是一种实施与间距相关的速度调节的驾驶员辅助系统。在使用该系统的情况下，可以由驾驶员调定期望速度和距目标对象的间距。尽管作为传感器系统通常使用不受雾限制的雷达，但是在浓雾情况下提高最小可调间距会是合理的。
另外，该方法的输出可以用于远光灯辅助系统的策略匹配。远光灯辅助系统(FLA)是一个以照相为基础的、在夜间辅助驾驶员接通和关断远光灯的驾驶员辅助系统。如果系统认识到车辆处于一种未充分照明的环境中(例如在密集居住的地区以外)并且没有行驶在前面的或迎面驶来的车辆的话，那么远光灯便被接通。然而在浓雾情况中，驾驶员在接通远光灯的情况下由于光束在微粒状物质上的反射而发生目眩。通过关于存在浓雾的信息FLA，就这方面来说可以调整策略，即，在有雾的情况下只能调到近光灯。
该雾探测方法的输出可以用于经由xFCD(Extended Floating Car Data，扩展浮动车数据)针对天气条件的交通状态检测。由于雾导致的从良好视线情况到严重受限的能见度范围的突然转变对驾驶员来说是一种局部危险。为了提高交通安全，值得追求的是：检测这样的事件并且有针对性地对相关的交通参与者给予警告。然而，由于这种事件鉴于其形态和地点方面的动态特征，利用固定的测量系统这一点几乎是不可能准确可靠的。为解决这个问题，追加提出了用于获得信息的xFCD的方案措施。在此，车辆被用作移动测量站。除基础设施的数据之外还将xFCD用作另外的信息源，这样的交通状态检测提供了对实时天气变化的更为精确的描述。这时，xFCD报告被汇集到中心，与基础设施的信息综合起来，并且在必要时发送给相关的交通参与者，例如以TPEG(交通信息传输协议)报告的形式。带有雾探测功能的车辆在此可以为改善关于雾出现方面的天气变化检测做出贡献。
另外有益的是，将该雾探测方法的输出与车辆的其他以摄像为基础的系统例如倒车影像系统在功能上相连接。由于雾的出现，特别是在那些以摄像为基础的系统中造成所检测的数据质量和所检测的信息内容恶化。在探测到雾的情况下，可以使用与雾相匹配的图形处理算法，其通过图像复原或提高对比度对图形信息进行预处理，以便向驾驶员显示一种更为清楚的图像。

Claims (7)

1.用于借助相机图像或摄像图像对雾进行探测的方法，包括如下步骤：
-依据两个独立的位置坐标拍摄具有至少一个颜色通道或具有多个颜色通道的两维图像，
-对于所述至少一个颜色通道或对于所述多个颜色通道中的每一颜色通道确定出两维的灰度函数，该灰度函数依据所述两维图像的两个独立的位置坐标确定灰度的值，
-依据两个独立的频率坐标对所述两维的灰度函数进行两维的傅里叶变换，
-将两维的灰度图像标准化，
-该标准化借助低通滤波器和借助高通滤波器来平衡灰度的强度梯度，
-计算出傅里叶变换结果的绝对值平方，该绝对值平方被称为功率谱，
-借助数码图像处理对所述功率谱进行整理，
其特征在于，
-利用加博尔滤波器群组对所述功率谱进行分析，
-利用所述加博尔滤波器群组的每一加博尔滤波器在两维的频率空间上对所述功率谱进行过滤，过滤结果被称为该加博尔滤波器的加博尔特征。
2.如权利要求1所述的方法，其特征在于：
-对各加博尔特征进行特征简化，
-该特征简化借助主分量分析予以实施而得到简化的加博尔特征。
3.如权利要求1或2所述的方法，其特征在于：
-将加博尔特征或经过特征简化的加博尔特征与预定的权重函数相乘，以计算出雾指标，
-将该雾指标与预定的阈值进行比较，
-所述方法以一定置信度水平为一个分类变量赋予一个代表“雾”的值或另一代表“无雾”的值。
4.如权利要求3所述的方法，其特征在于：
-所述权重函数和所述阈值是借助于训练数据通过对该方法进行评估而预先确定的。
5.用于借助相机图像或摄像图像对雾进行探测的方法，包括如下步骤：
-依据两个独立的位置坐标拍摄具有至少一个颜色通道或具有多个颜色通道的两维图像，
-对于所述至少一个颜色通道或对于所述多个颜色通道中的每一颜色通道确定出两维的灰度函数，该灰度函数依据所述两维图像的两个独立的位置坐标确定灰度的值，
-依据两个独立的频率坐标对所述两维的灰度函数进行两维的傅里叶变换，
-将两维的灰度图像标准化，
-该标准化借助低通滤波器和借助高通滤波器来平衡灰度的强度梯度，
-计算出傅里叶变换结果的绝对值平方，该绝对值平方被称为功率谱，
-借助数码图像处理对所述功率谱进行整理，
-对所述功率谱进行特征简化，
-该特征简化借助主分量分析在频率空间内予以实施而得到简化的特征，
其特征在于：
-对简化的特征进行分类，
-该分类利用线性分类器或非线性分类器来实施，
-所述方法为一个分类变量赋予一个值，
-为所述分类变量赋予一个置信度水平，
-该分类变量的值按雾的出现或雾的浓度以所述置信度水平进行标准度量。
6.用于借助相机图像或摄像图像对雾进行探测的方法，包括如下步骤：
-依据两个独立的位置坐标拍摄具有至少一个颜色通道或具有多个颜色通道的两维图像，
-对于所述至少一个颜色通道或对于所述多个颜色通道中的每一颜色通道确定出两维的灰度函数，该灰度函数依据所述两维图像的两个独立的位置坐标确定灰度的值，
-依据两个独立的频率坐标对所述两维的灰度函数进行两维的傅里叶变换，
-将两维的灰度图像标准化，
-该标准化借助低通滤波器和借助高通滤波器来平衡灰度的强度梯度，
-计算出傅里叶变换结果的绝对值平方，该绝对值平方被称为功率谱，
-借助数码图像处理对所述功率谱进行整理，
-对所述功率谱进行特征简化，
-该特征简化借助支持向量法在频率空间内予以实施而得到简化的特征，
其特征在于：
-对简化的特征进行分类，
-该分类利用线性分类器或非线性分类器来实施，
-所述方法为一个分类变量赋予一个值，
-为所述分类变量赋予一个置信度水平，
-该分类变量的值按雾的出现或雾的浓度以所述置信度水平进行标准度量。
7.车辆，包括控制器、照相或摄像系统和至少一个驾驶员辅助系统，
其特征在于：
-由所述控制器和由所述照相或摄像系统实时地执行如权利要求3、5或6之任一项所述的用于对雾进行探测的方法，
-所述分类变量的值能够传输到所述至少一个驾驶员辅助系统上，和
-所述至少一个驾驶员辅助系统在出现雾的情况下向驾驶员发出警告和/或驾驶员辅助系统能够在针对出现雾所指定的配置中运行。
CN201280062789.2A 2011-11-16 2012-11-07 用于探测雾的方法 Active CN104011737B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011086512.8 2011-11-16
DE102011086512.8A DE102011086512B4 (de) 2011-11-16 2011-11-16 Nebeldetektion
PCT/EP2012/072024 WO2013072231A1 (de) 2011-11-16 2012-11-07 Verfahren zur nebeldetektion

Publications (2)

Publication Number Publication Date
CN104011737A CN104011737A (zh) 2014-08-27
CN104011737B true CN104011737B (zh) 2018-03-30

Family

ID=47226125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280062789.2A Active CN104011737B (zh) 2011-11-16 2012-11-07 用于探测雾的方法

Country Status (4)

Country Link
US (1) US9384401B2 (zh)
CN (1) CN104011737B (zh)
DE (1) DE102011086512B4 (zh)
WO (1) WO2013072231A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445577B1 (ko) * 2013-03-11 2014-11-04 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR102089106B1 (ko) * 2013-06-19 2020-03-16 현대모비스 주식회사 안개 발생 여부 판단 방법 및 이를 위한 장치
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
CN106164767A (zh) 2014-01-10 2016-11-23 威智伦公司 用于减少内部反射的摄像机外壳
US9846927B2 (en) * 2014-05-20 2017-12-19 Qualcomm Incorporated Systems and methods for haziness detection
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
DE102015003960A1 (de) 2015-03-26 2015-08-20 Daimler Ag Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
US9870511B2 (en) 2015-10-14 2018-01-16 Here Global B.V. Method and apparatus for providing image classification based on opacity
DE102015220666B4 (de) * 2015-10-22 2021-01-14 Volkswagen Aktiengesellschaft Verfahren und System zum Betreiben eines Lichtassistenten
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
US10269098B2 (en) * 2016-11-01 2019-04-23 Chun Ming Tsang Systems and methods for removing haze in digital photos
CN107220605B (zh) * 2017-05-19 2019-08-30 华中科技大学 一种基于图像结构相似度的烟雾浓度测量方法和系统
CN108045370A (zh) * 2017-11-23 2018-05-18 李党 车道偏离预警系统
US11194043B2 (en) 2018-01-18 2021-12-07 Analog Devices International Unlimited Company Radar for weather detection and dynamic control and actuation of vehicle systems
US11054502B2 (en) * 2018-07-26 2021-07-06 Mercury Systems, Inc. Method and system for intra-pulse frequency estimation against agile emitters
CN109598256B (zh) * 2018-12-25 2021-03-30 斑马网络技术有限公司 进出坡道判断方法、装置、车辆、存储介质及电子设备
CN110988846B (zh) * 2019-04-22 2023-07-18 威力登激光雷达美国有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
CN110321855A (zh) * 2019-07-07 2019-10-11 徐梓恒 一种雾天检测预警装置
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN112329623A (zh) * 2020-11-05 2021-02-05 山东交通学院 雾天能见度检测与能见度安全等级划分预警方法
CN113076997B (zh) * 2021-03-31 2023-01-03 南昌欧菲光电技术有限公司 镜头带雾识别方法、摄像模组及终端设备
CN113706889B (zh) * 2021-08-02 2022-09-13 浪潮通信信息系统有限公司 基于目标检测分析的高速公路团雾测量系统及方法
DE102021125844A1 (de) 2021-10-05 2023-04-06 Ford Global Technologies, Llc Verfahren und System zur Steuerung einer Fahrzeugbeleuchtung eines Kraftfahrzeugs bei eingeschränkten Sichtverhältnissen
TWI832568B (zh) * 2022-11-18 2024-02-11 廣達電腦股份有限公司 霧氣判別方法、及光學設備

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2835911B1 (fr) 2002-02-14 2004-05-07 France Etat Ponts Chaussees Procede de determination de la distance de visisbilite et procede de determination de la presence d'un brouillard
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
ITTO20030770A1 (it) * 2003-10-02 2005-04-03 Fiat Ricerche Dispositivo di rilevamento installabile lungo una
JP4701383B2 (ja) 2005-02-10 2011-06-15 国立大学法人北海道大学 視界不良評価方法および視界不良評価装置
JP4241834B2 (ja) * 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
CN101382497B (zh) * 2008-10-06 2012-03-07 南京大学 基于路况监控视频的能见度检测方法

Also Published As

Publication number Publication date
US20140247968A1 (en) 2014-09-04
WO2013072231A1 (de) 2013-05-23
DE102011086512A1 (de) 2013-05-16
US9384401B2 (en) 2016-07-05
DE102011086512B4 (de) 2022-12-01
CN104011737A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
CN104011737B (zh) 用于探测雾的方法
CN105512623B (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
Hautière et al. Towards fog-free in-vehicle vision systems through contrast restoration
CN106503636B (zh) 一种基于视觉图像的道路视距检测方法及装置
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN109359409A (zh) 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN110415544B (zh) 一种灾害天气预警方法及汽车ar-hud系统
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN105574552A (zh) 一种基于单目视觉的车辆测距与碰撞预警方法
CN106778593A (zh) 一种基于多地面标志融合的车道级定位方法
CN113820714B (zh) 一种基于多传感器融合的尘雾天气道路环境感知系统
CN108108750A (zh) 基于深度学习和单目视觉的距离空间重建方法
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
CN105678287B (zh) 一种基于脊度量的车道线检测方法
CN111094095A (zh) 自动地接收行驶信号
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN112352260A (zh) 车道估计装置、方法以及程序
Vaibhav et al. Real-time fog visibility range estimation for autonomous driving applications
CN109919062A (zh) 一种基于特征量融合的道路场景天气识别方法
CN116142186A (zh) 不良环境下车辆安全行驶预警方法、装置、介质和设备
CN112419745A (zh) 一种基于深度融合网络的高速公路团雾预警系统
CN109558765A (zh) 汽车及车道线的检测方法、装置
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant