CN105512623A - 基于多传感器雾天行车视觉增强与能见度预警系统及方法 - Google Patents

Abstract

本发明基于多传感器雾天行车视觉增强与能见度预警系统及方法，属于智能车辆安全辅助驾驶技术领域，包括电源、变压插头、前置红外摄像头、前置毫米波雷达、车载电控单元模块、车载显示屏、汽车音响设备、车载扬声器和车速传感器。本发明通过构建道路图像分类器、有无雾图像分类器、建立有雾图像去雾模型、获得清晰去雾图像，实现视觉增强效果、构建能见度计算模型、判断能见度等级，利用毫米波雷达测量车速等级以及检测到前车间距等级，判断是否提供给驾驶人视觉、听觉预警。本方法实现了能在雾天低能见度条件下，驾驶人视觉增强与行车能见度预警，解决了在雾天现有汽车雾灯照射范围有限、存在盲区，以及驾驶人对行驶环境判断不准确等问题。

Description

基于多传感器雾天行车视觉增强与能见度预警系统及方法

技术领域

本发明主要涉及智能车辆安全辅助驾驶技术领域，特别是涉及到一种基于多传感器雾天行车视觉增强与能见度预警系统及方法。

背景技术

恶劣天气是造成道路交通事故的主要因素之一，在所有容易引起交通事故的恶劣天气中，雾的影响最大，常常导致高速公路限速或关闭，延误行车时间，甚至引发连环碰撞事故，造成巨大经济损失。近年来由于霾(干)或雾(湿)严重程度，甚至使能见度降低至零(能见度不足100米通常被认为为零)，这对于驾驶人来说非常危险。据统计，每年雾天交通事故占道路事故总数的15％左右，但是引起47％以上的死亡率。因此，亟需对雾天能见度进行实时检测，当能见度、前方车辆距离、行车速度和给定阈值关系不匹配时，给予驾驶人有效的预警，避免道路交通事故的发生。

目前，能见度检测方法主要分为基于能见度仪的检测方法、基于双目摄相机标定的检测方法、基于建立对比度模型的检测方法、基于图像去雾的能见度检测方法。其中，基于能见度仪的检测方法存在价格十分昂贵等问题，要保证公路上的交通安全，尤其在团雾检测时，需要密集布置监测设备，从而成本居高不下，同时实时性、便携性不佳。基于双目摄相机标定的检测方法，由于需要标定模板、测量摄像机安装角度等受实际条件的限制，难以适用实时操作。基于建立对比度模型的检测方法，该方法会产生较大误差，而且测量结果容易受到远方障碍物的不利影响。基于单目红外相机的图像去雾能见度检测方法，测量过程不会对驾驶人的正常驾驶行为造成干扰，红外相机也适用于雾天能见度的特点。利用图像去雾处理增强驾驶人雾天视觉已经成为国内外研究热点。

现在提高雾天行车安全的方法，主要采用雾灯，主要判断还是由驾驶人判断。然而雾天条件下现有汽车雾灯存在照射范围有限、存在盲区等问题影响驾驶人判断行车状况，同时驾驶人驾驶熟练程度、驾驶人心理状态也会导致驾驶人对驾驶环境的误判。

因此，亟待一种驾驶辅助系统，能够辅助驾驶人雾天行车，提高行驶安全。

发明内容

本发明所要解决的技术问题是：提供基于多传感器雾天行车视觉增强与能见度预警系统及方法，用来解决因现有汽车雾灯照射范围有限、存在盲区；传统的能见度检测方法存在价格昂贵、难以适用实时操作或者测量结果容易受到远方障碍物的影响等技术问题。

一种基于多传感器雾天行车视觉增强与能见度预警系统，其特征在于：包括电源、变压插头、红外摄像头、毫米波雷达、车载电控单元模块、车载显示屏、汽车音响设备、车载扬声器、车速传感器，所述电源通过变压插头与红外摄像头连接，电源通过导线与毫米波雷达连接；

所述车载电控单元模块包括有无雾图像分类模块、图像去雾模块、能见度值计算模块和预警模块；所述有无雾图像分类模块的一端与红外摄像头通过导线连接，有无雾图像分类模块的另一端通过导线与图像去雾模块连接；所述图像去雾模块通过导线与能见度值计算模块连接；所述能见度值计算模块通过导线与预警模块连接；

所述车载显示屏通过导线与图像去雾模块连接；所述汽车音响设备的一端通过导线与预警模块连接，汽车音响设备的另一端通过导线与车载扬声器连接；所述车速传感器通过导线与预警模块连接。

一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：

包括以下步骤

步骤一、建立有无雾道路图像分类器并进行实时图像分类

Ⅰ建立道路图像支持向量机SVM分类器

①红外摄像头采集N张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块，其中包括N₁张红外道路图像和N₂张红外非道路图像，N、N₁、N₂均为自然数，在有无雾图像分类模块中建立道路图像分类器的图像训练库；

②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；

Ⅱ建立有无雾图像分类器

①红外摄像头采集M张不同雾浓度的红外有雾图像和红外无雾图像，其中包括M₁张有雾红外图像和M₂张无雾红外图像，M、M₁、M₂均为自然数，在有无雾图像分类模块中建立有无雾图像分类器的图像训练库；

②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；

③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；

将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；

Ⅲ实时图像分类

①红外摄像头采集实时图像；

②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；

③对红外道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，得到处理后道路图像；

④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有雾道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时有雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为有雾道路图像；

步骤二、建立图像去雾模型

①大气光学模型为I(x)＝J(x)e^-βd+A(1-e^-βd)，I(x)为分类后的有雾图像，J(x)为去雾之后的清晰图像，A为全球大气光成分，e^-βd为大气透射率值t，β为大气消光系数，d为能见度值；

②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，J^dark是指J的暗通道，J^C表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；

③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；

④处理大气光学模型，形式如下：

I(x)＝J(x)e^-βd+A(1-e^-βd)

$\frac{I^C}{A^C}=\frac{J^C}{A^C}{e}^{-\mathrm{\β}d}+(1-e^{-\mathrm{\β}d})$

其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：

$J^{dark}=\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }{J}^C\right)=0$

$t=1-\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)$

其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，

$t=1-\mathrm{\ω}\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right);$

⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；

⑥设置阈值t₀，当t值小于t₀时，令t＝t₀,以t₀＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像J(x)，

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(t\right(x),t_0)}+A;$

⑦将去雾前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像去雾过程；该均值小于等于阈值，则完成清晰度评价，并将去雾后的清晰图像存入车载显示屏的缓存中；

⑧去雾后图像在车载显示屏上显示

按下车载显示屏上的视觉增强功能键，车载显示屏同步显示缓存中即时的去雾后的实时清晰图像；

步骤三、建立雾天能见度计算模型

大气能见度为平行光通过大气衰减到原始光通量的0.05时的距离，可推导出能见度值V

$V=\frac{3}{\mathrm{\β}}$

通过获得清晰图像过程中得到的大气消光系数β，获得能见度值V；

步骤四、构建雾天安全驾驶预警策略

在预警模块中根据实时处理的有雾道路能见度值，在预警模块中设定实时处理的有雾道路能见度等级；根据从车速传感器获取的行车车速，在预警模块中设定车速等级；在预警模块中设定毫米波雷达检测到的与前车间距等级；

能见度等级、车速等级、与前车间距等级符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级均在同一等级，则不提供给驾驶员预警信息；能见度等级、车速等级、与前车间距等级不符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级不在同一等级，则预警模块通过车载扬声器发出声音警告并在车载显示屏上显示警告信号。

步骤一中所述的N≥3000，N₁≥1000，N₂≥2000。

步骤一中所述的M≥3000，M₁≥1000，M₂≥2000。

通过上述设计方案，本发明可以带来如下有益效果：

1、本发明基于多传感器雾天行车视觉增强与能见度预警系统及方法，构建了有无雾图像分类器、建立图像去雾模型、建立雾天能见度计算模型、实时计算能见度并且结合行驶车速和前方车辆距离进行预警。在实际行车过程中，采集车辆行进过程中的道路视频图像，根据离线训练的有雾图像分类库，实时判断图像是否有雾、实时图像去雾、实时计算能见度并且结合行驶车速和前方车辆距离进行预警，实现对雾天能见度进行视觉增强，减弱雾天能见度低对驾驶人视觉产生的影响。

2、本发明的模块内部、模块与模块之间信号处理时间短，能够满足实时性的要求。

3、本发明提高了雾天能见度计算的准确率，能够获得视觉增强效果，有益于推广应用，可大幅降低驾驶人在雾天低能见度条件下驾驶发生恶性交通事故的概率。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明基于多传感器雾天行车视觉增强与能见度预警方法的流程框图。

图2为本发明基于多传感器雾天行车视觉增强与能见度预警方法中图像分类器的分类流程框图。

图3为本发明基于多传感器雾天行车视觉增强与能见度预警系统的结构框图。

图中1-电源、2-变压插头、3-红外摄像头、4-毫米波雷达、5-车载电控单元模块、6-有无雾图像分类模块、7-图像去雾模块、8-能见度值计算模块、9-预警模块、10-车载显示屏、11-汽车音响设备、12-车载扬声器、13-车速传感器。

具体实施方式

如图所示，一种基于多传感器雾天行车视觉增强与能见度预警系统，其特征在于：包括电源1、变压插头2、红外摄像头3、毫米波雷达4、车载电控单元模块5、车载显示屏10、汽车音响设备11、车载扬声器12、车速传感器13，所述电源1通过变压插头2与红外摄像头3连接，电源1通过导线与毫米波雷达4连接；

所述车载电控单元模块5包括有无雾图像分类模块6、图像去雾模块7、能见度值计算模块8和预警模块9；所述有无雾图像分类模块6的一端与红外摄像头3通过导线连接，有无雾图像分类模块6的另一端通过导线与图像去雾模块7连接；所述图像去雾模块7通过导线与能见度值计算模块8连接；所述能见度值计算模块8通过导线与预警模块9连接；

所述车载显示屏10通过导线与图像去雾模块7连接；所述汽车音响设备11的一端通过导线与预警模块9连接，汽车音响设备11的另一端通过导线与车载扬声器12连接；所述车速传感器13通过导线与预警模块9连接。

一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：

包括以下步骤

步骤一、建立有无雾道路图像分类器并进行实时图像分类

Ⅰ建立道路图像支持向量机SVM分类器

①红外摄像头3采集N张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块6，其中包括N₁张(实施例中选1000张)红外道路图像和N₂张(实施例中选2000张)红外非道路图像(如建筑、草地、天空等)，N、N₁、N₂均为自然数，在有无雾图像分类模块6中建立道路图像分类器的图像训练库；

②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；

Ⅱ建立有无雾图像分类器

①红外摄像头3采集M张不同雾浓度的红外有雾图像和红外无雾图像，其中包括M₁张(实施例中选1000张)有雾红外图像和M₂张(实施例中选2000张)无雾红外图像，M、M₁、M₂均为自然数，在有无雾图像分类模块6中建立有无雾图像分类器的图像训练库；

②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征(有雾图像灰度值高的部分，其灰度直方图较密集)，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；

③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；

将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库，减少数学方法计算局限性引起的误差，增大样本库容量；

Ⅲ实时图像分类

①红外摄像头3采集实时图像；

②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；

③对红外道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，得到处理后道路图像；

④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有雾道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时有雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，说明置信度高，结果可靠，可判断当时图像为有雾道路图像。

步骤二、建立图像去雾模型

①大气光学模型为I(x)＝J(x)e^-βd+A(1-e^-βd)，I(x)为分类后的有雾图像，J(x)为去雾之后的清晰图像，A为全球大气光成分，e^-βd为大气透射率值t，β为大气消光系数，d为能见度值；

②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，J^dark是指J的暗通道，J^C表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；

③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；

④估计大气透射率，将大气光学模型稍作处理，形式如下：

I(x)＝J(x)e^-βd+A(1-e^-βd)(1)

$\frac{I^C}{A^C}=\frac{J^C}{A^C}{e}^{-\mathrm{\β}d}+(1-e^{-\mathrm{\β}d})---\left(2\right)$

其中C为RGB三通道，对其两端求暗通道(即对上式两边求两次最小值运算)如下：

$\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)=\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{J^C}{A^C}{e}^{\mathrm{\β}d}\left)\right)+(1-e^{-\mathrm{\β}d})---\left(3\right)$

利用暗通道灰度值接近零，因此，可推导出：

$J^{dark}=\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }{J}^C\right)=0---\left(4\right)$

$t=1-\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)---\left(5\right)$

由于雾的存在使人感到景深的存在，因此在去雾时保留一定程度的雾，可以在式(5)中引入一个在[0,1]之间的因子ω，将式(5)修改为：

$t=1-\mathrm{\ω}\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)---\left(6\right)$

获得大气透射率图；

⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；

⑥当透射率t值很小时，会导致J的值偏大，从而使得图像整体向白场过渡，因此设置阈值t₀，当t值小于t₀时，令t＝t₀,经验值以t₀＝0.1为标准计算，将处理后的三通道图像合成，恢复出清晰图像J(x)，

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(t\right(x),t_0)}+A---\left(7\right);$

⑦图像清晰度评价，由于在图像去雾过程中，每一步均依赖前面步骤，这样会积累误差，因此需要对图像去雾后的清晰度进行评价。将去雾前后图像对比，对于同一内容的图像，去雾后图像的边缘相对去雾前图像具有较大的灰度变化率的特征。利用图像边缘灰度变化率为指标评价图像清晰度，即以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算出图像所有行灰度变化率均值。判断是否达到去雾要求，若超过给定阈值，则再次进行图像去雾过程，如此反复直至满足阈值要求，完成清晰度评价，并将去雾后的清晰图像存入车载显示屏10的缓存中；

⑧去雾后图像在车载显示屏10上显示

按下车载显示屏10上的视觉增强功能键，车载显示屏10同步显示缓存中最新更新的去雾后的实时清晰图像；由于去雾过程不断进行，缓存不断更新，所以车载显示屏10不断显示最新去雾之后的视觉增强图像。

步骤三、建立雾天能见度计算模型

根据国际照明委员会(CIE)推荐：大气能见度一般表示为平行光通过大气衰减到原始光通量的0.05时的距离，利用公式(1)，能见度推导为：

$I=0.05J\⇒0.05J={\mathrm{Je}}^{-\mathrm{\β}v}\⇒0.05=e^{-\mathrm{\β}v}---\left(8\right)$

$V=\frac{3}{\mathrm{\β}}---\left(9\right)$

如上式所示，利用获得清晰图像过程中得到的大气消光系数β，得出能见度值。

步骤四、构建雾天安全驾驶预警策略

①根据国家公安部要求，机动车在能见度在200m～500m时，必须开启近光灯、示宽灯和尾灯，时速不得超过80km/h，与同一车道行驶的前车必须保持150m以上的行车间距；能见度在100m～200m时，必须开启雾灯、近光灯、示宽灯和尾灯，时速不得超过60km/h，与前车保持间距为100m以上；能见度在50m～100m时，要开启雾灯、近光灯、示宽灯和尾灯，时速不得超过40km/h，与前车的间距在50m以上。

②根据实时处理的有雾道路能见度值，将能见度分为五个等级，能见度大于500m为第一等级、能见度200m～500m为第二等级、能见度100m～200m为第三等级、能见度50m～100m为第四等级、能见度小于50m为第五等级；

③将从车速传感器13获取的行车车速分为三个等级,车速在60km/h～80km/h为第一等级，车速在40km/h～60km/h为第二等级，车速在小于40km/h为第三等级；

④利用DelphiESR毫米波雷达4检测到前车间距，将其分为四个等级：与前车间距保持大于150m的为第一等级、与前车保持间距为100m～150m为第二等级、与前车的间距保持在50m～100m为第三等级、与前车的间距保持小于50m第四等级；

在预警模块9中根据实时处理的有雾道路能见度值，在预警模块9中设定实时处理的有雾道路能见度等级；根据从车速传感器13获取的行车车速，在预警模块9中设定车速等级；在预警模块9中设定毫米波雷达4检测到的与前车间距等级；

能见度等级、车速等级、与前车间距等级符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级均在同一等级，则不提供给驾驶员预警信息；能见度等级、车速等级、与前车间距等级不符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级不在同一等级，则预警模块9通过车载扬声器12发出声音警告并在车载显示屏10上显示警告信号。

步骤一中所述的N≥3000，N₁≥1000，N₂≥2000。

步骤一中所述的M≥3000，M₁≥1000，M₂≥2000。

下面给出本方法的一个具体实施例：

一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：

包括以下步骤

步骤一、建立有无雾道路图像分类器并进行实时图像分类

Ⅰ建立道路图像支持向量机SVM分类器

①利用红外摄像头3获得数据，由于只获得红外光，可得到高品质的的图像。拍摄允许在光线昏暗模糊环境下进行，允许拍摄图像与地面不平行、允许图像有轻微的扭曲。通过红外摄像头3采集1000张不同红外道路图像和2000张任意非道路图像(如建筑、草地、天空等)，建立道路图像分类器的图像训练库；

②根据道路纹理分析特征，训练支持向量机SVM分类器，通过该离线训练过程，对道路图像和非道路图像分组，最终获得红外道路图像特征，通过获取的特征判定所采集图像是否为道路图像,道路图像支持向量机SVM分类器建立完成；

Ⅱ建立有无雾图像分类器

①红外摄像头3收集用于训练的预处理图像：通过红外摄像头3采集3000张不同红外道路图像，其中包括1000张有雾红外图像和2000张无雾红外图像，通过离线训练过程，建立道路有雾与非雾图像分类器的训练库；

②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征(有雾图像灰度值高的部分，其灰度直方图较密集)，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；

③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；

将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库，减少数学方法计算局限性引起的误差，增大样本库容量；

Ⅲ实时图像分类

①红外摄像头3采集实时图像；

②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；

③对道路图像进行预处理：a、灰度色彩转换：直方图特征适用于灰度图像，需要将红外图像转化为灰度图。b、收缩摄像机图像：考虑处理图像实时性的要求(时间以毫秒为单位)，缩小图像尺寸为320*240像素。c、由于摄像机或者其他环境噪声，利用5*5的高斯模糊去噪。d、直方图均衡化：以改善图像对比度和亮度；得到处理后道路图像

④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有雾道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时有雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，说明置信度高，结果可靠，可判断当时图像为有雾道路图像。

步骤二、建立图像去雾模型

①大气光学模型为I(x)＝J(x)e^-βd+A(1-e^-βd)，I(x)为分类后的有雾图像，J(x)为去雾之后的清晰图像，A为全球大气光成分，e^-βd为大气透射率值t，β为大气消光系数，d为能见度值；

②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，J^dark是指J的暗通道，J^C表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；

③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；

④估计大气透射率，将大气光学模型稍作处理，形式如下：

I(x)＝J(x)e^-βd+A(1-e^-βd)(1)

$\frac{I^C}{A^C}=\frac{J^C}{A^C}{e}^{-\mathrm{\β}d}+(1-e^{-\mathrm{\β}d})---\left(2\right)$

其中C为RGB三通道，对其两端求暗通道(即对上式两边求两次最小值运算)如下：

$\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)=\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{J^C}{A^C}{e}^{-\mathrm{\β}d}\left)\right)+(1-e^{-\mathrm{\β}d})---\left(3\right)$

利用暗通道灰度值接近零，因此，可推导出：

$J^{dark}=\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }{J}^C\right)=0---\left(4\right)$

$t=1-\underset{\mathrm{\Ω}}{\min }\left(\underset{\mathrm{\Ω}}{\min }\right(\frac{I^C}{A^C}\left)\right)---\left(5\right)$

由于雾的存在使人感到景深的存在，因此在去雾时保留一定程度的雾，可以在式(5)中引入一个在[0,1]之间的因子ω，将式(5)修改为：

$t=1-\mathrm{\ω}\underset{\mathrm{\Ω}}{\min }\left(\underset{C}{\min }\right(\frac{I^C}{A^C}\left)\right)---\left(6\right)$

获得大气透射率图；

⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；

⑥当透射率t值很小时，会导致J的值偏大，从而使得图像整体向白场过渡，因此设置阈值t₀，当t值小于t₀时，令t＝t₀,经验值以t₀＝0.1为标准计算，将处理后的三通道图像合成，恢复出清晰图像J(x)，

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(t\right(x),t_0)}+A---\left(7\right);$

⑦图像清晰度评价，由于在图像去雾过程中，每一步均依赖前面步骤，这样会积累误差，因此需要对图像去雾后的清晰度进行评价。将去雾前后图像对比，对于同一内容的图像，去雾后图像的边缘相对去雾前图像具有较大的灰度变化率的特征。利用图像边缘灰度变化率为指标评价图像清晰度，即以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算出图像所有行灰度变化率均值。判断是否达到去雾要求，若超过给定阈值，则再次进行图像去雾过程，如此反复直至满足阈值要求，完成清晰度评价，并将去雾后的清晰图像存入车载显示屏10的缓存中；

⑧去雾后图像在车载显示屏10上显示

按下车载显示屏10上的视觉增强功能键，车载显示屏10同步显示缓存中即时的去雾后的实时清晰图像；由于去雾过程不断进行，缓存不断更新，所以车载显示屏10不断显示最新去雾之后的视觉增强图像。该图像流最后或者用户按quit键就会停止，用户还可随时按D键来重置跟踪选项，驾驶人通过选择可以在车载显示屏10上获取处理后的车辆前方道路环境，达到视觉增强的效果。

步骤三、建立雾天能见度计算模型

根据国际照明委员会(CIE)推荐：大气能见度一般表示为平行光通过大气衰减到原始光通量的0.05时的距离，利用公式(1)，能见度推导为：

$I=0.05J\⇒0.05J={\mathrm{Je}}^{-\mathrm{\β}v}\⇒0.05=e^{-\mathrm{\β}v}---\left(8\right)$

$V=\frac{3}{\mathrm{\β}}---\left(9\right)$

如上式所示，利用获得清晰图像过程中得到的大气消光系数β，得出能见度值。

步骤四、构建雾天安全驾驶预警策略

①根据国家公安部要求，机动车在能见度在200m～500m时，必须开启近光灯、示宽灯和尾灯，时速不得超过80km/h，与同一车道行驶的前车必须保持150m以上的行车间距；能见度在100m～200m时，必须开启雾灯、近光灯、示宽灯和尾灯，时速不得超过60km/h，与前车保持间距为100m以上；能见度在50m～100m时，要开启雾灯、近光灯、示宽灯和尾灯，时速不得超过40km/h，与前车的间距在50m以上。

②通过估算的大气透射率估算能见度，由于去雾过程多次迭代计算才能得到满足条件的清晰图像，所以选取每一个去雾工作周期起始计算的大气光成分系数来计算能见度；

③根据实时处理的有雾道路能见度值，将能见度分为五个等级，能见度大于500m为第一等级、能见度200m～500m为第二等级、能见度100m～200m为第三等级、能见度50m～100m为第四等级、能见度小于50m为第五等级；一般认为正常行驶能见度在500m以上为安全值，不需要警告；当能见度低于50m时发出大雾预警，提醒驾驶员不适宜驾车；

④将从车速传感器(13)获取的行车车速分为三个等级：车速在60km/h～80km/h为第一等级，车速在40km/h～60km/h为第二等级，车速在小于40km/h为第三等级；

⑤利用DelphiESR毫米波雷达4检测到前车间距，将其分为四个等级：与前车间距保持大于150m的为第一等级、与前车保持间距为100m～150m为第二等级、与前车的间距保持在50m～100m为第三等级、与前车的间距保持小于50m第四等级；

⑥在预警模块9中根据实时处理的有雾道路能见度值，在预警模块9中设定实时处理的有雾道路能见度等级；根据从车速传感器13获取的行车车速，在预警模块9中设定车速等级；在预警模块9中设定毫米波雷达4检测到的与前车间距等级；

如果能见度等级、车速等级、与前车间距等级符合安全的逻辑关系(即能见度等级、车速等级、与前车间距等级均在同一等级)，不提供给驾驶员预警信息，如果能见度等级、车速等级、与前车间距等级不满足安全的逻辑关系(即能见度等级、车速等级、与前车间距等级存在不在同一等级)，则预警模块9通过车载扬声器12发出声音警告并在车载显示屏10上显示警告信号。

以上具体实施范例中，采集不同道路图像的张数为3000张，其中包括1000张不同红外道路图像和2000张任意非道路图像(包括建筑、草地、天空等)，但本发明对道路图像采集张数的范围不限于本实施例，基于公知常识，前期数据采集量越大，后期数据处理的准确度越高，故本实施例中只给出端值，即最小值的范例；同理，本具体实施范例中采集不同雾天浓度道路图像的张数为3000张，其中包括1000张有雾图像和2000张无雾图像，在具体实施例中也只给出端值，即最小值的范例。

Claims (4)

1.一种基于多传感器雾天行车视觉增强与能见度预警系统，其特征在于：包括电源(1)、变压插头(2)、红外摄像头(3)、毫米波雷达(4)、车载电控单元模块(5)、车载显示屏(10)、汽车音响设备(11)、车载扬声器(12)、车速传感器(13)，所述电源(1)通过变压插头(2)与红外摄像头(3)连接，电源(1)通过导线与毫米波雷达(4)连接；

所述车载电控单元模块(5)包括有无雾图像分类模块(6)、图像去雾模块(7)、能见度值计算模块(8)和预警模块(9)；所述有无雾图像分类模块(6)的一端与红外摄像头(3)通过导线连接，有无雾图像分类模块(6)的另一端通过导线与图像去雾模块(7)连接；所述图像去雾模块(7)通过导线与能见度值计算模块(8)连接；所述能见度值计算模块(8)通过导线与预警模块(9)连接；

所述车载显示屏(10)通过导线与图像去雾模块(7)连接；所述汽车音响设备(11)的一端通过导线与预警模块(9)连接，汽车音响设备(11)的另一端通过导线与车载扬声器(12)连接；所述车速传感器(13)通过导线与预警模块(9)连接。

2.一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：

包括以下步骤

步骤一、建立有无雾道路图像分类器并进行实时图像分类

Ⅰ建立道路图像支持向量机SVM分类器

①红外摄像头(3)采集N张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块(6)，其中包括N₁张红外道路图像和N₂张红外非道路图像，N、N₁、N₂均为自然数，在有无雾图像分类模块(6)中建立道路图像分类器的图像训练库；

②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；

Ⅱ建立有无雾图像分类器

①红外摄像头(3)采集M张不同雾浓度的红外有雾图像和红外无雾图像，其中包括M₁张有雾红外图像和M₂张无雾红外图像，M、M₁、M₂均为自然数，在有无雾图像分类模块(6)中建立有无雾图像分类器的图像训练库；

②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；

③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；

将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；

Ⅲ实时图像分类

①红外摄像头(3)采集实时图像；

②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；

③对红外道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，得到处理后道路图像；

④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有雾道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时有雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为有雾道路图像；

步骤二、建立图像去雾模型

①大气光学模型为I(x)为分类后的有雾图像，J(x)为去雾之后的清晰图像，A为全球大气光成分，e^-βd为大气透射率值t，β为大气消光系数，d为能见度值；

②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，J^dark是指J的暗通道，J^C表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；

③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；

④处理大气光学模型，形式如下：

I(x)＝J(x)e^-βd+A(1-e^-βd)

$\frac{I^C}{A^C}=\frac{J^C}{A^C}{e}^{-\mathrm{\β}d}+(1-e^{-\mathrm{\β}d})$

其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：

$J^{dark}=\underset{\mathrm{\Ω}}{\min }\left(\underset{C}{\min }{J}^C\right)=0$

$t=1-\underset{\mathrm{\Ω}}{\min }\left(\underset{C}{\min }\right(\frac{I^C}{A^C}\left)\right)$

其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，

$t=1-\mathrm{\ω}\underset{\mathrm{\Ω}}{\min }\left(\underset{C}{\min }\right(\frac{I^C}{A^C}\left)\right);$

⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；

⑥设置阈值t₀，当t值小于t₀时，令t＝t₀,以t₀＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像J(x)，

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(t\right(x),t_0)}+A;$

⑦将去雾前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像去雾过程；该均值小于等于阈值，则完成清晰度评价，并将去雾后的清晰图像存入车载显示屏(10)的缓存中；

⑧去雾后图像在车载显示屏(10)上显示

按下车载显示屏(10)上的视觉增强功能键，车载显示屏(10)同步显示缓存中即时的去雾后的实时清晰图像；

步骤三、建立雾天能见度计算模型

大气能见度为平行光通过大气衰减到原始光通量的0.05时的距离，可推导出能见度值V

$V=\frac{3}{\mathrm{\β}}$

通过获得清晰图像过程中得到的大气消光系数β，获得能见度值V；

步骤四、构建雾天安全驾驶预警策略

在预警模块(9)中根据实时处理的有雾道路能见度值，在预警模块(9)中设定实时处理的有雾道路能见度等级；根据从车速传感器(13)获取的行车车速，在预警模块(9)中设定车速等级；在预警模块(9)中设定毫米波雷达(4)检测到的与前车间距等级；

能见度等级、车速等级、与前车间距等级符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级均在同一等级，则不提供给驾驶员预警信息；能见度等级、车速等级、与前车间距等级不符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级不在同一等级，则预警模块(9)通过车载扬声器(12)发出声音警告并在车载显示屏(10)上显示警告信号。

3.根据权利要求2所述的一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征是：步骤一中所述的N≥3000，N₁≥1000，N₂≥2000。

4.根据权利要求2所述的一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征是：步骤一中所述的M≥3000，M₁≥1000，M₂≥2000。