CN111428752B - 一种基于红外图像的能见度检测方法 - Google Patents

Abstract

本发明公开了一种基于红外图像的能见度检测方法，包括如下步骤：步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号，并且建立红外图像能见度训练数据集；步骤2)建立“能见度检测网络模型”，利用红外图像数据集训练网络，获取神经网络权值参数；步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类。采用本发明方法，能够有效地利用卷积神经网络提取浓雾天气下的红外图像特征，克服传统可见光图像在浓雾条件下纹理特征消失的问题，进而显著提高不同程度雾霾天气下能见度检测的准确性与稳定性。

Description

一种基于红外图像的能见度检测方法

技术领域

本发明涉及基于图像/视频的能见度等级分类、检测技术，尤其涉及一种利用红外图像作为输入信号，通过深度卷积神经网络提取不同天气条件下的红外图像特征，进而对能见度等级进行分类和检测的方法。

背景技术

雾、霾等恶劣天气是严重影响道路行车安全的因素，每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生，据统计发生在恶劣天气下的交通事故占总交通事故的24％。因此，及时、准确、有效地对雾天道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵，体积较大，且无法密集布设。因此，研究基于图像处理的能见度检测算法已成为一种新的主流方向。

目前，常见的基于图像的能见度检测方法可以归为两类：第一类，基于统计模型的能见度检测方法，如“双亮度差法”：在图像中寻找距离不同的两个目标，然后通过目标与背景的相对亮度比估计能见度值。该方法需要设置人工辅助目标物，操作复杂。再如“暗通道法”：利用暗通道先验知识求取大气消光系数，在利用韦伯定律求取大气能见度。该方法精度较低，且受到ROI区域检测效果影响较大。第二类，基于深度学习的能见度检测方法，如“CNN+RGB法”：利用卷积神经网络，对输入可见光彩色图像的能见度等级进行分类，该方法性能受到训练样本的质量和数量的影响。

综上所述，现有基于图像的能见度检测方法仅仅局限于面向可见光彩色图像的研究，即通过可见光彩色图像的内容和色彩信息估计能见度的等级、或者能见度距离。然而，在低能见度条件下(浓雾，或重霾)可见光图像的R、G、B通道均表现为模糊一片，有效的纹理特征全部消失，因此，对于重度雾霾天气图像的能见度估计造成一定的影响。

发明内容

发明目的：为了解决上述问题，本发明的主要目的在于提供一种基于红外图像的能见度检测方法，其先进性表现为：一、红外图像由于其成像原理不同，对不同程度的雾霾天气表现出的图像特征显著不同，因此，相对于可见光图像可以提供更加丰富而有效的特征信息。二、通过设计卷积神经网络结构，可以有效地将红外图像在不同天气下的特征进行有效地提取，能够显著提高能见度的检测准确度和稳定性。

技术方案：为达到上述目的，本发明的技术方案是：一种基于红外图像的能见度检测方法，该方法包括：

步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号，并且建立红外图像能见度训练数据集；

所述的步骤1)的具体内容为：

首先，在红外摄像头的旁边同时放置能见度检测仪，采集数据时，同时保存红外图像I_IR(t)和记录相对应的能见度值Vis(t)；

其次，将红外摄像机采集的N张图像命名并组成红外图像数据集合S_IR＝{I_IR(t),t∈[1,N]}；同时，利用相对应的能见度值Vis(t)进行标注；

再次，将图像集合S_IR根据其标注的能见度Vis(t)的范围分成M类：S_IR＝{S′_IR(j),j∈[1,M]}，其中，S′_IR(j)为第j类能见度的红外图像子集合；同时,制作S′_IR(j)子集合对应种类的标签y_j＝j,j∈[1,M]；

最后，获得能见度检测数据集合，包括图像S_IR＝{S′_IR(j),j∈[1,M]}和对应的标签集合Y_IR＝{y_j,j∈[1,M]}；

步骤2)建立“能见度检测网络模型”，利用红外图像数据集训练网络，获取神经网络权值参数；

步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类；

根据步骤1)所述预处理内容，将待测红外图像归一化为227x227x3。然后，将其作为“能见度检测网络模型”输入；经过特征提取网络的特征提取后，4096维度的特征向量送入softmax层获取各个能见度的等级的概率。

进一步的，所述的步骤2)的具体内容为：

本发明提出的能见度检测网络模型共有14层，分别是输入层(227x227x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层1(4096维)、dropout层1(4096维)、全连接层2(4096维)、dropout层2(4096维)、softmax输出层(M)。M为能见度检测的等级。

网络训练过程如下：将红外训练图像集合S_IR中的图像I_IR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号；将对应的标签y作为训练的输出值；然后，利用“梯度下降法”求取“能见度检测网络模型”中的每个权值；训练结束后，保存权值矩阵作为“能见度检测网络模型”的数学模型。

有益效果：采用本发明方法，能够有效利用红外图像的特征，显著提高重度雾霾条件下的卷积神经网络能见度检测的准确性和稳定性。

附图说明

图1为本发明能见度检测方法的流程图；

图2为不同天气情况下能见度检测红外、可见光测试图像实例；

图3为本发明提出的“能见度检测网络模型”结构的示意图；

图4为本发明的方法与传统可见光图像结合深度学习方法在小样本条件下能见度检测的准确性比较结果实例。

具体实施方式

下面结合本发明所提供的附图对本发明的技术作进一步说明：

如图1所示，一种基于红外图像的能见度检测方法，包括如下步骤：

步骤1：利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号，并且建立红外图像能见度训练数据集；的具体内容为：

首先，在红外摄像头的旁边同时放置能见度检测仪，采集数据时，同时保存红外图像I_IR(t)和记录相对应的能见度值Vis(t)。其次，将红外摄像机采集的N张图像命名并组成红外图像数据集合S_IR＝{I_IR(t),t∈[1,N]}。同时，利用相对应的能见度值Vis(t)进行标注。再次，将图像集合S_IR根据其标注的能见度Vis(t)的范围分成M类：S_IR＝{S′_IR(j),j∈[1,M]}，其中，S′_IR(j)为第j类能见度的红外图像子集合。同时,制作S′_IR(j)子集合对应种类的标签y_j＝j,j∈[1,M]。最后，获得能见度检测数据集合，包括图像S_IR＝{S′_IR(j),j∈[1,M]}和对应的标签集合Y_IR＝{y_j,j∈[1,M]}。

步骤2：建立“能见度检测网络模型”，利用红外图像数据集训练网络，获取神经网络权值参数；的具体内容为：

本发明提出的能见度检测网络模型共有14层，分别是输入层(227x227x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层1(4096维)、dropout层1(4096维)、全连接层2(4096维)、dropout层2(4096维)、softmax输出层(M)。M为能见度检测的等级。

网络训练过程如下：将红外训练图像集合S_IR中的图像I_IR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号；将对应的标签y作为训练的输出值。然后，利用“梯度下降法”求取“能见度检测网络模型”中的每个权值。训练结束后，保存权值矩阵作为“能见度检测网络模型”的数学模型。

步骤3：利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类；的具体内容为：

根据步骤1)所述预处理内容，将待测红外图像归一化为227x227x3。然后，将其作为“能见度检测网络模型”输入；经过特征提取网络的特征提取后，4096维度的特征向量送入softmax层获取各个能见度的等级的概率。

下面结合具体示例对本发明的技术方案作进一步详细说明。

实例1

实验小样本数据如图3所示：7类能见度等级，每个等级200幅图像。其中，50％训练，50％测试。两种比较方法：可见光图像+AlexNet、远红外图像+AlexNet、实验过程如下：AlexNet卷积神经网络结构如图2所示，训练时随机设置网络初始权值。两种方法5次随机训练、测试的结果如图4所示。两种方法5次训练测试结果的平均准确率及其方差如表1所示。

表1：小样本7类能见度等级测试准确性和稳定性评价

经过对比可以清楚的看出：本发明的方法平均准确率高达到82.3％，明显高于传统方法的77.1％，相反，本发明的方法检测浮动方差0.0008明显低于传统方法的0.003457。这说明本发明的能见度检测方法无论在准确性和稳定性上均明显优于传统基于可见光图像的能见度检测深度学习方法。其原因如下：传统方法中的可见光图像在重度雾霾条件下不能提供有效的纹理特征，而本发明提出的方法可以通过卷积神经网络从红外图像中提取不同程度雾霾天气的有效特征，从而显著提高能见度检测的性能。

本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。

Claims (1)

1.一种基于红外图像的能见度检测方法，其特征在于：包括如下步骤：步骤1)利用红外摄像机采集红外图像作为“能见度检测网络模型”的输入图像信号，并且建立红外图像能见度训练数据集；

首先，在红外摄像头的旁边同时放置能见度检测仪，采集数据时，同时保存红外图像I_IR(t)和记录相对应的能见度值Vis(t)；

其次，将红外摄像机采集的N张图像命名并组成红外图像数据集合S_IR＝{I_IR(t),t∈[1,N]}；同时，利用相对应的能见度值Vis(t)进行标注；

再次，将图像集合S_IR根据其标注的能见度Vis(t)的范围分成M类：S_IR＝{S_I′_R(j),j∈[1,M]}，其中，S_I′_R(j)为第j类能见度的红外图像子集合；同时,制作S_I′_R(j)子集合对应种类的标签y_j＝j,j∈[1,M]；

最后，获得能见度检测数据集合，包括图像S_IR＝{S_I′_R(j),j∈[1,M]}和对应的标签集合Y_IR＝{y_j,j∈[1,M]}；

步骤2)建立“能见度检测网络模型”，利用红外图像数据集训练网络，获取神经网络权值参数；

步骤3)利用训练完毕的“能见度检测网络模型”对待测的红外图像的能见度等级进行分类；

根据步骤1)预处理内容，将待测红外图像归一化为227x227x3，然后，将其作为“能见度检测网络模型”输入；经过特征提取网络的特征提取后，4096维度的特征向量送入softmax层获取各个能见度的等级的概率；

所述步骤2)的具体内容为：

所述的能见度检测网络模型共有14层，分别是输入层：227x227x3、卷积层1：96个11x11卷积核、最大池化层1：3x3、卷积层2：256个5x5卷积核、最大池化层2：3x3、卷积层3：384个3x3卷积核、卷积层4：384个3x3卷积核、卷积层5：256个3x3卷积核、最大池化层3：3x3、全连接层1：4096维、dropout层1：4096维、全连接层2：4096维、dropout层2：4096维、softmax输出层M；M为能见度检测的等级；

网络训练过程如下：将红外训练图像集合S_IR中的图像I_IR利用imresize函数改变为分辨率为227x227x3的灰度图像作为“能见度检测网络模型”的输入信号；将对应的标签y作为训练的输出值；然后，利用“梯度下降法”求取“能见度检测网络模型”中的每个权值；训练结束后，保存权值矩阵作为“能见度检测网络模型”的数学模型。