CN111815528A - 基于卷积模型和特征融合的恶劣天气图像分类增强方法 - Google Patents
基于卷积模型和特征融合的恶劣天气图像分类增强方法 Download PDFInfo
- Publication number
- CN111815528A CN111815528A CN202010607249.4A CN202010607249A CN111815528A CN 111815528 A CN111815528 A CN 111815528A CN 202010607249 A CN202010607249 A CN 202010607249A CN 111815528 A CN111815528 A CN 111815528A
- Authority
- CN
- China
- Prior art keywords
- image
- weather
- model
- classified
- weather image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000002411 adverse Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明涉及一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，包括以下步骤：S1：建立天气图像集；S2：构建图像分类融合模型；S3：通过天气图像集训练图像分类融合模型；S4：输入待分类天气图像；S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，并将获取的增强图像作为待分类天气图像输入步骤S5；S7：输出天气图像。与现有技术相比，本发明采用改进VGG16模型，并将传统特征与深度特征融合，识别准确性高，采用对应算法对图像进行增强，增强效果好。
Description
技术领域
本发明涉及恶劣天气图像增强领域，尤其是涉及一种基于卷积模型和特征融合的恶劣天气图像分类增强方法。
背景技术
在雾霾、暴雨等恶劣天气条件下拍摄到的低质图像通常会因为画面上存在大雾，雨条纹，雨滴等情况导致难以识别分析。这种低质图像将会给监控等需要进行图像识别的系统带来很大的工作难度，处理这种情况的关键是如何对这类图像进行分类增强。
中国专利CN201610079472.X公开了一种极端天气条件下低质图像增强方法中，该方法对于输入的单幅图像，首先将图像转换到CIE-Lab颜色空间，设定一个偏色因子D，根据经验，若D≤1.4，则图像为清晰图像，无须进行处理，若D＞ 1.4，则是降质图像，根据色度分量值区分图像是沙尘图像还是雾霾、雨雪图像；若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。此方法根据色度分量值区分雾霾图像和雨雪图像的分类增强方法，该方法采用纯物理学算法，能够区分的图像类别少且鲁棒性差，极容易出现误判等情况。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于卷积模型和特征融合的恶劣天气图像分类增强方法。
本发明的目的可以通过以下技术方案来实现：
一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，包括以下步骤：
S1：建立天气图像集，所述的天气图像集中的天气图像包括清晰图像、雾霾图像、雨滴图像和雨条纹图像；
S2：构建图像分类融合模型，所述的图像分类融合模型包括改进VGG16神经网络模型、传统特征提取模型、特征融合层和图像分类器，所述的改进VGG16神经网络模型提取图像的深度特征，所述的传统特征提取模型提取图像的传统特征，所述的特征融合层将深度特征与传统特征融合得到融合特征，并传输给图像分类器；
S3：通过天气图像集训练图像分类融合模型；
S4：输入待分类天气图像；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，并将获取的增强图像作为待分类天气图像输入步骤S5；
S7：输出天气图像。
优选地，所述的步骤S2中所述的改进VGG16模型包括13个卷积层、3个全连接层、5个池化层和一个Maxout层，所述的Maxout层设于第一个池化层后。
优选地，所述的Maxout层采用Maxout激活函数，其公式如下：
zij＝xTWij+bij
其中，i为Maxout层所在的层数，j为隐藏单元z在Maxout层中的位置，x为 Maxout层的输入向量，hi(x)为Maxout层的输出向量，k为Maxout层所需的参数，即隐藏单元的个数；w和b为训练中所需要进行学习的参数，w为大小为(d，m，k) 三维矩阵，b是大小为(m，k)的二维矩阵。
优选地，所述的S2中的传统特征提取模型提取待分类天气图像的传统特征，所述的传统特征包括HSV特征、暗通道先验特征、清晰度特征。
优选地，所述的传统特征提取模型中将天气图像转换为HSV颜色模型，所述的HSV颜色模型包括色度、饱和度、亮度三个通道，根据色度、饱和度和亮度的平均值建立HSV特征的特征向量，RGB颜色模型转HSV颜色模型的公式如下：
R′＝R/255；G′＝G/255；B′＝B/255
Cmax＝max(R′，G′，B′)；Cmin＝min(R′，G′，B′)；Δ＝Cmax-Cmin
其中R，G，B分别为图像某一像素点RGB三通道上的像素值，R′，G′，B′分别为将
R，G，B归一化至[0-1]之间后的值，H，S，V分别为该点在HSV三通道上的像素值，Cmax和Cmin分别为R′，G′，B′中的最大值和最小值。
优选地，所述的传统特征提取模型中提取天气图像上每个像素点的RGB通道中的最小值构成暗通道图像，获取暗通道图像的像素分布直方图，得到每一个像素值在该暗通道图像上出现的频数，根据每一个像素值在该暗通道图像上出现的频数构成一个长为256的向量，即为暗通道先验特征的特征向量：
[β0，β1，β2，…，βk，…，β255]
其中β为像素值的频数，k为像素值大小。
优选地，所述的传统特征提取模型中将天气图像转换为灰度图，根据灰度图获取清晰度特征的特征向量。
优选地，当天气图像的增强次数大于等于最大增强次数后，输出该天气图像：
S4：输入待分类天气图像，设定增强次数p＝0；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，设定增强次数p＝p+1，若p大于等于最大增强次数，进入步骤S7，否则并将获取的增强图像作为待分类天气图像输入步骤S5；
S7：输出天气图像。
优选地，当S6中所述的天气图像类型为雾霾天气图像时，采用基于暗通道先验的去雾算法对天气图像进行增强。
优选地，当S6中所述的天气图像类型为雨滴图像时，采用基于Attentive-GAN 的单幅图像雨滴去除算法对天气图像进行增强。
优选地，当S6中所述的天气图像类型为雨条纹天气图像时，采用基于密度感知的多流密集网络单幅图像去雨算法对天气图像进行增强。
与现有技术相比，本发明具有如下优点：
(1)本发明的图像分类融合模型采用改进结构的VGG16卷积神经网络和传统特征模块对进行图像分类，基于卷积神经网络强大的学习能力，分类准确率更高，对VGG16卷积神经网络进行了结构上的调整，使其分类准确率相较于VGG16网络得到了有效的提升；
(2)采用特征融合的方法，将卷积神经网络提取的深度特征与传统特征进行结合，更全面的提取图像的特征，使分类准确率得到了进一步的提升。
(3)常见的恶劣天气条件将会给户外工作的监控识别等智能系统造成很大的工作难度，可能会导致系统在恶劣天气下无法正常运转，本发明专注于这类恶劣天气图像的分类增强工作，帮助系统在恶劣天气条件下也能够正常运转，提高智能系统的鲁棒性。
(4)本发明所集成的增强算法针对性更强，每种算法都只处理一类图像，能够有效增强该类别的低质图像。
附图说明
图1为本发明的流程图；
图2为本发明的一种实施方式的流程图；
图3为图像分类融合模型的结构图；
图4为Narasimhan大气散射模型的原理图；
图5为基于密度感知的多流密集网络单幅图像去雨算法的结构图；
图6为基于Attentive-GAN的单幅图像雨滴去除算法的结构图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，如图1所示，包括以下步骤：
S1：建立天气图像集，所述的天气图像集中的天气图像包括清晰图像、雾霾图像、雨滴图像和雨条纹图像。
本实施例中天气图像集清晰图像、雾霾图像、雨滴图像和雨条纹图像四类土相每类800张，验证集每类100张，测试集每类200张，用于对改进VGG16神经网络模型进行深度学习训练。
S2：构建图像分类融合模型，如图3所示，所述的图像分类融合模型包括改进VGG16神经网络模型、传统特征提取模型、特征融合层和图像分类器，所述的改进VGG16神经网络模型提取图像的深度特征，所述的传统特征提取模型提取图像的传统特征，所述的特征融合层将深度特征与传统特征融合得到融合特征，并传输给图像分类器。
改进VGG16模型包括13个卷积层、3个全连接层、5个池化层和一个Maxout 层，所述的Maxout层设于第一个池化层后。
本实施例中，Maxout层采用Maxout激活函数，其公式如下：
zij＝xTWij+bij
其中，i为Maxout层所在的层数，j为隐藏单元z在Maxout层中的位置，x为 Maxout层的输入向量，hi(x)为Maxout层的输出向量，k为Maxout层所需的参数，即隐藏单元的个数；w和b为训练中所需要进行学习的参数，w为大小为(d，m，k) 三维矩阵，b是大小为(m，k)的二维矩阵。
传统特征提取模型提取待分类天气图像的传统特征，所述的传统特征包括 HSV特征、暗通道先验特征、清晰度特征。
具体地，天气图像转换为HSV颜色模型，所述的HSV颜色模型包括色度、饱和度、亮度三个通道，根据色度、饱和度和亮度的平均值建立HSV特征的特征向量。
进一步地，所述的S4中将天气图像转换为HSV颜色模型，所述的HSV颜色模型包括色度、饱和度、亮度三个通道，根据色度、饱和度和亮度的平均值建立 HSV特征的特征向量，RGB颜色模型转HSV颜色模型的公式如下：
R′＝R/255；G′＝G/255；B′＝B/255
Cmax＝max(R′，G′，B′)；Cmin＝min(R′，G′，B′)；Δ＝Cmax-Cmin
其中R，G，B分别为图像某一像素点RGB三通道上的像素值，R′，G′，B分别为将 R，G，B归一化至[0-1]之间后的值，H，S，V分别为该点在HSV三通道上的像素值，Cmax和Cmin分别为R′，G′，B′中的最大值和最小值。
具体地，提取天气图像上每个像素点的RGB通道中的最小值构成暗通道图像，获取暗通道图像的像素分布直方图，根据像素分布直方图获取暗通道先验特征的特征向量。
进一步地，提取天气图像上每个像素点的RGB通道中的最小值构成暗通道图像，获取暗通道图像的像素分布直方图，得到每一个像素值在该暗通道图像上出现的频数，根据每一个像素值在该暗通道图像上出现的频数构成一个长为256的向量，即为暗通道先验特征的特征向量：
[β0，β1，β2，…，βk，…，β255]
其中β为像素值的频数，k为像素值大小。
具体地，所述的传统特征提取模型中将天气图像转换为灰度图，根据灰度图获取清晰度特征的特征向量。
进一步地，所述的传统特征提取模型中将天气图像转换为灰度图，根据灰度图获取清晰度特征的特征向量。
进一步地，根据灰度图转换公式：
Gray＝R×0.299+G×0.587+B×0.114
将天气图像转换为灰度图，其中R，G，B为像素点的RGB三通道像素值，Gray为转换后的单通道像素点的灰度值，将图像大小为Y×Q的灰度图进行扩充，在图像的边缘增加一圈像素值为0的像素点，此时图像的大小为(Y+1)×(Q+1)，以保证卷积操作后得到的图像与原图大小相等，采用Sobel算子对灰度图像进行逐位相乘求和，即卷积操作，得到一个大小为Y×Q的单通道图像，计算该图像上像素值的均值及方差，方差即为图像清晰度特征的特征向量。
本实施例中，Sobel算子的具体形式为：
本实施例中，特征融合层对HSV特征、暗通道先验特征、清晰度特征的特征向量进行拼接，得到一个长为260的传统特征向量，将该向量与改进的VGG16模型提取出的长为25088的深度特征向量进行拼接，得到融合特征的特征向量，并输出给分类器。
S3：通过天气图像集训练图像分类融合模型。
本实施例的实验环境为：系统Win10，显卡Tesla P100，深度学习框架Tensorflow2.0，对比算法为VGG16。
通过对天气图像集在分类器中的验证，获取本发明的基于改进VGG16模型结合特征融合获取的分类器的分类准确性较好，与VGG16模型和改进的VGG16 模型在天气图像集中的测试集的准确率对比如下表所示。
S4：输入待分类天气图像；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，并将获取的增强图像作为待分类天气图像输入步骤S5；
当天气图像类型为雾霾天气图像时，采用基于暗通道先验的去雾算法对天气图像进行增强。当天气图像类型为雨滴图像时，采用基于Attentive-GAN的单幅图像雨滴去除算法对天气图像进行增强。当天气图像类型为雨条纹天气图像时，采用基于密度感知的多流密集网络单幅图像去雨算法对天气图像进行增强处理。
进一步地，基于暗通道先验的去雾算法：
图像去雾通常基于Narasimhan大气散射模型进行去雾，如图4所示，其模型为：
L(x，y)＝L0(x，y)e-kd(x，y)+A(1-e-kd(x，y))
图像去雾的通常是基于Narasimhan大气散射模型进行去雾，该模型的描述如下：
L(x，y)＝L0(x，y)e-kd(x，y)+A(1-e-kd(x，y))
其中，L(x，y)是相机获取的图像；L0(x，y)是场景的反射光线强度，即去雾后的无雾图像；k是大气散射系数；d(x，y)是场景深度；e-kd(x，y)为透射率；A是全球大气光成分。
L0(x，y)为所需要复原的图像，可得：
其中，令t(x，y)＝e-kd(x，y)，称t(x，y)为大气透射率。
因此，只需要估计出全球大气光成分A和透射率t，即可求得去雾后的图像 L0(x，y)。
进一步地，基于Attentive-GAN的单幅图像雨滴去除算法：
如图6所示，该算法通过生成对抗网络GAN，对大量雨滴图像和无雨滴图像进行深度学习，从而实现根据有雨滴图像生成无雨滴图像的功能。去雨滴算法的神经网络主要包含三部分，循环神经网络结构，自动编码器和判别网络。
循环神经网络主要是进行检测工作，检测雨滴在图片中大概出现的位置，并尝试生成一个注意力图，该注意力图将引导生成网络关注雨滴区域，该循环网络由深层残差网络(ResNets)和一个卷积LSTM和几个标准的卷积层组成。将循环升级网络生成的注意力图和原始雨滴图像输送给自动编码器，自动编码器根据注意力图中注意值较高的部分通过该部分周围的图片信息形成新的色块进行替换，从而实现图片的信息还原，然后输出去雨滴的图像。自动编码器采用的是一个对称的结构，用了16个Conv卷积层和Relu激活函数，并增加了跳过连接的方式以防止网络本身造成的模糊输出，在自动编码器中采用多尺度损失函数，每个损失都比较了卷积层的输出和相应的真实值之间的差异，对于自动编码器的最终输出，采用感知损失函数利用VGG16提取高层的特征进行监督来保证生成图像的质量。判别网络对图像进行判别，如果判别网络能够很好的区分有雨滴的图片和无雨滴的图片，即认为得到了去雨滴效果较好的输出图像，否则再次返回自动编码器进行学习。在本实施例中采用相同背景下拍摄到的有雨滴图像和无雨滴图像进行训练，用训练好的 Attentive-GAN去雨滴模型对类型为雨滴图像的天气图像进行去雨滴处理，自动生成去雨滴后的图像。
进一步地，基于密度感知的多流密集网络单幅图像去雨算法：
如图5所示，该算法也是基于卷积神经网络，由一个残差感知的雨密度分类器和一个多流密集连接的去雨网络组成。首先通过密度分类器确定给定图像的雨的密度级别，得到一个密度标签，然后通过密集连接的区域网络在密度标签的指导下有效的去除雨条纹。
密度分类器由特征提取和分类两部分组成，特征提取部分由三个Dense层构成，对雨天图像进行特征提取，分类部分主要由三个3×3的卷积层，一个9×9 的平均池化层和两个全连接层组成，即
Conv(3,24)-Conv(24,64)-Conv(64,24)-AP-FC(127896,512)-FC(512,3)
前后数字分别代表输入输出的通道数，且最后一层由3个神经元组成，表示输入图像的雨密度等级(即低、中、高)。所采用的损失函数L1分为特征提取部分和分类部分两部分的损失：
L1＝LE,r+LC，
其中，LE,r表示估计残差分量的每像素欧式损失，LC表示雨密度分类的交叉损失。
在多流密集去雨网络中同样采用三个Dense层来捕获不同尺度特征的雨条纹信息，利用雨条纹的密度信息来指导去雨过程，向上采样的标签图与来自三个特征流的雨条纹连接起来，然后利用连接的特征来估计出残差雨条纹信息，从输入的雨图像中减去残差，得到粗糙的去雨图像。再使用两个Conv+ReLU层细化粗糙的去雨图，进而得到最终的去雨图像。
损失函数L2采用加权组合的三部分损失函数来训练去雨网络：
L2＝LE,r+LE,d+λFLF
LE,r表示估计残差分量的每像素欧式损失,LE,d表示每个像素的欧式损失函数来重建区域图像，λF为权重，LF表示去雨图像的特征损失，定义为：
其中F为非线性CNN变换，
为恢复后的去雨图像，W，H分别为特征尺寸， C为通道。在本实施例中采用图像环境相同的无雨条纹和包含密度标签的有雨条纹图像进行训练，用训练好的DID-MDN去雨模型对上一步预测的类别标签为1的图像进行去雨操作。
S7：输出天气图像。
本发明的一种实施方式中，如图2所示，为了防止一张图像上存在两类或多类恶劣天气情况，将增强处理后的图像返回到第一步再次进行图像类别预测，若非清晰图形，则进行第二次分类增强，为了防止进入死循环，设定最大增强次数，一张图像的增强次数不能大于等于最大增强次数，大于等于后直接作为清晰图像输出：
S1：建立天气图像集，所述的天气图像集中的天气图像包括清晰图像、雾霾图像、雨滴图像和雨条纹图像；
S2：构建图像分类融合模型，所述的图像分类融合模型包括改进VGG16神经网络模型、传统特征提取模型、特征融合层和图像分类器，所述的改进VGG16神经网络模型提取图像的深度特征，所述的传统特征提取模型提取图像的传统特征，所述的特征融合层将深度特征与传统特征融合得到融合特征，并传输给图像分类器；
S3：通过天气图像集训练图像分类融合模型；
S4：输入待分类天气图像，设定增强次数p＝0；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，设定增强次数p＝p+1，若p大于等于最大增强次数，进入步骤S7，否则并将获取的增强图像作为待分类天气图像输入步骤S5；
本实施例中，最大增强次数为3。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (10)
1.一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，包括以下步骤：
S1：建立天气图像集，所述的天气图像集中的天气图像包括清晰图像、雾霾图像、雨滴图像和雨条纹图像；
S2：构建图像分类融合模型，所述的图像分类融合模型包括改进VGG16神经网络模型、传统特征提取模型、特征融合层和图像分类器，所述的改进VGG16神经网络模型提取图像的深度特征，所述的传统特征提取模型提取图像的传统特征，所述的特征融合层将深度特征与传统特征融合得到融合特征，并传输给图像分类器；
S3：通过天气图像集训练图像分类融合模型；
S4：输入待分类天气图像；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，并将获取的增强图像作为待分类天气图像输入步骤S5；
S7：输出天气图像。
2.根据权利要求1所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的步骤S2中所述的改进VGG16模型包括13个卷积层、3个全连接层、5个池化层和一个Maxout层，所述的Maxout层设于第一个池化层后。
3.根据权利要求2所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的Maxout层采用Maxout激活函数，其公式如下：
zij＝xTWij+bij
其中，i为Maxout层所在的层数，j为隐藏单元z在Maxout层中的位置，x为Maxout层的输入向量，hi(x)为Maxout层的输出向量，k为Maxout层所需的参数，即隐藏单元的个数；w和b为训练中所需要进行学习的参数，w为大小为(d，m，k)三维矩阵，b是大小为(m，k)的二维矩阵。
4.根据权利要求1所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的S2中的传统特征提取模型提取待分类天气图像的传统特征，所述的传统特征包括HSV特征、暗通道先验特征、清晰度特征。
5.根据权利要求4所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的传统特征提取模型中将天气图像转换为HSV颜色模型，所述的HSV颜色模型包括色度、饱和度、亮度三个通道，根据色度、饱和度和亮度的平均值建立HSV特征的特征向量。
6.根据权利要求4所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的传统特征提取模型中提取天气图像上每个像素点的RGB通道中的最小值构成暗通道图像，获取暗通道图像的像素分布直方图，得到每一个像素值在该暗通道图像上出现的频数，根据每一个像素值在该暗通道图像上出现的频数构成一个长为256的向量，即为暗通道先验特征的特征向量：
[β0，β1，β2，…，βk，…，β255]
其中β为像素值的频数，k为像素值大小。
7.根据权利要求4所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，所述的传统特征提取模型中将天气图像转换为灰度图，根据灰度图获取清晰度特征的特征向量。
8.根据权利要求1所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，当天气图像的增强次数大于等于最大增强次数后，输出该天气图像：
S4：输入待分类天气图像，设定增强次数p＝0；
S5：图像分类融合模型对待分类天气图像进行分类，获取待分类天气图像的图像类型，若图像类型为清晰，进入步骤S7，否则进入步骤S6；
S6：选取与图像类型对应的图像增强算法对待分类天气图像进行增强，获取增强图像，设定增强次数p＝p+1，若p大于等于最大增强次数，进入步骤S7，否则并将获取的增强图像作为待分类天气图像输入步骤S5；
S7：输出天气图像。
9.根据权利要求1所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，当S6中所述的天气图像类型为雾霾天气图像时，采用基于暗通道先验的去雾算法对天气图像进行增强。
10.根据权利要求1所述的一种基于卷积模型和特征融合的恶劣天气图像分类增强方法，其特征在于，当S6中所述的天气图像类型为雨滴图像时，采用基于Attentive-GAN的单幅图像雨滴去除算法对天气图像进行增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010607249.4A CN111815528A (zh) | 2020-06-30 | 2020-06-30 | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010607249.4A CN111815528A (zh) | 2020-06-30 | 2020-06-30 | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815528A true CN111815528A (zh) | 2020-10-23 |
Family
ID=72855596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010607249.4A Pending CN111815528A (zh) | 2020-06-30 | 2020-06-30 | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815528A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258537A (zh) * | 2020-10-27 | 2021-01-22 | 重庆邮电大学 | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 |
| CN112529815A (zh) * | 2020-12-22 | 2021-03-19 | 燕山大学 | 一种雨后真实图像中雨滴去除方法及系统 |
| CN112700386A (zh) * | 2020-12-30 | 2021-04-23 | 江苏奥格视特信息科技有限公司 | 一种基于人工智能的模糊图像超高清变换方法及系统 |
| CN113052259A (zh) * | 2021-04-14 | 2021-06-29 | 西南交通大学 | 一种基于联合投票网络的交通场景天气分类方法 |
| WO2023130648A1 (zh) * | 2022-01-10 | 2023-07-13 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779349A (zh) * | 2012-06-30 | 2012-11-14 | 东南大学 | 一种基于图像颜色空间特征的雾天检测方法 |
| CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
| CN104463196A (zh) * | 2014-11-11 | 2015-03-25 | 中国人民解放军理工大学 | 一种基于视频的天气现象识别方法 |
| CN105574830A (zh) * | 2016-02-04 | 2016-05-11 | 沈阳工业大学 | 极端天气条件下低质图像增强方法 |
| CN109934103A (zh) * | 2019-01-29 | 2019-06-25 | 杭州电子科技大学 | 基于暗通道先验和区域协方差检测图像中显著物体的方法 |
| CN110555465A (zh) * | 2019-08-13 | 2019-12-10 | 成都信息工程大学 | 一种基于cnn与多特征融合的天气图像识别方法 |
| CN110956212A (zh) * | 2019-11-29 | 2020-04-03 | 长沙理工大学 | 一种基于视觉特征融合的打叶质量检测方法 |
| CN111145107A (zh) * | 2019-12-06 | 2020-05-12 | 深圳市雄帝科技股份有限公司 | 一种图像美化方法、装置、介质及设备 |
-
2020
- 2020-06-30 CN CN202010607249.4A patent/CN111815528A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779349A (zh) * | 2012-06-30 | 2012-11-14 | 东南大学 | 一种基于图像颜色空间特征的雾天检测方法 |
| CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
| CN104463196A (zh) * | 2014-11-11 | 2015-03-25 | 中国人民解放军理工大学 | 一种基于视频的天气现象识别方法 |
| CN105574830A (zh) * | 2016-02-04 | 2016-05-11 | 沈阳工业大学 | 极端天气条件下低质图像增强方法 |
| CN109934103A (zh) * | 2019-01-29 | 2019-06-25 | 杭州电子科技大学 | 基于暗通道先验和区域协方差检测图像中显著物体的方法 |
| CN110555465A (zh) * | 2019-08-13 | 2019-12-10 | 成都信息工程大学 | 一种基于cnn与多特征融合的天气图像识别方法 |
| CN110956212A (zh) * | 2019-11-29 | 2020-04-03 | 长沙理工大学 | 一种基于视觉特征融合的打叶质量检测方法 |
| CN111145107A (zh) * | 2019-12-06 | 2020-05-12 | 深圳市雄帝科技股份有限公司 | 一种图像美化方法、装置、介质及设备 |
Non-Patent Citations (4)
| Title |
|---|
| FERNANDO MOYA RUEDA ET AL: "Neuron Pruning for Compressing Deep Networks using Maxout Architectures", 《ARXIV:1707.06838V1》 * |
| IAN J. GOODFELLOW ET AL: "Maxout Networks", 《ARXIV:1302.4389V3》 * |
| RUI QIAN ET AL: "Attentive Generative Adversarial Network for Raindrop Removal from A Single Image", 《ARXIV:1711.10098V4》 * |
| 郭志强等: "基于特征融合的室外天气图像分类", 《计算机应用》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258537A (zh) * | 2020-10-27 | 2021-01-22 | 重庆邮电大学 | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 |
| CN112258537B (zh) * | 2020-10-27 | 2022-08-26 | 重庆邮电大学 | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 |
| CN112529815A (zh) * | 2020-12-22 | 2021-03-19 | 燕山大学 | 一种雨后真实图像中雨滴去除方法及系统 |
| CN112529815B (zh) * | 2020-12-22 | 2022-08-30 | 燕山大学 | 一种雨后真实图像中雨滴去除方法及系统 |
| CN112700386A (zh) * | 2020-12-30 | 2021-04-23 | 江苏奥格视特信息科技有限公司 | 一种基于人工智能的模糊图像超高清变换方法及系统 |
| CN113052259A (zh) * | 2021-04-14 | 2021-06-29 | 西南交通大学 | 一种基于联合投票网络的交通场景天气分类方法 |
| WO2023130648A1 (zh) * | 2022-01-10 | 2023-07-13 | 苏州浪潮智能科技有限公司 | 一种图像数据增强方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
| Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
| US8798373B2 (en) | Image restoration system, image restoration method, and image restoration program | |
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| US9870600B2 (en) | Raw sensor image and video de-hazing and atmospheric light analysis methods and systems | |
| TW202101371A (zh) | 視訊流的處理方法和裝置 | |
| CN107301624B (zh) | 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | |
| CN111104943B (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| Goel et al. | Specific color detection in images using RGB modelling in MATLAB | |
| CN111179202B (zh) | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN111489330B (zh) | 基于多源信息融合的弱小目标检测方法 | |
| CN116091372B (zh) | 基于层分离和重参数的红外和可见光图像融合方法 | |
| CN114219732A (zh) | 基于天空区域分割和透射率细化的图像去雾方法及系统 | |
| CN111160194B (zh) | 一种基于多特征融合的静态手势图像识别方法 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| Chen et al. | Visual depth guided image rain streaks removal via sparse coding | |
| Wang et al. | Haze removal algorithm based on single-images with chromatic properties | |
| Pal et al. | Visibility enhancement techniques for fog degraded images: a comparative analysis with performance evaluation | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| CN114240795A (zh) | 一种融合偏色校正的图像去沙尘暴方法 | |
| Khan et al. | Shadow removal from digital images using multi-channel binarization and shadow matting | |
| Naseeba et al. | KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions | |
| He et al. | Visibility restoration of single foggy images under local surface analysis | |
| Megha et al. | Dark Channel prior based image Dehazing with contrast enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |
|
| RJ01 | Rejection of invention patent application after publication |