CN110555465A - 一种基于cnn与多特征融合的天气图像识别方法 - Google Patents
一种基于cnn与多特征融合的天气图像识别方法 Download PDFInfo
- Publication number
- CN110555465A CN110555465A CN201910744616.2A CN201910744616A CN110555465A CN 110555465 A CN110555465 A CN 110555465A CN 201910744616 A CN201910744616 A CN 201910744616A CN 110555465 A CN110555465 A CN 110555465A
- Authority
- CN
- China
- Prior art keywords
- weather
- image
- value
- cnn
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010012411 Derailment Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/24765—Rule-based classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Abstract
本发明公开了一种基于CNN与多特征融合的天气图像识别方法，包括以下步骤：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量；提取表征图像的高维CNN特征；将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。本发明融合天气特征和CNN特征来进行训练与分类，识别准确率高。
Description
技术领域
本发明涉及图像处理领域，特别是一种基于CNN与多特征融合的天气图像识别方法。
背景技术
恶劣的天气条件经常导致船舶碰撞、森林火灾、电厂电网瘫痪、火车脱轨和飞机失事等灾难性事件发生。已经有不少的学者在探索和解决天气识别这类问题上已经做了一些工作：传统的天气识别方法依赖于特殊传感器(特殊微波传感器或卫星成像传感器)和人眼作为辅助来进行识别，然而这种方法消耗了大量人力物力，并且这种半自动化的识别精度较低。最近，卷积神经网络(CNN)在计算机视觉尤其是图像识别领域取得了重大突破，基于CNN的天气现象自动识别研究受到了广泛关注。此技术利用卷积算法提取大量图像特征，从而提高了传统图像识别的准确性。然而对于天气图像的识别，与传统的图像识别或者目标检测不同，识别天气图像更加依赖于图像中特定的天气线索，例如光照变化、对比度变化、背景多样性等。CNN能获取图像大部分基本信息然而对于能够表征天气现象的敏感线索获取能力较弱。目前还没有一种识别方法融合CNN特征和天气特征。
发明内容
本发明提供一种基于CNN特征和天气特征的多特征融合天气分类方法，融合天气特征和CNN特征来进行训练与分类，识别准确率高。
为解决上述技术问题，本发明采用的技术方案是：
一种基于CNN与多特征融合的天气图像识别方法，包括以下步骤：
步骤1：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图；
步骤2：提取表征图像的高维CNN特征；
步骤3：将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；
步骤4：采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。
进一步的，六种天气特征具体编码如下：
1)亮度值
将亮度Y′信息编码为特征向量，计算RGB三通道图像每个像素点的亮度值，然后求其均值Y′＝0.299r+0.587g+0.114b；
式中：r、g、b分别代表图像每个像素点在红色red、绿色green、蓝色blue三颜色通道的像素值。
2)对比度值
通过下式将对比度信息编码成特征向量：
c＝d-b
式中：dI(x)是红、绿、蓝三个通道中的最小像素值，bI(x)是最大值；d和b分别是dI(x)和bI(x)的平均值，X代表像素数；Sx×Sy是图像大小；I表示单张图像，In表示图像I的某一个颜色通道；c是对比度值；
3)雾因子
通过以下公式估算不同的雾度，得到雾因子fog：
式中：σ，μ，ν，λ为经验常值，在本发明中分别取：0.2461，5.1，2.9，1/3；c，d，b等的值分别为计算对比度中所得的值，A0为大气光亮度值；
4)锐度值
通过以下公式得到锐度值T：
这里i表示单张图像，SX，SY为sobel滤波器参数；
5)白色像素值
选择像素175和更高值的像素作为白色像素，其他为黑色像素，再计算给定图像中的白色像素值，并且将其编码为特征向量；
6)颜色直方图
计算RGB三个通道的图像直方图的值，将它们连接起来编码得到一个特征向量。
进一步的，在步骤2中，提取表征图像的高维CNN特征具体为：
首先进行卷积，在卷积层中，前一层的特征图与一个能够学习的核进行卷积，得到的结果通过一个激活函数输出形成这一层的神经元，从而构成这层的特征图；卷积层计算公式如下：
式中：l表示当前层，ker nel表示卷积核，Mj为特征图集合，j为特征图的一个选择，i表示单张图像，f代表某一种激活函数，B代表每一层唯一的偏置系数；
其次，进行池化计算，在池化层中输入特征图的数目和输出特征图的数目相同；池化层计公式如下：
式中：down()代表收缩函数，b代表偏置系数，池化层中每一个输出的特征图对应一个权重系数β和一个池化层偏置系数，j为特征图的一个选择，f代表某一种激活函数。
进一步的，所述全连接层计算公式：
xl＝f(ul),ul＝ωlxl-1+bl
式中：l代表当前层，f()代表激活函数，ω是全连接层的权重系数，b在全连接层时代表全连接层的偏置系数，ul代表当前全连接层的得分函数。
进一步的，所述步骤4还包括：当卷积神经网络输出的结果与期望值不相符时，则进行反向传播过程；即求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，反复的更新权值得到最终训练模型。
进一步的，在步骤4的在网络训练过程中，使用Adma(自适应学习率方法的一种)优化器依靠对梯度的一阶期望和二阶期望对学习率进行动态调整。
进一步的，在步骤4的在网络训练过程中，使用了随机失活(Dropout)方法抑制过拟合，关键思想是在训练期间从神经网络中随机丢弃单位(及其连接)。
进一步的，在步骤4的在网络训练过程中，模型损失函数使用的是交叉熵函数，表达式如下：
其中，yi是真实值，y′i是对应的预测结果值，n为分类数，loss为损失函数值。
与现有技术相比，本发明的有益效果是：相对于国外使用相同数据集的技术手段，本发明使用的算法提高了约3％的训练模型准确率。对传统图像识别而言，本发明利用特征融合及CNN卷积神经网络技术提取更全面的图像特征，图像识别可靠性更高。
附图说明
图1是CNN特征提取流程图。
图2是本发明流程框图。
图3是本发明流程图。
图4是显示了天气示例图像。
图5是对Foggy类别的评估结果。
图6是对sunny类别的评估结果。
图7是对snowy类别的评估结果。
图8是对cloudy类别的评估结果。
图9对rainy类别的评估结果。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
一、提取六种能够表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图。
1、亮度值Y′
亮度可以很好地解释天气图像，是最重要的像素属性之一。例如，晴天图像的亮度通常较高，而多云和雾霾通常较低。将亮度信息编码为特征向量：Y′＝0.299r+0.587g+0.114b，式中：r、g、b代表图像每个像素点在红色、绿色、蓝色三颜色通道的像素值；计算RGB三通道图像每个像素点的亮度值，然后求其均值，得到一个一维的特征向量。
2、对比度值
对比度通常可以解释为图像中最大和最小像素强度之间的差异。差异范围越大，对比度越高。对比度可以有效地识别不同类型的天气现象，在足够光线下捕获的图像(晴天图像)普遍具有高对比度，而在弱光下捕获的图像(雨或雾图像)具有低对比度。本发明通过以下公式将对比度信息编码成特征向量：
c＝d-b
式中：dI(x)是红、绿、蓝三个通道中的最小像素值，bI(x)是最大值；d和b分别是dI(x)和bI(x)的平均值，X代表像素数；Sx×Sy是图像大小；I表示单张图像，In表示图像I的某一个颜色通道；c是对比度值。
3、雾因子
阴天或雾天图像中雾因子特征明显，对于大多数雾天图像，颜色通道中的最低值和最高值往往与大气光的值相同。对于模糊的雾天图像，可以使用诸如除雾的特殊方法来提高识别准确度。然而，尚未彻底解决从单个室外图像来识别天气状况的问题。本发明提出了一种稳定的算法来自动估算不同的雾度，计算公式如下：
式中：σ，μ，ν，λ为经验常值，在本发明中分别取：0.2461，5.1，2.9，1/3；A0为大气光亮度值；最终得到雾因子fog。
4、锐度值
锐度是重要的图像质量因子，它决定了成像系统可以再现的细节数量，由不同色调或颜色的区域之间的边界限定。根据天气图像中锐度值信息可以较为清楚的区分天气类别。例如，观察到晴天，阴天的天气图像比雪和雾天气图像更清晰。为了编码图像的锐度信息，本发明利用一种名为“基于图像梯度的锐度估算”方法，它基于Sobel梯度，编码公式如下：
这里i表示单张图像，SX，SY为sobel滤波器参数，最终得到锐度值T。
5、白色像素值
雪和晴天天气图像中通常白色像素点较多，雾和雨天气图像中白色像素点通常较少。在灰度图像中，白色像素不仅用255的灰度值表示，150，200，250和更高的像素值都可以表征白色像素。基于这种情况，本发明对雪天，阴天和其他类型的天气图像进行测试，并选择175和更高值的像素作为白色像素，其他为黑色像素。然后，计算给定图像中的白色像素值，并且将其编码为特征向量。
6、颜色直方图
颜色直方图是图像中重要的颜色特征，广泛应用于图像分类和目标检测。它描述了整个图像中不同颜色的比例，即图像中的颜色数量，并不关心每种颜色的空间位置。由于不同类型的天气图像具有非常多样且独特的颜色，因此Chs可用于多级天气识别。本发明计算RGB三个通道的图像直方图的值，然后将它们连接起来编码得到一个特征向量。
二、提取表征图像大部分信息的高维CNN特征，经过以下运算：
1、卷积层
在卷积层中，前一层的特征图与一个可以学习的核进行卷积，得到的结果通过一个激活函数输出形成这一层的神经元，从而构成这层的特征图。卷积层计算公式：
式中：l表示当前层，在卷积操作总表示当前卷积层，kernel表示卷积核，Mj为输入特征图的一个选择，B代表每一层唯一的偏置系数。卷积层的主要作用就是尽可能地利用图片的特征使其具有平移不变的特性，最终得到j个特征图。
2、池化层
在池化层中输入特征图的数目和输出特征图的数目是相同的，池化层的作用是减少特征图的分辨率，实现位移、缩放和扭曲不变性。池化层计公式：
式中：down( )代表收缩函数，每一个输出的特征图对应一个权重系数β和一个偏置系数b，最终结果为只是大小改变了的j个特征图。
三、模型训练由三个层次结构组成：卷积、池化和全连接。
模型训练过程分为两步：前向传播和反向传播；这两步是模型一开始训练就交替进行的。在前向传播过程中，输入的天气图片数据经过多层卷积层的卷积和池化处理，提取CNN特征向量，将特征向量传入全连接层中，经过softmax层后得出分类识别的结果(Softmax回归模型是逻辑回归模型在多分类问题上的推广，它将多个神经元的输出，映射到(0,1)区间内，最终得到不同分类的概率)训练过程为迭代过程，当没有到达迭代次数之前，前向传播之后都会进行反向传播，来更新权重值、减小损失函数。利用反向传播得到的权重值再次进行前向传播，以此反复。迭代次数通常取经验值，当到达迭代次数后一般能得到损失函数最小的模型。
特别地，提取的CNN特征往往不能满足天气图像识别的要求，本发明将天气特征向量和CNN特征相连接，组成最终特征然后再进行前向和反向传播。
本发明测试了四种CNN框架：VGGNet16、VGGNet19、ResNet50和ResNet101。每一个框架都会经过以上两个层提取特征的操作，只是不同框架的卷积、池化在数量和形式上有所不同。经过一些列的特征提取过程，最终得到训练数据集图片高维的CNN特征，它表征图像大部分有用信息。将提取出来的特征传到全连接层中，通过全连接层，进行分类，获得分类模型，得到最后的结果。
全连接层算法计算公式：xl＝f(ul),ul＝ωlxl-1+bl；式中：l代表当前层，在全连接操作中表示当前全连接层(在卷积神经网络一般用l代表层，这里详细说明了代表全连接层)，f()代表激活函数，ω是全连接层的权重系数。
将四种框架提取的数据驱动的CNN特征融合天气特征形成高维矢量，即是说，用来训练分类器的总特征为展平后的CNN特征和展平后的特殊特征相加。特征向量融合是向量之间的相加(concatenate)操作，六种天气特征分别为六个低维特征向量，将它们连接起来(六个特征向量收尾相连)组成一个特征向量，成为天气特征。类似地，经过CNN卷积和池化操作后提取的高维CNN特征(由于图片是矩阵形式的所以此处的CNN特征为高维矩阵)，再进行展平(flatten)处理，将CNN特征矩阵展平为一个高维的特征向量，然后和天气特征相连接(concatenate)，组成最终的整体特征(如附图2所示)。模型训练的过程也就是更新不断提取CNN特征和更新权重的过程(因为天气特征是提前提取好的)。
在网络训练过程中，本发明在解决以下两个问题中运用了如下方法：一是梯度下降问题，本发明使用的Adma优化器依靠对梯度的一阶期望和二阶期望对学习率(learningrate)进行动态调整，目的是将一个固定的学习率变为一个动态的学习率。二是网络的过拟合问题，为了减小过拟合发生的概率，实验使用了Dropout方法。Dropout能有效抑制过拟合。其主要思想是将每一个神经网络单元，按照一定的概率暂时将其随机丢弃(Drop)，因此每一次训练网络都是在训练不同的网络模型，这相当于是在训练多个模型进行组合。模型损失函数使用的是交叉熵函数，函数表达式如下：
其中，yi是真实值，y′i是对应的预测结果值。
此处所用到的数据集主要分为两部分：第一部分是开源RFS(雨雾雪)数据集，包含三种类型的天气类别，如雨、雾和雪。此外，每个类别包含从网络收集的1100个图像；第二部分是两种类型的天气数据集(晴天和阴天)。在实验过程中，使用上述五个类别的总共5500张图像将它们分成70％的训练集和30％的测试集来评估天气分类模型。训练集和测试集都是随机选择的。
值得注意的是：直接将CNN提取的特征来进行训练和分类天气图像取得了一定的效果(识别正确率表1所示)，但是任然存在着一些缺陷。例如，天气分类对照明条件、背景变化等因素更敏感，而CNN往往不能够提取出这类天气线索。
表1融合(不融合)天气特征正确率对比表
| 框架 | 仅CNN特征 | 融合六类天气特征 |
| VGGNet16 | 0.7194 | 0.7380 |
| VGGNet19 | 0.6948 | 0.7204 |
| ResNet50 | 0.7767 | 0.7945 |
| ResNet101 | 0.7681 | 0.7897 |
为了要提高识别率，本发明将以上六种天气特殊特征和CNN特征相融合：
1)不融合天气特征
直接将天气数据集中的图片输入到上述CNN框架中进行提取特征后训练分类器，将测试集应用于训练好的分类器得到的准确率如表1所示。实验结果在69％和78％之间，表现不佳，因为并非所有CNN的特征都与天气条件直接相关。要提高天气分类准确率，需要将CNN特征和天气特征相融合，提取更加全面的天气图片特征。
2)融合部分天气特征
将六类天气特征分为五组(图5-9)，分别将每一组与展平后的CNN特征向量相连接，形成一个拥有能表征天气图像的特征向量，用这些特征向量对每个类别的图像进行识别。对于每个类别，770张用于训练，330张用于测试。识别结果如图(图5-9)所示，解决天气分类问题的最佳架构是ResNet50架构。此外，雾因子在识别雾天气方面的贡献尤为明显。白色像素值也是五种特定天气特征中识别下雪天气的重要天气线索。亮度值和对比度值对天气分类也起了很大的作用。可见，不同的特殊天气特征的组合对识别不同类型的天气图像起了有效的作用。
3)连接全部天气特征
将六种天气特征展平为一个特征向量后与高维CNN特征相连接，此过程称为特征融合。融合成一个高维单列阵列，称为整体特征，以训练分类器。融合后的特征不仅包含图像的大部分基本功能，而且更重要的是，它还包含可以呈现天气类别特征的特定天气特征，更加全面表征图像信息，有助于更好的实现分类。通过各种CNN评估其性能，如表1所示。结果表明，该方法可以显着提高分类器的性能。
本发明将经过多层卷积和池化后得到图像的高维CNN特征特征展平，即将一个矩阵展平为一个列向量；之后将CNN特征和六种天气特殊特征连起来，融合成能够全面表征各类天气图像的总特征，它包含了CNN提出的图像中基础的信息和天气敏感特征，运用此方法最终训练出的模型准确率高于仅使用CNN的约3％。
Claims (8)
1.一种基于CNN与多特征融合的天气图像识别方法，其特征在于，包括以下步骤：
步骤1：针对输入的图片，提取六种表征不同天气现象的天气特征，并编码为特征向量，天气特征包括天气图像中的亮度值、图像中最大和最小像素强度之间的差值，即对比度值、天气图像中雾因子、图像锐度值、图像中的白色像素值以及图像的颜色直方图；
步骤2：提取表征图像的高维CNN特征；
步骤3：将天气特征向量和CNN特征向量进行特征融合，组成整体特征向量；
步骤4：采用整体特征向量训练分类模型，并用训练后的分类模型对天气图像进行识别。
2.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，六种天气特征具体编码如下：
1)亮度值
将亮度值Y′信息编码为特征向量，计算RGB三通道图像每个像素点的亮度值，然后求其均值Y′＝0.299r+0.587g+0.114b，式中：r、g、b分别代表图像每个像素点在红色、绿色、蓝色三颜色通道的像素值；
2)对比度值
通过下式将对比度信息编码成特征向量：
c＝d-b
式中：dI(x)是红、绿、蓝三个通道中的最小像素值，bI(x)是最大值；d和b分别是dI(x)和bI(x)的平均值，X代表像素数；Sx×Sy是图像大小；I表示单张图像，In表示图像I的某一个颜色通道；c是对比度值；
3)雾因子
通过以下公式估算不同的雾度，得到雾因子fog：
式中：c、d、b等的值分别为计算对比度中所得的值，A0为大气光亮度值；
4)锐度值
通过以下公式得到锐度值T：
式中，i表示单张图像，SX，SY为sobel滤波器参数；
5)白色像素值
选择像素175和更高值的像素作为白色像素，其他为黑色像素，再计算给定图像中的白色像素值，并且将其编码为特征向量；
6)颜色直方图
计算RGB三个通道的图像直方图的值，将它们连接起来编码得到一个特征向量。
3.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，在步骤2中，提取表征图像的高维CNN特征具体为：
首先进行卷积，在卷积层中，前一层的特征图与一个能够学习的核进行卷积，得到的结果通过一个激活函数输出形成这一层的神经元，从而构成这层的特征图；卷积层计算公式如下：
式中：l表示当前层，kernel表示卷积核，Mj为特征图集合，j为特征图的一个选择，i表示单张图像，f代表某一种激活函数，B代表每一层唯一的偏置系数；
其次，进行池化计算，在池化层中输入特征图的数目和输出特征图的数目相同；池化层计公式如下：
式中：down()代表收缩函数，每一个输出的特征图对应一个权重系数β和一个偏置系数，j为特征图的一个选择，f代表某一种激活函数。
4.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，所述全连接层计算公式：
xl＝f(ul),ul＝ωlxl-1+bl
式中：l代表当前层，f()代表激活函数，ω是全连接层的权重系数，b是全连接层的偏置项，ul代表当前全连接层的得分函数。
5.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，所述步骤4还包括：当卷积神经网络输出的结果与期望值不相符时，则进行反向传播过程；即求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，反复的更新权值得到最终训练模型。
6.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，在步骤4的在网络训练过程中，使用Adma优化器依靠对梯度的一阶期望和二阶期望对学习率进行动态调整。
7.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，在步骤4的在网络训练过程中，使用随机失活方法抑制过拟合。
8.根据权利要求1所述的一种基于CNN与多特征融合的天气图像识别方法，其特征在于，在步骤4的在网络训练过程中，模型损失函数使用的是交叉熵函数，表达式如下：
其中yi是真实值，y′i是对应的预测结果值，n为分类数，loss为损失函数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744616.2A CN110555465B (zh) | 2019-08-13 | 2019-08-13 | 一种基于cnn与多特征融合的天气图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744616.2A CN110555465B (zh) | 2019-08-13 | 2019-08-13 | 一种基于cnn与多特征融合的天气图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555465A true CN110555465A (zh) | 2019-12-10 |
| CN110555465B CN110555465B (zh) | 2022-03-11 |
Family
ID=68737410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910744616.2A Active CN110555465B (zh) | 2019-08-13 | 2019-08-13 | 一种基于cnn与多特征融合的天气图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555465B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178438A (zh) * | 2019-12-31 | 2020-05-19 | 象辑知源（武汉）科技有限公司 | 一种基于ResNet101的天气类型识别方法 |
| CN111368903A (zh) * | 2020-02-28 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN111815528A (zh) * | 2020-06-30 | 2020-10-23 | 上海电力大学 | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 |
| CN112286440A (zh) * | 2020-11-20 | 2021-01-29 | 北京小米移动软件有限公司 | 触摸操作分类、模型训练方法及装置、终端及存储介质 |
| CN112854950A (zh) * | 2021-01-28 | 2021-05-28 | 东风汽车集团股份有限公司 | 基于感知融合的汽车车窗自适应升降方法及系统 |
| CN113052259A (zh) * | 2021-04-14 | 2021-06-29 | 西南交通大学 | 一种基于联合投票网络的交通场景天气分类方法 |
| CN113095412A (zh) * | 2021-04-14 | 2021-07-09 | 中北大学 | 基于多特征融合与支持向量机的混合细骨料分类识别方法 |
| CN113163218A (zh) * | 2021-02-09 | 2021-07-23 | 百果园技术(新加坡)有限公司 | 直播间内用户的检测方法和系统、电子设备及存储介质 |
| CN114787886A (zh) * | 2019-12-18 | 2022-07-22 | 索尼集团公司 | 信息处理装置、信息处理方法、程序和可移动对象 |
| CN115222142A (zh) * | 2022-07-29 | 2022-10-21 | 贵州电网有限责任公司 | 一种极端气象条件下输变电变压器设备故障预测分析方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868745A (zh) * | 2016-06-20 | 2016-08-17 | 重庆大学 | 基于动态场景感知的天气识别方法 |
| US20160334546A1 (en) * | 2015-05-14 | 2016-11-17 | Beijing University Of Posts And Telecommunications | Weather recognition method and device based on image information detection |
| US20160334811A1 (en) * | 2015-05-12 | 2016-11-17 | Echostar Technologies L.L.C. | Home automation weather detection |
| CN106960188A (zh) * | 2017-03-17 | 2017-07-18 | 华为技术有限公司 | 天气图像分类方法及装置 |
| CN108875593A (zh) * | 2018-05-28 | 2018-11-23 | 上海交通大学 | 基于卷积神经网络的可见光图像天气识别方法 |
| CN109376591A (zh) * | 2018-09-10 | 2019-02-22 | 武汉大学 | 深度学习特征与视觉特征联合训练的船只目标检测方法 |
| CN109740495A (zh) * | 2018-12-28 | 2019-05-10 | 成都思晗科技股份有限公司 | 基于迁移学习技术的室外天气图像分类方法 |
| CN109784298A (zh) * | 2019-01-28 | 2019-05-21 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN109919062A (zh) * | 2019-02-27 | 2019-06-21 | 上海浪潮云计算服务有限公司 | 一种基于特征量融合的道路场景天气识别方法 |
-
2019
- 2019-08-13 CN CN201910744616.2A patent/CN110555465B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160334811A1 (en) * | 2015-05-12 | 2016-11-17 | Echostar Technologies L.L.C. | Home automation weather detection |
| US20160334546A1 (en) * | 2015-05-14 | 2016-11-17 | Beijing University Of Posts And Telecommunications | Weather recognition method and device based on image information detection |
| CN105868745A (zh) * | 2016-06-20 | 2016-08-17 | 重庆大学 | 基于动态场景感知的天气识别方法 |
| CN106960188A (zh) * | 2017-03-17 | 2017-07-18 | 华为技术有限公司 | 天气图像分类方法及装置 |
| CN108875593A (zh) * | 2018-05-28 | 2018-11-23 | 上海交通大学 | 基于卷积神经网络的可见光图像天气识别方法 |
| CN109376591A (zh) * | 2018-09-10 | 2019-02-22 | 武汉大学 | 深度学习特征与视觉特征联合训练的船只目标检测方法 |
| CN109740495A (zh) * | 2018-12-28 | 2019-05-10 | 成都思晗科技股份有限公司 | 基于迁移学习技术的室外天气图像分类方法 |
| CN109784298A (zh) * | 2019-01-28 | 2019-05-21 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN109919062A (zh) * | 2019-02-27 | 2019-06-21 | 上海浪潮云计算服务有限公司 | 一种基于特征量融合的道路场景天气识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| D. LIN ET AL: "RSCM: Region Selection and Concurrency Model for Multi-Class Weather", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| KANG ET AL: "Deep learning-based weather image recognition", 《NTERNATIONAL SYMPOSIUM ON COMPUTER，CONSUMER AND CONTROL ( IS3C)》 * |
| 史静: "户外天气状况分类识别", 《计算机系统应用》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114787886A (zh) * | 2019-12-18 | 2022-07-22 | 索尼集团公司 | 信息处理装置、信息处理方法、程序和可移动对象 |
| CN111178438A (zh) * | 2019-12-31 | 2020-05-19 | 象辑知源（武汉）科技有限公司 | 一种基于ResNet101的天气类型识别方法 |
| CN111368903B (zh) * | 2020-02-28 | 2021-08-27 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
| CN111368903A (zh) * | 2020-02-28 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN111476713B (zh) * | 2020-03-26 | 2022-07-22 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN111815528A (zh) * | 2020-06-30 | 2020-10-23 | 上海电力大学 | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 |
| CN112286440A (zh) * | 2020-11-20 | 2021-01-29 | 北京小米移动软件有限公司 | 触摸操作分类、模型训练方法及装置、终端及存储介质 |
| CN112854950A (zh) * | 2021-01-28 | 2021-05-28 | 东风汽车集团股份有限公司 | 基于感知融合的汽车车窗自适应升降方法及系统 |
| CN113163218A (zh) * | 2021-02-09 | 2021-07-23 | 百果园技术(新加坡)有限公司 | 直播间内用户的检测方法和系统、电子设备及存储介质 |
| CN113095412A (zh) * | 2021-04-14 | 2021-07-09 | 中北大学 | 基于多特征融合与支持向量机的混合细骨料分类识别方法 |
| CN113052259A (zh) * | 2021-04-14 | 2021-06-29 | 西南交通大学 | 一种基于联合投票网络的交通场景天气分类方法 |
| CN113095412B (zh) * | 2021-04-14 | 2024-02-09 | 中北大学 | 基于多特征融合与支持向量机的混合细骨料分类识别方法 |
| CN115222142A (zh) * | 2022-07-29 | 2022-10-21 | 贵州电网有限责任公司 | 一种极端气象条件下输变电变压器设备故障预测分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555465B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555465B (zh) | 一种基于cnn与多特征融合的天气图像识别方法 | |
| CN109614996B (zh) | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 | |
| CN110889813A (zh) | 基于红外信息的低光图像增强方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN109740721B (zh) | 麦穗计数方法及装置 | |
| CN109359681A (zh) | 一种基于改进全卷积神经网络的大田作物病虫害识别方法 | |
| CN104598924A (zh) | 一种目标匹配检测方法 | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN107292830A (zh) | 低照度图像增强及评价方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| CN110189262B (zh) | 基于神经网络以及直方图匹配的图像去雾方法 | |
| CN111626186A (zh) | 一种司机分心检测方法 | |
| CN110807743A (zh) | 一种基于卷积神经网络的图像去雾方法 | |
| CN115984133A (zh) | 图像增强方法、车辆抓拍方法、设备及介质 | |
| Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
| CN112184566B (zh) | 一种针对附着水雾水珠去除的图像处理方法和系统 | |
| CN111179224B (zh) | 一种基于联合学习的航拍图像修复质量的无参考评价方法 | |
| CN114140361A (zh) | 融合多级特征的生成式对抗网络图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191210 Assignee: Chengdu genbo Radar Technology Co.,Ltd. Assignor: CHENGDU University OF INFORMATION TECHNOLOGY Contract record no.: X2023980052204 Denomination of invention: A weather image recognition method based on CNN and multi feature fusion Granted publication date: 20220311 License type: Common License Record date: 20231215 |
|
| EE01 | Entry into force of recordation of patent licensing contract |