CN109086803B - 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 - Google Patents

一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 Download PDF

Info

Publication number
CN109086803B
CN109086803B CN201810755419.6A CN201810755419A CN109086803B CN 109086803 B CN109086803 B CN 109086803B CN 201810755419 A CN201810755419 A CN 201810755419A CN 109086803 B CN109086803 B CN 109086803B
Authority
CN
China
Prior art keywords
layer
visibility
size
haze
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810755419.6A
Other languages
English (en)
Other versions
CN109086803A (zh
Inventor
吕泓君
成孝刚
李海波
李德志
汪涛
钱俊鹏
任俊弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201810755419.6A priority Critical patent/CN109086803B/zh
Publication of CN109086803A publication Critical patent/CN109086803A/zh
Application granted granted Critical
Publication of CN109086803B publication Critical patent/CN109086803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了基于深度学习与个性化因子的雾霾能见度检测系统,该系统包括数据库建立模块,用于构建不同能见度的雾霾能见度图片库;能见度提取模块,用于根据所述雾霾能见度图片库提取所述雾霾能见度图片中涉及场景的标志物的能见度,建立能见度坐标,并对所述雾霾能见度图片中涉及的场景进行编号,个性化因子提取模块,用于针对所述场景编号进行归一化,并将其定义为特征值,并根据场景编号提取个性化因子;神经网络训练模块,用于将所述个性化因子和所述雾霾能见度图片输入到卷积神经网络中进行训练;本发明采用基于深度学习的卷积神经网络结构能够自动提取数据集特征与传统方向比更加渐变,可以快速处理大数据集,节省了大量的训练时间。

Description

一种基于深度学习与个性化因子的雾霾能见度检测系统及 方法
技术领域
本发明涉及一种雾霾能见度检测系统及方法,具体涉及一种基于深度学习与个性化因子的雾霾能见度检测系统及方法。
背景技术
雾霾是一种发生在大气近地面层中的灾害天气,雾霾天气时,空气质量差,能见度低,严重影响交通安全,如果能够通过视频,实时获知信息,便能够有效帮助管理部门提前干预,规避各种可能的危险。
能见度是视力正常的人可以从天气背景中看到的最大水平距离;夜间通过确定一定强度的光斑,可以检查最大水平距离。如今,日益恶化的环境,经常会产生雾霾等天气,气象站、机场、码头等固定场景需要精确的雾霾能见度,提供更准确的情报,给出行提供更加安全的保障。
如今,雾霾能见度检测的研究已经成为计算机视觉领域的新颖课题,越来越多的研究人员尝试着使用多种指标来综合检测雾霾能见度。Hautière提出了可应用的可视性评估方法,并且根据Koschmieder定律提出了严格的数学推导,首先提出一种类型的亮度曲线,并通过亮度曲线的二阶导数来收集它们的拐点。
Lenor、Negru和Nedevschi等人用亮度曲线进一步研究了能见度估计,Lenor引入了辐射传递理论的模型,通过建模散射光,可以建立大气消光系数与亮度曲线拐点之间的关系,基于雾密度估计,雾的存在被感知,当获得雾图像中的水平线和拐点时,可以计算出雾的可见性。Boussard等人重点研究低能见度条件,用车载摄像头获得车辆环境深度图,并将对比度阈值用于可视性估计。Hermansson和Edstam提出了一种对比度校准方法,改变了室外图像的天气背景,并且能够激发可见性估计,天气参数包含大气条件,照度,能见度等。但传统的技术处理大数据集速度慢,模型精度低的问题。
发明内容
发明目的:为了克服现有技术的不足,本发明提供一种基于深度学习与个性化因子的雾霾能见度检测系统和方法,能够解决大数据集处理速度慢,模型精度低的问题。
技术方案:一方面,本发明提供一种基于深度学习与个性化因子的雾霾能见度检测系统,该系统包括:
训练阶段:
数据库建立模块,用于根据雾霾能见度图片构建不同能见度的雾霾能见度图片库;
能见度提取模块,用于根据所述雾霾能见度图片库提取所述雾霾能见度图片中涉及场景的标志物的能见度,建立能见度坐标,并对所述雾霾能见度图片中涉及的场景进行编号,形成若干场景编号;
个性化因子提取模块,用于针对所述场景编号进行归一化,并将其定义为特征值,进而根据所述场景编号提取个性化因子;
神经网络训练模块,用于将所述个性化因子和所述雾霾能见度图片输入到卷积神经网络中进行训练,并利用BP算法对所述卷积神经网络进行训练,使失真函数下降并趋于收敛;
测试阶段:
系统测试模块,用于根据所述检测系统对新输入的雾霾能见度图片进行分类识别。
所述归一化采用线性函数归一化方法,公式为:
Figure RE-GDA0001761667330000021
其中,X表示场景编号,Xmin和Xmax是编号中的最小值和最大值。
步骤(1)中,所述雾霾能见度图片的采集是基于同天气状态下高速公路的不同监控路口或者机场的不同跑道的视频资料,从采集到的能见度视频文件中按分钟提取照片,每分钟选取一张代表每分钟的能见度。
所述卷积神经网络模型包括3层卷积层,3层池化层,一个全连接层以及在全连接层后的1层softmax分类层;
第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure RE-GDA0001761667330000022
[·]表示取整函数;
第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure RE-GDA0001761667330000023
Figure RE-GDA0001761667330000031
第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure RE-GDA0001761667330000032
第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure RE-GDA0001761667330000033
Figure RE-GDA0001761667330000034
第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure RE-GDA0001761667330000035
第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure RE-GDA0001761667330000036
第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入。
另一方面,本发明提供一种基于深度学习与个性化因子的雾霾能见度检测系统的检测方法,该方法包括以下步骤:
训练阶段:
(1)建立不同能见度的雾霾能见度图片库,按照能见度由小到大逐级分为n类,利用所述雾霾能见度图片中涉及的场景中的标志物提取出能见度,建立能见度坐标系,并对所述图片中的场景进行编号;
(2)针对所述场景编号进行归一化,并将其定义为特征值,进而根据所述场景编号提取个性化因子;
(3)将所述个性化因子和所述雾霾能见度图片输入到卷积神经网络中进行训练,并利用BP算法对所述卷积神经网络进行训练,使失真函数下降并趋于收敛,得到优化后的所述能见度检测系统;
测试阶段:
(4)利用所述优化后的所述能见度检测系统对新输入的雾霾能见度图片进行分类识别。
优选的,步骤(2)中,归一化采用线性函数归一化方法,公式为:
Figure RE-GDA0001761667330000041
其中,X表示场景编号,Xmin和Xmax是编号中的最小值和最大值。
优选的,所述步骤(1)中,雾霾能见度图片的采集是基于同天气状态下高速公路的不同监控路口或者机场的不同跑道的视频资料,从采集到的能见度视频文件中按分钟提取照片,每分钟选取一张代表每分钟的能见度。
优选的,步骤(3)中,所述卷积神经网络模型包括3层卷积层,3层池化层,一个全连接层以及在全连接层后的1层softmax分类层;
第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure RE-GDA0001761667330000042
[·]表示取整函数;
第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure RE-GDA0001761667330000043
Figure RE-GDA0001761667330000044
第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure RE-GDA0001761667330000051
第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure RE-GDA0001761667330000052
Figure RE-GDA0001761667330000053
第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure RE-GDA0001761667330000054
第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure RE-GDA0001761667330000055
第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入。
优选的,所述softmax分类层用于对雾霾能见度进行检测,具体包括:
对第t张输入的训练样本xt进行能见度分类,xt∈[x1,x2,...,xT],第t张输入的训练样本xt对应的样本类别为u′的类别概率为:
Figure RE-GDA0001761667330000056
其中,t∈[1,2,...,T],u'∈[1,2,...,u],u是指输入样本类别的总数,T是输入训练样本的总数,u″为一输入样本类别,
Figure RE-GDA0001761667330000057
表示输入样本类别为u″所对应的softmax分类器的输入向量,yt是softmax分类器的输出向量,是输入样本类别概率的分布向量,输出的概率分布中的最大概率所对应的类别为该网络输入图像的类别。
将所述类别概率代入类别判定公式:
Figure RE-GDA0001761667330000061
identity(xt)表示第t张输入的训练样本xt对应的分类,得到输出[y1,y2,...,yT]。
有益效果:本发明与现有技术相比,其显著优点是:1、本发明采用基于深度学习的卷积神经网络结构能够自动提取数据集特征与传统方向比更加渐变,可以快速处理大数据集,节省了大量的训练时间;2、本发明提取个性化因子来区分不同场景,同时对所有路口或场景采用同一个网络模型,使模型处理速度更快,精度更好。
附图说明
图1为本发明一实施例所述的检测系统结构示意图;
图2是本发明一实施例所述的检测方法流程图;
图3是本发明采用的卷积神经网络结构示意图。
具体实施方式
实施例1
如图1所示,本发明提供一种基于深度学习与个性化因子的雾霾能见度检测系统,该系统包括:
训练阶段:
数据库建立模块,用于根据雾霾能见度图片构建不同能见度的雾霾能见度图片库;
采集不同天气条件下的视频,每一分钟截取一张照片代表一分钟的雾霾能见度情况,建立雾霾能见度图片库。选取一张能见度条件良好的,利用百度地图等软件,计算标志性建筑物距离拍摄地的距离,建立能见度坐标系,并对所述图片中的场景进行编号。
能见度提取模块,用于根据雾霾能见度图片库提取雾霾能见度图片中涉及场景的标志物的能见度,建立能见度坐标,并对雾霾能见度图片中涉及的场景进行编号,形成若干场景编号;
个性化因子提取模块,用于针对场景编号进行归一化,并将其定义为特征值,进而根据场景编号提取个性化因子;
本发明所处理的是高速公路的不同监控路口,或者机场的不同跑道,这就意味着不同背景,具有不同的特征。针对这种情况,一种方式是不同的场景,各自训练一个网络模型,专门用于该场景的能见度检测,但这样的后果是:需要太多的网络,增加了工作量。因此本发明定义一种个性化因子,目的是区分各个场景,同时对所有路口或场景采用同一个网络模型。根据不同场景,提炼出其固有的特征。比如,信息熵或采用其它特征,并考虑时变性。在本发明中,针对场景编号做归一化,并将其定义为特征值。归一化之后,所有场景编号均在0-1之间,并各自独立,能够独立表征所对应的场景。在模型训练时,将该编号作为自变量X和采集得到的图片Y,一并导入深度学习模型进行训练。由此,得到一个统一的网络模型,在测试环节,输入具体采集的图片及其对应的个性因子,便能够得到对应的能见度值。
上述提及的归一化,本发明采用线性函数归一化方法,具体公式如下:
Figure RE-GDA0001761667330000071
其中,X表示场景编号,一个场景的编号是固定的,Xmin和Xmax是编号中的最小值和最大值。
通过上式之后,X全部换换为0-1之间的数值。由此,F(X,Y)变为F(Xnorm,Y)。
在F(Xnorm,Y)中,Y为采集得到的雾霾数据,CNN网络用于提取每帧雾霾能见度图片的空间域特征,其每帧大小为m×n,将其作为CNN网络的输入。
卷积神经网络模型的具体结构为:
1)第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure RE-GDA0001761667330000072
[·]表示取整函数;
2)第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure RE-GDA0001761667330000073
Figure RE-GDA0001761667330000074
3)第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure RE-GDA0001761667330000081
4)第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure RE-GDA0001761667330000082
5)第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure RE-GDA0001761667330000083
6)第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure RE-GDA0001761667330000084
7)第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入
8)采用softmax分类器对雾霾能见度进行检测,具体步骤如下:
对第t张输入的训练样本xt进行能见度分类,xt∈[x1,x2,...,xT],第t张输入的训练样本xt对应的样本类别为u′的类别概率为:
Figure RE-GDA0001761667330000085
其中,t∈[1,2,...,T],u'∈[1,2,...,u],u是指输入样本类别的总数,T是输入训练样本的总数,u″为一输入样本类别,
Figure RE-GDA0001761667330000086
表示输入样本类别为u″所对应的softmax分类器的输入向量,yt是softmax分类器的输出向量,是输入样本类别概率的分布向量,输出的概率分布中的最大概率所对应的类别为该网络输入图像的类别。
将所述类别概率代入类别判定公式:
Figure RE-GDA0001761667330000091
identity(xt)表示第t张输入的训练样本xt对应的分类,得到输出[y1,y2,...,yT],所以将[y1,y2,...,yT]作为输入图片[x1,x2,...,xT]的所属类别。
神经网络训练模块,用于将个性化因子和雾霾能见度图片输入到卷积神经网络中进行训练,并利用BP算法对卷积神经网络进行训练,使失真函数下降并趋于收敛;
测试阶段:系统测试模块,用于根据检测系统对新输入的雾霾能见度图片进行分类识别。
实施例2
如图2所示,本发明是基于深度学习与个性化因子的雾霾能见度检测方法,该方法的特征包括以下几个步骤:
(1)采集不同天气条件下的视频,每一分钟截取一张照片代表一分钟的雾霾能见度情况,建立雾霾能见度图片库。选取一张能见度条件良好的,利用百度地图等软件,计算标志性建筑物距离拍摄地的距离,建立能见度坐标。
(2)构建基于个性化因子和卷积神经网络(CNN)的固定场景的雾霾能见度检测系统F(X,Y),为了能实现统一的网络模型,又能兼顾各个场景的差异性,提出个性化因子,本发明所处理的是高速公路的不同监控路口,或者机场的不同跑道,这就意味着不同背景,具有不同的特征。针对这种情况,一种方式是不同的场景,各自训练一个网络模型,专门用于该场景的能见度检测,但这样的后果是:需要太多的网络,增加了工作量。因此本发明定义一种“个性化因子”,目的是区分各个场景,同时对所有路口或场景采用同一个网络模型。根据不同场景,提炼出其固有的特征。比如,信息熵或采用其它特征,并考虑时变性。在本发明中,针对场景编号做归一化,并将其定义为特征值。归一化之后,所有场景编号均在0-1之间,并各自独立,能够独立表征所对应的场景。在模型训练时,将该编号作为自变量X,和采集得到的图片Y,一并导入深度学习模型进行训练。由此,得到一个统一的网络模型,在测试环节,输入具体采集的图片及其对应的个性因子,便能够得到对应的能见度值。
上述提及的归一化,本发明采用线性函数归一化方法,具体公式如下
Figure RE-GDA0001761667330000101
其中,X表示场景编号,Xmin和Xmax是编号中的最小值和最大值。通过上式之后, X全部换换为0-1之间的数值。由此,F(X,Y)变为F(Xnorm,Y)。
在F(Xnorm,Y)中,Y为采集得到的雾霾数据,CNN网络用于提取每帧雾霾能见度图片的空间域特征,其每帧大小为m×n,将其作为CNN网络的输入;
如图3所示,卷积神经网络模型的具体结构为:
1)第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure RE-GDA0001761667330000102
[·]表示取整函数;
2)第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure RE-GDA0001761667330000103
Figure RE-GDA0001761667330000104
3)第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure RE-GDA0001761667330000105
4)第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure RE-GDA0001761667330000106
5)第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure RE-GDA0001761667330000111
6)第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure RE-GDA0001761667330000112
7)第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入。
8)采用softmax分类器对雾霾能见度进行检测,具体步骤如下:
对第t张输入的训练样本xt进行能见度分类,xt∈[x1,x2,...,xT],第t张输入的训练样本xt对应的样本类别为u′的类别概率为:
Figure RE-GDA0001761667330000113
其中,t∈[1,2,...,T],u'∈[1,2,...,u],u是指输入样本类别的总数,T是输入训练样本的总数,u″为一输入样本类别,
Figure RE-GDA0001761667330000115
表示输入样本类别为u″所对应的softmax分类器的输入向量,yt是softmax分类器的输出向量,是输入样本类别概率的分布向量,输出的概率分布中的最大概率所对应的类别为该网络输入图像的类别。
将所述类别概率代入类别判定公式:
Figure RE-GDA0001761667330000114
identity(xt)表示第t张输入的训练样本xt对应的分类,得到输出[y1,y2,...,yT],所以将[y1,y2,...,yT]作为输入图片[x1,x2,...,xT]的所属类别。
(3)对通过步骤(1)得到的雾霾能见度数据库,进行数据预处理,将预处理后得到的数据作为能见度检测系统的输入,基于BP(Back Propagation)算法,利用信号的正向传播和误差的反向传播进行模型优化。正常训练时,信号从输入层向输出层不断转换。若实际输出和预期不符,立刻采用误差反向传播,究其本质是将输出误差反向传导至输入层,同时获得每个隐含层的误差信号,依据此误差信号,可以修正各隐含层单元的权重系数。训练过程中,交替进行隐含层权重系数优化和信号的正向传播,直到误差满足实际应用需求,从而得到优化后的卷积神经网络模型。
(4)从其他日期的视频文件中按照同样的方法提取全新的能见度图片,将新的到的图片作为雾霾能见度检测系统的输入,利用优化后的神经网络模型进行分类。
实施例3
具体的,本发明基于深度学习与个性化因子的雾霾能见度检测算法研究的实现主要包含以下步骤:
步骤1:采集不同能见度情况下的图片,将图片按能见度从小到大逐级分为几类,建立雾霾能见度图片库,将图片这n类能见度分别对应标签为0到n-1,选取一张能见度良好的图片,选取标志性建筑物,利用地图计算出拍摄地与建筑物之间的距离,建立合适的能见度坐标系,将0到n-1类代表的能见度提取出来。
步骤2:本发明定义一种个性化因子,目的是区分各个场景,同时对所有路口或场景采用同一个网络模型。根据不同场景,提炼出其固有的特征。比如,信息熵或采用其它特征,并考虑时变性。在本发明中,场景编号被归一化并被定义为特征值。归一化之后,所有场景编号均在0-1之间,并各自独立,能够独立表征所对应的场景。在模型训练时,将该编号作为自变量X,和采集得到的图片Y,一并导入深度学习模型进行训练。由此,得到一个统一的网络模型,在测试环节,输入具体采集的图片及其对应的个性因子,便能够得到对应的能见度值上述提及的归一化,本发明采用线性函数归一化方法,具体公式如下:
Figure RE-GDA0001761667330000121
其中,X表示场景编号,Xmin和Xmax是编号中的最小值和最大值。通过上式之后, X全部换换为0-1之间的数值。由此,F(X,Y)变为F(Xnorm,Y)。
在F(Xnorm,Y)中,Y为采集得到的雾霾数据,CNN网络用于提取每帧雾霾能见度图片的空间域特征,其每帧大小为m×n,将其作为CNN网络的输入,其每帧图像分辨率为128×128,先利用个性化因子分辨图片的具体场景,再利用卷积神经网络提取每帧雾霾能见度图片的空间域特征,具体步骤如下:
第一层为卷积层,采用32个卷积核,其大小为11×11,卷积步长为3,对输入的人脸表情图像分别进行卷积、归一化操作,将生成的32个大小40×40的特征图作为下一池化层的输入;
第二层为池化层,采样窗口大小为2×2,其滑动步长为2,对上一层生成的32个特征图进行下采样,生成32个大小为20×20的特征图作为下一卷积层的输入;
第三层为卷积层,采用2个不同的卷积核,其大小为5×5,卷积步长为1,对上一层生成的32个特征图分别进行卷积、归一化操作,将生成的64个大小为16×16的特征图作为下一池化层的输入;
第四层为池化层,采样窗口大小为2×2,其滑动步长为2,对上一层生成的2×32个特征图进行下采样,生成2×32个大小为8×8的特征图作为下一卷积层的输入;
第五层为卷积层,采用2个卷积核,其大小为3×3,卷积步长为1,对上一层生成的64个特征图分别进行卷积、归一化操作,将生成128个大小为6×6的特征图作为下一池化层的输入;
第六层为池化层,采样窗口大小为3×3,其滑动步长为3,对上一层生成的128个特征图进行下采样,生成128个大小为2×2的特征图作为全连接层的输入;
第七层为全连接层,全连接层将第六层池化层128个2×2大小的特征图连接成512维的特征图,将其作为分类器的输入。
步骤3:在训练网络时,利用BP(Back Propagation)算法训练误差,对第t张输入的训练样本xt进行能见度分类,xt∈[x1,x2,...,xT],第t张输入的训练样本xt对应的样本类别为u′的类别概率为:
Figure RE-GDA0001761667330000141
其中,t∈[1,2,...,T],u'∈[1,2,...,u],u是指输入样本类别的总数,T是输入训练样本的总数,u″为一输入样本类别,
Figure RE-GDA0001761667330000142
表示输入样本类别为u″所对应的softmax分类器的输入向量,yt是softmax分类器的输出向量,是输入样本类别概率的分布向量,输出的概率分布中的最大概率所对应的类别为该网络输入图像的类别。
将所述类别概率代入类别判定公式:
Figure RE-GDA0001761667330000143
identity(xt)表示第t张输入的训练样本xt对应的分类,得到输出[y1,y2,...,yT],所以将[y1,y2,...,yT]作为输入图片[x1,x2,...,xT]的所属类别。
步骤4:在测试阶段,从测试样本的数据库中选取不同类别的能见度图片,将新的能见度图片作为雾霾能见度检测系统的输入,利用优化后的模型进行能见度分类。

Claims (5)

1.一种基于深度学习与个性化因子的雾霾能见度检测系统,其特征在于,该系统包括:
训练阶段:
数据库建立模块,用于根据雾霾能见度图片构建不同能见度的雾霾能见度图片库;
能见度提取模块,用于根据所述雾霾能见度图片库提取所述雾霾能见度图片中涉及场景的标志物的能见度,建立能见度坐标,并对所述雾霾能见度图片中涉及的场景进行编号,形成若干场景编号;
个性化因子提取模块,用于针对所述场景编号进行归一化,并将其定义为特征值,进而根据所述场景编号提取个性化因子;
神经网络训练模块,用于将所述个性化因子和所述雾霾能见度图片输入到卷积神经网络中进行训练,并利用BP算法训练卷积神经网络使失真函数下降并趋于收敛;
测试阶段:
系统测试模块,用于根据所述检测系统对新输入的雾霾能见度图片进行分类识别;
所述雾霾能见度图片的采集是基于同天气状态下高速公路的不同监控路口或者机场的不同跑道的视频资料,从采集到的能见度视频文件中按分钟提取照片,每分钟选取一张代表每分钟的能见度;
所述卷积神经网络包括3层卷积层,3层池化层,一个全连接层以及在全连接层后的1层softmax分类层;
第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure FDA0003798347960000011
[·]表示取整函数;
第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure FDA0003798347960000012
Figure FDA0003798347960000013
第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure FDA0003798347960000021
第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure FDA0003798347960000022
Figure FDA0003798347960000023
第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure FDA0003798347960000024
第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure FDA0003798347960000025
第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入。
2.根据权利要求1所述的基于深度学习与个性化因子的雾霾能见度检测系统,其特征在于,所述归一化采用线性函数归一化方法,公式为:
Figure FDA0003798347960000026
其中,X表示场景编号,Xmin和Xmax分别是所述场景编号中的最小值和最大值。
3.根据权利要求1-2任一项所述的基于深度学习与个性化因子的雾霾能见度检测系统的检测方法,其特征在于包括以下步骤:
训练阶段:
(1)建立不同能见度的雾霾能见度图片库,按照能见度由小到大逐级分为n类,利用所述雾霾能见度图片中涉及的场景中的标志物提取出能见度,建立能见度坐标系,并对所述图片中的场景进行编号;
(2)针对所述场景编号进行归一化,并将其定义为特征值,进而根据所述场景编号提取个性化因子;
(3)将个性化因子和雾霾能见度图片输入到卷积神经网络中,并利用BP算法对卷积神经网络进行训练,使失真函数下降并趋于收敛,得到优化后的所述能见度检测系统;
测试阶段:
(4)利用所述优化后的所述能见度检测系统对新输入的雾霾能见度图片进行分类识别;
雾霾能见度图片的采集是基于同天气状态下高速公路的不同监控路口或者机场的不同跑道的视频资料,从采集到的能见度视频文件中按分钟提取照片,每分钟选取一张代表每分钟的能见度;
步骤(3)中,所述卷积神经网络包括3层卷积层,3层池化层,一个全连接层以及在全连接层后的1层softmax分类层;
第一层为卷积层,采用l1个卷积核,其大小为k1×k1,卷积步长为s1,对输入的大小为m×n的固定场景图像分别进行卷积、归一化操作,将生成的l1个大小为m1×n1的特征图,其中
Figure FDA0003798347960000031
[·]表示取整函数;
第二层为池化层,采样窗口大小为p1×p1,滑动步长为s2,对上一层输出的特征图进行采样,将生成的l1个大小为m2×n2的特征图,其中,
Figure FDA0003798347960000032
Figure FDA0003798347960000033
第三层为卷积层,采用l2个卷积核,其大小为k2×k2,卷积步长为s3,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2个大小为m3×n3的特征图,其中,
Figure FDA0003798347960000041
第四层为池化层,采用采样窗口大小为p2×p2,滑动步长为s4,对上一层输出的特征图进行下采样,将生成的l1×l2个大小为m4×n4的特征图,其中,
Figure FDA0003798347960000042
Figure FDA0003798347960000043
第五层为卷积层,采用l3个卷积核,其大小为k3×k3,卷积步长为s5,对上一层输出的特征图分别进行卷积、归一化操作,将生成的l1×l2×l3个大小为m5×n5的特征图,其中,
Figure FDA0003798347960000044
第六层为池化层,采用采样窗口大小为p3×p3,滑动步长为s6,对上一层输出的特征图进行下采样,将生成的l1×l2×l3个大小为m6×n6的特征图,其中,
Figure FDA0003798347960000045
第七层为全连接层,全连接层将第六层池化层输出的l1×l2×l3个m6×n6的特征图连接成l1×l2×l3×m6×n6维的特征图,将其作为所述softmax分类层的输入。
4.根据权利要求3所述的检测方法,其特征在于,所述步骤(2)中,归一化采用线性函数归一化方法,公式为:
Figure FDA0003798347960000046
其中,X表示场景编号,Xmin和Xmax是编号中的最小值和最大值。
5.根据权利要求4所述的基于深度学习与个性化因子的雾霾能见度检测方法,其特征在于,所述softmax分类层用于对雾霾能见度进行检测,具体包括:
对第t张输入的训练样本xt进行能见度分类,xt∈[x1,x2,...,xT],第t张输入的训练样本xt对应的样本类别为u′的类别概率为:
Figure FDA0003798347960000051
其中,t∈[1,2,...,T],u'∈[1,2,...,u],u是指输入样本类别的总数,T是输入训练样本的总数,u”为一输入样本类别,
Figure FDA0003798347960000052
表示输入样本类别为u″所对应的softmax分类器的输入向量,yt是softmax分类器的输出向量,是输入样本类别概率的分布向量,输出的概率分布中的最大概率所对应的类别为该网络输入图像的类别。
将所述类别概率代入类别判定公式:
Figure FDA0003798347960000053
identity(xt)表示第t张输入的训练样本xt对应的分类,得到输出[y1,y2,...,yT]。
CN201810755419.6A 2018-07-11 2018-07-11 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 Active CN109086803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810755419.6A CN109086803B (zh) 2018-07-11 2018-07-11 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810755419.6A CN109086803B (zh) 2018-07-11 2018-07-11 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法

Publications (2)

Publication Number Publication Date
CN109086803A CN109086803A (zh) 2018-12-25
CN109086803B true CN109086803B (zh) 2022-10-14

Family

ID=64837584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810755419.6A Active CN109086803B (zh) 2018-07-11 2018-07-11 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法

Country Status (1)

Country Link
CN (1) CN109086803B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978228B (zh) * 2019-01-31 2023-12-12 中南大学 一种pm2.5浓度预测方法、装置及介质
CN110059723B (zh) * 2019-03-19 2021-01-05 北京工业大学 一种基于集成深度卷积神经网络的鲁棒烟雾检测方法
CN111091601B (zh) * 2019-12-17 2023-06-23 香港中文大学深圳研究院 一种实时白天室外手机图像的pm2.5指数估计方法
CN115412669B (zh) * 2022-08-26 2023-06-06 清华大学 基于图像信噪比分析的雾天成像方法及装置
CN115662149B (zh) * 2022-12-13 2023-03-10 合肥远捷信息技术有限公司 一种基于高速公路团雾预警管控的信息系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN107194924A (zh) * 2017-05-23 2017-09-22 重庆大学 基于暗通道先验和深度学习的高速公路雾天能见度检测方法
CN107506729B (zh) * 2017-08-24 2020-04-03 中国科学技术大学 一种基于深度学习的能见度检测方法

Also Published As

Publication number Publication date
CN109086803A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN111461083A (zh) 基于深度学习的快速车辆检测方法
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN113158943A (zh) 一种跨域红外目标检测方法
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN115457420B (zh) 一种基于无人机拍摄夜间低对比度的车辆重检测方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN114998251A (zh) 一种基于联邦学习的空中多视觉平台地面异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant