CN111898693A - 能见度分类模型的训练方法、能见度估计方法、装置 - Google Patents
能见度分类模型的训练方法、能见度估计方法、装置 Download PDFInfo
- Publication number
- CN111898693A CN111898693A CN202010780831.0A CN202010780831A CN111898693A CN 111898693 A CN111898693 A CN 111898693A CN 202010780831 A CN202010780831 A CN 202010780831A CN 111898693 A CN111898693 A CN 111898693A
- Authority
- CN
- China
- Prior art keywords
- visibility
- image
- training
- sample image
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 191
- 238000013145 classification model Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 19
- 230000002829 reductive effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种能见度分类模型的训练方法、装置、计算机设备和存储介质,以及上述能见度估计方法、装置、计算机设备和存储介质。所述能见度分类模型的训练方法包括:获取能见度样本图像,以及能见度样本图像对应的标签信息;对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。采用本方法能够使能见度估计脱离专业能见度检测仪器,从而简化能见度估计的操作过程且减少能见度估计的成本;且该方法通过将暗通道图像作为训练图像的一部分,可以提高能见度分类模型的识别精度,进而提高能见度估计的精度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种能见度分类模型的训练方法、装置、计算机设备和存储介质,以及一种能见度估计方法、装置、计算机设备和存储介质。
背景技术
大气能见度是反映大气透明度的一个指标。一般定义为具有正常视力的人在当时的天气条件下还能够看清楚目标轮廓的最大地面水平距离。大气能见度与陆上交通、航空、航海、天文观测和军事行动等都有直接关系。以交通运输为例,当能见度低于100米时,会影响公路上行驶安全,高速公路将会关闭;当能见度低于500米时,则会影响船舶航行和靠岸;当能见度低于1000米时,飞机的起降则会受到相当严重地影响。因此,随时随地的监控能见度的变化,对于交通安全、工业生产以及人们的日常生活都有着重要的意义。
传统技术中,能见度检测可以采用气溶胶采样法、光学参数检测等方法。然而,传统技术中的能见度检测方法依赖专用的能见度检测仪。而目前常用的能见度测量仪大都存在安装复杂或者取样空间小、定标困难等缺点,导致能见度检测存在操作不够便捷的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够简化能见度操作过程的能见度分类模型的训练方法、装置、计算机设备和存储介质,以及能见度估计方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种能见度分类模型的训练方法,所述方法包括:
获取能见度样本图像,以及能见度样本图像对应的标签信息;
对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;
叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;
采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
在其中一个实施例中,所述方法还包括:
对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像;
叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像,包括:
叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
在其中一个实施例中,对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像,包括:
对能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像;
对频域图像进行高通滤波处理;
对滤波后的频域图像进行傅里叶逆变换处理,生成增强空间域图像。
在其中一个实施例中,对能见度样本图像进行处理,得到能见度样本图像的暗通道图像,包括:
对能见度样本图像中的每个像素点,获取各颜色通道值中的最小值,得到能见度样本图像的灰度图;
对能见度样本图像的灰度图进行最小滤波处理,得到暗通道图像。
在其中一个实施例中,能见度分类模型包括依次连接的输入部分和中间卷积部分;中间卷积部分包括下采样块,下采样块包括第一卷积块和第二卷积块;采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练,包括:
通过输入部分对能见度训练图像进行处理,得到能见度输入特征;
将能见度输入特征输入至中间卷积部分的下采样块,通过第一卷积块对能见度输入特征进行卷积处理,得到第一能见度中间特征,第一卷积块对能见度输入特征进行卷积处理得到的相邻感受野无缝隙;
通过第二卷积块中的平均池化层对能见度输入特征进行卷积处理,得到第二能见度中间特征;
根据第一能见度中间特征和第二能见度中间特征,得到能见度目标特征;
根据能见度目标特征得到能见度的类别预测结果;
根据能见度的类别预测结果和对应的标签信息,对能见度分类模型进行训练。
在其中一个实施例中,采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练,包括:
获取初始学习率和目标学习率;
将能见度训练图像输入至能见度分类模型;
随着能见度训练图像的输入批次调整初始学习率,直至达到目标学习率;
在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
在其中一个实施例中,获取能见度样本图像,包括:
获取原始能见度样本图像;
对原始能见度样本图像进行数据增强处理,生成能见度样本图像。
第二方面,本申请实施例提供一种能见度估计方法,所述方法包括:
获取待检测图像;
将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到;
其中,能见度训练图像通过以下方式中的任一种得到:
叠加能见度样本图像以及能见度样本图像的暗通道图像;
叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的空间域图像。
第三方面,本申请实施例提供一种能见度分类模型的训练装置,所述装置包括:
获取模块,用于获取能见度样本图像,以及能见度样本图像对应的标签信息;
图像处理模块,用于对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;
叠加模块,用于叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;
模型训练模块,用于采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
第四方面,本申请实施例提供一种能见度估计装置,所述装置包括:
获取模块,用于获取待检测图像;
类别估计模块,用于将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到,能见度训练图像通过以下方式中的任一种得到:
叠加能见度样本图像以及能见度样本图像的暗通道图像;
叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的空间域图像。
第五方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行上述第一方面任一项实施例所述的能见度分类模型的训练方法,或者上述第二方面任一项实施例所述的能见度估计方法。
第六方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行上述第一方面任一项实施例所述的能见度分类模型的训练方法,或者上述第二方面任一项实施例所述的能见度估计方法。
上述能见度分类模型的训练方法、装置、计算机设备和存储介质,以及上述能见度估计方法、装置、计算机设备和存储介质,通过训练一种用于对能见度等级进行分类识别的能见度分类模型,使能见度估计能够脱离专业能见度检测仪器,极大地简化了能见度估计的操作过程且减少了能见度估计的成本;将能见度样本图像和对应的暗通道图像共同作为训练模型的输入图像,利用暗通道图像能够较好的表征图像是否有雾的特点,可以提高能见度分类模型的识别精度,进而提高能见度估计的精度。
附图说明
图1为一个实施例中能见度分类模型的训练方法的流程示意图;
图2为一个实施例中对能见图样本图像进行转换和图像增强处理步骤的流程示意图;
图3为一个实施例中对频域图像进行高通滤波的示意图;
图4为一个实施例中对能见图样本图像进行转换和图像增强处理的示意图;
图5为一个实施例中对能见度分类模型进行训练步骤的流程示意图;
图6为一个实施例中能见度分类模型的结构示意图;
图7为一个实施例中对下采样块进行改进的结构示意图;
图8为一个实施例中对能见度分类模型进行训练步骤的流程示意图;
图9为一个实施例中能见度分类模型的训练方法的流程示意图;
图10为一个实施例中能见度分估计方法的流程示意图;
图11为一个实施例中能见度分类模型的训练装置的结构框图;
图12为一个实施例中能见度估计装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的能见度分类模型的训练方法,可以应用于终端或者服务器中。以应用于终端为例。具体地,终端获取能见度样本图像,以及能见度样本图像对应的标签信息;对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图1所示,提供了一种能见度分类模型的训练方法,以该方法应用于终端为例进行说明,包括以下步骤:
步骤S110,获取能见度样本图像,以及能见度样本图像对应的标签信息。
其中,能见度样本图像可以通过图像采集装置在不同的能见度条件下采集得到。能见度样本图像的数量包括多张。标签信息不限于是指能见度样本图像对应的真实类别标注数据。
具体地,预先采用图像采集装置在不同的能见度条件下采集多张能见度样本图像。对能见度样本图像的类别进行标注,生成能见度样本图像对应的标签信息。对能见图样本图像进行标注可以采用人工标注或者机器自动标注的方式,在此不做限定。当需要对能见度分类模型进行训练时,通过终端触发训练指令,使终端响应于该训练指令,获取能见度样本图像以及能见度样本图像对应的标签信息。
步骤S120,对能见度样本图像进行处理,得到能见度样本图像的暗通道图像。
步骤S130,叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像。
其中,暗通道是一个基本假设,这个假设认为,在绝大多数无雾图像的非天空的局部区域中,某一些像素总会有至少一个颜色通道具有很低的值,该值接近于0。暗通道图像可以通过暗通道先验算法得到。通过暗通道先验算法对有雾图像进行处理会得到呈现一定的灰色的暗通道图像,对无雾图像进行处理则会得到呈现大量的黑色(像素为接近0)的暗通道图像。因此,暗通道图像能够较好的表征图像是否有雾的信息。
具体地,在获取能见度样本图像后,可以采用暗通道先验算法对能见度样本图像进行处理,得到能见度样本图像的暗通道图像。进而对能见度样本图像和对应的暗通道图像在颜色通道上进行叠加,将叠加得到的图像作为用于模型训练的能见度训练图像。
步骤S140,采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
其中,能见度分类模型是指还未经训练的初始模型。能见度分类模型可以是任一种能够用于分类识别的深度学习模型,例如,LeNet(一种卷积神经网络)、AlexNet(一种卷积神经网络)、ResNet(深度残差网络)。具体地,在得到能见度训练图像后,将能见度训练图像输入至待训练的能见度分类模型。通过能见度分类模型对能见度训练图像进行预测,得到预测类别概率。采用预设的损失函数根据标签信息和预测类别概率计算损失值,并根据损失值更新能见度分类模型的参数,直至达到预设停止条件。预设停止条件可以是指达到预设迭代次数或者损失值不再变小,在此不做限定。最后,可以选取损失值最小或者鲁棒性最好的模型作为最终使用的能见度分类模型。
上述能见度分类模型的训练方法中,通过训练一种用于对能见度进行分类识别的深度学习模型,使能见度估计能够脱离专业能见度检测仪器,基于深度学习理论就可以实现,极大地简化了能见度估计的操作过程,且减少了能见度估计的成本;将能见度样本图像和对应的暗通道图像共同作为训练模型的输入图像,利用暗通道图像能够较好的表征图像的是否有雾的特点,可以提高能见度分类模型的识别精度,进而提高能见度估计的精度。
在一个实施例中,对通过暗通道先验算法得到暗通道图像的过程进行说明。
具体地,首先,对能见度样本图像中的每个像素点,取各颜色通道值中的最小值,得到能见度样本图像的灰度图。然后,对能见度样本图像的灰度图进行最小滤波处理,得到暗通道图像。最小滤波处理的滤波核大小可以依实际情况进行设置,例如,设置为5到25中的任一个整数。优选地,将滤波核大小设置为7。即在以一个像素点为中心的7x7的框内取得最小值作为该像素点的值。
在一个实施例中,所述方法还包括:对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像;在本实施例中,步骤S130,叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像,具体包括:叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
其中,图像增强处理可以是指边缘增强、图像锐化、图像平滑、噪声压制等处理,具体处理方式依实际情况而定。具体地,由于图像的频域特征中的特性较为突出,更适于进行图像增强处理,因此,可以对能见度样本图像进行转换处理,得到能见度样本图像的频域图像。基于频域图像进行相关图像增强处理,得到增强空间域图像。进而将能见度样本图像,以及与能见度样本图像对应的暗通道图像和增强空间域图像在颜色通道上进行叠加,作为用于模型训练的能见度训练图像。
本实施例中,通过能见度样本图像进行转换和相应的图像增强处理,可以得到包含需要的增强特征的增强空间域图像;将能见度训练图像以及对应的暗通道图像和增强空间域图像进行叠加,生成用于模型训练的输入图像,可以提高能见度分类模型的识别性能。
在一个实施例中,如图2所示,对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像,可以通过以下步骤实现:
步骤S210,对能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像。
步骤S220,对频域图像进行高通滤波处理。
步骤S230,对滤波后的频域图像进行傅里叶逆变换处理,生成增强空间域图像。
在本实施例中,对能见度样本图像进行转换和图像增强处理的一种实施方式进行说明。具体地,在图像识别过程中,为了突出图像的边缘信息,加强图像的轮廓特征,以便于机器进行识别,通常需要使用边缘鲜明的图像。本实施例中,通过对能见度样本图像依次进行快速傅里叶变换和高通滤波处理,以得到包含清晰的边缘信息的增强空间域图像。
具体地,对能见度样本图像进行快速傅里叶变换,将能见度样本图像转换到频域,得到能见度样本图像的频域图像。一般来说,频域图像的能量主要集中在低频部分,高频部分能量被衰减。而图像边缘信息主要集中在高频部分。这将导致图像在图像边缘和图像轮廓模糊的情况出现。为了减少这类不利效果的影响,可以进一步通过对频域图像进行高通滤波处理,使频域图像的边缘变得清晰。如图3所示,图3(a)示例性地示出了一个能见度图像样本的频域图像,其中间部分为低频部分;图3(b)为对图3(a)的频域图像进行高通滤波得到的图像。将高通滤波之后的频域图像通过傅里叶逆变换转换为空间域图像,作为增强空间域图像。如图4所示,图4(a)示例性地示出了一个能见度样本图像,图4(b)为对图4(a)进行傅里叶变换和高通滤波处理得到的增强空间域图像,可以看出傅里叶变换和高通滤波处理主要的效果是对能见度样本图像的边缘信息进行了提取。
本实施例中,通过对能见度样本图像进行傅里叶变换和高通滤波处理,增强能见度样本图像的边缘特征,可以辅助表征能见度信息,从而提高能见度分类模型的识别性能。
在一个实施例中,能见度分类模型包括依次连接的输入部分和中间卷积部分;中间卷积部分包括下采样块,下采样块包括第一卷积块和第二卷积块;如图5所示,步骤S140,采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练,可以通过以下步骤实现:
步骤S510,通过输入部分对能见度训练图像进行处理,得到能见度输入特征。
步骤S520,将能见度输入特征输入至中间卷积部分的下采样块,通过第一卷积块对能见度输入特征进行卷积处理,得到第一能见度中间特征,第一卷积块对能见度输入特征进行卷积处理得到的相邻感受野无缝隙。
步骤S530,通过第二卷积块中的平均池化层对能见度输入特征进行卷积处理,得到第二能见度中间特征。
步骤S540,根据第一能见度中间特征和第二能见度中间特征,得到能见度目标特征。
步骤S550,根据能见度目标特征得到能见度的类别预测结果。
步骤S560,根据能见度的类别预测结果和对应的标签信息,对能见度分类模型进行训练。
在本实施例中,能见度分类模型采用改进后的ResNet模型。如图6所示,ResNet模型的网络结构包括输入部分、中间卷积部分和输出部分。输入部分包含相互连接的卷积层(Conv)和最大池化层(MaxPool)。其中,卷积层的卷积核为7×7,输出通道有64个,步幅为2;最大池化层的核为3×3,步幅为2。中间卷积部分包括四个阶段(Stage)。每个阶段包含依次连接的下采样块和残差块。其中,1~4阶段的残差块的数量分别为2个、3个、5个、2个。输出部分(与stage4连接的Output)包括2048个核为7×7,步幅为1的平均池化层,以及与平均池化层连接的全连接层。
图7中的(a)示出了原有的ResNet模型中的下采样块结构。如图7中的(a)所示,在每个阶段的下采样块中,存在第一卷积块(即图7中的路径A)和第二卷积块(即图7中的路径B)。其中,路径A称为瓶颈结构,目的是降低参数的数目,减少计算量。路径A具有三个卷积层:Conv1、Conv2和Conv3,Conv1、Conv2和Conv3的卷积核大小分别为1×1、3×3和1×1。Conv1的步幅为2,用于进行下采样处理;Conv2主要用于提取特征;Conv3用于完成通道的扩张。路径B使用步幅为2的1×1卷积层将输入形状变换为与路径A的输出相同的形状,从而可以对两个路径的输出求和以获得下采样块的输出。
但是,由于路径A中的Conv1的卷积核大小为1×1,但是步幅为2,使得Conv1的感受野存在间隙,从而导致信息丢失。同理,路径B的卷积层存在同样的问题。因此,在本实施例中,对原有的ResNet模型中的下采样块进行改进,形成改进后的ResNet模型,作为能见度分类模型。如图7中的(b)所示,将路径A中的Conv1的步幅修改为1;将Conv2的步幅修改为2,用于进行下采样处理,从而使得卷积层的感受野无缝隙。在路径B中增加一层核为2×2、步幅为2的平均池化层(AvgPool),用于进行下采样处理;将路径B中的原有卷积层步幅修改为1。
具体地,在得到能见度训练图像后,将能见度训练图像输入至能见度分类模型。通过能见度分类模型中的输入部分对能见度训练图像进行处理,将输出的特征作为能见度输入特征。然后,将能见度输入特征输入至中间卷积部分的Stage1中的下采样块,通过路径A中的Conv1、Conv2和Conv3依次对能见度输入特征进行卷积处理,得到第一能见度中间特征;通过路径B中的平均池化层和卷积层依次对能见度输入特征进行处理,得到第二能见度中间特征。融合第一能见度中间特征和第二能见度中间特征。将融合后的特征输入至依次连接的残差块进行处理。将得到的特征依次输入至Stage2、Stage3和Stage4中,直至得到能见度目标特征。最后,将能见度目标特征输入至输出部分,得到每个类别的预测类别概率,作为能见度的类别预测结果。采用预设的损失函数根据标签信息和预测类别概率计算损失值,并根据损失值更新能见度分类模型的参数,直至达到预设停止条件。
本实施例中,通过采用改进后的ResNet模型作为能见度分类模型,利用改进后的ResNet模型收敛速度更快且分类精度高的特点,可以增强能见度识别的效率;通过对ResNet模型进行改进,可以在不影响模型处理效率的情况下,避免信息的丢失,从而能够提高模型的识别精度。
在一个实施例中,如图8所示,步骤S140,采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练,可以通过以下步骤实现:
步骤S810,获取初始学习率和目标学习率。
步骤S820,将能见度训练图像输入至能见度分类模型。
步骤S830,随着能见度训练图像的输入批次调整初始学习率,直至达到目标学习率。
步骤S840,在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
其中,学习率作为监督学习以及深度学习中重要的超参,其决定着损失函数值能否收敛到局部最小值以及何时收敛到最小值。初始学习率是指模型训练开始后首先使用的学习率。目标学习率是指对学习率调整稳定后的固定学习率。
具体地,对学习率动态调整可以采用随着能见度训练图像的输入批次增大初始学习率或者减小初始学习率中的任何一种,依模型训练的实际情况而定。学习率的调整不限于采用有序调整(例如,等间隔调整、按需调整学习率、指数衰减调整、余弦退火等)、自适应调整和自定义调整等方式。
在一个实施例中,由于刚开始模型训练时,模型的权重是随机初始化的,此时若选择一个较大的学习率,可能会导致模型的不稳定。因此,可以采用预热学习率机制,即,在开始训练的预设批次(batch)内采用值较小的初始学习率。随着输入的能见度训练图像的增多,逐渐增加学习率的值,直至学习率达到预先配置的目标学习率。在该目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
示例性地,预先配置初始学习率0.00001,目标学习率为0.1。能见度训练样本图像的batch_size(批数)为256。在开始训练后,先使用初始学习率对模型进行训练。每经过一个batch之后对学习率进行调整,将学习率乘以10,则在经过4个batch之后,学习率达到目标学习率0.1。在目标学习率0.1下,对模型继续进行训练,直至达到预设停止条件。可以理解的是,上述初始学习率、目标学习率以及batch_size等参数可以依实际情况进行调整。
在一个实施例中,为了提高模型稳定性,避免因学习率太大跳过损失函的最小值,保证能够收敛到最小值。因此,可以在开始训练的预设批次内采用值较大的初始学习率。随着输入的能见度训练图像的增多,逐渐减小学习率的值,直至学习率达到目标学习率。在该目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
进一步地,为了进一步提高模型的性能,还可以采用较大的batch_size的方式进行模型训练。
本实施例中,通过在模型训练过程中采用动态调整学习机制,使模型在动态调整学习率下趋于稳定后,再通过预先配置的目标学习率对模型继续进行训练,可以加快模型的收敛速度、提高模型训练效率,且还可以提高模型的性能。
在一个实施例中,获取能见度样本图像,包括:获取原始能见度样本图像;对原始能见度样本图像进行数据增强处理,生成能见度样本图像。
其中,原始能见度样本图像是指还未经任何处理的图像。数据增强是指对图像进行处理生成新训练样本的技术。数据增强处理的方式不限于包括随机裁剪、水平翻转、裁剪、缩放等。具体地,在获取原始能见度样本图像后,采用预先配置的数据增强方式对原始能见度样本图像进行数据增强处理,生成能见度样本图像。需要注意的是,在数据增强的过程中需要保证能够保留能见度样本图像中大部分雾的信息。
本实施例中,通过对样本图像进行数据增强处理,可以增加训练样本的数据量,从而提高模型的泛化能力;还可以增加噪声数据,提升模型的鲁棒性。
在一个实施例中,如图9所示,提供了一种具体的能见度分类模型的训练方法,包括以下步骤:
步骤S901,获取能见度样本图像,以及能见度样本图像对应的标签信息。
其中,标签信息是指与类别对应的标注数据。类别可以用过能见度等级进行区分。示例性地,根据能见度距离将能见度分为八个等级。能见度距离≤200m(米)时,能见度等级设置为“0”;200m≤能见度距离<500m时,能见度等级设置为“1”;500m≤能见度距离<1000m时,能见度等级设置为“2”;1000m≤能见度距离<2000m时,能见度等级设置为“3”;2000m≤能见度距离<5000m时,能见度等级设置为“4”;5000m≤能见度距离<10000m时,能见度等级设置为“5”;10000m≤能见度距离<20000m时,能见度等级设置为“6”;能见度距离≥20000m时,能见度等级设置为“7”。
具体地,能见度样本图像可以采用一个或者多个图像采集装置采集得到。在采集过程中,保持图像采集设备水平放置并朝向观测站的某个方向。且在采集过程中,使图像视野不被遮挡,从而保证得到大部分的图像中的信息。进一步地,在采集过程中,可以对能见度样本图像数量较少的类别进行重采样,使各个类别的能见度样板图像的数量的趋于平衡。在采集能见度样本图像的同时,可以从图像采集装置附近的人工观测站获取当前能见度样本图像对应的观测记录。观测记录中包含当前的能见度距离。因此,可以根据观测记录中的能见度距离确定能见度等级,并根据能见度等级对能见度样本图像进行标注。
步骤S902,通过暗通道先验算法对能见度样本图像进行处理,得到能见度样本图像的暗通道图像。
步骤S903,对能见度样本图像进行傅里叶转换和高通滤波处理,得到能见度样本图像的增强空间域图像。对能见度样本图像进行傅里叶转换和高通滤波处理可以参考图2对应的实施例说明,在此不做具体阐述。
步骤S904,叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
具体地,能见度样本图像可以采用3颜色通道的彩色RGB(红、绿、蓝三色的色彩模式)图像。暗通道图像和增强空间域图像为单颜色通道的图像。将能见度样本图像,以及对应的暗通道图像和增强空间域图像在颜色通道层面进行叠加,生成5颜色通道的成能见度训练图像。
进一步地,在得到多个能见度训练图像后,可以对能见度训练图像进行划分,得到能见度训练样本集和能见度验证样本集。例如,将能见度训练图像中的80%作为能见度训练样本集,剩余的20%作为能见度验证样本集。
步骤S905,获取初始学习率和目标学习率。
步骤S906,将能见度训练图像输入至能见度分类模型。
其中,能见度分类模型采用改进后的ResNet模型。对ResNet模型进行改进的方式可以参考图5~图7对应的实施例说明,在此不做进一步限定。
步骤S907,随着能见度训练样本的输入增大初始学习率,直至达到目标学习率。
步骤S908,在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
具体地,将能见度训练样本集输入至待训练的能见度分类模型,通过能见度分类模型对能见度训练样本集进行预测,得到预测类别概率。采用预设的损失函数根据标签信息和预测类别概率计算损失值,并根据损失值更新能见度分类模型的参数,直至损失值达到最小值。然后,继续采用能见度验证样本集对损失值最小的模型进行测试,从中选择准确率最高的模型作为最终使用的能见度分类模型。
其中,预测类别概率可以采用softmax对能见度分类模型的输出进行归一化处理得到,softmax的表达式如下所示:
其中,i表示能见度的类别;m表示能见度类别的总数;zi表示第i个节点的输出值;σi(z)代表能见度样本图像属于第i类的概率。
假设是第i个类别的线性预测结果。先对zi每一个进行指数运算(exponential),将zi变成非负数;将得到的值除以所有项之和,得到归一化结果。将该归一化结果作为属于类别i的概率,或者似然(Likelihood)。
损失函数可以采用softmax loss(交叉熵损失函数),softmax loss的表达式如下所示:
其中,i代表类别,yi代表标签信息。
本申请提供的能见度估计方法,可以应用于终端或者服务器中。以应用于终端为例。具体地,终端获取待检测图像;将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到;其中,能见度训练图像通过以下方式中的任一种得到:叠加能见度样本图像以及能见度样本图像的暗通道图像;叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的空间域图像。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图10所示,提供了一种能见度估计方法,以该方法应用于终端为例进行说明,包括以下步骤:
步骤S1010,获取待检测图像。
步骤S1020,将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到;其中,能见度训练图像通过以下方式中的任一种得到:叠加能见度样本图像以及能见度样本图像的暗通道图像;叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的增强空间域图像。
其中,待检测图像是指待进行检测能见度等级的图像。能见度分类模型可以采用上述能见度分类模型的训练方法中的任一项实施例得到。能见度的类别检测结果是指能见度等级的概率。
具体地,在获取待检测图像后,通过已训练的能见度分类模型对待检测图像进行识别,得到待检测图像的每个能见度等级的概率。将最大的概率对应的能见度等级作为待检测图像的能见度等级。从能见度等级和能见度距离的对应的关系中,查询得到待检测图像对应的能见度距离。
上述能见度估计方法中,通过训练一种用于对能见度进行分类识别的深度学习模型,使能见度估计能够脱离专业能见度检测仪器,极大地简化了能见度估计的操作过程,且减少了能见度估计的成本;将能见度样本图像和能见度样本图像的暗通道图像共同作为训练模型的输入图像,利用暗通道图像能够较好的表征图像的是否有雾的特点,可以提高能见度分类模型的识别精度,进而提高能见度估计的精度。
应该理解的是,虽然图1-10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种能见度分类模型的训练装置,包括:获取模块1101、图像处理模块1102、叠加模块1103和模型训练模块1104,其中:
获取模块1101,用于获取能见度样本图像,以及能见度样本图像对应的标签信息;
图像处理模块1102,用于对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;
叠加模块1103,用于叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;
模型训练模块1104,用于采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,所述装置还包括:空间域图像处理模块,用于对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像;所述叠加模块,还用于叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
在一个实施例中,空间域图像处理模块,包括:转换单元,用于对能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像;高通滤波单元,用于对频域图像进行高通滤波处理;逆转换单元,用于对滤波后的频域图像进行傅里叶逆变换处理,生成增强空间域图像。
在一个实施例中,图像处理模块1102,包括:灰度图生成单元,用于对能见度样本图像中的每个像素点,获取各颜色通道值中的最小值,得到能见度样本图像的灰度图;最小滤波单元,用于对能见度样本图像的灰度图进行最小滤波处理,得到暗通道图像。
在一个实施例中,能见度分类模型包括依次连接的输入部分和中间卷积部分;中间卷积部分包括下采样块,下采样块包括第一卷积块和第二卷积块;模型训练模块1104,包括:输入特征生成单元,用于通过输入部分对能见度训练图像进行处理,得到能见度输入特征;第一下采样单元,用于将能见度输入特征输入至中间卷积部分的下采样块,通过第一卷积块对能见度输入特征进行卷积处理,得到第一能见度中间特征,第一卷积块对能见度输入特征进行卷积处理得到的相邻感受野无缝隙;第二下采样单元,用于通过第二卷积块中的平均池化层对能见度输入特征进行卷积处理,得到第二能见度中间特征;目标特征生成单元,用于根据第一能见度中间特征和第二能见度中间特征,得到能见度目标特征;预测单元,用于根据能见度目标特征得到能见度的类别预测结果;第一模型训练单元,用于根据能见度的类别预测结果和对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,模型训练模块1104,包括:获取单元,用于获取初始学习率和目标学习率;输入单元,用于将能见度训练图像输入至能见度分类模型;学习率更新单元,用于随着能见度训练图像的输入批次调整初始学习率,直至达到目标学习率;第二模型训练单元,用于在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
在一个实施例中,获取模块1101,包括:获取单元,用于获取原始能见度样本图像;数据增强单元,用于对原始能见度样本图像进行数据增强处理,生成能见度样本图像。
在一个实施例中,如图12所示,提供了一种能见度估计装置,包括:获取模块1201和类别估计模块1202,其中:
获取模块1201,用于获取待检测图像;
类别估计模块1202,用于将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到,能见度训练图像通过以下方式中的任一种得到:
叠加能见度样本图像以及能见度样本图像的暗通道图像;叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的增强空间域图像。
关于能见度分类模型的训练装置的具体限定可以参见上文中对于能见度分类模型的训练方法的限定,关于能见度估计装置的具体限定可以参见上文中对于能见度估计方法的限定,在此不再赘述。上述能见度分类模型的训练装置或者能见度估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种能见度分类模型的训练方法和(或)一种能见度估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取能见度样本图像,以及能见度样本图像对应的标签信息;对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,处理器执行计算机程序时实现以下步骤:
对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像;叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
在一个实施例中,处理器执行计算机程序时实现以下步骤:
对能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像;对频域图像进行高通滤波处理;对滤波后的频域图像进行傅里叶逆变换处理,生成增强空间域图像。
在一个实施例中,处理器执行计算机程序时实现以下步骤:
对能见度样本图像中的每个像素点,获取各颜色通道值中的最小值,得到能见度样本图像的灰度图;对能见度样本图像的灰度图进行最小滤波处理,得到暗通道图像。
在一个实施例中,能见度分类模型包括依次连接的输入部分和中间卷积部分;中间卷积部分包括下采样块,下采样块包括第一卷积块和第二卷积块;处理器执行计算机程序时实现以下步骤:
通过输入部分对能见度训练图像进行处理,得到能见度输入特征;将能见度输入特征输入至中间卷积部分的下采样块,通过第一卷积块对能见度输入特征进行卷积处理,得到第一能见度中间特征,第一卷积块对能见度输入特征进行卷积处理得到的相邻感受野无缝隙;通过第二卷积块中的平均池化层对能见度输入特征进行卷积处理,得到第二能见度中间特征;根据第一能见度中间特征和第二能见度中间特征,得到能见度目标特征;根据能见度目标特征得到能见度的类别预测结果;根据能见度的类别预测结果和对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,处理器执行计算机程序时实现以下步骤:
获取初始学习率和目标学习率;将能见度训练图像输入至能见度分类模型;
随着能见度训练图像的输入批次调增初始学习率,直至达到目标学习率;在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
在一个实施例中,处理器执行计算机程序时实现以下步骤:
获取原始能见度样本图像;对原始能见度样本图像进行数据增强处理,生成能见度样本图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取能见度样本图像,以及能见度样本图像对应的标签信息;对能见度样本图像进行处理,得到能见度样本图像的暗通道图像;叠加能见度样本图像以及对应的暗通道图像,生成能见度训练图像;采用能见度训练图像以及对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
对能见度样本图像进行转换和图像增强处理,得到能见度样本图像的增强空间域图像;叠加能见度样本图像以及对应的暗通道图像和增强空间域图像,生成能见度训练图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
对能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像;对频域图像进行高通滤波处理;对滤波后的频域图像进行傅里叶逆变换处理,生成增强空间域图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
对能见度样本图像中的每个像素点,获取各颜色通道值中的最小值,得到能见度样本图像的灰度图;对能见度样本图像的灰度图进行最小滤波处理,得到暗通道图像。
在一个实施例中,能见度分类模型包括依次连接的输入部分和中间卷积部分;中间卷积部分包括下采样块,下采样块包括第一卷积块和第二卷积块;计算机程序被处理器执行时实现以下步骤:
通过输入部分对能见度训练图像进行处理,得到能见度输入特征;将能见度输入特征输入至中间卷积部分的下采样块,通过第一卷积块对能见度输入特征进行卷积处理,得到第一能见度中间特征,第一卷积块对能见度输入特征进行卷积处理得到的相邻感受野无缝隙;通过第二卷积块中的平均池化层对能见度输入特征进行卷积处理,得到第二能见度中间特征;根据第一能见度中间特征和第二能见度中间特征,得到能见度目标特征;根据能见度目标特征得到能见度的类别预测结果;根据能见度的类别预测结果和对应的标签信息,对能见度分类模型进行训练。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
获取初始学习率和目标学习率;将能见度训练图像输入至能见度分类模型;随着能见度训练图像的输入批次调整初始学习率,直至达到目标学习率;在目标学习率下,继续将能见度训练图像输入至能见度分类模型,对能见度分类模型进行训练,直至达到预设停止条件。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
获取原始能见度样本图像;对原始能见度样本图像进行数据增强处理,生成能见度样本图像。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检测图像;将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到;其中,能见度训练图像通过以下方式中的任一种得到:叠加能见度样本图像以及能见度样本图像的暗通道图像;叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的增强空间域图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检测图像;将待检测图像输入至能见度分类模型,得到能见度的类别检测结果,能见度检测模型根据能见度训练图像及对应的标签信息训练得到;其中,能见度训练图像通过以下方式中的任一种得到:叠加能见度样本图像以及能见度样本图像的暗通道图像;叠加能见度样本图像、能见度样本图像的暗通道图像以及能见度样本图像的增强空间域图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种能见度分类模型的训练方法,其特征在于,所述方法包括:
获取能见度样本图像,以及所述能见度样本图像对应的标签信息;
对所述能见度样本图像进行处理,得到所述能见度样本图像的暗通道图像;
叠加所述能见度样本图像以及对应的所述暗通道图像,生成能见度训练图像;
采用所述能见度训练图像以及对应的所述标签信息,对能见度分类模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述能见度样本图像进行转换和图像增强处理,得到所述能见度样本图像的增强空间域图像;
所述叠加所述能见度样本图像以及对应的所述暗通道图像,生成能见度训练图像,包括:
叠加所述能见度样本图像以及对应的所述暗通道图像和所述增强空间域图像,生成所述能见度训练图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述能见度样本图像进行转换和图像增强处理,得到所述能见度样本图像的增强空间域图像,包括:
对所述能见度样本图像进行快速傅里叶变换处理,生成对应的频域图像;
对所述频域图像进行高通滤波处理;
对滤波后的所述频域图像进行傅里叶逆变换处理,生成所述增强空间域图像。
4.根据权利要求1所述的方法,其特征在于,所述对所述能见度样本图像进行处理,得到所述能见度样本图像的暗通道图像,包括:
对所述能见度样本图像中的每个像素点,获取各颜色通道值中的最小值,得到所述能见度样本图像的灰度图;
对所述能见度样本图像的灰度图进行最小滤波处理,得到所述暗通道图像。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述能见度分类模型包括依次连接的输入部分和中间卷积部分;所述中间卷积部分包括下采样块,所述下采样块包括第一卷积块和第二卷积块;所述采用所述能见度训练图像以及对应的所述标签信息,对所述能见度分类模型进行训练,包括:
通过所述输入部分对所述能见度训练图像进行处理,得到能见度输入特征;
将所述能见度输入特征输入至所述中间卷积部分的下采样块,通过所述第一卷积块对所述能见度输入特征进行卷积处理,得到第一能见度中间特征,所述第一卷积块对所述能见度输入特征进行卷积处理得到的相邻感受野无缝隙;
通过所述第二卷积块中的平均池化层对所述能见度输入特征进行卷积处理,得到第二能见度中间特征;
根据所述第一能见度中间特征和所述第二能见度中间特征,得到能见度目标特征;
根据所述能见度目标特征得到能见度的类别预测结果;
根据所述能见度的类别预测结果和对应的所述标签信息,对所述能见度分类模型进行训练。
6.根据权利要求1~4任一项所述的方法,其特征在于,所述采用所述能见度训练图像以及对应的所述标签信息,对所述能见度分类模型进行训练,包括:
获取初始学习率和目标学习率;
将所述能见度训练图像输入至所述能见度分类模型;
随着所述能见度训练图像的输入批次调整所述初始学习率,直至达到所述目标学习率;
在所述目标学习率下,继续将所述能见度训练图像输入至所述能见度分类模型,对所述能见度分类模型进行训练,直至达到预设停止条件。
7.根据权利要求1~4任一项所述的方法,其特征在于,所述获取能见度样本图像,包括:
获取原始能见度样本图像;
对所述原始能见度样本图像进行数据增强处理,生成所述能见度样本图像。
8.一种能见度估计方法,其特征在于,包括:
获取待检测图像;
将所述待检测图像输入至能见度分类模型,得到能见度的类别检测结果,所述能见度检测模型根据能见度训练图像及对应的标签信息训练得到;
其中,所述能见度训练图像通过以下方式中的任一种得到:
叠加能见度样本图像以及所述能见度样本图像的暗通道图像;
叠加所述能见度样本图像、所述能见度样本图像的暗通道图像以及所述能见度样本图像的增强空间域图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010780831.0A CN111898693A (zh) | 2020-08-06 | 2020-08-06 | 能见度分类模型的训练方法、能见度估计方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010780831.0A CN111898693A (zh) | 2020-08-06 | 2020-08-06 | 能见度分类模型的训练方法、能见度估计方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111898693A true CN111898693A (zh) | 2020-11-06 |
Family
ID=73246506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010780831.0A Pending CN111898693A (zh) | 2020-08-06 | 2020-08-06 | 能见度分类模型的训练方法、能见度估计方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898693A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801195A (zh) * | 2021-02-04 | 2021-05-14 | 四川望村网络科技有限公司 | 一种基于深度学习的雾天能见度预测方法,存储装置及服务器 |
CN114880958A (zh) * | 2022-07-12 | 2022-08-09 | 南京气象科技创新研究院 | 一种基于多气象因子智能深度学习的能见度预报模型 |
CN116030057A (zh) * | 2023-03-29 | 2023-04-28 | 中国电子科技集团公司第五十四研究所 | 一种基于注意力机制的遥感影像能见度估计方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106404720A (zh) * | 2016-08-24 | 2017-02-15 | 中国气象科学研究院 | 一种能见度观测方法 |
CN107506729A (zh) * | 2017-08-24 | 2017-12-22 | 中国科学技术大学 | 一种基于深度学习的能见度检测方法 |
CN109214331A (zh) * | 2018-08-30 | 2019-01-15 | 南京邮电大学 | 一种基于图像频谱的交通雾霾能见度检测方法 |
CN109741322A (zh) * | 2019-01-08 | 2019-05-10 | 南京蓝绿物联科技有限公司 | 一种基于机器学习的能见度测量方法 |
CN109740673A (zh) * | 2019-01-02 | 2019-05-10 | 天津工业大学 | 一种融合暗通道的神经网络烟雾图像分类方法 |
CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及系统 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
-
2020
- 2020-08-06 CN CN202010780831.0A patent/CN111898693A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106404720A (zh) * | 2016-08-24 | 2017-02-15 | 中国气象科学研究院 | 一种能见度观测方法 |
CN107506729A (zh) * | 2017-08-24 | 2017-12-22 | 中国科学技术大学 | 一种基于深度学习的能见度检测方法 |
CN109214331A (zh) * | 2018-08-30 | 2019-01-15 | 南京邮电大学 | 一种基于图像频谱的交通雾霾能见度检测方法 |
CN109740673A (zh) * | 2019-01-02 | 2019-05-10 | 天津工业大学 | 一种融合暗通道的神经网络烟雾图像分类方法 |
CN109741322A (zh) * | 2019-01-08 | 2019-05-10 | 南京蓝绿物联科技有限公司 | 一种基于机器学习的能见度测量方法 |
CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及系统 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
Non-Patent Citations (1)
Title |
---|
石玉立;王彬;卜帆;: "基于图像特征的大气能见度估算方法", 南京理工大学学报, no. 05, 30 October 2018 (2018-10-30) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801195A (zh) * | 2021-02-04 | 2021-05-14 | 四川望村网络科技有限公司 | 一种基于深度学习的雾天能见度预测方法,存储装置及服务器 |
CN114880958A (zh) * | 2022-07-12 | 2022-08-09 | 南京气象科技创新研究院 | 一种基于多气象因子智能深度学习的能见度预报模型 |
CN116030057A (zh) * | 2023-03-29 | 2023-04-28 | 中国电子科技集团公司第五十四研究所 | 一种基于注意力机制的遥感影像能见度估计方法 |
CN116030057B (zh) * | 2023-03-29 | 2023-06-09 | 中国电子科技集团公司第五十四研究所 | 一种基于注意力机制的遥感影像能见度估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111222474B (zh) | 一种任意尺度的高分辨率图像小目标检测方法 | |
CN110929607B (zh) | 一种城市建筑物施工进度的遥感识别方法和系统 | |
CN111898693A (zh) | 能见度分类模型的训练方法、能见度估计方法、装置 | |
CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
CN111126258A (zh) | 图像识别方法及相关装置 | |
CN106897681B (zh) | 一种遥感图像对比分析方法及系统 | |
CN108230354B (zh) | 目标跟踪、网络训练方法、装置、电子设备和存储介质 | |
CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
CN115035295B (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
CN114332977A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
CN112084864A (zh) | 模型优化方法、装置、电子设备和存储介质 | |
CN114385662A (zh) | 路网更新方法、装置、存储介质及电子设备 | |
CN115761552B (zh) | 面向无人机机载平台的目标检测方法、设备及介质 | |
CN110442719B (zh) | 一种文本处理方法、装置、设备及存储介质 | |
CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
CN112232102A (zh) | 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统 | |
CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
CN113205451A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
Cong et al. | Salient man-made object detection based on saliency potential energy for unmanned aerial vehicles remote sensing image | |
CN115580721B (zh) | 变电站设备监控视频的质量检测方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |