CN112801195A - 一种基于深度学习的雾天能见度预测方法，存储装置及服务器 - Google Patents

一种基于深度学习的雾天能见度预测方法，存储装置及服务器 Download PDF

Info

Publication number
CN112801195A
CN112801195A CN202110154431.3A CN202110154431A CN112801195A CN 112801195 A CN112801195 A CN 112801195A CN 202110154431 A CN202110154431 A CN 202110154431A CN 112801195 A CN112801195 A CN 112801195A
Authority
CN
China
Prior art keywords
image
features
branch
layer
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110154431.3A
Other languages
English (en)
Inventor
张秀才
李彬
刘天宇
周伟
税强
杨宁
吴明洋
易军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wangcun Network Technology Co ltd
Original Assignee
Sichuan Wangcun Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wangcun Network Technology Co ltd filed Critical Sichuan Wangcun Network Technology Co ltd
Priority to CN202110154431.3A priority Critical patent/CN112801195A/zh
Publication of CN112801195A publication Critical patent/CN112801195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于多任务与特征融合网络的雾天能见度等级预测的方法，首先，获取预处理后的雾天图像，然后，通过暗通道先验的方法得到去雾图像，再将图片输入到多任务网络的生成分支进行雾气图像的训练，然后通过预测分支对于能见度等级进行分类训练，再将两个分支合并训练，最后使用训练后的多任务神经网络对给定图片进行雾天能见度等级的分类。与现有技术相比，本发明在对雾天能见度等级进行分类时关注雾气本身这一特征，并且进行了特征融合，能够准确的预测出雾天能见度等级。

Description

一种基于深度学习的雾天能见度预测方法，存储装置及服 务器
技术领域
本发明涉及图像处理，人工智能等技术领域，具体涉及一种基于深度学习的雾天能见度预测方法。
背景技术
能见度是指视力正常的人能从背景中识别出目标的最大距离，是影响航空、航海与城市交通安全的重要影响指标。相比于造价高昂的专业能见度仪器，监控摄像头成本更低，所以基于监控视频图像对能见度做出估计，在公共交通安全、气象学等领域具有重要价值。
传统的基于图像的能见度测量方法主要是应用数字图像处理技术和机器学习算法来对能见度进行测量。如今我们的硬件水平已经很高，监控摄像头已经十分普及，各类智能算法更是层出不穷，因此基于图像的能见度测量方法再次引起学术界和工业界的关注，并且许多已经投入到实际应用之中。
目前已有研究者提出神经网络对能见度进行预测，但仍存在不足之处：现有的神经网络多关注于物体在雾气下的特征变化，忽视了雾气本身的特征，从而导致最终对于雾天能见度等级预测不准确的问题。
发明内容
为了解决现有技术中雾天能见度等级预测不准确的问题，本发明提供一种基于深度学习的雾天能见度预测方法，包括以下步骤：
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
进一步的，步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖，像素替换方式如下：
Figure BDA0002934037810000021
其中y为原图像(x,y)位置的像素值，采用其上下区域的像素进行替换，省略x；ys为信息戳区域中心点像素值，hs为信息戳区域高度。
进一步的，步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到。其表达式如下：
Figure BDA0002934037810000031
其中
Figure BDA0002934037810000032
表示按元素相加，f1 3×3表示卷积核尺寸为3x3，步长为1的卷积层，f1 1×1表示卷积核尺寸为1x1，步长为1的卷积层；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计，其表达式如下：
Figure BDA0002934037810000033
其中
Figure BDA0002934037810000034
表示卷积核尺寸为3x3，步长为2的卷积层，用于代替Maxpool层，将特征分辨率变为原本的1/2；{P3，P4，P5}与{F3，F4，F5}每一层相互对应，具有相同的空间尺寸与通道尺寸。
进一步的，步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和，损失函数如下：
Figure BDA0002934037810000041
其中θ是一组可学习的网络参数，N表示样本数量，Xj表示一个输入的样本，E代表雾气图片生成任务中估计的雾气图片像素值和Gk代表雾气图片生成任务中真实的雾气图片像素值；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况，其损失函数如下：
Figure BDA0002934037810000042
其中N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本。
进一步的，将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合，总体损失函数如下：
Figure BDA0002934037810000043
其中θ是一组可学习的网络参数，N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本，λ作为权重平衡LCCE与LMSE损失，E和G分别代表雾气图片生成任务中真实的雾气图片与估计的雾气图片像素值。
本发明还提供一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
进一步的，步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖，像素替换方式如下：
Figure BDA0002934037810000051
其中y为原图像(x,y)位置的像素值，采用其上下区域的像素进行替换，省略x；ys为信息戳区域中心点像素值，hs为信息戳区域高度；
步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到。其表达式如下：
Figure BDA0002934037810000061
其中
Figure BDA0002934037810000062
表示按元素相加，f1 3×3表示卷积核尺寸为3x3，步长为1的卷积层，f1 1×1表示卷积核尺寸为1x1，步长为1的卷积层；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计，其表达式如下：
Figure BDA0002934037810000071
其中
Figure BDA0002934037810000072
表示卷积核尺寸为3x3，步长为2的卷积层，用于代替Maxpool层，将特征分辨率变为原本的1/2；{P3，P4，P5}与{F3，F4，F5}每一层相互对应，具有相同的空间尺寸与通道尺寸；
步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和，损失函数如下：
Figure BDA0002934037810000073
其中θ是一组可学习的网络参数，N表示样本数量，Xj表示一个输入的样本，E和G分别代表雾气图片生成任务中真实的雾气图片与估计的雾气图片像素值；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况，其损失函数如下：
Figure BDA0002934037810000074
其中N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本；
将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合，总体损失函数如下：
Figure BDA0002934037810000081
其中θ是一组可学习的网络参数，N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本，λ作为权重平衡LCCE与LMSE损失，E和G分别代表雾气图片生成任务中真实的雾气图片与估计的雾气图片像素值。
本发明还提供一种服务器，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
进一步的，步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖，像素替换方式如下：
Figure BDA0002934037810000091
其中y为原图像(x,y)位置的像素值，采用其上下区域的像素进行替换，省略x；ys为信息戳区域中心点像素值，hs为信息戳区域高度；
步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到。其表达式如下：
Figure BDA0002934037810000101
其中
Figure BDA0002934037810000102
表示按元素相加，f1 3×3表示卷积核尺寸为3x3，步长为1的卷积层，f1 1×1表示卷积核尺寸为1x1，步长为1的卷积层；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计，其表达式如下：
Figure BDA0002934037810000103
其中
Figure BDA0002934037810000104
表示卷积核尺寸为3x3，步长为2的卷积层，用于代替Maxpool层，将特征分辨率变为原本的1/2；{P3，P4，P5}与{F3，F4，F5}每一层相互对应，具有相同的空间尺寸与通道尺寸；
步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和，损失函数如下：
Figure BDA0002934037810000105
其中θ是一组可学习的网络参数，N表示样本数量，Xj表示一个输入的样本,E代表雾气图片生成任务中估计的雾气图片像素值和Gk代表雾气图片生成任务中真实的雾气图片像素值；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况，其损失函数如下：
Figure BDA0002934037810000111
其中N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本；
将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合，总体损失函数如下：
Figure BDA0002934037810000112
其中θ是一组可学习的网络参数，N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本，λ作为权重平衡LCCE与LMSE损失，E和G分别代表雾气图片生成任务中真实的雾气图片与估计的雾气图片像素值。
本发明的有益效果是，将雾气图与原始输入图像进行特征融合，使神经网络在提取图像中的场景特征时，更多地关注雾气的自身特征，最终得到更为准确的能见度等级预测，可以在不借助专业设备的情况下，从寻常的监控图片中端到端的直接获取大气能见度。该网络在分类网络的基础上，结合现有去雾算法的优点，引入生成网络结构，生成雾气图。并将雾气图与原始输入图像进行特征融合，使神经网络在提取图像中的场景特征时，更多地关注雾气的自身特征，最终得到能见度估计。
附图说明
图1为基于深度学习的雾天能见度预测方法流程图；
图2为采集到的原始图像；
图3为预处理后的图像；
图4为神经网络整体结构图；
图5为生成网络示意图；
图6为预测网络示意图。
具体实施方式
本申请实施例通过提供一种基于深度学习的雾天能见度预测方法，以解决现有技术中对雾气关注度不高，能见度等级分类不准确的技术问题。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细的说明。
实施例1
如图1所示，一种基于深度学习的雾天能见度预测方法，该方法包括以下步骤：
S1：通过图像采集设备，获取雾天图像，并对图像进行预处理；
在本实施样例中，需先对雾天图像中的噪音部分进行处理，对于图像中左上与右下浮于画面上方的时间及位置信息显示区域，如图(2)，使用相邻无字符的矩形区域对该区域进行遮盖，像素替换方式如下：
Figure BDA0002934037810000131
其中y为原图像(x,y)位置的像素值，在图(2)中为(21，25)，(296，45)，由于信息戳区域通常呈长方形，故采用其上下区域的像素进行替换，省略x；ys为信息戳区域中心点，像素值为35，hs是信息戳区域的高度，像素值为20，图(3)为处理后的照片。
S2：对预处理过后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
在本实施样例中，搭建的网络由生成分支和预测分支组成。生成分支由VGG16网络模型的前十层与一个反卷积层组成，用以生成雾气图像，其网络结构如图(5)所示，该分支生成在骨架网络输入为224x224分辨率的图像，输出C1特征，其分辨率为28x28，是输入图像的1/8。对C1特征应用骨架网络得到C2特征，其分辨率为14x14，是输入图像的1/16。再对C2特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到C3特征，其分辨率为28x28，是输入图像的1/8。最后对C3特征作1x1卷积，生成雾气图片He。
预测分支将5个特征图融合作为输入，输出为5个雾天能见度等级分类。该融合过程包括以下步骤：
S31.自底向上的特征提取网络：本文的特征融合是从一条自底向上的特征网络路径中提取所需特征进行融合。同时{C2，C3}代表的生成雾气图片特征与{C4，C5}代表的原始图片特征，由于其各自网络分支的任务不同，提取出的特征具有不同的侧重，通过融合上述特征，可以使神经网络分类器获取更多特征，提升能见度估计精度。
具有相同大小的特征图处于网络特征提取的相同阶段，故可认为{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，加强不同通道之间特征的学习，保证特征的平滑度，并按元素相加随后将特征传入中部分支。
S32.自顶向下的中间融合结构：图(6)中的{P3，P4，P5}特征图就是自底向上的中间融合路径。其中P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到，其表达式如下：
Figure BDA0002934037810000141
其中
Figure BDA0002934037810000142
表示按元素相加，f1 3×3表示卷积核尺寸为3x3，步长为1的卷积层，f1 1×1表示卷积核尺寸为1x1，步长为1的卷积层。中部的自顶向下连接分支每经过一次向下传递，均经历一次上采样，使其分辨率变为原来的2倍，为保留更多特征，这里的上采样采用2倍最邻近上采样，而非线性插值，其表达式如下：
Figure BDA0002934037810000143
其中src为原始图像，dst为插值后图像。最终产生的{P3，P4，P5}与{C3，C4，C5}具有相同的空间尺寸，通道尺寸统一为224。上式中f()表示2倍最邻近上采样函数。
S33.横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，融合高语义特征与底层的纹理细节特征。同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使其分辨率变为原本的1/2，再向上融合，以消除上采样过程带来的重叠效应，并进一步提取特征，最终生成特征图{F3，F4，F5}进行能见度估计，其中F3特征图由P3特征经过3x3的卷积直接得到，F4与F5特征图经由Pi特征与经过3x3卷积并经过一个最大池化层缩小尺寸的Fi-1特征按元素相加，再经过一次3x3卷积提取特征得到，其表达式如下：
Figure BDA0002934037810000151
其中
Figure BDA0002934037810000152
表示卷积核尺寸为3x3，步长为2的卷积层，用于代替Maxpool层，将特征分辨率变为原本的1/2。{P3，P4，P5}与{F3，F4，F5}每一层相互对应，具有相同的空间尺寸与通道尺寸。
S4：使用神经网络分别训练雾气图像生成和雾天能见度预测；
S41：使用生成网络分支训练生成雾气图像。在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和，该损失函数对图像的局部相关性约束较弱，能更好地使神经网络学习到图像物体边缘以外的特征，损失函数如下：
Figure BDA0002934037810000153
其中θ是一组可学习的网络参数，N表示样本数量，Xj表示一个输入的样本，E代表雾气图片生成任务中估计的雾气图片像素值和Gk代表雾气图片生成任务中真实的雾气图片像素值；
S42：使用预测分支对雾天能见度等级进行分类。该任务中使用交叉熵损失函数LCCE(Categorical Cross Entropy，CCE)评估能见度分类，训练得到的概率分布与真实分布之间的差异情况，其损失函数如下：
Figure BDA0002934037810000161
其中N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本。
S5：将生成分支和预测分支合并进行训练；
将在预测分支中使用交叉熵损失函数LCCE(Categorical Cross Entropy，CCE)，与在生成分支中使用的均方误差MSE两个函数结合在一起，总体损失函数如下：
Figure BDA0002934037810000162
其中θ是一组可学习的网络参数，N表示样本数量，C是能见度预测的类别数量，yi表示该类别的真实标签值，fi(x)表示该类别的预测值，Xj表示一个输入的样本，λ作为权重平衡LCCE与LMSE损失，E代表雾气图片生成任务中估计的雾气图片像素值和Gk代表雾气图片生成任务中真实的雾气图片像素值；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度。
实施例2
一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
本实施例中各步骤的具体执行内容与实施例1相同。
实施例3
一种服务器，其特征在于，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
本实施例中各步骤的具体执行内容与实施例1相同。
本申请的上述实施例中，通过提供一种基于多任务与特征融合神经网络的雾天能见度等级预测方法，首先，获取预处理后的雾天图像，然后，通过暗通道先验的方法得到去雾图像，再将图片输入到多任务网络的生成分支进行雾气图像的训练，然后通过分类分支对于能见度等级进行分类训练，再将两个分支合并训练，最后使用训练后的多任务神经网络对给定图片进行雾天能见度等级的预测。该方法在对雾天能见度等级进行预测时关注雾气本身这一特征，并且进行了特征融合，能够准确的预测出雾天能见度等级。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的雾天能见度预测方法，该方法包括以下步骤：
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
2.根据权利要求1所述的一种基于深度学习的雾天能见度预测方法，其特征在于，步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖。
3.根据权利要求1所述的一种基于深度学习的雾天能见度预测方法，其特征在于S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计。
4.根据权利要求1所述的生成分支和预测分支分别训练的方法，其特征在于，步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况。
5.根据权利要求1所述的一种基于深度学习的雾天能见度预测方法，其特征在于，将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合。
6.一种存储设备，其中存储有多条指令，其特征在于，所述指令适于由处理器加载并执行
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
7.如权利要求6所述的一种存储设备，其特征在于，
步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖；
步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计；
步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况；
将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合。
8.一种服务器，其特征在于，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；
S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；
S3：搭建雾气图像生成和雾天能见度预测神经网络；
S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；
S5：将生成分支与预测分支合并进行训练；
S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。
9.如权利要求8所述的一种服务器，其特征在于，
步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖；
步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片He；
预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：
自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；
自顶向下的中间融合结构：其中C5为C4经过一个最大池化层后生成的特征，P5特征图由C5特征经过3x3的卷积直接得到，P4与P3特征图经由经过1x1卷积后的{Ci，Ci-2}特征与上采样后的Pi-1特征按元素相加后，再经由一个3x3的卷积得到；
横向连接与卷积融合结构：对中间结构的特征{P3，P4，P5}各自应用3x3的卷积，同时融合后的底层特征需再经过一次3x3的卷积，并应用步长为2的最大池化，使中间结构的特征分辨率变为原本的1/2，再向上融合，生成特征图{F3，F4，F5}进行能见度估计；
步骤s5包括：
S51：使用生成分支训练生成雾气图像，在该任务中使用均方误差MSE衡量雾气估计图与求得的真实雾气图之间像素的欧氏距离的总和；
S52：使用预测分支对雾天能见度进行预测，将5个特征图融合作为输入，输出为5个雾天能见度等级分类,该任务中使用交叉熵损失函数LCCE评估能见度分类，训练得到的概率分布与真实分布之间的差异情况；
将在预测分支中使用交叉熵损失函数LCCE，与在生成分支中使用的均方误差MSE两个函数结合。
CN202110154431.3A 2021-02-04 2021-02-04 一种基于深度学习的雾天能见度预测方法，存储装置及服务器 Pending CN112801195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110154431.3A CN112801195A (zh) 2021-02-04 2021-02-04 一种基于深度学习的雾天能见度预测方法，存储装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110154431.3A CN112801195A (zh) 2021-02-04 2021-02-04 一种基于深度学习的雾天能见度预测方法，存储装置及服务器

Publications (1)

Publication Number Publication Date
CN112801195A true CN112801195A (zh) 2021-05-14

Family

ID=75814198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154431.3A Pending CN112801195A (zh) 2021-02-04 2021-02-04 一种基于深度学习的雾天能见度预测方法，存储装置及服务器

Country Status (1)

Country Link
CN (1) CN112801195A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658275A (zh) * 2021-08-23 2021-11-16 深圳市商汤科技有限公司 能见度值的检测方法、装置、设备及存储介质
CN116245268A (zh) * 2023-04-12 2023-06-09 中国水产科学研究院南海水产研究所 一种渔业渔船捕捞路线规划方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105424655A (zh) * 2015-11-04 2016-03-23 北京交通大学 一种基于视频图像的能见度检测方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN110298809A (zh) * 2019-07-08 2019-10-01 广东工业大学 一种图像去雾方法及装置
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111814753A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 针对雾天条件下的目标检测方法和装置
CN111898693A (zh) * 2020-08-06 2020-11-06 上海眼控科技股份有限公司 能见度分类模型的训练方法、能见度估计方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105424655A (zh) * 2015-11-04 2016-03-23 北京交通大学 一种基于视频图像的能见度检测方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN110298809A (zh) * 2019-07-08 2019-10-01 广东工业大学 一种图像去雾方法及装置
CN111898693A (zh) * 2020-08-06 2020-11-06 上海眼控科技股份有限公司 能见度分类模型的训练方法、能见度估计方法、装置
CN111814753A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 针对雾天条件下的目标检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘树春，贺盼，马建奇，王佳军作: "《深度实践OCR 基于深度学习的文字识别》", 北京：机械工业出版社, pages: 204 - 206 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658275A (zh) * 2021-08-23 2021-11-16 深圳市商汤科技有限公司 能见度值的检测方法、装置、设备及存储介质
CN116245268A (zh) * 2023-04-12 2023-06-09 中国水产科学研究院南海水产研究所 一种渔业渔船捕捞路线规划方法、系统及介质

Similar Documents

Publication Publication Date Title
CN111210435B (zh) 一种基于局部和全局特征增强模块的图像语义分割方法
CN110909642A (zh) 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN109146831A (zh) 基于双支深度学习网络的遥感图像融合方法及系统
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
US20200034664A1 (en) Network Architecture for Generating a Labeled Overhead Image
CN112801195A (zh) 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
Xiao et al. Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring
CN115131281A (zh) 变化检测模型训练和图像变化检测方法、装置及设备
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN114943888B (zh) 基于多尺度信息融合的海面小目标检测方法
CN111079807B (zh) 一种地物分类方法及装置
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN116543227A (zh) 基于图卷积网络的遥感图像场景分类方法
CN116883841A (zh) 一种基于多任务优化的萱草叶片病害检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination