CN116596792B - 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 - Google Patents

一种面向智能船舶的内河雾天场景恢复方法、系统及设备 Download PDF

Info

Publication number
CN116596792B
CN116596792B CN202310579942.9A CN202310579942A CN116596792B CN 116596792 B CN116596792 B CN 116596792B CN 202310579942 A CN202310579942 A CN 202310579942A CN 116596792 B CN116596792 B CN 116596792B
Authority
CN
China
Prior art keywords
image
foggy
defogging
mixed
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310579942.9A
Other languages
English (en)
Other versions
CN116596792A (zh
Inventor
郑元洲
钱龙
刘欣宇
吕学孟
曹靖欣
李磊
张远锋
黄海超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310579942.9A priority Critical patent/CN116596792B/zh
Publication of CN116596792A publication Critical patent/CN116596792A/zh
Application granted granted Critical
Publication of CN116596792B publication Critical patent/CN116596792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/40—Protecting water resources
    • Y02A20/402—River restoration

Abstract

本发明属于有雾图像处理技术领域，公开了一种面向智能船舶的内河雾天场景恢复方法、系统及设备，面向智能船舶的内河雾天场景恢复方法包括：利用基于混合空洞卷积结合AOD‑Net模型构建的去雾网络结构对有雾图像提取图像特征信息，得到无雾图像；利用所述混合注意力模块ECPA赋予图像薄雾和浓雾区域不同的权重；利用混合损失函数进行网络训练，得到清晰的去雾图像。本发明的面向智能船舶的内河雾天场景恢复方法在不同雾天场景下均可实现较好的去雾效果，可以得到更加清晰自然的内河场景，为智能船舶的视觉感知提供技术保障，进一步推动船舶智能化发展。

Description

一种面向智能船舶的内河雾天场景恢复方法、系统及设备
技术领域
本发明属于有雾图像处理技术领域，尤其涉及一种面向智能船舶的内河雾天场景恢复方法、系统及设备。
背景技术
目前，雾霾作为一种常见的自然现象，由大气中的悬浮颗粒等强散射介质形成，在图像采集过程中，这些悬浮介质干扰了成像过程中场景反射光的传播，导致成像结果亮度降低及颜色暗淡。与此同时，随着目标深度的增加，大气光等环境因素也会导致目标反射光能量的衰减，造成成像结果模糊不清。目前，智能船舶发展迅速，已由实验阶段逐渐向实用阶段转变，其发展核心在于保障船舶航行安全，而船舶安全航行的关键在于对周围航行环境的有效感知，并及时做出正确的决策，计算机视觉感知作为一种辅助手段已广泛用于船舶航行环境感知。然而内河航行环境复杂多变，受雾霾天气的影响，船载视觉传感器所采集到的图像或视频，经常出现能见度低、对比度差、背景昏暗以及细节信息丢失等问题，一定程度上影响了其他中级和高级视觉任务，如目标检测及跟踪。因此，如何有效地从有雾图像中恢复真实场景成为智能船舶安全领域的关键问题。
近年来，图像去雾算法不断发展，根据雾霾处理方式的不同，可分为图像增强去雾算法、图像复原去雾算法以及基于深度学习的去雾算法三大类。图像增强去雾算法不考虑图像退化的物理模型，通过增强对比度来提高图像质量，突出图像特征，具有较低的计算复杂度以保证算法实时性。其中直方图均衡化算法基于图像具有均匀分布的灰度级时突显信息越多的原理，将图像直方图进行均匀化处理从而增强图像对比度，放大图像的细节信息，但对轮廓信息影响较大，易造成失真。因此，现有技术1利用整数小波变换的无损及可逆转性，分离图像的细节和轮廓信息，然后进行均衡化处理，使去雾后的图像得以保留更多的高层信息。现有技术2首先使用直方图均衡化进行图像增强，然后利用引导滤波机制恢复均衡化后丢失的细节信息，并在执行去雾算法之前进行白平衡处理，使去雾图像更加自然。现有技术3具有动态范围压缩和颜色不变性的优点，通过分离入射分量消除光照影响，达到图像增强去雾的效果。现有技术4采用一个含有光照和反射率的优化函数获取低光照强度下的图像结构细节，并综合考虑图像噪声，提高模型去雾性能。现有技术5提出了一种基于多通道卷积的图像去雾算法，首先利用多尺度高斯核估计图像亮度和反射分量，其次使用MSRCR增强图像对比度，然后使用考虑光照和反射分量的导向滤波降低图像噪声，最后通过线性加权将两者融合，达到去雾效果。
图像复原的去雾算法主要基于大气散射模型(Atmospheric scattering model,ASM)，通过对大量有雾和无雾图像进行统计分析，得到两者之间的映射关系，然后根据有雾图像的形成过程进行逆运算，从而得到清晰图像。但该类算法属于欠定问题(ill-posedproblem)，模型中大气光值、透射率、图像景深等未知参数难以准确估计，影响图像去雾效果。为此，研究者提出基于先验条件的去雾算法，其中具有代表性的是暗通道先验(DarkChannel Prior,DCP)算法。现有技术6提出了一种基于快速双边滤波和DCP的快速去雾算法，该算法以ASM为基础，使用DCP估计透射图，然后结合灰度信息利用快速双边滤波器提取细化的透射图，有效恢复场景对比度色彩，解决了经典DCP算法去雾后图像暗淡的问题。现有技术7提出了一种基于DCP和自适应阈值的去雾算法，将有雾图像分为景物和天空两个部分，并分别进行去雾处理，利用天空区域估算大气光值，有效解决了DCP算法在天空区域色彩失真问题。
随着神经网络和深度学习在计算机视觉领域的广泛应用，受雾霾特性和当前去雾算法的启发，研究者深入开展了基于卷积神经网络(Convolutional Neural Network,CNN)的图像去雾研究。现有技术8将深度CNN应用于图像去雾，利用深层CNN结构建立DehazeNet模型，该模型对大气退化透射率进行全新估计，并结合双边整流线性单元对大气光值和透射率进行优化，以提高图像的复原质量，但模型中大气光以常数值进行计算导致了图像去雾精度的损失和颜色失真。为克服DehazeNet模型的不足，现有技术9提出了一种具有上下文感知特性的多尺度网络去雾算法C2MSNet，该算法首先从有雾图像中提取出颜色信息，并生成多通道深度图，然后利用多通道多尺度卷积神经网络从暗通道估计场景传输图中恢复出无雾图像。现有技术10提出了一种基于雾霾图像最大和最小颜色通道差的自适应去雾控制因子来准确估计传输函数，并设计概率数学模型定位图像中雾霾区域来计算大气光，具有较好的去雾效果并保证了算法计算速度。现有技术11设计了一个高效的端到端一体化去雾网络(All-in-One Dehazing Network,AOD-Net)。
与上述模型相比，AOD-Net对大气散射模型公式进行变换，直接从有雾图像学习得到无雾图像。AOD-Net网络结构简单，仅由五层卷积构成，可以很好的嵌入其他计算机视觉高级任务中，然而单一的模型结构也影响了图像特征的学习能力，使得对于浓雾区域或远景区域的去雾效果不佳。为此现有技术12提出FAOD-Net去雾算法，该算法使用轻量级深度可分离卷积替代原始标准卷积，提高运算效率。此外，加入金字塔池化模块，以提高对不同区域上下文信息的聚合能力，增强网络对全局雾图像信息的获取能力。现有技术13提出了一种端到端的双级联图像去雾网络，以由粗到细的方式获得无雾图像。现有技术14综合考虑图像通道特征和像素特征，提出了一种新型特征注意力模块(FA)，扩展了CNN的特征表征能力，可以从有雾图像中直接还原无雾图像。现有技术15设计多尺度全局上下文感知模块，学习不同特征之间的长距离依赖关系，实现了在合成数据库和真实有雾图像上较好的去雾效果。
通过上述分析，现有技术存在的问题及缺陷为：现有的有雾图像处理技术处理效果不佳，得到的去雾图像较为暗淡、存在色彩失真。
(1)现有去雾算法普遍没有考虑雾霾场景退化的物理模型，去雾结果中存在严重的细节和轮廓信息丢失现象，且适用性较差，无法实现对雾霾条件下内河复杂环境的场景恢复。
(2)现有的去雾算法结构复杂，带来了庞大的计算压力，训练后的模型具有较多的参数且规模较大，无法满足实时去雾要求，且难以部署于船载计算机设备。
(3)现有算法对薄雾的去除能力表现出较强的优势，但对于浓雾的去除效果差强人意，且普遍基于合成雾数据集进行试验，难以去除真实场景下的雾霾。
发明内容
针对现有技术存在的问题，本发明提供了一种面向智能船舶的内河雾天场景恢复方法、系统及设备。
本发明是这样实现的，一种面向智能船舶的内河雾天场景恢复方法，包括：
将混合空洞卷积引入经典AOD-Net模型中，在不增加计算量的基础上有效提升特征感受野大小，减少特征信息丢失；
考虑到船舶图像不同区域雾霾浓度的差异，提出将通道注意力机制和像素注意力机制相结合，设计混合注意力模块ECPA，通过赋予图像薄雾和浓雾区域不同的权重，在提升模型对浓雾区域去雾能力的同时保留更多细节特征；
最后针对去雾后图像暗淡及色彩失真现象，设计混合损失函数进行网络训练，进一步提升图像恢复的质量；
利用基于混合空洞卷积结合AOD-Net模型构建的去雾网络结构对有雾图像提取图像特征信息，得到无雾图像；
利用所述混合注意力模块ECPA赋予图像薄雾和浓雾区域不同的权重；利用混合损失函数进行网络训练，得到清晰的去雾图像。
进一步，所述面向智能船舶的内河雾天场景恢复方法包括以下步骤：
步骤一，构建由去雾网络结构、混合注意力模块ECPA以及混合损失函数构成的改进的AOD-Net模型；
步骤二，利用所述去雾网络结构基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
步骤三，利用所述混合注意力模块ECPA基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
步骤四，利用所述由多尺度SSIM以及L1损失函数组成的混合损失函数进行网络训练，得到清晰的去雾图像。
进一步，所述去雾网络结构由用于提取多尺度特征信息的5个卷积部分以及用于对图像特征信息进行拼接融合的3个连接部分组成；
所述5个卷积部分中Conv1和Conv5为标准卷积层，Conv2、Conv3和Conv4由混合空洞卷积构成；所述每个卷积层使用3个滤波器；
所述3个连接部分中Concat1用于融合Conv1和Conv2层的特征信息；Concat2用于融合Conv2和Conv3层特征信息；Concat3用于融合Conv1、Conv2、Conv3和Conv4四个卷积层的特征信息；Conv5层用于进行卷积并提取不同尺度特征信息。
进一步，所述混合特征注意融合模块ECPA包括：
ECA模块，用于对混合空洞卷积之后的特征图捕获通道之间的空间信息，赋予通道不同的权重；
PA模块，用于对特征图不同像素点信息分配相应权重。
进一步，所述混合损失函数如下：
其中，表示像素P的中心像素；β＝0.84，/>表示σG在M缩放尺度上的高斯系数；L(x,y)、C(x,y)和S(x,y)分别表示图像亮度、对比度和结构相似性函数，aj＝bj＝cj＝1。
进一步，所述利用混合注意力模块ECPA基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重包括：
利用ECA模块对混合空洞卷积之后的特征图捕获通道之间的空间信息，赋予通道不同的权重：对输入的特征图采用全局平均池化进行特征压缩，采用1×1卷积学习不同通道之间的重要性，将经过通道注意力的特征图与原始输入特征图进行结合，输出具有通道注意力的特征图；
利用PA模块对特征图不同像素点信息分配相应权重：利用1个具有Sigmoid激活函数的卷积层对输入特征图F进行处理得到特征图F*：F*＝σ(Conv(F))；其中，σ为Sigmoid激活函数；再将输入F与F*进行逐元素相乘，得到最终输出结果FPA：
本发明的另一目的在于提供一种实施所述面向智能船舶的内河雾天场景恢复方法的面向智能船舶的内河雾天场景恢复系统，所述面向智能船舶的内河雾天场景恢复系统包括：
去雾网络结构，用于利用基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
混合注意力模块ECPA，用于基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
混合损失函数，用于利用多尺度SSIM以及L1损失函数进行网络训练，得到清晰的去雾图像。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述面向智能船舶的内河雾天场景恢复方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述面向智能船舶的内河雾天场景恢复方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述面向智能船舶的内河雾天场景恢复方法。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明将混合空洞卷积引入经典AOD-Net模型中，在不增加计算量的基础上有效提升特征感受野大小，减少特征信息丢失。本发明考虑到船舶图像不同区域雾霾浓度的差异，提出将通道注意力机制和像素注意力机制相结合，设计混合注意力模块ECPA，通过赋予图像薄雾和浓雾区域不同的权重，在提升模型对浓雾区域去雾能力的同时保留更多细节特征。本发明针对去雾后图像暗淡及色彩失真现象，设计混合损失函数进行网络训练，进一步提升图像恢复的质量。
第二，本发明得到方法在不同雾天场景下均可实现较好的去雾效果，且具有一定的实时性，可以得到更加清晰自然的内河场景，为内河智能船舶在复杂雾霾环境下的视觉感知提供技术保障，进一步提升船舶航行的安全性，推动船舶智能化发展。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案填补了国内外业内技术空白：
随着智能船舶的不断发展，已由实验阶段逐渐向实用阶段转变，其发展的关键在于保障船舶航行安全，而船舶安全航行的关键在于对周围航行环境的有效感知，并及时做出正确的决策，计算机视觉感知作为一种辅助手段已广泛用于船舶航行环境感知，然而内河航行环境复杂多变，受雾霾天气的影响，船载视觉传感器所采集到的图像或视频严重降质，一定程度上影响了其他中级和高级视觉任务，如目标检测与跟踪等。因此，本发明构建面向智能船舶的轻量级实时去雾模型，用以恢复因雾霾而退化的内河航行环境，所构建的模型可以胜任复杂环境下各种去雾任务，恢复的场景更加理想与真实，为智能船舶决策、避碰和环境监测等任务提供强有力的技术支持，且与其他去雾算法相比具有较强的优势和实际应用前景。
(2)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：
目前，航运智能化的关键在于保障船舶航行安全，内河航行环境复杂多变，易受雾霾颗粒散射的影响，不利于水上交通智能监控、水面目标识别及跟踪等工作，一定程度上影响船舶安全航行。基于此，本发明构建面向智能船舶的轻量级实时去雾算法，以恢复因雾霾而退化的内河复杂航行环境，通过试验证明可知，所构建的去雾算法在合成雾数据集和真实雾数据集上均能实现较为理想的去雾效果，视觉效果更加真实，保留更多图像细节信息，并且满足实时去雾的要求，智能船舶的视觉感知提供技术保障，进一步推动船舶智能化发展。
(3)本发明的技术方案是否克服了技术偏见：
图像去雾作为计算机视觉任务中一个重要的预处理步骤，是许多实际应用的基础工作。现有的去雾算法在实际应用中存在较大的局限性，如：恢复的场景严重失真、图像暗淡、实时性较差等，且对于真实雾霾以及较大浓度的雾霾去雾效果较差。为提高智能船舶在复杂雾霾天气下的航行安全，本发明以AOD-Net模型为基础，以混合空洞卷积搭建去雾网络，同时，为了增强模型对不同雾霾浓度的去污效果，提出了混合注意力机制ECPA，可以胜任不同条件下的去雾任务。最后，考虑到场景恢复的真实性和有效性，提出混合损失函数进行网络训练，进一步提升模型去雾能力。此外，本发明考虑实际工程应用，构建了更为轻量化的实时去雾模型，满足船载计算设备要求。
附图说明
图1是本发明实施例提供的面向智能船舶的内河雾天场景恢复方法流程图；
图2是本发明实施例提供的雾天成像的大气散射模型示意图；
图3是本发明实施例提供的AOD-Net算法流程示意图；
图4是本发明实施例提供的AOD-Net网络结构示意图；
图5是本发明实施例提供的ECA模块示意图；
图6是本发明实施例提供的PA模块示意图；
图7是本发明实施例提供的ECPA模块示意图；
图8是本发明实施例提供的改进的AOD-Net网络结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供的面向智能船舶的内河雾天场景恢复方法包括以下步骤：
S101，构建由去雾网络结构、混合注意力模块ECPA以及混合损失函数构成的改进的AOD-Net模型；
S102，利用所述去雾网络结构基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
S103，利用所述混合注意力模块ECPA基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
S104，利用所述由多尺度SSIM以及L1损失函数组成的混合损失函数进行网络训练，得到清晰的去雾图像。
本发明实施例提供的面向智能船舶的内河雾天场景恢复系统包括：
去雾网络结构，用于利用基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
混合注意力模块ECPA，用于基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
混合损失函数，用于利用多尺度SSIM以及L1损失函数进行网络训练，得到清晰的去雾图像。
本发明实施例提供的面向智能船舶的内河雾天场景恢复方法具体包括：
1图像去雾原理
1.1 Atmospheric scattering model
ASM作为雾霾图像生成的经典物理描述，综合考虑了成像过程中雾霾对光线的散射及折射影响，是图像去雾技术的重要理论基础，如图2所示。
经典的ASM可表示为：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
式(1)中，x为图像中的像素；I(x)为所观察到的有雾图像；J(x)为所对应的无雾图像；A为全球大气光值；t(x)为传输矩阵，可定义为：
t(x)＝e-βd(x) (2)
式(2)中，β为大气散射系数，d(x)为场景深度，即目标与图像采集设备之间的距离。
对于公式(1)，可重新表示为：
由公式(3)可知，假设能从观测到的雾霾图像中准确地估计出A和t(x)的值，则可以得到所对应的清晰图像J(x)。
1.2 AOD-Net模型
AOD-Net以CNN为基础构建端到端的图像去雾模型，通过重新设计ASM，可以有效避免由于白色区域或天空区域的影响而导致大气光值A估算较大的问题，并以最小化重建误差的方式从有雾图像学习得到清晰图像。具体地，将公式(1)的变量t(x)和A统一为参数K(x)，则简化的ASM可表示为:
J(x)＝K(x)I(x)-K(x)+b (4)
式(4)中，b为常数，默认b＝1；K(x)联合了变量t(x)和A，且与模型输入的有雾图像I(x)关联，可得：
由此可知，AOD-Net由K(x)值估计模块和图像复原模块组成，将传统图像去雾问题简化为K(x)值的求解过程，如图3所示，该算法将有雾图像I(x)直接输入到网络中，通过K(x)估计模块提取图像特征信息，进而恢复清晰图像。
K(x)估计模块是AOD-Net模型的核心结构，其采用基于CNN的网络结构设计多尺度卷积层，并对图像特征信息进行拼接融合，增强模型对不同尺度信息的捕获能力，同时弥补了卷积过程中特征之间的信息损失，网络结构如图4所示。
由图4可知，K(x)估计模块采用5个不同大小的卷积核进行卷积操作，提取多尺度特征信息，且每个卷积层只使用3个滤波器，因此，与其他基于深度学习的去雾模型相比，AOD-Net模型更加轻量。同时，Concat1融合了Conv1和Conv2层的特征信息，然后将其经过Conv3层进一步提取特征。类似地，Concat2融合了Conv2和Conv3层特征信息，并经过Conv4层进行处理，Concat3融合了Conv1、Conv2、Conv3和Conv4四个卷积层的特征信息，最终经过Conv5层进行卷积并提取不同尺度特征信息。基于以上网络结构，AOD-Net能够在获取多尺度特征信息的同时，弥补各层卷积过程中的信息丢失，将有雾图像I(x)输入经过训练后的AOD-Net模型中，可直接获取到无雾图像J(x)。
2.方法
2.1Hybrid dilated conv
受CNN对图像不同尺度特征提取的启发，扩大感受野可以获取更多特征信息，提高网络性能。然而，传统CNN结构中通过增加网络深度或卷积核大小的方式增大感受野导致网络参数和计算量剧增。为此，空洞卷积引入“空洞率”，通过调整该参数，在不增加网络计算量的同时扩大感受野尺寸，获取多尺度信息。然而经过多个空洞卷积后每个像素之间存在一定的间隔，卷积结果之间缺乏空间相关性，导致局部特征信息缺失。
为解决上述问题，本发明采用混合空洞卷积代替AOD-Net模型中的部分卷积操作，通过组合不同空洞率的空洞卷积，消除特征层像素之间的间隙，提高信息利用率。文中空洞率的设计满足如下条件：
M＝max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]
＝max[Mi+1-2ri,2ri-Mi+1,ri] (6)
其中，Mi表示第i层两个非零元素之间的最大距离，ri表示第i层的空洞率大小。对于最后一层两个非零元素之间的最大距离Mn＝rn，且M2≤k。与此同时，空洞率[r1,r2,…rn]之间公约数不能大于1。
基于以上分析，本发明设计空洞率分别为[1,2,3]的混合空洞卷积替换经典AOD-Net网络中的Conv结构，如表1所示。
表1 AOD-Net不同卷积结构
由表1可知，改进后的AOD-Net由5个卷积部分组成，其中Conv1和Conv5为标准卷积层，Conv2、Conv3和Conv4由混合空洞卷积构成。引入混合空洞卷积结构之后，AOD-Net网络的感受野由15提升到了75，与原始AOD-Net网络相比，感受野提升了5倍。改进后的ADO-Net能够捕捉更多尺度信息，提升网络空间信息利用率和整体性能。
2.2混合注意力融合机制
注意力机制应用于神经网络已被证明可以着重关注模型重要特征，提升网络性能。为解决有雾图像中浓度分布不均而影响AOD-Net模型性能的问题，本发明在2.1节的基础上设计了一个新颖的混合特征注意融合模块(ECPA)，进一步提升去雾效果。
2.2.1Efficient channel attention module
Efficient Channel Attention(ECA)作为一种高效及轻量的注意力模块，可以自适应的学习图像各通道信息，其网络结构如图5所示。在ECA模型中，首先对输入的特征图采用全局平均池化进行特征压缩，在整合全局空间信息的同时有效减少参数量。然后采用1×1卷积学习不同通道之间的重要性，最后将经过通道注意力的特征图与原始输入特征图进行结合，输出具有通道注意力的特征图。
ECA采用动态卷积自适应学习不同通道之间的重要性，卷积核大小和通道之间的关系如下：
其中，odd表示最接近的奇数，γ和b为常数，分别设置为2和1，调整卷积核k与通道数C之间的比例。可知，k与C正相关，较大的通道数对应较大的卷积核k，较小的通道数则对应较小的卷积核k。ECA通过自适应选择卷积核大小克服了不同输入尺寸的特征图信息提取问题，完成跨通道的信息交互。
2.2.2Pixel attention module
实际应用中所采集的船舶图像雾霾浓度分布不均匀，为此，本发明引入PixelAttention(PA)模块，提高卷积操作的信息表达能力，使网络更加关注浓雾区域像素信息和高频图像区域的信息特征，PA模块网络结构如图6所示。
PA模块中，假设输入特征图为F，经过1个具有Sigmoid激活函数的卷积层，得到特征图F*，如下所示：
F*＝σ(Conv(F)) (8)
其中，σ为Sigmoid激活函数。
最后将输入F与F*进行逐元素相乘，得到最终输出结果FPA：
为点积运算。
2.2.3混合注意力模块
基于以上分析，本发明将ECA和PA模块进行融合，设计混合注意力模块(ECPA)，经过混合空洞卷积之后的特征图由ECA模块捕获通道之间的空间信息，赋予通道不同的权重，PA模块对特征图不同像素点信息分配相应权重，所设计的ECPA模块在处理不同通道信息时具有较大的灵活性，更加关注浓雾特征和通道信息，有效提升网络去雾效果，ECPA模块结构如图7所示。
2.3混合损失函数
一个好的损失函数可以有效提高网络的去雾能力，达到更好的视觉效果。经典AOD-Net采用L2损失函数进行网络训练，且假设噪声对图像的影响与局部特征无关，不符合人眼主观视觉感受。而结构相似性指数度量(Structure Similarity Index Measure，SSIM)基于主观感知综合考虑图像对比度、亮度和结构相似性，去雾效果更加符合实际场景，基于此，本发明以SSIM为基础设计混合损失函数，SSIM定义如下：
SSIM(x,y)＝[L(x,y)]a[C(x,y)]b[S(x,y)]c (10)
其中，L(x,y)、C(x,y)和S(x,y)分别为图像亮度、对比度和结构相似性函数；a、b和c用来衡量三个成分的相对重要性，这里a＝b＝c＝1；μx，μy和σx，σy分别为x和y的均值和标准差，σxσy为x和y的协方差，C1、C2和C3为常数，且C3＝C2/2，防止分母为0，保障模型稳定性。
而上述SSIM只适用于特定去雾模型，本发明将多尺度SSIM(MS_SSIM)引入模型训练，MS_SSIM为图像进行多尺度缩放之后的SSIM，如下所示：
与公式(10)定义类似，aj＝bj＝cj＝1，M为图像缩放的最大尺度，则LMS-SSIM损失函数为：
其中，为像素P的中心像素。
此外，考虑到L1损失函数可以更好的保留图像中的颜色和亮度，将其引入所设计的混合损失函数中，L1损失函数定义如下：
综上所述，本发明所设计的混合损失函数如下所示：
其中，β＝0.84，表示σG在M缩放尺度上的高斯系数，可知，使用混合损失函数，有效保留了原始图像的颜色和亮度，提升网络去雾效果。
2.4改进的AOD-Net模型
基于前述分析，本发明主要对AOD-Net模型中的K(x)估计模块进行重构，以提升模型去雾效果，所设计的网络结构如图8所示。具体地，首先，为增强传统Conv对不同尺度特征的表达能力，采用混合空洞卷积替换原始K(x)估计模块中的Conv2、Conv3和Conv4层，在不增加计算量的同时，扩大感受野，进一步减少信息丢失。考虑到所采集的船舶图像中雾霾浓度分布不均，设计混合特征注意模块ECPA，在通道和像素维度增强细节信息提取能力。最后，针对去雾后图像暗淡及色彩失真现象，设计混合损失函数进行网络训练，进一步提升模型去雾能力。
图像去雾作为计算机视觉任务中一个重要的预处理步骤，是许多实际应用的基础工作，已广泛应用于交通智能监测、国防、机器人导航以及工业检测等领域。
在视觉感知导航领域，图像去雾算法用于移动机器人导航、智能船舶航行、无人机监测和无人车驾驶等，通过对当前恶劣或低质量环境进行分析、处理与重构，为后续视觉导航、船行与车行环境判断与决策提供可靠的信息支持；在智能交通监测领域，将去雾技术和视觉技术相结合，可以提高恶劣天气下的交通监管效率，保障交通安全与通畅；在生物医学领域，该技术可用于增强医学图像质量，辅助医疗工作者进行准确分析，并作出正确的诊断方法；在航空、航天、军事与国防领域，该技术可以模拟更加真实的战场环境，提高雾霾或其恶劣天气条件下军事训练和国防安全建设。在遥感与测绘领域，该技术用于提高遥感卫星图像的清晰度，获得高质量遥感图像，以便进行军事侦察、大地测量等任务的顺利进行。在民用领域，将该技术装载于无人机等设备，恢复因雾霾或其他天气条件所造成的低质量环境，以便进行土地规划、农作物生长监测等任务。
作为优选实施例，本发明实施例提供的面向智能船舶的内河雾天场景恢复方法、系统及设备，首先将混合空洞卷积引入经典AOD-Net模型中，在不增加计算量的基础上有效提升特征感受野大小，减少特征信息丢失。其次考虑到船舶图像不同区域雾霾浓度的差异，提出将通道注意力机制和像素注意力机制相结合，设计混合注意力模块ECPA，通过赋予图像薄雾和浓雾区域不同的权重，在提升模型对浓雾区域去雾能力的同时保留更多细节特征。最后针对去雾后图像暗淡及色彩失真现象，设计混合损失函数进行网络训练，进一步提升图像恢复的质量。
(1)为解决传统卷积对特征信息利用不完全的问题，引入混合空洞卷积，通过组合不同空洞率的空洞卷积，消除特征层像素之间的间隙，提高信息利用率，所搭建的轻量级去雾卷积结构实现了在不增加计算量的基础上有效扩大感受野范围，所搭建的去雾网络中感受野扩大了5倍，能够捕捉更多尺度信息，提升网络空间信息利用率和整体性能。
(2)为解决雾霾图像中雾浓度分布不均而影响AOD-Net去雾性能的问题，构建混合注意力机制ECPA，使得网络着重关注不同的特征信息，通过赋予薄雾和浓雾不同的权重信息，进一步提升模型去雾性能，同时保留更多边缘和细节信息。
(3)经典AOD-Net网络采用L2损失函数进行模型训练，不符合人眼主观视觉感受，为解决此问题，将多尺度SSIM和L2损失函数相结合，构建混合损失函数MS_SSIM进行模型训练。
(4)实验结果可知，所提出的AOD-Net模型在合成雾和真实雾场景中均取得更佳的去雾效果，可以更好地保留原始图像的颜色和亮度，还原出的场景更加真实。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
3实验结果与分析
3.1数据集集合
实际应用中很难获取相同条件下目标场景的有雾和清晰图像，使用合成数据集进行学习成为热点。受的启发，本发明依据ASM，以清晰图像为基础，创建合成的有雾图像进行模型训练。
本发明使用公共数据集SeaShips作为清晰图像数据集，该数据集共7000张内河船舶图像，分辨率为1920×1080，包括6种常见的船舶类型(矿砂船、集装箱船、散货船、杂货船、渔船及客船)。与此同时，为了丰富实验场景，本发明采用华下工业相机采集长江武汉段船舶图像，相机参数如表2所示，实验中共采集2925张图像，分辨率为1280×720。
表2.摄像机参数
部件 参数信息
传感器类型 1/2.8″Progressive Scan CMOS
自动光圈 DC驱动
焦距 5.5-180mm
光圈 F1.5-F4.0
水平视场角 2.9-61.4°
视频压缩标准 H.265/H364/MJPEG
主码流分辨率 50HZ:25fps(1280×720)
接口类型 网卡接口
此外，为了提升模型的鲁棒性，本发明采用上述设备在长江武汉段采集真实场景下不同雾霾浓度的船舶图像，实验中共采集660张图像进行网络训练与测试。
3.1.1合成雾度数据集
由ASM可知，通过设置不同的大气光值A和透射率t(x)，可将清晰图像J(x)合成有雾图像I(x)。具体如下：
(1)统一船舶图像分辨率；
考虑到所采集的船舶图像与SeaShips数据具有不同的分辨率，首先将图像处理为相同分辨率：
Jtrans(1920,1080)＝f(J) (18)
其中，Jtrans为统一之后的图像大小，J为原始图像分辨率，f(·)为分辨率统一函数。
(2)确定图像雾化尺寸和雾化中心；
本发明采用中心点合成雾方法进行船舶图像加雾处理，通过雾图片的一个中心点进行雾合成扩散，距离雾中心点的距离越远，雾合成的效果越弱。
其中，size为图像尺寸，center为雾化中心。
(3)设置大气光值A和透射率t(x)；
考虑到所采集的船舶图像主要由天空、水域及船舶构成，实验中设置A＝[0.5,0.7]。由式(2)可知，透射率t(x)主要由β决定，设置β＝[0.005,0.035]：
(4)合成有雾船舶图像：
调整A和透射率β取值，即可获取不同雾霾浓度的船舶图像。
3.2实验细节
本发明采用GPU版本的Pytorch来构建所提出的模型，硬件和软件的详细信息如表3所示。实验中优化器采用Adam，训练次数为100，批量大小设置为4，初始学习率为0.0001，衰减系数为0.0001。在去雾实验中，本发明将合成雾数据集按照6：2：2的比例划分为训练集、验证集和测试集，并使用真实雾的船舶图像来测试所提出的去雾模型的性能。
表3.硬件和软件环境
3.3评估指标
深度学习中的去雾评价指标是衡量去雾效果的依据，本发明采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、SSIM衡量所提出的算法对合成雾数据的去雾效果：
其中，MAXI为图像中最大像素值，MAXI＝255，MSE为均方误差。可知，PSNR越大，去雾后图像失真越小。SSIM评价准则与人类主观感知相近，其值在[0，1]之间，越接近1，两幅图像越相似。
此外，标准差(Standard deviation,STD)和信息熵(Information entropy,IE)则用来评价模型对真实有雾船舶图像的去雾性能。其中，STD刻画了图像中像素点相对于其平均值的离散程度，其值越大，视觉效果越好。IE作为图像信息量指标，其值越大，图像中的信息量越多。两者可表示为：
其中，W和H分别为图像的宽和高，pij为像素(i,j)所对应的灰度值，μ为整幅图像像素均值，Pi为灰度值i的概率。
3.4实验结果与分析
为了验证所提出模型的性能和有效性，本发明采用最具代表性和表现良好的学习模型，包括DCP,Light-DehazeNet，GCA-Net,FFA-Net and AOD-Net进行详细比较。
3.4.1合成数据集上的结果
本发明首先在合成雾数据集上对所提出的算法进行了评估，利用3种不同场景的有雾图像进行视觉对比，得到不同模型的去雾效果。DCP在恢复的图像中出现明显的色彩失真，原因在于船舶图像中包含大量水面和天空区域，使得DCP对大气光值的估计产生较大偏差，并影响了透射率估计精度，最终导致边缘效应。Light-DehazeNet、GCA-Net和AOD-Net恢复的图像整体偏暗，其中AOD-Net在去雾结果中仍然有大量雾霾存在，对图像中浓雾处理效果较差，导致部分细节信息丢失。Light-DehazeNet和GCA-Net的雾霾残留相对较少，但存在轻微颜色失真。FFA-Net和本发明的方法均能有效去除图像中的雾霾，相比之下，本发明的方法去雾后目标船舶具有更加清晰的轮廓，视觉效果更优。
为了进一步量化不同方法的去雾性能，在合成雾船舶数据集中，计算了测试集上的平均PSNR和SSIM，实验结果如表4所示。可以看出,本发明所提出的方法PSNR达到了22.352dB，优于其他所有比较方法。在SSIM方面，本发明的方法得到了较高的结果，这些性能的提高都证明了所提方法在不同类型去雾任务中的有效性。
表4.不同模型的定量比较
models DCP Light-DehazeNet GCA-Net FFA-Net AOD-Net Ours
PSNR(dB) 11.774 13.752 18.027 21.703 12.699 22.352
SSIM 0.775 0.876 0.928 0.943 0.807 0.949
3.4.2真实世界数据集上的结果
为了进一步证明本发明所提出的去雾算法的推广性，本发明还在真实雾数据集上进行了一些实验，DCP结果中出现严重过曝效应(overexposed effect)，图像中某些区域太亮或太暗。Light-DehazeNet可以去除大量雾霾，但是对于天空和水面区域的浓雾处理效果较差，呈现模糊现象。GCA-Net虽能有效去除船舶目标边缘处的雾霾，但其他区域仍然有大量雾霾残留，且出现严重的色彩失真现象。AOD-Net去雾效果一般，对于细节信息的处理能力较弱，且亮度较暗。FFA-Net和本发明的方法均表现出较强的去雾能力，可以获取较为清晰的图像，相比之下，本发明的方法去雾结果更加自然，且保留更多图像细节信息，可以有效处理不同浓度的雾霾。
在真实雾霾场景下，由于缺乏相应的清晰图像，本发明采用STD和IE指标量化不同方法的去雾能力，如表5所示，本发明的方法STD达到了37.754，优于其他比较方法，进一步说明本发明所提出的方法去雾视觉效果更佳。在IE方面，所有对比方法表现较为均势，相对而言，本发明的方法可以保留更多的图像信息，可以胜任不同真实雾霾条件下的去雾任务。
表5.不同模型的定量比较
models DCP Light-DehazeNet GCA-Net FFA-Net AOD-Net Ours
STD 33.323 25.089 31.717 37.411 34.967 37.754
IE 6.708 6.327 6.655 6.798 6.685 6.917
3.5模型实时性分析
为了分析不同模型的去雾效率，将所有模型在验证集上的平均处理时间进行统计分析，如表6所示，不同的网络拓扑结构，去雾效率也表现出较大的差异性。AOD-Net的去雾效率最高，每张图像的处理时间仅为0.18秒，FFA-Net在所展示的去雾方法中效率较低，每张图像处理时间为3.26秒，无法满足实时性要求，而DCP、Light-DehazeNet、GCA-Net和本发明的方法均有较理想的去雾效率。本发明所提出的方法重新设计了网络结构，并增加了ECPA模块，平均处理时间为0.93秒，可以满足实际应用中对去雾实时处理的需求。
表6.不同型号上每张图像的平均运行时间比较
Models DCP Light-DehazeNet GCA-Net FFA-Net AOD-Net Ours
Time(s) 0.63 0.20 0.81 3.26 0.18 0.93
4、结论
雾霾天气下，视觉系统获取的视频或图像通常出现能见度低，对比度差等现象，影响了其他高级计算机视觉任务的进行。内河航行环境复杂多变，易受雾霾颗粒散射的影响，不利于水上交通智能监控、水面目标识别及跟踪等工作。为保障雾霾天气条件下智能船舶安全航行，本发明以AOD-Net模型为基础，提出了一种针对内河复杂雾霾环境的实时图像去雾方法。具体地，为增强卷积过程的特征信息表达能力，采用HDC重构去雾网络结构，在不增加计算量的同时有效提升特征感受野范围，相对于经典conv，新的网络结构中感受野扩大了5倍，有效减少了特征信息丢失。其次，考虑到所采集的内河船舶图像中包含大量天空和水面区域，且图像不同区域的雾霾浓度也有较大差异，提出将通道注意力机制和像素注意力机制相结合，设计混合注意力模块ECPA，通过赋予图像薄雾和浓雾区域不同的权重，提升模型对浓雾区域去雾能力的同时保留更多细节特征。最后针对去雾后图像暗淡及颜色失真现象，设计混合损失函数进行网络训练，进一步提升图像恢复的质量。为了验证所提出的去雾方法的有效性和优越性，选择目前具有代表性的去雾方法分别在合成雾及真实雾数据集上进行对比试验，实验结果表明，本发明所提出的去雾方法在合成雾数据集上具有更加真实的视觉效果，PSNR达到了22.352，SSIM为0.949，两项指标在所有比较方法中均最高。同时，本发明的方法在真实雾数据集上也表现出较强的优势，STD达到了37.754，IE为6.917，也进一步说明本发明的方法去雾效果更佳，可以获得更多图像细节信息。可见，本发明所提出的去雾算法在不同雾天场景下均能实现较为理想的去雾效果，可以得到更加清晰自然的船舶图像，为智能船舶的视觉感知提供技术保障，进一步推动船舶智能化发展。
尽管本发明的方法在船舶图像去雾方面取得了优异的性能，但仍然存在一些局限性，比如推理速度慢。在未来的工作中，本发明将注重于研究更加有效的网络结构来解决此问题，进一步提升网络去雾性能，并将其应用到更多计算机视觉任务中。此外，本发明将扩充真实雾霾数据集，提高模型鲁棒性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种面向智能船舶的内河雾天场景恢复方法，其特征在于，包括：
将混合空洞卷积引入经典AOD-Net模型中，在不增加计算量的基础上有效提升特征感受野大小，减少特征信息丢失；
考虑到船舶图像不同区域雾霾浓度的差异，提出将通道注意力机制和像素注意力机制相结合，设计混合注意力模块ECPA，通过赋予图像薄雾和浓雾区域不同的权重，在提升模型对浓雾区域去雾能力的同时保留更多细节特征；
最后针对去雾后图像暗淡及色彩失真现象，设计混合损失函数进行网络训练，进一步提升图像恢复的质量；
利用基于混合空洞卷积结合AOD-Net模型构建的去雾网络结构对有雾图像提取图像特征信息，得到无雾图像；
利用所述混合注意力模块ECPA赋予图像薄雾和浓雾区域不同的权重；利用混合损失函数进行网络训练，得到清晰的去雾图像；
所述面向智能船舶的内河雾天场景恢复方法包括以下步骤：
步骤一，构建由去雾网络结构、混合注意力模块ECPA以及混合损失函数构成的改进的AOD-Net模型；
步骤二，利用所述去雾网络结构基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
步骤三，利用所述混合注意力模块ECPA基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
步骤四，利用所述由多尺度SSIM以及L1损失函数组成的混合损失函数进行网络训练，得到清晰的去雾图像；
所述去雾网络结构由用于提取多尺度特征信息的5个卷积部分以及用于对图像特征信息进行拼接融合的3个连接部分组成；
所述5个卷积部分中Conv1和Conv5为标准卷积层，Conv2、Conv3和Conv4由混合空洞卷积构成；所述每个卷积层使用3个滤波器；
所述3个连接部分中Concat1用于融合Conv1和Conv2层的特征信息；Concat2用于融合Conv2和Conv3层特征信息；Concat3用于融合Conv1、Conv2、Conv3和Conv4四个卷积层的特征信息；Conv5层用于进行卷积并提取不同尺度特征信息；
所述混合特征注意融合模块ECPA包括：
ECA模块，用于对混合空洞卷积之后的特征图捕获通道之间的空间信息，赋予通道不同的权重；
PA模块，用于对特征图不同像素点信息分配相应权重。
2.如权利要求1所述面向智能船舶的内河雾天场景恢复方法，其特征在于，所述混合损失函数如下：
其中，表示像素P的中心像素；β＝0.84，/>表示σG在M缩放尺度上的高斯系数；L(x,y)、C(x,y)和S(x,y)分别表示图像亮度、对比度和结构相似性函数，aj＝bj＝cj＝1。
3.如权利要求1所述面向智能船舶的内河雾天场景恢复方法，其特征在于，所述利用混合注意力模块ECPA基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重包括：
利用ECA模块对混合空洞卷积之后的特征图捕获通道之间的空间信息，赋予通道不同的权重：对输入的特征图采用全局平均池化进行特征压缩，采用1×1卷积学习不同通道之间的重要性，将经过通道注意力的特征图与原始输入特征图进行结合，输出具有通道注意力的特征图；
利用PA模块对特征图不同像素点信息分配相应权重：利用1个具有Sigmoid激活函数的卷积层对输入特征图F进行处理得到特征图F*：F*＝σ(Conv(F))；其中，σ为Sigmoid激活函数；再将输入F与F*进行逐元素相乘，得到最终输出结果FPA：
4.一种实施如权利要求1-3任意一项所述面向智能船舶的内河雾天场景恢复方法的面向智能船舶的内河雾天场景恢复系统，其特征在于，所述面向智能船舶的内河雾天场景恢复系统包括：
去雾网络结构，用于利用基于混合空洞卷积结合AOD-Net模型对有雾图像提取图像特征信息，得到无雾图像；
混合注意力模块ECPA，用于基于相结合的通道注意力机制和像素注意力机制赋予图像薄雾和浓雾区域不同的权重；
混合损失函数，用于利用多尺度SSIM以及L1损失函数进行网络训练，得到清晰的去雾图像。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述面向智能船舶的内河雾天场景恢复方法的步骤。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述面向智能船舶的内河雾天场景恢复方法的步骤。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述面向智能船舶的内河雾天场景恢复方法。
CN202310579942.9A 2023-05-22 2023-05-22 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 Active CN116596792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310579942.9A CN116596792B (zh) 2023-05-22 2023-05-22 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310579942.9A CN116596792B (zh) 2023-05-22 2023-05-22 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116596792A CN116596792A (zh) 2023-08-15
CN116596792B true CN116596792B (zh) 2023-12-29

Family

ID=87607788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310579942.9A Active CN116596792B (zh) 2023-05-22 2023-05-22 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116596792B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557477B (zh) * 2024-01-09 2024-04-05 浙江华是科技股份有限公司 一种船舶去雾复原方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN113284070A (zh) * 2021-06-16 2021-08-20 河南理工大学 基于传递注意力机制的非均匀雾图去雾算法
CN114187203A (zh) * 2021-12-09 2022-03-15 南京林业大学 注意力优化的深度编解码去雾生成对抗网络
WO2022095253A1 (zh) * 2020-11-04 2022-05-12 常州工学院 一种基于深度通道感知的去除云雾方法
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
WO2022095253A1 (zh) * 2020-11-04 2022-05-12 常州工学院 一种基于深度通道感知的去除云雾方法
CN113284070A (zh) * 2021-06-16 2021-08-20 河南理工大学 基于传递注意力机制的非均匀雾图去雾算法
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
CN114187203A (zh) * 2021-12-09 2022-03-15 南京林业大学 注意力优化的深度编解码去雾生成对抗网络

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于注意力机制的遥感图像分割模型;刘航;汪西莉;;激光与光电子学进展(04);全文 *
结合残差学习和跳跃连接的图像去雾;赵建堂;;咸阳师范学院学报(04);全文 *

Also Published As

Publication number Publication date
CN116596792A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
Ding et al. U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
Sun et al. A convolutional network for joint deraining and dehazing from a single image for autonomous driving in rain
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Guo et al. Joint raindrop and haze removal from a single image
Cheng et al. A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions
Zhang et al. Underwater image enhancement using improved generative adversarial network
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Zhao et al. A multi-scale U-shaped attention network-based GAN method for single image dehazing
Fu et al. An anisotropic Gaussian filtering model for image de-hazing
Nguyen et al. UnfairGAN: An enhanced generative adversarial network for raindrop removal from a single image
Guo et al. D3-Net: Integrated multi-task convolutional neural network for water surface deblurring, dehazing and object detection
Li et al. An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
Hua et al. Iterative residual network for image dehazing
Cao et al. Remote sensing image recovery and enhancement by joint blind denoising and dehazing
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant