CN116739919A - 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统 - Google Patents

无人机光学海洋图像中太阳闪烁的检测和修复方法及系统 Download PDF

Info

Publication number
CN116739919A
CN116739919A CN202310578108.8A CN202310578108A CN116739919A CN 116739919 A CN116739919 A CN 116739919A CN 202310578108 A CN202310578108 A CN 202310578108A CN 116739919 A CN116739919 A CN 116739919A
Authority
CN
China
Prior art keywords
solar
flicker
image
optical
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310578108.8A
Other languages
English (en)
Inventor
李明
覃江颖
李德仁
钟佳耿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202310578108.8A priority Critical patent/CN116739919A/zh
Publication of CN116739919A publication Critical patent/CN116739919A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于海洋水面遥感监测中遥感图像的预处理技术领域，公开了一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法及系统，引入太阳闪烁注意力模块，构建基于注意力机制的语义分割网络模型；利用基于注意力机制的语义分割网络模型分割得到太阳闪烁区域，利用RAFT光流估计网络提取高分辨率无人机光学RGB海洋图像的光流场；利用太阳闪烁区域和光流场进行光流传播，修复无人机光学RGB海洋图像中的太阳闪烁并恢复真实的底栖生物图像特征。本发明可以改善海洋水面遥感监测中太阳闪烁引起的特征遮挡和信息污染问题，极大地提高高分辨率无人机光学RGB海洋图像的质量和使用效率，为高精度海洋生态监测和海底地形测绘提供高质量的图像基础。

Description

无人机光学海洋图像中太阳闪烁的检测和修复方法及系统
技术领域
本发明属于海洋水面遥感监测中遥感图像的预处理技术领域，尤其涉及一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法及系统。
背景技术
目前，太阳闪烁是海洋遥感数据处理中存在的基础问题，它是由于海水的镜面反射，导致太阳光直接反射到传感器上造成部分像素过饱和的现象，在不同尺度的海洋观测中都不可避免，如图1方框内所示。太阳闪烁会污染图像，遮挡海洋生态监测等研究中感兴趣的海底特征和海床信息，从而影响海洋底栖生物群落分布制图和地形测绘的精度。
研究技术人员对太阳闪烁问题提出解决方案，如选择在阴天获取图像，或者设计特定的观测角度和观测视场进行数据采集。但这并不总是可行的：阴天获得的图像能见度较低从而导致图像质量较低，细节丢失；而特定观测角度和视场的数据采集又难以满足多角度、高回访频率采集任务的时空需求。另一方面，部分研究技术人员考虑通过增加图像的重叠度，丢弃太阳闪烁现象严重的区域来解决太阳闪烁对图像遮挡和污染的问题，但过多的数据冗余会增加采集成本，且并不能完全解决太阳闪烁的影响。综上所述，现有的解决方法大多是通过对数据采集阶段提出额外的要求来解决太阳闪烁的问题，只有很少的方法试图对采集的海洋遥感光学图像进行检测和修复等研究，还存在很大的探索空间，且尚未有仅利用光学RGB图像的太阳闪烁修复方法。
已有的针对海洋遥感图像太阳闪烁修复方法的研究主要集中在中高分辨率的卫星图像，特别是高光谱和多光谱图像上。然而，基于卫星的海洋观测受限于空间分辨率、时间分辨率和辐射分辨率，难以达到厘米级的高精度观测要求。另一方面，海洋监测领域的研究人员越来越多的使用配备高分辨率RGB相机的无人机进行海洋数据采集。无人机作为成熟、高效、易于部署的遥感平台，可以提供低成本，高信噪比的丰富信息，弥补海洋生态监测等应用中现场原位调查和卫星遥感的数据空白，因此它已经成为海洋生态监测和环境保护中不可或缺的遥感平台。然而，目前还没有研究并同时提出高分辨率无人机RGB海洋图像中太阳闪烁的检测和修复方法，导致许多受太阳闪烁影响的海洋高分辨率无人机光学RGB海洋图像使用效率低甚至不可用。
因此，高分辨率无人机光学RGB海洋图像中太阳闪烁的处理具有很大的科学价值和现实意义。高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复，在准确检测出图像中太阳闪烁的基础上，不仅要使被遮挡区域恢复与图像其他区域像素特征具有视觉上合理性和结构上一致性，而且还要尽量保证恢复的像素特征能反映真实的海底栖息地信息，故高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复存在较大的难度。
通过上述分析，现有技术存在的问题及缺陷为：
(1)数据采集阶段难以避免太阳闪烁问题。现有技术尝试在数据采集阶段通过在阴天观测，设计特定的观测角度和视场，增加图像重叠度并丢弃太阳闪烁现象严重的区域或影像等方法来避免太阳闪烁问题。但这些方法简单粗暴，或导致过多的数据冗余并大大增加海洋生态监测等观测任务的影像采集成本，也难以满足多角度、高回访频率采集任务的实际观测需求。
(2)缺乏针对无人机光学RGB海洋图像的准确太阳闪烁检测方法。现有太阳闪烁的检测方法大多是引入光谱仪等其它传感器的数据来解决太阳闪烁的检测等问题，且利用无人机光学RGB海洋图像中的太阳闪烁检测精度有待提高。
(3)缺乏准确的太阳闪烁修复方法。目前还没有公开发表的论文或专利提出无人机光学RGB海洋图像中太阳闪烁图像遮挡问题高效精确的完整解决方案，使得基于无人机光学RGB海洋图像的海洋生态监测和地形测绘精度难以保证、甚至可能因为关键信息缺失难以实现观测任务。
(4)不适用于复杂场景：在复杂的海洋环境中，海浪是海平面并不是一个平面，而是无数个近似的小平面，现有的方法难以高效地检测和修复太阳闪烁，而且往往会产生大量的误检和漏检现象。
发明内容
针对现有技术存在的问题，本发明提供了一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法及系统，尤其涉及一种基于注意力机制和光流的高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复方法、系统、存储介质、计算机设备、信息数据处理终端及应用。
本发明是这样实现的，一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，无人机光学RGB海洋图像中太阳闪烁的检测和修复方法包括：引入太阳闪烁注意力模块，构建基于注意力机制的语义分割网络模型；利用Focal和Dice混合损失函数指导语义分割网络训练，并利用经过训练的语义分割网络SGNet检测得到太阳闪烁区域；利用RAFT光流估计网络提取高分辨率无人机光学RGB海洋图像的光流场并对太阳闪烁区域进行光流传播以修复无人机光学RGB海洋图像中的太阳闪烁并恢复真实的底栖生物图像特征。
进一步，无人机光学RGB海洋图像中太阳闪烁的检测和修复方法包括以下步骤：
步骤一，在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建语义分割网络；
步骤二，利用Focal和Dice混合损失函数指导语义分割网络训练，利用经过训练的语义分割网络SGNet检测得到太阳闪烁区域；
步骤三，利用RAFT光流估计网络提取得到相邻高分辨率无人机光学RGB海洋图像的光流场；
步骤四，利用SGNet检测得到的太阳闪烁区域和RAFT提取得到的光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素；
步骤五，对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
进一步，步骤一中的在UNet网络结构中引入太阳闪烁注意力模块SGA包括：UNet前三个解码器最后一层的特征经过SGA模块，上采样至224×224×2并由真值监督。其中，太阳闪烁注意力模块SGA包括：
将输入特征由3×3卷积层提取特征F1；将F1特征通过第一个1×1卷积层提取特征F2；将F2特征通过SE注意力模块提取感兴趣的特征F3；将F2特征与F3特征相乘融合得到增强的太阳闪烁特征F4；将F4通过第二个1×1卷积层提取的特征与特征F1相加得到太阳闪烁特征F。
进一步，步骤二中的利用Focal和Dice混合损失函数指导语义分割网络训练包括：SGNet前三个解码器经SGA输出的特征由Dice损失函数监督，网络最终输出由Focal和Dice损失函数共同监督。
进一步，步骤四中的进行图像帧间的光流传播包括：对被太阳闪烁遮挡的像素分别进行前向和后向光流传播，直到得到两个已知像素；分别计算两个已知像素的前后一致性误差，并根据误差进行权重赋值，最终通过对两个已知像素加权融合得到最后的修复像素。
其中，前后一致性误差的计算公式如下：
式中，i和j表示图像帧m和图像帧n上的对应像素，errmn表示两帧的前后一致性误差，fmn表示图像帧m到图像帧n的光流值。
加权融合权重公式如下：
式中，w表示权重，err表示前后一致性误差，errmean表示前后一致性误差的均值。
本发明的另一目的在于提供一种应用所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统，无人机光学RGB海洋图像中太阳闪烁的检测和修复系统包括：
语义分割网络构建模块，用于在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建语义分割网络；
太阳闪烁区域获取模块，用于利用Focal和Dice混合损失函数指导语义分割网络训练，利用经过训练的语义分割网络检测得到太阳闪烁区域；
光流场提取模块，用于利用RAFT光流估计网络提取得到相邻高分辨率无人机光学RGB海洋图像的光流场；
太阳闪烁修复模块，用于利用太阳闪烁区域和光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素；对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统。
本发明的另一目的在于提供一种所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统在海洋生态监测、海底地形测绘以及海洋摄影测量领域中检测并修复高分辨率无人机光学RGB海洋图像中太阳闪烁的应用。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一，本发明利用UNet网络、太阳闪烁注意力模块SGA和Focal与Dice混合损失函数结合的高精度语义分割网络SGNet检测出准确的太阳闪烁区域；其次，利用RAFT提取出相邻高分辨率无人机光学RGB海洋图像的光流场，利用光流传播和CSA单张图像修复的循环迭代得到最终的太阳闪烁修复结果。本发明通过提出基于注意力机制的语义分割网络SGNet以分割出高精度的太阳闪烁区域，随后利用提出的基于光流的太阳闪烁修复方法有效修复高分辨率无人机光学RGB海洋图像中的太阳闪烁并恢复真实的底栖生物图像特征。利用本发明的基于注意力机制和光流的高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复方法恢复真实的底栖生物图像特征，显著改善了海洋水面遥感监测中太阳闪烁引起的图像特征遮挡和信息污染问题，进而为基于高分辨率无人机光学RGB海洋图像的海洋生态监测和底栖生物测绘等应用提供高质量的图像基础。
本发明提出一种新颖的基于注意力机制和光流的高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，能够有效检测并修复高分辨率无人机光学RGB海洋图像中的太阳闪烁。本发明在UNet网络结构中引入太阳闪烁注意力模块SGA以构建高精度语义分割网络SGNet，增强前景的太阳闪烁特征，并利用Focal和Dice混合损失函数监督网络训练以解决太阳闪烁和背景的类间不平衡问题。此外，本发明使用基于光流的高分辨率无人机光学RGB海洋图像中太阳闪烁的修复方法，利用RAFT提取相邻图像帧间的光流场，并利用光流传播和单张图像修复的迭代循环来修复图像中的太阳闪烁并恢复真实的海床图像特征，有效解决了海洋高分辨率无人机光学RGB海洋图像中太阳闪烁导致的图像污染和特征遮挡问题。
第二，本发明的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法可以显著改善海洋水面遥感监测中太阳闪烁引起的特征遮挡和信息污染问题，修复太阳闪烁的同时恢复真实的底栖海床特征，极大地提高了高分辨率无人机光学RGB海洋图像的图像质量和使用效率，为后续基于高分辨率无人机光学RGB海洋图像的海洋生态监测和海底地形测绘提供高质量的图像基础。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案填补了国内外业内技术空白：
太阳闪烁会污染图像，遮挡感兴趣的海底特征，从而影响高精度的海洋生态监测和底栖生物群落测绘。目前主要通过在阴天采集图像或者设计特定的观测角度和视场来降低太阳闪烁对图像特征的遮挡，但阴天获得的图像能见度低导致图像质量较差且图像细节丢失，而特定观测角度的数据采集方法难以满足多角度、高回访频率采集任务的需求。现有的通过增加图像重叠度并丢弃太阳闪烁现象严重区域或图像的方法则会造成大量的数据冗余并增加采集成本。此外，这些通过对数据采集阶段提出额外要求的方法无法处理已经采集的归档图像。目前对归档图像的太阳闪烁检测和修复方法的研究主要集中在高光谱和多光谱图像上，通过额外光谱信息的引入来准确识别太阳闪烁。无人机作为成熟、高效、易于部署的遥感平台，可以提供低成本，高信噪比的丰富信息，已经成为海洋生态监测和环境保护中不可或缺的传感器。然而，对于往往仅携带高分辨率光学RGB相机的无人机来说，还没有公开的论文或专利提出无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，导致许多受太阳闪烁影响的无人机光学RGB海洋图像使用效率低下甚至因为细节丢失而不可用。
(2)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：
海洋水面遥感监测中，不可避免的存在太阳闪烁现象。太阳闪烁造成了图像污染和特征遮挡，使得有用的底栖特征不可见，从而影响基于无人机光学RGB海洋图像的高精度海洋生态监测和底栖生物群落测绘。对于无人机光学RGB海洋图像中的太阳闪烁检测和修复问题，还没有完整有效的解决方案提出，导致许多受太阳闪烁影响的无人机光学RGB海洋图像因细节丢失而难以使用。
(3)本发明的技术方案克服了技术偏见：
目前对于太阳闪烁问题的解决方法主要集中在数据采集阶段，通过对数据采集阶段施加额外的约束。如选择在阴天进行数据采集，设计特定的观测角度和视场，设置较高的影响重叠度并丢弃太阳闪烁严重的区域或图像等。这些方法会导致图像细节丢失，难以满足多样化的海洋生态监测任务需求，且过大的数据冗余会增加海洋生态监测数据采集成本。此外，这些方法无法处理已经采集的无人机光学RGB海洋图像，使得海量已采集的图像难以使用。本发明的技术方案克服了在数据采集阶段减少太阳闪烁影响的技术偏见，使用后处理方式对无人机光学RGB海洋图像进行高精度的太阳闪烁检测和修复，使其不受数据采集时间与方式的限制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是现有技术提供的无人机光学RGB海洋图像中太阳闪烁示例图；
图2是本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法流程图；
图3是本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法原理图；
图4是本发明实施例提供的基于注意力机制的高精度语义分割网络SGNet的网络结构图；
图5是本发明实施例提供的基于光流的太阳闪烁修复流程图；
图6是本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统交互图；
图7是本发明实施例提供的原始高分辨率无人机光学RGB海洋图像示意图1；
图8是本发明实施例提供的原始高分辨率无人机光学RGB海洋图像示意图2；
图9是本发明实施例提供的SGNet检测得到的太阳闪烁示意图1；
图10是本发明实施例提供的SGNet检测得到的太阳闪烁示意图2；
图11是本发明实施例提供的太阳闪烁修复结果示意图1；
图12是本发明实施例提供的太阳闪烁修复结果示意图2。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法及系统，下面结合附图对本发明作详细的描述。
如图2所示，本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法包括以下步骤：
S101，引入太阳闪烁注意力模块，构建语义分割网络模型SGNet；
S102，利用Focal和Dice混合损失函数指导语义分割网络训练，并利用经过训练的语义分割网络模型SGNet检测得到太阳闪烁区域；
S103，利用RAFT光流估计网络提取高分辨率无人机光学RGB海洋图像的光流场并对太阳闪烁区域进行光流传播以修复无人机光学RGB海洋图像中的太阳闪烁并恢复真实的底栖生物图像特征。
作为优选实施例，如图3所示，本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法具体包括以下步骤：
步骤一，在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建高精度语义分割网络SGNet。
本发明实施例提供的在UNet网络结构中引入太阳闪烁注意力模块SGA包括：UNet前三个解码器最后一层的特征经过本发明提出的SGA模块，上采样至224×224×2并由真值监督，如图4所示。本发明实施例提供的SGA模块包括：将输入特征由3×3卷积层提取特征F1。将F1特征通过第一个1×1卷积层提取特征F2。将F2特征通过SE注意力模块提取感兴趣的特征F3。将F2特征与F3特征相乘融合得到增强的太阳闪烁特征F4。将F4通过第二个1×1卷积层提取的特征与特征F1相加得到进一步增强的太阳闪烁特征F。
步骤二，利用Focal和Dice混合损失函数指导语义分割网络训练，并利用经过训练的语义分割网络模型SGNet检测得到太阳闪烁区域。
本发明实施例提供的利用Focal和Dice混合损失函数指导语义分割网络训练包括：SGNet前三个解码器经SGA输出的特征由Dice损失函数监督，网络最终输出由Focal和Dice损失函数共同监督。
步骤三，利用RAFT光流估计网络提取出相邻高分辨率无人机光学RGB海洋图像的光流场，并利用SGNet检测出的太阳闪烁区域和RAFT提取出的光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素。对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果，如图5所示。
本发明实施例提供的进行图像帧间的光流传播包括：对被太阳闪烁遮挡的像素分别进行前向和后向光流传播，直到得到两个已知像素。分别计算两个已知像素的前后一致性误差，并根据误差进行权重赋值，最终通过对两个已知像素加权融合得到最后的修复像素。本发明实施例提供的前后一致性误差公式如下：
其中i和j表示图像帧m和图像帧n上的对应像素，errmn表示两帧的前后一致性误差，fmn表示图像帧m到图像帧n的光流值。
本发明实施例提供的加权融合权重公式如下：
其中w表示权重，err表示前后一致性误差，errmean表示前后一致性误差的均值。
如图6所示，本发明实施例提供的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统包括：
语义分割网络构建模块，用于在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建语义分割网络；
太阳闪烁区域获取模块，用于利用Focal和Dice混合损失函数指导语义分割网络训练，利用经过训练的语义分割网络检测得到太阳闪烁区域；
光流场提取模块，用于利用RAFT光流估计网络提取得到相邻高分辨率无人机光学RGB海洋图像的光流场；
太阳闪烁修复模块，用于利用太阳闪烁区域和光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素；对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
本发明的目的是显著改善海洋水面遥感监测中太阳闪烁引起的特征遮挡和信息污染问题，为基于高分辨率无人机光学RGB海洋图像的海洋生态监测和海底地形测绘提供高质量的图像基础。
实现本发明目的的技术方案主要有以下几个：
(1)通过引入注意力机制模块SGA以有效提取并增强感兴趣的太阳闪烁特征。
本发明采用了UNet经典的编码器-解码器结构，通过跳跃连接同时捕获高级全局上下文信息和低级图像细节。由于太阳闪烁突出的亮度和对比度，本发明引入太阳闪烁注意力机制模块SGA来提取与增强太阳闪烁特征。将UNet前三个解码器最后一层的特征经过本发明提出的SGA模块，上采样至224×224×2并由真值监督。本发明提出的SGA模块将输入特征由3×3卷积层提取特征F1。将F1特征通过第一个1×1卷积层提取特征F2。将F2特征通过SE注意力模块提取感兴趣的特征F3。将F2特征与F3特征相乘融合得到增强的太阳闪烁特征F4。将F4通过第二个1×1卷积层提取的特征与特征F1相加得到进一步增强的太阳闪烁特征F。
(2)利用Focal和Dice混合损失函数指导语义分割网络训练，以解决太阳闪烁和背景间的类间不平衡问题。
由于太阳闪烁在高分辨率无人机光学RGB海洋图像中往往集中分布在某一个角落，且占据比例小，导致严重的类间数据不平衡问题。为了解决这一问题，本发明利用Focal和Dice混合损失函数指导SGNet语义分割网络的训练。Focal损失函数从样本分类难易差异角度出发，使损失函数聚焦于难分的样本，从而解决样本不平衡带来的模型训练问题。Dice损失函数基于Dice系数，用于评估预测分割图像与真实分割图像之间的相似度。本发明提出的SGNet前三个解码器经SGA输出的特征由Dice损失函数监督，网络最终输出由Focal和Dice损失函数共同监督。
(3)利用基于光流的太阳闪烁修复方法有效修复高分辨率无人机光学RGB海洋图像中的太阳闪烁，恢复真实的底栖生物图像特征。
光流方法通过描述运动物体(如摄像机或被观测物体)像素的瞬时运动状态来表征相邻帧之间的对应关系，进而计算出相邻帧之间物体的运动信息。高分辨率无人机光学RGB海洋图像具有高重叠度，连续拍摄和亮度一致的特点，为基于光流的太阳闪烁修复创造了良好的前提条件。基于此，本发明提出了一种基于光流的太阳闪烁修复方法以有效修复高分辨率无人机光学RGB海洋图像中的太阳闪烁，恢复真实的底栖生物图像特征。
本发明利用RAFT光流估计网络提取出相邻高分辨率无人机光学RGB海洋图像的光流场，并利用光流传播和CSA单张图像修复的循环迭代得到最终的太阳闪烁修复结果。
具体来说，对被太阳闪烁遮挡的像素分别进行前向和后向光流传播，直到得到两个已知像素。对太阳闪烁遮挡像素进行前向光流传播和后向光流传播，直到得到两个已知像素。对已知像素执行前后一致性检查以确保像素传播的有效性。前后一致性检查确保两帧的前向光流和后向光流的光流值相等，方向相反。前后一致性通过前后一致性误差衡量，前后一致性误差定义为前向光流和后向光流之和的二范数，公式如下：
其中，i和j表示图像帧m和图像帧n上的对应像素，errmn表示两帧的前后一致性误差，fmn表示图像帧m到图像帧n的光流值。
基于前后一致性误差对得到的两个已知像素进行权重赋值，最终通过对两个已知像素加权融合得到最后的修复像素，权重公式如下：
其中，w表示权重，err表示前后一致性误差，errmean表示前后一致性误差的均值。
对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
为了验证本发明实施例提供的基于注意力机制和光流的高分辨率无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的有效性和优越性，实用高分辨率无人机光学RGB海洋图像数据集，在同样的软硬件运行环境下，与UNet方法进行了实验对比。高分辨率无人机光学RGB海洋图像数据集示意图如图7和图8所示，无人机光学RGB海洋图像中存在大量的太阳闪烁实例，对图像质量和图像细节造成了较大影响。
在高分辨率无人机光学RGB海洋图像数据集上随机裁剪224×224的图像块，丢弃其中没有太阳闪烁或者太阳闪烁覆盖较少的图像块。为了公平地比较两种方法，本发明提供了利用UNet和SGNet对高分辨率无人机光学RGB海洋图像数据集进行太阳闪烁检测的平均交并比(mIoU)，背景类别的交并比(IoU背景)，太阳闪烁类别的交并比(IoU太阳闪烁)结果，如表1所示。UNet方法背景类别的交并比和太阳闪烁类别的交并比分别为99.37％和74.43％。本发明方法太阳闪烁检测精度较UNet有显著提高，尤其是太阳闪烁类别的交并比比UNet提高了6.49％，检测精度大幅度提升。图9和图10是采用SGNet检测高分辨率无人机光学RGB海洋图像中太阳闪烁的结果，可以看到SGNet精确的检测出了太阳闪烁区域。
表1太阳闪烁检测结果对比
UNet方法(％) 本发明方法(％)
mIoU 86.90 90.27
IoU背景 99.37 99.61
IoU太阳闪烁 74.43 80.92
图11和图12是使用本发明实施例提供的基于光流的太阳闪烁修复方法处理后的高分辨率无人机光学RGB海洋图像太阳闪烁修复结果，可以看到，本发明提出的太阳闪烁修复方法有效修复了高分辨率无人机光学RGB海洋图像上的太阳闪烁，还原了尽可能真实的海洋底栖生物图像特征，为基于高分辨率无人机光学RGB海洋图像的底栖生物监测和海底地形测绘提供了高质量的图像基础。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，其特征在于，包括：利用太阳闪烁注意力模块构建基于注意力机制的语义分割网络模型；利用Focal和Dice混合损失函数指导语义分割网络训练，并利用经过训练的语义分割网络SGNet检测得到太阳闪烁区域；利用RAFT光流估计网络提取高分辨率无人机光学RGB海洋图像的光流场并对太阳闪烁区域进行光流传播以修复无人机光学RGB海洋图像中的太阳闪烁并恢复真实的底栖生物图像特征。
2.如权利要求1所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，其特征在于，无人机光学RGB海洋图像中太阳闪烁的检测和修复方法包括以下步骤：
步骤一，在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建语义分割网络；
步骤二，利用Focal和Dice混合损失函数指导语义分割网络训练，利用经过训练的语义分割网络SGNet检测得到太阳闪烁区域；
步骤三，利用RAFT光流估计网络提取得到相邻高分辨率无人机光学RGB海洋图像的光流场；
步骤四，利用SGNet检测得到的太阳闪烁区域和RAFT提取得到的光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素；
步骤五，对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
3.如权利要求2所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，其特征在于，步骤一中的在UNet网络结构中引入太阳闪烁注意力模块SGA包括：UNet前三个解码器最后一层的特征经过SGA模块，上采样至224×224×2并由真值监督；其中，太阳闪烁注意力模块SGA包括：
将输入特征由3×3卷积层提取特征F1；将F1特征通过第一个1×1卷积层提取特征F2；将F2特征通过SE注意力模块提取感兴趣的特征F3；将F2特征与F3特征相乘融合得到增强的太阳闪烁特征F4；将F4通过第二个1×1卷积层提取的特征与特征F1相加得到太阳闪烁特征F。
4.如权利要求2所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，其特征在于，步骤二中的利用Focal和Dice混合损失函数指导语义分割网络训练包括：SGNet前三个解码器经SGA输出的特征由Dice损失函数监督，网络最终输出由Focal和Dice损失函数共同监督。
5.如权利要求2所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法，其特征在于，步骤四中的进行图像帧间的光流传播包括：对被太阳闪烁遮挡的像素分别进行前向和后向光流传播，直到得到两个已知像素；分别计算两个已知像素的前后一致性误差，并根据误差进行权重赋值，最终通过对两个已知像素加权融合得到最后的修复像素；其中，前后一致性误差的计算公式如下：
式中，i和j表示图像帧m和图像帧n上的对应像素，errmn表示两帧的前后一致性误差，fmn表示图像帧m到图像帧n的光流值；
加权融合权重公式如下：
式中，w表示权重，err表示前后一致性误差，errmean表示前后一致性误差的均值。
6.一种应用如权利要求1～5任意一项所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统，其特征在于，无人机光学RGB海洋图像中太阳闪烁的检测和修复系统包括：
语义分割网络构建模块，用于在UNet网络结构中引入太阳闪烁注意力模块SGA以提取与增强感兴趣的太阳闪烁特征，构建语义分割网络；
太阳闪烁区域获取模块，用于利用Focal和Dice混合损失函数指导语义分割网络训练，利用经过训练的语义分割网络检测得到太阳闪烁区域；
光流场提取模块，用于利用RAFT光流估计网络提取得到相邻高分辨率无人机光学RGB海洋图像的光流场；
太阳闪烁修复模块，用于利用太阳闪烁区域和光流场进行图像帧间的光流传播，以修复太阳闪烁遮挡的像素；对于无法通过光流传播修复的像素，利用CSA图像生成网络进行单张图像的修复，并将修复结果作为已知值加入下一个循环迭代的光流传播中以获得最终的太阳闪烁修复结果。
7.一种计算机设备，其特征在于，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～5任意一项所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的步骤。
8.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～5任意一项所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复方法的步骤。
9.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求6所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统。
10.一种如权利要求6所述的无人机光学RGB海洋图像中太阳闪烁的检测和修复系统在海洋生态监测、海底地形测绘以及海洋摄影测量领域中检测并修复高分辨率无人机光学RGB海洋图像中太阳闪烁的应用。
CN202310578108.8A 2023-05-22 2023-05-22 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统 Pending CN116739919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310578108.8A CN116739919A (zh) 2023-05-22 2023-05-22 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310578108.8A CN116739919A (zh) 2023-05-22 2023-05-22 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统

Publications (1)

Publication Number Publication Date
CN116739919A true CN116739919A (zh) 2023-09-12

Family

ID=87907070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310578108.8A Pending CN116739919A (zh) 2023-05-22 2023-05-22 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统

Country Status (1)

Country Link
CN (1) CN116739919A (zh)

Similar Documents

Publication Publication Date Title
Kim et al. High-speed drone detection based on yolo-v8
CN112308019A (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN115497005A (zh) 一种融合特征转移与注意力机制的yolov4遥感目标检测方法
CN112085678B (zh) 一种适用于电力设备机巡图像去雨滴的方法及系统
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN113111727B (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN111666854A (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN114821018B (zh) 一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
Wang et al. Change detection in synthetic aperture radar images based on convolutional block attention module
Liu et al. A multi-scale feature pyramid SAR ship detection network with robust background interference
Vida et al. Open-source meteor detection software for low-cost single-board computers
CN112785629A (zh) 一种基于无监督深度光流网络的极光运动表征方法
CN116739919A (zh) 无人机光学海洋图像中太阳闪烁的检测和修复方法及系统
CN115984568A (zh) 一种基于YOLOv3网络的雾霾环境下目标检测方法
CN115797782A (zh) 一种基于加权扩展特征金字塔的遥感图像小目标检测方法
CN111938684B (zh) 高速低时空复杂度的pet晶体位置谱数据分割方法
WO2022224111A1 (en) Method and system thereof for detecting objects in the field of view of an optical detection device
Shao et al. Sar ship detection from complex background based on dynamic shrinkage attention mechanism
Kim et al. Real-time robust object detection using an Adjacent feature fusion-based single shot Multibox detector
Zhao et al. RMFENet: Refined Multi-Scale Feature Enhancement Network for Arbitrary Oriented Sonar Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination