CN117011688B - 一种水下结构病害的识别方法、系统及存储介质 - Google Patents

一种水下结构病害的识别方法、系统及存储介质 Download PDF

Info

Publication number
CN117011688B
CN117011688B CN202310847826.0A CN202310847826A CN117011688B CN 117011688 B CN117011688 B CN 117011688B CN 202310847826 A CN202310847826 A CN 202310847826A CN 117011688 B CN117011688 B CN 117011688B
Authority
CN
China
Prior art keywords
disease
image
target
underwater
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310847826.0A
Other languages
English (en)
Other versions
CN117011688A (zh
Inventor
黄永辉
卓启业
刘爱荣
饶瑞
陈炳聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202310847826.0A priority Critical patent/CN117011688B/zh
Publication of CN117011688A publication Critical patent/CN117011688A/zh
Application granted granted Critical
Publication of CN117011688B publication Critical patent/CN117011688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种水下结构病害的识别方法、系统及存储介质，方法包括：获取目标水下结构病害的原始图像；对原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；将多幅增强图像进行图像融合处理，得到融合图像；利用水下病害检测模型，对融合图像进行分析，获得病害信息；基于激光点对的入射状态，根据固定距离和虚拟标尺确定像素比例尺；对定位框图像进行边缘检测，获得目标病害的边缘位置；基于边缘位置和像素比例尺，获得目标病害的尺寸信息。本发明能够实现水下结构病害的准确识别，可广泛应用于图像处理技术领域。

Description

一种水下结构病害的识别方法、系统及存储介质
技术领域
本发明涉及图像处理技术领域，尤其是一种水下结构病害的识别方法、系统及存储介质。
背景技术
随着数字图像处理技术和水下无人机技术的日益成熟，被广泛应用在桥梁结构检测中。其主要通过在水下无人机上搭载高清摄像机进行水下全方位采集桥梁表面图像，再利用计算机技术对采集的桥梁表面图像进行处理与分析，最终可以了解到桥梁表面健康状况。水下特殊的物理和化学特性导致水下图像表现出特有的退化特征。由于红、绿、蓝三种光的衰减率不同，图像表现出严重的蓝绿色偏。水中悬浮的微粒吸收光线的能量并改变了光路，这导致了图像的低对比度、模糊和有雾，再加上水流导致无人机成像不稳定难以判断水下病害的尺寸，检测结果主观性强，极其依赖工程技术人员的经验。
发明内容
有鉴于此，本发明实施例提供一种水下结构病害的识别方法、系统及存储介质，能够准确实现水下结构病害的识别。
一方面，本发明的实施例提供了一种水下结构病害的识别方法，包括：
获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；
对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；
将多幅所述增强图像进行图像融合处理，得到融合图像；
利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；
基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；
对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；
基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息。
可选地，方法还包括：
在所述定位框图像标记所述目标病害的所述种类信息、位置信息和尺寸信息，基于标记后的定位框图像对所述水下病害检测模型进行参数更新。
可选地，图像还原处理，包括以下至少之一：
对待处理图像进行自动白平衡处理，并对所述待处理图像的绿色通道和蓝色通道进行修正处理；
在三原色光模式中，对所述待处理图像进行自适应直方图拉伸；
在Lab颜色模式中，通过拉伸亮度分量修正颜色通道分量的输出颜色，完成对所述待处理图像的线性和曲线自适应拉伸优化操作；
其中，所述待处理图像表征所述原始图像或所述原始图像经过其它图像还原处理步骤所获得的图像。
可选地，将多幅所述增强图像进行图像融合处理，得到融合图像，包括：
对多幅所述增强图像进行细节增强处理，调整各所述增强图像的局部过曝光或欠曝光；并通过色彩增强处理确定各所述增强图像到融合图像的色彩映射；
基于对各所述增强图像的局部过曝光或欠曝光的调整，并结合所述色彩映射，获得所述融合图像。
可选地，方法还包括：
在预构的YOLOv8模型的骨干网络的末端插入全局注意力机制，获得所述目标检测模型；其中，所述全局注意力机制包括通道注意力子模块、空间注意力子模块和至少两个多层感知器；
根据所述已标记病害信息的地面病害数据集，确定训练样本；
利用所述训练样本对所述目标检测模型进行初步训练，获得预训练权重；
获取水下病害数据集；
对所述预训练权重进行迁移学习，以所述水下病害数据集作为模型输入，结合定位损失函数和分类损失函数进行迁移训练，获得水下病害检测模型。
可选地，利用水下病害检测模型，对所述融合图像进行分析，获得病害信息，包括：
利用所述骨干网络对所述融合图像进行特征提取，得到多层次的特征图；
其中，所述特征提取的过程中，通过所述全局注意力机制进行三维信息的保留、跨维通道-空间依赖关系的放大以及空间信息的聚焦；
利用所述特征金字塔，通过上采样和下采样将不同层次的所述特征图融合，得到多尺度特征；
利用所述目标检测头，通过不同尺度的卷积模块对所述多尺度特征进行多尺度检测，获得病害信息。
可选地，基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺，包括：
根据所述虚拟标尺，确定所述激光点对的落点质心间的像素个数；
当所述激光点对的入射角为90°，根据所述固定距离与所述像素个数的比值，确定像素比例尺；
当所述激光点对的入射角不为90°，获取入射角，基于所述入射角与激光光束的几何关系，确定所述激光点对的实际距离，根据所述实际距离与所述像素个数的比值，确定像素比例尺。
可选地，对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置，包括：
基于Zernike矩的旋转不变性，对所述定位框图像进行旋转处理，获得若干Zernike矩；
通过若干所述Zernike矩，结合预设模板系数确定边缘参数；
基于所述边缘参数得到亚像素坐标，获得所述目标病害的边缘位置。
另一方面，本发明的实施例提供了一种水下结构病害的识别系统，包括：
第一模块，用于获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；
第二模块，用于对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；
第三模块，用于将多幅所述增强图像进行图像融合处理，得到融合图像；
第四模块，用于利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；
第五模块，用于基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；
第六模块，用于对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；
第七模块，用于基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息。
可选的，系统还包括：
第八模块，用于在所述定位框图像标记所述目标病害的所述种类信息、位置信息和尺寸信息，基于标记后的定位框图像对所述水下病害检测模型进行参数更新。
可选的，系统还包括：
第九模块，用于在预构的YOLOv8模型的骨干网络的末端插入全局注意力机制，获得所述目标检测模型；其中，所述全局注意力机制包括通道注意力子模块、空间注意力子模块和至少两个多层感知器；
根据所述已标记病害信息的地面病害数据集，确定训练样本；
利用所述训练样本对所述目标检测模型进行初步训练，获得预训练权重；
获取水下病害数据集；
对所述预训练权重进行迁移学习，以所述水下病害数据集作为模型输入，结合定位损失函数和分类损失函数进行迁移训练，获得水下病害检测模型。
另一方面，本发明的实施例提供了一种水下结构病害的识别装置，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；将多幅所述增强图像进行图像融合处理，得到融合图像；利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息。本发明实施例能够解决目前桥梁水下结构病害检测受水下低质量图像、识别精度不高、尺寸无法确定的问题，实现水下结构病害的准确识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种水下结构病害的识别方法的流程示意图；
图2为本发明实施例提供的水下激光虚拟标尺生成的示意图；
图3为本发明实施例提供的原始图像的一个示例图；
图4为本发明实施例提供的融合图像的一个示例图；
图5为本发明实施例提供的全局注意力机制的结构示意图；
图6为本发明实施例提供的水下结构病害图像识别及模型搭建示意图；
图7为本发明实施例提供的水下病害检测模型的结构示意图；
图8为本发明实施例提供的原YOLOv8模型识别原始图像的一个示例图；
图9为本发明实施例提供的水下病害检测模型识别融合图像的一个示例图；
图10为本发明实施例提供的水下激光虚拟标尺落点质心修正的示意图；
图11为本发明实施例提供的水下结构病害的识别方法的整体流程示意图；
图12为本发明实施例提供的一种水下结构病害的识别装置的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，如图1所示，本发明的实施例提供了一种水下结构病害的识别方法，包括：
S100、获取目标水下结构病害的原始图像；
需要说明的是，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；
一些具体实施例中，如图2所示，通过开启水下无人机相机旁两套固定平行距离(可以取固定距离为20cm)的激光发射器发射激光至病害结构表面作为虚拟标尺，由水下无人机搭载的相机获取原始水下结构病害图像，如图3所示为原始图像的一个示例图。
S200、对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；
需要说明的是，一些实施例中，图像还原处理，可以包括以下至少之一：对待处理图像进行自动白平衡处理，并对所述待处理图像的绿色通道和蓝色通道进行修正处理；在三原色光模式中，对所述待处理图像进行自适应直方图拉伸；在Lab颜色模式中，通过拉伸亮度分量修正颜色通道分量的输出颜色，完成对所述待处理图像的线性和曲线自适应拉伸优化操作；其中，所述待处理图像表征所述原始图像或所述原始图像经过其它图像还原处理步骤所获得的图像。
一些具体实施例中，图像还原处理可以基于全局直方图拉伸(relative globalhistogram stretching，RGHS)实现，步骤包括：
(1)基于灰度世界理论的预处理图像，根据RGB通道的分布特点和水下光传播的选择性衰减，根据灰度世界假设(Gray World Assumption)理论修正G和B通道(G：绿色通道；B：蓝色通道)；绿色通道和蓝色通道进行修正处理的表达式分别如下：
其中，Gavg和Bavg分别为恢复的绿色通道、蓝色通道的归一化平均值；θg，θb为G、B通道的色彩均衡系数；M，N为图像的空间分辨率；Ig，Ib分别为G、B通道的强度值。
(2)在RGB颜色模型(三原色光模式)中采用自适应直方图拉伸。
由：
改进为：
其中，pin和pout分别是输入像素和输出像素；Imin，Imax，Omin和Omax别是拉伸前后图像的自适应参数。
(3)CIE-Lab颜色模型中的自适应拉伸，通过拉伸亮度“L”分量来修正并修改ab分量的输出颜色来作为线性和曲线自适应拉伸优化操作，得到还原图像1。需要说明的是，Lab模式是根据Commission International Eclairage(CIE)在1931年所制定的一种测定颜色的国际标准建立的。于1976年被改进，并且命名的一种色彩模式。Lab颜色模型弥补了RGB和CMYK两种色彩模式的不足。它是一种设备无关的颜色模型，也是一种基于生理特征的颜色模型。Lab颜色模型由三个要素组成，一个要素是亮度(L)，a和b是两个颜色通道。a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，这种颜色混合后将产生具有明亮效果的色彩。
一些具体实施例中，图像的低光增强处理可以基于maxim算法实现，maxim使用UNet的对称结构，并使用空间多变MLP进行长期以来的交互。具体来说，maxim包含两个基于MLP的模块，以对局部和全局视觉线索进行高效和可扩展的混合，一个交叉门控块用于交叉特征调节。这两个模块都完全基于MLP，但它们均具有图像处理模型所需的两个属性：全局卷积、全卷积。广泛的实验结果表明，maxim模型在超过10个基准测试中实现了最先进的性能，同时比对比模型需要更少的参数和FLOPs。
一些具体实施例中，图像的超分增强可以基于RealBasicVSR超分辨率算法实现，图像超分辨率(SR)技术是一种提高图像空间分辨率的“软处理”方法，在不改变现有硬件设备条件的基础上通过信号处理方法获取更高分辨率、更高清晰度的图像，由一系列低分辨率(LR)、低质量图像序列恢复出高分辨率(HR)、高质量图像的处理过程。图像超分辨率是通过对HR图像一系列降质处理后得到的观测图像进行反求原HR图像的过程，属于图像逆问题。
其中，RealBasicVSR算法采用二阶退化模型，并将随机模糊、调整大小、噪声和JPEG压缩作为基于图像的退化。此外还加入了视频压缩，这是一种减少视频大小的常用技术。在对抗训练中，使用RealBasicVSR作为生成器，并采用Real-ESRGAN的鉴别器。
S300、将多幅所述增强图像进行图像融合处理，得到融合图像；
需要说明的是，一些实施例中，步骤S300可以包括：对多幅所述增强图像进行细节增强处理，调整各所述增强图像的局部过曝光或欠曝光；并通过色彩增强处理确定各所述增强图像到融合图像的色彩映射；基于对各所述增强图像的局部过曝光或欠曝光的调整，并结合所述色彩映射，获得所述融合图像。
一些具体实施例中，图像融合处理可以基于DPE-MEF算法实现。其中，用于MEF(多重曝光图像融合)的深度感知增强网络，称为DPE-MEF。DPE-MEF，其包含两个模块，其中一个模块响应从输入中收集内容细节，而另一个模块负责颜色映射/校正以获得最终结果，如图4所示，为对图3的原始图像经过图像还原处理、超分辨率处理和低光增强处理后的各幅增强图像进行图像融合处理，得到的融合图像的示例。其中，图像融合处理部分步骤细节包括：
细节增强模块尝试从源输入中充分探索细节。通过寻求最佳局部曝光来有效地形成增强的图像，这些曝光可作为指导细节增强模块的参考。
受Retinex理论的启发，图像可以分解为两层，例如反照率和阴影或反射率和照明。在这项工作中，可以交替地以的形式分解图像I，其中R和E分别表示场景细节和曝光分量(与相机曝光的概念不同，E反映了细节增强的力度)，运算符/>表示元素乘积。通过简单的代数变换，我们得出/>其中1/E是元素方向反转E，将1/E表示为A。由于A(或等价的E)在空间上是变化的，因此调整也是如此。同时，如果A中的所有元素都具有相同的值，则调整将退化为全局元素。
通过假设R包含最丰富的细节，调整应努力从I寻求最优一个从I对于每个位置(i,j)，确定一个/>基于局部区域统计-局部平均值μij和标准差σij-在半径窗口Iij内r周围(表示为Pij)。标准差可以看作是细节丰富度的度量，其计算公式为：
S400、利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；
需要说明的是，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；
其中，一些实施例中，本发明实施例的方法，还可以包括：在预构的YOLOv8模型的骨干网络的末端插入全局注意力机制，获得所述目标检测模型；其中，所述全局注意力机制包括通道注意力子模块、空间注意力子模块和至少两个多层感知器；根据所述已标记病害信息的地面病害数据集，确定训练样本；利用所述训练样本对所述目标检测模型进行初步训练，获得预训练权重；获取水下病害数据集；对所述预训练权重进行迁移学习，以所述水下病害数据集作为模型输入，结合定位损失函数和分类损失函数进行迁移训练，获得水下病害检测模型。
一些具体实施例中，由于原YOLOv8模型的下采样倍数比较大，较深的特征图难学习到小目标的特征信息，因此，还可以在YOLOv8模型增加小目标检测层对较浅特征图与深特征图拼接后进行检测。加入小目标检测层，可以让网络更加关注小目标的检测，提高检测效果。
其中，在骨干网络中插入全局注意力机制(GAM)，如图5所示，GAM为一种能够捕捉所有三个维度的显著特征的注意机制。通道注意力子模块(图示Channel Attention)使用3D置换来保留三维信息，然后利用两层MLP(多层感知器)放大跨维通道-空间依赖关系。在空间注意力子模块(图示Spatial Attention)中，为了聚焦空间信息，使用了两个卷积层次进行空间信息融合。
给定输入特征图(Input feature)F1、中间特征图F2和输出特征图(Outputfeature)F3定义为:
其中，MC和MS分别表示通道和空间注意力特征图谱；表示按元素进行乘法操作。
一些具体实施例中，改进的YOLOv8模型(目标检测模型)的训练过程可以通过如下步骤实现：
(1)针对水下病害数据集较少的情况，对已有水下病害数据集进行扩容处理并标记，用于后续水下病害检测模型的训练，首先通过大量地面病害数据集训练获得初步的预训练权重，有利于提高检测增强图像后的水下病害图像精度；
(2)迁移学习上述获得的预训练权重，以水下病害数据集为输入，模型使用定位损失函数CIoU loss+DFL、分类损失函数BCE loss训练水下病害检测模型并评估模型性能，完成训练后保存已训练好的模型和参数；
CIOU损失函数公式如下：
其中，惩罚项中的b，bgt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。α是用于做trade-off的参数，υ是用来衡量长宽比一致性的参数，υ定义如下：
影响因子αυ把预测框纵横比拟合真实框的纵横比考虑进,CIOU Loss的梯度在长宽[0,1]的情况下，w2+h2的值通常很小，会导致梯度爆炸，因此在实现时将替换成1。
BCE(二元交叉熵)损失函数公式如下：
ln＝-wn[yn·logxn+(1-yn)·log(1-xn)]
其中，xn为模型预测值，yn为标签值，wn为权重值(一般取1)。
BCE主要适用于二分类的任务，经过简单修改也可以适用于多标签分类任务。使用BCE之前，需要将输出变量量化在[0，1]之间(一般使用Sigmoid激活函数)。
一些实施例中，步骤S400可以包括：利用所述骨干网络对所述融合图像进行特征提取，得到多层次的特征图；其中，所述特征提取的过程中，通过所述全局注意力机制进行三维信息的保留、跨维通道-空间依赖关系的放大以及空间信息的聚焦；利用所述特征金字塔，通过上采样和下采样将不同层次的所述特征图融合，得到多尺度特征；利用所述目标检测头，通过不同尺度的卷积模块对所述多尺度特征进行多尺度检测，获得病害信息。
此外，一些实施例中，本发明实施例的方法，还可以包括：在所述定位框图像标记所述目标病害的所述种类信息、位置信息和尺寸信息，基于标记后的定位框图像对所述水下病害检测模型进行参数更新。
一些具体实施例中，可以通过将多张待检测融合图像或实时录像输入到完成训练后的水下病害图像自动识别模型中，输出带有病害位置信息和种类信息的图像，并自动截取病害最小定位框图像。并且，可以将上述所有自动截取的病害最小定位框图像进行标记，标记后并入模型训练集进行训练，更新模型参数及权重信息，有利于提高模型对于水下病害图像检测的泛化能力。
需要说明的是，一些具体实施方式中，如图6所示，训练获得水下病害检测模型，并利用水下病害检测模型获得病害信息，可以通过如下步骤实现：
S401、建立水下病害增强图像数据库：
1.由水下无人机搭载的相机获取水下结构病害图像数据集，通过大量地面病害数据集扩容，并用labelimg为每张照片标注标签信息，标签信息对应于照片所属的结构病害病害类型；
2.将所有带标签信息的数据集按9：1划分训练集和验证集，固定图像格式为640*480*3；
3.将训练集和验证集的所有图像经过前述的S200和S300实现图像的增强与融合，组成增强数据集。
S402、改进病害检测模型结构(如图7所示，Backbone：骨干网络；Neck：特征金字塔；Head：目标检测头)：
1.原YOLOv8模型的下采样倍数比较大，较深的特征图难学习到小目标的特征信息，因此增加小目标检测层对较浅特征图与深特征图拼接后进行检测。加入小目标检测层，可以让网络更加关注小目标的检测，提高检测效果；
2.在YOLOv8骨干网络中插入全局注意力机制(GAM，对应图7的GAM_ATT)，如图5所示，GAM为一种能够捕捉所有三个维度的显著特征的注意机制。通道注意力子模块使用3D置换来保留三维信息，然后利用两层MLP(多层感知器)放大跨维通道-空间依赖关系。在空间注意力子模块中，为了聚焦空间信息，使用了两个卷积层次进行空间信息融合。
S403、通过地面病害数据集训练获得初步的预训练权重，迁移学习获得的预训练权重，以水下病害增强图像数据集为输入，模型使用定位损失函数CIoU loss+DFL、分类损失函数BCE loss训练水下病害检测模型并评估模型性能，完成训练后保存已训练好的模型和参数。
S404、将多张待检测融合图像或实时录像输入到完成训练后的水下病害图像自动识别模型中，输出带有病害位置信息和种类信息的图像，并自动截取病害最小定位框图像。其中，如图8所示，为使用原YOLOv8模型以未增强水下病害图像(原始图像)作为数据库训练的模型，输出的原始图像识别效果图；如图9所示，使用改进型YOLOv8模型以上述增强水下病害图像作为数据库训练的模型，输出的增强图像识别效果图。由图8和图9可以看出，本发明实施例的检测识别效果较为优越。
S405、将上述所有自动截取的病害最小定位框图像进行标记，标记后并入模型训练集进行训练，更新模型参数及权重信息，有利于提高模型对于水下病害图像检测的泛化能力。
应当理解的是，水下病害检测模型的原理重点在于如S402的YOLOv8模型的改进部分，图7中其余的Conv(卷积)、C2f、Concat等模块所实现的功能以及进行的数据处理方式均与原YOLOv8模型相同。
其中，骨干网络是指用来提取图像特征的网络，它的主要作用是将原始的输入图像转化为多层特征图，以便后续的目标检测任务使用；
由于物体在图像中的大小和位置是不确定的，因此需要一种机制来处理不同尺度和大小的目标，特征金字塔是一种用于处理多尺度目标检测的技术，它可以通过在骨干网络上添加不同尺度的特征层来实现。通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔。自顶向下部分主要是通过上采样和与更粗粒度的特征图融合来实现不同层次特征的融合，而自下向上则是通过使用一个卷积层来融合来自不同层次的特征图。在目标检测算法中，Neck通常被用于将不同层级的特征图结合起来，生成具有多尺度信息的特征图，以提高目标检测的准确率。
目标检测头是用来对特征金字塔进行目标检测的部分。
S500、基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；
需要说明的是，一些实施例中，步骤S500可以包括：根据所述虚拟标尺，确定所述激光点对的落点质心间的像素个数；当所述激光点对的入射角为90°，根据所述固定距离与所述像素个数的比值，确定像素比例尺；当所述激光点对的入射角不为90°，获取入射角，基于所述入射角与激光光束的几何关系，确定所述激光点对的实际距离，根据所述实际距离与所述像素个数的比值，确定像素比例尺。
一些具体实施例中，获得像素比例尺可以通过如下步骤实现：
1.由水下无人机相机旁两套激光发射器发射两束准直激光至病害结构表面，激光平行且固定间距为L，并在病害结构表面形成激光标尺，由像素比例尺概念得像素宽度为L与激光落点质心间像素个数n的比值。
2.当激光发射器发射的激光垂直于结构平面时，入射角α＝90°，激光标尺的实际距离即为激光固定间距L，可直接由此距离转换成单位像素宽度d＝L/n，确定为像素比例尺。
3.当激光不垂直于结构平面时，即入射角α≠90°，需要对水下激光虚拟标尺落点进行质心修正，如图10所示，光斑由圆形变为椭圆，由椭圆光斑的短轴与长轴之比r可得夹角α，即。假设两束平行光束分别交于结构平面于点M、N，点M垂直第二条光束交于点O，根据几何关系：
进而可以确定单位像素宽度d＝MN/n，确定为像素比例尺。
S600、对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；
需要说明的是，一些实施例中，步骤S600可以包括：基于Zernike矩的旋转不变性，对所述定位框图像进行旋转处理，获得若干Zernike矩；通过若干所述Zernike矩，结合预设模板系数确定边缘参数；基于所述边缘参数得到亚像素坐标，获得所述目标病害的边缘位置。
一些具体实施例中，边缘检测可以通过Zernike矩亚像素边缘检测实现，步骤包括：
1.Zernike矩亚像素边缘检测算法的原理：根据Zernike矩的旋转不变性，计算检测边缘所需的4个边缘参数，从而实现对边缘的精确定位。确定边缘的4个参数包括背景灰度值h、阶跃高度k、圆盘中心到边缘的垂直距离l和垂线于x轴的夹角
设f'(x,y)为旋转后的图像，则有
2.在确定边缘参数时，需要通过三个Zernike矩，即Z00、Z11、Z20来计算，通过查相应模板大小N*N对应的模板系数来获取，各自对应的复数为V00＝1，V11＝x+jy，V20＝2x2+2y2-1，通过计算，可以得出理想边缘的4个参数分别为：
/>
其中，Re[Zn1]为Zn1的实部，Im[Zn1]为Zn1的虚部。
3.在离散情况下，矩的值是模板和图像灰度的卷积。由于模板效应的存在会导致边缘的亚像素坐标产生误差，当在单位圆内使用大小为N×N的模板进行采样时，模板与其对应像素之间的卷积运算的结果就是图像的Zernike矩的值。此时，圆的半径变成N/2倍，所以从圆点到边缘的垂直距离l应该放大N/2倍。
因此，基于Zernike矩的亚像素边缘检测方法的亚像素坐标(x’，y’)计算公式为：
S700、基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息；
一些具体实施例中，通过基于Zernike矩的亚像素边缘检测方法得到的亚像素边缘位置，从而得到病害的亚像素单位数w，结合前述步骤得到的单位像素宽度d，可得病害实际宽度S＝w*d。
具体地，为完整阐述本发明实施例的技术原理，下面结合部分具体实施例对上述整体流程步骤作进一步说明，应当理解，下述为本发明的解释，不能看作对本发明的限制。
如图11所示，本发明实施例的水下结构病害的识别可以通过如下步骤实现：
S01：开启水下无人机相机旁两套固定平行距离的激光发射器发射激光至病害结构表面作为虚拟标尺，由水下无人机搭载的相机获取原始水下结构病害图像；
S02：将原始病害图像分别进行水下图像还原，超分辨率处理和低光增强得到三幅增强图像，并算法修正激光落点位置；
S03：将上述三幅增强图像通过图像融合算法得到融合图像；
S04：建立水下病害增强图像数据库，改进病害检测模型结构，通过大量地面病害数据集训练获得初步的预训练权重，迁移学习水下病害检测模型，完成训练后将待检测融合图像送入改进型病害检测模型中，获取病害种类及位置信息，将自动截取的病害最小定位框图像标记后并入训练集用于更新模型训练参数，增强模型检测泛化能力；
S05：结合虚拟标尺获得的像素比例尺及Zernike矩亚像素边缘检测，完成对病害实际宽度的测量。
综上，本发明实施例能够解决目前桥梁水下结构病害检测受水下低质量图像、识别精度不高、尺寸无法确定的问题，实现水下结构病害准确的识别。
另一方面，本发明的实施例提供了一种水下结构病害的识别系统，包括：第一模块，用于获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；第二模块，用于对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；第三模块，用于将多幅所述增强图像进行图像融合处理，得到融合图像；第四模块，用于利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；第五模块，用于基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；第六模块，用于对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；第七模块，用于基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息。
需要说明的是，一些实施例中，系统还包括：
第八模块，用于在所述定位框图像标记所述目标病害的所述种类信息、位置信息和尺寸信息，基于标记后的定位框图像对所述水下病害检测模型进行参数更新。
其中，一些实施例中，系统还包括：
第九模块，用于在预构的YOLOv8模型的骨干网络的末端插入全局注意力机制，获得所述目标检测模型；其中，所述全局注意力机制包括通道注意力子模块、空间注意力子模块和至少两个多层感知器；根据所述已标记病害信息的地面病害数据集，确定训练样本；利用所述训练样本对所述目标检测模型进行初步训练，获得预训练权重；获取水下病害数据集；对所述预训练权重进行迁移学习，以所述水下病害数据集作为模型输入，结合定位损失函数和分类损失函数进行迁移训练，获得水下病害检测模型。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
如图12所示，本发明实施例的另一方面还提供了一种水下结构病害的识别装置800，包括处理器810以及存储器820；
存储器820用于存储程序；
处理器810执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本发明实施例所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本发明实施例中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (9)

1.一种水下结构病害的识别方法，其特征在于，包括：
获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；
对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；
将多幅所述增强图像进行图像融合处理，得到融合图像；
利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；
基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；其中，所述基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺，包括：
根据所述虚拟标尺，确定所述激光点对的落点质心间的像素个数；
当所述激光点对的入射角为90°，根据所述固定距离与所述像素个数的比值，确定像素比例尺；
当所述激光点对的入射角不为90°，获取入射角，基于所述入射角与激光光束的几何关系，确定所述激光点对的实际距离，根据所述实际距离与所述像素个数的比值，确定像素比例尺；
对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；
基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息；其中，所述基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息，包括：
通过基于Zernike矩的亚像素边缘检测方法得到的亚像素边缘位置，从而得到所述目标病害的亚像素单位数，进而结合像素比例尺获得所述目标病害的尺寸信息。
2.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述方法还包括：
在所述定位框图像标记所述目标病害的所述种类信息、位置信息和尺寸信息，基于标记后的定位框图像对所述水下病害检测模型进行参数更新。
3.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述图像还原处理，包括以下至少之一：
对待处理图像进行自动白平衡处理，并对所述待处理图像的绿色通道和蓝色通道进行修正处理；
在三原色光模式中，对所述待处理图像进行自适应直方图拉伸；
在Lab颜色模式中，通过拉伸亮度分量修正颜色通道分量的输出颜色，完成对所述待处理图像的线性和曲线自适应拉伸优化操作；
其中，所述待处理图像表征所述原始图像或所述原始图像经过其它图像还原处理步骤所获得的图像。
4.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述将多幅所述增强图像进行图像融合处理，得到融合图像，包括：
对多幅所述增强图像进行细节增强处理，调整各所述增强图像的局部过曝光或欠曝光；并通过色彩增强处理确定各所述增强图像到融合图像的色彩映射；
基于对各所述增强图像的局部过曝光或欠曝光的调整，并结合所述色彩映射，获得所述融合图像。
5.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述方法还包括：
在预构的YOLOv8模型的骨干网络的末端插入全局注意力机制，获得所述目标检测模型；其中，所述全局注意力机制包括通道注意力子模块、空间注意力子模块和至少两个多层感知器；
根据所述已标记病害信息的地面病害数据集，确定训练样本；
利用所述训练样本对所述目标检测模型进行初步训练，获得预训练权重；
获取水下病害数据集；
对所述预训练权重进行迁移学习，以所述水下病害数据集作为模型输入，结合定位损失函数和分类损失函数进行迁移训练，获得水下病害检测模型。
6.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述利用水下病害检测模型，对所述融合图像进行分析，获得病害信息，包括：
利用所述骨干网络对所述融合图像进行特征提取，得到多层次的特征图；
其中，所述特征提取的过程中，通过所述全局注意力机制进行三维信息的保留、跨维通道-空间依赖关系的放大以及空间信息的聚焦；
利用所述特征金字塔，通过上采样和下采样将不同层次的所述特征图融合，得到多尺度特征；
利用所述目标检测头，通过不同尺度的卷积模块对所述多尺度特征进行多尺度检测，获得病害信息。
7.根据权利要求1所述的一种水下结构病害的识别方法，其特征在于，所述对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置，包括：
基于Zernike矩的旋转不变性，对所述定位框图像进行旋转处理，获得若干Zernike矩；
通过若干所述Zernike矩，结合预设模板系数确定边缘参数；
基于所述边缘参数得到亚像素坐标，获得所述目标病害的边缘位置。
8.一种水下结构病害的识别系统，其特征在于，包括：
第一模块，用于获取目标水下结构病害的原始图像；其中，所述目标水下结构病害处通过固定距离的激光发射器组形成激光点对，所述激光点对作为所述原始图像的虚拟标尺；
第二模块，用于对所述原始图像分别进行图像还原处理、超分辨率处理和低光增强处理，对应得到多幅增强图像；
第三模块，用于将多幅所述增强图像进行图像融合处理，得到融合图像；
第四模块，用于利用水下病害检测模型，对所述融合图像进行分析，获得病害信息；其中，所述病害信息包括目标病害的种类信息、位置信息和定位框图像；所述水下病害检测模型根据目标检测模型基于已标记病害信息的地面病害数据集进行模型训练，并结合迁移学习得到；所述目标检测模型包括骨干网络、特征金字塔和目标检测头；所述骨干网络设有全局注意力机制；
第五模块，用于基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺；其中，所述基于所述激光点对的入射状态，根据所述固定距离和所述虚拟标尺确定像素比例尺，包括：
根据所述虚拟标尺，确定所述激光点对的落点质心间的像素个数；
当所述激光点对的入射角为90°，根据所述固定距离与所述像素个数的比值，确定像素比例尺；
当所述激光点对的入射角不为90°，获取入射角，基于所述入射角与激光光束的几何关系，确定所述激光点对的实际距离，根据所述实际距离与所述像素个数的比值，确定像素比例尺；
第六模块，用于对所述定位框图像进行边缘检测，获得所述目标病害的边缘位置；
第七模块，用于基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息；其中，所述基于所述边缘位置和所述像素比例尺，获得所述目标病害的尺寸信息，包括：
通过基于Zernike矩的亚像素边缘检测方法得到的亚像素边缘位置，从而得到所述目标病害的亚像素单位数，进而结合像素比例尺获得所述目标病害的尺寸信息。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202310847826.0A 2023-07-11 2023-07-11 一种水下结构病害的识别方法、系统及存储介质 Active CN117011688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310847826.0A CN117011688B (zh) 2023-07-11 2023-07-11 一种水下结构病害的识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310847826.0A CN117011688B (zh) 2023-07-11 2023-07-11 一种水下结构病害的识别方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117011688A CN117011688A (zh) 2023-11-07
CN117011688B true CN117011688B (zh) 2024-03-08

Family

ID=88561196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310847826.0A Active CN117011688B (zh) 2023-07-11 2023-07-11 一种水下结构病害的识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117011688B (zh)

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6129278A (en) * 1994-05-19 2000-10-10 Metanetics Corporation Detecting image cell position with subpixel accuracy
CN109373897A (zh) * 2018-11-16 2019-02-22 广州市九州旗建筑科技有限公司 一种基于激光虚拟标尺的测量方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN111260615A (zh) * 2020-01-13 2020-06-09 重庆交通大学 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN112508901A (zh) * 2020-12-01 2021-03-16 广州大学 一种水下结构病害识别方法、系统、装置及存储介质
CN113137920A (zh) * 2021-05-19 2021-07-20 重庆大学 一种水下测量的设备与水下测量方法
CN113313669A (zh) * 2021-04-23 2021-08-27 石家庄铁道大学 一种地铁隧道表面病害图像顶层语义特征增强方法
CN113554708A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114049572A (zh) * 2021-10-30 2022-02-15 西南电子技术研究所（中国电子科技集团公司第十研究所） 识别小目标的检测方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN114202660A (zh) * 2022-02-21 2022-03-18 广东建科交通工程质量检测中心有限公司 一种基于边云桥梁检测的远程分布式控制方法及系统
CN114359654A (zh) * 2021-12-06 2022-04-15 重庆邮电大学 一种基于位置关联性特征融合的YOLOv4混凝土表观病害检测方法
CN114494828A (zh) * 2022-01-14 2022-05-13 中国农业大学 葡萄病害识别方法、装置、电子设备及存储介质
CN115272843A (zh) * 2022-06-15 2022-11-01 首都师范大学 基于桥连特征融合的道路病害检测方法及系统
CN115345881A (zh) * 2022-10-18 2022-11-15 上海交强国通智能科技有限公司 一种基于计算机视觉的路面病害检测方法
CN115346177A (zh) * 2022-08-15 2022-11-15 西京学院 一种新的路侧视角下目标检测系统及方法
CN115376000A (zh) * 2022-07-22 2022-11-22 深圳鳍源科技有限公司 一种水下测量方法、设备及计算机可读存储介质
CN115424101A (zh) * 2022-07-29 2022-12-02 武汉轻工大学 病害识别方法、装置、设备及存储介质
CN115760775A (zh) * 2022-11-21 2023-03-07 武汉轻工大学 番茄病害检测方法、装置、设备及存储介质
CN115773720A (zh) * 2022-12-23 2023-03-10 重庆米弘科技有限公司 一种基于光学视觉的水下目标尺寸测量装置和方法
CN115909041A (zh) * 2022-12-29 2023-04-04 广州大学 基于深度学习的水下结构表观病害识别方法及系统
CN115937518A (zh) * 2022-11-29 2023-04-07 长安大学 一种基于多源图像融合的路面病害识别方法及系统
CN116168017A (zh) * 2023-04-18 2023-05-26 南京信息工程大学 一种基于深度学习的pcb元件检测方法、系统及存储介质
CN116188855A (zh) * 2023-02-15 2023-05-30 中南民族大学 多尺度的植物病害识别方法、设备、存储介质及装置
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810278B2 (en) * 2021-05-03 2023-11-07 Microsoft Technology Licensing, Llc Low light and thermal image normalization for advanced fusion

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6129278A (en) * 1994-05-19 2000-10-10 Metanetics Corporation Detecting image cell position with subpixel accuracy
CN109373897A (zh) * 2018-11-16 2019-02-22 广州市九州旗建筑科技有限公司 一种基于激光虚拟标尺的测量方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN111260615A (zh) * 2020-01-13 2020-06-09 重庆交通大学 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN113554708A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN112508901A (zh) * 2020-12-01 2021-03-16 广州大学 一种水下结构病害识别方法、系统、装置及存储介质
CN113313669A (zh) * 2021-04-23 2021-08-27 石家庄铁道大学 一种地铁隧道表面病害图像顶层语义特征增强方法
CN113137920A (zh) * 2021-05-19 2021-07-20 重庆大学 一种水下测量的设备与水下测量方法
CN114049572A (zh) * 2021-10-30 2022-02-15 西南电子技术研究所（中国电子科技集团公司第十研究所） 识别小目标的检测方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114359654A (zh) * 2021-12-06 2022-04-15 重庆邮电大学 一种基于位置关联性特征融合的YOLOv4混凝土表观病害检测方法
CN114494828A (zh) * 2022-01-14 2022-05-13 中国农业大学 葡萄病害识别方法、装置、电子设备及存储介质
CN114202660A (zh) * 2022-02-21 2022-03-18 广东建科交通工程质量检测中心有限公司 一种基于边云桥梁检测的远程分布式控制方法及系统
CN115272843A (zh) * 2022-06-15 2022-11-01 首都师范大学 基于桥连特征融合的道路病害检测方法及系统
CN115376000A (zh) * 2022-07-22 2022-11-22 深圳鳍源科技有限公司 一种水下测量方法、设备及计算机可读存储介质
CN115424101A (zh) * 2022-07-29 2022-12-02 武汉轻工大学 病害识别方法、装置、设备及存储介质
CN115346177A (zh) * 2022-08-15 2022-11-15 西京学院 一种新的路侧视角下目标检测系统及方法
CN115345881A (zh) * 2022-10-18 2022-11-15 上海交强国通智能科技有限公司 一种基于计算机视觉的路面病害检测方法
CN115760775A (zh) * 2022-11-21 2023-03-07 武汉轻工大学 番茄病害检测方法、装置、设备及存储介质
CN115937518A (zh) * 2022-11-29 2023-04-07 长安大学 一种基于多源图像融合的路面病害识别方法及系统
CN115773720A (zh) * 2022-12-23 2023-03-10 重庆米弘科技有限公司 一种基于光学视觉的水下目标尺寸测量装置和方法
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法
CN115909041A (zh) * 2022-12-29 2023-04-04 广州大学 基于深度学习的水下结构表观病害识别方法及系统
CN116188855A (zh) * 2023-02-15 2023-05-30 中南民族大学 多尺度的植物病害识别方法、设备、存储介质及装置
CN116168017A (zh) * 2023-04-18 2023-05-26 南京信息工程大学 一种基于深度学习的pcb元件检测方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像的桥梁裂缝检测理论与实践;丁威;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;第8-70页 *

Also Published As

Publication number Publication date
CN117011688A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN108776772B (zh) 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN112465746B (zh) 一种射线底片中小缺陷检测方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN114119610B (zh) 基于旋转目标检测的缺陷检测方法
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN114187515A (zh) 图像分割方法和图像分割装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及系统
CN117011688B (zh) 一种水下结构病害的识别方法、系统及存储介质
CN116630352A (zh) 一种基于双向级联像素差分网络的岩心测量方法及装置
CN113255704B (zh) 一种基于局部二值模式的像素差卷积边缘检测方法
CN115035193A (zh) 一种基于双目视觉与图像分割技术的散装粮随机扦样方法
CN115170897A (zh) 一种基于掩码区域卷积神经网络的图像处理方法及其应用
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant