CN116630296B - 基于轻量化网络的水下船体像素级缺陷检测方法及系统 - Google Patents

基于轻量化网络的水下船体像素级缺陷检测方法及系统 Download PDF

Info

Publication number
CN116630296B
CN116630296B CN202310684126.4A CN202310684126A CN116630296B CN 116630296 B CN116630296 B CN 116630296B CN 202310684126 A CN202310684126 A CN 202310684126A CN 116630296 B CN116630296 B CN 116630296B
Authority
CN
China
Prior art keywords
layer
defect
network
underwater
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310684126.4A
Other languages
English (en)
Other versions
CN116630296A (zh
Inventor
董兴辉
林博森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310684126.4A priority Critical patent/CN116630296B/zh
Publication of CN116630296A publication Critical patent/CN116630296A/zh
Application granted granted Critical
Publication of CN116630296B publication Critical patent/CN116630296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

基于轻量化网络的水下船体像素级缺陷检测方法及系统，包括通过人工标定水下船体图像缺陷类型构建训练集和测试集；构建轻量化堆栈编码器‑解码器缺陷分割网络，构建多任务学习硬共享机制的缺陷分类网络；训练好的网络可用于水下船体表面缺陷的检测。系统包括带RGB摄像头的水下机器人、上位机、图像处理单元、水下电力载波通信模块。本发明减少对水面设备的依赖，所搭载的单目摄像头实现简单、不受硬件设备限制、成本低。能够实时对收集到的船体表面图像处理，增强水下拍摄的图像、拼接图像至完整的船体表面、像素级的分割并分类船体表面缺陷，生成船体缺陷检测报告供工程师查看，缩短了检测时间、提高了检测效率、提升了检测效果。

Description

基于轻量化网络的水下船体像素级缺陷检测方法及系统
技术领域
本发明涉及一种基于轻量化网络的水下船体像素级缺陷检测方法及系统，属于船体检测、视觉成像与深度学习技术领域。
背景技术
现役船舶的船体在整个服役期内容易受到各种退行性变的影响。船体长期浸泡在海水中，船体板材和焊缝可能产生腐蚀；板材和焊缝会因为原有的细微缺陷和金属疲劳产生结构性变化；涂层损坏、船体变形和机械的损害也会导致缺陷的产生。定期对服役中的船体进行无损检测，及时发现和修复缺陷，对保障船舶的安全航行具有重要意义。
船体表面的无损检测，主要针对表面和近表面的气孔、裂纹等缺陷，一般采用视觉检测、磁颗粒检测、液体穿透检测等方法进行。这些无损检测方法一般由经过专业培训且具有丰富经验的工程师通过各种设备来手工完成，对工程师的专业素养要求较高。这些方法除了较为枯燥、容易使检测员产生疲劳外，还会因为主观因素和个人经验的差异，导致船体检测结果出现较大的差异，对检测的成本和质量带来影响。
与人工检测相比，使用机器视觉的自动化船体检测通过对采集到的图像进行自动分析，能够产生精确且稳定的船体检测结果。通常来说，自动化船体检测系统需要部署在机器人平台上，其硬件配置偏低，因此计算能力弱、存储容量小，为了实现实时性的检测，对检测算法的轻量化要求较高。因此，自动化船体检测需要解决硬件配置低、实时性要求强、检测精度要求高三个挑战。
发明内容
本发明目的是提供了一种基于轻量化网络的水下船体像素级缺陷检测方法及系统，以实现在硬件配置低的水下机器人平台上开展精确、实时、自动化的船体检测。
基于轻量化网络的水下船体像素级缺陷检测方法，其特征是包括以下步骤：
步骤1.水下船体图像的采集与去噪；
步骤2.采用基于SURF特征的图像拼接算法对去噪后的水下船体图像进行拼接；
步骤3.获取水下船体缺陷分割与分类图像数据集：将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对各像素块的缺陷类型进行人工标定，将标定后的图像块分配为训练集和测试集；
步骤4.构建多任务水下船体表面缺陷图像分割与分类网络：
包括构建轻量化堆栈编码器-解码器缺陷分割网络：利用轻量化逐点卷积模块代替堆栈编码器-解码器网络的卷积模块；在网络的瓶颈处引入残差注意力模块；在网络的末端引入残差细化模块；获得轻量化堆栈编码器-解码器并作为缺陷分割网络，其输出为水下船体表面缺陷的像素级区域；
还包括构建多任务学习硬共享机制的缺陷分类网络：利用特征共享模块，融合缺陷分割网络编码器的输出和缺陷分割网络的分割结果，作为分类网络的输入，其输出为图像缺陷类别；
步骤5.使用分割交叉熵损失函数、分割细化交叉熵损失函数、分类交叉熵损失函数计算损失，对网络进行训练；
步骤6.用测试集测试分割与分类结果，利用图像分割评价指标、分类评价指标对模型进行评价，得到训练好的分割与分类网络；
步骤7.对水下船体图像重复步骤A、B的操做，将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对像素块利用训练好的轻量化堆栈编码器-解码器的缺陷分割网络，获得水下船体表面缺陷的像素级区域；同时利用训练好的多任务学习硬共享机制的缺陷分类网络，获得各像素块的缺陷类型。
步骤4所述轻量化堆栈编码器-解码器的缺陷分割网络以X-Net网络（堆栈编码器-解码器网络）为基础，所述X-Net网络包括编码器1、解码器1、编码器2、解码器2四个部分；编码器1和编码器2由多个轻量化卷积模块和最大池化层（MaxPooling Layer）组成；解码器1和解码器2由多个轻量化卷积模块、多个跳跃连接层和多个上采样层（Upsample Layer）组成；编码器1和解码器1间、编码器2和解码器2间定义为网络的瓶颈，引入残差注意力模块；解码器2后定义为网络的末端，引入残差细化模块；
所述编码器2的输出，通过特征共享模块融合来自缺陷分割网络的缺陷分割结果，构成多任务学习硬共享机制的缺陷分类网络的输入；
所述多任务学习硬共享机制的缺陷分类网络的结构为：第一层为1024个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为批归一层（BN层）；第三层为ReLU层；第四层为最大池化层（MaxPooling层）；第一层到第四层定义为分类块（Classify Block）；第五到第八层、第九到第十二层、第十三到第十六层为分类块（Classify Block）；第十七层是最大池化层（MaxPooling层）；第十八层为展平层（Flatten Layer）；第十九层为全连接层；第二十层为ReLU层；第二十一层为随机失活层（Dropout层）；第二十二层为全连接层。
步骤4所述的轻量化逐点卷积模块的结构为：第一层是3×3卷积层（Conv Layer）；第二层是批归一层（Batch Normalization，BN Layer）；第三层是ReLU层（整流线性激活函数层，Rectified Linear Unit Layer，ReLU Layer）；第四层是3×3深度卷积层（DepthwiseConv Layer）；第五层是1×1逐点卷积层（Pointwise Conv Layer）；第六层是批归一层（BN层）；第七层是ReLU层。
步骤4所述残差注意力模块的结构为：第一个块中第一层是批归一层（BN层）；第二层是ReLU层；第三层为256个卷积核的卷积层，该卷积核大小为1×1，步长为1；第四层是批归一层（BN层）；第五层是ReLU层；第六层为256个卷积核的卷积层，该卷积核大小为3×3，步长为1；第七层是批归一层（BN层）；第八层是ReLU层；第九层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；第十层是跳跃连接层；第十一层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；前十一层定义为Residual Block；第二个块是2层ResidualBlock块；第三个块中第一层是最大池化层（MaxPooling层）；第二到第十二层为ResidualBlock块；第十三层是最大池化层（MaxPooling层）；第十四到二十五层为Residual Block块；第二十六到三十六层为Residual Block块；第三十七层为上采样层（Upsample层）；第三十八层到第四十八层为Residual Block块；第四十九层为跳跃连接层；第五十到第六十层为Residual Block块；第六十一层为上采样层（Upsample层）；第六十二层为激活层（Sigmoid Layer）。第四个块中第一层为元素积层；第二层为跳跃连接层；第三到十三层为Residual Block块。
步骤4所述残差细化模块的结构为：第一层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第三层为批归一层（BN层）；第四层为ReLU层；第五层为最大池化层（MaxPooling层）；第二到第五层定义为下降块，Down Block；第六到第九层、第十到第十三层、第十四到第十七层为DownBlock块；第十八层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第十九层为BN层；第二十层为ReLU层；第二十一层为上采样层（Upsample层）；第二十二层为串接层（Concat Layer）；第二十三层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二十四层为批归一层（BN层）；第二十五层为ReLU层；第二十一层到第二十五层定义为上升块，Up Block；第二十六到第三十一层、第三十二到第三十六层、第三十六到第四十一层为UpBlock块；第四十二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1。
步骤4所述的结构为：第一层为最大池化层（MaxPooling层）；第二层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；第三层是批归一层（Batch Normalization，BNLayer）；第四层是ReLU层（整流线性激活函数层，Rectified Linear Unit Layer，ReLULayer）；第五层为激活层（Sigmoid Layer）；第六层为元素积层。
所述步骤5中，将损失函数定义为：
，
其中表示真实的分割结果，/>表示轻量化堆栈编码器-解码器缺陷分割网络的分割结果，/>表示残差细化模块的分割结果，/>表示真实的缺陷类别，/>表示预测的缺陷类别；
表示分割交叉熵损失函数，定义为：
，
其中和/>是图像的宽和高，/>表示/>像素位置的真实分割结果，/>表示像素位置关于轻量化堆栈编码器-解码器缺陷分割网络的分割结果；
表示分割细化交叉熵损失函数，定义为：
，
其中和/>是图像的宽和高，/>表示/>像素位置的真实分割结果，/>表示像素位置关于残差细化模块的分割结果；
表示分类交叉熵损失函数，定义为：
，
其中是类别总数；/>表示对第/>个类的真实分类结果；/>表示缺陷分类网络对第/>个类的预测概率。
基于轻量化网络的水下船体缺陷像素级检测系统，其特征是包括带RGB摄像头的水下机器人和上位机，其特征是所述水下机器人还包括图像处理单元、水下电力载波通信模块，所水下电力载波通信模块通过双绞线与水面电力载波通信模块连接；所述的图像处理单元使用上述任意一种基于轻量化网络的水下船体缺陷像素级检测系统进行船体表面缺陷的检测。
所述水下机器人包括由八个推进器组成的推进系统和三个密封设备舱；所述水下电力载波通信模块、双绞线和水面电力载波通信模块组成通信系统。
利用所述基于轻量化网络的水下船体缺陷像素级检测系统进行水下船体像素级缺陷检测的方法，其特征在于：包括以下步骤：
步骤1.将水下机器人放入水中，通过上位机控制水下机器人移动到船体一侧，RGB摄像头打开并捕捉到船体实时图像；水下机器人沿固定方向开始绕船体移动，RGB摄像头与船体保持垂直的同时开始采集图像；
步骤2.RGB摄像头获取的图像，图像处理单元采用基于SURF特征的图像拼接算法对去噪后的水下船体图像进行拼接；
步骤3.图像处理单元利用轻量化像素级缺陷检测方法实时检测船体表面像素级缺陷，生成缺陷实时图像分割与分类结果；
步骤4.船体表面实时图像及缺陷分割与分类结果，经由水下电力载波通信模块，通过双绞线传输到水面电力载波通信模块，传输到上位机上，上位机实时显示缺陷图像分割与分类结果序列，将不同类别、不同位置的船体缺陷按既定规则保存到数据文档中；
步骤5.当水下机器人检测完全部船体后，系统采集并处理图像完毕，完成对船体表面缺陷的检测。
与现有的技术相比，本发明有以下有益效果：
1、本发明在水下机器人上搭载视觉感知系统与图像处理单元，能够拍摄船体表面图像，并自动化的在水下机器人本体处理船体表面图像，减少对水面设备的依赖。所搭载的单目摄像头实现简单、不受硬件设备限制、成本较低。
2、本发明能够实时对收集到的船体表面图像处理，增强水下拍摄的图像、拼接图像至完整的船体表面、像素级的分割并分类船体表面缺陷，最后将检测结果图像传输到水面控制系统的上位机、生成船体缺陷检测报告供工程师查看，缩短了检测时间、提高了检测效率、提升了检测效果。
3、本发明所述的多任务船体表面缺陷图像分割与分类算法获得的缺陷分割与分类结果应用到船体缺陷检测领域，可以以多任务的形式同时实现船体表面缺陷的分割与分类；并且相比现有的方法，缺陷的分割精确率和分类准确率更高。
附图说明
图1为本发明的基于轻量化网络的水下船体缺陷像素级检测方法的流程图。
图2为本发明的基于轻量化网络的水下船体缺陷像素级检测系统的结构框图。
其中，1、水下机器人，2、RGB摄像头，3、图像处理单元，4、水下电力载波通信模块，5、水面电力载波通信模块，6、上位机，7、双绞线。
图3为运用基于轻量化网络的水下船体像素级缺陷检测系统进行检测的方法。
图4为本发明的多任务船体表面缺陷图像分割与分类网络结构示意图。
图5为本发明的轻量化逐点卷积模块网络结构示意图。
图6为本发明的残差注意力模块网络结构示意图。
图7为本发明的残差细化模块网络结构示意图。
图8为本发明的分类模块网络结构示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
如图1所示，基于轻量化网络的水下船体缺陷像素级检测方法，
包括以下步骤：
步骤1.水下船体图像的采集与去噪；
步骤2.采用基于SURF特征的图像拼接算法对去噪后的水下船体图像进行拼接；
步骤3.获取水下船体缺陷分割与分类图像数据集：将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对各像素块的缺陷类型进行人工标定，将标定后的图像块分配为训练集和测试集；
步骤4.构建多任务水下船体表面缺陷图像分割与分类网络：
包括构建轻量化堆栈编码器-解码器缺陷分割网络：利用轻量化逐点卷积模块代替堆栈编码器-解码器网络的卷积模块；在网络的瓶颈处引入残差注意力模块；在网络的末端引入残差细化模块；获得轻量化堆栈编码器-解码器并作为缺陷分割网络，其输出为水下船体表面缺陷的像素级区域；
还包括构建多任务学习硬共享机制的缺陷分类网络：利用特征共享模块，融合缺陷分割网络编码器的输出和缺陷分割网络的分割结果，作为分类网络的输入，其输出为图像缺陷类别；
步骤5.使用分割交叉熵损失函数、分割细化交叉熵损失函数、分类交叉熵损失函数计算损失，对网络进行训练；
步骤6.用测试集测试分割与分类结果，利用图像分割评价指标、分类评价指标对模型进行评价，得到训练好的分割与分类网络；
步骤7. 对水下船体图像重复步骤1、2的操做，将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对像素块利用训练好的轻量化堆栈编码器-解码器的缺陷分割网络，获得水下船体表面缺陷的像素级区域；同时利用训练好的多任务学习硬共享机制的缺陷分类网络，获得各像素块的缺陷类型。
如图2所示，基于轻量化网络的水下船体缺陷像素级检测系统，包括水下船体检测系统和水面控制系统两部分，所述的水下船体检测系统包括水下机器人1、RGB摄像头2、图像处理单元3、水下电力载波通信模块4；所述的水面控制系统包括上位机6和水面电力载波通信模块5；水下船体检测系统和水面控制系统之间利用双绞线7连接。
所述水下机器人1包括由八个推进器组成的推进系统和三个密封设备舱；所述的RGB摄像头2构成视觉感知系统；所述的图像处理单元3利用轻量化像素级缺陷检测算法进行船体表面缺陷的检测；所述的水下电力载波通信模块4、双绞线7和水面电力载波通信模块5组成通信系统。上位机6负责控制水下机器人的运动、开启和关闭RGB摄像头2图像采集和图像处理单元3的算法运行、展示水下缺陷实时检测结果、以及保存船体缺陷数据文档。
如图3所示，运用基于轻量化网络的水下船体像素级缺陷检测系统对水下船体进行检测的方法，包括以下步骤：
步骤1.进行船体检测时，将水下机器人1放入船舷一侧的水中，通过上位机6控制水下机器人1移动到船体一侧，同时控制RGB摄像头2打开，控制信号通过水面电力载波通信模块5经由双绞线7传输到水下电力载波通信模块4，进而控制水下机器人1运动；
步骤2.水下机器人1沿船体表面方向围绕船体运动，RGB摄像头2开始采集实时图像；
步骤3.获取的船体表秒实时图像经由图像处理单元3处理，运行轻量化像素级缺陷检测算法，实时检测船体表面缺陷，产生缺陷实时图像序列与缺陷像素级分割与分类结果；具体的，该方法包括：
步骤3-1.使用水下图像去噪算法，获得清晰的水下船体表面图像；
步骤3-2.使用图像船体拼接算法，实现对船体表面的图像拼接；
步骤3-3.如图4所示，对步骤步骤3-1中获得的图像进行切割，得到图像组ImagePatch；使用多任务船体表面缺陷图像分割与分类算法，输出船体表面缺陷的像素级区域与缺陷类型；将图像组中的各图像拼接成原图大小。
步骤4.将缺陷的实时图像序列和缺陷像素级分割与分类结果通过水下电力载波通信模块4经由双绞线7传输到水面电力载波通信模块5，在上位机6上显示并保存在数据文档中；具体的，该方法包括：
步骤4-1.由上位机屏幕，实时显示船体图像序列与船体缺陷检测结果；
步骤4-2.由上位机按既定规则，保存船体缺陷图像、船体缺陷类别、船体缺陷位置到可视化数据文档中；
步骤5.当水下机器人1检测完全部船体后，系统采集并处理图像完毕，完成对船体表面缺陷的检测。
如图4所示，多任务船体表面缺陷图像分割与分类算法，包括以下步骤：
步骤1.获取水下船体缺陷分割与分类图像数据集，每张图像的尺寸为256×256像素大小，将此数据集按照需求分配为图像训练集和图像测试集；
步骤2.构建轻量化堆栈编码器-解码器的缺陷分割网络，在X-Net网络中用轻量化逐点卷积模块代替原有的卷积块；在网络的瓶颈处引入残差注意力模块；在网络的末端引入残差细化模块；获得改进的轻量化堆栈编码器-解码器。
其中，如图5所示，轻量化逐点卷积模块的结构为：第一层是3×3卷积层；第二层是BN层；第三层是ReLU层；第四层是3×3深度卷积层；第五层是1×1逐点卷积层；第六层是BN层；第七层是ReLU层。
其中，如图6所示，残差注意力模块的结构为：第一个块中第一层是BN层；第二层是ReLU层；第三层为256个卷积核的卷积层，该卷积核大小为1×1，步长为1；第四层是BN层；第五层是ReLU层；第六层为256个卷积核的卷积层，该卷积核大小为3×3，步长为1；第七层是BN层；第八层是ReLU层；第九层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；第十层是跳跃连接层；第十一层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1（前十一层定义为Residual Block）。第二个块是2层Residual Block块。第三个块中第一层是MaxPooling层；第二到第十二层为Residual Block块；第十三层是MaxPooling层；第十四到二十五层为Residual Block块；第二十六到三十六层为Residual Block块；第三十七层为Upsample层；第三十八层到第四十八层为Residual Block块；第四十九层为跳跃连接层；第五十到第六十层为Residual Block块；第六十一层为Upsample层；第六十二层为激活层（Sigmoid Layer）。第四个块中第一层为元素积层；第二层为跳跃连接层；第三到十三层为Residual Block块。
其中，如图7所示，残差细化模块的结构为：第一层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第三层为BN层；第四层为ReLU层；第五层为MaxPooling层（第二到第五层定义为下降块，DownBlock）；第六到第九层、第十到第十三层、第十四到第十七层为Down Block块；第十八层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第十九层为BN层；第二十层为ReLU层；第二十一层为Upsample层；第二十二层为串接层（Concat Layer）；第二十三层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二十四层为BN层；第二十五层为ReLU层；（第二十一层到第二十五层定义为上升块，Up Block）；第二十六到第三十一层、第三十二到第三十六层、第三十六到第四十一层为Up Block块；第四十二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1。
所述构建多任务学习硬共享机制的缺陷分类网络，网络的输入为轻量化编码器-解码器网络解码器编码器2的输出，通过特征共享模块融合来自缺陷分割网络的缺陷分割结果；获得缺陷分类网络。
所述的缺陷分类网络的结构为：第一层为1024个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为批归一层；第三层为ReLU激活层；第四层为MaxPooling层（第一层到第四层定义为Classify Block块，如图8所示）；第五到第八层、第九到第十二层、第十三到第十六层为Classify Block块；第十七层是MaxPooling层；第十八层为展平层（Flatten Layer）；第十九层为全连接层；第二十层为ReLU激活层；第二十一层为Dropout层；第二十二层为全连接层。
使用分割交叉熵损失函数、分割细化交叉熵损失函数、分类交叉熵损失函数计算损失，对网络进行训练。损失函数定义为：
，
其中表示真实的分割结果，/>表示轻量化堆栈编码器-解码器缺陷分割网络的分割结果，/>表示残差细化模块的分割结果，/>表示真实的缺陷类别，/>表示预测的缺陷类别；
表示分割交叉熵损失函数，定义为：
，
其中和/>是图像的宽和高，/>表示/>像素位置的真实分割结果，/>表示像素位置关于轻量化堆栈编码器-解码器缺陷分割网络的分割结果；
表示分割细化交叉熵损失函数，定义为：
，
其中和/>是图像的宽和高，/>表示/>像素位置的真实分割结果，/>表示像素位置关于残差细化模块的分割结果；
表示分类交叉熵损失函数，定义为：
，
其中是类别总数；/>表示对第/>个类的真实分类结果；/>表示缺陷分类网络对第/>个类的预测概率。
最后，用测试集测试网络分割与分类结果，利用图像分割评价指标、分类评价指标对模型进行评价。得到训练好的分割与分类网络即可用于水下船体缺陷检测。

Claims (10)

1.基于轻量化网络的水下船体像素级缺陷检测方法，其特征是包括以下步骤：
步骤1.水下船体图像的采集与去噪；
步骤2.采用基于SURF特征的图像拼接算法对去噪后的水下船体图像进行拼接；
步骤3.获取水下船体缺陷分割与分类图像数据集：将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对各像素块的缺陷类型进行人工标定，将标定后的图像块分配为训练集和测试集；
步骤4.构建多任务水下船体表面缺陷图像分割与分类网络：
包括构建轻量化堆栈编码器-解码器缺陷分割网络：利用轻量化逐点卷积模块代替堆栈编码器-解码器网络的卷积模块；在网络的瓶颈处引入残差注意力模块；在网络的末端引入残差细化模块；获得轻量化堆栈编码器-解码器并作为缺陷分割网络，其输出为水下船体表面缺陷的像素级区域；
还包括构建多任务学习硬共享机制的缺陷分类网络：利用特征共享模块，融合缺陷分割网络编码器的输出和缺陷分割网络的分割结果，作为分类网络的输入，其输出为图像缺陷类别；
步骤5.使用分割交叉熵损失函数、分割细化交叉熵损失函数、分类交叉熵损失函数计算损失，对网络进行训练；
步骤6.用测试集测试分割与分类结果，利用图像分割评价指标、分类评价指标对模型进行评价，得到训练好的分割与分类网络；
步骤7.对水下船体图像重复步骤A、B的操做，将拼接后的水下船体图像分割成3*256*256大小的RGB图像块，对像素块利用训练好的轻量化堆栈编码器-解码器的缺陷分割网络，获得水下船体表面缺陷的像素级区域；同时利用训练好的多任务学习硬共享机制的缺陷分类网络，获得各像素块的缺陷类型。
2.如权利要求1所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是步骤4所述轻量化堆栈编码器-解码器的缺陷分割网络以X-Net网络为基础，所述X-Net网络包括编码器1、解码器1、编码器2、解码器2四个部分；编码器1和编码器2由多个轻量化卷积模块和最大池化层组成；解码器1和解码器2由多个轻量化卷积模块、多个跳跃连接层和多个上采样层组成；编码器1和解码器1间、编码器2和解码器2间定义为网络的瓶颈，引入残差注意力模块；解码器2后定义为网络的末端，引入残差细化模块；
所述编码器2的输出，通过特征共享模块融合来自缺陷分割网络的缺陷分割结果，构成多任务学习硬共享机制的缺陷分类网络的输入；
所述多任务学习硬共享机制的缺陷分类网络的结构为：第一层为1024个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为批归一层；第三层为ReLU层；第四层为最大池化层；第一层到第四层定义为分类块；第五到第八层、第九到第十二层、第十三到第十六层为分类块；第十七层是最大池化层；第十八层为展平层；第十九层为全连接层；第二十层为ReLU层；第二十一层为随机失活层；第二十二层为全连接层。
3.如权利要求2所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是步骤4所述的轻量化逐点卷积模块的结构为：第一层是3×3卷积层；第二层是批归一层；第三层是ReLU层；第四层是3×3深度卷积层；第五层是1×1逐点卷积层；第六层是BN层；第七层是ReLU层。
4.如权利要求2所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是步骤4所述残差注意力模块的结构为：第一个块中第一层是批归一层；第二层是ReLU层；第三层为256个卷积核的卷积层，该卷积核大小为1×1，步长为1；第四层是批归一层；第五层是ReLU层；第六层为256个卷积核的卷积层，该卷积核大小为3×3，步长为1；第七层是批归一层；第八层是ReLU层；第九层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；第十层是跳跃连接层；第十一层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；前十一层定义为Residual Block；第二个块是2层Residual Block块；第三个块中第一层是最大池化层；第二到第十二层为Residual Block块；第十三层是最大池化层；第十四到二十五层为Residual Block块；第二十六到三十六层为Residual Block块；第三十七层为上采样层；第三十八层到第四十八层为Residual Block块；第四十九层为跳跃连接层；第五十到第六十层为Residual Block块；第六十一层为上采样层；第六十二层为激活层；第四个块中第一层为元素积层；第二层为跳跃连接层；第三到十三层为Residual Block块。
5.如权利要求2所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是步骤4所述残差细化模块的结构为：第一层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第三层为批归一层；第四层为ReLU层；第五层为最大池化层；第二到第五层定义为下降块，Down Block；第六到第九层、第十到第十三层、第十四到第十七层为Down Block块；第十八层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第十九层为BN层；第二十层为ReLU层；第二十一层为上采样层；第二十二层为串接层；第二十三层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二十四层为批归一层；第二十五层为ReLU层；第二十一层到第二十五层定义为上升块，Up Block；第二十六到第三十一层、第三十二到第三十六层、第三十六到第四十一层为Up Block块；第四十二层为64个卷积核的卷积层，该卷积核大小为3×3，步长为1。
6.如权利要求2所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是步骤4所述特征共享模块的结构为：第一层为最大池化层；第二层为1024个卷积核的卷积层，该卷积核大小为1×1，步长为1；第三层是批归一层；第四层是ReLU层；第五层为激活层；第六层为元素积层。
7.如权利要求1所述的基于轻量化网络的水下船体像素级缺陷检测方法，其特征是所述步骤5中，将损失函数Loss定义为：
，
其中s表示真实的分割结果，s′表示堆栈编码器-解码器网络的分割结果，s′′表示残差细化模块的分割结果，c表示真实的缺陷类别，c′表示预测的缺陷类别；
L CEs 表示分割交叉熵损失函数，定义为：
，
其中w和h是图像的宽和高，s(x,y)表示 (x,y)像素位置的真实分割结果，s′(x,y)表示(x,y)像素位置关于轻量化堆栈编码器-解码器缺陷分割网络的分割结果；
L CEr 表示分割细化交叉熵损失函数，定义为：
，
其中w和h是图像的宽和高，s(x,y)表示 (x,y)像素位置的真实分割结果，s′′(x,y)表示(x,y)像素位置关于残差细化模块的分割结果；
L CEc 表示分类交叉熵损失函数，定义为：
，
其中N是类别总数；c(n)表示对第n个类的真实分类结果；c′(n)表示缺陷分类网络对第n个类的预测概率。
8.基于轻量化网络的水下船体缺陷像素级检测系统，其特征是包括带RGB摄像头（2）的水下机器人（1）和上位机（6），其特征是所述水下机器人（1）还包括图像处理单元（3）、水下电力载波通信模块（4），所水下电力载波通信模块（4）通过双绞线（7）与水面电力载波通信模块（5）连接；所述的图像处理单元（3）使用权利要求1-7所述任意一种基于轻量化网络的水下船体像素级缺陷检测方法进行船体表面缺陷的检测。
9.如权利要求8所述的基于轻量化网络的水下船体缺陷像素级检测系统，其特征是所述水下机器人（1）包括由八个推进器组成的推进系统和三个密封设备舱；所述水下电力载波通信模块（4）、双绞线（7）和水面电力载波通信模块（5）组成通信系统。
10.利用权利要求9所述基于轻量化网络的水下船体缺陷像素级检测系统进行水下船体像素级缺陷检测的方法，其特征在于包括以下步骤：
步骤1.将水下机器人（1）放入水中，通过上位机（6）控制水下机器人（1）移动到船体一侧，RGB摄像头（2）打开并捕捉到船体实时图像；水下机器人（1）沿固定方向开始绕船体移动，RGB摄像头（2）与船体保持垂直的同时开始采集图像；
步骤2.RGB摄像头（2）获取的图像，图像处理单元（3）采用基于SURF特征的图像拼接算法对去噪后的水下船体图像进行拼接；
步骤3.图像处理单元（3）利用轻量化像素级缺陷检测方法实时检测船体表面像素级缺陷，生成缺陷实时图像分割与分类结果；
步骤4.船体表面实时图像及缺陷分割与分类结果，经由水下电力载波通信模块（4），通过双绞线（7）传输到水面电力载波通信模块（5），传输到上位机（6）上，上位机（6）实时显示缺陷图像分割与分类结果序列，将不同类别、不同位置的船体缺陷按既定规则保存到数据文档中；
步骤5.当水下机器人（1）检测完全部船体后，系统采集并处理图像完毕，完成对船体表面缺陷的检测。
CN202310684126.4A 2023-06-11 2023-06-11 基于轻量化网络的水下船体像素级缺陷检测方法及系统 Active CN116630296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310684126.4A CN116630296B (zh) 2023-06-11 2023-06-11 基于轻量化网络的水下船体像素级缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310684126.4A CN116630296B (zh) 2023-06-11 2023-06-11 基于轻量化网络的水下船体像素级缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN116630296A CN116630296A (zh) 2023-08-22
CN116630296B true CN116630296B (zh) 2024-01-23

Family

ID=87591981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310684126.4A Active CN116630296B (zh) 2023-06-11 2023-06-11 基于轻量化网络的水下船体像素级缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116630296B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN115222007A (zh) * 2022-05-31 2022-10-21 复旦大学 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法
CN115393584A (zh) * 2022-08-02 2022-11-25 哈尔滨理工大学 基于多任务超声甲状腺结节分割与分类模型的建立方法、分割与分类方法和计算机设备
CN115661097A (zh) * 2022-11-02 2023-01-31 北京大学深圳研究生院 一种物体表面缺陷检测方法及系统
CN115908358A (zh) * 2022-12-07 2023-04-04 成都信息工程大学 一种基于多任务学习的心肌图像分割和分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222914A1 (en) * 2021-01-14 2022-07-14 Tata Consultancy Services Limited System and method for attention-based surface crack segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
WO2022120665A1 (zh) * 2020-12-09 2022-06-16 电子科技大学 一种基于深度学习的电容缺陷智能检测方法
CN115222007A (zh) * 2022-05-31 2022-10-21 复旦大学 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法
CN115393584A (zh) * 2022-08-02 2022-11-25 哈尔滨理工大学 基于多任务超声甲状腺结节分割与分类模型的建立方法、分割与分类方法和计算机设备
CN115661097A (zh) * 2022-11-02 2023-01-31 北京大学深圳研究生院 一种物体表面缺陷检测方法及系统
CN115908358A (zh) * 2022-12-07 2023-04-04 成都信息工程大学 一种基于多任务学习的心肌图像分割和分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D Multi-Attention Guided Multi-Task Learning Network for Automatic Gastric Tumor Segmentation and Lymph Node Classification;Yongtao Zhang 等;《IEEE Transactions on Medical Imaging》;第40卷(第6期);1618-1631 *
Multi-Task Learning Using Attention-Based Convolutional Encoder-Decoder for Dilated Cardiomyopathy CMR Segmentation and Classification;Chao Luo 等;《Computers，Materials & Continua》;第63卷(第2期);995-1012 *
基于U型残差编解码网络的带钢缺陷检测算法;郭华平 等;《信阳师范学院学报（自然科学版）》;第36卷(第03期);484-489 *
联合超声甲状腺结节分割与分类的多任务方法研究;刘侠 等;《智能系统学报》;第18卷(第04期);764-774 *

Also Published As

Publication number Publication date
CN116630296A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN111951249A (zh) 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN112101138B (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN115423995A (zh) 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
KR102189951B1 (ko) 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법
CN116630296B (zh) 基于轻量化网络的水下船体像素级缺陷检测方法及系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN110610136B (zh) 一种基于深度学习的变电站设备识别模块及识别方法
CN116105604B (zh) 钢管质量检测系统及检测方法
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置
CN111486790A (zh) 一种电池全尺寸检测方法与装置
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN117789017A (zh) 一种基于注意力机制的yolov7弓网电火花检测方法
CN116797580A (zh) 一种基于改进yolox的列车车体焊接质量检测方法
CN114972280B (zh) 精细坐标注意力模块及其在表面缺陷检测中的应用
Wu et al. Detection of defects on aluminum profile surface based on improved YOLO
CN116206222A (zh) 基于轻量化目标检测模型的输电线路故障检测方法及系统
CN115760771A (zh) 一种基于深度学习的密闭容器气密性水检方法
CN113920087A (zh) 基于深度学习的微小元器件缺陷检测系统及方法
Song et al. Design of cable detection robot and image detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant