CN114494261B - 一种水下结构物病害数据处理方法 - Google Patents

一种水下结构物病害数据处理方法 Download PDF

Info

Publication number
CN114494261B
CN114494261B CN202210403079.7A CN202210403079A CN114494261B CN 114494261 B CN114494261 B CN 114494261B CN 202210403079 A CN202210403079 A CN 202210403079A CN 114494261 B CN114494261 B CN 114494261B
Authority
CN
China
Prior art keywords
disease
image
dimensional array
neural network
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210403079.7A
Other languages
English (en)
Other versions
CN114494261A (zh
Inventor
赵柯东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Yihe Traffic Technology Co ltd
Original Assignee
Shaanxi Yihe Traffic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Yihe Traffic Technology Co ltd filed Critical Shaanxi Yihe Traffic Technology Co ltd
Priority to CN202210403079.7A priority Critical patent/CN114494261B/zh
Publication of CN114494261A publication Critical patent/CN114494261A/zh
Application granted granted Critical
Publication of CN114494261B publication Critical patent/CN114494261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水下结构物病害数据处理方法，通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；获取训练图像集，训练图像集包括训练原始图像和训练病害图像，将训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像，对神经网络模型进行训练，得到训练好的神经网络模型；将原始图像完成预处理之后输入到的神经网络模型中，输出得到病害图像，输出病害图像；分析病害图像，得到病害的特征数据。本发明通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求。

Description

一种水下结构物病害数据处理方法
技术领域
本发明涉及数据处理领域，特别涉及一种水下结构物病害数据处理方法。
背景技术
水下结构物指的是位于水面下的建筑物，由于屹立在水下，长期受到水流的冲刷和水下生物的侵袭，其表面往往会产生一些病害，这些病害即是水下结构物上的裂纹。而对于这些水下结构物的病害在检测的时候，往往是使用人工探测的方式，即是研究人员穿上潜水服潜入水中，深入到水下结构物的表面，对水下结构物的病害进行观察和测量，从而得到最新的水下结构物的病害数据，方便在岸上进行研究和观测。但是这样的方式需要研究人员潜入水下进行数据的采集，而水下没有任何的记录设施，只能凭借研究人员的记忆得到病害的数据进行研究，这样非常容易使得病害的数据不够真实和具体，误差会较大，同时，从研究人员的安全和研究效率的角度，这样的方式也不是一个较佳的方式。
发明内容
本发明的目的是克服上述现有技术中存在的问题，提供一种水下结构物病害数据处理方法，通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求。
为此，本发明提供一种水下结构物病害数据处理方法，包括如下步骤：
通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；
获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；
建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；
将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像，输出所述病害图像；
将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；
分析所述病害图像，得到所述病害的特征数据。
进一步，将所述原始图像进行预处理的时候，包括如下步骤：
将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；
对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；
将归一化处理后的原始图像转化为转换为三维数组的格式。
更进一步，所述神经网络模型为U型神经网络，所述U型神经网络包括排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。
更进一步，所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20。
更进一步，所述U型神经网络在工作的时候包括如下步骤：
所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；
D2接收到输入后，输出大小为256*128*64的三维数组到A3；
依次进入A3～A7，分别输出大小为256*128*64的三维数组到D8，同时在A3～A7中分别进行像素丢弃；
进入D8，输出大小为256*128*64的三维数组到N9；
依次进入N9～N12，设置N9～N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；
依次进入N13～N16同样为空洞卷积层，设置N13～N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；
U17收到N16输出的三维数组，并转换为256*128*64的三维数组；
依次进入N18～N19，输出256*128*64的三维数组；
U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；
依次进入A21～A22，输出512*256*16的三维数组；
输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。
更进一步，在A22输出512*256*16的三维数组之后，包括如下步骤：
分别对每一个像素进行像素位置判别；
将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；
映射中心像素标签，得出超像素标签；
遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。
进一步，分析所述病害图像得到所述病害的特征数据的时候，包括如下步骤：
将所述病害图像转化为二维数组，并提取出所述病害图像中的病害轮廓；
根据所述病害轮廓判断所述病害类型，并得到所述病害类型对应的特征提取方式；
根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；
输出所述病害类型以及对应的特征数据。
更进一步，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。
更进一步，在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：
分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；
分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；
在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；
所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式。
本发明提供的一种水下结构物病害数据处理方法，具有如下有益效果：
本发明通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求；
由于水下机器人所述拍摄的图像是位于水中，因此所得到原始图像在水流的影响下较为模糊，因此本发明使用U型神经网络，通过对图像的像素进行处理，将水下机器人所得到的原始图像处理后直接生成黑白的病害图像，同时保留原始图像，使得研究的时候可以快速的查找到病害的位置并清楚的了解到病害的特点；
本发明的神经网络模型在使用的过程中，不断的进行修正，使得所得到的病害图像与研究的需求逐步完全匹配，减少研究的后续工作量；
本发明在得到病害图像之后，对病害图像的像素进行分析，同时结合其周围的像素对其进行修正，更新修正后的病害图像，这样所得到的病害图像中的病害就会更加的清晰连续，从而反映出病害的真实情况。
附图说明
图1为本发明的整体流程示意框图；
图2为本发明进行预处理的流程示意框图；
图3为本发明的U型神经网络在工作的流程示意框图；
图4为本发明进行病害图像优化的流程示意框图；
图5为本发明的各个流程的对比图；
图6为本发明分析病害图像的流程示意框图；
图7为本发明得到病害类型对应的特征提取方式流程示意框图。
具体实施方式
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1-7所示，本实施例提供了一种水下结构物病害数据处理方法，包括如下步骤：
(一)通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；
(二)获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；
(三)建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；
(四)将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像，输出所述病害图像；
(五)将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；
(六)分析所述病害图像，得到所述病害的特征数据。
上述步骤(一)-(六)根据逻辑顺序依次进行，通过将水下机器人放入水中，根据设定的程序使得水下机器人找到水下结构物并完成拍摄，这样在拍摄的时候，就可以完好的解决研究人员自行下水对水下结构物进行观察的问题，确保数据的准确性以及研究人员的人身安全问题，由于水下结构物在拍摄的时候，收到水流的冲击以及水中生物的干扰，我们对拍摄的图像进行处理，在处理的时候，使用到了神经网络模型。在使用神经网络模型之前，步骤(二)是对训练集的获取，数据用于对神经网络进行初步的训练，使得在输入了采集到的原始图像之后，对原始图像处理之后得到的病害图像达到初步的要求，能够表示出病害的大致情况，此时，病害图像与预期的还是有一定的误差，为了消除这部分误差，我们在后续使用该神经网络的时候，不断的对神经网络进行修正，即是步骤(五)中的内容，这样所得到的病害图像就会与预期越来越接近预期，在对神经网络的修正到达一定量的时候，病害图像与预期可以认为一致，此时得到的病害图像就与预期相一致，最后在步骤(六)中，将分析所述病害图像，得到所述病害的特征数据，以供研究人员进行研究，同时，研究人员就可以结合病害图像以及提取出的特征数据对水下结构物的病害进行深入的研究工作。
在本发明中，要将原始图像录入到神经网络模型中，需要对原始图像进行预处理，使得满足模型的需求，在将所述原始图像进行预处理的时候，包括如下步骤：
(1)将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；
(2)对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；
(3)将归一化处理后的原始图像转化为转换为三维数组的格式。
上述步骤(1)-(3)根据逻辑顺序依次进行，本发明将原始图像转化为数组的格式，对数组进行模型的处理，在本发明中，神经网络模型分为多个类别，每个类别的神经网络模型分别对应不同的像素尺寸，归一化处理使得每一个图像在进入神经网络之前全部统一标准化，即是使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布，在归一化之后，将原始图像转化为转换为三维数组的格式，即是每一个像素点分别使用三个数字组成的纵向数组表示，此时，像素点的颜色为彩色，使三原配色的方式，每一原配色分别对应一个程度上的数字，因此，三原配色组成一个三维的数组。
同时，本发明所述神经网络模型为U型神经网络，所述U型神经网络包括排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。每一个类别的神经网络中所包含的各个模块的数量各不相同，因此，可以组成多种神经网络模型。
具体的，本发明将所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20，共计22层。
基于上述的神经网络模型的组成，对应原始图像为1024*512像素大小，所述U型神经网络在工作的时候包括如下步骤：
<1>所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；
<2>D2接收到输入后，输出大小为256*128*64的三维数组到A3；
<3>依次进入A3～A7，分别输出大小为256*128*64的三维数组到D8，同时在A3～A7中分别进行像素丢弃；
<4>进入D8，输出大小为256*128*64的三维数组到N9；
<5>依次进入N9～N12，设置N9～N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；
<6>依次进入N13～N16同样为空洞卷积层，设置N13～N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；
<7>U17收到N16输出的三维数组，并转换为256*128*64的三维数组；
<8>依次进入N18～N19，输出256*128*64的三维数组；
<9>U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；
<10>依次进入A21～A22，输出512*256*16的三维数组；
<11>输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。
下采样模块一方面能够扩大卷积层感受野，从而丰富上下文信息，有利于提高分类准确度；另一方面能显著降低特征图尺寸，降低网络计算复杂度和内存占用率。而本网络在网络前两层直接进行下采样处理，进一步提高了网络模型运行速度。下采样处理的过程为将分别经过卷积(步长为2)和最大池化操作得到的输出在通道维度上拼接得到该模块的最终输出。
非对称残差模块相比于传统的常规残差模块，计算效率更高，通过层叠一个l*n卷积和一个n*l卷积就能够实现与一个n*n卷积相同的感受野，但其网络参数大大减少，模型复杂度也显著降低。
随着网络深度的增加，网络参数增多的时候，通常使用瓶颈模块一降低模型的参数量和精度损失，但是瓶颈结构一般会受到退化问题的影响，所以通过每一个卷积层都是用1D滤波器间的组合来分解，由此产生的低维分阶层结构简单，并降低计算成本。
上采样模块是对于下采样操作带来的信息丢失、精度降低等问题，本算法使用转置卷积进行上采样操作，有效缓解空间信息丢失，降低图像精度损失。转置卷积步长为2。
为了保证上述得到的病害图像的清晰连续，便于研究人员的研究观察，在A22输出512*256*16的三维数组之后，包括如下步骤：
1>分别对每一个像素进行像素位置判别；
2>将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；
3>映射中心像素标签，得出超像素标签；
4>遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。
本发明在U型神经网络网络(U-NET)最后一层加入超像素中心位置像素坐标信息，只对中心位置像素进行1x 1卷积分类，使得U-NET针对超像素而不是像素进行病害位置图像分割，且有效提升U-NET速度，本网络改进的U-NET架构参数喝卷积核参数都是采用U-NET原始参数，并进行改动的，细节内容：在最后一层进行卷积分类前先进行像素位置判别；如果像素位置是中心像素位置，则进行卷积分类，得出像素标签，否则继续进行像素位置判别；映射中心像素标签，得出超像素标签，完成病害位置图像分割。
图5是本发明在各个阶段的图像处理过程与结果的对比图。
在本发明中，在得到和病害图像，就要更加方便研究人员的研究分别，对病害图像中的特征进行提取，给到研究人员有效的数据，在分析所述病害图像得到所述病害的特征数据的时候，包括如下步骤：
<一>将所述病害图像转化为二维数组，并提取出所述病害图像中的病害轮廓；
<二>根据所述病害轮廓判断所述病害类型，并得到所述病害类型对应的特征提取方式；
<三>根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；
<四>输出所述病害类型以及对应的特征数据。
上述步骤<一>-<四>根据逻辑顺序依次进行，由于病害图像为黑白图像，因此，通过将其转化为0和1的数组的方式，就可以快速的提取出其中的病害轮廓，其中0表示白色，1表示黑色，同时还可以得到对应的坐标，由于不同的病害的形状不一致，对应的特征提取方式也不一致，步骤<二>是根据病害的轮廓对病害类型进行获取，这样可以得到该类型的病害的特征提取方式，步骤<三>是对病害的特征数据的提取的执行过程，最后将其输出，这样研究人员就可以在对照着病害图像的同时，对其特征数据进行研究，提升研究的效率和准确率。
再本发明中，为了是轮廓表示的清楚，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。
同时，在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：
一>分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；
二>分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；
三>在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；
所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式。
上述步骤一>-三>根据逻辑顺序依次进行，通过计算各个点的斜率，将斜率一致的点根据位置连接组成轮廓线，一个病害轮廓中包含多个轮廓线，每一个轮廓线都有对应的长度和斜率，通过多个轮廓线的长度和斜率，就可以得到病害轮廓的图形形状，这样将得到的多个轮廓线与病害数据库中的数据分别进行比对，就可以得到对应的病害类型以及对应的提取方式，从而完成对于病害的特征提取方式。
综上，本发明在图像计算量大时使用非对称残差模块提高运行速度，当模块通道多、网络参数量大时使用弱瓶颈模块降低参数量并减少精度损失。相较于传统的U型结构神经网络，本发明将图像转化为数组进行快速的运算，通过实验证明，本网络对于桥梁水下桩基病害识别的速度及精确度都有较大的提升。
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (7)

1.一种水下结构物病害数据处理方法，其特征在于，包括如下步骤：
通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；
获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；
建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；
将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像；
将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；
将所述病害图像转化为二维数组，由于病害图像为黑白图像，将所述病害图像转化为0和1的数组，并提取出所述病害图像中的病害轮廓；
根据所述病害轮廓判断病害类型，并得到所述病害类型对应的特征提取方式；
根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：
分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；
分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；
在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；
一个病害轮廓中包含多个轮廓线，每一个轮廓线都有对应的长度和斜率，通过多个轮廓线的长度和斜率，得到病害轮廓的图形形状，将得到的多个轮廓线与病害数据库中的数据分别进行比对，得到对应的病害类型以及对应的提取方式；
所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式；
输出所述病害类型以及对应的特征数据。
2.如权利要求1所述的一种水下结构物病害数据处理方法，其特征在于，将所述原始图像进行预处理的时候，包括如下步骤：
将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；
对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；
将归一化处理后的原始图像转化为转换为三维数组的格式。
3.如权利要求2所述的一种水下结构物病害数据处理方法，其特征在于，所述神经网络模型为U型神经网络，所述U型神经网络包括排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。
4.如权利要求3所述的一种水下结构物病害数据处理方法，其特征在于，所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20。
5.如权利要求4所述的一种水下结构物病害数据处理方法，其特征在于，所述U型神经网络在工作的时候包括如下步骤：
所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；
D2接收到输入后，输出大小为256*128*64的三维数组到A3；
依次进入A3～A7，分别输出大小为256*128*64的三维数组到D8，同时在A3～A7中分别进行像素丢弃；
进入D8，输出大小为256*128*64的三维数组到N9；
依次进入N9～N12，设置N9～N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；
依次进入N13～N16同样为空洞卷积层，设置N13～N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；
U17收到N16输出的三维数组，并转换为256*128*64的三维数组；
依次进入N18～N19，输出256*128*64的三维数组；
U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；
依次进入A21～A22，输出512*256*16的三维数组；
输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。
6.如权利要求5所述的一种水下结构物病害数据处理方法，其特征在于，在A22输出512*256*16的三维数组之后，包括如下步骤：
分别对每一个像素进行像素位置判别；
将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；
映射中心像素标签，得出超像素标签；
遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。
7.如权利要求1所述的一种水下结构物病害数据处理方法，其特征在于，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。
CN202210403079.7A 2022-04-18 2022-04-18 一种水下结构物病害数据处理方法 Active CN114494261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210403079.7A CN114494261B (zh) 2022-04-18 2022-04-18 一种水下结构物病害数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210403079.7A CN114494261B (zh) 2022-04-18 2022-04-18 一种水下结构物病害数据处理方法

Publications (2)

Publication Number Publication Date
CN114494261A CN114494261A (zh) 2022-05-13
CN114494261B true CN114494261B (zh) 2023-04-25

Family

ID=81489679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210403079.7A Active CN114494261B (zh) 2022-04-18 2022-04-18 一种水下结构物病害数据处理方法

Country Status (1)

Country Link
CN (1) CN114494261B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318227A (zh) * 2014-11-19 2015-01-28 天津工业大学 基于Curvelet-SC玉米病害识别方法
KR20150043581A (ko) * 2013-10-11 2015-04-23 대우조선해양 주식회사 3차원 비젼 계측 시스템을 이용한 엘엔지선 단열박스 설치용 자동화방법 및 그 장치
AU2020102885A4 (en) * 2020-10-20 2020-12-17 Xijing University Disease recognition method of winter jujube based on deep convolutional neural network and disease image
CN113971660A (zh) * 2021-09-30 2022-01-25 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106087677B (zh) * 2016-06-02 2018-07-31 上海华城工程建设管理有限公司 沥青路面裂缝类型自动识别方法
CN110533069B (zh) * 2019-07-25 2022-02-11 西安电子科技大学 一种基于支持向量机算法的二维箔条分布特性识别方法
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法
CN112581482A (zh) * 2020-08-13 2021-03-30 江苏东印智慧工程技术研究院有限公司 一种基于respath-unet水下声呐图像数据分割方法
CN111951289B (zh) * 2020-08-13 2023-10-31 江苏东印智慧工程技术研究院有限公司 一种基于BA-Unet的水下声呐图像数据分割方法
CN112508901B (zh) * 2020-12-01 2024-04-05 广州大学 一种水下结构病害识别方法、系统、装置及存储介质
CN114018932B (zh) * 2021-11-02 2023-05-30 西安电子科技大学 基于矩形标定物的路面病害指标测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150043581A (ko) * 2013-10-11 2015-04-23 대우조선해양 주식회사 3차원 비젼 계측 시스템을 이용한 엘엔지선 단열박스 설치용 자동화방법 및 그 장치
CN104318227A (zh) * 2014-11-19 2015-01-28 天津工业大学 基于Curvelet-SC玉米病害识别方法
AU2020102885A4 (en) * 2020-10-20 2020-12-17 Xijing University Disease recognition method of winter jujube based on deep convolutional neural network and disease image
CN113971660A (zh) * 2021-09-30 2022-01-25 哈尔滨工业大学 桥梁健康诊断的计算机视觉方法和智能摄像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jun Xie 等.Shape matching and modeling using skeletal context.《Pattern Recognition》.2008,第41卷(第5期),第1756-1767页. *
孙坤. 不规则轮廓的机器视觉检测算法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2018,第2018年卷(第12期),第I138-1476页. *

Also Published As

Publication number Publication date
CN114494261A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110084817B (zh) 基于深度学习的数字高程模型生产方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN111860336A (zh) 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN107506765B (zh) 一种基于神经网络的车牌倾斜校正的方法
CN112418171B (zh) 一种基于深度学习的斑马鱼空间姿态与心脏位置估计方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN113762358A (zh) 一种基于相对深度训练的半监督学习三维重建方法
CN114331869B (zh) 一种坝面裂缝语义分割方法
CN111488989A (zh) 一种在手机端实现轻量级目标检测的方法及模型
CN112700489A (zh) 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN114494261B (zh) 一种水下结构物病害数据处理方法
CN113052110A (zh) 一种基于多视图投影和深度学习的三维兴趣点提取方法
CN116740703A (zh) 一种基于点云信息的小麦表型参数变化率估测方法和装置
CN117152823A (zh) 一种基于动态空洞卷积金字塔注意力的多任务年龄估计方法
CN112330660B (zh) 一种基于神经网络的精子尾部检测方法及其系统
CN115880477A (zh) 一种基于深度卷积神经网络的苹果检测定位方法与系统
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法
CN112069923A (zh) 3d人脸点云重建方法及系统
CN107480648A (zh) 一种自然场景文字检测的方法
CN114037832A (zh) 一种卫星遥感图像中典型区域的提取方法及系统
CN112949641A (zh) 图像分割方法及电子设备、计算机可读存储介质
CN113642650B (zh) 一种基于多尺度模板匹配和自适应颜色筛选的多波束声呐的沉船检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant