CN114494261A - 一种水下结构物病害数据处理方法 - Google Patents

Abstract

本发明公开了一种水下结构物病害数据处理方法，通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；获取训练图像集，训练图像集包括训练原始图像和训练病害图像，将训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像，对神经网络模型进行训练，得到训练好的神经网络模型；将原始图像完成预处理之后输入到的神经网络模型中，输出得到病害图像，输出病害图像；分析病害图像，得到病害的特征数据。本发明通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求。

Description

一种水下结构物病害数据处理方法

技术领域

本发明涉及数据处理领域，特别涉及一种水下结构物病害数据处理方法。

背景技术

水下结构物指的是位于水面下的建筑物，由于屹立在水下，长期受到水流的冲刷和水下生物的侵袭，其表面往往会产生一些病害，这些病害即是水下结构物上的裂纹。而对于这些水下结构物的病害在检测的时候，往往是使用人工探测的方式，即是研究人员穿上潜水服潜入水中，深入到水下结构物的表面，对水下结构物的病害进行观察和测量，从而得到最新的水下结构物的病害数据，方便在岸上进行研究和观测。但是这样的方式需要研究人员潜入水下进行数据的采集，而水下没有任何的记录设施，只能凭借研究人员的记忆得到病害的数据进行研究，这样非常容易使得病害的数据不够真实和具体，误差会较大，同时，从研究人员的安全和研究效率的角度，这样的方式也不是一个较佳的方式。

发明内容

本发明的目的是克服上述现有技术中存在的问题，提供一种水下结构物病害数据处理方法，通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求。

为此，本发明提供一种水下结构物病害数据处理方法，包括如下步骤：

通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；

获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；

建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；

将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像，输出所述病害图像；

将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；

分析所述病害图像，得到所述病害的特征数据。

进一步，将所述原始图像进行预处理的时候，包括如下步骤：

将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；

对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；

将归一化处理后的原始图像转化为转换为三维数组的格式。

更进一步，所述神经网络模型为U型神经网络，所述U型神经网络包括依次顺序对称排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。

更进一步，所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20。

更进一步，所述U型神经网络在工作的时候包括如下步骤：

所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；

D2接收到输入后，输出大小为256*128*64的三维数组到A3；

依次进入A3~A7，分别输出大小为256*128*64的三维数组到D8，同时在A3~A7中分别进行像素丢弃；

进入D8，输出大小为256*128*64的三维数组到N9；

依次进入N9~N12，设置N9~N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；

依次进入N13~N16同样为空洞卷积层，设置N13~N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；

U17收到N16输出的三维数组，并转换为256*128*64的三维数组；

依次进入N18~N19，输出256*128*64的三维数组；

U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；

依次进入A21~A22，输出512*256*16的三维数组；

输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。

更进一步，在A22输出512*256*16的三维数组之后，包括如下步骤：

分别对每一个像素进行像素位置判别；

将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；

映射中心像素标签，得出超像素标签；

遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。

进一步，分析所述病害图像得到所述病害的特征数据的时候，包括如下步骤：

将所述病害图像转化为二维数组，并提取出所述病害图像中的病害轮廓；

根据所述病害轮廓判断所述病害类型，并得到所述病害类型对应的特征提取方式；

根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；

输出所述病害类型以及对应的特征数据。

更进一步，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。

更进一步，在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：

分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；

分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；

在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；

所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式。

本发明提供的一种水下结构物病害数据处理方法，具有如下有益效果：

本发明通过水下机器人拍摄到水下结构物的图像，并引入神经网络模型对水下结构物的图像进行处理，得到水下结构物的病害图像，并对病害图像进行分析处理，从而满足研究的需求；

由于水下机器人所述拍摄的图像是位于水中，因此所得到原始图像在水流的影响下较为模糊，因此本发明使用U型神经网络，通过对图像的像素进行处理，将水下机器人所得到的原始图像处理后直接生成黑白的病害图像，同时保留原始图像，使得研究的时候可以快速的查找到病害的位置并清楚的了解到病害的特点；

本发明的神经网络模型在使用的过程中，不断的进行修正，使得所得到的病害图像与研究的需求逐步完全匹配，减少研究的后续工作量；

本发明在得到病害图像之后，对病害图像的像素进行分析，同时结合其周围的像素对其进行修正，更新修正后的病害图像，这样所得到的病害图像中的病害就会更加的清晰连续，从而反映出病害的真实情况。

附图说明

图1为本发明的整体流程示意框图；

图2为本发明进行预处理的流程示意框图；

图3为本发明的U型神经网络在工作的流程示意框图；

图4为本发明进行病害图像优化的流程示意框图；

图5为本发明的各个流程的对比图；

图6为本发明分析病害图像的流程示意框图；

图7为本发明得到病害类型对应的特征提取方式流程示意框图。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1-7所示，本实施例提供了一种水下结构物病害数据处理方法，包括如下步骤：

（一）通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；

（二）获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；

（三）建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；

（四）将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像，输出所述病害图像；

（五）将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；

（六）分析所述病害图像，得到所述病害的特征数据。

上述步骤（一）-（六）根据逻辑顺序依次进行，通过将水下机器人放入水中，根据设定的程序使得水下机器人找到水下结构物并完成拍摄，这样在拍摄的时候，就可以完好的解决研究人员自行下水对水下结构物进行观察的问题，确保数据的准确性以及研究人员的人身安全问题，由于水下结构物在拍摄的时候，收到水流的冲击以及水中生物的干扰，我们对拍摄的图像进行处理，在处理的时候，使用到了神经网络模型。在使用神经网络模型之前，步骤（二）是对训练集的获取，数据用于对神经网络进行初步的训练，使得在输入了采集到的原始图像之后，对原始图像处理之后得到的病害图像达到初步的要求，能够表示出病害的大致情况，此时，病害图像与预期的还是有一定的误差，为了消除这部分误差，我们在后续使用该神经网络的时候，不断的对神经网络进行修正，即是步骤（五）中的内容，这样所得到的病害图像就会与预期越来越接近预期，在对神经网络的修正到达一定量的时候，病害图像与预期可以认为一致，此时得到的病害图像就与预期相一致，最后在步骤（六）中，将分析所述病害图像，得到所述病害的特征数据，以供研究人员进行研究，同时，研究人员就可以结合病害图像以及提取出的特征数据对水下结构物的病害进行深入的研究工作。

在本发明中，要将原始图像录入到神经网络模型中，需要对原始图像进行预处理，使得满足模型的需求，在将所述原始图像进行预处理的时候，包括如下步骤：

（1）将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；

（2）对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；

（3）将归一化处理后的原始图像转化为转换为三维数组的格式。

上述步骤（1）-（3）根据逻辑顺序依次进行，本发明将原始图像转化为数组的格式，对数组进行模型的处理，在本发明中，神经网络模型分为多个类别，每个类别的神经网络模型分别对应不同的像素尺寸，归一化处理使得每一个图像在进入神经网络之前全部统一标准化，即是使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布，在归一化之后，将原始图像转化为转换为三维数组的格式，即是每一个像素点分别使用三个数字组成的纵向数组表示，此时，像素点的颜色为彩色，使三原配色的方式，每一原配色分别对应一个程度上的数字，因此，三原配色组成一个三维的数组。

同时，本发明所述神经网络模型为U型神经网络，所述U型神经网络包括依次顺序对称排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。每一个类别的神经网络中所包含的各个模块的数量各不相同，因此，可以组成多种神经网络模型。

具体的，本发明将所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20，共计22层。

基于上述的神经网络模型的组成，对应原始图像为1024*512像素大小，所述U型神经网络在工作的时候包括如下步骤：

<1>所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；

<2>D2接收到输入后，输出大小为256*128*64的三维数组到A3；

<3>依次进入A3~A7，分别输出大小为256*128*64的三维数组到D8，同时在A3~A7中分别进行像素丢弃；

<4>进入D8，输出大小为256*128*64的三维数组到N9；

<5>依次进入N9~N12，设置N9~N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；

<6>依次进入N13~N16同样为空洞卷积层，设置N13~N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；

<7>U17收到N16输出的三维数组，并转换为256*128*64的三维数组；

<8>依次进入N18~N19，输出256*128*64的三维数组；

<9>U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；

<10>依次进入A21~A22，输出512*256*16的三维数组；

<11>输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。

下采样模块一方面能够扩大卷积层感受野，从而丰富上下文信息，有利于提高分类准确度；另一方面能显著降低特征图尺寸，降低网络计算复杂度和内存占用率。而本网络在网络前两层直接进行下采样处理，进一步提高了网络模型运行速度。下采样处理的过程为将分别经过卷积（步长为2）和最大池化操作得到的输出在通道维度上拼接得到该模块的最终输出。

非对称残差模块相比于传统的常规残差模块，计算效率更高，通过层叠一个l*n卷积和一个n*l卷积就能够实现与一个n*n卷积相同的感受野，但其网络参数大大减少，模型复杂度也显著降低。

随着网络深度的增加，网络参数增多的时候，通常使用瓶颈模块一降低模型的参数量和精度损失，但是瓶颈结构一般会受到退化问题的影响，所以通过每一个卷积层都是用1D滤波器间的组合来分解，由此产生的低维分阶层结构简单，并降低计算成本。

上采样模块是对于下采样操作带来的信息丢失、精度降低等问题，本算法使用转置卷积进行上采样操作，有效缓解空间信息丢失，降低图像精度损失。转置卷积步长为2。

为了保证上述得到的病害图像的清晰连续，便于研究人员的研究观察，在A22输出512*256*16的三维数组之后，包括如下步骤：

1>分别对每一个像素进行像素位置判别；

2>将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；

3>映射中心像素标签，得出超像素标签；

4>遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。

本发明在U型神经网络网络（U-NET）最后一层加入超像素中心位置像素坐标信息，只对中心位置像素进行1 x 1 卷积分类，使得U-NET针对超像素而不是像素进行病害位置图像分割，且有效提升U-NET速度，本网络改进的U-NET架构参数喝卷积核参数都是采用U-NET原始参数，并进行改动的，细节内容：在最后一层进行卷积分类前先进行像素位置判别；如果像素位置是中心像素位置，则进行卷积分类，得出像素标签，否则继续进行像素位置判别；映射中心像素标签，得出超像素标签，完成病害位置图像分割。

图5是本发明在各个阶段的图像处理过程与结果的对比图。

在本发明中，在得到和病害图像，就要更加方便研究人员的研究分别，对病害图像中的特征进行提取，给到研究人员有效的数据，在分析所述病害图像得到所述病害的特征数据的时候，包括如下步骤：

<一>将所述病害图像转化为二维数组，并提取出所述病害图像中的病害轮廓；

<二>根据所述病害轮廓判断所述病害类型，并得到所述病害类型对应的特征提取方式；

<三>根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；

<四>输出所述病害类型以及对应的特征数据。

上述步骤<一>-<四>根据逻辑顺序依次进行，由于病害图像为黑白图像，因此，通过将其转化为0和1的数组的方式，就可以快速的提取出其中的病害轮廓，其中0表示白色，1表示黑色，同时还可以得到对应的坐标，由于不同的病害的形状不一致，对应的特征提取方式也不一致，步骤<二>是根据病害的轮廓对病害类型进行获取，这样可以得到该类型的病害的特征提取方式，步骤<三>是对病害的特征数据的提取的执行过程，最后将其输出，这样研究人员就可以在对照着病害图像的同时，对其特征数据进行研究，提升研究的效率和准确率。

再本发明中，为了是轮廓表示的清楚，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。

同时，在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：

一>分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；

二>分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；

三>在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；

所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式。

上述步骤一>-三>根据逻辑顺序依次进行，通过计算各个点的斜率，将斜率一致的点根据位置连接组成轮廓线，一个病害轮廓中包含多个轮廓线，每一个轮廓线都有对应的长度和斜率，通过多个轮廓线的长度和斜率，就可以得到病害轮廓的图形形状，这样将得到的多个轮廓线与病害数据库中的数据进行比对，就可以得到对应的病害类型以及对应的提取方式，从而完成对于病害的特征提取方式。

综上，本发明在图像计算量大时使用非对称残差模块提高运行速度，当模块通道多、网络参数量大时使用弱瓶颈模块降低参数量并减少精度损失。相较于传统的U型结构神经网络，本发明将图像转化为数组进行快速的运算，通过实验证明，本网络对于桥梁水下桩基病害识别的速度及精确度都有较大的提升。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种水下结构物病害数据处理方法，其特征在于，包括如下步骤：

通过水下机器人拍摄水下结构物的图像，并从中分割出包含病害的图像作为原始图像；

获取训练图像集，所述训练图像集包括训练原始图像和训练病害图像，将所述训练原始图像进行预处理，并在处理后的训练原始图像中标记病害得到训练病害图像；

建立神经网络模型，将所述训练原始图像完成预处理之后作为输入，将所述训练病害图像作为输出，对所述神经网络模型进行训练，得到训练好的神经网络模型；

将所述原始图像完成预处理之后输入到所述的神经网络模型中，输出得到病害图像，输出所述病害图像；

将所述原始图像完成预处理之后作为输入，将所述病害图像作为输出，对所述的神经网络模型进行修正，更新所述神经网络模型；

分析所述病害图像，得到所述病害的特征数据。

2.如权利要求1所述的一种水下结构物病害数据处理方法，其特征在于，将所述原始图像进行预处理的时候，包括如下步骤：

将所述原始图像调整为设定的像素尺寸，所述像素尺寸与所述神经网络模型一一对应；

对调整后的所述原始图像进行归一化处理，使得所述原始图像的位移、旋转度以及尺度变换在特定范围内均匀分布；

将归一化处理后的原始图像转化为转换为三维数组的格式。

3.如权利要求2所述的一种水下结构物病害数据处理方法，其特征在于，所述神经网络模型为U型神经网络，所述U型神经网络包括依次顺序对称排列的多个下采样模块、多个非对称残差模块、多个弱瓶颈模块以及多个上采样模块。

4.如权利要求3所述的一种水下结构物病害数据处理方法，其特征在于，所述原始图像调整为1024*512像素大小，则所述三维数组的格式的原始图像为1024*512*3的三维数组，所述U型神经网络包括：输入层i，输出层O23，多个下采样模块D1、D2以及D8，多个非对称残差模块A3～A7、A21～A22，多个弱瓶颈模块N9～N16、N18～N19，多个上采样模块U17、U20。

5.如权利要求4所述的一种水下结构物病害数据处理方法，其特征在于，所述U型神经网络在工作的时候包括如下步骤：

所述输入层i将所述原始图像以1024*512*3的三维数组的格式传入D1中，并输出大小为512*256*16的三维数组到D2；

D2接收到输入后，输出大小为256*128*64的三维数组到A3；

依次进入A3~A7，分别输出大小为256*128*64的三维数组到D8，同时在A3~A7中分别进行像素丢弃；

进入D8，输出大小为256*128*64的三维数组到N9；

依次进入N9~N12，设置N9~N12的空洞率依次为2、4、8以及16，每一层输出大小为128*64*256的三维数组；

依次进入N13~N16同样为空洞卷积层，设置N13~N16的空洞率依次为2、4、8以及16，每一层输出大小为128*64*128的三维数组；

U17收到N16输出的三维数组，并转换为256*128*64的三维数组；

依次进入N18~N19，输出256*128*64的三维数组；

U20将输入的256*128*64的三维数组，转换为512*256*16的三维数组；

依次进入A21~A22，输出512*256*16的三维数组；

输出层O23将512*256*16的三维数组还原到1024*512*3的三维数组，得到所述病害图像的三维数组的格式，输出所述病害图像。

6.如权利要求5所述的一种水下结构物病害数据处理方法，其特征在于，在A22输出512*256*16的三维数组之后，包括如下步骤：

分别对每一个像素进行像素位置判别；

将像素位置判别为中心像素位置的像素进行卷积分类，得出该像素的像素标签；

映射中心像素标签，得出超像素标签；

遍历全部的像素完成对512*256*16三维数组的更新，并进入输出层O23。

7.如权利要求1所述的一种水下结构物病害数据处理方法，其特征在于，分析所述病害图像得到所述病害的特征数据的时候，包括如下步骤：

将所述病害图像转化为二维数组，并提取出所述病害图像中的病害轮廓；

根据所述病害轮廓判断所述病害类型，并得到所述病害类型对应的特征提取方式；

根据所述特征提取方式在所述病害类型中完成所述病害的特征数据的提取；

输出所述病害类型以及对应的特征数据。

8.如权利要求7所述的一种水下结构物病害数据处理方法，其特征在于，所述病害图像的像素点通过坐标的方式表示，所述病害轮廓通过坐标点集合的方式表示。

9.如权利要求8所述的一种水下结构物病害数据处理方法，其特征在于，在得到所述病害类型对应的特征提取方式的时候，包括如下步骤：

分别获取所述病害轮廓中各个相邻的两个坐标点之间的斜率，并将在误差在设定范围内的斜率对应的坐标点归纳在一起，得到轮廓线；

分别根据坐标的个数计算每一条轮廓线的长度，并将每个所述轮廓线的长度和斜率一一对应；

在病害数据库中查找各个轮廓线的斜率一致且长度成比例的病害，并得到对应的特征提取方式；

所述病害数据库用于存储病害对应的各个轮廓线的斜率和长度以及特征提取方式。

Images