CN112508901B - 一种水下结构病害识别方法、系统、装置及存储介质 - Google Patents
一种水下结构病害识别方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN112508901B CN112508901B CN202011379194.2A CN202011379194A CN112508901B CN 112508901 B CN112508901 B CN 112508901B CN 202011379194 A CN202011379194 A CN 202011379194A CN 112508901 B CN112508901 B CN 112508901B
- Authority
- CN
- China
- Prior art keywords
- underwater structure
- underwater
- sonar
- deep learning
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 54
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000013135 deep learning Methods 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000007499 fusion processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000010071 organism adhesion Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种水下结构病害识别方法、系统、装置和存储介质，所述识别方法包括：获取水下结构水声数据；对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。本发明能够挖掘出低信噪比的声呐图像的深层次特征，达到对水下结构水声数据进行快速、准确分类的目的，打破了传统方法所带来的局限；解决现有技术在水下结构水声数据分类方面的不适用性、泛化能力较弱、训练时间较长、对训练样本质量要求较高的问题。本发明可广泛应用于侧扫声呐图像分类领域。
Description
技术领域
本发明涉及侧扫声呐图像分类领域，尤其是一种水下结构病害识别方法、系统、装置及存储介质。
背景技术
声呐成像能克服水质浑浊、光线不均等的影响，具有成像距离远、不受水质影响等优势，但同时也存在背景复杂，噪声污染严重等缺陷。现有技术将卷积神经网络应用于水下结构病害识别一般是基于光学成像，其数据类型仅包含裂缝和完好两类，不适用于真实情况下的水下结构表观病害识别。实际上，水下结构表观病害种类繁多，包括裂缝、孔洞、冲蚀、露筋、剥落、生物附着等等；另一方面，声呐图像对比度和信噪比较低，受噪声影响大，声呐图像目标特征提取不彻底或提取速度慢、当水下目标较小时，容易被误检或漏检。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种水下结构病害识别方法、系统、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种水下结构病害识别方法，包括以下步骤：
获取水下结构水声数据；
对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
进一步地，所述识别方法还包括对多模态融合深度学习网络进行训练，包括：
构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
获取所述训练集以对多模态融合深度学习网络进行训练。
进一步地，所述对多模态融合深度学习网络进行训练的过程，还包括：
采用交叉熵损失函数作为目标函数指导训练过程，在反向传播中采用随机梯度下降优化器对所述多模态深度学习网络的所有权值进行更新。
进一步地，所述构建训练集这一步骤，包括：
利用侧扫声呐采集水下结构水声数据；
根据水下结构表观特征类别对所述水下结构水声数据进行分类标记；
对标记后的水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集。
进一步地，所述多模态融合深度学习网络包括2D卷积神经网络、1D卷积神经网络、汇聚层、全连接层和分类层；
所述2D卷积神经网络用于接收所述声呐图像数据集，并进行特征提取得到第一特征图；
所述1D卷积神经网络用于接收所述声呐回波数据集，并进行特征提取得到第二特征图；
所述汇聚层用于将所述第一特征图和所述第二特征图进行融合，得到融合特征向量；
所述全连接层用于将所述融合特征向量中分布式局部特征映射到样本标记空间；
所述分类层用于对所述全连接层的输出进行分类，并输出水下结构病害类型。
进一步地，在将所述第一特征图和所述第二特征图进行融合之前，还将所述第一特征图和所述第二特征图分别进行扁平化处理。
另一方面，本发明实施例还包括一种水下结构病害识别系统，包括：
第一获取模块，用于获取水下结构水声数据；
第二获取模块，用于对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
接收模块，用于利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
第三获取模块，用于获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
进一步地，所述系统还包括训练模块，所述训练模块包括：
构建单元，用于构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
获取单元，用于获取所述训练集以对多模态融合深度学习网络进行训练。
另一方面，本发明实施例还包括一种水下结构病害识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的水下结构病害识别方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的水下结构病害识别方法。
本发明的有益效果是：
本发明通过训练多模态融合深度学习网络，并利用训练好的多模态融合深度学习网络进行水下结构病害类型的识别；能够挖掘出低信噪比的声呐图像的深层次特征，达到对水下结构水声数据进行快速、准确分类的目的，打破了传统方法所带来的局限；解决现有技术在水下结构水声数据分类方面的不适用性、泛化能力较弱、训练时间较长、对训练样本质量要求较高的问题。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述的水下结构病害识别方法的步骤流程图；
图2为本发明实施例所述的多模态融合深度学习网络的结构示意图；
图3为本发明实施所述的水下结构病害识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图，对本申请实施例作进一步阐述。
首先，对水下结构表观病害类型进行说明，水下结构表观病害类型分为以下几种：
裂缝：构件表面存在横向裂缝、纵向裂缝、斜裂缝或者网状裂缝；
剥落：构件混凝土剥落；
露筋：构件出现露筋、钢筋锈蚀；
孔洞：构件混凝土出现孔洞、空洞；
冲蚀：构件表面出现麻面、表面磨损、粗骨料显露；
生物附着：构件表面出现附着物；
完好：构件表面无生物附着、无剥落、无冲蚀、无明显裂缝。
参照图1，本发明实施例中，主要使用经过训练的多模态融合深度学习网络来执行水下结构病害的识别过程，包括但不限于以下步骤：
S1.获取水下结构水声数据；
S2.对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
S3.利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
S4.获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
具体地，对多模态融合深度学习网络进行训练的过程，包括但不限于以下步骤：
P1.构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
P2.获取所述训练集以对多模态融合深度学习网络进行训练。
进一步地，所述对多模态融合深度学习网络进行训练的过程，还包括：
P3.采用交叉熵损失函数作为目标函数指导训练过程，在反向传播中采用随机梯度下降优化器对所述多模态深度学习网络的所有权值进行更新。
具体地，所述步骤P1，也就是所述构建训练集这一步骤，包括：
P101.利用侧扫声呐采集水下结构水声数据；
P102.根据水下结构表观特征类别对所述水下结构水声数据进行分类标记；
P103.对标记后的水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集。
本实施例中，对于7类水下结构水下结构表观特征(一类正常，六类故障)，分别利用侧扫声呐对包含各类水下结构表现特征的数据进行采集200组样本，共1400组，根据水下结构表观特征类别进行数据标记，分别标记为：正常、裂缝、剥落、露筋、孔洞、冲蚀、生物附着，以便于后续的水下结构表观病害类型分类。
接下来，对采集到的数据进行划分：
对声呐扫描病害数据进行解析，得到声呐图像数据集和声呐回波数据集，对标记好的声呐图像数据集和声呐回波数据集数据集按7：2：1的比例划分训练集、验证集、测试集。本实施例中，对数据进行三个数据集的划分，目的是希望多模态融合深度学习网络能够很好地预测新数据，防止在训练集过拟合，进而使多模态融合深度学习网络具有更强的泛化能力。
进一步地，所述多模态融合深度学习网络包括2D卷积神经网络、1D卷积神经网络、汇聚层、全连接层和分类层；
所述2D卷积神经网络用于接收所述声呐图像数据集，并进行特征提取得到第一特征图；
所述1D卷积神经网络用于接收所述声呐回波数据集，并进行特征提取得到第二特征图；
所述汇聚层用于将所述第一特征图和所述第二特征图进行融合，得到融合特征向量；
所述全连接层用于将所述融合特征向量中分布式局部特征映射到样本标记空间；
所述分类层用于对所述全连接层的输出进行分类，并输出水下结构病害类型。
进一步地，在将所述第一特征图和所述第二特征图进行融合之前，还将所述第一特征图和所述第二特征图分别进行扁平化处理。
本实施例中，基于2D卷积神经网络(2D-CNN)与1D卷积神经网络(1D-CNN)，构建多模态融合深度学习网络，参照图2，网络包含两个特征提取子网络，对应两类输入数据，其中2D-CNN以声呐图像数据集为输入，而1D-CNN以声纳回波数据集为输入，1D-CNN和2D-CNN分别进行卷积层与池化层的特征提取，输出特征向量扁平化后在汇聚层进行特征融合，融合特征向量经过Dropout层后输入到全连接层，全连接层的输出作为分类器的输入，得到水下结构表观病害的分类结果。
具体地，本实施例中所述多模态融合深度学习网络采用双通道的卷积神经网络(CNN)，其包含两个特征提取子网络，2D卷积神经网络(2D-CNN)与1D卷积神经网络(1D-CNN)，分别对应两类输入数据，其中2维数据通道以声呐图像数据集为输入，1维数据通道以声呐回波数据集为输入，每个子网络共5层，一个输入层，两个卷积层，两个池化层；两个特征提取子网络输出特征各自扁平化后在汇聚层融合，得到融合特征向量，再经过Dropout层后输入到全连接层，全连接层的输出是分类器的输入，分类器会产生7类标签的分布。
本实施例中，用一维数据集，即声纳回波数据集；和二维图像数据集，即声呐图像数据集，输入多模态融合深度学习网络中进行500轮训练，训练集中共包含有7种类别的水下结构表观病害(6类病害，1类正常)，训练用的数据集中病害类别已知。在训练过程中，总体损失随着训练迭代次数的增加不断下降，说明多模态融合深度学习网络参数不断被修正。
具体地，将一维数据集和二维图像数据集的验证集和训练集输入多模态融合深度学习网络，也就是将声呐图像数据集输入2D卷积神经网络中，依次传输经过卷积层1、池化层1，得到第一层特征图，将上一层的特征图传输经过卷积层2、池化层2，得到第一特征图，同样地，将声纳回波数据集输入1D卷积神经网络中，依次传输经过1D卷积神经网络中的卷积层1、池化层1，得到第二层特征图，将上一层的特征图传输经过1D卷积神经网络的卷积层2、池化层2，得到第二特征图；两组特征图分别经过扁平化后再在汇聚层实现特征融合，融合为一维特征向量，将特征向量输入dropout层避免过拟合，再输入到全连接层，所述全连接层用于将所述融合特征向量中分布式局部特征映射到样本标记空间；所述分类层由分类器完成对所述全连接层的输出进行分类，并输出水下结构病害类型；同时，根据训练用的声呐图像的真实类别的交叉熵损失(loss)，反向传播算法(Back-Propagation，BP)和梯度下降算法(Stochastic Gradient descent，SGD)对多模态融合深度学习网络内所有的权值进行更新；具体地，采用交叉熵损失函数作为目标函数指导训练过程，在反向传播中采用随机梯度下降优化器对所述多模态深度学习网络的所有权值进行更新。
此外，本实施例中，在卷积神经网络中，超参数不是通过训练得到的数据，而是在开始学习过程之前根据先验经验设置的参数。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。在深度神经网络的训练中，超参数的调整非常重要，通过观察在训练过程中的监测指标如损失和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型能够提高资源利用率。相应的超参数有学习率、批次大小、迭代次数还有卷积核尺寸、步长、激活函数等等。本实施例中，多模态融合深度学习网络超参数如下表1所示：
表1超参数
| 名称 | 取值 |
| 学习速率 | 0.001 |
| 优化器 | SGD |
| 批次大小 | 64 |
| 循环周期 | 500 |
| dropout | 0.5 |
综上所述，本实施例中所述的一种水下结构病害识别方法具有以下优点：
本发明实施例通过训练多模态融合深度学习网络，并利用训练好的多模态融合深度学习网络进行水下结构病害类型的识别；能够挖掘出低信噪比的声呐图像的深层次特征，达到对水下结构水声数据进行快速、准确分类的目的，打破了传统方法所带来的局限；解决现有技术在水下结构水声数据分类方面的不适用性、泛化能力较弱、训练时间较长、对训练样本质量要求较高的问题。
本发明实施例还包括一种水下结构病害识别系统，包括：
第一获取模块，用于获取水下结构水声数据；
第二获取模块，用于对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
接收模块，用于利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
第三获取模块，用于获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
作为可选地实施方式，所述系统还包括训练模块，所述训练模块包括：
构建单元，用于构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
获取单元，用于获取所述训练集以对多模态融合深度学习网络进行训练。
本实施例中，多模态融合深度学习网络的训练过程包括以下步骤：
(1)将采集到的声呐数据划分为训练集、测试集和验证集；其中，训练集、测试集和验证集中都包含了声呐图像数据集和声呐回波数据集；
(2)将训练集中的声呐图像数据集输入2D卷积神经网络中进行特征提取得到第一特征图；将训练集中的声呐回波数据集输入1D卷积神经网络中进行特征提取得到第二特征图；
(3)将第一特征图和第二特征图进行融合处理，得到融合结果；
(4)将融合结果输入分类器中进行分类，分类器输出水下结构病害类型。
通过步骤(1)-(4)将多模态融合深度学习网络训练完之后，将测试集输入训练好的多模态融合深度学习网络，所述测试过程包括以下步骤：
(1)将测试集中的声呐图像数据集输入2D卷积神经网络中进行特征提取得到第一特征图；将测试集中的声呐回波数据集输入1D卷积神经网络中进行特征提取得到第二特征图；
(2)将第一特征图和第二特征图进行融合处理，得到融合结果；
(3)将融合结果输入分类器中进行分类，分类器输出水下结构病害类型。
接下来，将验证集输入训练好的多模态融合深度学习网络，所述验证过程包括以下步骤：
(1)将验证集中的声呐图像数据集输入2D卷积神经网络中进行特征提取得到第一特征图；将验证集中的声呐回波数据集输入1D卷积神经网络中进行特征提取得到第二特征图；
(2)将第一特征图和第二特征图进行融合处理，得到融合结果；
(3)将融合结果输入分类器中进行分类，分类器输出水下结构病害类型。
本实施例中，将验证集输入训练好的多模态融合深度学习网络，将输出结果与真实水下结构病害类型进行比对，可获取多模态融合深度学习网络的分类准确率，根据分类准确率可对训练好的模态融合深度学习网络性能进行评估。
参照图3，本发明实施例还提供了一种水下结构病害识别装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器210执行，使得所述至少一个处理器210实现如图1所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图3中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图1所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图1所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (8)
1.一种水下结构病害识别方法，其特征在于，包括以下步骤：
利用侧扫声呐采集水下结构水声数据；
根据水下结构表观特征类别对所述水下结构水声数据进行分类标记，根据水下结构表观特征类别进行数据标记，分别标记为：正常、裂缝、剥落、露筋、孔洞、冲蚀和生物附着；
对标记后的水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
其中，所述多模态融合深度学习网络包括2D卷积神经网络、1D卷积神经网络、汇聚层、全连接层和分类层；
所述2D卷积神经网络用于接收所述声呐图像数据集，并进行特征提取得到第一特征图；
所述1D卷积神经网络用于接收所述声呐回波数据集，并进行特征提取得到第二特征图；
所述汇聚层用于将所述第一特征图和所述第二特征图进行融合，得到融合特征向量；
所述全连接层用于将所述融合特征向量中分布式局部特征映射到样本标记空间；
所述分类层用于对所述全连接层的输出进行分类，并输出水下结构病害类型；
多模态融合深度学习网络采用双通道的卷积神经网络，其包含两个特征提取子网络，2D卷积神经网络与1D卷积神经网络，分别对应两类输入数据，其中2维数据通道以声呐图像数据集为输入，1维数据通道以声呐回波数据集为输入，每个子网络共5层，一个输入层，两个卷积层，两个池化层；两个特征提取子网络输出特征各自扁平化后在汇聚层融合，得到融合特征向量，再经过Dropout层后输入到全连接层，全连接层的输出是分类器的输入，分类器会产生7类标签的分布；
获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
2.根据权利要求1所述的一种水下结构病害识别方法，其特征在于，还包括对多模态融合
深度学习网络进行训练，包括：
构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
获取所述训练集以对多模态融合深度学习网络进行训练。
3.根据权利要求2所述的一种水下结构病害识别方法，其特征在于，所述对多模态融合深
度学习网络进行训练的过程，还包括：
采用交叉熵损失函数作为目标函数指导训练过程，在反向传播中采用随机梯度下降优化器对所述多模态深度学习网络的所有权值进行更新。
4.根据权利要求3所述的一种水下结构病害识别方法，其特征在于，在将所述第一特征图
和所述第二特征图进行融合之前，还将所述第一特征图和所述第二特征图分别进行扁平化处理。
5.一种水下结构病害识别系统，其特征在于，包括：
第一获取模块，用于利用侧扫声呐采集水下结构水声数据；
根据水下结构表观特征类别对所述水下结构水声数据进行分类标记，根据水下结构表观特征类别进行数据标记，分别标记为：正常、裂缝、剥落、露筋、孔洞、冲蚀和生物附着；
第二获取模块，用于对所述水下结构水声数据进行解析，获取声呐图像数据集和声呐回波数据集；
接收模块，用于利用训练好的多模态融合深度学习网络接收所述声呐图像数据集和声呐回波数据集；
其中，所述多模态融合深度学习网络包括2D卷积神经网络、1D卷积神经网络、汇聚层、全连接层和分类层；
所述2D卷积神经网络用于接收所述声呐图像数据集，并进行特征提取得到第一特征图；
所述1D卷积神经网络用于接收所述声呐回波数据集，并进行特征提取得到第二特征图；
所述汇聚层用于将所述第一特征图和所述第二特征图进行融合，得到融合特征向量；
所述全连接层用于将所述融合特征向量中分布式局部特征映射到样本标记空间；
所述分类层用于对所述全连接层的输出进行分类，并输出水下结构病害类型；
多模态融合深度学习网络采用双通道的卷积神经网络，其包含两个特征提取子网络，2D卷积神经网络与1D卷积神经网络，分别对应两类输入数据，其中2维数据通道以声呐图像数据集为输入，1维数据通道以声呐回波数据集为输入，每个子网络共5层，一个输入层，两个卷积层，两个池化层；两个特征提取子网络输出特征各自扁平化后在汇聚层融合，得到融合特征向量，再经过Dropout层后输入到全连接层，全连接层的输出是分类器的输入，分类器会产生7类标签的分布；
第三获取模块，用于获取所述训练好的多模态融合深度学习网络输出的水下结构病害类型。
6.根据权利要求5所述的一种水下结构病害识别系统，其特征在于，还包括训练模块，所
述训练模块包括：
构建单元，用于构建训练集，所述训练集包括声呐图像数据集和声呐回波数据集；
获取单元，用于获取所述训练集以对多模态融合深度学习网络进行训练。
7.一种水下结构病害识别装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-4任一项所述的水下结构病害识别方法。
8.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执
行的程序在被处理器执行时用于实现如权利要求1-4任一项所述的水下结构病害识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011379194.2A CN112508901B (zh) | 2020-12-01 | 2020-12-01 | 一种水下结构病害识别方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011379194.2A CN112508901B (zh) | 2020-12-01 | 2020-12-01 | 一种水下结构病害识别方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508901A CN112508901A (zh) | 2021-03-16 |
| CN112508901B true CN112508901B (zh) | 2024-04-05 |
Family
ID=74968915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011379194.2A Active CN112508901B (zh) | 2020-12-01 | 2020-12-01 | 一种水下结构病害识别方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508901B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450343A (zh) * | 2021-07-19 | 2021-09-28 | 福州大学 | 基于声呐成像平面桩墩裂缝病害深度学习与智能检测方法 |
| CN113807324A (zh) * | 2021-11-02 | 2021-12-17 | 中国人民解放军32021部队 | 一种声呐图像识别方法、装置、电子设备和储存介质 |
| CN114543983A (zh) * | 2022-03-29 | 2022-05-27 | 阿里云计算有限公司 | 振动信号的识别方法及装置 |
| CN114494261B (zh) * | 2022-04-18 | 2023-04-25 | 陕西易合交通科技有限公司 | 一种水下结构物病害数据处理方法 |
| CN117011688B (zh) * | 2023-07-11 | 2024-03-08 | 广州大学 | 一种水下结构病害的识别方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102054153B1 (ko) * | 2019-07-11 | 2019-12-12 | 가온플랫폼 주식회사 | 딥러닝 기반 잠수함 소나 음파데이터와 잠망경 영상데이터와의 융합을 통한 인공지능 자동식별시스템 |
| CN111127399A (zh) * | 2019-11-28 | 2020-05-08 | 东南大学 | 一种基于深度学习与声呐成像的水下桥墩病害识别方法 |
| CN111507319A (zh) * | 2020-07-01 | 2020-08-07 | 南京信息工程大学 | 一种基于深度融合卷积网络模型的农作物病害识别方法 |
| CN111626341A (zh) * | 2020-05-12 | 2020-09-04 | 哈尔滨工程大学 | 一种面向水下目标识别的特征级信息融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
-
2020
- 2020-12-01 CN CN202011379194.2A patent/CN112508901B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102054153B1 (ko) * | 2019-07-11 | 2019-12-12 | 가온플랫폼 주식회사 | 딥러닝 기반 잠수함 소나 음파데이터와 잠망경 영상데이터와의 융합을 통한 인공지능 자동식별시스템 |
| CN111127399A (zh) * | 2019-11-28 | 2020-05-08 | 东南大学 | 一种基于深度学习与声呐成像的水下桥墩病害识别方法 |
| CN111626341A (zh) * | 2020-05-12 | 2020-09-04 | 哈尔滨工程大学 | 一种面向水下目标识别的特征级信息融合方法 |
| CN111507319A (zh) * | 2020-07-01 | 2020-08-07 | 南京信息工程大学 | 一种基于深度融合卷积网络模型的农作物病害识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于水声环境空间中多模态深度融合模型的目标识别方法研究;李琦;孙桂玲;黄翠;刘颉;常哲;于金花;文洪涛;;海洋技术学报(06);第35-45页 * |
| 基于深度学习的舰船辐射噪声多特征融合分类;倪俊帅;赵梅;胡长青;;声学技术(03);第366-371页 * |
| 海底声呐图像智能底质分类技术研究综述;赵玉新;赵廷;;智能系统学报(03);第587-600页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508901A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508901B (zh) | 一种水下结构病害识别方法、系统、装置及存储介质 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN109903282B (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| Schmid et al. | The LOKI underwater imaging system and an automatic identification model for the detection of zooplankton taxa in the Arctic Ocean | |
| CN110633758A (zh) | 针对小样本或样本不平衡的癌症区域检测定位的方法 | |
| CN110119677B (zh) | 基于图像分类网络的碳纤维复合芯电缆破损检测方法 | |
| CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN114862838A (zh) | 基于无监督学习的缺陷检测方法及设备 | |
| CN112529234A (zh) | 基于深度学习的地表水质预测方法 | |
| CN113435355A (zh) | 多目标奶牛身份识别方法及系统 | |
| CN113553975B (zh) | 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质 | |
| CN113706472B (zh) | 公路路面病害检测方法、装置、设备及存储介质 | |
| CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
| CN116363469A (zh) | 一种少样本红外目标检测方法、装置和系统 | |
| CN116011507A (zh) | 融合元学习与图神经网络的稀有故障诊断方法 | |
| CN111723737B (zh) | 一种基于多尺度匹配策略深度特征学习的目标检测方法 | |
| CN111402205B (zh) | 一种基于多层感知机的乳腺肿瘤数据清洗方法 | |
| CN109389134B (zh) | 一种肉制品加工生产线监控信息系统的图像处理方法 | |
| CN112508080A (zh) | 基于经验回放的车辆型号识别方法、装置、设备及介质 | |
| CN116188834B (zh) | 基于自适应训练模型的全切片图像分类方法及装置 | |
| CN112613749B (zh) | 跨境隐存高危因子风险智能分析系统 | |
| CN115546224B (zh) | 一种电机运行过程故障自动识别及控制方法 | |
| CN115147420B (zh) | 切片间相关度检测模型训练方法、检测方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |