CN108510458B - 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 - Google Patents
基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 Download PDFInfo
- Publication number
- CN108510458B CN108510458B CN201810270164.4A CN201810270164A CN108510458B CN 108510458 B CN108510458 B CN 108510458B CN 201810270164 A CN201810270164 A CN 201810270164A CN 108510458 B CN108510458 B CN 108510458B
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- output
- layer
- scan sonar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000001308 synthesis method Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013136 deep learning model Methods 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 24
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 230000008602 contraction Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 230000007704 transition Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8902—Side-looking sonar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，包括，S1.合成初步侧扫声呐图像；S2.深度学习模型建立及训练；S21.训练样本的获取；S22.建立深度学习模型；S23.深度学习模型的训练；S3.测扫声呐图像的合成。本发明的方法，在此过程中，非参数化采样给出一幅初始的合成结果，但是由于非参数化采样只考虑填充图像中的其各自负责的部分，不考虑每个部分边缘过渡是否平滑，此时初步合成的结果与真实图像有差距。而深度学习可以学习初始合成的声呐图像与真实声呐图像之间的关系，因此，将初始合成的图像用训练好的深度学习模型进行处理后，可以得到与真实声呐图像更像的合成结果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度学习方法和非参数化采样的侧扫声呐图像合成方法。
背景技术
作为海底目标探测的主要传感器之一，侧扫声呐能提供海底回波信号形成的高分辨率声呐图像。近年来，声呐探测技术的发展极大地拓展了人类对海洋的认知，其中高分辨率成像声呐在海底勘探、底质分类、水下人工结构物探测等方面具有重要应用。由于海洋探测难度大、成本高，目前侧扫声呐图像有限，且只有有限海域的部分声呐图像。为了得到物体在不同海底地质下的声呐图像，侧扫声呐图像合成方法十分关键，而目前这方面的研究还很少。
但是现有技术中，有关于照片的合成方法有很多种，例如，基于生成对抗网络(Generative Adversarial Networks，GAN)和基于卷积神经网络(Convolutional NeuralNetwork，CNN)的方法。但是照片的合成方法并不能直接用于合成测扫声呐图像。侧扫声呐图像不同于照片，照片中的物体分布清晰，容易分辨物体边界，且一般自然物体具有对称性和固定的形状；而侧扫声呐图像由于覆盖范围较宽(一般宽至数百米)，而海底目标大小差距较大，从几十米到几厘米大的物体都有可能出现，且物体边界过渡平滑，不是十分清晰，物体的形状和探测角度密切相关，物体呈现的图像随着搭载声呐的拖曳装置的角度变化而变化，因此照片的合成方法基本上都不能直接用于合成侧扫声呐图像。
目前基于GAN和CNN的图像合成方法中，输入通常是分割标签图像，输出是合成图像，合成图像中的物体往往具有形状相似性和对称性。而在侧扫声呐图像中，同一种目标的形状、尺寸往往有较大差异，这是因为采集图像的侧扫声呐分辨率、距离海底的高度、探测的角度在不同探测任务中会有变化，而且同一类的目标其形态可能有较大差异，如沙波、沉船等。因此，直接基于现有图像合成方法合成侧扫声呐图像，效果并不好。
发明内容
本发明针对上述技术问题，提出一种基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，该方法主要是针对侧扫声呐图像合成，合成图像更加真实。
为了实现上述目的，本发明采用如下技术方案：基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，包括，
S1.合成初步侧扫声呐图像；
S2.深度学习模型建立及训练；
S21.训练样本的获取；
将真实声呐图像作为目标图像，从真实声呐图像中分割出阴影区域、海底区域和目标区域，将分割后的图像作为合成模板；从滤波后的测扫声呐图像中随机截取阴影区域、海底区域和目标区域的图像作为样本纹理图像，使用样本纹理图像填充合成模板得到训练样本；
S22.建立深度学习模型；
S23.深度学习模型的训练；
将训练样本作为深度学习的输入，将与每个训练样本对应的目标图像与该训练样本的差值图像作为深度学习的目标输出，对深度模型进行训练；
S3.测扫声呐图像的合成；
将初步侧扫声呐图像输入到训练好的深度学习模型中得到输出结果，将初步侧扫声呐图像与输出结果相加得到合成测扫声呐图像。
进一步地，所述步骤S1中，初步侧扫声呐图像的合成，以及所述步骤S3中，训练样本的合成，均通过基于非参数化采样方法合成。
进一步地，所述基于非参数化采样方法具体包括，
假设Ismp为样本纹理图像，I为要合成的纹理图像，p为I中要合成的一个像素且p∈I，
为像素p邻域的正方形图像块，大小为3×3且
表示两个图像块
和
之间的距离；
首先，在样本纹理图像Ismp中找到与
距离最近的图像块，找到的图像块
满足
然后在样本纹理图像Ismp中找满足距离阈值条件的所有图像块
即
计算符合条件的距离d且d＝dSSD*G，其中G是二维高斯核，dSSD是所有距离的平方误差累计；
最后，根据d在Ismp中找到像素p的合适的像素值pd，则pd就是p在合成图像I中的像素值，重复上述过程，直到找到待合成图像I的所有像素的像素值。
进一步地，所述步骤S22中，所述深度学习模型为改进的U-NET网络。
进一步地，所述改进的U-NET网络共有N层，其中N为奇数，且N大于等于5，U-Net的每层均包括两个卷积核为n×n，步长为1的卷积滤波器，其中n＝(1,3,5,7)，U-Net网络的前(N+1)/2层均为向下收缩操作层，后面的N-(N+1)/2均为向上扩展操作层；
向下收缩操作层的两个卷积滤波器后面连接着一个尺寸为2，步长为2的池化滤波器，其中，前(N+1)/2层中的m层中，m为不等于1的奇数，两个卷积滤波器前面还连接一个降采样联结模块，降采样联结模块的输入是m-2层中第二个卷积滤波器的输出和第m-1的输出，降采样联结模块对m-2层中第二个卷积滤波器的输出图像进行降采样后，再与第m-1的输出图像进行联结；其余层中，该层的输入是上一层的输出；
向上扩展操作层的两个卷积滤波器前面连接着一个联结模块，后面连接着一个尺寸为2的上采样模块，第(N+A)/2层联结模块的输入是(N-A)/2层的输出和(N+A-2)/2层的输出，联结模块首先去除(N-A)/2层的输出图像的四周边界的像素，然后再将其与(N+A-2)/2层的输出图像进行联结，其中A为奇数，且A大于等于3，小于等于N；上采样模块对第二个卷积滤波器的输出图像进行插值放大；
向下收缩操作层的前端连接有输入模块，输入模块用于输入原始图像，向上扩展操作层的后端连接有输出模块，输出模块输出原始图像和第N层输出图像的差值图像。
进一步地，所述深度学习模型为多尺度深度学习模型。
进一步地，对应多尺度深度学习模型，所述步骤S3中，将初步侧扫声呐图像输入到训练好的深度学习模型中得到多个输出结果，将初步侧扫声呐图像与多个输出结果的均值相加得到合成测扫声呐图像。
本发明的基于非参数化采样和深度学习结合的侧扫声呐图像合成方法，在此过程中，非参数化采样给出一幅初始的合成结果，但是由于非参数化采样只考虑填充图像中的其各自负责的部分，不考虑每个部分边缘过渡是否平滑，此时初步合成的结果与真实图像有差距。而深度学习可以学习初始合成的声呐图像与真实声呐图像之间的关系，因此，将初始合成的图像用训练好的深度学习模型进行处理后，可以得到与真实声呐图像更像的合成结果。
附图说明
图1为本发明的方法的流程图；
图2为基于非参数化采样方法合成初始侧扫声呐图像的对比图；
图3为U-Net网络的结构图；
图4为图像卷积操作实现过程图；
图5为最大池化操作实现过程图；
图6为改进的U-Net网络的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，如图1所示为本发明的合成方法的流程图，包括，
S1.合成初步侧扫声呐图像；
在本实施例中，采用基于非参数化采样方法合成初步侧扫声呐图像，对于给定的纹理图片作为种子图像，非参数化采样方法可以合成较大的纹理图像，具体包括，
假设Ismp为样本纹理图像，I为要合成的纹理图像，p为I中要合成的一个像素且p∈I，
为像素p邻域的正方形图像块，大小为3×3且
表示两个图像块
和
之间的距离；
首先，在样本纹理图像Ismp中找到与
距离最近的图像块，找到的图像块
满足
然后在样本纹理图像Ismp中找满足距离阈值条件的所有图像块
即
计算符合条件的距离d且d＝dSSD*G，其中G是二维高斯核，dSSD是所有距离的平方误差累计；
最后，根据d在Ismp中找到像素p的合适的像素值pd，则pd就是p在合成图像I中的像素值，重复上述过程，直到找到待合成图像I的所有像素的像素值。
如图2所示，其中图2(a)为样本纹理图像Ismp，大小为64×64，图2(b)为合成纹理图像I，大小为200×200。
S2.深度学习模型建立及训练；
S21.训练样本的获取；
将真实声呐图像作为目标图像，从真实声呐图像中分割出阴影区域、海底区域和目标区域，将分割后的图像作为合成模板；从滤波后的测扫声呐图像中随机截取阴影区域、海底区域和目标区域的图像作为样本纹理图像，使用样本纹理图像填充合成模板得到训练样本。
本发明合成的声呐图像中包含目标区域、阴影区域和海底区域，因此，训练样本图像中必须包含这三个区域。训练样本中，特征图像是使用非参数化采样初步合成的侧扫声呐图像。合成该图像时，使用声呐图像的真实分割图像作为合成模板，如图1所示，模板中，黑色表示阴影区域，灰色表示海底区域，白色表示目标区域。同时，从滤波后的侧扫声呐图像中随机截取这三个区域的图像块，使用这些图像块作为样本纹理图像，根据非参数化采样方法对合成模板中的每个区域进行填充形成训练样本。
S22.建立深度学习模型；
(1)U-Net网络
U-Net网络由向下收缩操作层和向上扩展操作层组成。设U-Net网络共有N层，其中N为奇数且N大于等于3，U-Net的每层均包括两个卷积核为n×n，步长为1的卷积滤波器，其中n＝(1,3,5,7)，U-Net网络的前(N+1)/2层均为向下收缩操作层，后面的N-(N+1)/2均为向上扩展操作层。向下收缩操作层的两个卷积滤波器后面连接着一个尺寸为2，步长为2的池化滤波器，上一层的输出是下一层的输入。向上扩展操作层的两个卷积滤波器前面连接着一个联结模块，后面连接着一个尺寸为2的上采样模块；第(N+A)/2层联结模块的输入是(N-A)/2层的输出和(N+A-2)/2层的输出，联结模块首先去除(N-A)/2层的输出图像的四周边界的像素，然后再将其与(N+A-2)/2层的输出图像进行联结，其中A为奇数，且A大于等于3，小于等于N。上采样模块对第二个卷积滤波器的输出图像进行插值放大。另外，向下收缩操作层的前端连接有输入模块，向上扩展操作层的后端连接有输出模块。
U-Net网络的结构如图3所示，其中，N＝9，n＝3。其中，BN-CONV-RELU代表卷积滤波操作，MAXPOOL代表池化滤波操作，CONCAT代表联结操作，BN-UPCONV-RELU代表上采样操作。
U-Net网络中，卷积滤波器的实现如图4所示。图4(a)所示为一幅5×5的图像，图像中每个点的像素值已知。图4(b)为大小为3×3的卷积核，假设此时卷积核参数已知且都为1。图4(c)为具体的卷积操作过程。为了保证卷积后的特征图像与原图像大小相同，必须在原图像四周补0。卷积时，将图4(c)的卷积核中的元素值依次与图4(a)中大小为3×3的图像块做乘积和求和操作，每次向右或向下移动一个像素距离，以此类推，直到卷积核遍历整幅图像，得到最终的卷积结果。图4的示例中，卷积核的维数是1，所以得到一幅卷积特征图；如果卷积核的维数设为k，则得到k幅卷积特征图。
池化滤波器的实现如图5所示。若池化层大小为2×2、步长为2，做最大池化时对图像中大小为2×2的图像块取其最大像素值作为池化结果，每次移动两个像素位置，依次类推，得到池化滤波器的输出。
(2)改进的U-Net网络
本发明使用的深度学习模型为改进的U-Net网络，改进的U-Net网络共有N层，其中N为奇数，且N大于等于5，U-Net的每层均包括两个卷积核为n×n，步长为1的卷积滤波器，其中n＝(1,3,5,7)，U-Net网络的前(N+1)/2层均为向下收缩操作层，后面的N-(N+1)/2均为向上扩展操作层。向下收缩操作层的两个卷积滤波器后面连接着一个尺寸为2，步长为2的池化滤波器，其中，前(N+1)/2层中的m层中，m为不等于1的奇数，两个卷积滤波器前面还连接一个降采样联结模块，降采样联结模块的输入是m-2层中第二个卷积滤波器的输出和第m-1的输出，降采样联结模块对m-2层中第二个卷积滤波器的输出图像进行降采样后，再与第m-1的输出图像进行联结；其余层中，该层的输入是上一层的输出。向上扩展操作层的两个卷积滤波器前面连接着一个联结模块，后面连接着一个尺寸为2的上采样模块，第(N+A)/2层联结模块的输入是(N-A)/2层的输出和(N+A-2)/2层的输出，联结模块首先去除(N-A)/2层的输出图像的四周边界的像素，然后再将其与(N+A-2)/2层的输出图像进行联结，其中A为奇数，且A大于等于3，小于等于N；上采样模块对第二个卷积滤波器的输出图像进行插值放大。向下收缩操作层的前端连接有输入模块，输入模块用于输入原始图像，向上扩展操作层的后端连接有输出模块，输出模块输出原始图像和第N层输出图像的差值图像。
在U-Net网络的向下收缩操作层中，浅层的卷积层与深层的卷积层得到的特征图不同。通常情况下，浅层的卷积层得到输入图像的纹理特征，而深层的卷积层得到输入图像的高阶抽象特征。在改进的U-Net网络中加入级联结构，可以使网络同时使用输入图像的纹理特征和高阶抽象特征，达到改善图像合成效果的目的。
尺度为64×64的改进的U-Net网络，其结构如图6所示，其中，BN-CONV-RELU代表卷积滤波操作，MAXPOOL代表池化滤波操作，CONCAT代表联结操作，BN-UPCONV-RELU代表上采样操作；DOWNSAMPLING代表降采样联结操作。改进的U-Net模型与传统U-Net的区别：在降采样的过程中加入了级联结构。本发明使用改进的U-Net网络，并训练多个尺度的U-Net模型。训练多个尺度U-Net的目的：通过多尺度U-Net网络得到测试样本的多个输出，将这些输出的均值作为测试样本的最终合成结果，起到输出平滑的作用。本发明中，输入的三个尺度设置为128×128、96×96和64×64。
S23.深度学习模型的训练；
将训练样本作为深度学习的输入，将与每个训练样本对应的目标图像与该训练样本的差值图像作为深度学习的目标输出，对深度模型进行训练。
对应多尺度深度学习模型，所述步骤S3中，将初步侧扫声呐图像输入到训练好的深度学习模型中得到多个输出结果，将初步侧扫声呐图像与多个输出结果的均值相加得到合成测扫声呐图像。
S3.测扫声呐图像的合成；
将初步侧扫声呐图像输入到训练好的深度学习模型中得到输出结果，将初步侧扫声呐图像与输出结果相加得到合成测扫声呐图像。
本发明首先使用非参数化采样得到侧扫声呐图像的初步合成结果，在初步合成时，用户可自行选择种子图像的纹理大小、方向、类别，实现用户自定义合成图像中目标类别和目标尺寸的目的。在合成图像优化阶段，使用多尺度的改进U-Net网络，通过学习真实图像与初步合成图像之间的差异性，提升最终合成图像的真实性。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，包括，
S1.合成初步侧扫声呐图像；
S2.深度学习模型建立及训练；
S21.训练样本的获取；
将真实声呐图像作为目标图像，从真实声呐图像中分割出阴影区域、海底区域和目标区域，将分割后的图像作为合成模板；从滤波后的侧扫声呐图像中随机截取阴影区域、海底区域和目标区域的图像作为样本纹理图像，使用样本纹理图像填充合成模板得到训练样本；
S22.建立深度学习模型；
S23.深度学习模型的训练；
将训练样本作为深度学习的输入，将与每个训练样本对应的目标图像与该训练样本的差值图像作为深度学习的目标输出，对深度学习 模型进行训练；
S3.侧扫声呐图像的合成；
将初步侧扫声呐图像输入到训练好的深度学习模型中得到输出结果，将初步侧扫声呐图像与输出结果相加得到合成侧扫声呐图像；
所述步骤S1中，初步侧扫声呐图像的合成，以及所述步骤S3中，训练样本的合成，均通过基于非参数化采样方法合成。
2.根据权利要求1所述的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，所述基于非参数化采样方法具体包括，
假设Ismp为样本纹理图像，I为要合成的纹理图像，p为I中要合成的一个像素且
为像素p邻域的正方形图像块，大小为3×3且
表示两个图像块
和
之间的距离；
首先，在样本纹理图像Ismp中找到与
距离最近的图像块，找到的图像块
满足
然后在样本纹理图像Ismp中找满足距离阈值条件的所有图像块
即
计算符合条件的距离d且d＝dSSD*G，其中G是二维高斯核，dSSD是所有距离的平方误差累计；
最后，根据d在Ismp中找到像素p的合适的像素值pd，则pd就是p在合成图像I中的像素值，重复上述过程，直到找到待合成图像I的所有像素的像素值。
3.根据权利要求1所述的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，所述步骤S22中，所述深度学习模型为改进的U-NET网络。
4.根据权利要求3所述的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，所述改进的U-NET网络共有N层，其中N为奇数，且N大于等于5，U-Net的每层均包括两个卷积核为n×n，步长为1的卷积滤波器，其中n＝(1,3,5,7)，U-Net网络的前(N+1)/2层均为向下收缩操作层，后面的N-(N+1)/2均为向上扩展操作层；
向下收缩操作层的两个卷积滤波器后面连接着一个尺寸为2，步长为2的池化滤波器，其中，前(N+1)/2层中的m层中，m为不等于1的奇数，两个卷积滤波器前面还连接一个降采样联结模块，降采样联结模块的输入是m-2层中第二个卷积滤波器的输出和第m-1的输出，降采样联结模块对m-2层中第二个卷积滤波器的输出图像进行降采样后，再与第m-1的输出图像进行联结；其余层中，该层的输入是上一层的输出；
向上扩展操作层的两个卷积滤波器前面连接着一个联结模块，后面连接着一个尺寸为2的上采样模块，第(N+A)/2层联结模块的输入是(N-A)/2层的输出和(N+A-2)/2层的输出，联结模块首先去除(N-A)/2层的输出图像的四周边界的像素，然后再将其与(N+A-2)/2层的输出图像进行联结，其中A为奇数，且A大于等于3，小于等于N；上采样模块对第二个卷积滤波器的输出图像进行插值放大；
向下收缩操作层的前端连接有输入模块，输入模块用于输入原始图像，向上扩展操作层的后端连接有输出模块，输出模块输出原始图像和第N层输出图像的差值图像。
5.根据权利要求4所述的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，所述深度学习模型为多尺度深度学习模型。
6.根据权利要求5所述的基于深度学习方法和非参数化采样的侧扫声呐图像合成方法，其特征在于，对应多尺度深度学习模型，所述步骤S3中，将初步侧扫声呐图像输入到训练好的深度学习模型中得到多个输出结果，将初步侧扫声呐图像与多个输出结果的均值相加得到合成侧扫声呐图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810270164.4A CN108510458B (zh) | 2018-03-29 | 2018-03-29 | 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810270164.4A CN108510458B (zh) | 2018-03-29 | 2018-03-29 | 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510458A CN108510458A (zh) | 2018-09-07 |
| CN108510458B true CN108510458B (zh) | 2021-07-27 |
Family
ID=63379258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810270164.4A Active CN108510458B (zh) | 2018-03-29 | 2018-03-29 | 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510458B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490219B (zh) * | 2019-07-02 | 2022-03-11 | 中国地质大学（武汉） | 一种基于纹理约束的U-net网络进行地震数据重建的方法 |
| CN110335276B (zh) * | 2019-07-10 | 2021-02-26 | 四川大学 | 医学图像分割模型、方法、存储介质及电子设备 |
| CN110471048B (zh) * | 2019-07-25 | 2022-04-15 | 南京信息工程大学 | 基于声呐三维图像置信度的自适应变尺度卷积核计算方法 |
| CN111028154B (zh) * | 2019-11-18 | 2023-05-09 | 哈尔滨工程大学 | 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法 |
| CN111582403A (zh) * | 2020-05-18 | 2020-08-25 | 哈尔滨工程大学 | 一种零样本侧扫声呐图像目标分类方法 |
| CN112381745B (zh) * | 2020-11-06 | 2023-09-22 | 山东大学 | 基于多源数据合成的侧扫声呐图像数据增强方法及系统 |
| CN113466839B (zh) * | 2021-09-03 | 2021-12-07 | 北京星天科技有限公司 | 侧扫声呐海底线检测方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839271A (zh) * | 2014-03-25 | 2014-06-04 | 天津理工大学 | 一种基于最佳匹配的图像纹理合成方法 |
| CN107526087A (zh) * | 2016-06-21 | 2017-12-29 | 北京臻迪科技股份有限公司 | 一种获取水下3d断层图像的方法及系统 |
| WO2018012299A1 (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 画像生成装置、画像生成方法、及び、プログラム |
-
2018
- 2018-03-29 CN CN201810270164.4A patent/CN108510458B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839271A (zh) * | 2014-03-25 | 2014-06-04 | 天津理工大学 | 一种基于最佳匹配的图像纹理合成方法 |
| CN107526087A (zh) * | 2016-06-21 | 2017-12-29 | 北京臻迪科技股份有限公司 | 一种获取水下3d断层图像的方法及系统 |
| WO2018012299A1 (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 画像生成装置、画像生成方法、及び、プログラム |
Non-Patent Citations (3)
| Title |
|---|
| Deep Learning of Submerged Body Images from 2D Sonar Sensor based on Convolutional Neural Network;Sejin Lee;《IEEE xplore》;20170403;正文第1-3页 * |
| 一种合成孔径声呐图像目标分割方法;翟厚曦 等;《仪器仪表学报》;20160430;正文第887-894页 * |
| 分析式纹理合成技术及其在深度学习的应用;李宏林;《计算机技术与发展》;20171130;正文第7-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510458A (zh) | 2018-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510458B (zh) | 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 | |
| CN109711295B (zh) | 一种光学遥感图像近岸舰船检测方法 | |
| CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN109871823B (zh) | 一种结合旋转框和上下文信息的卫星图像舰船检测方法 | |
| CN114565860B (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
| CN109859178B (zh) | 一种基于fpga的红外遥感图像实时目标检测方法 | |
| CN111027497A (zh) | 基于高分辨率光学遥感影像的弱小目标快速检测方法 | |
| Long et al. | Underwater forward-looking sonar images target detection via speckle reduction and scene prior | |
| Sung et al. | Image-based super resolution of underwater sonar images using generative adversarial network | |
| CN116468995A (zh) | 一种联合slic超像素和图注意力网络的声呐图像分类方法 | |
| CN112883971A (zh) | 一种基于深度学习的sar图像舰船目标检测方法 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN115797658A (zh) | 水下垃圾检测方法及系统 | |
| CN111161156A (zh) | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 | |
| CN114066795A (zh) | Df-sas高低频声呐图像精细配准融合方法 | |
| CN117576461A (zh) | 一种用于变电站场景的语义理解方法、介质及系统 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN112417980A (zh) | 一种基于特征增强和细化的单阶段水下生物目标检测方法 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN111967292B (zh) | 一种轻量级的sar图像船只检测方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| CN112950481B (zh) | 一种基于图像拼接网络的水花遮挡图像数据集采集方法 | |
| CN115049918A (zh) | 一种用于水下机器人的图像目标快速检测方法及装置 | |
| CN112925932A (zh) | 一种高清晰的水下激光图像处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |