CN113436125B - 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备 - Google Patents

基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备 Download PDF

Info

Publication number
CN113436125B
CN113436125B CN202110778791.0A CN202110778791A CN113436125B CN 113436125 B CN113436125 B CN 113436125B CN 202110778791 A CN202110778791 A CN 202110778791A CN 113436125 B CN113436125 B CN 113436125B
Authority
CN
China
Prior art keywords
image
style
scan sonar
target object
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110778791.0A
Other languages
English (en)
Other versions
CN113436125A (zh
Inventor
葛强
阮风雪
党兰学
左宪禹
乔保军
刘扬
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110778791.0A priority Critical patent/CN113436125B/zh
Publication of CN113436125A publication Critical patent/CN113436125A/zh
Application granted granted Critical
Publication of CN113436125B publication Critical patent/CN113436125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备。该方法包括：根据待迁移图像的目标物体类别，构建与目标物体相关的光学图像数据集；对光学图像进行图像分割，提取目标物体的轮廓，对目标物体的轮廓添加阴影，获取输入图像；构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。本发明实施例能够扩充侧扫声呐图像样本，使侧扫声呐领域能够运用神经网络进行图像自动分类，同时能够提高分类的精度。

Description

基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备
技术领域
本发明涉及图像处理技术领域，具体涉及基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备。
背景技术
侧扫声呐作为一种高分辨率、多用途的海洋探测设备，广泛应用于海洋、湖泊等水域，是当今水下目标探测的主要方式，尤其是对失事飞机和沉船的探测和搜救更具有重要意义。长时间进行搜救任务，声呐搜救员时刻紧盯屏幕看是否有目标物体，工作一段时间后人员疲惫，容易错过搜救目标，而且效率低下。为减少工作人员的工作量和因视觉疲惫带来的主观性的误差，提高工作效率，侧扫声呐海底图像自动分类具有实用意义。
发明人在实践中，发现上述现有技术存在以下缺陷：
近年来，需要大量的数据样本的卷积神经网络在各个领域得到广泛的应用。侧扫声呐图像获取难度大，花费成本高，使得卷积神经网络在侧扫声呐领域应用价值不高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于风格迁移的侧扫声呐仿真图像生成方法，该方法包括以下步骤：
根据待迁移图像的目标物体类别，构建与所述目标物体相关的光学图像数据集；
对所述光学图像进行图像分割，提取所述目标物体的轮廓，对所述目标物体的轮廓添加阴影，获取输入图像；
构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对所述输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。
优选的，所述图像分割的方法为：
通过均值聚类将所述光学图像聚为两类，并根据所属类别对图像添加灰度值，实现图像分割。
优选的，所述对所述目标物体物轮廓添加阴影的方法为：
更改所述目标物体的轮廓颜色，获取更改图像，对所述更改图像利用掩膜进行处理，将所述掩膜与目标物体轮廓进行图像融合，生成含有阴影区域的所述输入图像。
优选的，所述掩膜的获取方法为：
对所述更改图像通过设置自适应的灰度值阈值进行分割，获取所述掩膜。
优选的，所述风格迁移网络使用混合空洞卷积提取风格特征图。
优选的，所述灰度值阈值的获取方法为：
通过图像的灰度值和方差利用最大类间方差法自动获取所述灰度值阈值。
第二方面，本发明另一个实施例提供了一种基于风格迁移的侧扫声呐仿真图像生成装置，该装置包括以下模块：
光学图像数据集构建模块，用于根据待迁移图像的目标物体类别，构建与所述目标物体相关的光学图像数据集；
输入图像获取模块，用于对所述光学图像进行图像分割，提取所述目标物体的轮廓，对所述目标物体的轮廓添加阴影，获取输入图像；
侧扫声呐仿真图像生成模块，用于构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对所述输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。
第三方面，本发明另一个实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于风格迁移的侧扫声呐仿真图像生成方法的步骤。
本发明实施例至少具有如下有益效果：
本发明实施例通过图像分割提取目标物体，并增加阴影，输入迁移风格网络，使光学图像转换为侧扫声呐仿真图像，能够扩充侧扫声呐图像样本，使侧扫声呐领域能够运用神经网络进行图像自动分类，同时能够提高分类的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于风格迁移的侧扫声呐仿真图像生成方法的流程图；
图2为本发明一个实施例所提供的一种基于风格迁移的侧扫声呐仿真图像生成方法的步骤流程图；
图3为风格迁移网络的示意图；
图4为本发明一个实施例所提供的一种基于风格迁移的侧扫声呐仿真图像生成装置的结构框图；
图5为本发明一个实施例所提供的一种电子设备的内部结构图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备的具体方案。
请参阅图1和图2，图1示出了本发明一个实施例提供的基于风格迁移的侧扫声呐仿真图像生成方法的流程图，图2示出了本发明一个实施例提供的基于风格迁移的侧扫声呐仿真图像生成方法的步骤流程图，该方法包括以下步骤：
步骤S001，根据待迁移图像的目标物体类别，构建与目标物体相关的光学图像数据集。
侧扫声呐图像数据集共包含四类，分别是沉船、失事飞机、溺亡人员和海底，由于声呐图像分布不均，失事飞机和溺亡人员过少，进行分类时不能获取足够的图像特征使神经网络得到充分训练。所以本发明实施例通过将失事飞机和溺亡人员作为目标物体，迁移生成更多的侧扫声呐仿真图像。
步骤S002，对光学图像进行图像分割，提取目标物体的轮廓，对目标物体的轮廓添加阴影，获取输入图像。
具体的步骤包括：
1)在光学图像数据集中随机抽取一张光学图像，对该光学图像进行降噪处理。
作为一个示例，本发明实施例中使用使用高斯滤波进行降噪处理。
2)对降噪后的图像进行图像分割。
通过均值聚类将光学图像聚为两类，并根据所属类别对图像添加灰度值，实现图像分割。
对降噪后的图像使用K-means聚类算法，将光学图像聚为两类，创建一张新的灰度图像保存聚类后的结果，并根据所属类别给图像添加灰度值。
对K-means聚类后的图像转化为二值图像，获得目标物体，并进行数学形态学运算开运算处理目标物体的轮廓。
K-means方法聚类后，图像被分为白色的背景区域和黑色的目标物体轮廓，而目标物体轮廓内会出现空洞或残缺现象，通过先腐蚀后膨胀的开运算对二值图像进行处理。腐蚀用来消除小且无意义的轮廓，膨胀用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，使后续的识别工作能够抓住目标对象，即开运算后的目标物体轮廓。得到开运算处理后的目标图像。
3)更改目标图像的颜色，获得更改图像。
目标图像中目标物体轮廓为黑色，背景为白色；更改目标图像的颜色为黑色目标物体轮廓、灰色背景，保存为图像L。然后再次更改图像L的颜色为白色目标物体轮廓，灰色背景，另存为图像M，即为更改图像。
4)通过对更改图像M进行二值化阈值分割，获取目标物体轮廓的掩膜。
具体的：
a.使用最大类间方差法(OTSU)自动确定阈值。
记T为目标与背景的分割阈值，目标像素点数量占图像比例为w0，平均灰度为u0；背景像素点数量占图像比例为w1，平均灰度为u1，图像的总平均灰度为u，目标和背景图象的方差g，则有：
u＝w0*u0+w1*u1
g＝w0*(u0-u)2+w1*(u1-u)2
联系上式可得：
g＝w0*w1*(u0-u1)2
当方差g最大时，目标和背景差异最大，此时的灰度T是最佳阈值。
b.设更改图像为f(x，y)，分割图像时满足以下公式：
Figure BDA0003156851230000041
其中，T为自动确定的最佳阈值。
通过判断图像中每一个像素点的灰度值是否满足阈值的要求，确定图像中的该像素点是属于目标区域还是背景区域。
如果图像的像素大于等于阈值T则是前景，像素记为1，即目标物体，也就是需要掩膜(mask)遮挡的区域，若图像像素小于T，则是背景区域，像素值记为0。在阈值分割操作后，返回mask参数即可得到掩膜，也就是像素为1的区域。
掩膜是用选定的图像、图形或物体，对待处理图像的全部或局部进行遮挡，控制图像处理的区域。在图像分割过程中，通过掩膜对目标区域进行遮挡，然后输出掩膜，提取出目标物体轮廓。
5)对目标物体的轮廓添加阴影，获取输入图像。
将图像L沿指定方向扩大得到扩展图像，然后将更改图像M中的目标物体掩膜与扩展图像进行图像融合，生成新的既有目标物体物体又含有目标物阴影图像N，即输入图像。
在本发明实施例中，将图像L横向扩大1.2倍作为扩展图像。
步骤S003，构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。
具体的步骤包括：
1)构建风格迁移网络。
使用已经训练好的vgg19网络作为主网络，在vgg19网络中使用五层混合空洞卷积提取风格特征图，以第四层混合空洞卷积提取出的特征图像作为内容特征图。
混合空洞卷积(HDC)是在卷积滤波器中以[1,2,5,1,2,5]的间隔率循环添加空洞，在不丢失分辨率且不引入额外参数的情况下加大感受野，让每个卷积输出都包含较大范围的信息。
其中混合空洞卷积需要满足以下式子：
Mi＝max[Mi+1-2ri，Mi+1-2(Mi+1-ri)，ri]
其中，ri表示第i层的间隔率，Mi表示第i层的最大间隔率，设总共有n层，Mn＝rn。
假设卷积核为k×k，目标则是M2≤k，此时可以用间隔率为1，即普通卷积的方式覆盖掉所有洞。
2)对输入图像进行风格迁移。
具体的，使用已经训练好的vgg19网络作为主网络，在vgg19网络中的普通卷积替换为混合空洞卷积如图3所示。
s为真实的侧扫声呐图像作为风格图像，c为通过K-means聚类算法和融合阴影后的输入图像作为内容图像，r为随机生成的白噪音图像。
通过五层混合空洞卷积分别提取风格特征和内容特征，获得的特征图标记为Sl和Cl，保留所有的Sl及第四层混合空洞卷积获得的Cl，以保证随机白噪音r在获取到足够的风格特征的同时不受内容图像的干扰。
风格图像的纹理特征用Gram矩阵表示：
Figure BDA0003156851230000061
其中，
Figure BDA0003156851230000062
表示随机白噪音图像的风格特征，通过第l层的第i个特征图和第j个特征图的内积表示；
Figure BDA0003156851230000063
和
Figure BDA0003156851230000064
表示随机白噪音图像经过五层混合空洞卷积后的特征图，分别是第l层的第i个特征图的第k个元素，第l层的第j个特征图的第k个元素。
图像的纹理特征和位置没有关系，Gram矩阵求两个特征图内积的结果和位置也没有关系，因此可以用来度量纹理特征。
风格图像的损失函数通过随机白噪音图像r的每一层的Gram矩阵Gl和风格图像s每一层的特征图Sl计算均方差El，然后再根据权重w计算得到Lstyle，这个损失用来描述风格的差异，表示为：
Figure BDA0003156851230000065
其中El表示为：
Figure BDA0003156851230000066
其中，Sl为侧扫声呐图像风格特征图，Ml为第l层风格特征图像的尺寸，Nl为第l层卷积核数目。
内容图像的损失函数通过随机白噪音图像r第四层的特征图Rl和内容图像第四层的特征图Cl计算均出方差Lcontent，同时也就是内容图像的损失函数，表示为：
Figure BDA0003156851230000067
总损失函数Ltotal为：
Ltotal＝αLstyle(s，r)+βLcontent(c，r)
其中，α和β分别表示风格损失函数和内容损失函数的权重。
在卷积神经网络中输入风格图像s和内容图像c，随机白噪声图像r通过梯度下降算法
Figure BDA0003156851230000068
不断更新和迭代直到最优值，最后输出既保持合成图像的原内容又具有侧扫声呐图像风格图像的仿真图像。
其中，λ表示学习率，
Figure BDA0003156851230000071
表示参数的梯度。
3)通过对侧扫声呐图像和侧扫声呐仿真图像进行神经网络训练，获取分类网络。
以真实侧扫声呐图像的70％作为训练集，剩下的30％作为验证集。
用真实侧扫声呐图像训练集训练分类网络模型，在验证集进行验证，记录验证集结果。
然后在真实侧扫声呐图像训练集中加入类似侧扫声呐图像扩大训练集的基数，再对分类网络模型进行训练，使用验证集进行验证并记录。
对比分析实验结果可以发现，通过加入类似侧扫声呐图像扩大训练集的基数，能有效提高分类精度。
综上所述，本发明实施例提供了一种基于风格迁移的侧扫声呐仿真图像生成方法，根据待迁移图像的目标物体类别，构建与目标物体相关的光学图像数据集；对光学图像进行图像分割，提取目标物体的轮廓，对目标物体的轮廓添加阴影，获取输入图像；构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。本发明实施例能够扩充侧扫声呐图像样本，使侧扫声呐领域能够运用神经网络进行图像自动分类，同时能够提高分类的精度。
基于与上述方法相同的发明构思，本发明另一个实施例提供了一种基于风格迁移的侧扫声呐仿真图像生成装置，请参阅图4，该装置包括以下模块：
光学图像数据集构建模块1001、输入图像获取模块1002以及侧扫声呐仿真图像生成模块1003。
具体的，光学图像数据集构建模块，用于根据待迁移图像的目标物体类别，构建与目标物体相关的光学图像数据集；输入图像获取模块，用于对光学图像进行图像分割，提取目标物体的轮廓，对目标物体的轮廓添加阴影，获取输入图像；侧扫声呐仿真图像生成模块，用于构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像。
基于与上述方法相同的发明构思，本发明另一个实施例提供了一种电子设备。
请参阅图5，其示出了本发明实施例提供的一种电子设备的示意图。该实施例的电子设备包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述基于风格迁移的侧扫声呐仿真图像生成方法实施例中的步骤，例如图2所示的步骤。或者，处理器执行计算机程序时实现上述基于风格迁移的侧扫声呐仿真图像生成装置实施例中各模块的功能。
示例性的，计算机程序可以被分割成一个或多个模块，其中一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。其中一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。
电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，该处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于风格迁移的侧扫声呐仿真图像生成方法，其特征在于，该方法包括以下步骤：
根据待迁移图像的目标物体类别，构建与所述目标物体相关的光学图像数据集；
对所述光学图像进行图像分割，提取所述目标物体的轮廓，对所述目标物体的轮廓添加阴影，获取输入图像；
构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对所述输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像；
所述图像分割的方法为：
通过均值聚类将所述光学图像聚为两类，并根据所属类别对图像添加灰度值，实现图像分割；
所述对所述目标物体物轮廓添加阴影的方法为：
更改所述目标物体的轮廓颜色，获取更改图像，对所述更改图像利用掩膜进行处理，将所述掩膜与目标物体轮廓进行图像融合，生成含有阴影区域的所述输入图像；
所述掩膜的获取方法为：
对所述更改图像通过设置自适应的灰度值阈值进行分割，获取所述掩膜；
所述风格迁移网络使用混合空洞卷积提取风格特征图；
所述构建风格迁移网络的过程包括：
使用已经训练好的vgg19网络作为主网络，在vgg19网络中使用五层混合空洞卷积提取风格特征图，以第四层混合空洞卷积提取出的特征图像作为内容特征图；
所述对所述输入图像进行风格迁移，包括：
s为真实的侧扫声呐图像作为风格图像，c为通过K-means聚类算法和融合阴影后的输入图像作为内容图像，r为随机生成的白噪音图像；通过五层混合空洞卷积分别提取风格特征和内容特征，获得的特征图标记为
Figure DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE004
，保留所有的
Figure 647152DEST_PATH_IMAGE002
及第四层混合空洞卷积获得的
Figure 751243DEST_PATH_IMAGE004
，以保证随机白噪音图像r在获取到足够的风格特征的同时不受内容图像的干扰；
通过对侧扫声呐图像和侧扫声呐仿真图像进行神经网络训练，获取分类网络。
2.根据权利要求1所述的基于风格迁移的侧扫声呐仿真图像生成方法，其特征在于，所述灰度值阈值的获取方法为：
通过图像的灰度值和方差利用最大类间方差法自动获取所述灰度值阈值。
3.基于风格迁移的侧扫声呐仿真图像生成装置，其特征在于，该装置包括以下模块：
光学图像数据集构建模块，用于根据待迁移图像的目标物体类别，构建与所述目标物体相关的光学图像数据集；
输入图像获取模块，用于对所述光学图像进行图像分割，提取所述目标物体的轮廓，对所述目标物体的轮廓添加阴影，获取输入图像；
侧扫声呐仿真图像生成模块，用于构建风格迁移网络，以真实的侧扫声呐图像作为风格图像，对所述输入图像进行风格迁移，生成侧扫声呐仿真图像，以扩充神经网络的训练样本图像；
所述输入图像获取模块中的所述图像分割的方法为：
通过均值聚类将所述光学图像聚为两类，并根据所属类别对图像添加灰度值，实现图像分割；
所述输入图像获取模块中的所述对所述目标物体物轮廓添加阴影的方法为：
更改所述目标物体的轮廓颜色，获取更改图像，对所述更改图像利用掩膜进行处理，将所述掩膜与目标物体轮廓进行图像融合，生成含有阴影区域的所述输入图像；
所述掩膜的获取方法为：
对所述更改图像通过设置自适应的灰度值阈值进行分割，获取所述掩膜；
所述风格迁移网络使用混合空洞卷积提取风格特征图；
所述构建风格迁移网络的过程包括：
使用已经训练好的vgg19网络作为主网络，在vgg19网络中使用五层混合空洞卷积提取风格特征图，以第四层混合空洞卷积提取出的特征图像作为内容特征图；
所述对所述输入图像进行风格迁移，包括：
s为真实的侧扫声呐图像作为风格图像，c为通过K-means聚类算法和融合阴影后的输入图像作为内容图像，r为随机生成的白噪音图像；通过五层混合空洞卷积分别提取风格特征和内容特征，获得的特征图标记为
Figure 203084DEST_PATH_IMAGE002
和
Figure 788174DEST_PATH_IMAGE004
，保留所有的
Figure 540229DEST_PATH_IMAGE002
及第四层混合空洞卷积获得的
Figure 549642DEST_PATH_IMAGE004
，以保证随机白噪音图像r在获取到足够的风格特征的同时不受内容图像的干扰；
通过对侧扫声呐图像和侧扫声呐仿真图像进行神经网络训练，获取分类网络。
4.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~2任意一项所述基于风格迁移的侧扫声呐仿真图像生成方法的步骤。
CN202110778791.0A 2021-07-09 2021-07-09 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备 Active CN113436125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778791.0A CN113436125B (zh) 2021-07-09 2021-07-09 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778791.0A CN113436125B (zh) 2021-07-09 2021-07-09 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113436125A CN113436125A (zh) 2021-09-24
CN113436125B true CN113436125B (zh) 2022-11-04

Family

ID=77759998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778791.0A Active CN113436125B (zh) 2021-07-09 2021-07-09 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113436125B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626468B (zh) * 2022-03-17 2024-02-09 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN116596753B (zh) * 2023-07-20 2024-02-02 哈尔滨工程大学三亚南海创新发展基地 一种基于风格迁移网络的声学图像数据集扩充方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766803A (zh) * 2017-09-29 2018-03-06 北京奇虎科技有限公司 基于场景分割的视频人物装扮方法、装置及计算设备
CN109325527A (zh) * 2018-09-05 2019-02-12 哈尔滨工程大学 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法
CN111582403A (zh) * 2020-05-18 2020-08-25 哈尔滨工程大学 一种零样本侧扫声呐图像目标分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110914834B (zh) * 2017-08-01 2024-04-16 3M创新有限公司 用于图像变型和识别的神经风格迁移

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766803A (zh) * 2017-09-29 2018-03-06 北京奇虎科技有限公司 基于场景分割的视频人物装扮方法、装置及计算设备
CN109325527A (zh) * 2018-09-05 2019-02-12 哈尔滨工程大学 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法
CN111582403A (zh) * 2020-05-18 2020-08-25 哈尔滨工程大学 一种零样本侧扫声呐图像目标分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Learning from Shallow Dives：Sonar Image Generation and Training for Underwater object Detection;Sejin Lee et al;《arXiv》;20181018;1-8页 *
Realistic Sonar Image Simulation Using Generative Adversarial Network;Minsung Sung et al;《ScienceDirect》;20191231;第52卷(第21期);291-296页 *
基于形态学重构的侧扫声呐图像目标分割方法;张丽丽等;《理论与方法》;20190430;第38卷(第4期);18-22页 *

Also Published As

Publication number Publication date
CN113436125A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110211137B (zh) 基于残差网络和U-Net分割网络的卫星图像分割方法
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN110084234B (zh) 一种基于实例分割的声呐图像目标识别方法
CN113436125B (zh) 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备
US20230334632A1 (en) Image recognition method and device, and computer-readable storage medium
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111339935B (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN109359661B (zh) 一种基于卷积神经网络的Sentinel-1雷达图像分类方法
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
Shen et al. In teacher we trust: Learning compressed models for pedestrian detection
US11568212B2 (en) Techniques for understanding how trained neural networks operate
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN111209964A (zh) 模型训练方法、基于深度学习的金属断口分析方法及应用
CN111611851A (zh) 模型生成方法、虹膜检测方法及装置
Yaohua et al. A SAR oil spill image recognition method based on densenet convolutional neural network
Li et al. A survey on deep-learning-based real-time SAR ship detection
Zhao et al. CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
EP3671635B1 (en) Curvilinear object segmentation with noise priors
CN107766792A (zh) 一种遥感图像舰船目标识别方法
CN113158860B (zh) 基于深度学习多维度输出人脸质量评估方法与电子设备
Kathiravan et al. Ship detection from satellite images using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant