CN112508106B - 一种基于卷积神经网络的水下图像分类方法 - Google Patents

一种基于卷积神经网络的水下图像分类方法 Download PDF

Info

Publication number
CN112508106B
CN112508106B CN202011446698.1A CN202011446698A CN112508106B CN 112508106 B CN112508106 B CN 112508106B CN 202011446698 A CN202011446698 A CN 202011446698A CN 112508106 B CN112508106 B CN 112508106B
Authority
CN
China
Prior art keywords
class
deep learning
underwater
model
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011446698.1A
Other languages
English (en)
Other versions
CN112508106A (zh
Inventor
张维石
周景春
要健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202011446698.1A priority Critical patent/CN112508106B/zh
Publication of CN112508106A publication Critical patent/CN112508106A/zh
Application granted granted Critical
Publication of CN112508106B publication Critical patent/CN112508106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于卷积神经网络的水下图像分类方法。本发明包括以下步骤:增强数据集、搭建模型、训练模型、预测分类。首先,对小规模水下退化图像采用组合式数据增强:包括上下翻转、左右翻转、添加随机噪声,得到增强后的数据集;其次,搭建深度学习模型,本发明的深度学习模型为卷积神经网络,模型包含9个FSCB(Four‑scales convolution block)子结构以及3个辅助分类器;然后,使用增强后的水下图像数据集对模型进行训练;最后,将待预测的水下图像输入训练好的模型进行正向传播,得到该图像的类型,总共可分为10种类型:开阔水域类型:I、IA、IB、II和III,其中I型最清晰、III型最浑浊;沿海水类型:1、3、5、7、9,其中1型最清晰,9型最浑浊。

Description

一种基于卷积神经网络的水下图像分类方法
技术领域
本发明属于图像增强方法的技术领域,尤其涉及一种基于卷积神经网络的水下图像分类方法。
背景技术
随着陆地资源的日益缺乏,海洋资源的开发成为各国关注的焦点。水下探测技术对海洋资源的探索、环境监测以及海洋军事都具有重要意义。而由数字成像系统收集的大多数水下图像都没有水体类型的注释,水下图像的分类研究无论在军事上还是民用上都有着重要意义。水下图像作为获取海洋信息的重要载体,根据其水类型对其进行分类对于后续的水下应用有着密切关系。
随着图像处理和计算机视觉技术的快速发展和成熟,以及大数据技术和GPU计算能力的发展,神经网络作为一种新兴的深度学习方法,在各个领域不断取得了突破性进展。其中,卷积神经网络(Convolutional Neural Network)作为一种带有卷积计算的深层前馈型神经网络能更好地获取图像的特征信息,具有良好的扩展性和鲁棒性,利用CNN进行图像分类时,能够比较快速且全面地提取空间位置和形状相关特征同时,同时大幅降低了网络对初始参数的依赖。但是传统CNN中的全连接层过于冗余,使整个网络结构的参数过多,降低训练效率,且容易发生梯度爆炸和梯度消失等梯度问题。
发明内容
本发明克服上述现有技术的不足,提供一种新的基于卷积神经网络的水下图像分类方法。首先,对小规模水下退化图像采用组合式数据增强:包括上下翻转、左右翻转、添加随机噪声,得到增强后的数据集;其次,搭建卷积神经网络模型,模型包含9个FSCB子结构以及4个辅助分类器;然后,使用增强后的水下图像数据集对模型进行训练;最后,将待预测的水下图像输入训练好的模型进行正向传播,得到该水下图像的水体类型,总共可分为10种类型:(1)开阔水域类型:I、IA、IB、II和III,其中I型最清晰、III型最浑浊;(2)沿海水类型:1、3、5、7、9,其中1型最清晰,9型最浑浊。该发明方法可以在无需任何先验信息条件下,有效地将水下图像按水体类型进行分类,可以应用于水下图像的预处理。
本发明采用的技术方案为:一种基于卷积神经网络的水下图像分类方法,其特征在于,包括以下步骤:
步骤S01:通过组合式数据增强对水下退化图像数据集进行增强,得到增强后的数据集;所述增强包括:上下翻转、左右翻转以及添加随机噪声;
步骤S02:搭建深度学习模型;所述深度学习模型包含9个FSCB子结构以及4个辅助分类器的卷积神经网络;
步骤S03:通过所述增强后的数据集对所述深度学习模型进行训练,获得训练后的深度学习模型;
步骤S04:将待预测水下图像输入训练后的深度学习模型,待预测的图像在模型中进行正向传播计算后,得到所述待预测水下图像的类型。
更进一步地,所述通过组合式数据增强对水下退化图像数据集进行增强的理论公式如下:
Inoise=I*G(x,y);
其中,I表示原图像矩阵,G(x,y)表示高斯噪声函数,其中的x、y分别表示二维函数的横纵坐标,σ2表示方差值,Inoise表示处理后的图像矩阵。
进一步地,所述搭建深度学习模型过程中,所述深度学习模型包含起始的3个卷积层与2个池化层,并通过9个FSCB子结构进行多尺度的特征提取;
每隔3个FSCB子结构,通过一个辅助分类器分支,总计3个辅助分类器参与辅助分类;所述深度学习模型通过一个全连接层和softmax分类器得到10种水域类型的预测概率值,分别为:5种开阔水域类型:I、IA、IB、II和III以及5种沿海水域类型:1、3、5、7、9。将所述概率值与3个辅助分类器的结果加权后得到最终结果:
class=class1*0.1+class2*0.2+class3*0.3+class4*0.4;
其中,class1表示辅助分类器1的分类结果,class2表示辅助分类器2的分类结果,class3表示辅助分类器3的分类结果,class4表示模型最终通过一个全连接层和softmax分类器得到的分类结果,class表示4项结果加权后得到的最终类别。
更进一步地,所述步骤S03模型训练过程中,通过分类器计算出的损失函数值公式如下:
其中,Loss表示计算得到的损失函数结果,m表示所分的类别数量,oi和oi *分别表示第i个预测值以及真实标签值,yi表示分类器的第i个输出值,e表示自然常数。
进一步地,所述步骤S04中的正向传播过程,其中由第n层神经元向第n+1层神经元推导为:
其中,Xn+1表示由模型第n层神经元向第n+1层传导后的结果值,m表示第n层神经元的数量,xi和wi分别表示第n层的i号神经元输出值以及对应的权重,bn表示第n层的偏置参数值;relu激活函数公式为:
relu(x)=max(0,x)。
本发明与现有技术相比具有以下优势:
本发明克服上述现有技术的不足,提供一种新的基于卷积神经网络的水下图像分类方法。首先,对小规模水下退化图像采用组合式数据增强:包括上下翻转、左右翻转、添加随机噪声,得到增强后的数据集;其次,搭建卷积神经网络模型,模型包含9个FSCB子结构以及4个辅助分类器;然后,使用增强后的水下图像数据集对模型进行训练;最后,将待预测的水下图像输入训练好的模型进行正向传播,得到该水下图像的水体类型,总共可分为10种类型:(1)开阔水域类型:I、IA、IB、II和III,其中I型最清晰、III型最浑浊;(2)沿海水域类型:1、3、5、7、9,其中1型最清晰,9型最浑浊。该发明方法可以在无需任何先验信息条件下,有效地将水下图像按水体类型进行分类,可以应用于水下图像的预处理。
附图说明
为了明确本发明或者技术方案,下面将对实施例或现有技术描述所需采用的附图进行简要概况说明。
图1为本发明的模型总体流程图;
图2为本发明模型中的FSCB子结构示意流程图;
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了验证本发明对于图像分类的有效性,选择不同场景图像作为测试数据集,并与AlexNet、VggNet、GooLeNet等网络结构的实验结果对比分析验证。具体步骤和原理如下:
如图1所示,本发明提供了一种基于卷积神经网络的水下图像分类方法,包括以下步骤:
步骤S01:通过组合式数据增强对水下退化图像数据集进行增强,得到增强后的数据集;所述增强包括:上下翻转、左右翻转以及添加随机噪声;
步骤S02:搭建深度学习模型;所述深度学习模型包含9个FSCB子结构以及4个辅助分类器的卷积神经网络;
步骤S03:通过所述增强后的数据集对所述深度学习模型进行训练,获得训练后的深度学习模型;
步骤S04:将待预测水下图像输入训练后的深度学习模型,待预测的图像在模型中进行正向传播计算后,得到所述待预测水下图像的类型。
作为一种优选的实施方式,在本申请中所述通过组合式数据增强对水下退化图像数据集进行增强的理论公式如下:
Inoise=I*G(x,y);
其中,I表示原图像矩阵,G(x,y)表示高斯噪声函数,其中的x、y分别表示二维函数的横纵坐标,σ2表示方差值,Inoise表示处理后的图像矩阵。
作为优选地,所述搭建深度学习模型过程中,所述深度学习模型包含起始的3个卷积层与2个池化层,并通过9个FSCB子结构进行多尺度的特征提取;
每隔3个FSCB子结构,通过一个辅助分类器分支,总计3个辅助分类器参与辅助分类;所述深度学习模型通过一个全连接层和softmax分类器得到10种水域类型的预测概率值,分别为:5种开阔水域类型:I、IA、IB、II和III以及5种沿海水域类型:1、3、5、7、9。将所述概率值与3个辅助分类器的结果加权后得到最终结果:
class=class1*0.1+class2*0.2+class3*0.3+class4*0.4;
其中,class1表示辅助分类器1的分类结果,class2表示辅助分类器2的分类结果,class3表示辅助分类器3的分类结果,class4表示模型最终通过一个全连接层和softmax分类器得到的分类结果,class表示4项结果加权后得到的最终类别。
在本申请中,作为一种优选的实施方式,所述步骤S03模型训练过程中,通过分类器计算出的损失函数值公式如下:
其中,Loss表示计算得到的损失函数结果,m表示所分的类别数量,oi和oi *分别表示第i个预测值以及真实标签值,yi表示分类器的第i个输出值,e表示自然常数。
更进一步地,所述步骤S04中的正向传播过程,其中由第n层神经元向第n+1层神经元推导为:
其中,Xn+1表示由模型第n层神经元向第n+1层传导后的结果值,m表示第n层神经元的数量,xi和wi分别表示第n层的i号神经元输出值以及对应的权重,bn表示第n层的偏置参数值;relu激活函数公式为:
relu(x)=max(0,x)。
实施例
本实施例为了验证本发明的鲁棒性,采用测试集准确率这一指标与AlexNet、VggNet、GooLeNet等网络结构进行对比分析,具体数据参见表1。
表1本发明网络和其他网络测试集准确率
ALexNet VggNet GooLeNet Our
准确率(%) 87.5 94.1 92.3 96.8
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (3)

1.一种基于卷积神经网络的水下图像分类方法,其特征在于,包括以下步骤:
步骤S01:通过组合式数据增强对水下退化图像数据集进行增强,得到增强后的数据集;所述增强包括:上下翻转、左右翻转以及添加随机噪声;
步骤S02:搭建深度学习模型;所述深度学习模型包含9个FSCB子结构以及4个辅助分类器的卷积神经网络;所述搭建深度学习模型过程中,所述深度学习模型包含起始的3个卷积层与2个池化层,并通过9个FSCB子结构进行多尺度的特征提取;
每隔3个FSCB子结构,通过一个辅助分类器分支,总计3个辅助分类器参与辅助分类;所述深度学习模型通过一个全连接层和softmax分类器得到10种水域类型的预测概率值,分别为:5种开阔水域类型:I、IA、IB、II和III以及5种沿海水域类型:1、3、5、7、9;将所述概率值与3个辅助分类器的结果加权后得到最终结果:
class=class1*0.1+class2*0.2+class3*0.3+class4*0.4;
其中,class1表示辅助分类器1的分类结果,class2表示辅助分类器2的分类结果,class3表示辅助分类器3的分类结果,class4表示模型最终通过一个全连接层和softmax分类器得到的分类结果,class表示4项结果加权后得到的最终类别;
步骤S03:通过所述增强后的数据集对所述深度学习模型进行训练,获得训练后的深度学习模型;
步骤S04:将待预测水下图像输入训练后的深度学习模型,待预测的图像在模型中进行正向传播计算后,得到所述待预测水下图像的类型;所述步骤S04中的正向传播过程,其中由第n层神经元向第n+1层神经元推导为:
其中,Xn+1表示由模型第n层神经元向第n+1层传导后的结果值,m表示第n层神经元的数量,xi和wi分别表示第n层的i号神经元输出值以及对应的权重,bn表示第n层的偏置参数值;relu激活函数公式为:
relu(x)=max(0,x)。
2.根据权利要求1所述的一种基于卷积神经网络的水下图像分类方法,其特征在于:所述通过组合式数据增强对水下退化图像数据集进行增强的理论公式如下:
Inoise=I*G(x,y);
其中,I表示原图像矩阵,G(x,y)表示高斯噪声函数,其中的x、y分别表示二维函数的横纵坐标,σ2表示方差值,Inoise表示处理后的图像矩阵。
3.根据权利要求1所述的一种基于卷积神经网络的水下图像分类方法,其特征在于:所述步骤S03模型训练过程中,通过分类器计算出的损失函数值公式如下:
其中,Loss表示计算得到的损失函数结果,m表示所分的类别数量,oi和oi *分别表示第i个预测值以及真实标签值,yi表示分类器的第i个输出值,e表示自然常数。
CN202011446698.1A 2020-12-08 2020-12-08 一种基于卷积神经网络的水下图像分类方法 Active CN112508106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011446698.1A CN112508106B (zh) 2020-12-08 2020-12-08 一种基于卷积神经网络的水下图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011446698.1A CN112508106B (zh) 2020-12-08 2020-12-08 一种基于卷积神经网络的水下图像分类方法

Publications (2)

Publication Number Publication Date
CN112508106A CN112508106A (zh) 2021-03-16
CN112508106B true CN112508106B (zh) 2024-05-24

Family

ID=74971302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011446698.1A Active CN112508106B (zh) 2020-12-08 2020-12-08 一种基于卷积神经网络的水下图像分类方法

Country Status (1)

Country Link
CN (1) CN112508106B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063596A (zh) * 2022-06-17 2022-09-16 上海蓝长自动化科技有限公司 一种基于深度回归网络的水质浊度检测方法
CN114785423B (zh) * 2022-06-20 2022-11-01 中国海洋大学三亚海洋研究院 一种水下激光数字信息传输增强模型的搭建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730473A (zh) * 2017-11-03 2018-02-23 中国矿业大学 一种基于深度神经网络的煤矿井下图像处理方法
CN110084804A (zh) * 2019-04-30 2019-08-02 河海大学常州校区 一种基于弱监督深度学习的水下构筑物缺陷检测方法
CN110795990A (zh) * 2019-09-11 2020-02-14 中国海洋大学 一种面向水下设备的手势识别方法
CN111046967A (zh) * 2019-12-18 2020-04-21 江苏科技大学 一种基于卷积神经网络和注意力机制的水下图像分类方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111914686A (zh) * 2020-07-15 2020-11-10 云南电网有限责任公司带电作业分公司 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730473A (zh) * 2017-11-03 2018-02-23 中国矿业大学 一种基于深度神经网络的煤矿井下图像处理方法
CN110084804A (zh) * 2019-04-30 2019-08-02 河海大学常州校区 一种基于弱监督深度学习的水下构筑物缺陷检测方法
CN110795990A (zh) * 2019-09-11 2020-02-14 中国海洋大学 一种面向水下设备的手势识别方法
CN111046967A (zh) * 2019-12-18 2020-04-21 江苏科技大学 一种基于卷积神经网络和注意力机制的水下图像分类方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111914686A (zh) * 2020-07-15 2020-11-10 云南电网有限责任公司带电作业分公司 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的水下图像增强方法;徐岩;孙美双;;吉林大学学报(工学版);20180326(06);全文 *

Also Published As

Publication number Publication date
CN112508106A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
Qian et al. Learning and transferring representations for image steganalysis using convolutional neural network
CN109086824B (zh) 一种基于卷积神经网络的海底底质声呐图像分类方法
Li et al. Object detection using convolutional neural networks in a coarse-to-fine manner
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
Xu et al. Stacked Sparse Autoencoder (SSAE) based framework for nuclei patch classification on breast cancer histopathology
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN112508106B (zh) 一种基于卷积神经网络的水下图像分类方法
CN103400147A (zh) 基于图像处理的目标鱼识别方法及系统
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN107528824B (zh) 一种基于二维度稀疏化的深度信念网络入侵检测方法
CN113408340B (zh) 基于增强型特征金字塔的双极化sar小型船只检测方法
CN112329771B (zh) 一种基于深度学习的建筑材料样本识别方法
CN115170943A (zh) 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
Yaohua et al. A SAR oil spill image recognition method based on densenet convolutional neural network
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN114882234A (zh) 多尺度轻量级密集连目标检测网络的构建方法
CN110991554A (zh) 一种基于改进pca的深度网络图像分类方法
Sun et al. Iterative, deep synthetic aperture sonar image segmentation
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant