CN113792785A - 一种基于wgan-gp和yolo的船体附着物快速识别方法 - Google Patents
一种基于wgan-gp和yolo的船体附着物快速识别方法 Download PDFInfo
- Publication number
- CN113792785A CN113792785A CN202111073317.4A CN202111073317A CN113792785A CN 113792785 A CN113792785 A CN 113792785A CN 202111073317 A CN202111073317 A CN 202111073317A CN 113792785 A CN113792785 A CN 113792785A
- Authority
- CN
- China
- Prior art keywords
- ship
- attachment
- wgan
- yolo
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于WGAN‑GP和YOLO的船体附着物快速识别方法,包括:采集船体附着物真实样本图像并进行标注,完成原始数据集的创建;旋转增强原始数据集并进行标准化预处理;将采集到的少量真实样本图像输入WGAN‑GP网络进行数据扩充并划分训练集、测试集;搭建YOLO新型检测网络;将预处理好的船体附着物数据输入搭建的YOLO检测网络训练并测试,完成对船体附着物位置和大小的识别,并计算出识别准确率指标GIOU;在识别过程中对船体附着物进行密度评估,计算出附着物面积占比。根据本发明,解决了现有船体附着物识别方法因数据匮乏导致的识别准确率偏低及附着物识别结果的可视化问题,并计算附着物的密度大小,为后续船体附着物的高效清洗提供指导性建议。
Description
技术领域
本发明涉及船体附着物清洗的技术领域,特别涉及一种基于 WGAN-GP和YOLO的船体附着物快速识别方法。
背景技术
海洋占据着地球的七成面积,约是地球陆地面积的2.44倍,海上交通运输一直是不可或缺的方式。自航运与海洋强国已成为国家的重大战略后,为了满足航运的快速发展需求,船舶的体积越来越巨大、航行的速度也越来越快。然而船舶在海水中会被海洋生物附着,导致了船体的航行阻力增加、航行速度降低,增加了燃油消耗及污染排放。船体附着物种类繁多,包括藤壶、贝类、苔藓等,不同的附着物清洗手段和清洗力度不同,因此对船体附着物进行清洗时需要对附着物的种类和密度进行识别和评估,才能提高清洗效率。
近年来,随着人工智能领域的快速发展、深度神经网络的不断创新和应用,利用深度神经网络进行图像识别的方法得到了很大的发展,也因其具备优异的性能,越来越受到人们的重视。目前基于深度学习的图像识别技术已在生物识别领域展开了广泛的研究,但对船体附着物的识别仍存在以下三个问题:(1)船体附着物真实图像样本数据较小且获取困难,识别准确率有待提高;(2)没有对附着物的位置和大小进行识别,缺少对附着物区域的可视化显示;(3)在对船体附着物的识别过程中没有更深一步的对识别结果的船体附着物密度进行评估。
发明内容
针对现有技术中存在的不足之处,本发明的目的是提供一种基于 WGAN-GP和YOLO的船体附着物快速识别方法,解决了现有基于深度神经网络的船体附着物识别方法因数据匮乏导致的识别准确率偏低及附着物识别结果的可视化问题,并计算附着物的密度大小,为后续船体附着物的高效清洗提供指导性建议。为了实现根据本发明的上述目的和其他优点,提供了一种基于WGAN-GP和YOLO的船体附着物快速识别方法,包括:
S1、采集船体附着物真是样本图像并进行标注,完成原始数据集的创建;
S2、旋转增强原始数据集并进行标准化预处理;
S3、将采集到的少量真实样本图像输入WGAN-GP网络进行数据扩充并划分训练集、测试集;
S4、搭建YOLO新型检测网络;将预处理好的船体附着物数据输入搭建的YOLO检测网络训练并测试,完成对船体附着物位置和大小的识别,并计算出识别准确率指标GIOU;
S5、在识别过程中对船体附着物进行密度评估,计算出附着物面积占比。
优选的,所述步骤S1中通过开源工具LabelImg对船体附着物进行标注,且将藤壶,扇贝,苔藓,水草分别被标注为0,1,2,3。
优选的,所述步骤S2中采用[0°,360°]的旋转数据增强技术扩充原始图像-检测标签数据集,然后对图像进行标准化预处理:
其中,x表示船体附着物图像中R,G,B任意一个维度的数据; xmin,xmax分别表示x中的最小,最大像素值;x最终被标准化到[-1,1]。
优选的,所述步骤S3中将采集到的不同类别的船体附着物真实样本图像输入至WGAN-GP生成式对抗网络进行扩充,获得大量带有船体附着物样本特征的图像,并对新生成的图像进行标注以及标准化预处理。再将得到数据按9:1的比例划分为训练集、测试集;
优选的,所述步骤S3中添加三个注意力机制SE模块,强化含有重要信息的通道特征、抑制无关的通道特征,进而使模型捕获更多关键的特征信息;在特征融合层与检测层网络中使用FPN+PAN结构增强特征与定位的传递性;Ghost Bottleneck网络主要由两个Ghost模块堆叠而成,基于一组内在特征映射,应用一系列线性变换来生成更多 Ghost特征映射,具体为:
Y'=X*f+b
其中,X为输入特征图;*为卷积操作;f为当前层的卷积核;Y’为m个通道的本征特征图;b为偏置项。
优选的,力机制SE模块在通道上的计算:
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(w1z))
其中,uc为整个图像局部描述符的集合,即图像特征图;σ为 sigmoid函数;δ为ReLU函数;zc是Squeeze 操作即全局平均池化;s是Excitation操作,通过引入w参数来为每个特征通道生成权重;Scale操作为使用标量在sc通道维度上对原始特征图uc重标定,具体流程为:首先对输入特征图 (h,w,c)进行全局池化,池化尺寸为(h,w),输出(1x1xc)大小的特征图,随后经过两个全连接层,分别是c/12个神经元和c个神经元以增加非线性因子,最后通过Sigmoid激活函数输出(1x1xc)大小的权重因子,利用权重因子对原始特征图(h,w,c)各通道进行乘积,最终输出不同比重的通道的特征图。
优选的,所述步骤S4中将预处理好的训练集图像数据输入至 YOLO检测网络中,并使用预训练权重初始化网络结构并对整个网络进行全局训练,直到训练次数达到设定的最大值,记录最终的训练权重以及最优的训练权重,然后使用预处理好的测试集输入到训练好的 YOLO检测网络中,完成对图像中藤壶,扇贝,苔藓,水草的位置和大小识别。并计算识别准确率指标GIOU。
其中,C表示物体的存在位置;G为模型的检测框;A为能够包含C、G的最小框。
优选的,所述步骤S5中通过图像锐化、边缘检测、边缘闭合和孔洞填充的图像目标获取方法,实现船体附着物二值图像的快速分割,进而计算出船体附着物的密度大小;
其中,AAP为船体附着物的密度大小,即面积占比;fouling,all 分别表示附着物和整张图片区域;Count(.)用于计算指定区域内的像素点个数。
本发明与现有技术相比,其有益效果是:
(1)本发明使用的是具有三个维度(R,G,B)的三通道图像数据,相比于单通道的灰度图能提取到更丰富、直观的船体附着物特征信息。
(2)本发明所采用的基于WGAN-GP的数据扩增方法可以有效提高检测网络的泛化能力,解决了数据不足导致的识别精度偏低的问题。
(3)本发明提出的YOLO检测网络能对船体附着物图像进行有效检测,识别不同类别的附着物,并完成附着物位置和大小的输出。
(4)本发明中的附着物识别方法可以对识别结果中附着物的密度进行评估,为后续船体附着物的高效清洗提供指导性建议。
附图说明
图1为根据本发明的基于WGAN-GP和YOLO的船体附着物快速识别方法的三维结构示意图;
图2为根据本发明的基于WGAN-GP和YOLO的船体附着物快速识别方法的三维爆炸结构示意图;
图3为根据本发明的基于WGAN-GP和YOLO的船体附着物快速识别方法的制作流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1-3,一种基于WGAN-GP和YOLO的船体附着物快速识别方法,包括:S1、采集船体附着物真是样本图像并进行标注,完成原始数据集的创建;
S2、旋转增强原始数据集并进行标准化预处理;
S3、将采集到的少量真实样本图像输入WGAN-GP网络进行数据扩充并划分训练集、测试集;
S4、搭建YOLO新型检测网络;将预处理好的船体附着物数据输入搭建的YOLO检测网络训练并测试,完成对船体附着物位置和大小的识别,并计算出识别准确率指标GIOU;
S5、在识别过程中对船体附着物进行密度评估,计算出附着物面积占比。
进一步的,所述步骤S1中通过开源工具LabelImg对船体附着物进行标注,且将藤壶,扇贝,苔藓,水草分别被标注为0,1,2,3。
进一步的,所述步骤S2中采用[0°,360°]的旋转数据增强技术扩充原始图像-检测标签数据集,然后对图像进行标准化预处理:
其中,x表示船体附着物图像中R,G,B任意一个维度的数据; xmin,xmax分别表示x中的最小,最大像素值;x最终被标准化到[-1,1]。
进一步的,所述步骤S3中将采集到的不同类别的船体附着物真实样本图像输入至WGAN-GP生成式对抗网络进行扩充,获得大量带有船体附着物样本特征的图像,并对新生成的图像进行标注以及标准化预处理。再将得到数据按9:1的比例划分为训练集、测试集;
进一步的,所述步骤S3中添加三个注意力机制SE模块,强化含有重要信息的通道特征、抑制无关的通道特征,进而使模型捕获更多关键的特征信息;在特征融合层与检测层网络中使用FPN+PAN结构增强特征与定位的传递性;Ghost Bottleneck网络主要由两个Ghost 模块堆叠而成,基于一组内在特征映射,应用一系列线性变换来生成更多Ghost特征映射,具体为:
Y'=X*f+b
其中,X为输入特征图;*为卷积操作;f为当前层的卷积核;Y’为m个通道的本征特征图;b为偏置项。
进一步的,力机制SE模块在通道上的计算:
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(w1z))
其中,uc为整个图像局部描述符的集合,即图像特征图;σ为 sigmoid函数;δ为ReLU函数;zc是Squeeze 操作即全局平均池化;s是Excitation操作,通过引入w参数来为每个特征通道生成权重;Scale操作为使用标量在sc通道维度上对原始特征图uc重标定,具体流程为:首先对输入特征图(h,w,c)进行全局池化,池化尺寸为(h,w),输出(1x1xc)大小的特征图,随后经过两个全连接层,分别是c/12个神经元和c个神经元以增加非线性因子,最后通过Sigmoid激活函数输出(1x1xc)大小的权重因子,利用权重因子对原始特征图(h,w,c)各通道进行乘积,最终输出不同比重的通道的特征图。
进一步的,所述步骤S4中将预处理好的训练集图像数据输入至YOLO检测网络中,并使用预训练权重初始化网络结构并对整个网络进行全局训练,直到训练次数达到设定的最大值,记录最终的训练权重以及最优的训练权重,然后使用预处理好的测试集输入到训练好的 YOLO检测网络中,完成对图像中藤壶,扇贝,苔藓,水草的位置和大小识别。并计算识别准确率指标GIOU。
其中,C表示物体的存在位置;G为模型的检测框;A为能够包含C、G的最小框。
进一步的,所述步骤S5中通过图像锐化、边缘检测、边缘闭合和孔洞填充的图像目标获取方法,实现船体附着物二值图像的快速分割,进而计算出船体附着物的密度大小;
其中,AAP为船体附着物的密度大小,即面积占比;fouling,all 分别表示附着物和整张图片区域;Count(.)用于计算指定区域内的像素点个数。
这里说明的设备数量和处理规模是用来简化本发明的说明的,对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。尽管本发明的实施方案已公开如上,但其并不仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (8)
1.一种基于WGAN-GP和YOLO的船体附着物快速识别方法,其特征在于,包括以下步骤:
S1、采集船体附着物真是样本图像并进行标注,完成原始数据集的创建;
S2、旋转增强原始数据集并进行标准化预处理;
S3、将采集到的少量真实样本图像输入WGAN-GP网络进行数据扩充并划分训练集、测试集;
S4、搭建YOLO新型检测网络;将预处理好的船体附着物数据输入搭建的YOLO检测网络训练并测试,完成对船体附着物位置和大小的识别,并计算出识别准确率指标GIOU;
S5、在识别过程中对船体附着物进行密度评估,计算出附着物面积占比。
2.如权利要求1所述的一种基于WGAN-GP和YOLO的船体附着物快速识别方法,其特征在于,所述步骤S1中通过开源工具LabelImg对船体附着物进行标注,且将藤壶,扇贝,苔藓,水草分别被标注为0,1,2,3。
5.如权利要求1所述的一种基于WGAN-GP和YOLO的船体附着物快速识别方法,其特征在于,所述步骤S3中添加三个注意力机制SE模块,强化含有重要信息的通道特征、抑制无关的通道特征,进而使模型捕获更多关键的特征信息;在特征融合层与检测层网络中使用FPN+PAN结构增强特征与定位的传递性;Ghost Bottleneck网络主要由两个Ghost模块堆叠而成,基于一组内在特征映射,应用一系列线性变换来生成更多Ghost特征映射,具体为:
Y′=X*f+b
其中,X为输入特征图;*为卷积操作;f为当前层的卷积核;Y’为m个通道的本征特征图;b为偏置项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111073317.4A CN113792785A (zh) | 2021-09-14 | 2021-09-14 | 一种基于wgan-gp和yolo的船体附着物快速识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111073317.4A CN113792785A (zh) | 2021-09-14 | 2021-09-14 | 一种基于wgan-gp和yolo的船体附着物快速识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113792785A true CN113792785A (zh) | 2021-12-14 |
Family
ID=78880271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111073317.4A Withdrawn CN113792785A (zh) | 2021-09-14 | 2021-09-14 | 一种基于wgan-gp和yolo的船体附着物快速识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113792785A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
-
2021
- 2021-09-14 CN CN202111073317.4A patent/CN113792785A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
CN116385810B (zh) * | 2023-06-05 | 2023-08-15 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Marine organism detection and classification from underwater vision based on the deep CNN method | |
CN111461190B (zh) | 一种基于深度卷积神经网络的非均衡船舶分类方法 | |
CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
Li et al. | SAR image change detection using PCANet guided by saliency detection | |
CN110298280B (zh) | 一种基于mkl多特征融合的海洋涡旋识别方法 | |
CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
CN116704357B (zh) | 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 | |
CN111582337A (zh) | 基于小样本细粒度图像分析的草莓畸形状态检测方法 | |
CN111626120A (zh) | 工业环境下基于改进的yolo-6d算法的目标检测方法 | |
CN114821229B (zh) | 基于条件生成对抗网络的水下声学数据集增广方法及系统 | |
Zhao et al. | CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm | |
CN112417931A (zh) | 一种基于视觉显著性的水面物体检测和分类的方法 | |
CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
CN113792785A (zh) | 一种基于wgan-gp和yolo的船体附着物快速识别方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
Qiu et al. | Underwater sea cucumbers detection based on pruned SSD | |
CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
Zhang et al. | Using Improved YOLOX for Underwater Object Recognition | |
Ouyang et al. | An Anchor-free Detector with Channel-based Prior and Bottom-Enhancement for Underwater Object Detection | |
CN112308002B (zh) | 一种基于单阶段深度学习网络的海底生物识别和检测方法 | |
CN115439765A (zh) | 基于机器学习无人机视角下海洋塑料垃圾旋转检测方法 | |
CN114463628A (zh) | 一种基于阈值约束的深度学习遥感影像船舰目标识别方法 | |
Chen et al. | Improved Faster R-CNN identification method for containers | |
CN112419227B (zh) | 基于小目标搜索缩放技术的水下目标检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211214 |
|
WW01 | Invention patent application withdrawn after publication |