CN109800796A - 基于迁移学习的船舶目标识别方法 - Google Patents

基于迁移学习的船舶目标识别方法 Download PDF

Info

Publication number
CN109800796A
CN109800796A CN201811633084.7A CN201811633084A CN109800796A CN 109800796 A CN109800796 A CN 109800796A CN 201811633084 A CN201811633084 A CN 201811633084A CN 109800796 A CN109800796 A CN 109800796A
Authority
CN
China
Prior art keywords
model
test
training
transfer learning
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811633084.7A
Other languages
English (en)
Inventor
肖刚
张星辰
乔丹
赵俊豪
冶平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811633084.7A priority Critical patent/CN109800796A/zh
Publication of CN109800796A publication Critical patent/CN109800796A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于迁移学习的船舶目标识别方法,首先通过数据增强的方法生成数据集,将数据集进行基于正负样本数目的优化划分得到训练集和测试集,为避免小样本数据集导致的过拟合采用InceptionV3模型以迁移学习的方式对数据集进行训练和测试,以定量评判指标作为定量评价指标,并选取真实场景拍摄的视频帧进行对比测试,通过设定阈值得出的一系列坐标点,绘制定性评估指标ROC曲线,并生成分类信息作为定性评价指标。本发明无需手工提取特征即能实现对船舶目标域的高精度分类、高运算效率的识别,其具有更高的分类召回率且运算速度更快。

Description

基于迁移学习的船舶目标识别方法
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于迁移学习的船舶目标识别方法。
背景技术
随着水上交通的迅速发展,水面路况也越来越复杂。船桥相撞事故的频发,导致河道通航存在着一定的安全隐患,因此对船舶实施有效精准的目标识别是必要的手段措施。目标识别是计算机视觉领域里的一个重要研究方法。传统的实现算法主要是基于人为的特征设计,由于目标的特征往往会受到光照强度、拍摄视角、轮廓纹理等因素的影响,手动提取特征也就存在着缺陷,并且该算子无法有效提取目标的深层表征。
针对传统目标识别算法存在的特征学习问题,不少学者提出了新的研究方法进行改进。2015年梁锦雄等人将BP算法应用在6种类别的船舶分类中,对目标区域进行边缘梯度直方图等的特征提取,最终的分类精度达到84%。之后卷积神经网络的算法也被应用到图像分类中,2017年,戚超等人将八层网络结构的经典模型Alex Net与支持向量机相结合,用SVM分类器替换卷积神经网络的soft max分类器,对船舶数据集进行训练,经测试结果发现平均准确率达到了88.6%。尽管这两种不同的方法在多分类识别任务中都取得了不错的测试精度,但仍有一定的上升空间,并且计算复杂度较高,无法保证运算的快速性。
发明内容
本发明针对现有技术小样本船舶数据集导致的过拟合问题,以及现有算法在分类识别任务中测试精度的不足,提出一种基于迁移学习的船舶目标识别方法,无需手工提取特征即能实现对船舶目标域的高精度分类、高运算效率的识别,与BP算法、Alex Net模型的SVM分类算法和另外一种卷积神经网络Similar Le-Net5的方法相比,InceptionV3模型迁移学习的分类召回率更高且运算速度更快。
本发明是通过以下技术方案实现的:
本发明首先通过数据增强的方法生成数据集,将数据集进行基于正负样本数目的优化划分得到训练集和测试集,为避免小样本数据集导致的过拟合采用InceptionV3模型以迁移学习的方式对数据集进行训练和测试,以定量评判指标作为定量评价指标,并选取真实场景拍摄的视频帧进行对比测试,通过设定阈值得出的一系列坐标点,绘制定性评估指标ROC曲线,并生成分类信息作为定性评价指标。
所述的迁移学习是指:针对小样本数据集导致的过拟合问题,冻结模型部分网络层在大规模源域训练过的权重参数,转移到小规模目标域中并重新训练该模型最后的全连接层,然后将训练之后的参数保存,对船舶测试集进行分类测试。
所述的小规模目标域为船舶数据集。
所述的优化划分是指:样本图片中测试集样本占数据集总样本的1/5,训练集正负样本比例等于测试集正负样本比例,为2:1~2.5:1。
所述的InceptionV3模型,由11个Inception模块组成,每个模块由许多小尺寸的卷积聚合并联组成,使得在相同的感受野中能学习更多的图像特征,减小了计算复杂度也避免了过拟合问题。
所述的迁移学习具体是指:将全连接层之前的网络层作为瓶颈(Bottleneck)层,冻结其所有权重参数,只训练模型的全连接层,具体为:InceptionV3模型采用的目标函数是交叉熵损失函数:其中:y是期望输出值,是真实输出值:当y=1时:当y=0时:当真实输出趋近于期望的输出值y时,损失L均趋近于0。
选择InceptionV3模型做迁移学习的原因是,其平衡的网络深度和宽度使得模型更容易处理高维度特征,计算效率也能得到优化和提高。
本发明涉及一种实现上述方法的系统,包括:预处理及数据增强模块、用于训练集和测试集样本的划分模块、基于Tensorflow框架的模型训练测试模块以及基于matlab的模型性能评估模块,其中:预处理及数据增强模块生成船舶数据集,划分模块传输网络模型的输入层信息,模型训练测试模块接收船舶数据集以及真实场景拍摄的视频帧并输出模型的预测召回率信息至模型性能评估模块,模型性能评估模块根据人为设定的概率阈值所得的30个坐标点生成ROC工作特性曲线,并根据预测召回率信息生成分类性能信息。
技术效果
与现有技术相比,本发明引入迁移学习的思想解决了小样本数据的过拟合,并且应用到了船舶这一新型领域;给出不同的定量和定性评估指标验证迁移学习较强的泛化能力:定量测试方面,模型的迁移学习在502张测试集的召回率达到98%;定性评估方面,通过人为设定的30个概率阈值分别得出的横坐标为误报率、纵坐标为召回率的坐标点,绘制出ROC受试者工作特性曲线,经研究发现迁移学习模型InceptionV3的曲线更加凸向坐标轴的左上角,很好地验证了该分类器更优的分类性能。本发明通过冻结其部分层的权重参数,只训练网络最后的全连接层的迁移学习方式训练,实现98%的分类召回率。
附图说明
图1为InceptionV3模型二分类船舶识别的迁移学习方法示意图;
图2为预处理样本的数据增强方法示意图;
图3为训练集与测试集正负样本数目的划分方法示意图;
图4为样本分类预测效果示意图;
图5为真实场景(上海闵浦二桥)船舶航行视频帧示意图;
图6为ROC定性评估曲线示意图。
具体实施方式
如图1所示,为本实施例涉及的一种基于迁移学习的船舶目标识别方法,具体包括以下步骤:
步骤一、对样本图像依次进行预处理、数据增强、划分训练集与测试集的正负样本,具体为:
1.1)为满足网络模型输入层的尺寸需求以及提高训练过程的效率,首先对数据集进行预处理,即分别将图片统一处理为64×64与229×229的尺寸大小(Similar Le-Net5的输入为64×64,InceptionV3的输入为229×229),图片格式为jpg。
1.2)为了避免过拟合问题,扩大数据集规模,对预处理后的数据集进行数据增强,具体方案是用XnView软件将图片添加噪声扰动和几何变换,其中噪声扰动为高斯噪声,几何变换依次为旋转100度、旋转60度、水平翻转。
通过数据增强的方式能使得卷积神经网络在训练时学习到图像不变性的特征,大大提高模型的鲁棒性。
1.3)为了验证经过训练集学习之后的网络模型是否具有较好的泛化性能,需要从数据集中分割出一部分样本集作为测试集。
对于成功的分类模型来说,训练集与测试集样本数目的有效划分是比较重要的,需要遵循一定的规则:训练集正负样本比例约等于测试集正负样本比例且接近2:1。
步骤二、基于Tensporflow框架的网络模型训练
为了验证InceptionV3模型的迁移学习对于小样本数据集强大的泛化性能,该步骤进行了模型的对比实验。对搭建好的模型Similar Le-Net5和InceptionV3依次进行训练,经试验发现在CPU上的训练时长分别为21分钟和6分钟,显然InceptionV3的训练效率更高。
表1.模型训练参数设置对比(Similar Le-Net5和InceptionV3)
网络模型名称 Similar Le-Net5 InceptionV3
优化算子 亚当优化算法 梯度下降算法
激活函数 ReLU ReLU
目标函数 交叉熵损失函数 交叉熵损失函数
学习率 0.001 0.01
批尺寸 24 100
CPU训练时长 3000steps(21mins) 3000steps(6mins)
步骤三、定量测试
作为网络模型性能的一个定量评判指标,召回率其中:TP是正确预测船舶的样本数,FN误测为非船舶的样本数。
表2.测试结果对比(Similar Le-Net5和InceptionV3)
由表2横向对比数据发现,随着测试集样本增多,模型Similar Le-Net5的测试召回率都呈上升趋势,而InceptionV3因为其预测结果较好,召回率值在97%至99%范围内波动。Similar Le-Net5的最终预测结果尽管也达到90%左右,但与InceptionV3的98%仍有很大差距。此外,测试结果还表明Similar Le-Net5模型存在过拟合问题,也验证了InceptionV3模型的迁移学习对船舶分类具有更好的泛化能力。
为了进一步验证对InceptionV3模型迁移学习的效果,对早期位于上海闵浦二桥拍摄的一段船舶航行视频做测试。由于视频录制时间较长,场景目标移动较慢,采取每隔400帧保存一次图片的方式;无船场景是来自优酷下载的闵浦二桥视频,并对部分图片帧做了剪切,从中随机选取了有船舶场景和无船舶场景图片分别为147和76张。
表3.真实场景视频帧测试召回率对比
模型 船舶样本147张 非船舶样本76张
Similar Le-Net5 47.62% 82.90%
InceptionV3 97.28% 100%
步骤四、定性评估
本实施例将ROC曲线作为分类测试的定性评估指标。横坐标表示误报率,即在一个全部为非船舶的样本集合中,预测出是船舶的样本概率;纵坐标为召回率。
通过人为设定的30个概率阈值,相应获取到30个横坐标为误报率、纵坐标为召回率的坐标点,绘制出ROC曲线图。最靠近左上角的点为最佳临界点,该点的敏感度与特异度都比较高,它的值即为最佳临界值。因此ROC曲线越趋近左上角,曲线下的面积越大,模型判断性能就越高,InceptionV3模型的曲线直观地反映了这一特征。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。

Claims (6)

1.一种基于迁移学习的船舶目标识别方法,其特征在于,首先通过数据增强的方法生成数据集,将数据集进行基于正负样本数目的优化划分得到训练集和测试集,为避免小样本数据集导致的过拟合采用InceptionV3模型以迁移学习的方式对数据集进行训练和测试,以定量评判指标作为定量评价指标,并选取真实场景拍摄的视频帧进行对比测试,通过设定阈值得出的一系列坐标点,绘制定性评估指标ROC曲线,并生成分类信息作为定性评价指标;
所述的迁移学习是指:针对小样本数据集导致的过拟合问题,冻结模型部分网络层在大规模源域训练过的权重参数,转移到小规模目标域中并重新训练该模型最后的全连接层,然后将训练之后的参数保存,对船舶测试集进行分类测试。
2.根据权利要求1所述的方法,其特征是,所述的优化划分是指:样本图片中测试集样本约占数据集总样本的1/5,训练集正负样本比例约等于测试集正负样本比例。
3.根据权利要求2所述的方法,其特征是,所述的训练集正负样本比例以及测试集正负样本比例均为2:1~2.5:1。
4.根据权利要求4所述的方法,其特征是,所述的InceptionV3模型,由11个Inception模块组成,每个模块由许多小尺寸的卷积聚合并联组成,使得在相同的感受野中能学习更多的图像特征,减小了计算复杂度也避免了过拟合问题。
5.根据权利要求1所述的方法,其特征是,所述的迁移学习具体是指:将全连接层之前的网络层作为瓶颈层,冻结其所有权重参数,只训练模型的全连接层,具体为:InceptionV3模型采用的目标函数是交叉熵损失函数:其中:y是期望输出值,是真实输出值:当y=1时:当y=0时:当真实输出趋近于期望的输出值y时,损失L均趋近于0。
6.一种实现上述任一权利要求所述方法的系统,其特征在于,包括:预处理及数据增强模块、用于训练集和测试集样本的划分模块、基于Tensorflow框架的模型训练测试模块以及基于matlab的模型性能评估模块,其中:预处理及数据增强模块生成船舶数据集,划分模块传输网络模型的输入层信息,模型训练测试模块接收船舶数据集以及真实场景拍摄的视频帧并输出模型的预测召回率信息至模型性能评估模块,模型性能评估模块根据人为设定的概率阈值所得的30个坐标点生成ROC工作特性曲线,并根据预测召回率信息生成分类性能信息。
CN201811633084.7A 2018-12-29 2018-12-29 基于迁移学习的船舶目标识别方法 Pending CN109800796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811633084.7A CN109800796A (zh) 2018-12-29 2018-12-29 基于迁移学习的船舶目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811633084.7A CN109800796A (zh) 2018-12-29 2018-12-29 基于迁移学习的船舶目标识别方法

Publications (1)

Publication Number Publication Date
CN109800796A true CN109800796A (zh) 2019-05-24

Family

ID=66558052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811633084.7A Pending CN109800796A (zh) 2018-12-29 2018-12-29 基于迁移学习的船舶目标识别方法

Country Status (1)

Country Link
CN (1) CN109800796A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208660A (zh) * 2019-06-05 2019-09-06 国网江苏省电力有限公司电力科学研究院 一种用于电力设备局部放电缺陷诊断的训练方法及装置
CN110633353A (zh) * 2019-07-29 2019-12-31 南京莱斯网信技术研究院有限公司 一种基于集成学习的船舶类型仿冒监测方法
CN111310831A (zh) * 2020-02-19 2020-06-19 中国科学院光电技术研究所 一种基于深度学习的小目标检测网络逐层训练方法
CN111444818A (zh) * 2020-03-24 2020-07-24 哈尔滨工程大学 一种基于cnn的市场摊区违规摊位检测方法
CN111709292A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN112146882A (zh) * 2020-10-12 2020-12-29 中国人民解放军海军工程大学 基于迁移学习振动信号图像识别的轴承故障诊断方法
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113537085A (zh) * 2021-07-20 2021-10-22 南京工程学院 基于两次迁移学习和数据增广的船舶目标检测方法
CN113723572A (zh) * 2021-11-01 2021-11-30 中南大学 船只目标识别方法、计算机系统及程序产品、存储介质
CN113902975A (zh) * 2021-10-08 2022-01-07 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN114239688A (zh) * 2021-11-23 2022-03-25 中南大学 船只目标识别方法、计算机装置及程序产品、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN106650709A (zh) * 2017-01-22 2017-05-10 深圳市唯特视科技有限公司 一种基于传感器数据的深度学习脚步检测方法
CN107045506A (zh) * 2016-02-05 2017-08-15 阿里巴巴集团控股有限公司 评估指标获取方法及装置
WO2018157862A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 车型的识别方法和装置、存储介质、电子装置
CN108596882A (zh) * 2018-04-10 2018-09-28 中山大学肿瘤防治中心 病理图片的识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN107045506A (zh) * 2016-02-05 2017-08-15 阿里巴巴集团控股有限公司 评估指标获取方法及装置
CN106650709A (zh) * 2017-01-22 2017-05-10 深圳市唯特视科技有限公司 一种基于传感器数据的深度学习脚步检测方法
WO2018157862A1 (zh) * 2017-03-02 2018-09-07 腾讯科技(深圳)有限公司 车型的识别方法和装置、存储介质、电子装置
CN108596882A (zh) * 2018-04-10 2018-09-28 中山大学肿瘤防治中心 病理图片的识别方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘晨等: "基于卷积神经网络迁移学习的SAR图像目标分类", 《现代雷达》 *
周爱明等: "基于深度学习的蝴蝶科级标本图像自动识别", 《昆虫学报》 *
段萌等: "基于卷积神经网络的小样本图像识别方法", 《计算机工程与设计》 *
王柯力等: "基于迁移学习的水产动物图像识别方法", 《计算机应用》 *
郑一力等: "基于迁移学习的卷积神经网络植物叶片图像识别方法", 《农业机械学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208660A (zh) * 2019-06-05 2019-09-06 国网江苏省电力有限公司电力科学研究院 一种用于电力设备局部放电缺陷诊断的训练方法及装置
CN110208660B (zh) * 2019-06-05 2021-07-27 国网江苏省电力有限公司电力科学研究院 一种用于电力设备局部放电缺陷诊断的训练方法及装置
CN110633353A (zh) * 2019-07-29 2019-12-31 南京莱斯网信技术研究院有限公司 一种基于集成学习的船舶类型仿冒监测方法
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN111310831A (zh) * 2020-02-19 2020-06-19 中国科学院光电技术研究所 一种基于深度学习的小目标检测网络逐层训练方法
CN111444818A (zh) * 2020-03-24 2020-07-24 哈尔滨工程大学 一种基于cnn的市场摊区违规摊位检测方法
CN111709292A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN111709292B (zh) * 2020-05-18 2023-05-26 杭州电子科技大学 基于递归图和深度卷积网络的压气机振动故障检测法
CN112146882A (zh) * 2020-10-12 2020-12-29 中国人民解放军海军工程大学 基于迁移学习振动信号图像识别的轴承故障诊断方法
CN113034483A (zh) * 2021-04-07 2021-06-25 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113034483B (zh) * 2021-04-07 2022-06-10 昆明理工大学 基于深度迁移学习的烟支缺陷检测方法
CN113537085A (zh) * 2021-07-20 2021-10-22 南京工程学院 基于两次迁移学习和数据增广的船舶目标检测方法
CN113902975A (zh) * 2021-10-08 2022-01-07 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN113902975B (zh) * 2021-10-08 2023-05-05 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN113723572A (zh) * 2021-11-01 2021-11-30 中南大学 船只目标识别方法、计算机系统及程序产品、存储介质
CN113723572B (zh) * 2021-11-01 2022-01-28 中南大学 船只目标识别方法、计算机系统及程序产品、存储介质
CN114239688A (zh) * 2021-11-23 2022-03-25 中南大学 船只目标识别方法、计算机装置及程序产品、存储介质

Similar Documents

Publication Publication Date Title
CN109800796A (zh) 基于迁移学习的船舶目标识别方法
CN111209907B (zh) 一种复杂光污染环境下产品特征图像人工智能识别方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
Wan et al. Ceramic tile surface defect detection based on deep learning
CN109919073B (zh) 一种具有光照鲁棒性的行人再识别方法
CN109635784A (zh) 基于改进的卷积神经网络的交通标志识别方法
CN109359661B (zh) 一种基于卷积神经网络的Sentinel-1雷达图像分类方法
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
Yusof et al. Automated asphalt pavement crack detection and classification using deep convolution neural network
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
Sarmiento Pavement distress detection and segmentation using YOLOv4 and DeepLabv3 on pavements in the Philippines
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
Pramestya et al. Road defect classification using gray level co-occurrence matrix (GLCM) and radial basis function (RBF)
Ghahremani et al. Towards parameter-optimized vessel re-identification based on IORnet
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
Xu et al. Multiple guidance network for industrial product surface inspection with one labeled target sample
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
Kinattukara et al. Clustering based neural network approach for classification of road images
Wang et al. GSC-YOLOv5: An Algorithm based on Improved Attention Mechanism for Road Creak Detection
Nasehi et al. Vehicle Type, Color and Speed Detection Implementation by Integrating VGG Neural Network and YOLO algorithm utilizing Raspberry Pi Hardware
CN112529095B (zh) 一种基于卷积区域重配准的单阶段目标检测方法
Yong et al. A Real-time Detection Algorithm Based on Nanodet for Pavement Cracks by Incorporating Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190524

RJ01 Rejection of invention patent application after publication