CN114663743A - 一种船舶目标重识别方法、终端设备及存储介质 - Google Patents
一种船舶目标重识别方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114663743A CN114663743A CN202210414799.3A CN202210414799A CN114663743A CN 114663743 A CN114663743 A CN 114663743A CN 202210414799 A CN202210414799 A CN 202210414799A CN 114663743 A CN114663743 A CN 114663743A
- Authority
- CN
- China
- Prior art keywords
- ship
- target
- feature
- picture
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013508 migration Methods 0.000 claims description 20
- 230000005012 migration Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 235000014653 Carica parviflora Nutrition 0.000 claims description 3
- 241000243321 Cnidaria Species 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种船舶目标重识别方法、终端设备及存储介质，该方法中包括：采集待分析类型船舶对应的第一船舶图像数据集和其他类型船舶对应的第二船舶图像数据集，对数据集中图像进行随机旋转后组成第一训练集和第二训练集；构建目标重识别模型，通过第一训练集和第二训练集分别对目标重识别模型进行迭代训练，以使总体损失函数最小，将通过第一训练集训练后的目标重识别模型最为待分析类型船舶目标重识别模型；通过训练后的待分析类型船舶目标重识别模型对船舶图像进行重识别。本发明可以提高船舶识别的准确率。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种船舶目标重识别方法、终端设备及存储介质。
背景技术
根据相关规定，海上船舶只要重量超过300吨的货船和所有客船都需要配备自动导航系统(AIS)，其作用在于汇报自身的位置、速度和航线，但是其中并不包括自身的大小，系统只会将其作为一个点来标识。另外，一些中小型船舶(如渔船和小型货船)并不会被强制要求安装AIS系统，甚至大型船舶上的AIS是可以被主动关闭的，这会影响船舶对周围安全进行判断。而且，利用船载雷达确实可以判断周围障碍物的大小，但是船舶在不同角度下体积相差较大，且由于海上视角较为宽阔，远处的船舶目标较多，雷达识别的难度较大。现如今，随着计算机视觉技术的迅速发展，可见光摄像机可以在船舶周围海洋环境的探测方面发挥重要的作用。
目标重识别方法是机器视觉系统的重要分支，船舶重识别方法的实现有利于构建完善的海洋态势感知系统，此方法在行人和车辆上已经得到了较为广泛的应用，但相对于陆上稳定的拍摄环境，船舶所处的海面晃动很大，目标物发生倾斜的情况非常常见，而在现有的陆上环境数据集中，目标物体虽然姿态不同，但几乎都是平稳的。并且，在目前的船舶重识别文章中并未考虑到这个问题，都是以靠港停泊或平稳行驶的船舶为识别对象。正常行驶的船舶会因为速度的快慢和海况的好坏出现不同程度的倾斜，又会因为载重量的不同导致吃水的深浅不同，海面上可见部位的形状也会随之变化。因此，目前现有的重识别方法并不完全适用于航向中的船舶。
现有的船舶检测方法虽然很好的实现了对船舶重识别，但数据集中的船舶基本上处于较好的海况下，行驶平稳不晃动。但是实际情况中，海上天气是复杂多变的，风浪并不平静，因此船舶发生晃动是常见的现象，尤其是体积小的船舶，其晃动更加明显。并且，由于海上视野较远，且有雾天和海面反光效果，不同视角下的同一条船舶色彩差异较大，数据集中的高清图片并不能准确反映实拍效果。因此需要针对性的研究由于海面导致的船舶颠簸情况和淡化色彩对船舶识别的影响。
发明内容
为了解决上述问题，本发明提出了一种船舶目标重识别方法、终端设备及存储介质。
具体方案如下：
一种船舶目标重识别方法，包括以下步骤：
S1：采集待分析类型船舶对应的第一船舶图像数据集，采集待分析类型之外的其他类型船舶对应的第二船舶图像数据集，分别对第一船舶图像数据集和第二船舶图像数据集中的各船舶图像以图像中心为中心点进行顺时针或逆时针方向的随机旋转，将旋转后的第一船舶图像数据集中的船舶图像组成第一训练集，将旋转后的第二船舶图像数据集中的船舶图像组成第二训练集；
S2：构建目标重识别模型，通过第一训练集和第二训练集分别对目标重识别模型进行迭代训练，以使总体损失函数最小，将通过第一训练集训练后的目标重识别模型最为待分析类型船舶目标重识别模型；
总体损失函数包括基于局部特征与整体特征的难样本采样三元组损失Ltri、识别损失LID和迁移损失Ltran；
S3：通过训练后的待分析类型船舶目标重识别模型对船舶图像进行重识别。
进一步的，目标重识别模型中特征提取采用的主干网络为ResNet50。
进一步的，三元组损失Ltri的计算公式为：
Dtri＝Dl+λdg
其中，Dtri表示两张图片之间的特征总距离，
表示相似度最低的正样本对中的两张图片之间的特征总距离，
表示相似度最高的负样本对中的两张图片之间的特征总距离，λ为用于平衡全局距离和局部距离的超参数，η为超参数，batch表示样本集，其中包含P×Q张图片，p表示样本集batch中包含的船舶个数，Q表示样本集batch中每艘船舶对应Q张图片，a表示样本集batch中的图片，A表示样本集batch中与图片a属于相同船舶的图片集，u表示图片集A中的图片，B表示样本集batch中与图片a属于不同船舶的图片集，v表示图片集B中的图片，Dl表示两张图片之间的最小局部特征总距离，dg表示两张图片之间的整体特征距离。
进一步的，识别损失LID的计算公式为：
其中，M表示特征类别总数，m表示特征类别的第m个特征编号，N表示样本的特征编号总数，n表示样本的第n个特征编号，pnm表示n属于m类的预测概率值，qnm为经过标签平滑操作后的软标签符号函数，ε为超参数。
进一步的，迁移损失Ltran的计算公式为：
Ltran(S,T)＝γMMD(S,T)+ρCORAL(S,T)
其中，Ltran(S,T)，γ和ρ均表示比例权重，S表示源域图像，T表示目标域图像，Ltran(S,T)表示源域图像与目标域图像之间的迁移损失，MMD(S,T)表示源域图像与目标域图像之间的最大均值差异，CORAL(S,T)表示源域图像与目标域图像之间利用子空间变换法进行二阶特征对齐后的二阶统计特征距离。
进一步的，步骤S1中旋转之前还包括对第一船舶图像数据集和第二船舶图像数据集中的图像进行格式统一，格式统一的具体过程为利用加灰条的填充方式使图像的长宽比一致，再缩放至同一分辨率。
进一步的，步骤S1中旋转的角度范围为-10°～10°。
一种船舶目标重识别终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，并具有有益效果：
1.不需要额外的监督，即不需要大量的图片数据进行迁移，迁移所需的图片数据并不需要指定船舶类型，只要是船舶就可以，多类型的船舶都可以取得很好的识别效果。
2.对船舶数据集图片进行旋转，模拟复杂海况下船载相机拍摄的晃动情况，提高了识别准确率。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中本实施例方法整体训练过程示意图。
图3所示为该实施例中局部特征的动态对齐方法示意图。
图4所示为该实施例中整体特征距离与识别损失的计算过程示意图。
图5所示为该实施例中迁移损失的计算过程示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种船舶目标重识别方法，如图1所示，所述方法包括以下步骤：
S1：采集待分析类型船舶对应的第一船舶图像数据集，采集待分析类型之外的其他类型船舶对应的第二船舶图像数据集，分别对第一船舶图像数据集和第二船舶图像数据集中的各船舶图像以图像中心为中心点进行顺时针或逆时针方向的随机旋转，将旋转后的第一船舶图像数据集中的船舶图像组成第一训练集，将旋转后的第二船舶图像数据集中的船舶图像组成第二训练集。
该实施例中以军舰类型的船舶作为待分析类型船舶构建第一船舶图像数据集，以其他类型的船舶(如大型客船、帆船、高速舰船、货船、拖船、游船、渔船等)构建第二船舶图像数据集。
由于在实际过程中，监控相机装载于船上，其在不同海况下会发生不同程度的多自由度摇晃，因此，该实施例中将船舶图像进行随机旋转，可以提高网络在目标发生倾斜的情况下识别能力。该实施例中在试验数据的基础上优选设定旋转的角度范围为-10°～10°，在其他实施例中，本领域技术人员可以根据需求设定其他旋转的角度范围，在此不做限定。
由于船舶目标与行人目标轮廓差异较大，且同一船舶从不同角度进行观察时，目标的整体长宽比不一致，如图2中的正面图(a)、侧面图(b)所示。因此需要先对其进行格式统一(即尺寸归一化操作)，利用加灰条的填充方式使目标长宽比一致，再缩放至同一分辨率作为神经网络的输入数据。
S2：如图2所示，构建目标重识别模型，通过第一训练集和第二训练集分别对目标重识别模型进行迭代训练，以使总体损失函数最小，将通过第一训练集训练后的目标重识别模型最为待分析类型船舶目标重识别模型。
目标重识别模型的特征提取部分采用的主干网络结构为ResNet50，其计算过程如图3所示。
ResNet50网络首先对输入数据的通道数C、高度H、宽度W三个维度(C×H×W)进行特征提取，并在垂直(宽度W)方向分成r等份(图3中r等于8)。之后需要将提取后的特征在宽度W方向进一步地压缩，形成大小为C×H×1的压缩特征矩阵。
在进行动态对齐之前，为了计算方便，需要先对图像a和图像b的压缩特征矩阵la和lb归一化至[0,1)，并计算两张图片在宽度W方向压缩特征的相似度距离di,j，如式1所示。
其中，di,j表示图像a的第i层压缩特征与图像b的第i层压缩特征的相似度距离，la i和
分别表示图像a和图像b的压缩特征矩阵中第i层和第j层的特征向量。
为了更准确的获得有效特征，需要通过距离矩阵D计算相似度距离之和的最小值，从而找到两张图片相似度最高的局部特征匹配方式，如式2和式3所示。
Dl(a,b)＝Dr,r (3)
其中，以图3中的距离矩阵D来说明。Di,j表示从d1,1到di,j的最小局部距离之和。Dl(a,b)为图片a和图片b之间的最小局部总距离，其计算过程如图3的距离矩阵D中的曲线路线所示，其数值可由D右上角单元格中的值来表示。
对于图片的特征提取，不仅需要对局部特征进行挖掘，整体特征也不能被忽略。通过网络对输入数据进行了不同深度的特征提取，能够计算样本之间整体特征距离与识别损失，计算过程如图4所示。
对于每组N个输入数据中的每张图片，首先使用与局部特征分析中相同的方法，提取特征矩阵(C×H×W)，之后以整体为主转化成特征向量(C'×1×1)，同样以图像a和图像b为例，其整体特征距离dg(a,b)的计算方式如式4所示。
dg(a,b)＝||fa-fb||2 (4)
其中，fa和fb分别表示图像a和图像b的全局特征向量。
另外，通过对特征向量(C'×1×1)中的C'个通道进一步压缩成M个通道(ID≤N)，将每组N个样本中不同角度的同一艘船记作同一类，M为每组样本中的特征类别数。从而计算每一组样本的识别损失LID，计算方式如式5和式6所示。
其中，M为特征类别总数，m表示特征类别的第m个特征编号，n表示样本的第n个特征编号，pnm为n属于m类的预测概率值，qnm为经过标签平滑操作后的软标签符号函数，通过将硬目标更改成软目标的方式，改善因权重过于绝对所导致的过拟合现象，ε为超参数，该实施例中设置为0.1。
由于观测海上目标与陆上目标不同，目标物与观测设备都处在海上，且会由于海浪的影响导致的不规则晃动，使得识别难度增加。因此，需要以多种方式对海上目标进行特征提取，从而充分利用样本特征，提高识别准确率。
利用基于统计特征变换与几何特征变换的方法，通过研究领域的相似性，对多种类型的船舶图片进行迁移学习，从而计算迁移损失，其过程如图5所示。
首先，将源域图像S和目标域图像T通过相同的归一化方式输入同一卷积网络之中，经过整体特征提取后，运用核技巧，计算其最大均值差异(MMD)的值，如式7至式9所示。
其中，φ(x)为从输入空间到特征空间的映射函数，k(s,t)为核函数，其定义为映射的内积，而<·,·>表示内积操作，tr(·)表示矩阵的迹，Ds和Dt分别表示源域和目标域中的样本，x为样本中的特征向量，Ns和Nt分别为每组源域和目标域的样本总数。
在本实施例中Ns与Nt相等，并使用径向基函数k(s,t)作为核函数，计算两个向量的欧氏距离，如式10所示。
其中，σ为带宽，控制函数的径向作用范围。
然后，根据整体特征提取后的数据，利用子空间变换法对源域样本和目标域样本进行二阶特征对齐，计算其二阶统计特征距离(CORAL)，如式11所示。
其中，Covs和Covt表示源域样本和目标域样本的特征协方差矩阵。
因此，综合迁移损失函数Ltran可由式12计算所得。
Ltran(S,T)＝γMMD(S,T)+ρCORAL(S,T) (12)
其中，γ和ρ为比例权重，在本文中设置为1和0.001，目的是为了使两种距离损失为同一数量级。
为了更好地利用局部特征距离和整体特征距离，使网络可以学习到更好的表征，需要对一组图片中的每张图片与其他图片在特征提取后进行相似度计算，并根据计算结果，挑出每张图片的相似度最低的正样本对da,u和相似度最高的负样本对da,v，从而计算其基于局部特征与整体特征的难样本采样三元组损失Ltri(TriHard Loss)，以图片a为例，计算方式如式13所示。
Dtri＝Dl+λdg
其中，Dtri表示两张图片之间的特征总距离，
表示相似度最低的正样本对中的两张图片之间的特征总距离，
表示相似度最高的负样本对中的两张图片之间的特征总距离；λ为用于平衡全局距离和局部距离的超参数，该实施例中设置为1；η为超参数，该实施例中设置为0.3；batch表示样本集，其中包含P×Q张图片，p表示样本集batch中包含的船舶个数，Q表示样本集batch中每艘船舶对应Q张图片，a表示样本集batch中的图片，A表示样本集batch中与图片a属于相同船舶的图片集，u表示图片集A中的图片，B表示样本集batch中与图片a属于不同船舶的图片集，v表示图片集B中的图片，Dl表示两张图片之间的最小局部特征总距离，dg表示两张图片之间的整体特征距离。
因此，通过分析图片之间的局部特征及整体特征，且引入迁移学习度量方法，总体特征损失函数Loss可由式14计算得出。
Loss＝Ltri+LID+Ltran (14)
S3：通过训练后的待分析类型船舶目标重识别模型对船舶图像进行重识别。
重识别即根据已知图像从图像集中查找属于同一目标的图像，将已知船舶图像与待识别的图像集中的任一图像共同输入待分析类型船舶目标重识别模型，模型输出结果为是否属于同一目标。
仿真试验
该实施例中的船舶图像数据集取自海上船舶图像数据集VesselID-539中公布的网站Marine Traffic上(http://www.marinetraffic.com)，这些图片是由世界各地的摄像师在不同时间地点的船上或岸边进行拍摄的，并且由于拍摄的时间和角度不同，同一艘船舶所呈现出的姿态非常丰富。
在不同种类的船舶中，军舰有着对隐蔽性和灵活性的高标准，导致颜色较为单一，航速相对较快，且姿态灵活多变，相比于民用船舶有着更高的航行需求，因此，本实施例将以军舰图片作为训练集和测试集，其他类型船舶作为迁移数据集进行实验。
本实施例中收集的船舶图像数据集中共有163艘船舶，4780张图片，具体类别和个数如表1所示。
表1
| 船舶类型 | 船舶个数 | 图片总数 |
| 军舰 | 24 | 394 |
| 大型客船 | 23 | 692 |
| 帆船 | 22 | 870 |
| 高速舰船 | 21 | 641 |
| 货船 | 22 | 596 |
| 拖船 | 6 | 196 |
| 油船 | 23 | 677 |
| 渔船 | 22 | 714 |
本实施例通过原始动态对齐算法，可以对军舰图像进行训练，并且利用其它类型的船舶图片作为训练集的补充，经过训练后，网络的均值平均精度(mAP)和首位命中率(Rank1)如表2所示。
表2
从表2中可以看出，由于测试集进行了随机旋转操作模拟真实情况，通过旋转后图片训练的网络的识别准确率比未经旋转图片训练的在mAP准确率上平均高9.4％，Rank1准确率平均高8.5％，而且相对于仅仅使用军舰进行训练，使用其他类型船舶图片作为训练集的补充，在非旋转情况和旋转情况下，其mAP准确率平均提升了5.7％和4.4％，Rank1准确率平均提升了6.9％和2.1％。因此，若船舶由于海浪的影响而发生摇摆，只利用已公布数据集当中的平稳图像进行训练是不够的，训练时需要对图片加上一定角度的旋转来进行数据增强。
从表2中还可以看出，即使将其他所有类型的船舶都作为军舰的补充训练集，其测试准确率的提升也比较有限，而对于训练集为军舰的卷积神经网络而言，其他类型的船舶所能提供的是作为船舶的整体特征，网络并不需要了解其过多的细节，因此，通过迁移学习方法可以很好的加强领域相似性的研究，在训练集不进行旋转操作的情况下，将其他类别船舶通过迁移学习方式进行训练，并使用旋转后的测试集进行测试，识别准确率如表3所示。
表3
从表3中可以看出，相对于将其他类别船舶图片作为扩充数据加入训练集，将其以迁移学习方式与原始算法融合训练，其平均测试准确率在mAP上提升了5.0％，Rank1准确率提升了4.1％。而若将图像进行旋转数据增强后再作为迁移数据，mAP准确率和Rank1准确率相较未旋转操作能够再提升0.7％和2.1％。
同样，将训练集进行旋转后，再次进行迁移融合训练，得到的识别准确率如表4所示。从中可以看出，即使使用未经旋转数据增强的船舶图片作为迁移数据，相对于直接将旋转图片作为扩充训练集，其平均测试准确率在mAP上提升了3.2％，Rank1准确率提升了0.4％。而若使用经过旋转数据增强的船舶图片作为迁移数据，mAP准确率和Rank1准确率相较未旋转操作还能再提升2.6％和2.5％。
表4
本发明是实力提出了一种融合迁移学习方法的动态对齐重识别网络模型，并对数据集进行了小角度的旋转数据增强，模拟复杂海况下船载相机拍摄的晃动情况，且利用不同类别的船舶作为迁移数据集进行重复实验，探究迁移算法的适用性。另外，将特征相似度较高的军舰作为实验对象，加大识别难度，模拟海上视野较远导致的远处目标特征不明显的情况。实验结果表明，在不进行旋转特征增强的情况下，改进后的算法在mAP准确率上平均提升了10.7％，Rank1准确率上平均提升了11.0％，而在进行旋转特征增强的情况下，改进后的算法在mAP准确率上平均提升了10.2％，Rank1准确率上平均提升了4.9％。因此，迁移动态对齐算法在船舶重识别任务上，尤其是在船舶出现颠簸情况下有着更高的识别效果。
实施例二：
本发明还提供一种船舶目标重识别终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述船舶目标重识别终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述船舶目标重识别终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述船舶目标重识别终端设备的组成结构仅仅是船舶目标重识别终端设备的示例，并不构成对船舶目标重识别终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述船舶目标重识别终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述船舶目标重识别终端设备的控制中心，利用各种接口和线路连接整个船舶目标重识别终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述船舶目标重识别终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述船舶目标重识别终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (9)
1.一种船舶目标重识别方法，其特征在于，包括以下步骤：
S1：采集待分析类型船舶对应的第一船舶图像数据集，采集待分析类型之外的其他类型船舶对应的第二船舶图像数据集，分别对第一船舶图像数据集和第二船舶图像数据集中的各船舶图像以图像中心为中心点进行顺时针或逆时针方向的随机旋转，将旋转后的第一船舶图像数据集中的船舶图像组成第一训练集，将旋转后的第二船舶图像数据集中的船舶图像组成第二训练集；
S2：构建目标重识别模型，通过第一训练集和第二训练集分别对目标重识别模型进行迭代训练，以使总体损失函数最小，将通过第一训练集训练后的目标重识别模型最为待分析类型船舶目标重识别模型；
总体损失函数包括基于局部特征与整体特征的难样本采样三元组损失Ltri、识别损失LID和迁移损失Ltran；
S3：通过训练后的待分析类型船舶目标重识别模型对船舶图像进行重识别。
2.根据权利要求1所述的船舶目标重识别方法，其特征在于：目标重识别模型中特征提取采用的主干网络为ResNet50。
3.根据权利要求1所述的船舶目标重识别方法，其特征在于：三元组损失Ltri的计算公式为：
Dtri＝Dl+λdg
其中，Dtri表示两张图片之间的特征总距离，
表示相似度最低的正样本对中的两张图片之间的特征总距离，
表示相似度最高的负样本对中的两张图片之间的特征总距离，λ为用于平衡全局距离和局部距离的超参数，η为超参数，batch表示样本集，其中包含P×Q张图片，p表示样本集batch中包含的船舶个数，Q表示样本集batch中每艘船舶对应Q张图片，a表示样本集batch中的图片，A表示样本集batch中与图片a属于相同船舶的图片集，u表示图片集A中的图片，B表示样本集batch中与图片a属于不同船舶的图片集，v表示图片集B中的图片，Dl表示两张图片之间的最小局部特征总距离，dg表示两张图片之间的整体特征距离。
4.根据权利要求1所述的船舶目标重识别方法，其特征在于：识别损失LID的计算公式为：
其中，M表示特征类别总数，m表示特征类别的第m个特征编号，N表示样本的特征编号总数，n表示样本的第n个特征编号，pnm表示n属于m类的预测概率值，qnm为经过标签平滑操作后的软标签符号函数，ε为超参数。
5.根据权利要求1所述的船舶目标重识别方法，其特征在于：迁移损失Ltran的计算公式为：
Ltran(S,T)＝γMMD(S,T)+ρCORAL(S,T)
其中，Ltran(S,T)，γ和ρ均表示比例权重，S表示源域图像，T表示目标域图像，Ltran(S,T)表示源域图像与目标域图像之间的迁移损失，MMD(S,T)表示源域图像与目标域图像之间的最大均值差异，CORAL(S,T)表示源域图像与目标域图像之间利用子空间变换法进行二阶特征对齐后的二阶统计特征距离。
6.根据权利要求1所述的船舶目标重识别方法，其特征在于：步骤S1中旋转之前还包括对第一船舶图像数据集和第二船舶图像数据集中的图像进行格式统一，格式统一的具体过程为利用加灰条的填充方式使图像的长宽比一致，再缩放至同一分辨率。
7.根据权利要求1所述的船舶目标重识别方法，其特征在于：步骤S1中旋转的角度范围为-10°～10°。
8.一种船舶目标重识别终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任一所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～7中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210414799.3A CN114663743A (zh) | 2022-04-20 | 2022-04-20 | 一种船舶目标重识别方法、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210414799.3A CN114663743A (zh) | 2022-04-20 | 2022-04-20 | 一种船舶目标重识别方法、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663743A true CN114663743A (zh) | 2022-06-24 |
Family
ID=82035499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210414799.3A Pending CN114663743A (zh) | 2022-04-20 | 2022-04-20 | 一种船舶目标重识别方法、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663743A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556172A (zh) * | 2024-01-11 | 2024-02-13 | 青岛哈尔滨工程大学创新发展中心 | 船舶操纵运动预报模型构建方法及船舶操纵运动预报方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977897A (zh) * | 2019-04-03 | 2019-07-05 | 厦门兴康信科技股份有限公司 | 一种基于深度学习的船舶特征重识别方法、应用方法及系统 |
| CN111783523A (zh) * | 2020-05-19 | 2020-10-16 | 中国人民解放军93114部队 | 一种遥感影像旋转目标检测方法 |
| CN113987251A (zh) * | 2021-10-26 | 2022-01-28 | 武汉理工大学 | 船脸特征数据库的建立方法、系统、设备及存储介质 |
-
2022
- 2022-04-20 CN CN202210414799.3A patent/CN114663743A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977897A (zh) * | 2019-04-03 | 2019-07-05 | 厦门兴康信科技股份有限公司 | 一种基于深度学习的船舶特征重识别方法、应用方法及系统 |
| CN111783523A (zh) * | 2020-05-19 | 2020-10-16 | 中国人民解放军93114部队 | 一种遥感影像旋转目标检测方法 |
| CN113987251A (zh) * | 2021-10-26 | 2022-01-28 | 武汉理工大学 | 船脸特征数据库的建立方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐海洋等: ""面向船舶智能航行的多目标实时跟踪方法"", 《华中科技大学学报（自然科学版）》, vol. 50, no. 1, 31 January 2022 (2022-01-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556172A (zh) * | 2024-01-11 | 2024-02-13 | 青岛哈尔滨工程大学创新发展中心 | 船舶操纵运动预报模型构建方法及船舶操纵运动预报方法 |
| CN117556172B (zh) * | 2024-01-11 | 2024-04-19 | 青岛哈尔滨工程大学创新发展中心 | 船舶操纵运动预报模型构建方法及船舶操纵运动预报方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563303B (zh) | 一种基于深度学习的鲁棒性舰船目标检测方法 | |
| CN111738112B (zh) | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN108765458A (zh) | 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法 | |
| CN111160120A (zh) | 基于迁移学习的Faster R-CNN物品检测方法 | |
| CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| Dowden et al. | Sea ice classification via deep neural network semantic segmentation | |
| CN111723632B (zh) | 一种基于孪生网络的船舶跟踪方法及系统 | |
| CN112348758B (zh) | 一种光学遥感图像数据增强方法及目标识别方法 | |
| CN112699717A (zh) | 基于gan网络的sar图像生成方法及生成装置 | |
| CN114821358A (zh) | 光学遥感图像海上舰船目标提取与识别方法 | |
| Zhao et al. | CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm | |
| CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
| CN115147723A (zh) | 一种内河船舶识别与测距方法、系统、介质、设备及终端 | |
| Xue et al. | Rethinking automatic ship wake detection: state-of-the-art CNN-based wake detection via optical images | |
| CN116109936A (zh) | 基于光学遥感的目标检测与识别方法 | |
| Jeong et al. | Enriching SAR ship detection via multistage domain alignment | |
| CN113850783B (zh) | 一种海面船舶检测方法及系统 | |
| CN114663743A (zh) | 一种船舶目标重识别方法、终端设备及存储介质 | |
| CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN114241402A (zh) | 海面溢油检测方法、装置、电子设备及存储介质 | |
| Zhao et al. | Multitask learning for sar ship detection with gaussian-mask joint segmentation | |
| CN116630808A (zh) | 基于遥感图像特征提取的旋转舰船检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |