CN111259812A - 基于迁移学习的内河船舶重识别方法、设备及存储介质 - Google Patents

基于迁移学习的内河船舶重识别方法、设备及存储介质 Download PDF

Info

Publication number
CN111259812A
CN111259812A CN202010053647.6A CN202010053647A CN111259812A CN 111259812 A CN111259812 A CN 111259812A CN 202010053647 A CN202010053647 A CN 202010053647A CN 111259812 A CN111259812 A CN 111259812A
Authority
CN
China
Prior art keywords
data set
inland
identification
inland ship
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010053647.6A
Other languages
English (en)
Other versions
CN111259812B (zh
Inventor
付宇卓
刘婷
向孙程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Sichuan Jiuzhou Electric Group Co Ltd
Original Assignee
Shanghai Jiaotong University
Sichuan Jiuzhou Electric Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Sichuan Jiuzhou Electric Group Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202010053647.6A priority Critical patent/CN111259812B/zh
Publication of CN111259812A publication Critical patent/CN111259812A/zh
Application granted granted Critical
Publication of CN111259812B publication Critical patent/CN111259812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于迁移学习的内河船舶重识别方法、设备及存储介质，重识别方法利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用第一重识别模型对无标签的内河船舶数据集进行特征提取；利用无监督K‑Means聚类算法，对第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集；利用第一内河船舶数据集对第一重识别模型微调，得到内河船舶重识别模型。利用内河船舶重识别模型，得到每一张待识别内河船舶图像的候选图像列表。本发明提出的基于迁移学习的内河船舶重识别方法不需要对内河船舶数据集进行标注，很好的解决了现有技术中在同域场景下内河船舶数据集有限、标注成本大以及精度不高的问题。

Description

基于迁移学习的内河船舶重识别方法、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别涉及基于迁移学习的内河船舶重识别方法、设备及存储介质。
背景技术
随着计算机视觉技术的不断发展，大规模的摄像头布置在城市的各个角落，行人重识别技术结合目前大量的图像和视频数据，在智能视频监控以及智能安保等领域，发挥着越来越重要的作用。得益于深度学习算法的快速发展、硬件计算能力的迅速提升以及大规模数据集如CUHK03、Market-1501、MSMT17等的公布，行人重识别技术在一些标准公开数据集上的测试准确率已经得到了显著提高。
现有技术中，应用最为广泛的重识别方法的基本思想是把重识别问题转换为分类问题，方法缺点是对于给定一个目标域，需要大量有标签的数据集来初始化CNN模型。具体地，以内河船舶重识别方法为例，其基本方法为，首先，利用一个特定场景的大量有标签的数据集预训练一个CNN(卷积神经网络)模型，比如采用ResNet-50模型；然后，提取输入图像的全局特征，之后接一个全连接层和softmax分类器，把每一类内河船舶视为一类，通过优化分类损失函数来训练这个模型。尽管基于深度神经卷积网络的方法取得了显著的进展，而现实中，针对一个特定的场景，往往拿不到这么多的数据集从而导致模型的测试性能不佳。
进一步地，不仅如此，人为对数据集进行标注往往又花费较大的人力和物力。这其中，较为典型的就是内河船舶重识别方法，就普遍面临这样的问题，目前针对内河船舶重识别的数据集非常有限，同时给定一个特定的内河船舶重识别场景，为了达到令人满意的识别精度，往往需要花费大量的人力和物力去标注内河船舶样本来训练重识别模型。
因此，如何解决内河船舶标注样本不足，从而进一步提高内河船舶重识别方法的精度，成为本领域技术人员亟待解决的技术问题之一。
需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明所要解决的技术问题为，现有技术中内河船舶重识别方法在同域场景下数据集有限，标注成本大以及识别精度不高的问题。本发明的其中一个目的是提供一种基于迁移学习的内河船舶重识别方法，另外一个目的是提供一种计算机设备和提供一种计算机存储介质。
为了实现上述第一个目的，本发明通过以下技术方案予以实现：一种基于迁移学习的内河船舶重识别方法，包括如下步骤：
S100：利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取；
S200:利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集；
S300：利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型；
S400：利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表；
其中，所述风格迁移包括将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格。
可选地，在步骤S100之前，还包括以下预处理步骤，
分别对所述行人重识别数据集和所述无标签的内河船舶数据集中的每一张图片进行归一化处理，得到大小统一的图片；
利用SPGAN模型，将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格，得到所述风格迁移后的行人重识别数据集。
可选地，步骤S100中所述利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取，包括以下方法，
S110：加载一个在ImageNet上预训练的ResNet-50残差网络作为预训练模型；
S120：将所述风格迁移后的行人重识别数据集作为训练数据集，输入所述预训练模型对其进行训练，得到具有特征提取能力的所述第一重识别模型；
S130：利用训练好的所述第一重识别模型对所述无标签的内河船舶数据集进行特征提取。
可选地，步骤S200中，所述利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集，包括以下骤，
S210：设定所述无监督K-means聚类算法的聚类可靠性阈值λ；
S220：根据所述无标签的内河船舶数据集的数据规模，设定所述无标签的内河船舶数据集的聚类中心K；
S230：加载所述第一重识别模型以及利用所述第一重识别模型对无标签的内河船舶数据集提取的特征；
S240：利用所述无监督K-means聚类算法对所述提取的特征聚类；
S250：计算所述无标签的内河船舶数据集中的每一个内河船舶图像与所述聚类中心K之间的距离，将可靠性大于所述聚类可靠性阈值λ的所述内河船舶图像划分为同一类，得到具有伪标签的第一内河船舶数据集。
可选地，所述聚类可靠性阈值λ取值范围包括0.6至0.95。
可选地，步骤S300中所述利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型，包括以下方法，
S310：将所述第一重识别模型作为第N版本重识别模型，将所述第一内河船舶数据集作为第N版本的训练数据集，N＝1；
S320：将第N版本的训练数据集作为输入训练数据集，输入第N版本重识别模型对其进行训练，得到具有特征提取能力的第N+1版本重识别模型；
S330：使用第N+1版本重识别模型，对第N版本的训练数据集进行特征提取并使用无监督K-Means聚类算法对其聚类，得到第N+1版本的训练数据集；
S340：判断所述第N+1版本重识别模型是否满足预设条件，若满足，执行步骤S350；否则，N＝N+1，执行步骤S320；
S350：将所述第N+1版本重识别模型作为所述内河船舶重识别模型。
可选地，步骤S340中所述判断所述第N+1版本重识别模型是否满足预设条件中，所述预设条件包括，
所述第N+1版本的训练数据集的可靠样本数量与所述第N版本的训练数据集的可靠样本数量相同。
可选地，步骤S400中利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量的之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表，包括以下方法，
S410：将所述待识别内河船舶数据集输入到所述内河船舶重识别模型进行前向推理，把所述内河船舶重识别模型的最后一个池化层的输出转换为一维特征向量，得到所述特征向量，并对每一个所述待识别内河船舶图像分类预测；
S420：计算每一张内河船舶图像的所述特征向量之间的欧式距离，得到所述内河船舶图像间的相似度，从而得到每个所述待识别内河船舶图像的候选图像列表；
S430：对所述候选图像列表按照相似度的大小重新进行排序，获取内河船舶重识别结果。
本发明通过以下技术方案，实现一种计算机设备的目的，包括处理器以及存储设备，所述处理器适于实现各指令，所述存储设备适于存储多条指令，所述指令适于由所述处理器加载并执行上述任一项所述基于迁移学习的内河船舶重识别方法。
进一步地，本发明通过以下技术方案，实现提供一种计算机可读存储介质的目的。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行的指令，当所述计算机可执行的指令被执行时上述任意一项所述基于迁移学习的内河船舶重识别方法。
与现有技术相比，本发明提供的一种基于迁移学习的内河船舶重识别方法具有以下有益效果：
本发明提出的一种基于迁移学习的内河船舶重识别方法，提出了一种基于迁移学习的内河船舶重识别框架。
首先，利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取，然后利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集。从而为无标签的内河船舶数据集打上了伪标签，解决了当前认为对内河船舶数据集进行标注花费较大人力和物力的问题，节省了人力和物力成本，提供了识别效率。
接着，利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型。由此，随着训练迭代的次数逐渐变多，不仅内河船舶的可靠样本数量也逐渐变多，解决了现有技术中内河船舶在同域场景下数据集有限的问题。而且在整个过程中，CNN模型会在内河船舶重识别任务上渐进式的学到更多更具有判别力的特征，而且整个训练过程是一个动态的学习过程。
进一步地，本发明提出一种基于迁移学习的内河船舶重识别方法利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表。该迁移学习方法在当前内河船舶数据集上显著提高了内河船舶重识别方法的精度。
本发明提供的一种计算机设备和一种计算机可读存储介质与本发明提供的一种基于迁移学习的内河船舶重识别方法属于同一发明构思，具有与所述基于迁移学习的内河船舶重识别方法同样的有益效果。
附图说明
图1是本发明实施例一的其中一种基于迁移学习的内河船舶重识别方法的流程示意图；
图2是图1中步骤S100的其中一种方法流程示意图；
图3是图1中步骤S200的其中一种方法流程示意图；
图4是图1中步骤S300的其中一种方法流程示意图；
图5是图1中步骤S400的其中一种方法流程示意图；
图6是本发明实施例二的其中一种基于迁移学习的内河船舶重识别设备的结构示意图；
图7是本发明实施例三的其中一种计算机设备的结构框图；
其中，附图标记说明如下：
100-处理器，200-存储器，300-多媒体组件，400-输入/输出接口，500-通信组件；
610-模型构建模块，620-聚类标注模块，630-模型训练模块，640-内河船舶识别模块。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明提出的基于迁移学习的内河船舶重识别方法、设备及存储介质作进一步详细说明。
应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
需要说明的是，本文的说明书和权利要求书以及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必理解为特定的顺序或先后次序。
显然地，本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。
值得进一步强调的是，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
<实施例一>
本发明的其中一个实施例，提供了一种基于迁移学习的内河船舶重识别方法，如附图1所示，包括如下步骤：
S100：利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取。
S200:利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集。
S300：利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型。
S400：利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表。
其中，所述风格迁移包括将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格。
以下，将对上述各个步骤进一步详细说明。
作为优选，在其中一种实施方式中，在步骤S100之前，还包括以下预处理步骤，
步骤一：分别对所述行人重识别数据集和所述无标签的内河船舶数据集中的每一张图片进行归一化处理，得到大小统一的图片。较佳地，在本实施例中，将所述行人重识别数据集和所述无标签的内河船舶数据集中的每一张图片均统一归一化为224×224(单位：像素)的大小。显而易见地，这并非本发明的限制，而只是较佳实施方式的描述，在其他的实施方式中，也可以将每一张图片归一化为其他的尺寸，比如200×200(单位：像素)的大小，本发明对归一化后的图片尺寸及计量单位不作任何限制。
步骤二：利用SPGAN模型，将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格，得到所述风格迁移后的行人重识别数据集。具体地，利用SPGAN模型，将所述行人重识别数据集作为源域，将所述无标签的内河船舶数据集作为目标域，将所述源域和所述目标域输入SPGAN网络，将在不同光照，不同时段，不同季节拍摄的所述行人重识别数据集中的图像风格迁移到所述无标签的内河船舶数据集中的图像风格。较佳地，在其中一种实施方式中，包括以下子步骤：
第一步，引入SPGAN模型，将所述行人重识别数据集作为源域，所述无标签的内河船舶数据集作为目标域。
第二步，将所述源域和所述目标域的图像输入SPGAN模型中，并对所述SPGAN进行训练使其具有风格迁移的能力。
第三步，用GAN学习的生成函数G(*)将所述行人重识别模型数据集中的图像风格迁移到所述无标签的内河船舶数据集中的图像风格。显然地，在其他的实施方式中，也可以使用CycleGAN学习的生成函数G(*)，得到风格迁移后的行人重识别数据集，本发明对此并无限制。
作为优选，步骤S100中所述利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取，如附图2所示，包括以下方法，
S110：加载一个在ImageNet上预训练的ResNet-50残差网络作为预训练模型。较佳地，在其中一种实施方式中，使用深度学习框架tensorflow加载Resnet-50残差网络作为预训练模型。显然地，本实施例选用ResNet-50残差网络作为预训练模型，仅是较佳实施方式的描述，而并非本发明的限制，在其他的实施方式中，也可以选用AlexNet，VGG等，本发明对此并不限制。
S120：将所述风格迁移后的行人重识别数据集作为训练数据集，输入所述预训练模型对其进行训练，得到具有特征提取能力的所述第一重识别模型。
S130：利用训练好的所述第一重识别模型对所述无标签的内河船舶数据集进行特征提取。
作为优选，步骤S200中，所述利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集。在其中一种实施方式中，先对所述无监督K-Means聚类算法的参数进行设置，然后对无标签的内河船舶数据集进行伪标签估计。K-Means均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。在其中一个实施方式中，具体地，如附图3所示，包括以下方法，
S210：设定所述无监督K-means聚类算法的聚类可靠性阈值λ。具体地，所述聚类可靠性阈值λ取值范围包括0.6至0.95，较佳地，在其中一种实施方式中，λ设为0.9，即：设定所述无监督K-means聚类算法的聚类可靠性阈值λ＝0.9来控制聚类得到可靠样本的数据。
S220：根据所述无标签的内河船舶数据集的数据规模，设定所述无标签的内河船舶数据集的聚类中心K。
S230：加载所述第一重识别模型以及利用所述第一重识别模型对无标签的内河船舶数据集提取的特征。
S240：利用所述无监督K-means聚类算法对所述提取的特征聚类。
S250：计算所述无标签的内河船舶数据集中的每一个内河船舶图像与所述聚类中心K之间的距离，将可靠性大于所述聚类可靠性阈值λ的所述内河船舶图像划分为同一类，得到具有伪标签的第一内河船舶数据集。
优选地，在其中一种实施方式中，步骤S300中所述利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型。具体地，通过具有伪标签的第一内河船舶数据集来重新训练第一重识别模型，第一轮迭代结束后练第一重识别模型升级为第2版本，继续利用第二版本的第一重识别模型来对内河船舶数据集抽取特征并无监督K-Means聚类，使用聚类得到的伪标签样本继续微调第2版本的第一重识别模型，使其升级为第3版本的第一重识别模型；如此反复迭代下去，无监督K-Means算法打上的伪标签越来越准确，同时更高版本的第一重识别模型提取特征的能力越来越强。整个过程是一个动态的训练过程，直到算法最后收敛，聚类得到的可靠样本数量不再增加，然后训练过程结束，最终版本的第一重识别模型即为所述内河船舶重识别模型。较佳地，如附图4所示，在其中一种实施方式中，包括以下方法，
S310：将所述第一重识别模型作为第N版本重识别模型，将所述第一内河船舶数据集作为第N版本的训练数据集，N＝1。
S320：将第N版本的训练数据集作为输入训练数据集，输入第N版本重识别模型对其进行训练，得到具有特征提取能力的第N+1版本重识别模型。
S330：使用第N+1版本重识别模型，对第N版本的训练数据集进行特征提取并使用无监督K-Means聚类算法对其聚类，得到第N+1版本的训练数据集。
S340：判断所述第N+1版本重识别模型是否满足预设条件，若满足，执行步骤S350；否则，N＝N+1，执行步骤S320。
较佳地，在其中一种实施方式中，所述预设条件包括，所述第N+1版本的训练数据集的可靠样本数量与所述第N版本的训练数据集的可靠样本数量相同。
S350：将所述第N+1版本重识别模型作为所述内河船舶重识别模型。
至此，利用标有伪标签的内河船舶数据集来重新微调最初的CNN模型。随着训练迭代的次数逐渐变多，内河船舶数据集的可靠样本数量也逐渐变多。在整个过程中，CNN模型会在内河船舶重识别任务上渐进式的学到更多更具有判别力的特征，整个训练过程是一个动态的学习过程。
优选地，如附图5所示，步骤S400中利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量的之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表，包括以下方法，
S410：将所述待识别内河船舶数据集输入到所述内河船舶重识别模型进行前向推理，把所述内河船舶重识别模型的最后一个池化层的输出转换为一维特征向量，得到所述特征向量，并对每一个所述待识别内河船舶图像分类预测。
S420：计算每一张内河船舶图像的所述特征向量之间的欧式距离，得到所述内河船舶图像间的相似度，从而得到每个所述待识别内河船舶图像的候选图像列表。
S430：对所述候选图像列表按照相似度的大小重新进行排序，获取内河船舶重识别结果。
综上所述，本发明提供的一种基于迁移学习的内河船舶重识别方法，主要解决目前内河船舶重识别方法在同域场景下数据集有限、标注成本大以及精度不高的问题。相比于现有技术，该方法提出的一种基于迁移学习的内河船舶重识别方法，利用大量标注的行人重识别数据集初始化一个CNN模型，当给定一个内河船舶重识别目标域，不需要对其进行标注，并通过K-Means聚类算法自动挖掘可靠样本并进行打标，最后利用伪标签样本重新微调最初的CNN模型，模型通过反复迭代训练，不断挖掘可靠样本来提高CNN模型的特征提取能力，直到内河船舶可靠样本数量不再增加，算法最终收敛。在内河船舶重识别场景下达到令人满意的识别精度。
<实施例二>
如附图6所示，本发明实施例示例性示出的一种基于迁移学习的内河船舶重识别装置，包括模型构建模块610、聚类标注模块620、模型训练模块630和内河船舶识别模块640。以下将对此详细介绍。
模型构建模块610，被配置为利用风格迁移后的行人重识别数据集，还用于初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取。其中，所述风格迁移包括将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格。
聚类标注模块620，被配置为利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集。
模型训练模块630，被配置为利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型。
内河船舶识别模块640，被配置为利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关方法的实施方式中进行了详细描述，此处将不做详细阐述说明。
另外，上述对基于迁移学习的内河船舶重识别装置组成模块进行的划分，仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，并且，各个模块的物理实现也可以有多种方式，本发明对此不做限定。
<实施例三>
附图7是本发明实施例示例性示出的一种计算机设备的结构框图。如附图7所示，在本实施例中所述计算机设备包括：处理器100以及存储器200，所述处理器100适于实现各指令，所述存储器200适于存储多条指令，所述指令适于由所述处理器100加载并执行上述任一实施方式所述基于迁移学习的内河船舶重识别方法。较佳地，本实施例提供的一种计算机设备还可以包括多媒体组件300，输入/输出接口400以及通信组件500中的一个或多个，其中，所述的输入/输出接口包括I/O(input/output)接口。
具体地，所述处理器100用于控制所述计算机设备的整体操作，以完成上述的基于迁移学习的内河船舶重识别方法的全部或部分步骤。所述存储器200用于存储各种类型的数据以支持在所述计算机设备的操作，这些数据例如可以包括用于在所述基于迁移学习的内河船舶重识别装置上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。所述存储器200可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。所述多媒体组件300可以包括屏幕和音频组件。其中屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在所述存储器200或通过所述通信组件500发送。较佳地，所述音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口400为所述处理器100和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。所述通信组件500用于所述计算机设备与其他设备之间进行有线或无线通信。其中，所述无线通信包括但不限于：例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的所述通信组件500可以包括：Wi-Fi模块、蓝牙模块和/或NFC模块。
进一步地，作为优选，在一示例性实施例中，所述计算机设备可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于迁移学习的内河船舶重识别方法。
本发明还进一步提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行的指令，当所述计算机可执行的指令被执行时实现如上文所述的基于迁移学习的内河船舶重识别方法的步骤，具体的步骤上文已经详述，此处不再赘述。例如，所述计算机可读存储介质可以为上述包括程序指令的存储器200，上述程序指令可由上述计算机设备的所述处理器100执行以完成上述的基于迁移学习的内河船舶重识别方法。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
通过以上实施方式的描述，本领域内的技术人员应能够明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全软件实施例、完全硬件实施例、或结合软件和硬件方面的实施例的形式，但很多情况下，前者是更佳的实施方式。基于这样的理解，本发明的技术方案对现有技术做出贡献的部分能以计算机软件产品的形式体现出来，所述计算机软件产品存储在计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等。
本发明是根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明提供的一种基于迁移学习的内河船舶重识别方法、设备及存储介质的优选实施例而已，并非对本发明范围的任何限定，本发明包括但不局限于上述实施中所列举的构型。对于本领域的技术人员来说，以根据上述实施例的内容举一反三，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均在包含在本发明的保护范围之内。

Claims (10)

1.一种基于迁移学习的内河船舶重识别方法，其特征在于，包括如下步骤：
S100：利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取；
S200:利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集；
S300：利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型；
S400：利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表；
其中，所述风格迁移包括将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格。
2.根据权利要求1所述的基于迁移学习的内河船舶重识别方法，其特征在于，在步骤S100之前，还包括以下预处理步骤，
分别对所述行人重识别数据集和所述无标签的内河船舶数据集中的每一张图片进行归一化处理，得到大小统一的图片；
利用SPGAN模型，将所述行人重识别数据集中的图像风格迁移为所述无标签的内河船舶数据集中的图像风格，得到所述风格迁移后的行人重识别数据集。
3.根据权利要求1所述的基于迁移学习的内河船舶重识别方法，其特征在于，步骤S100中所述利用风格迁移后的行人重识别数据集，初始化一个CNN模型得到第一重识别模型，并利用所述第一重识别模型对无标签的内河船舶数据集进行特征提取，包括以下方法，
S110：加载一个在ImageNet上预训练的ResNet-50残差网络作为预训练模型；
S120：将所述风格迁移后的行人重识别数据集作为训练数据集，输入所述预训练模型对其行训练，得到具有特征提取能力的所述第一重识别模型；
S130：利用训练好的所述第一重识别模型对所述无标签的内河船舶数据集进行特征提取。
4.根据权利要求1所述的基于迁移学习的内河船舶重识别方法，其特征在于，步骤S200中，所述利用无监督K-Means聚类算法，对所述第一重识别模型提取的特征进行聚类，得到具有伪标签的第一内河船舶数据集，包括以下骤，
S210：设定所述无监督K-means聚类算法的聚类可靠性阈值λ；
S220：根据所述无标签的内河船舶数据集的数据规模，设定所述无标签的内河船舶数据集的聚类中心K；
S230：加载所述第一重识别模型以及利用所述第一重识别模型对无标签的内河船舶数据集提取的特征；
S240：利用所述无监督K-means聚类算法对所述提取的特征聚类；
S250：计算所述无标签的内河船舶数据集中的每一个内河船舶图像与所述聚类中心K之间的距离，将可靠性大于所述聚类可靠性阈值λ的所述内河船舶图像划分为同一类，得到具有伪标签的第一内河船舶数据集。
5.根据权利要求4所述的基于迁移学习的内河船舶重识别方法，其特征在于，所述聚类可靠性阈值λ取值范围包括0.6至0.95。
6.根据权利要求1所述的基于迁移学习的内河船舶重识别方法，其特征在于，步骤S300中所述利用所述第一内河船舶数据集对所述第一重识别模型微调，得到内河船舶重识别模型，包括以下方法，
S310：将所述第一重识别模型作为第N版本重识别模型，将所述第一内河船舶数据集作为第N版本的训练数据集，N＝1；
S320：将第N版本的训练数据集作为输入训练数据集，输入第N版本重识别模型对其进行训练，得到具有特征提取能力的第N+1版本重识别模型；
S330：使用第N+1版本重识别模型，对第N版本的训练数据集进行特征提取并使用无监督K-Means聚类算法对其聚类，得到第N+1版本的训练数据集；
S340：判断所述第N+1版本重识别模型是否满足预设条件，若满足，执行步骤S350；否则，N＝N+1，执行步骤S320；
S350：将所述第N+1版本重识别模型作为所述内河船舶重识别模型。
7.根据权利要求6所述的基于迁移学习的内河船舶重识别方法，其特征在于，步骤S340中所述判断所述第N+1版本重识别模型是否满足预设条件中，所述预设条件包括，
所述第N+1版本的训练数据集的可靠样本数量与所述第N版本的训练数据集的可靠样本数量相同。
8.根据权利要求1所述的基于迁移学习的内河船舶重识别方法，其特征在于，步骤S400中利用所述内河船舶重识别模型，提取待识别内河船舶数据集中每一张待识别内河船舶图像的深度特征得到特征向量，计算所述特征向量的之间的欧式距离，得到每一张待识别内河船舶图像的候选图像列表，包括以下方法，
S410：将所述待识别内河船舶数据集输入到所述内河船舶重识别模型进行前向推理，把所述内河船舶重识别模型的最后一个池化层的输出转换为一维特征向量，得到所述特征向量，并对每一个所述待识别内河船舶图像分类预测；
S420：计算每一张内河船舶图像的所述特征向量之间的欧式距离，得到所述内河船舶图像间的相似度，从而得到每个所述待识别内河船舶图像的候选图像列表；
S430：对所述候选图像列表按照相似度的大小重新进行排序，获取内河船舶重识别结果。
9.一种计算机设备，其特征在于，包括处理器以及存储设备，所述处理器适于实现各指令，所述存储设备适于存储多条指令，所述指令适于由所述处理器加载并执行权利要求1至8中任一项所述基于迁移学习的内河船舶重识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行的指令，其特征在于，当所述计算机可执行的指令被执行时实现权利要求1至8中任意一项所述基于迁移学习的内河船舶重识别方法。
CN202010053647.6A 2020-01-17 2020-01-17 基于迁移学习的内河船舶重识别方法、设备及存储介质 Active CN111259812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010053647.6A CN111259812B (zh) 2020-01-17 2020-01-17 基于迁移学习的内河船舶重识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010053647.6A CN111259812B (zh) 2020-01-17 2020-01-17 基于迁移学习的内河船舶重识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111259812A true CN111259812A (zh) 2020-06-09
CN111259812B CN111259812B (zh) 2023-04-18

Family

ID=70950800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010053647.6A Active CN111259812B (zh) 2020-01-17 2020-01-17 基于迁移学习的内河船舶重识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111259812B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710011A (zh) * 2020-06-10 2020-09-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
CN112016402A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置
WO2022001233A1 (zh) * 2020-11-27 2022-01-06 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN115329857A (zh) * 2022-08-04 2022-11-11 武汉理工大学 内河通航水域等级划分方法、装置、电子设备及存储介质
CN112016402B (zh) * 2020-08-04 2024-05-17 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018067080A1 (en) * 2016-10-07 2018-04-12 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A marine vessel identification method
CN109635708A (zh) * 2018-12-06 2019-04-16 中山大学 一种基于三数据集交叉迁移学习的无监督行人再识别方法
CN109948561A (zh) * 2019-03-25 2019-06-28 广东石油化工学院 基于迁移网络的无监督图像视频行人重识别的方法及系统
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110569844A (zh) * 2019-08-26 2019-12-13 中国人民解放军91550部队 基于深度学习的船舶识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018067080A1 (en) * 2016-10-07 2018-04-12 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A marine vessel identification method
CN109635708A (zh) * 2018-12-06 2019-04-16 中山大学 一种基于三数据集交叉迁移学习的无监督行人再识别方法
CN109948561A (zh) * 2019-03-25 2019-06-28 广东石油化工学院 基于迁移网络的无监督图像视频行人重识别的方法及系统
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110569844A (zh) * 2019-08-26 2019-12-13 中国人民解放军91550部队 基于深度学习的船舶识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘仁春，孟朝晖: "基于孪生对抗SGAN的行人重识别研究" *
向孙成 等: "deep unsupervised progressive learning for distant domain adaptation" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710011A (zh) * 2020-06-10 2020-09-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
CN112016402A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置
CN112016402B (zh) * 2020-08-04 2024-05-17 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置
WO2022001233A1 (zh) * 2020-11-27 2022-01-06 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN115329857A (zh) * 2022-08-04 2022-11-11 武汉理工大学 内河通航水域等级划分方法、装置、电子设备及存储介质
CN115329857B (zh) * 2022-08-04 2024-02-09 武汉理工大学 内河通航水域等级划分方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111259812B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US20230108692A1 (en) Semi-Supervised Person Re-Identification Using Multi-View Clustering
US20210027098A1 (en) Weakly Supervised Image Segmentation Via Curriculum Learning
CN111259812B (zh) 基于迁移学习的内河船舶重识别方法、设备及存储介质
WO2019240964A1 (en) Teacher and student based deep neural network training
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN112434618B (zh) 基于稀疏前景先验的视频目标检测方法、存储介质及设备
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
CN114399644A (zh) 一种基于小样本目标检测方法及装置
US20210089823A1 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium
CN112990331A (zh) 图像处理方法、电子设备和存储介质
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
KR20200092450A (ko) 데이터 라벨링을 수행하기 위한 기법
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN111652320B (zh) 一种样本分类方法、装置、电子设备及存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN108460453B (zh) 一种用于ctc训练的数据处理方法、装置及系统
CN111695526B (zh) 网络模型生成方法、行人重识别方法及装置
CN115131633A (zh) 一种模型迁移方法、装置及电子设备
CN113095235A (zh) 一种基于弱监督判别机制的图像目标检测方法、系统及装置
CN113392867A (zh) 一种图像识别方法、装置、计算机设备及存储介质
US20200364893A1 (en) Point depth estimation from a set of 3d-registered images
CN112906728A (zh) 一种特征比对方法、装置及设备
CN115482436B (zh) 图像筛选模型的训练方法、装置以及图像筛选方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant