CN111401307A - 基于深度度量学习的卫星遥感图像目标关联方法和装置 - Google Patents

基于深度度量学习的卫星遥感图像目标关联方法和装置 Download PDF

Info

Publication number
CN111401307A
CN111401307A CN202010270683.8A CN202010270683A CN111401307A CN 111401307 A CN111401307 A CN 111401307A CN 202010270683 A CN202010270683 A CN 202010270683A CN 111401307 A CN111401307 A CN 111401307A
Authority
CN
China
Prior art keywords
target
training
image
association
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010270683.8A
Other languages
English (en)
Other versions
CN111401307B (zh
Inventor
姚力波
林迅
张筱晗
周强
刘瑜
孙炜玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval Aeronautical University
Original Assignee
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval Aeronautical University filed Critical Naval Aeronautical University
Priority to CN202010270683.8A priority Critical patent/CN111401307B/zh
Publication of CN111401307A publication Critical patent/CN111401307A/zh
Application granted granted Critical
Publication of CN111401307B publication Critical patent/CN111401307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卫星遥感图像的CNN训练及多目标关联方法，其中，基于卫星遥感图像的CNN训练方法包括：构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述目标对象包括多个类别；将所述训练样本集输入至卷积神经网络进行训练；其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。本发明的技术方案能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。

Description

基于深度度量学习的卫星遥感图像目标关联方法和装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种基于卫星遥感图像的CNN训练、多目标关联方法、装置、设备及介质。
背景技术
目标关联指的是在图像配准的基础上，将不同时刻获取的包括目标对象的图像中，对目标对象进行准确对应，类似于对图像中的多个目标对象分别进行追踪。
目标关联出现错误将直接影响进一步融合识别和跟踪的合理性和准确性。部分类型图像对应的观测范围广，且同一区域存在多个相似感兴趣目标。对于这类图像，如果仅利用单一的目标图像特征作为关联量容易出现错误关联，严重降低融合识别和跟踪的处理效果。
发明内容
本发明实施例提供一种基于卫星遥感图像的CNN训练、多目标关联方法、装置、设备及介质，以降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
第一方面，本发明实施例提供了一种基于卫星遥感图像的CNN训练方法，包括：
构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；
将所述训练样本集输入至卷积神经网络进行训练；
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
第二方面，本发明实施例还提供了一种基于卫星遥感图像的多目标关联方法，包括：
获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；
将所述目标对象的待识别图像输入至通过第一方面所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果；
对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
第三方面，本发明实施例还提供了一种基于卫星遥感图像的CNN训练装置，包括：
训练样本集构建模块，用于构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；
网络训练模块，用于将所述训练样本集输入至卷积神经网络进行训练；
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
第四方面，本发明实施例还提供了一种基于卫星遥感图像的多目标关联装置，包括：
待识别图像获取模块，用于获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；
多目标检测结果获取模块，用于将所述目标对象的待识别图像输入至通过上述任一所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果；
多目标关联结果确定模块，用于对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的基于卫星遥感图像的CNN训练方法。
第六方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的基于卫星遥感图像的CNN训练方法。
第七方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的基于卫星遥感图像的多目标关联方法。
第八方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的基于卫星遥感图像的多目标关联方法。
本发明实施例通过构建目标对象对应的，包括目标对象的不同类型图像的样本对的训练样本集，以将训练样本集输入至卷积神经网络进行训练，然后获取目标对象的待识别图像，并将目标对象的待识别图像输入至训练好的卷积神经网络中，得到多目标检测结果，并继续对多目标检测结果求解，以根据多目标检测结果确定多目标关联结果，解决现有多目标关联方法存在的目标关联准确率较低的问题，能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
附图说明
图1是本发明实施例一提供的一种基于卫星遥感图像的CNN训练方法的流程图；
图2a是本发明实施例二提供的一种基于卫星遥感图像的CNN训练方法的流程图；
图2b是本发明实施例二提供的一种基于卫星遥感图像的CNN训练方法的流程示意图图；
图3a是本发明实施例三提供的一种基于卫星遥感图像的多目标关联方法的流程图；
图3b是本发明实施例三提供的一种基于卫星遥感图像的多目标关联方法的流程图；
图3c是本发明实施例三提供的一种二进制编码方式的效果示意图；
图4是本发明实施例四提供的一种基于卫星遥感图像的CNN训练装置的示意图；
图5是本发明实施例五提供的一种基于卫星遥感图像的多目标关联装置的示意图；
图6为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
图1是本发明实施例一提供的一种基于卫星遥感图像的CNN训练方法的流程图，本实施例可适用于训练孪生卷积神经网络以进行多目标关联的情况，该方法可以由基于卫星遥感图像的CNN训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图1所示，该方法包括如下操作：
S110、构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别。
其中，目标对象可以是需要在图像中进行多目标关联的对象，可选的，目标对象可以是具有类内差异性和类间相似性的细粒度对象，如舰船、飞机、或车辆等。目标对象可以包括多个类别，如舰船、飞机、或车辆等均包括几大类，每个大类又包括很多小类。如车辆包括轿车、客车、货车等，货车又可以包括大型货车、中型货车或小型货车等。本发明实施例并不对目标对象的具体类型进行限定。训练样本集中的图像可以是多源卫星遥感图像。
在本发明实施例中，考虑到目标对象具有类内差异性和类间相似性的细粒度特征，当同一图像中出现多个相似的目标对象时，仅利用单一的目标对象特征作为关联量容易出现错误关联，严重降低融合识别和跟踪的处理效果。因此，本发明实施例通过对目标对象构建对应的训练样本集，以通过训练样本集对卷积神经网络进行训练，从而将目标对象的多维度特征作为关联量对目标对象进行基于卫星遥感图像的多目标关联。
需要说明的是，为了进一步提高卷积神经网络对目标对象识别和关联的准确率，可以将目标对象的不同类型图像的样本对作为训练样本集中的训练样本。示例性的，假设舰船对应的多源卫星遥感图像包括红外遥感图像和光学遥感图像两类，或者红外遥感图像和微波遥感图像两类，则可以将舰船的红外遥感图像和光学遥感图像，或者将舰船的红外遥感图像和微波遥感图像等构成一对训练样本的样本对，也即，训练样本中的每一个样本均是由两个图像组成。本发明实施例并不对训练样本集中样本对包括的图像类型进行限定。
S120、将所述训练样本集输入至卷积神经网络进行训练。
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
相应的，目标对象的训练样本集构建完成后，即可将训练样本集输入至卷积神经网络进行训练。可选的，卷积神经网络可以是深度卷积神经网络(DML,Deep MetricLearning)。由于目标对象的训练样本集中的训练样本为不同类型图像的样本对，每个类型的图像对应一个输入分支。因此，在本发明实施例中，可以采用两个卷积神经网络同时进行训练，训练样本集中国的样本对的两组图像可以分别输入到两个卷积神经网络进行特征学习。可选的，可以采用孪生卷积升级网络作为训练对象。在孪生卷积升级网络中，两个卷积神经网络权值共享，相对于权值不共享的伪孪生卷积神经网络来说，采用孪生卷积升级网络进行训练需求的样本数据量要少很多，可以降低训练成本。
本发明实施例通过构建目标对象对应的，包括目标对象的不同类型图像的样本对的训练样本集，以将训练样本集输入至卷积神经网络进行训练，然后获取目标对象的待识别图像，并将目标对象的待识别图像输入至训练好的卷积神经网络中，得到多目标检测结果，并继续对对多目标检测结果求解，以根据多目标检测结果确定多目标关联结果，解决现有多目标关联方法存在的目标关联准确率较低的问题，能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
实施例二
图2a是本发明实施例二提供的一种基于卫星遥感图像的CNN训练方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了构建目标对象的训练样本集以及将所述训练样本集输入至卷积神经网络进行训练的具体实现方式。相应的，如图2a所示，本实施例的方法可以包括：
S210、统计所述目标对象各个类别的样本数目，并依据所述样本数据对各个样本按照设定排序规则进行排序。
图2b是本发明实施例二提供的一种基于卫星遥感图像的CNN训练方法的流程示意图图，下面结合图2a和2b描述具体的训练过程。
其中，所述训练样本集包括正样本和负样本。正样本可以由同一类型目标对象的不同类型图像组成，负样本可以由不同类型目标对象的不同类型图像组成，也即正样本和负样本中包括的样本对都是不同类型的图像对。示例性的，以舰船为例说明，正样本可以是同一艘舰船对应的红外遥感图像和光学遥感图像，负样本对可以是不同舰船对应的红外遥感图像和光学遥感图像。
其中，设定排序规则可以是对各个类别按照样本数目进行排序的规则。
在卷积神经网络的训练过程中，按照逻辑顺序可以主要分为数据采样层、深度学习层、距离度量层和损失函数层。其中，构建目标对象的训练样本集也即数据采样的过程。在本发明实施例中，具体的，可以从数据源中抽取数据生成数据对(xi,yj,ci,cj,lij)，其中，xi和yj分别表示一个样本对，ci和cj分别表示样本xi和yj的类别标签，li,j∈{0,1}表示样本xi和yj是否属于同一类别的标签。正样本和负样本中的图像对是从数据源中随机抽取的，属于一个从多类别到两类别的处理过程。如果直接均匀抽取，正样本的数目会远小于负样本的数目，会面临严重的数据不均衡问题，将正负样本不平衡的数据直接应用在深度学习模型训练中，所获得的评价标准是不准确的。数据不均衡问题的常用的处理方法包括两类：一类是以重采样为代表的数据层面处理方法，通过过采样、欠采样等方法扩充数据集来改变数据分布；另一类是以代价敏感函数代表的算法层面处理方法，在不改变数据分布的情况下，通过调整代价函数等对平衡数据的算法进行改进。在训练的过程中，可能有部分正样本的距离已经很近，部分负样本的距离已经很远，这种类型的样本对于网络的训练作用会不大，而那些距离较远的正样本对和距离较近的负样本对，即Hard Example(难样本)对于网络的训练作用更大。
现有技术中，训练样本集的构建通常采用的是离线方式，也即根据数据源中图像的类别标签，随机选择样本构成正样本和负样本，未能充分考虑Hard Example样本的重要性。本发明实施例为了充分考虑Hard Example样本的重要性，通过在线构建方法构建目标对象的训练集，单个训练批次中正样本与负样本可以按照1:1的比例生成。
相应的，首先统计目标对象各个类别的样本数目，并依据所述样本数据对各个样本按照设定排序规则进行排序，具体可以是：统计目标对象各个类别的样本数目Nc，其中，c＝1,2,…,C，并按照样本数目从大到小重新类别编号N1＞N2＞…＞NC，对各类别样本分别进行无重复随机编号，编号取值为1,2,…,NC。
在一个具体的例子中，假设统计目标对象各个类别的样本数目分别为：第一个类别N1包括20个样本，第二个类别N2包括15个样本，第三个类别N3包括18个样本。按照样本数目从大到小重新类别编号，也即，第一个类别N1包括20个样本，第二个类别N2包括18个样本，第三个类别N3包括15个样本。然后对各个类别中的样本分别进行无重复随机编号，也即，第一个类别N1包括的20个样本的随机编号取值为1,2，……20，第二个类别N2包括的18个样本的随机编号取值为1,2，……18，第三个类别N3包括的15个样本的随机编号取值为1,2，……15。
S220、确定所述训练样本集的数量、各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量。
然后，需要确定训练样本集的数量，也即训练批次数量，还需要确定各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量。为了保证各个类别能够均衡，令单个训练批次的训练样本集对应的类别为C，令单个训练批次的训练样本集中正样本的数量为L，L＞C，负样本的数量为L，则训练样本集中样本的总数目为2×L×M。
S230、根据所述训练样本集包括的所述目标对象的类别确定所述正样本的正样本类别，从各所述正样本类别对应的样本中抽取设定数量的中间正样本，并从所述中间样本中筛选目标正样本作为所述正样本。
其中，设定数量可以根据实际需求设定，如一个类别中样本数量的一半，本发明实施例并不对设定数量对应的数值进行限定。
在本发明实施例中，在确定训练样本集的数量、各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量后，即可构建正样本。
示例性的，根据所述训练样本集包括的所述目标对象的类别确定所述正样本的正样本类别，从各所述正样本类别对应的样本中抽取设定数量的中间正样本，并从所述中间样本中筛选目标正样本作为所述正样本，具体可以是：重复从C个类别中抽取1个类别L次，在每次抽取类别c后，从其对应的Nc个样本中随机抽取[Nc/2]个样本，并计算其相互之间经过网络学习得到的特征之间的距离，选择距离最大的1对样本作为正样本。其中，学习各样本之间特征之间的距离的网络可以是卷积神经网络，也可以是其他类型的学习网络，本发明实施例对此并不进行限制。选择距离最大的1对样本作为正样本的好处是：如果卷积神经网络能够很好的识别于差异较大的同一类型目标对象的不同类型图像，则卷积神经网络可以更好地识别差异较小的同一类型目标对象的不同类型图像。
S240、计算所述训练样本集对应的类别特征中心，根据各类别与所述类别特征中心之间的距离确定负样本对应的类别，并从所述负样本对应的类别中抽取相应的样本组成所述负样本。
其中，类别特征中心可以是训练样本集中各个类别对应的特征中心。
在本发明实施例中，在确定训练样本集的数量、各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量后，即可构建负样本。
示例性的，计算所述训练样本集对应的类别特征中心，根据各类别与所述类别特征中心之间的距离确定负样本对应的类别，并从所述负样本对应的类别中抽取相应的样本组成所述负样本，具体可以是：分别计算C个类别的类别特征中心，并计算各类别与类别特征中心之间的距离，按照从小到大的顺序对各距离进行排序。根据排序结果选择与类别特征中心距离最小的两个类别c和d，分别从类别c的Nc个样本和类别d的Nd个样本随机抽取1个样本组成1个负样本对。按照与类别特征中心之间的距离从小到大的顺序循环执行上述过程，直至生成L对负样本。根据排序结果选择与类别特征中心距离最小的两个类别c和d，分别从类别c的Nc个样本和类别d的Nd个样本随机抽取1个样本组成1个负样本对的好处是：如果卷积神经网络能够很好的识别差异较小的不同类型目标对象的不同类型图像，则卷积神经网络能够更好地识别差异较大的不同类型目标对象的不同类型图像。
S250、将所述训练样本集中的样本输入至所述卷积神经网络，得到两个特征输出值，计算所述特征输出值之间的距离。
相应的，目标对象的训练样本集构建完成后，即可利用训练样本集对卷积神经网络进行训练。在本发明实施例中，可以利用孪生卷积升级网络对训练样本集中的样本进行特征学习，也即将训练样本集中的样本依次输入至深度学习层的两个卷积神经网络中，每次输出均可以得到两个特征输出值。可选的，卷积神经网络模型可以采用VGGNet模型。特征输出值也即样本中图像对在语义层次上的相似度。在训练阶段，两个卷积神经网络对应的特征输出值可能并不相同，为了保证两个卷积神经网络输出的一致性，可以计算统一样本对应的特征输出值之间的距离，也即，将两个卷积神经网络各自提取的特征再输入到距离度量层，计算两组图像之间的相似性。可选的，可以采用Euclidean(欧式距离)、余弦距离或Mahalanobis(马氏距离)等距离函数来计算特征输出值之间的距离。
在一个具体的例子中，假设两个卷积神经网络的映射函数分别为fθ(x)和
Figure BDA0002443042280000083
θ和
Figure BDA0002443042280000081
分别表示两个卷积神经网络的权重矩阵、偏置向量等网络参数。因此，一个样本中图像x和y的相似性为：
Figure BDA0002443042280000084
其中，xi和yj可以是相同或者不同类型的目标对象对应的图像，如果图像中的目标对象属于同一类型的目标，则d(xi,yj)相对较小，反之则d(xi,yj)相对较大。可以理解的是，对卷积神经网络两个特征输出值进行相似性度量的目标是减小类内离散度和类间相似性，即在增大类间距离的同时还要减小类内距离。
S260、根据所述特征输出值、所述特征输出值之间的距离计算目标损失函数，根据所述目标损失函数计算中间损失值。
其中，中间损失值即为在训练过程中计算得到的损失值。目标损失值可以是预设设定的损失值。本发明实施例并不对中间损失值以及目标损失值的具体内容进行限定。
在对卷积神经网络进行训练的过程中，可以根据特征输出值、特征输出值之间的距离计算目标损失函数，根据目标损失函数计算中间损失值。
在本发明的一个可选实施例中，所述目标损失函数可以为：
Figure BDA0002443042280000082
其中，(xi,yj)表示样本对，li,j∈{0,1}表示样本对(xi,yj)中的目标对象是否属于同一个类别，di,j表示所述特征输出值之间的距离，α用于惩罚负样本对距离的阈值，h(α-di,j)表示Hinge损失函数，所述h(α-di,j)的形式为h(x)＝max(0,x)，C表示所述训练样本集对应的目标对象的类别数量，fθ(x)和
Figure BDA0002443042280000094
表示所述卷积神经网络的映射函数，θ和
Figure BDA0002443042280000095
分别所述卷积神经网络的网络参数，ckx和cky表示第k类目标对象类别的样本特征中心向量。
在本发明实施例中，卷积神经网络对应的深度度量学习的损失函数应该包含训练样本集中所有正负样本的损失，正样本用来减小类内距离，负样本用来增大类间距离。包括距离度量的深度距离度量学习的目标损失函数主要有对比损失函数和三元组损失函数。其中，对比损失函数的基本思想是最小化同类样本之间的距离(正样本距离)，惩罚小于一定阈值的异类样本距离(负样本距离)，对比损失函数(也可称为度量函数)可以定义为：
Figure BDA0002443042280000091
其中，(xi,yj)表示样本对，li,j∈{0,1}表示样本对(xi,yj)中的目标对象是否属于同一个类别，di,j表示特征输出值之间的距离，α用于惩罚负样本对距离的阈值，h(α-di,j)表示Hinge损失函数，h(α-di,j)的形式为h(x)＝max(0,x)。
上述对比损失函数只考虑了度量损失，而没有考虑分类损失，为了考虑分类损失因素，本发明实施例深度度量学习的目标损失可以包括正样本对约束LP、负样本对约束LN和中心聚类约束LC三个方面的损失：L＝LP-LN+LO。其中，L表示目标损失，LP约束同类样本(正样本)之间的距离最小，LN约束异类样本(负样本)之间的距离最大，LO约束同类样本。正样本约束LP和负样本约束LN可以用对比损失函数LC表示，中心聚类约束LO用Softmax分类损失来表示，具体可以定义为：
Figure BDA0002443042280000092
其中，C表示所述训练样本集对应的目标对象的类别数量，fθ(x)和
Figure BDA0002443042280000096
表示所述卷积神经网络的映射函数，θ和
Figure BDA0002443042280000097
分别所述卷积神经网络的网络参数，ckx和cky表示第k类目标对象类别的样本特征中心向量。
因此，目标损失函数可以为：
Figure BDA0002443042280000093
S270、判断中间损失值与目标损失值之间的差值是否满足设定阈值，若是，则执行S290，否则，执行S280。
其中，设定阈值可以根据实际需求，本发明实施例并不对设定阈值的具体内容进行限定。
S280、进行反向传播，并返回执行S250，直至所述中间损失值与所述目标损失值之间的差值满足设定阈值。
相应的，如果确定中间损失值与目标损失值之间的差值不满足设定阈值，表明卷积神经网络尚未训练成功，则可以进行反向传播，对卷积神经网络继续训练。
S290、结束训练流程。
相应的，如果确定中间损失值与目标损失值之间的差值满足设定阈值，表明基于卫星遥感图像的CNN训练成功，则可以结束训练流程。
综上，本发明实施例采用了深度距离度量学习将特征学习和距离度量学习集成到一个学习框架中，同时进行特征学习和距离度量学习，并按照“类内差异最小化、类间差异最大化”的基本思想进行深度分层学习，得到一个非线性映射，代替距离度量矩阵，从而将原始数据映射到一个特征空间，在此空间中进行距离度量，深度距离度量学习的优点是同时优化特征学习和度量学习，使两者协同最优。
在本发明实施例中，可选的，可以将目标对象的多源卫星遥感图像构建训练样本集，并基于权值共享卷积神经网络学习多源卫星遥感图像的耦合性和相关性，将不同类型的目标对象的卫星遥感图像映射到一个共同的深度特征空间，以在这个深度特征空间中学习得到度量函数。卫星遥感图像通常为稀疏非均匀观测模式，导致目标对象的运动状态难以精确预测。采用本发明实施例所提供的基于卫星遥感图像的CNN训练方法得到的卷积神经网络则能够对精确预测目标对象的运动状态，从而实现对目标对象的多目标精准关联。
本发明实施例通过构建目标对象对应的，包括目标对象的不同类型图像的样本对的训练样本集，以将训练样本集输入至卷积神经网络进行训练，然后获取目标对象的待识别图像，并将目标对象的待识别图像输入至训练好的卷积神经网络中，得到多目标检测结果，并继续对多目标检测结果求解，以根据多目标检测结果确定多目标关联结果，解决现有多目标关联方法存在的目标关联准确率较低的问题，能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
实施例三
图3a是本发明实施例三提供的一种基于卫星遥感图像的多目标关联方法的流程图，本实施例可适用于利用训练得到的孪生卷积神经网络对图像中的目标对象进行多目标关联的情况，该方法可以由基于卫星遥感图像的多目标关联装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图3a所示，该方法包括如下操作：
S310、获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；。
其中，待识别图像可以是包括目标对象的图像，可以用于对目标对象进行多目标关联。可选的，待识别图像可以是多源卫星遥感图像。待识别图像可以是测试样本集中的图像对，也可以是需要进行多目标关联的图像对。
多目标关联具体指的是将两个不同时刻(t-ΔT时刻和t时刻，如果待识别图像是多源卫星遥感图像，则ΔT可以是遥感卫星的重访周期)的两幅待识别图像中的目标对象进行一一对应，确定哪些目标对象是同一目标对象，哪些是新出现的目标对象以及是否有目标对象消失。目标对象的多目标关联的求解可以看作是一个组合优化问题，即已知在前一时刻t-ΔT的待识别图像中的M个目标以及在当前时刻t的待识别图像中的N个量测，如何将N个量测分配给M个已知目标。图3b是本发明实施例三提供的一种基于卫星遥感图像的多目标关联方法的流程图，下面结合图3a和图3b具体说明。
S320、将所述目标对象的待识别图像输入至通过本发明任一实施例所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果。
其中，多目标检测结果也即卷积神经网络的特征输出值，代表了目标对象之间的相似性度量。
S330、对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
相应的，通过卷积神经网络得到多目标检测结果后，可以对多目标检测结果求解，以根据多目标检测结果确定最优的多目标关联结果。
在本发明的一个可选实施例中，所述对所述多目标检测结果求解，可以包括：确定关联概率矩阵，并根据所述关联概率矩阵计算所述待识别图像中目标对象之间的特征关联概率；确定关联指示矩阵；通过距离约束条件对所述关联指示矩阵和所述特征关联概率进行修正；对所述关联指示矩阵和所述关联概率矩阵进行扩展；根据所述关联指示矩阵确定关联代价矩阵；根据所述关联代价矩阵和所述关联指示矩阵确定整体关联代价函数；对所述整体关联代价函数进行转换，得到目标函数；根据所述关联指示矩阵、所述目标函数以及粒子群优化算法确定多目标关联结果。
在一个具体的例子中，假设t-ΔT时刻待识别图像中M个目标为
Figure BDA0002443042280000121
而t时刻待识别图像中N个目标为
Figure BDA0002443042280000122
首先可以定义关联概率矩阵P，关联概率矩阵P的元素pmn表示目标对象
Figure BDA0002443042280000123
和目标对象
Figure BDA0002443042280000124
的特征关联概率。特征关联概率也可以理解为匹配代价或匹配概率。特征关联概率可以采用公式
Figure BDA0002443042280000125
表示。其中，
Figure BDA0002443042280000126
和
Figure BDA0002443042280000127
分别对应目标
Figure BDA0002443042280000128
和
Figure BDA0002443042280000129
的原始数据
Figure BDA00024430422800001210
和
Figure BDA00024430422800001211
在深度特征空间中的映射，也即两个卷积神经网络对应的两个特征输出值。
Figure BDA00024430422800001212
表示对两个特征输出值之间的距离，为目标对象之间的相似性度量，也即多目标检测结果。然后，确定关联指示矩阵S＝[smn]M×N，代表一种可能的关联方案，其元素smn表示目标对象
Figure BDA00024430422800001213
和目标对象
Figure BDA00024430422800001214
是否关联。其中，S＝[smn]M×N可以表示为：
Figure BDA00024430422800001215
对于卫星遥感图像这类图像类型来说，卫星遥感图像中目标对象的运动状态估计难以估计，但其最大运动速度固定，在一定的观测时间间隔内，能够到达的最大区域是可以预测的。可以通过引入距离约束条件，利用目标对象之间的距离，预先判断潜在的可能目标关联，剔除不可能存在的目标关联，从而修正特征关联概率pmn和关联指示矩阵smn，若
Figure BDA00024430422800001216
和
Figure BDA00024430422800001217
之间的距离大于最大可能距离，则pmn＝smn＝0。其中，距离约束条件可以是：关联指示矩阵S中每一行、每一列都最多只能有一个数值为1。
在实际应用中，考虑到待识别图像受各种因素的影响，例如，卫星遥感图像的卫星成像时间间隔和幅宽等因素影响，T1中的某些目标对象可能不与T2中的任何目标相关联，或者T2中的某些目标对象不与T1中的任何目标相关联，也有可能两种情况同时存在。在本发明实施例中，为了解决上述问题，可以对关联指示矩阵和关联概率矩阵进行扩展。具体可以是：扩展关联指示矩阵S＝[smn](M+N)×(M+N)和关联概率矩阵P＝[pmn](M+N)×(M+N)，其中，m＝0,1,…,M+N，n＝0,1,…,M+N，这里定义
Figure BDA00024430422800001218
分析以下几种情况：
(1)当m≤M，n≤N时，smn＝1表示T1中的目标对象
Figure BDA00024430422800001219
和T2中的目标对象
Figure BDA00024430422800001220
相互关联，
Figure BDA00024430422800001221
(2)当m≤M，N＜n≤M+N时，smn＝1表示T1中的目标对象
Figure BDA00024430422800001222
不与T2中的任何目标对象相互关联，pmn＝exp{-D}；
(3)当M＜m≤M+N，n≤N时，smn＝1表示T2中的目标对象
Figure BDA0002443042280000131
不与T1中的任何目标对象相互关联，pmn＝exp{-D}；
(4)当M＜m≤M+N，N＜n≤M+N时，smn＝1无意义，定义pmn＝1。
然后，可以根据关联指示矩阵确定关联代价矩阵，以根据关联代价矩阵和关联指示矩阵确定整体关联代价函数，并对整体关联代价函数进行转换，得到目标函数。具体可以是：定义目标对象
Figure BDA0002443042280000132
和目标对象
Figure BDA0002443042280000133
的关联代价为cmn＝pmn·smn，则对于每一种可能的关联方案S，可以构建一个关联代价矩阵C：C＝[cmn×smn](M+N)×(M+N)。相应的，整体关联代价函数可以标识为：
Figure BDA0002443042280000134
如此，关联的目的就是在所有可行的关联方案中求解最优关联方案S*，即求取T1的一个子集和T2的一个子集相对应，使得整体关联代价最小：
Figure BDA0002443042280000135
关联代价矩阵最优化问题是具有NP复杂度的组合优化问题，关联指示矩阵S的约束条件为每一行和每一列都只能有一个数值为1，当M＜m≤M+N并且N＜n≤M+N时，smn＝0。考虑上述约束条件，整体关联代价函数进行转换，得到的目标函数可以表示为：
Figure BDA0002443042280000136
其中，A，B和C为常数。上述目标函数中，当且仅当关联指示矩阵S中的每一行(列)只有一个元素为1，其余元素为0时，目标函数的第一项(第二项)为0，并且当M＜m≤M+N，N＜n≤M+N时，第三项无意义关联代价为0。任何一个有意义的关联方案都要求前3项为0，剩下的第4项则表示实际的关联代价。当目标函数的前3项中的任何1项不等于0时，都会引起关联代价的迅速增大，因此，A，B和C可以选择比较大的正数值。
在待识别图像中，当关联目标数目较多时，需要综合考虑计算量、局部最优解等问题。离散二进制粒子群优化算法(DPSO,Discrete Particle Swarm Optimization)是离散空间寻优算法，能以较大的概率迭代搜索到全局寻优解，具有较快的收敛速度和较高的计算效率，在本发明实施例中，可以通过改进的DPSO算法结合关联指示矩阵、目标函数来快速求解最优的关联方案，从而将最优的关联方案确定为多目标关联结果。具体的，可以将通过将关联指示矩阵Si及其目标函数Ei与粒子i的状态及其适应度相对应，也即将关联指示矩阵Si作为粒子i的状态，将目标函数Ei作为DPSO算法的适应度函数。然后，可以采用二进制编码的离散粒子群优化算法，用二进制编码方式来表示多目标的关联状态，粒子位置的每一维被限制为0或者1，粒子速度表示关联状态改变的可能性。DPSO算法首先初始化粒子群状态，为每一个粒子随机赋予一种关联方案，但其中一个粒子的位置通过全局最近邻算法计算关联方案初始化，同时根据适应度函数计算每个粒子的适应度，判断其优劣；计算每个粒子的个体最优适应值和全局最优适应值，引入距离约束条件迭代更新非全局最优适应值粒子的位置和速度，直至最终求得关联指示矩阵的最优解。需要说明的是，与常用的DPSO算法不同的是，本发明实施例所提供的DPSO算法在更新粒子位置状态时，引入了距离约束条件，即保证关联指示矩阵中的每一行和每一列都只有一个元素为1。图3c是本发明实施例三提供的一种二进制编码方式的效果示意图，如图3c所示，对于t-ΔT时刻的M个目标对象
Figure BDA0002443042280000141
和t时刻的N个目标对象
Figure BDA0002443042280000142
每段编码中有且只有1个1。
综上所述，通过将待识别图像输入至训练得到的卷积神经网络，进行特征相似性度量计算，并设计关联代价矩阵，然后通过DPSO算法加速关联代价矩阵的最优方案求解，从而实现目标对象的多目标关联。
本发明实施例通过利用训练好的孪生卷积神经网络对目标对象的待识别图像进行多目标关联，能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例四
图4是本发明实施例四提供的一种基于卫星遥感图像的CNN训练装置的示意图，如图4所示，所述装置包括：训练样本集构建模块410以及网络训练模块420，其中：
训练样本集构建模块410，用于构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；
网络训练模块420，用于将所述训练样本集输入至卷积神经网络进行训练；
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
本发明实施例通过构建目标对象的训练集，以对训练集中的训练图像进行图像预处理得到预处理训练图像，然后对预处理训练图像进行小波变换，得到变换小波图像，并将变换小波图像和预处理训练图像分别输入至卷积神经网络进行训练，训练好的卷积神经网络可以对待识别图像进行识别，解决现有图像识别算法存在的准确率和识别精度较低的问题，从而提高基于卷积神经网络的图像识别方法的准确率和识别精度。
可选的，所述训练样本集包括正样本和负样本；训练样本集构建模块410，包括：样本数目统计单元，用于统计所述目标对象各个类别的样本数目，并依据所述样本数据对各个样本按照设定排序规则进行排序；样本信息确定单元，用于确定所述训练样本集的数量、各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量；正样本筛选单元，用于根据所述训练样本集包括的所述目标对象的类别确定所述正样本的正样本类别，中间正样本抽取单元，用于从各所述正样本类别对应的样本中抽取设定数量的中间正样本，并从所述中间样本中筛选目标正样本作为所述正样本；负样本筛选单元，用于计算所述训练样本集对应的类别特征中心，根据各类别与所述类别特征中心之间的距离确定负样本对应的类别，并从所述负样本对应的类别中抽取相应的样本组成所述负样本。
可选的，网络训练模块420，包括：特征输出值获取单元，用于将所述训练样本集中的样本输入至所述卷积神经网络，得到两个特征输出值；距离计算单元，用于计算所述特征输出值之间的距离；目标损失函数计算单元，用于根据所述特征输出值、所述特征输出值之间的距离计算目标损失函数；中间损失值计算单元，用于根据所述目标损失函数计算中间损失值；反向传播单元，用于在确定所述中间损失值与目标损失值之间的差值不满足设定阈值时，进行反向传播，直至所述中间损失值与所述目标损失值之间的差值满足设定阈值。
可选的，所述目标损失函数为：
Figure BDA0002443042280000151
其中，(xi,yj)表示样本对，li,j∈{0,1}表示样本对(xi,yj)中的目标对象是否属于同一个类别，di,j表示所述特征输出值之间的距离，α用于惩罚负样本对距离的阈值，h(α-di,j)表示Hinge损失函数，所述h(α-di,j)的形式为h(x)＝max(0,x)，C表示所述训练样本集对应的目标对象的类别数量，fθ(x)和
Figure BDA0002443042280000152
表示所述卷积神经网络的映射函数，θ和
Figure BDA0002443042280000153
分别所述卷积神经网络的网络参数，ckx和cky表示第k类目标对象类别的样本特征中心向量。
上述基于卫星遥感图像的CNN训练装置可执行本发明任意实施例所提供的基于卫星遥感图像的CNN训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的基于卫星遥感图像的CNN训练方法。
由于上述所介绍的基于卫星遥感图像的CNN训练装置为可以执行本发明实施例中的基于卫星遥感图像的CNN训练方法的装置，故而基于本发明实施例中所介绍的基于卫星遥感图像的CNN训练方法，本领域所属技术人员能够了解本实施例的基于卫星遥感图像的CNN训练装置的具体实施方式以及其各种变化形式，所以在此对于该基于卫星遥感图像的CNN训练装置如何实现本发明实施例中的基于卫星遥感图像的CNN训练方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中基于卫星遥感图像的CNN训练方法所采用的装置，都属于本申请所欲保护的范围。
实施例五
图5是本发明实施例五提供的一种基于卫星遥感图像的多目标关联装置的示意图，如图5所示，所述装置包括：待识别图像获取模块510、多目标检测结果获取模块520以及多目标关联结果确定模块530，其中：
待识别图像获取模块510，用于获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；
多目标检测结果获取模块520，用于将所述目标对象的待识别图像输入至通过本发明任一实施例所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果；
多目标关联结果确定模块530，用于对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
本发明实施例通过利用训练好的孪生卷积神经网络对目标对象的待识别图像进行多目标关联，能够降低利用单一特征关联引起的模糊性，从而提高对目标对象进行多目标关联的准确率。
可选的，多目标关联结果确定模块530包括：特征关联概率计算单元，用于确定关联概率矩阵，并根据所述关联概率矩阵计算所述待识别图像中目标对象之间的特征关联概率；关联指示矩阵确定单元，用于确定关联指示矩阵；矩阵概率修正单元，用于通过距离约束条件对所述关联指示矩阵和所述特征关联概率进行修正；矩阵扩展单元，用于对所述关联指示矩阵和所述关联概率矩阵进行扩展；关联代价矩阵确定单元，用于根据所述关联指示矩阵确定关联代价矩阵；整体关联代价函数确定单元，用于根据所述关联代价矩阵和所述关联指示矩阵确定整体关联代价函数；目标函数获取单元，用于对所述整体关联代价函数进行转换，得到目标函数；多目标关联结果确定单元，用于根据所述关联指示矩阵、所述目标函数以及粒子群优化算法确定多目标关联结果。
上述基于卫星遥感图像的多目标关联装置可执行本发明任意实施例所提供的基于卫星遥感图像的多目标关联方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的基于卫星遥感图像的多目标关联方法。
由于上述所介绍的基于卫星遥感图像的多目标关联装置为可以执行本发明实施例中的基于卫星遥感图像的多目标关联方法的装置，故而基于本发明实施例中所介绍的基于卫星遥感图像的多目标关联方法，本领域所属技术人员能够了解本实施例的基于卫星遥感图像的多目标关联装置的具体实施方式以及其各种变化形式，所以在此对于该基于卫星遥感图像的多目标关联装置如何实现本发明实施例中的基于卫星遥感图像的多目标关联方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中基于卫星遥感图像的多目标关联方法所采用的装置，都属于本申请所欲保护的范围。
实施例五
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的计算机设备612的框图。图6显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块626的程序636，可以存储在例如存储装置628中，这样的程序模块626包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块626通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备612也可以与一个或多个外部设备614(例如键盘、指向设备、摄像头、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arraysof Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的基于卫星遥感图像的CNN训练方法。
也即，所述处理单元执行所述程序时实现：构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；将所述训练样本集输入至卷积神经网络进行训练；其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
实施例七
本实施例七是本发明实施例提供的一种用于执行本发明实施例三所提供的基于卫星遥感图像的多目标关联方法的设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例三所提供的基于卫星遥感图像的多目标关联方法：获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；将所述目标对象的待识别图像输入至本发明任一实施例所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果；对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。其具体结构以及细节内容可参照图6和实施例六。
实施例八
本发明实施例八还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的基于卫星遥感图像的CNN训练方法：构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；将所述训练样本集输入至卷积神经网络进行训练；其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例九
本发明实施例九还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述实施例三所述的基于卫星遥感图像的多目标关联方法：获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；将所述目标对象的待识别图像输入至本发明任一实施例所述基于卫星遥感图像的CNN训练方法得到的卷积神经网络中，得到多目标检测结果；对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。其具体的细节内容描述可参照实施例八。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种基于卫星遥感图像的卷积神经网络深度度量学习训练方法，其特征在于，包括：
构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；
将所述训练样本集输入至卷积神经网络进行训练；
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，所述训练样本集包括正样本和负样本；
所述构建目标对象的训练样本集，包括：
统计所述目标对象各个类别的样本数目，并依据所述样本数据对各个样本按照设定排序规则进行排序；
确定所述训练样本集的数量、各训练样本集对应的类别数量，以及各训练样本集中包括的正样本数量和负样本数量；
根据所述训练样本集包括的所述目标对象的类别确定所述正样本的正样本类别，从各所述正样本类别对应的样本中抽取设定数量的中间正样本，并从所述中间样本中筛选目标正样本作为所述正样本；
计算所述训练样本集对应的类别特征中心，根据各类别与所述类别特征中心之间的距离确定负样本对应的类别，并从所述负样本对应的类别中抽取相应的样本组成所述负样本。
3.根据权利要求2所述的方法，其特征在于，将所述训练样本集输入至卷积神经网络进行训练，包括：
将所述训练样本集中的样本输入至所述卷积神经网络，得到两个特征输出值；
计算所述特征输出值之间的距离；
根据所述特征输出值、所述特征输出值之间的距离计算目标损失函数；
根据所述目标损失函数计算中间损失值；
在确定所述中间损失值与目标损失值之间的差值不满足设定阈值时，进行反向传播，直至所述中间损失值与所述目标损失值之间的差值满足设定阈值。
4.根据权利要求3所述的方法，其特征在于，所述目标损失函数为：
Figure FDA0002443042270000011
其中，(xi,yj)表示样本对，li,j∈{0,1}表示样本对(xi,yj)中的目标对象是否属于同一个类别，di,j表示所述特征输出值之间的距离，α用于惩罚负样本对距离的阈值，h(α-di,j)表示Hinge损失函数，所述h(α-di,j)的形式为h(x)＝max(0,x)，C表示所述训练样本集对应的目标对象的类别数量，fθ(x)和
Figure FDA0002443042270000021
表示所述卷积神经网络的映射函数，θ和
Figure FDA0002443042270000022
分别所述卷积神经网络的网络参数，ckx和cky表示第k类目标对象类别的样本特征中心向量。
5.一种基于卫星遥感图像的多目标关联方法，其特征在于，包括：
获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；
将所述目标对象的待识别图像输入至通过权利要求1-4任一所述基于卫星遥感图像的深度度量学习训练方法得到的卷积神经网络中，得到多目标检测结果；
对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述多目标检测结果求解，包括：
确定关联概率矩阵，并根据所述关联概率矩阵计算所述待识别图像中目标对象之间的特征关联概率；
确定关联指示矩阵；
通过距离约束条件对所述关联指示矩阵和所述特征关联概率进行修正；
对所述关联指示矩阵和所述关联概率矩阵进行扩展；
根据所述关联指示矩阵确定关联代价矩阵；
根据所述关联代价矩阵和所述关联指示矩阵确定整体关联代价函数；
对所述整体关联代价函数进行转换，得到目标函数；
根据所述关联指示矩阵、所述目标函数以及粒子群优化算法确定所述多目标关联结果。
7.一种基于卫星遥感图像的深度度量学习训练装置，其特征在于，包括：
训练样本集构建模块，用于构建目标对象的训练样本集；所述训练样本集包括所述目标对象的不同类型图像的样本对；所述图像为多源卫星遥感图像；所述目标对象包括多个类别；
网络训练模块，用于将所述训练样本集输入至卷积神经网络进行训练；
其中，训练得到的卷积神经网络用于对所述目标对象进行多目标关联；所述卷积神经网络为孪生卷积神经网络。
8.一种基于卫星遥感图像的多目标关联装置，其特征在于，包括：
待识别图像获取模块，用于获取目标对象的待识别图像；所述待识别图像包括所述目标对象的不同类型图像对；所述目标对象包括多个类别；所述待识别图像中的各个图像包括多个类别的目标对象；所述待识别图像为多源卫星遥感图像；
多目标检测结果获取模块，用于将所述目标对象的待识别图像输入至通过权利要求1-4任一所述基于卫星遥感图像的深度度量学习训练方法得到的卷积神经网络中，得到多目标检测结果；
多目标关联结果确定模块，用于对所述多目标检测结果求解，以根据所述多目标检测结果确定多目标关联结果。
CN202010270683.8A 2020-04-08 2020-04-08 基于深度度量学习的卫星遥感图像目标关联方法和装置 Active CN111401307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010270683.8A CN111401307B (zh) 2020-04-08 2020-04-08 基于深度度量学习的卫星遥感图像目标关联方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010270683.8A CN111401307B (zh) 2020-04-08 2020-04-08 基于深度度量学习的卫星遥感图像目标关联方法和装置

Publications (2)

Publication Number Publication Date
CN111401307A true CN111401307A (zh) 2020-07-10
CN111401307B CN111401307B (zh) 2022-07-01

Family

ID=71433102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010270683.8A Active CN111401307B (zh) 2020-04-08 2020-04-08 基于深度度量学习的卫星遥感图像目标关联方法和装置

Country Status (1)

Country Link
CN (1) CN111401307B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898756A (zh) * 2020-08-11 2020-11-06 中国人民解放军海军航空大学 一种多目标信息关联神经网络损失函数计算方法及装置
CN112308131A (zh) * 2020-10-29 2021-02-02 腾讯科技（深圳）有限公司 样本拒识方法、装置、设备及存储介质
CN112863672A (zh) * 2021-03-09 2021-05-28 中电健康云科技有限公司 一种基于pso算法优化的患者身份匹配方法
CN112905820A (zh) * 2021-03-30 2021-06-04 山西大学 一种基于逻辑学习的多图检索方法
CN113553966A (zh) * 2021-07-28 2021-10-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN113609994A (zh) * 2021-08-06 2021-11-05 中国工商银行股份有限公司 遥感图像的处理方法、装置和服务器
CN113657411A (zh) * 2021-08-23 2021-11-16 北京达佳互联信息技术有限公司 神经网络模型的训练方法、图像特征提取方法及相关装置
WO2022042123A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 图像识别模型生成方法、装置、计算机设备和存储介质
CN114332500A (zh) * 2021-09-14 2022-04-12 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、计算机设备和存储介质
CN114444576A (zh) * 2021-12-30 2022-05-06 北京达佳互联信息技术有限公司 一种数据采样方法、装置、电子设备及存储介质
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质
CN115984646A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
WO2023124278A1 (zh) * 2021-12-29 2023-07-06 京东方科技集团股份有限公司 图像处理模型的训练方法、图像分类方法及装置
US11810310B2 (en) 2020-12-15 2023-11-07 Beijing Baidu Netcom Science Technology Co., Ltd. Satellite image processing method, network training method, related devices and electronic device
CN117725393A (zh) * 2024-02-07 2024-03-19 国网四川省电力公司电力科学研究院 一种低压电弧故障识别方法、装置、设备及存储介质
CN118506040A (zh) * 2024-07-12 2024-08-16 中国科学院空天信息创新研究院 遥感图像的聚类方法、装置、设备及介质
EP4268187A4 (en) * 2021-03-11 2024-08-28 Google Llc SYSTEMS AND METHODS FOR TRAINING MODELS TO PREDICT DENSE CORRESPONDENCES IN IMAGES USING GEODESIC DISTANCES

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057516A1 (en) * 2011-09-07 2013-03-07 Chih-Hung Lu Optical touch-control system with track detecting function and method thereof
CN103985120A (zh) * 2014-05-13 2014-08-13 西北工业大学 一种遥感图像多目标关联的方法
CN109711381A (zh) * 2019-01-04 2019-05-03 北京环境特性研究所 遥感图像的目标识别方法、装置和计算机设备
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN110633722A (zh) * 2018-06-22 2019-12-31 北京深鉴智能科技有限公司 人工神经网络调整方法和装置
CN110930434A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 目标对象跟踪方法、装置、存储介质和计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057516A1 (en) * 2011-09-07 2013-03-07 Chih-Hung Lu Optical touch-control system with track detecting function and method thereof
CN103985120A (zh) * 2014-05-13 2014-08-13 西北工业大学 一种遥感图像多目标关联的方法
CN110633722A (zh) * 2018-06-22 2019-12-31 北京深鉴智能科技有限公司 人工神经网络调整方法和装置
CN109711381A (zh) * 2019-01-04 2019-05-03 北京环境特性研究所 遥感图像的目标识别方法、装置和计算机设备
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN110930434A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 目标对象跟踪方法、装置、存储介质和计算机设备

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898756A (zh) * 2020-08-11 2020-11-06 中国人民解放军海军航空大学 一种多目标信息关联神经网络损失函数计算方法及装置
CN111898756B (zh) * 2020-08-11 2022-10-11 中国人民解放军海军航空大学 一种多目标信息关联神经网络损失函数计算方法及装置
WO2022042123A1 (zh) * 2020-08-25 2022-03-03 深圳思谋信息科技有限公司 图像识别模型生成方法、装置、计算机设备和存储介质
CN112308131A (zh) * 2020-10-29 2021-02-02 腾讯科技（深圳）有限公司 样本拒识方法、装置、设备及存储介质
US11810310B2 (en) 2020-12-15 2023-11-07 Beijing Baidu Netcom Science Technology Co., Ltd. Satellite image processing method, network training method, related devices and electronic device
CN112863672A (zh) * 2021-03-09 2021-05-28 中电健康云科技有限公司 一种基于pso算法优化的患者身份匹配方法
EP4268187A4 (en) * 2021-03-11 2024-08-28 Google Llc SYSTEMS AND METHODS FOR TRAINING MODELS TO PREDICT DENSE CORRESPONDENCES IN IMAGES USING GEODESIC DISTANCES
CN112905820A (zh) * 2021-03-30 2021-06-04 山西大学 一种基于逻辑学习的多图检索方法
CN112905820B (zh) * 2021-03-30 2022-11-11 山西大学 一种基于逻辑学习的多图检索方法
CN113553966A (zh) * 2021-07-28 2021-10-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN113553966B (zh) * 2021-07-28 2024-03-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN113609994A (zh) * 2021-08-06 2021-11-05 中国工商银行股份有限公司 遥感图像的处理方法、装置和服务器
CN113657411A (zh) * 2021-08-23 2021-11-16 北京达佳互联信息技术有限公司 神经网络模型的训练方法、图像特征提取方法及相关装置
CN114332500B (zh) * 2021-09-14 2024-07-19 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、计算机设备和存储介质
CN114332500A (zh) * 2021-09-14 2022-04-12 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、计算机设备和存储介质
WO2023124278A1 (zh) * 2021-12-29 2023-07-06 京东方科技集团股份有限公司 图像处理模型的训练方法、图像分类方法及装置
CN114444576A (zh) * 2021-12-30 2022-05-06 北京达佳互联信息技术有限公司 一种数据采样方法、装置、电子设备及存储介质
CN115984646A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN115984646B (zh) * 2022-12-19 2023-06-16 中国科学院空天信息创新研究院 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质
CN117725393A (zh) * 2024-02-07 2024-03-19 国网四川省电力公司电力科学研究院 一种低压电弧故障识别方法、装置、设备及存储介质
CN117725393B (zh) * 2024-02-07 2024-05-07 国网四川省电力公司电力科学研究院 一种低压电弧故障识别方法、装置、设备及存储介质
CN118506040A (zh) * 2024-07-12 2024-08-16 中国科学院空天信息创新研究院 遥感图像的聚类方法、装置、设备及介质
CN118506040B (zh) * 2024-07-12 2024-10-18 中国科学院空天信息创新研究院 遥感图像的聚类方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111401307B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN111401307B (zh) 基于深度度量学习的卫星遥感图像目标关联方法和装置
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN110647912A (zh) 细粒度图像识别方法、装置、计算机设备及存储介质
CN113283419B (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN113537031B (zh) 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法
CN112699717A (zh) 基于gan网络的sar图像生成方法及生成装置
CN108009571A (zh) 一种新的直推式半监督数据分类方法及系统
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
Chen et al. Ship target discrimination in SAR images based on BOW model with multiple features and spatial pyramid matching
Vasanthi et al. Multi-Head-Self-Attention based YOLOv5X-transformer for multi-scale object detection
CN112350745B (zh) 一种跳频通信电台的分选方法
CN111860591A (zh) 基于间隔自适应特征选择融合的宫颈细胞图像分类方法
Xu et al. Ship images detection and classification based on convolutional neural network with multiple feature regions
CN116596993A (zh) 一种基于伪孪生网络与深度特征的目标识别匹配定位方法
CN115620172A (zh) 一种基于跨域多特征海上舰船目标智能化综合识别方法
CN112257787B (zh) 基于生成式双重条件对抗网络结构的图像半监督分类方法
Da et al. Remote sensing image ship detection based on improved YOLOv3
CN117974566B (zh) 一种输电线路关键部件缺陷检测方法、系统及电子设备
CN114943344B (zh) 联合svm和hmm的导航场景感知通用模型构建方法
CN114463707B (zh) 车辆重识别方法、装置、存储介质及电子设备
CN112465884B (zh) 基于生成式特征表示网络的多元遥感影像变化检测方法
Qingwu et al. Fine-Grained Recognition of Mixed Signals with Geometry Coordinate Attention
CN116310732A (zh) 一种面向开集雷达图像自动目标识别的熵感知元学习方法
Yuqing et al. A Data Correlation Algorithm Based on Resnet for Unsteady Data
Bassi et al. Explanation is All You Need in Distillation: Mitigating Bias and Shortcut Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant