CN110070120B - 基于判别采样策略的深度度量学习方法及系统 - Google Patents

Abstract

本发明公开了一种基于判别采样策略的深度度量学习方法及系统，其中，该方法包括：获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本；通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略；通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。该方法通过学习一个具有判别采样策略的采样网络，自适应地挑选出较优的训练样本，从而增强所学深度度量的描述能力。

Description

基于判别采样策略的深度度量学习方法及系统

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种基于判别采样策略的深度度量学习方法及系统。

背景技术

度量学习的目的是学习图像对间的相似性度量，以提高视觉分析的精确性，在视觉分析中扮演着重要的角色。度量学习可以广泛地应用于多项视觉任务中，如图像识别、目标跟踪、人脸识别、物体识别、行人再识别等。作为一个典型的模式识别问题，特征与度量的质量对图像识别的精确性起着关键影响。好的特征可以更好地反映图片中的相关信息，而好的度量能够更好地刻画特征之间的相关性。由于背景、光照、角度的差异，同一类物体可能存在着较大的类内差异，因此学习精确鲁棒的距离度量成为了视觉识别的关键步骤。

已有的度量学习方法可以大致分为两类：线性度量学习和非线性度量学习。线性度量学习通过学习马氏距离来更好地刻画图片相似性。然而由于线性变换的描述能力有限，线性度量学习方法难以精准刻画复杂视觉大数据的相似度关系。因此，大量非线性度量学习方法被提出，传统方法基于核函数来实现非线性。随着深度学习在各项视觉任务当中不断取得重要突破，深度度量学习方法逐渐成为了当前的主流。如提出了基于样本对的训练方法，以得到具有判别力的自然条件人脸图片相似性度量。Song等人计算训练样本之间的相似性矩阵来设计优化目标，充分利用一批样本中的信息。Wang等人提出了角度优化函数，约束三元组所构成的三角形的负样本顶点的角度来利用样本的三阶几何信息。

虽然目前深度度量学习方法取得了较好的结果，其模型训练极大依赖于网络训练的样本。在全部训练样本中，包含有效信息的难样本只占其中一小部分。因此，大量工作对如何从训练集中采样得到有效样本开展研究。如Schroff等人利用搜索的方法选择出“半难”的负样本进行网络训练，即在三元组中尽可能选出距离较小的负样本对，但需要满足该距离仍然大于正样本对之间距离。Wang等人设计了一种线上的采样方法，通过考察样本间的相似度来选择训练所使用的三元组。Harwood等人提出了一种样本挖掘的方法来选择较为高效的训练样本。然而这些方法大多采用搜索的方式，效率低，选择出的样本也易陷入局部最优。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于判别采样策略的深度度量学习方法，该方法可以通过学习判别采样策略，自主挑选较优的训练样本。

本发明的另一个目的在于提出一种基于判别采样策略的深度度量学习系统。

为达到上述目的，本发明一方面实施例提出了一种基于判别采样策略的深度度量学习方法，包括：获取训练集图片，通过深度采样网络对所述训练集图片进行采样得到采样样本；通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略；通过调整后的所述深度采样网络对所述训练集图片进行采样，得到训练样本，利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量。

本发明实施例的基于判别采样策略的深度度量学习方法，通过获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本；通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略；通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。深度采样网络能够自主地式样不同状态下的深度度量网络，从而使所采样得到的样本能够最大效率地训练深度度量网络的参数。

另外，根据本发明上述实施例的基于判别采样策略的深度度量学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过深度度量网络对所述采样样本进行打分，包括：

利用评分函数对所述采样样本进行打分。

进一步地，在本发明的一个实施例中，所述通过深度度量网络对所述采样样本进行打分，还包括：

利用对比损失函数和\或三元组损失函数对所述采样样本进行打分。

进一步地，在本发明的一个实施例中，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，包括：

根据所述深度度量网络的状态选取所述训练样本，组成恰当的训练样本对或训练样本组，将所述训练样本对或所述训练样本组输入到所述深度度量网络中进行训练，进行迭代，直到所述深度度量网络收敛。

进一步地，在本发明的一个实施例中，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，还包括：

通过调整后的所述深度采样网络在所述训练集图片中确定标准样本、正样本和负样本组成三元组，将所述三元组输入所述深度度量网络中进行训练。

为达到上述目的，本发明另一方面实施例提出了一种基于判别采样策略的深度度量学习系统，包括：采样模块，用于获取训练集图片，通过深度采样网络对所述训练集图片进行采样得到采样样本；更新模块，用于通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略；训练模块，用于通过调整后的所述深度采样网络对所述训练集图片进行采样，得到训练样本，利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量。

本发明实施例的基于判别采样策略的深度度量学习系统，通过获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本；通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略；通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。深度采样网络能够自主地式样不同状态下的深度度量网络，从而使所采样得到的样本能够最大效率地训练深度度量网络的参数。

另外，根据本发明上述实施例的基于判别采样策略的深度度量学习系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：评分模块；

所述评分模块，用于利用评分函数对所述采样样本进行打分。

进一步地，在本发明的一个实施例中，所述评分模块，还用于利用对比损失函数和\或三元组损失函数对所述采样样本进行打分。

进一步地，在本发明的一个实施例中，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，包括：

根据所述深度度量网络的状态选取所述训练样本，组成恰当的训练样本对或训练样本组，将所述训练样本对或所述训练样本组输入到所述深度度量网络中进行训练，进行迭代，直到所述深度度量网络收敛。

进一步地，在本发明的一个实施例中，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，还包括：

通过调整后的所述深度采样网络在所述训练集图片中确定标准样本、正样本和负样本组成三元组，将所述三元组输入所述深度度量网络中进行训练。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于判别采样策略的深度度量学习方法流程图；

图2为根据本发明一个实施例的训练深度度量网络示意图；

图3为根据本发明一个具体实施例的基于判别采样策略的深度度量学习方法流程图；

图4为根据本发明一个实施例的基于判别采样策略的深度度量学习系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于判别采样策略的深度度量学习方法及系统。

首先将参照附图描述根据本发明实施例提出的基于判别采样策略的深度度量学习方法。

图1为根据本发明一个实施例的基于判别采样策略的深度度量学习方法流程图。

如图1所示，该基于判别采样策略的深度度量学习方法包括以下步骤：

在步骤S101中，获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本。

具体地，对于采集到的训练集图片，首先通过初始的深度采样网络进行采样得到采样样本，其中，初始的深度采样网络未经过训练。

在步骤S102中，通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略。

可以理解的是，通过初始的深度采样网络采样得到的采样图片可能不符合用户的需求，利用一个深度度量网络对所采样的采样样本进行打分，通过分数高低反应出采样样本的优劣，分数高则满足用户的需求，分数低，则不满足用户的需求，根据打分的结果调整深度采样网络的采样策略。比如，对采样样本进行打分结果为75，80，90，95，用户需求的是分数更高的采样样本，即90和95，根据打分结果调整采样策略，使深度采样网络下次采样时多采集90和95分数高的样本，少采集分数75和80等分数低的样本。

深度采样网络通过不断地学习和调整采样策略，形成一个具有判别能力的采样器，可以自主的挑选深度度量所需要的训练样本。

进一步地，对采样图片进行打分可以通过函数来实现，作为一种可能实现的方式，通过一个评分函数来对采样样本进行打分。

具体地，训练深度采样网络从而选择有效的训练样本，按照概率选择一个样本的概率表达如下所示：

通过定义一个L网络来学习深度采样网络的采样策略，从而能够预测出需要的训练样本但是不需要穷尽所有的选择样本的情况。为了能够达到这一目标，L网络为样本x_s序列地选择x_(l)，选择基于的条件概率如下：

为了能够有效地训练深度采样网络，特征嵌入需要通过评分函数S(x_s；θ)从而保证样本的质量。深度采样策略如下：

当特征嵌入函数f固定时，公式(6)存在一个全局最优解：

然而，在训练的过程中，针对每一个样本计算一个评分是非常困难的，因此利用评分函数S(x_s；θ)对L网络进行整体训练，从而使L的值相对较小。因此，能够得到期望奖励的梯度如下所示：

根据上式，可以在小批样本中进行合理的采样。

作为另一种可能实现的方式，可以通过损失函数来对采样样本进行打分，如对比损失函数和三元组损失函数。

对比损失函数致力于利用绝对距离通过成对的样本，目标函数如下：

其中，α表示边界距离，

表示两个嵌入特征之间的距离。

三元组损失函数通过采样形成标准样本、正样本和负样本从而用来训练网络，其损失函数如下：

在这两种损失函数的指导下都需要选取用来训练的样本组，然而如果只采用困难样本对网络进行训练，无法使网络的训练效果和效率达到最优，因此，提出来部分困难样本的训练策略。部分困难样本的训练法对应的准则如下：

在实施例中，训练一个深度采样网络(采样器)从而选择有效的训练样本，按照概率选择一个样本的概率表达如下所示：

在步骤S103中，通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。

可以理解的是，调整采样策略后的深度采样网络可以自主的选择的有效的训练样本对深度度量网络进行训练，通过优选的训练样本对深度度量网络进行训练，可以获得更精准的相似度度量。

需要说明的是，上述过程为一个迭代循环的过程，在训练好深度度量网络后，再通过深度度量网络对步骤S101中深度采样网络采样到的采样样本进行打分，打分的结果与上次循环中打分结果有所不同，再根据此次打分结果相应的调整采样策略，进而对深度度量网络进行训练，采用迭代的方式同时学习深度采样网络和深度度量网络，从而获得更精准的相似性度量。

进一步地，根据深度度量网络的状态选取训练样本，组成恰当的训练样本对或训练样本组，将训练样本对或训练样本组输入到深度度量网络中进行训练，进行迭代，直到深度度量网络收敛。

作为一种可能实现的方式，对深度度量网络的训练中，整体训练分为两个步骤：根据分类网络的状态选取样本，组成恰当的训练样本对或者训练样本组；将组成的训练样本对或者组输入到分类网络中，训练该网络。循环这两个步骤，直到分类网络最终收敛。

进一步地，通过调整后的深度采样网络在训练集图片中确定标准样本、正样本和负样本组成三元组，将三元组输入深度度量网络中进行训练。

作为另一种可能实现的方式，如图2(a)所示，针对三元组中的三个不同的元素：标准样本、正样本和负样本，本发明采用逐步采样的策略进行三元组的生成和采样。

首先，通过深度采样网络在已经确定的小批样本中确定出与标准样本距离恰当的负样本对应的类别。然后，从标准样本的类别和已经选取的负样本的类别中，通过采样网络自主地选取合适的正样本和负样本。最后，将三个样本组合成三元组输入分类网络中进行训练。

作为又一种可能实现的方式，如图2(b)所示，N-pair的采样方式是组成N个样本对，每一对样本属于同一个类别，因此可以组成N*(N-1)个三元组，而通过N-pair的方式能够给为有效地提升训练的效率。N-pair损失的目标函数如下：

利用N-pair训练分类网络的过程分为两个步骤：采样生成N-pair的过程和用N-pair训练分类网络。采样生成N-pair的过程中分类网络的参数是固定的，通过训练采样网络从而得到最终恰当的采样方式。而后采样网络的参数固定，对训练网络进行参数优化。这两个步骤交替进行，直至分类网络最终收敛。这样训练的好处在于，训练所采用的样本是最适应当前分类网络的样本，这些样本能够最为有效地提升网络的分类性能。

如图3所示，展示出基于判别采样策略的深度度量学习方法的详细流程，由图可知，首先通过初始的深度采样网络对训练集图片进行采样得到采样样本，其中，DSN为一个深度采样网络，M为深度度量网络，也叫做打分网络，通过深度度量网络M对采样样本进行打分，根据打分结果对深度采样网络DSN进行训练，即调整深度采样网络DSN的采样策略，通过调整后的深度采样网络再对训练集图片进行采样得到训练样本，使用训练样本对深度度量网络M进行训练，为了使深度度量网络能够更精准的进行相似度度量，通过多个循环不断调整深度采样网络的采样策略，不断地对深度度量网络进行训练。

通过深度强化学习方法，根据深度度量网络的状态选取适合网络训练的样本，组成训练数据用于深度度量网络的训练，从而使网络训练的效率得到提高。

根据本发明实施例提出的基于判别采样策略的深度度量学习方法，通过获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本；通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略；通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。深度采样网络能够自主地式样不同状态下的深度度量网络，从而使所采样得到的样本能够最大效率地训练深度度量网络的参数。

其次参照附图描述根据本发明实施例提出的基于判别采样策略的深度度量学习系统。

图4为根据本发明一个实施例的基于判别采样策略的深度度量学习系统结构示意图。

如图4所示，该系统包括：采样模块100、更新模块200和训练模块300。

其中，采样模块100用于获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本。

更新模块200用于通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略。

训练模块300用于通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。

该系统通过学习一个具有判别采样策略的采样网络，自适应地挑选出较优的训练样本，从而增强所学深度度量的描述能力。

进一步地，在本发明的一个实施例中，还包括：评分模块；

评分模块，用于利用评分函数对采样样本进行打分。

进一步地，在本发明的一个实施例中，评分模块，还用于利用对比损失函数和\或三元组损失函数对采样样本进行打分。

进一步地，在本发明的一个实施例中，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量，包括：

根据深度度量网络的状态选取训练样本，组成恰当的训练样本对或训练样本组，将训练样本对或训练样本组输入到深度度量网络中进行训练，进行迭代，直到深度度量网络收敛。

进一步地，在本发明的一个实施例中，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量，还包括：

通过调整后的深度采样网络在训练集图片中确定标准样本、正样本和负样本组成三元组，将三元组输入深度度量网络中进行训练。

需要说明的是，前述对基于判别采样策略的深度度量学习方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。

根据本发明实施例提出的基于判别采样策略的深度度量学习系统，通过获取训练集图片，通过深度采样网络对训练集图片进行采样得到采样样本；通过深度度量网络对采样样本进行打分，根据打分结果调整深度采样网络的采样策略；通过调整后的深度采样网络对训练集图片进行采样，得到训练样本，利用训练样本对深度度量网络进行训练，以使深度度量网络获得精准的相似度度量。深度采样网络能够自主地式样不同状态下的深度度量网络，从而使所采样得到的样本能够最大效率地训练深度度量网络的参数。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于判别采样策略的深度度量学习方法，其特征在于，包括以下步骤：

获取训练集图片，通过深度采样网络对所述训练集图片进行采样得到采样样本；

通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略；

通过调整后的所述深度采样网络对所述训练集图片进行采样，得到训练样本，利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量；

其中，所述通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略，还包括：训练深度采样网络从而选择有效的训练样本，按照概率选择一个样本的概率，表达如下：

通过定义一个L网络来学习深度采样网络的采样策略，从而预测出需要的训练样本但是不需要穷尽所有的选择样本的情况,L网络为样本x_s序列地选择x_(l)，选择基于的条件概率如下：

为了能够有效地训练深度采样网络，特征嵌入需要通过评分函数S(x_s；θ)从而保证样本的质量,深度采样策略如下：

当特征嵌入函数f固定时，公式

存在一个全局最优解：

利用评分函数S(x_s；θ)对L网络进行整体训练，从而使L的值相对较小,得到期望奖励的梯度如下所示：

2.根据权利要求1所述的方法，其特征在于，所述通过深度度量网络对所述采样样本进行打分，包括：

利用评分函数对所述采样样本进行打分。

3.根据权利要求1所述的方法，其特征在于，所述通过深度度量网络对所述采样样本进行打分，还包括：

利用对比损失函数和\或三元组损失函数对所述采样样本进行打分。

4.根据权利要求1所述的方法，其特征在于，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，包括：

根据所述深度度量网络的状态选取所述训练样本，组成恰当的训练样本对或训练样本组，将所述训练样本对或所述训练样本组输入到所述深度度量网络中进行训练，进行迭代，直到所述深度度量网络收敛。

5.根据权利要求1所述的方法，其特征在于，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，还包括：

通过调整后的所述深度采样网络在所述训练集图片中确定标准样本、正样本和负样本组成三元组，将所述三元组输入所述深度度量网络中进行训练。

6.一种基于判别采样策略的深度度量学习系统，其特征在于，包括：

采样模块，用于获取训练集图片，通过深度采样网络对所述训练集图片进行采样得到采样样本；

更新模块，用于通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略；

训练模块，用于通过调整后的所述深度采样网络对所述训练集图片进行采样，得到训练样本，利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量；

其中，所述通过深度度量网络对所述采样样本进行打分，根据打分结果调整所述深度采样网络的采样策略，还包括：训练深度采样网络从而选择有效的训练样本，按照概率选择一个样本的概率，表达如下：

通过定义一个L网络来学习深度采样网络的采样策略，从而预测出需要的训练样本但是不需要穷尽所有的选择样本的情况，L网络为样本x_s序列地选择x_(l)，选择基于的条件概率如下：

为了能够有效地训练深度采样网络，特征嵌入需要通过评分函数S(x_s；θ)从而保证样本的质量，深度采样策略如下：

当特征嵌入函数f固定时，公式

存在一个全局最优解：

利用评分函数S(x_s；θ)对L网络进行整体训练，从而使L的值相对较小，得到期望奖励的梯度如下所示：

7.根据权利要求6所述的系统，其特征在于，还包括：评分模块；

所述评分模块，用于利用评分函数对所述采样样本进行打分。

8.根据权利要求7所述的系统，其特征在于，

所述评分模块，还用于利用对比损失函数和\或三元组损失函数对所述采样样本进行打分。

9.根据权利要求6所述的系统，其特征在于，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，包括：

根据所述深度度量网络的状态选取所述训练样本，组成恰当的训练样本对或训练样本组，将所述训练样本对或所述训练样本组输入到所述深度度量网络中进行训练，进行迭代，直到所述深度度量网络收敛。

10.根据权利要求6所述的系统，其特征在于，所述利用所述训练样本对所述深度度量网络进行训练，以使所述深度度量网络获得精准的相似度度量，还包括：

通过调整后的所述深度采样网络在所述训练集图片中确定标准样本、正样本和负样本组成三元组，将所述三元组输入所述深度度量网络中进行训练。

Images