CN108304864B - 深度对抗度量学习方法及装置 - Google Patents

Abstract

本发明公开了一种深度对抗度量学习方法及装置，其中，方法包括：从训练集中提取出图像的深度特征并生成三元组；根据三元组中的负样本通过生成器将三元组中的负样本转化为对度量训练有信息的难样本；获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。该方法可以对已有的难样本进行补充，有效提高度量的鲁棒性，实现了对深度度量学习方法性能的提高。

Description

深度对抗度量学习方法及装置

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种深度对抗度量学习方法及装置。

背景技术

度量学习在视觉分析中起着非常大的作用，其目的在于学习一个可以衡量图像对之间相似度的距离度量，以提高接下来分类或者聚类任务的正确率。度量学习可以广泛地应用于多种视觉应用中，如人脸识别，行人再识别，目标跟踪，物体识别和血缘关系验证等。对于图片识别的准确率，特征与度量的质量都起着至关重要的作用，好的特征可以更好地反映图片中的相关信息，而好的度量能够更好地刻画特征之间的相关性。由于光照、背景、角度等在自然条件下的变化，同一类的物体之间也可能具有较大的差距，这就使得学习出一个精确并鲁棒的度量成为视觉识别中一个重要的步骤。

目前的度量学习主要分为两类：线性及非线性度量的学习。传统的线性度量学习方法主要通过学习出一个马氏距离来衡量样本之间的度量，如LMNN(Large marginnearest neighbor，大间隔最近邻居)、ITML；而非线性的度量学习方法则通过核方法或神经网络方法来对更高阶的关系进行建模。从另一方面，度量学习方法又可以分为非监督与监督两类。非监督的度量学习主要希望学习一个从高维到低维的映射，而使得在低维空间中尽可能地保留高维中样本之间的距离信息；而监督的度量学习则主要基于一个目标，即最大化类间距离以及最小化类内距离。不同的监督度量学习方法，基本上都是对该目标的不同刻画与建模。通过深度神经网络来进行度量学习，是目前的主要研究方法，其大致框架与主要步骤如下：1)设计深度网络模型，将图片或视频提转化为特征与其嵌入；2)从训练集中构建出多个样本对或三元组等；3)通过最小化样本对或三元组等上定义的损失函数来训练深度网络；4)最终的距离度量即为在深度网络嵌入空间下的欧式距离。如基于样本对训练出了一个具有判别力的度量用于自然条件下的人脸识别；如通过计算一批训练样本之间的距离矩阵，设计了一种能够充分利用一批样本中信息的优化目标，在三个图像识别库上取得了不错的结果；如通过限制每个训练集中由三元组组成的三角形中负样本顶点处的角度来设计优化目标，利用了样本之间的三阶几何信息，进一步提高了基于深度网络的度量学习方法的性能

相关技术中的深度度量学习方法在很多视觉应用中都取得了很好的结果，但是其模型通常很大程度上也依赖于训练网络所用的样本，而大部分方法都是基于样本对或三元组来进行模型的训练。对于一个样本个数为n的训练集，假设其每一类中包含的样本数量相近，则其中所有可能的样本对个数为O(n²)，而所有可能的三元组数量为O(n³)，这样庞大的数量就使得使用全部的样本对或三元组来训练网络在实际上变得不可行。另一方面，虽然样本对或三元组的数量很多，但其中包含有效信息的，即对训练有帮助的却很少。这就使得很多度量学习方法开始探索如何从训练集中高效地采样的问题，其中大部分方法基于一种叫难样本挖掘的策略。难样本挖掘发现并选择使得网络损失函数较大的样本来训练，这样既可以加快模型的收敛速度，也可以提高最终学习出的度量的效果。如在一批样本中选择“半难”的负样本，即使得三元组中负样本对的距离较小，但依然大于正样本对之间距离，用这样的三元组来训练基于三元组损失函数的网络；如使用一种线上的重要性采样方法，利用样本之间的相似度来选择训练使用的三元组；如采用了一种自适应的样本挖掘方法来为网络选择高效的训练样本。

然而，虽然使用难样本挖掘的度量学习方法在实验中被证明是有效的，其也存在着两个问题：1)训练中使用的样本只是训练集的一小部分，它们并不能很好地反映训练集的整体分布；2)其没有充分地利用到未被归为难的样本，而其有可能通过转变而生成对训练有帮助的样本，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种深度对抗度量学习方法，可以有效提高度量的鲁棒性，实现了对深度度量学习方法性能的提高。

本发明的另一个目的在于提出一种深度对抗度量学习装置。

为达到上述目的，本发明一方面实施例提出了一种深度对抗度量学习方法，包括以下步骤：从训练集中提取出图像的深度特征并生成三元组；根据所述三元组中的负样本通过生成器将所述三元组中的负样本转化为对度量训练有信息的难样本；获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。

本发明实施例的深度对抗度量学习方法，可以通过生成器将从训练集中提取出图像的深度特征生成的三元组中的负样本转化为对度量训练有信息的难样本，对已有的难样本进行了补充；并获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，实现了对深度度量学习方法性能的提高，提高了学习出的度量的鲁棒性。

另外，根据本发明上述实施例的深度对抗度量学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述从训练集中提取出图像的深度特征并组成样本对或三元组，进一步包括：将所述训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到所述样本对或三元组。

进一步地，在本发明的一个实施例中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

进一步地，在本发明的一个实施例中，所述获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，进一步包括：将生成后的样本通过度量网络得到所述在度量空间下的表示；将所述特征提取网络、生成器网络与所述度量网络连接在一起，使得整个网络的优化目标为所述生成器的优化函数与所述度量网络的优化函数的组合；在训练好所述整个网络后，由样本图片通过所述特征提取网络与所述度量网络得到测试样本的在度量空间下的表示。

进一步地，在本发明的一个实施例中，所述生成器的优化函数与所述度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

为达到上述目的，本发明另一方面实施例提出了一种深度对抗度量学习装置，包括：提取模块，用于从训练集中提取出图像的深度特征并生成三元组；转化模块，用于根据所述三元组中的负样本通过生成器将所述三元组中的负样本转化为对度量训练有信息的难样本；获取模块，用于获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。

本发明实施例的深度对抗度量学习装置，可以通过生成器将从训练集中提取出图像的深度特征生成的三元组中的负样本转化为对度量训练有信息的难样本，对已有的难样本进行了补充；并获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，实现了对深度度量学习方法性能的提高，提高了学习出的度量的鲁棒性。

另外，根据本发明上述实施例的深度对抗度量学习装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述提取模块，进一步包括：提取单元，用于将所述训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到所述样本对或三元组。

进一步地，在本发明的一个实施例中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

进一步地，在本发明的一个实施例中，所述获取模块，进一步包括：第一获取单元，用于将生成后的样本通过度量网络得到所述在度量空间下的表示；组合单元，用于将所述特征提取网络、生成器网络与所述度量网络连接在一起，使得整个网络的优化目标为所述生成器的优化函数与所述度量网络的优化函数的组合；第二获取单元，用于在训练好所述整个网络后，由样本图片通过所述特征提取网络与所述度量网络得到测试样本的在度量空间下的表示。

进一步地，在本发明的一个实施例中，所述生成器的优化函数与所述度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的深度对抗度量学习方法的流程图；

图2为根据本发明一个实施例的深度对抗度量学习方法的流程图；

图3为根据本发明一个实施例的网络结构示意图；

图4为根据本发明实施例的深度对抗度量学习装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的深度对抗度量学习方法及装置，首先将参照附图描述根据本发明实施例提出的深度对抗度量学习方法。

图1是本发明一个实施例的深度对抗度量学习方法的流程图。

如图1所示，该深度对抗度量学习方法包括以下步骤：

在步骤S101中，从训练集中提取出图像的深度特征并生成三元组。

进一步地，在本发明的一个实施例中，从训练集中提取出图像的深度特征并组成样本对或三元组，进一步包括：将训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到样本对或三元组。

可以理解的是，结合图1和图2所示，本发明实施例从训练集中提取出图像的深度特征并组成样本对或三元组，并将训练集分图像前传入深度卷积神经网络，在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，再按照样本标签根据度量使用的目标函数将它们组织为样本对或三元组。

在步骤S102中，根据三元组中的负样本通过生成器将三元组中的负样本转化为对度量训练有信息的难样本。

可以理解的是，结合图1和图2所示，生成器可以由多层神经网络组成，其需要引入损失函数来训练。基于样本对的优化问题可视为基于三元组的优化问题的特殊情况，通过生成器可以将三元组中的负样本转化为对度量训练有信息的难样本，并且生成的特征应具有如下性质：

(1)生成的特征本身为难负样本。

负样本的初始特征与参照样本的初始特征距离越近，则该负样本为越难的负样本，由它组成的三元组则能为度量提供更多的信息，即在训练过程中得到更大的损失函数值。因此，将负样本与参照样本的欧式距离拉近，可加快度量的学习速度。

(2)通过尽量小的转化使其变难。

由于多层神经网络的拟合能力较强，其可能将初始特征转变较大，从而不能反映样本集的分布。为了避免这种情况，本发明实施例引入一个正则项，希望通过尽量小的转化就能将负样本变难。

(3)在度量空间的表示下依然为难负样本。

生成在度量空间下难的负样本，即生成在度量空间下不能很好分类的负样本，能够产生针对性的样本，使得度量不断朝着更好的方向训练。本发明实施例通过使得在度量空间下，生成的负样本与参照样本之间的距离比正样本与参照样本之间的距离小一个固定的值，来使得生成器与度量对抗。

其中，在本发明的一个实施例中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

在步骤S103中，获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。

进一步地，在本发明的一个实施例中，获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，进一步包括：将生成后的样本通过度量网络得到在度量空间下的表示；将特征提取网络、生成器网络与度量网络连接在一起，使得整个网络的优化目标为生成器的优化函数与度量网络的优化函数的组合；在训练好整个网络后，由样本图片通过特征提取网络与度量网络得到测试样本的在度量空间下的表示。

其中，在本发明的一个实施例中，生成器的优化函数与度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

可以理解的是，本发明实施例可以得到生成难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。

具体地，本发明实施例可以将生成后的样本通过度量网络，得到其在度量空间下的表示，度量网络的优化目标J_m可选择与目前效果较好的度量学习方法相同；将特征提取网络、生成器网络与度量网络连接在一起，具体网络结构如图3所示，整个网络的优化目标为生成器的优化函数与度量网络的优化函数的组合：

在训练好整个网络后，测试样本的在度量空间下的表示由样本图片通过特征提取网络与度量网络得到，而不通过生成器，其只用在网络的训练过程中。

综上所述，本发明实施例为了避免相关技术中深度度量学习方法采用的难样本挖掘技术对大量容易样本的忽略，以及其使用的少量训练样本无法很好地刻画训练集中样本的分布，本发明实施例通过利用多层神经网络构成的生成器，将本来对训练没有帮助的样本转化为有信息的样本。首先，本发明实施例将从图片中提取出的初始特征输入到生成器中，将其转化为新的特征。其次，用这些新的特征通过度量网络，得到最终的数据表示，并通过由作用于生成器及作用于度量网络的两部分组成的优化目标，对抗地训练整个网络。网络训练完成后，对于输入的测试样本，不将其通过生成器，而将度量网络直接作用于初始特征来得到其在学习出的度量空间下的表示。有效解决线管技术中深度度量学习技术中对样本使用不完全的问题，通过使用生成器，将原始的样本特征转化为对度量的训练有信息的特征，并使用对抗的方式训练，从而提出了一种可以整合到目前多数深度度量学习方法中的模块。

根据本发明实施例提出的深度对抗度量学习方法，可以通过生成器将从训练集中提取出图像的深度特征生成的三元组中的负样本转化为对度量训练有信息的难样本，对已有的难样本进行了补充；并获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，实现了对深度度量学习方法性能的提高，提高了学习出的度量的鲁棒性。

其次参照附图描述根据本发明实施例提出的深度对抗度量学习装置。

图4是本发明实施例的深度对抗度量学习装置的结构示意图。

如图4所示，该深度对抗度量学习装置10包括：提取模块100、转化模块200和获取模块300。

其中，提取模块100用于从训练集中提取出图像的深度特征并生成三元组。转化模块200用于根据三元组中的负样本通过生成器将三元组中的负样本转化为对度量训练有信息的难样本。获取模块300用于获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。本发明实施例的装置10可以对已有的难样本进行补充，有效提高度量的鲁棒性，实现了对深度度量学习方法性能的提高。

进一步地，在本发明的一个实施例中，提取模块100进一步包括：提取单元。其中，提取单元用于将训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到样本对或三元组。

进一步地，在本发明的一个实施例中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

进一步地，在本发明的一个实施例中，获取模块300进一步包括：第一获取单元、组合单元和第二获取单元。第一获取单元用于将生成后的样本通过度量网络得到在度量空间下的表示。组合单元用于将特征提取网络、生成器网络与度量网络连接在一起，使得整个网络的优化目标为生成器的优化函数与度量网络的优化函数的组合。第二获取单元用于在训练好整个网络后，由样本图片通过特征提取网络与度量网络得到测试样本的在度量空间下的表示。

进一步地，在本发明的一个实施例中，生成器的优化函数与度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

需要说明的是，前述对深度对抗度量学习方法实施例的解释说明也适用于该实施例的深度对抗度量学习装置，此处不再赘述。

根据本发明实施例提出的深度对抗度量学习装置，可以通过生成器将从训练集中提取出图像的深度特征生成的三元组中的负样本转化为对度量训练有信息的难样本，对已有的难样本进行了补充；并获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，实现了对深度度量学习方法性能的提高，提高了学习出的度量的鲁棒性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种深度对抗度量学习方法，其特征在于，包括以下步骤：

从训练集中提取出图像的深度特征并生成三元组；

根据所述三元组中的负样本通过生成器将所述三元组中的负样本转化为对度量训练有信息的难样本；以及

获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示；

其中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

2.根据权利要求1所述的深度对抗度量学习方法，其特征在于，所述从训练集中提取出图像的深度特征并组成样本对或三元组，进一步包括：

将所述训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到所述样本对或三元组。

3.根据权利要求2所述的深度对抗度量学习方法，其特征在于，所述获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示，进一步包括：

将生成后的样本通过度量网络得到所述在度量空间下的表示；

将所述特征提取网络、生成器网络与所述度量网络连接在一起，使得整个网络的优化目标为所述生成器的优化函数与所述度量网络的优化函数的组合；

在训练好所述整个网络后，由样本图片通过所述特征提取网络与所述度量网络得到测试样本的在度量空间下的表示。

4.根据权利要求3所述的深度对抗度量学习方法，其特征在于，所述生成器的优化函数与所述度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

5.一种深度对抗度量学习装置，其特征在于，包括：

提取模块，用于从训练集中提取出图像的深度特征并生成三元组；

转化模块，用于根据所述三元组中的负样本通过生成器将所述三元组中的负样本转化为对度量训练有信息的难样本；以及

获取模块，用于获取所述难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示；

其中，损失函数为：

其中，J_gen为对抗生成器总损失函数，J_hard为难样本约束，λ₁和λ₂均为平衡各约束权重参数，J_adv为对抗约束，x_i为输入样本，θ_g为生成器网络参数，D为两样本距离，α为正负样本距离间距。

6.根据权利要求5所述的深度对抗度量学习装置，其特征在于，所述提取模块，进一步包括：

提取单元，用于将所述训练集传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后得到图像的1024维的深度特征，并且按照样本标签根据度量使用的目标函数组织得到所述样本对或三元组。

7.根据权利要求6所述的深度对抗度量学习装置，其特征在于，所述获取模块，进一步包括：

第一获取单元，用于将生成后的样本通过度量网络得到所述在度量空间下的表示；

组合单元，用于将所述特征提取网络、生成器网络与所述度量网络连接在一起，使得整个网络的优化目标为所述生成器的优化函数与所述度量网络的优化函数的组合；

第二获取单元，用于在训练好所述整个网络后，由样本图片通过所述特征提取网络与所述度量网络得到测试样本的在度量空间下的表示。

8.根据权利要求7所述的深度对抗度量学习装置，其特征在于，所述生成器的优化函数与所述度量网络的优化函数的组合为

其中，θ_f为度量学习参数，J为总损失函数，J_m为度量学习损失函数，λ为平衡各约束权重参数。

Images