CN111144466B - 一种图像样本自适应的深度度量学习方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种图像样本自适应的深度度量学习方法，获取锚点样本、正样本、第一负样本，利用度量学习构建样本的嵌入空间；在嵌入空间中计算第一负样本所在每个类数据群的类中心点坐标；生成第二负样本；构建解码器，通过解码器将第二负样本由嵌入空间映射至特征空间，生成第二负样本的特征向量；构建第二训练样本组；将第二训练样本组映射至嵌入空间。本发明解决了现有技术中训练数据规模不足，样本高区分度特征难以获取的问题，本发明可广泛推广适用于各类不同的度量学习方法，在不引入先验知识和额外数据的前提下，可以有效的提升原度量学习的辨识能力。

Description

一种图像样本自适应的深度度量学习方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像样本自适应的深度度量学习方法。

背景技术

度量学习是一类常见的比较和衡量数据间相似度的机器学习方法，在计算机视觉中，如人脸识别、图像检索等重大领域中具有广泛的应用和极其重要的地位。因此，在不同的应用场景中，研究如何构建具有精准表达和鲁棒度量的度量学习方法具有重要的研究意义和实用价值。

受到深度学习相关技术和方法的影响与启发，与深度学习相关联的度量学习，由于其深层特征的高效表达与端对端的设计机构，逐渐成为相关领域的研究热点之一。深度度量学习的核心思路是把数据从深度特征空间(Deep feature space)映射至表达空间(Embedding space)，使得同标签类数据间的距离尽可能缩小，不同标签类的数据间距离尽可能扩大。不同的取样方式和损失函数导致了不同类型的度量学习方法，如三元组损失函数，N-pair损失函数。对于任何一种度量学习，在训练样本时都可能存在以下问题：(1)为了学习到区分度更高的样本特征，很多度量学习方法选择区分困难样本组(如具有相似特征的不同类样本，或具有较大特征差异的同类样本组)进行优先训练，并赋予较高的权值。由于困难样本数据分布与整体样本分布存在差异，因此这种做法容易导致所得分类器难以就全局数据进行精准分类。(2)部分实际应用场景下，受自身数据规模的限制，训练样本集无法提供足够多的具有一定区分难度的样本组，这将导致最后得到的分类器的分辨能力受到很大程度的限制。

发明内容

本申请实施例通过提供一种图像样本自适应的深度度量学习方法，解决了现有技术中训练数据规模不足，样本高区分度特征难以获取的问题。

本申请实施例提供一种图像样本自适应的深度度量学习方法，包括以下步骤：

步骤S1、获取第一训练样本组，所述第一训练样本组包括锚点样本、正样本、第一负样本，利用度量学习构建样本的嵌入空间；

步骤S2、在所述嵌入空间中计算所述第一负样本所在每个类数据群的类中心点坐标；

步骤S3、根据所述第一负样本所在每个类数据群的类中心点坐标、所述锚点样本的坐标、所述第一负样本的坐标生成第二负样本；

步骤S4、构建解码器，通过所述解码器将所述第二负样本由所述嵌入空间映射至特征空间，生成第二负样本的特征向量；

步骤S5、构建第二训练样本组，所述第二训练样本组包括所述第二负样本的特征向量、所述锚点样本的特征向量、所述正样本的特征向量；

步骤S6、将所述第二训练样本组映射至所述嵌入空间，进行训练。

优选的，所述步骤1的具体实现方式为：

步骤S101、利用深度卷积网络获取所述第一训练样本组中图像样本的深度特征；

步骤S102、将所述第一训练样本组中的图像样本映射至特征空间；

步骤S103、将特征空间作为输入，利用度量学习损失函数将样本从特征空间映射至嵌入空间。

优选的，所述步骤S103中，使用欧几里得距离作为度量距离，利用所述度量学习损失函数扩大嵌入空间中，同标签样本点的距离，缩小异类标签样本点的距离。

优选的，所述步骤S2中，所述第一负样本所在每个类数据群的类中心点坐标的计算公式为：

其中，P_cen(I)为标签是I的数据类中心，N_I为标签为I的样本总数，P_j为I类样本中第j个样本。

优选的，所述步骤S3的具体实现方式为：

在嵌入空间，利用所述第一负样本所在每个类数据群的类中心点坐标P_cen(I)，结合所述锚点样本的坐标P_anc与所述第一负样本的坐标P_neg，计算出中心点到锚点向量V_ca，第一负样本点到锚点向量V_na；

根据向量投影公式计算出V_na在V_ca方向上的投影向量：

根据所述V_na在V_ca方向上的投影向量、所述锚点样本的坐标生成所述第二负样本的坐标P_n'_eg：

优选的，所述步骤S4中构建的解码器满足以下条件：

所述解码器能够将嵌入空间的原始样本准确映射至特征空间；

所述第一负样本所在每个类数据群的类中心由所述解码器映射至特征空间后的标签保持与所述第一负样本的标签保持一致；

所述第二负样本由所述解码器映射至特征空间后标签与所述第一负样本的标签保持一致。

优选的，所述步骤S4中所述解码器的构建公式为：

f_de＝dis(Y,Y')+∑f_soft(Y_cen,L)+∑f_soft(Y_n'_eg,L)

其中，f_de是数据从嵌入空间到特征空间的解码器，dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量，Y_cen是负样本类中心在特征空间的映射，Y_n'_eg是生成的负样本P_n'_eg在特征空间的映射，L是各类负样本对应的标签。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，获取第一训练样本组(包括锚点样本、正样本、第一负样本)，利用度量学习构建样本的嵌入空间；在嵌入空间中计算第一负样本所在每个类数据群的类中心点坐标；根据第一负样本所在每个类数据群的类中心点坐标、锚点样本的坐标、第一负样本的坐标生成第二负样本；构建解码器，通过解码器将第二负样本由嵌入空间映射至特征空间，生成第二负样本的特征向量；构建第二训练样本组(包括第二负样本的特征向量、锚点样本的特征向量、正样本的特征向量)；将第二训练样本组映射至嵌入空间，进行训练。即本发明根据样本组在表达空间的分布特征，学习负样本与锚点样本间的区分度渐变规律，在嵌入空间生成的与原负样本(记为第一负样本)标签相同，但与锚点样本辨别度更难的负样本点(记为第二负样本)。根据encode-decode映射原理，训练由嵌入空间到特征空间的解码器，将第二负样本点映射回特征空间，参与进一步的训练。通过上述样本自适应的训练框架，本发明可广泛推广适用于各类不同的度量学习方法，在不引入先验知识和额外数据的前提下，可以有效的提升原度量学习的辨识能力。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像样本自适应的深度度量学习方法的流程图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供了一种图像样本自适应的深度度量学习方法，参见图1，包括以下步骤：

步骤1、嵌入空间的构建。

利用度量学习构建样本的嵌入向量空间，具体流程为：对于任意给定的度量学习损失函数f_Loss，首先利用深度卷积网络(CNN)获取原始训练样本集中图像的深度特征，将原始图像映射至特征空间F_space，得到图像的特征空间分布情况，然后将特征空间F_space作为输入，利用度量学习损失函数f_Loss扩大嵌入空间的同标签样本点的距离，缩小异类标签样本点的距离，最终将训练样本从特征空间F_space映射至嵌入空间E_space。

其中，使用欧几里得距离L₂作为度量距离。

步骤2、类中心点计算。

在嵌入空间中，所有具有相同标签的数据构成类数据群，利用中心点计算公式：

计算出每个类的类中心坐标。

其中，P_cen(I)为标签是I的数据类中心，N_I为标签为I的样本总数，P_j为I类样本中第j个样本。

步骤2中计算了所有标签类的类中心，包括正样本标签和负样本标签。由于负样本是相对于锚点样本而言的，在整个训练集中训练时，对于不同的锚点样本，不同的负样本基本涵盖了大部分的数据标签。

步骤3、负样本点定位。

度量学习中的训练样本都是以样本组的形式出现，训练样本组中通常包含三类数据：锚点样本、正样本(与锚点标签相同的样本数据)、第一负样本(与锚点标签不同的样本数据)。

对于任一训练样本组，本发明通过以下步骤来对第二负样本(即比原负样本点更靠近锚点，且与原负样本点标签相同的负样本)在嵌入空间中进行定位：

在嵌入空间，利用步骤2计算出第一负样本所在同类数据群的中心点坐标P_cen(I)，结合锚点坐标P_anc与第一负样本坐标P_neg，能够计算出第一负样本中心点到锚点向量V_ca，第一负样本点到锚点向量V_na，进而根据向量投影公式能够计算出V_na在V_ca方向上的投影向量：

则生成的第二负样本的坐标P_n'_eg计算公式可表示为：

步骤4、由嵌入空间到特征空间的解码器构建。

构建解码器f_de，将步骤3中生成的第二负样本由嵌入空间映射至特征空间。

按照以下三点原则来构建解码器f_de：

(1)f_de能够将嵌入空间的原始样本准确映射至特征空间；

(2)第一负样本类中心由f_de映射至特征空间后的标签保持与第一负样本标签一致；

(3)生成的第二负样本由f_de映射至特征空间后标签与第一负样本标签保持一致。

根据上述三个约束条件，我们给出解码器的构建公式：

f_de＝dis(Y,Y')+∑f_soft(Y_cen,L)+∑f_soft(Y_n'_eg,L)

其中，f_de是数据从嵌入空间到特征空间的解码器，dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量，Y_cen是第一负样本类中心在特征空间的映射，Y_n'_eg是第二负样本P_n'_eg在特征空间的映射，L是各类负样本对应的标签。

步骤5、构成新的训练样本组。

根据步骤4中得到的解码器，将第二负样本Y_n'_eg投影至特征空间，生成第二负样本的特征向量(特征向量)

利用

锚点样本特征向量Y_anc(P_anc在特征空间中的投影)，正样本特征向量Y_pos(P_pos在特征空间中的投影)构成新的训练样本组。

步骤6、将新的训练样本组映射至嵌入空间。

利用步骤5得到新的训练样本组，并且新的样本组中第二负样本更具区分困难度，将得到新样本组作为训练样本，将样本映射至嵌入空间，进而得到新的嵌入空间。新的嵌入空间能够更有效的对样本间的差异进行度量，实现样本更准确的分类。

综上，本发明利用同标签样本在嵌入空间的分布特征和区分难度分布特征，结合锚点样本和负样本在嵌入空间的分布，获取新的更具类别识别特征的样本点—第二负样本，进而提升度原有度量学习方法的分类准确度。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种图像样本自适应的深度度量学习方法，其特征在于，包括以下步骤：

步骤S1、获取第一训练样本组，所述第一训练样本组包括锚点样本、正样本、第一负样本，利用度量学习构建样本的嵌入空间；

步骤S2、在所述嵌入空间中计算所述第一负样本所在每个类数据群的类中心点坐标；

步骤S3、根据所述第一负样本所在每个类数据群的类中心点坐标、所述锚点样本的坐标、所述第一负样本的坐标生成第二负样本；

在嵌入空间，利用所述第一负样本所在每个类数据群的类中心点坐标P_cen(I)，结合所述锚点样本的坐标P_anc与所述第一负样本的坐标P_neg，计算出中心点到锚点向量V_ca，第一负样本点到锚点向量V_na；

根据向量投影公式计算出V_na在V_ca方向上的投影向量：

根据所述V_na在V_ca方向上的投影向量、所述锚点样本的坐标生成所述第二负样本的坐标P'_neg：

步骤S4、构建解码器，通过所述解码器将所述第二负样本由所述嵌入空间映射至特征空间，生成第二负样本的特征向量；

构建的解码器满足以下条件：

所述解码器能够将嵌入空间的原始样本准确映射至特征空间；

所述第一负样本所在每个类数据群的类中心由所述解码器映射至特征空间后的标签保持与所述第一负样本的标签保持一致；

所述第二负样本由所述解码器映射至特征空间后标签与所述第一负样本的标签保持一致；

所述解码器的构建公式为：

f_de＝dis(Y,Y')+∑f_soft(Y_cen,L)+∑f_soft(Y'_neg,L)

其中，f_de是数据从嵌入空间到特征空间的解码器，dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量，Y_cen是负样本类中心在特征空间的映射，Y'_neg是生成的负样本P'_neg在特征空间的映射，L是各类负样本对应的标签；

步骤S5、构建第二训练样本组，所述第二训练样本组包括所述第二负样本的特征向量、所述锚点样本的特征向量、所述正样本的特征向量；

步骤S6、将所述第二训练样本组映射至所述嵌入空间，进行训练。

2.根据权利要求1所述的图像样本自适应的深度度量学习方法，其特征在于，所述步骤S1的具体实现方式为：

步骤S101、利用深度卷积网络获取所述第一训练样本组中图像样本的深度特征；

步骤S102、将所述第一训练样本组中的图像样本映射至特征空间；

步骤S103、将特征空间作为输入，利用度量学习损失函数将样本从特征空间映射至嵌入空间。

3.根据权利要求2所述的图像样本自适应的深度度量学习方法，其特征在于，所述步骤S103中，使用欧几里得距离作为度量距离，利用所述度量学习损失函数扩大嵌入空间中，同标签样本点的距离，缩小异类标签样本点的距离。

4.根据权利要求1所述的图像样本自适应的深度度量学习方法，其特征在于，所述步骤S2中，所述第一负样本所在每个类数据群的类中心点坐标的计算公式为：

其中，P_cen(I)为标签是I的数据类中心，N_I为标签为I的样本总数，P_j为I类样本中第j个样本。

Images