CN108399428B - 一种基于迹比准则的三元组损失函数设计方法 - Google Patents

Abstract

一种基于迹比准则的三元组损失函数设计方法，通过对于图像特征提取、三元组损失函数和迹比准则的调研，使用迹比准则(Trace Ratio Criterion)作为三元组选取准则和损失计算方法。所述方法主要包括：A、三元组样本构建：对于数据集中的每一个样本，将其构建成三元组样本；B、三元组样本选取：从构建的三元组样本中进行筛选，设定有效的选取机制，在不损失精度的同时，提高训练速度；C、损失函数设计：根据B中获得的三元组样本，分别计算三元组中当前样本和正负样本之间的距离，设计损失函数计算模型预测和真实结果之间的误差；D、深度网络训练：将模型误差回传到深度卷积神经网络中，对网络参数进行更新调整，迭代地训练模型直到收敛。

Description

一种基于迹比准则的三元组损失函数设计方法

技术领域

本发明属于损失函数设计领域，尤其涉及一种基于迹比准则的三元组损失函数设计方法，所述方法使用经过处理的图像数据作为最原始输入。

背景技术

近年来，随着深度学习的兴起，基于卷积神经网络的计算机视觉技术得到了迅猛发展。卷积神经网络是一种常见的深度神经网络，起源可追溯到反向传播算法的提出。常规的神经网络由输入层、隐藏层和输出层组成，每个隐藏层包含若干个神经元，每个神经元都与前一层中的神经元全部连接。卷积神经网络不同于常规的神经网络，它针对于输入是图像的情况，将网络各层中的神经元进行(宽度，高度，深度)三维排列，每一层的神经元只与前一层中的部分神经元相连接。这种局部连接的方式，使得网络的参数数量大幅度减少，在图像数据作为输入的深度学习问题上获得了明显的优势。

损失函数在深度卷积神经网络的训练中扮演着重要的角色，常用的损失函数包括softmax损失、sigmoid损失和三元组损失等。其中，softmax损失函数主要应用于单个标签分类问题，sigmoid损失函数主要应用于多标签学习问题。由于获取足够的数据类别信息的时间和人力成本太高，而结果的反馈信息比较容易获取，模型可以通过每次得到的结果反馈进行调整优化。因此，一般采用三元组损失的方法，去掉卷积网络最终的分类层，直接利用三元组损失函数计算归一化后的特征编码。

三元组损失的核心是三元组的构建，一般从训练数据集中随机选一个样本，该样本称为anchor，然后再随机选取一个和anchor(记为x_a)属于同一类的样本和不同类的样本,这两个样本对应的称为positive(记为x_p)和negative(记为x_n)，由此构成一个(anchor，positive，negative)三元组。针对三元组中的每个元素(样本)，训练一个参数共享或者不共享的网络，得到三个元素的特征表达。三元组损失函数的目的就是通过学习，让x_a和x_p特征表达之间的距离尽可能小，而x_a和x_n的特征表达之间的距离尽可能大，并且要让x_a与x_n之间的距离和x_a与x_p之间的距离之间有一个最小的间隔α。以往使用的二元损失函数的目标，是将相同类别图像的特征映射到空间中的同一个点上，而三元损失函数的目标是将相同类别图像的特征映射到同一块区域内，区域内的图像紧密相连，不同区域块之间彼此分离。从而形成高内聚低耦合的特征空间分布，使得图片特征的类内距离小于图像特征的类间距离。

三元组损失采用的是常用的合页损失函数，当x_a和x_n之间的距离小于x_a和x_p之间的距离加上α时，将会产生损失，否则损失值为零。此方法在整个训练过程中采用固定不变的参数α，不能做到参数在每次迭代时的自适应性，使得最终的模型的泛化能力不够。因此在三元组的选取上，通过严格的选择机制，可以使得训练样本更加具有代表性。在保证模型训练足够充分的前提下，减少了训练样本的数量，从而提高模型训练的收敛速度。迹比算法是一种典型的过滤式特征选择算法，其关注异类数据的特征差异性和同类数据的特征相似性，计算两者的比率数值，作为特征子集的选择依据。比率值越大表示异类数据之间的距离越大，同类数据之间的距离越小，进而达到了三元组损失函数的学习目的。

发明内容

本发明的目的在于提供一种基于迹比准则的三元组损失函数设计方法，旨在解决现有技术中存在的问题。

本发明通过以下技术方案实现：一种基于迹比准则的三元组损失函数设计方法，所述方法包括以下步骤：

A、三元组构建步骤：利用样本之间的关系，对于给定样本，与其相似的样本作为正样本，选取有代表性的样本作为负样本，从而构建三元组；

B、三元组选取步骤：利用一定的筛选准则，选取最有效的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度；

C、损失函数设计步骤：利用选取出的三元组样本，计算当前样本和正负样本之间的距离，设计与筛选准则相符合的三元组损失函数，衡量模型迭代过程中预测结果和真实结果的差异性；

D、深度网络训练步骤：利用深度卷积神经网络训练三元组损失模型，三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛。

作为本发明的进一步改进，所述三元组构建步骤包括以下步骤：

A1、通过人工标定的方式可以构建包含多种类别的图像数据集，根据图像之间的类别信息，构建包含相似关系的图像数据集；

A2、根据图像的类别信息，对于给定图像，选取同类别下的图像作为给定图像的相似图像，选取不同类别下的难分类图像作为给定图像的不相似图像，难分类图像指的是模型容易误分类的样本，如不同类别样本中与给定样本最相似的样本；

A3、根据三元组构建规则，将每张图像作为给定样本，其相似图像作为正样本，不相似的难分类图像作为负样本，从而构建包括当前样本、正样本、负样本的三元组样本。

作为本发明的进一步改进，所述三元组选取步骤包括以下步骤：

B1、根据距离度量准则，计算三元组中的当前样本和正样本之间的距离Dist(anchor,positive)，当前样本和负样本之间的距离Dist(anchor,negative)，一般采用欧氏距离

作为图像间的距离度量准则；

B2、设定三元组的选取标准，对所有三元组样本进行筛选，筛选条件依据迹比准则。迹比准则作为一种典型的过滤式特征选择方法，主要关注异类数据的特征差异性和同类数据的特征相似性，利用两者的比值进行下一步特征划分。设定

从而建立当前样本到正样本距离和当前样本到负样本距离之间存在的不等式关系。迹比准则可看作是一种逐步严格的自适应三元组选取机制，通过迭代更新距离比率γ(t)的值，γ(t)的值在每次迭代后增加，即γ(t+1)≥γ(t)，从而提高三元组的选取要求，γ(t)具有单调递增性质：

其中，

因此，每次迭代得到当前的最优解，使得整个迭代的过程收敛，从而证明了在迹比准则下进行三元组损失的可行性和有效性。

B3、选取满足筛选条件的三元组，作为模型训练的有效样本，在保证训练数据充分的前提下，减少参与训练的三元组样本数，提高模型训练的收敛速度。

作为本发明的进一步改进，所述损失函数设计步骤包括以下步骤：

C1、根据设定好的三元组样本选取标准，设计与之相对应的三元组损失函数

C2、由于比率问题无法得到解析解，将比值形式的损失函数调整为解析解形式

其中γ(t)在步骤B2中已有定义，这种存在解析解的合页损失函数方便了问题的迭代求解；

C3、对于当前三元组样本，根据计算公式，得到损失函数在当前三元组样本下的误差值。

作为本发明的进一步改进，所述深度网络训练步骤包括以下步骤：

D1、修改深度卷积神经网络原有结构，去掉最后一层全连接层；

D2、从数据库中选取三元组，将图像依次输入到相同的深度卷积神经网络中，提取三元组内每个样本的图像特征，得到最后一层卷积层的特征图及特征向量；

D3、对最后一层卷积层的特征进行L2范数归一化，得到维度缩减后的图像特征向量表示，建立图像的嵌入空间；

D4、在网络的最后加入三元组损失函数，根据嵌入空间内的特征表示，计算当前三元组的损失函数值。

D5、将当前损失函数值作为误差回传到深度卷积神经网络的卷积层，在欧式距离度量下计算基于迹比准则的三元组损失函数梯度：

D6、根据梯度推导的公式，进行神经网络训练的反向传播，更新模型参数，对每一步的参数进行更新：

D7、对于数据库中的每一个有效的三元组样本，迭代进行上述操作，直到模型收敛。

本发明的有益效果是：本发明提供的基于迹比准则的三元组损失函数设计方法，利用迹比准则制定三元组选取标准，设计损失函数，该方法无需耗费高昂的时间和人力成本获取数据类别信息，直接采用容易获取的结果反馈信息作为训练数据，模型可以通过每次得到的结果反馈进行调整优化；本发明去掉卷积网络最终的分类层，直接利用三元组损失函数计算归一化后的特征编码；三元组损失函数通过学习的过程，不断将类间距离增大，类内距离缩小，从而对模型进行训练和优化；本发明提出了一种基于迹比准则的三元组损失函数来计算反馈信息，代替原有固定参数的合页损失函数；迹比算法是一种典型的过滤式特征选择算法，主要关注异类数据的特征差异性和同类数据的特征相似性，计算两者的比率数值，作为特征子集的选择依据；比率值越大表示异类数据之间的距离越大，同类数据之间的距离越小，进而达到了三元组损失函数的学习目的；通过证明推导，本发明的方法对于图像。

附图说明

图1给出了本发明的基于迹比准则的三元组损失函数设计方法的流程图；

图2给出了本发明的基于迹比准则的三元组损失函数设计方法的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的基于迹比准则的三元组损失函数设计方法，主要创新的工作为以下四个部分：1)三元组构建模块；2)三元组选取模块；3)损失函数设计模块；4)深度网络训练模块。第一部分构建三元组，将带类标的图像数据构建成三元组的数据形式。第二部分选取三元组，使用迹比准则限定筛选条件，选出有效的三元组集合。第三部分设计损失函数，改进现有固定参数的合页损失函数，设计逐步严格的自适应损失函数。第四部分训练网络，使用卷积神经网络和三元组相结合，提取图像特征，训练网络模型。

图1示出了本发明提供的基于迹比准则的三元组损失函数设计方法的流程图，其详述如下：

步骤A，本步骤利用样本之间的关系，对于给定样本，与其相似的样本作为正样本，选取有代表性的样本作为负样本，从而构建三元组。首先，通过人工标定的方式可以构建包含多种类别的图像数据集，根据图像之间的类别信息，构建包含相似关系的图像数据集。接着，根据图像的类别信息，对于给定图像，选取同类别下的图像作为给定图像的相似图像，选取不同类别下的难分类图像作为给定图像的不相似图像，难分类图像指的是模型容易误分类的样本，如不同类别样本中与给定样本最相似的样本。最后，根据三元组构建规则，将每张图像作为给定样本，其相似图像作为正样本，不相似的难分类图像作为负样本，从而构建形如(当前样本、正样本、负样本)的三元组样本。

步骤B，本步骤利用一定的筛选准则，选取最有效的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度。首先，根据距离度量准则，计算三元组中的当前样本和正样本之间的距离Dist(anchor,positive)，当前样本和负样本之间的距离Dist(anchor,negative)，一般采用欧氏距离

作为图像间的距离度量准则。接着，设定三元组的选取标准，对所有三元组样本进行筛选，筛选条件依据迹比准则。迹比准则作为一种典型的过滤式特征选择方法，主要关注异类数据的特征差异性和同类数据的特征相似性，利用两者的比值进行下一步特征划分。设定

从而建立当前样本到正样本距离和当前样本到负样本距离之间存在的不等式关系。迹比准则可看作是一种逐步严格的自适应三元组选取机制，通过迭代更新距离比率γ(t)的值，γ(t)的值在每次迭代后增加，即γ(t+1)≥γ(t)，从而提高三元组的选取要求，γ(t)具有单调递增性质。因此，每次迭代得到当前的最优解，使得整个迭代的过程收敛，从而证明了在迹比准则下进行三元组损失的可行性和有效性。最后，选取满足筛选条件的三元组，作为模型训练的有效样本，在保证训练数据充分的前提下，减少参与训练的三元组样本数，提高模型训练的收敛速度。

步骤C，本步骤利用选取出的三元组样本，计算当前样本和正负样本之间的距离，设计与筛选准则相符合的三元组损失函数，衡量模型迭代过程中预测结果和真实结果的差异性。首先，根据三元组样本选取标准，设计损失函数

接着，考虑到比率问题可能无法得到解析解，将比值形式的损失函数调整为形如

有解析解的损失函数形式，从而方便了问题的迭代求解。最后，对于当前三元组样本，根据计算公式，得到损失函数在当前三元组样本下的误差值。

步骤D，本步骤利用深度卷积神经网络训练三元组损失模型，三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛。首先，修改深度卷积神经网络原有结构，去掉最后一层全连接层。接着，从数据库中选取三元组，将图像依次输入到相同的深度卷积神经网络中，提取三元组内每个样本的图像特征，得到最后一层卷积层的特征图及特征向量。然后，对最后一层卷积层的特征进行L2范数归一化，得到维度缩减后的图像特征向量表示，建立图像的嵌入空间。同时，在网络的最后加入三元组损失函数，根据嵌入空间内的特征表示，计算当前三元组的损失函数值。下一步，将当前损失函数值作为误差回传到深度卷积神经网络的卷积层，在欧式距离度量下计算基于迹比准则的三元组损失函数梯度。并根据梯度推导的公式，进行神经网络训练的反向传播，更新模型参数，对每一步的参数进行更新。最后，对于数据库中的每一个有效的三元组样本，迭代进行上述操作，直到模型收敛。

附图2所示为实现本发明的基于迹比准则的三元组损失函数设计方法的模块单元，包括：

三元组构建模块：用于将带类标的图像数据集转换成三元组形式的数据集；

三元组选取模块：用于选取数据集中符合筛选标准的有效三元组子集；

损失函数设计模块：用于设计迹比准则下的三元组损失函数；

深度网络训练模块：用于将深度卷积神经网络和三元组损失函数相结合，训练出高效可行的网络模型。

发明的主要贡献有以下两点：(1)本发明提出了一种基于迹比准则的三元组损失函数设计方法，并设计出系统的具体流程。通过依托机器视觉领域，深度卷积神经网络在相似物体识别等视觉任务上取得的巨大成功。(2)本发明以迹比准则为创新点，改进现有三元组损失函数的缺陷，将固定参数的合页损失函数创新性地修改为逐步严格的参数自适应损失函数，三元组的选取标准和损失函数的参数随着迭代次数不断更新，总体呈现逐步严格的趋势。这一方面考虑到了每次迭代时的误差情况，另一方面减少了参与训练的三元组数量，提高了模型收敛的速度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于迹比准则的三元组损失函数设计方法，包括以下步骤：

A、三元组构建步骤：利用样本之间的关系，对于给定样本，与其相似的样本作为正样本，选取有代表性的样本作为负样本，从而构建三元组；

B、三元组选取步骤：利用一定的筛选准则，选取最有效的三元组样本作为训练样本，在保证模型充分训练的前提下，提高模型训练速度；

C、损失函数设计步骤：利用选取出的三元组样本，计算当前样本和正负样本之间的距离，设计与筛选准则相符合的三元组损失函数，衡量模型迭代过程中预测结果和真实结果的差异性；

D、深度网络训练步骤：利用深度卷积神经网络训练三元组损失模型，三元组损失函数代替网络最后的全连接层，每次迭代时，损失函数的值作为误差回传到卷积神经网络的前面层，更新网络参数，迭代训练网络直到模型收敛；

所述步骤A包括以下步骤：

A1、通过人工标定的方式可以构建包含多种类别的图像数据集，根据图像之间的类别信息，构建包含相似关系的图像数据集；

A2、根据图像的类别信息，对于给定图像，选取同类别下的图像作为给定图像的相似图像，选取不同类别下的难分类图像作为给定图像的不相似图像，难分类图像指的是模型容易误分类的样本，包括不同类别样本中与给定样本最相似的样本；

A3、根据三元组构建规则，将每张图像作为给定样本，其相似图像作为正样本，不相似的难分类图像作为负样本，从而构建包括当前样本、正样本、负样本的三元组样本。

2.根据权利要求1所述的方法，其特征在于：所述步骤B包括以下步骤：

B1、根据距离度量准则，计算三元组中的当前样本和正样本之间的距离Dist(anchor,positive)，当前样本和负样本之间的距离Dist(anchor,negative)，采用欧氏距离

作为图像间的距离度量准则；

B2、设定三元组的选取标准，对所有三元组样本进行筛选，筛选条件依据迹比准则；迹比准则作为一种典型的过滤式特征选择方法，主要关注异类数据的特征差异性和同类数据的特征相似性，利用两者的比值进行下一步特征划分；设定

从而建立当前样本到正样本距离和当前样本到负样本距离之间存在的不等式关系；迹比准则可看作是一种逐步严格的自适应三元组选取机制，通过迭代更新距离比率γ(t)的值，γ(t)的值在每次迭代后增加，即γ(t+1)≥γ(t)，从而提高三元组的选取要求，γ(t)具有单调递增性质：

其中，

因此，每次迭代得到当前的最优解，使得整个迭代的过程收敛，从而证明了在迹比准则下进行三元组损失的可行性和有效性；

B3、选取满足筛选条件的三元组，作为模型训练的有效样本，在保证训练数据充分的前提下，减少参与训练的三元组样本数，提高模型训练的收敛速度。

3.根据权利要求1所述的方法，其特征在于：所述步骤C包括以下步骤：

C1、根据设定好的三元组样本选取标准，设计与之相对应的三元组损失函数

C2、由于比率问题无法得到解析解，将比值形式的损失函数调整为解析解形式

其中γ(t)在步骤B2中已有定义，这种存在解析解的合页损失函数方便了问题的迭代求解；

C3、对于当前三元组样本，根据计算公式，得到损失函数在当前三元组样本下的误差值。

4.根据权利要求1所述的方法，其特征在于：所述步骤D包括以下步骤：

D1、修改深度卷积神经网络原有结构，去掉最后一层全连接层；

D2、从数据库中选取三元组，将图像依次输入到相同的深度卷积神经网络中，提取三元组内每个样本的图像特征，得到最后一层卷积层的特征图及特征向量；

D3、对最后一层卷积层的特征进行L2范数归一化，得到维度缩减后的图像特征向量表示，建立图像的嵌入空间；

D4、在网络的最后加入三元组损失函数，根据嵌入空间内的特征表示，计算当前三元组的损失函数值；

D5、将当前损失函数值作为误差回传到深度卷积神经网络的卷积层，在欧式距离度量下计算基于迹比准则的三元组损失函数梯度：

D6、根据梯度推导的公式，进行神经网络训练的反向传播，更新模型参数，对每一步的参数进行更新：

D7、对于数据库中的每一个有效的三元组样本，迭代进行上述操作，直到模型收敛。

Images