CN108229555A - 样本权重分配方法、模型训练方法、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种样本权重分配方法，所述方法包括：获取训练样本，所述训练样本包括正样本集及负样本集；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。本发明还提供一种模型训练方法、电子设备及存储介质。本发明能增加分类错误的样本对的权重，在模型训练过程中，增大所述分类错误的样本对目标损失的贡献，从而能更好地修正模型参数，提高模型参数的表达能力。

Description

样本权重分配方法、模型训练方法、电子设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种样本权重分配方法、模型训练方法、电子设备及存储介质。

背景技术

在机器学习领域，在模型(例如特征提取模型、人脸特征表达模型等) 的训练中损失函数分为两类，第一类是基于分类的度量，由于不是直接对特征进行度量，性能有限；另外一类是直接面向特征度量的端到端的方法，此类方法由于需要挑选到难易程度合适的样本网络才能较好收敛。现有的方法主要通过以下两种方式获取难易程度合适的样本：第一、在模型训练到一定阶段后，根据模型的特征表达，选择一些难度适中的样本，这样的方式操作起来麻烦，并且随着模型的训练，所选择的样本的难以程度发生变化，原有的离线选择的样本不在具有代表性，无法充分表达后续添加的样本的特征。第二、在模型训练的过程中，根据每次训练的模型选择难度适中的样本，虽然这种方法选择的训练样本具有代表性，能有有效的提高模型的表达能力，但是需要的计算资源过大，在实际模型训练中难以实现。

发明内容

鉴于以上内容，有必要提供一种样本权重分配方法、模型训练方法、电子设备及存储介质，能增加分类错误的样本对的权重，在模型训练过程中，增大所述分类错误的样本对目标损失的贡献，从而能更好地修正模型参数，提高模型参数的表达能力。

一种样本权重分配方法，所述方法包括：

获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；

计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；

根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；

根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；

基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

根据本发明优选实施例，所述基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布包括：

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类错误的第一样本集；

在所述训练样本的权重分布中，增加所述第一样本集中每个样本对的权重；及/或

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类正确的第二样本集；

在所述训练样本的权重分布中，减少所述第二样本集中每个样本对的权重。

根据本发明优选实施例，所述训练样本的权重分布为正态分布，当所述正样本集中正样本对的最大距离小于或等于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。

根据本发明优选实施例，所述训练样本的权重分布为正态分布，当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述正样本集的距离分布与所述负样本集的距离分布的交叉点对应的距离值作为所述训练样本的权重分布的均值；或

将在正样本对出现的频率与负样本对出现的频率的之差的绝对值最小处对应的距离作为所述训练样本的权重分布的均值。

根据本发明优选实施例，在确定所述训练样本的权重分布的均值时，所述方法还包括：

配置预设步长、初始均值及迭代终止条件；

基于所述初始均值及所述预设步长，在所述最小距离与最大距离组成的区间内进行迭代搜索满足所述迭代终止条件的最优距离值，在所述最优距离值处，正样本对出现的频率与负样本对出现的频率的之差的绝对值最小。

根据本发明优选实施例，所述训练样本的权重分布为正态分布，在确定所述训练样本的权重分布时，所述方法还包括：

在每次训练过程中，获取所述正样本集中正样本对之间距离的标准差；

根据所述正样本集中正样本对之间距离的标准差，更新每次训练过程中的所述训练样本的权重分布的标准差。

一种模型训练方法，所述方法包括：

获取训练样本；

基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联，所述训练样本的权重分布利用任意实施例中所述的样本权重分配方法得到。

根据本发明优选实施例，所述方法还包括：

利用所述损失函数，增加分类错误的样本对对目标损失的贡献率。

一种电子设备，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令以实现如任意实施例中所述的样本权重分配方法，及/或任意实施例中所述的模型训练方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如任意实施例中所述的样本权重分配方法，及/或任意实施例中所述的模型训练方法。

由以上技术方案可以看出，本发明提供一种样本权重分配方法，所述方法包括：获取训练样本，所述训练样本包括正样本集及负样本集；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。本发明还提供一种模型训练方法、电子设备及存储介质。本发明能增加分类错误的样本对的权重，在模型训练过程中，增大所述分类错误的样本对目标损失的贡献，从而能更好地修正模型参数，提高模型参数的表达能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明样本权重分配方法的较佳实施例的流程图。

图2是本发明的一个举例中样本的距离分布与权重分布的示意图。

图3是本发明的一个举例中样本的距离分布的另一个示意图。

图4是本发明模型训练方法的较佳实施例的流程图。

图5是本发明样本权重分配装置的较佳实施例的功能模块图。

图6是本发明模型训练装置的较佳实施例的功能模块图。

图7是本发明至少一个实例中电子设备的较佳实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，是本发明样本权重分配方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S10，电子设备获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对。

在本发明的优选实施例中，所述电子设备会配置训练样本集，在模型参数的训练过程中，先从配置的训练样本集中取出一部分样本进行训练，所述一部分样本作为所述训练样本。例如，在所述训练样本对应每个mini-batch中的样本。

在本发明的优选实施例中，所述正样本集包括一个或者多个正样本对，其中一个所述正样本对表示属于一个同一类别的样本对。所述负样本集包括一个或者多个负样本对。

例如，利用所述训练样本训练人脸特征表达模型，人脸特征表达模型用于后续输入的人脸的特征提取，因此，一个正样本对表示一个人脸的样本对，如一个正样本对包括一个人脸的两张图片。

S11，所述电子设备计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离。

在本发明的优选实施例中，所述电子设备计算每个正样本对的欧式距离，将每个正样本对的欧式距离作为所述每个正样本对的距离。所述电子设备计算每个负样本对的欧式距离，将每个负样本对的欧式距离作为所述每个负样本对的距离。每个正样本对的距离及每个负样本对的距离的表达形式，并不限于欧式距离，也可以是其他的距离形式，本发明不做任何限制。

S12，所述电子设备根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系。

在本发明的优选实施例中，所述正样本集的距离分布包括多个距离点，每个距离点对应一个正样本对出现频率。例如，所述正样本集有100个正样本对，在距离至为0.2处，对应有30个正样本对。

S13，所述电子设备根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系。

在本发明的优选实施例中，所述负样本集的距离分布包括多个距离点，每个距离点对应一个负样本对出现频率。例如，所述负样本集有100个负样本对，在距离至为0.5处，对应有20个负样本对。

S14，所述电子设备基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

在本发明中，当所述正样本集的距离分布与所述负样本集的距离分布的没有交叉重叠部分时，表示所述正样本集与所述负样本集中不存在分类错误的样本对。当所述正样本集的距离分布与所述负样本集的距离分布的交叉重叠部分，则表示所述正样本集与所述负样本集中存在分类错误的样本对。所述正样本集的距离分布与所述负样本集的距离分布的交叉重叠部分的距离对应的样本对表示分类错误的样本对。因此，在后续的训练过程中，需要增加分类错误的样本对的权重，从而可以增大所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率。

举例而言，如图2所示，一个举例中正样本集的距离分布及所述负样本集的距离分布的示意图，所述正样本集中每个正样本对的距离用欧式距离表示，所述负样本集中每个负样本对的距离用欧式距离表示，当然也可以用其他距离表示，该举例并不能作为对距离计算方式的限制。在距离A与距离B之间的距离对应的样本对都是分类错误的样本对。若正样本对的总数量为1000个，负样本对的总数量为2000个，距离A对应的正样本对出现频率为0.02，在距离A 点对应的正样本对数为20个，距离A点对应的负样本对出现频率为0.15，在距离A点对应的负样本对数为300个。若一个目标样本对的距离等于距离A，则所述目标样本对可能属于正样本对，也可能属于负样本对，因此所述目标样本对会出现分类错误的情况。

优选地，所述基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布包括：

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类错误的第一样本集；在所述训练样本的权重分布中，增加所述第一样本集中每个样本对的权重；及/或

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类正确的第二样本集；在所述训练样本的权重分布中，减少所述第二样本集中每个样本对的权重。

在上述实施例中，通过在所述训练样本的权重分布增加分类错误的样本对的权重，及/或减少分类正确的样本的权重，从而在后续的模型训练过程中，损失函数与所述训练样本的权重分布相关联，基于所述训练样本的权重分布建立所述损失函数，可以增大所述分类错误的样本对网络损失的贡献，从而能更好地修正模型参数、提高模型参数的表达能力。

优选地，所述训练样本的权重分布为正态分布。所述配置所述正态分布的参数以实现增加分类错误的样本对的权重，及/或减少分类正确的样本的权重。所述正态分布表示样本对的距离与权重的关系。所述正态分布的参数包括，但不限于：均值，标准差。

进一步地，当所述正样本集中正样本对的最大距离小于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。当所述正样本集中正样本对的最大距离小于所述负样本集中负样本对的最小距离时，即表示所述正样本集与所述负样本集中不存在分类错误的样本对。

举例而言，如图3所示，所述正样本集中每个正样本对的距离用欧式距离表示，所述负样本集中每个负样本对的距离用欧式距离表示，当然也可以用其他距离表示，该举例并不能作为对距离计算方式的限制。所述正样本集中正样本对的最大距离C点对应的距离小于所述负样本集中负样本对的最小距离D点对应的距离。这样所述正样本集的距离分布与所述负样本集的距离分布的没有交叉重叠部分，则所述正样本集与所述负样本集中不存在分类错误的样本对。

进一步地，当所述正样本集中正样本对的最大距离等于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。

进一步地，当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述正样本集的距离分布与所述负样本集的距离分布的交叉点对应的距离值作为所述训练样本的权重分布的均值；或

将在正样本对出现的频率与负样本对出现的频率的之差的绝对值最小处对应的距离作为所述训练样本的权重分布的均值。当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，即表示所述正样本集与所述负样本集中存在分类错误的样本对。

举例而言，如图2所示，所述正样本集中正样本对的最大距离B点对应的距离小于所述负样本集中负样本对的最小距离A点对应的距离。这样所述正样本集的距离分布与所述负样本集的距离分布的有交叉重叠部分，则所述正样本集与所述负样本集中不存在分类错误的样本对。将所述正样本集的距离分布与所述负样本集的距离分布的距交叉点E处对应的距离作为所述正态分布的均值。正样本对出现的频率与负样本对出现的频率的之差的绝对值最小即为所述交叉点E对应的频率值F。

通过上述实施例可知，在以所述训练样本的权重分布的均值为轴，越靠近所述训练样本的权重分布的均值的附近区域所包括的距离对应的样本对，越会分类错误，因此，在所述训练样本的权重分布(即所述正态分布)中，越靠近所述训练样本的权重分布的均值的距离对应的样本对的权重越大，从而实现增加分类错误的样本对的权重，及/或减少分类正确的样本的权重，从而在后续的模型训练过程中，损失函数与所述训练样本的权重分布相关联，基于所述训练样本的权重分布建立所述损失函数，可以增大所述分类错误的样本对网络损失的贡献，从而能更好地修正模型参数、提高模型参数的表达能力。

结合上述图2中的两个图的举例可知，在距离A与距离E之间对应的样本对是分类错误的样本对，及在距离B与距离E之间对应的样本对也是是分类错误的样本对。因此，在正态分布中，所述在距离A与距离E之间对应的样本对及距离B与距离E之间对应的样本对的权重高于能正确分类的样本对的权重。

进一步地，需要在所述最小距离与所述最大距离之间，搜索使正样本对出现的频率与负样本对出现的频率的之差的绝对值最小的最优距离值。优选地，在确定所述训练样本的权重分布的均值时，所述方法还包括：

配置预设步长、初始均值及迭代终止条件；

基于所述初始均值及所述预设步长，在所述最小距离与最大距离组成的区间内进行迭代搜索满足所述迭代终止条件的最优距离值，在所述最优距离值处，正样本对出现的频率与负样本对出现的频率的之差的绝对值最小。

进一步地，所述预设步长等于(所述最大距离-最小距离)/n，所述n为正数。当然所述预设步长也可以是其他形式的步长，本发明不做任何限制。

进一步地，所述迭代终止条件包括，但不限于：预设误差。

具体地，以所述初始均值为初始迭代，基于所述预设步长step进行迭代搜索，在当前迭代中，计算当前均值μ表示的距离处，正样本对出现的频率与负样本对出现的频率的之差的绝对值是否小于预设误差，若小于预设误差，将所述当前均值加上预设步长赋值为所述当前均值μ，即(μ+step)赋值为μ，继续判断正样本对出现的频率与负样本对出现的频率的之差的绝对值是否小于预设误差，直至出现正样本对出现的频率与负样本对出现的频率的之差的绝对值大于预设误差，则停止搜索所述均值，输出最后一次迭代对应的最优距离值作为所述训练样本的权重分布的均值。

在本发明中，随着模型的训练，模型表达能力不断增强，因此也应当逐渐增加分类错误的样本对(即第一样本集)的权重，即需要减小所述正态分布(即所述训练样本的权重分布)的标准差。对于所述正态分布而言，标准差越小，正态峰越陡峭，即越靠近所述均值表示的距离处的样本对的权重越高，从而可以实现逐渐增加分类错误的样本对(即第一样本集)的权重。

由于正样本集中的样本对距离的标准差随着模型训练会逐渐较小，因此，可以根据正样本集中的样本对距离的标准差配置所述正态分布的标准差。优选地，所述方法还包括：根据所述正样本集中正样本对之间距离的标准差，更新每次训练过程中的所述训练样本的权重分布的标准差。这样所述训练样本的权重分布中的标准差在模型训练的过程中随着模型训练次数的增多而逐渐较少，从而使得难以区分的样本的权重逐渐变大，提高模型的表达能力和收敛速度。

由以上技术方案可知，本发明获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。本发明能增加分类错误的样本对的权重，在后续的训练过程中，从而可以增大所述分类错误的样本对对修正模型参数、提高模型的表达能力的贡献率，提高模型参数的准确度。

如图4所示，是本发明模型训练方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S40，电子设备获取训练样本。

S41，所述电子设备基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联。

优选地，所述训练样本的权重分布利用上述任意实施例中所述的样本权重分配方法得到。此处不再详述。

优选地，所述预设训练算法包括，但不限于：卷积神经网络算法。

在本发明中，所述损失函数通过所述训练样本的权重分布增加分类错误的样本对对目标损失的贡献率。优选地，所述方法还包括：利用所述损失函数，增加分类错误的样本对对目标损失的贡献率，从而提高所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率，使得模型在训练过程中能够更加专注于分类错误的样本，增加了模型的表达能力和收敛速度。

由以上技术方案可知，本发明获取训练样本，基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联。所述训练样本的权重分布利用上述任意实施例中所述的样本权重分配方法得到。本发明中，所述训练样本的权重分布在模型训练的过程中，分类错误的样本对的权重逐渐变大，因此，在训练模型参数时，利用所述损失函数可以提高所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率，使得模型在训练过程中能够更加专注于分类错误的样本，增加了模型的表达能力和收敛速度，提高了模型参数的准确度。

针对上述模型训练的应用场景举例，以下举例只是一个示例，不能作为模型的限制。

利用图4中描述的模型训练方法来训练人脸特征表达模型，其中正样本集中每个正样本对表示同一个人的人脸样本对。利用训练好的人脸特征表达模型提取待检测图片的特征，从而能提高人脸识别的准确率。

具体地，获取待检测图片，利用所述训练好的人脸特征表达模型提取所述待检测图片的特征，基于所述待检测图片的特征，对所述待检测图片进行人脸识别。

通过本发明训练的人脸特征表达模型，能通过增加分类错误的样本对的权重值，同时减少已经能正确分类的样本对的权重，从而增加了人脸特征表达模型的表达能力和收敛速度，从而提高人脸识别的准确率。

如图5所示，本发明样本权重分配装置的较佳实施例的功能模块图。所述样本权重分配装置11包括获取模块100、计算模块101及确定模块102。本发明所称的单元是指一种能够被样本权重分配装置11的处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各单元的功能将在后续的实施例中详述。

所述获取模块100获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对。

在本发明的优选实施例中，所述电子设备会配置训练样本集，在模型参数的训练过程中，先从配置的训练样本集中取出一部分样本进行训练，所述一部分样本作为所述训练样本。例如，在所述训练样本对应每个mini-batch中的样本。

在本发明的优选实施例中，所述正样本集包括一个或者多个正样本对，其中一个所述正样本对表示属于一个同一类别的样本对。所述负样本集包括一个或者多个负样本对。

例如，利用所述训练样本训练人脸特征表达模型，人脸特征表达模型用于后续输入的人脸的特征提取，因此，一个正样本对表示一个人脸的样本对，如一个正样本对包括一个人脸的两张图片。

所述计算模型101计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离。

在本发明的优选实施例中，所述计算模型101计算每个正样本对的欧式距离，将每个正样本对的欧式距离作为所述每个正样本对的距离。所述计算模型 101计算每个负样本对的欧式距离，将每个负样本对的欧式距离作为所述每个负样本对的距离。每个正样本对的距离及每个负样本对的距离的表达形式，并不限于欧式距离，也可以是其他的距离形式，本发明不做任何限制。

所述确定模块102根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系。

在本发明的优选实施例中，所述正样本集的距离分布包括多个距离点，每个距离点对应一个正样本对出现频率。例如，所述正样本集有100个正样本对，在距离至为0.2处，对应有30个正样本对。

所述确定模块102根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系。

在本发明的优选实施例中，所述负样本集的距离分布包括多个距离点，每个距离点对应一个负样本对出现频率。例如，所述负样本集有100个负样本对，在距离至为0.5处，对应有20个负样本对。

所述确定模块102基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

在本发明中，当所述正样本集的距离分布与所述负样本集的距离分布的没有交叉重叠部分时，表示所述正样本集与所述负样本集中不存在分类错误的样本对。当所述正样本集的距离分布与所述负样本集的距离分布的交叉重叠部分，则表示所述正样本集与所述负样本集中存在分类错误的样本对。所述正样本集的距离分布与所述负样本集的距离分布的交叉重叠部分的距离对应的样本对表示分类错误的样本对。因此，在后续的训练过程中，需要增加分类错误的样本对的权重，从而可以增大所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率。

举例而言，如图2所示，一个举例中正样本集的距离分布及所述负样本集的距离分布的示意图，在距离A与距离B之间的距离对应的样本对都是分类错误的样本对。若正样本对的总数量为1000个，负样本对的总数量为2000个，距离A对应的正样本对出现频率为0.02，在距离A点对应的正样本对数为20 个，距离A点对应的负样本对出现频率为0.15，在距离A点对应的负样本对数为300个。若一个目标样本对的距离等于距离A，则所述目标样本对可能属于正样本对，也可能属于负样本对，因此所述目标样本对会出现分类错误的情况。

优选地，所述确定模块102基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布包括：

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类错误的第一样本集；在所述训练样本的权重分布中，增加所述第一样本集中每个样本对的权重；及/或

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类正确的第二样本集；在所述训练样本的权重分布中，减少所述第二样本集中每个样本对的权重。

在上述实施例中，通过在所述训练样本的权重分布增加分类错误的样本对的权重，及/或减少分类正确的样本的权重，从而在后续的模型训练过程中，损失函数与所述训练样本的权重分布相关联，基于所述训练样本的权重分布建立所述损失函数，可以增大所述分类错误的样本对网络损失的贡献，从而能更好地修正模型参数、提高模型参数的表达能力。

优选地，所述训练样本的权重分布为正态分布。所述配置所述正态分布的参数以实现增加分类错误的样本对的权重，及/或减少分类正确的样本的权重。所述正态分布表示样本对的距离与权重的关系。所述正态分布的参数包括，但不限于：均值，标准差。

进一步地，当所述正样本集中正样本对的最大距离小于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述确定模块102 还用于：将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。当所述正样本集中正样本对的最大距离小于所述负样本集中负样本对的最小距离时，即表示所述正样本集与所述负样本集中不存在分类错误的样本对。

举例而言，如图3所示，所述正样本集中正样本对的最大距离C点对应的距离小于所述负样本集中负样本对的最小距离D点对应的距离。这样所述正样本集的距离分布与所述负样本集的距离分布的没有交叉重叠部分，则所述正样本集与所述负样本集中不存在分类错误的样本对。

进一步地，当所述正样本集中正样本对的最大距离等于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述确定模块102 还用于：将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。

进一步地，当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述正样本集的距离分布与所述负样本集的距离分布的交叉点对应的距离值作为所述训练样本的权重分布的均值；或

将在正样本对出现的频率与负样本对出现的频率的之差的绝对值最小处对应的距离作为所述训练样本的权重分布的均值。当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，即表示所述正样本集与所述负样本集中存在分类错误的样本对。

举例而言，如图2所示，所述正样本集中正样本对的最大距离B点对应的距离小于所述负样本集中负样本对的最小距离A点对应的距离。这样所述正样本集的距离分布与所述负样本集的距离分布的有交叉重叠部分，则所述正样本集与所述负样本集中不存在分类错误的样本对。将所述正样本集的距离分布与所述负样本集的距离分布的距交叉点E处对应的距离作为所述正态分布的均值。正样本对出现的频率与负样本对出现的频率的之差的绝对值最小即为所述交叉点E对应的频率值F。

通过上述实施例可知，在以所述训练样本的权重分布的均值为轴，越靠近所述训练样本的权重分布的均值的附近区域所包括的距离对应的样本对，越会分类错误，因此，在所述训练样本的权重分布(即所述正态分布)中，越靠近所述训练样本的权重分布的均值的距离对应的样本对的权重越大，从而实现增加分类错误的样本对的权重，及/或减少分类正确的样本的权重，从而在后续的模型训练过程中，损失函数与所述训练样本的权重分布相关联，基于所述训练样本的权重分布建立所述损失函数，可以增大所述分类错误的样本对网络损失的贡献，从而能更好地修正模型参数、提高模型参数的表达能力。

结合上述图2中的两个图的举例可知，在距离A与距离E之间对应的样本对是分类错误的样本对，及在距离B与距离E之间对应的样本对也是是分类错误的样本对。因此，在正态分布中，所述在距离A与距离E之间对应的样本对及距离B与距离E之间对应的样本对的权重高于能正确分类的样本对的权重。

进一步地，需要在所述最小距离与所述最大距离之间，搜索使正样本对出现的频率与负样本对出现的频率的之差的绝对值最小的最优距离值。优选地，在确定所述训练样本的权重分布的均值时，所述确定模块102还用于：

配置预设步长、初始均值及迭代终止条件；

基于所述初始均值及所述预设步长，在所述最小距离与最大距离组成的区间内进行迭代搜索满足所述迭代终止条件的最优距离值，在所述最优距离值处，正样本对出现的频率与负样本对出现的频率的之差的绝对值最小。

进一步地，所述预设步长等于(所述最大距离-最小距离)/n，所述n为正数。当然所述预设步长也可以是其他形式的步长，本发明不做任何限制。

进一步地，所述迭代终止条件包括，但不限于：预设误差。

具体地，以所述初始均值为初始迭代，基于所述预设步长step进行迭代搜索，在当前迭代中，计算当前均值μ表示的距离处，正样本对出现的频率与负样本对出现的频率的之差的绝对值是否小于预设误差，若小于预设误差，将所述当前均值加上预设步长赋值为所述当前均值μ，即(μ+step)赋值为μ，继续判断正样本对出现的频率与负样本对出现的频率的之差的绝对值是否小于预设误差，直至出现正样本对出现的频率与负样本对出现的频率的之差的绝对值大于预设误差，则停止搜索所述均值，输出最后一次迭代对应的最优距离值作为所述训练样本的权重分布的均值。

在本发明中，随着模型的训练，模型表达能力不断增强，因此也应当逐渐增加分类错误的样本对(即第一样本集)的权重，即需要减小所述正态分布(即所述训练样本的权重分布)的标准差。对于所述正态分布而言，标准差越小，正态峰越陡峭，即越靠近所述均值表示的距离处的样本对的权重越高，从而可以实现逐渐增加分类错误的样本对(即第一样本集)的权重。

由于正样本集中的样本对距离的标准差随着模型训练会逐渐较小，因此，可以根据正样本集中的样本对距离的标准差配置所述正态分布的标准差。优选地，所述方法还包括：根据所述正样本集中正样本对之间距离的标准差，更新每次训练过程中的所述训练样本的权重分布的标准差。这样所述训练样本的权重分布中的标准差在模型训练的过程中随着模型训练次数的增多而逐渐较少，从而使得难以区分的样本的权重逐渐变大，提高模型的表达能力和收敛速度。

由以上技术方案可知，本发明获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。本发明能增加分类错误的样本对的权重，在后续的训练过程中，从而可以增大所述分类错误的样本对对修正模型参数、提高模型的表达能力的贡献率，提高模型参数的准确度。

如图6所示，本发明模型训练装置的较佳实施例的功能模块图。所述模型训练装置61包括数据获取模块600及所述训练模块601。本发明所称的单元是指一种能够被模型训练装置61的处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各单元的功能将在后续的实施例中详述。

所述数据获取模块600获取训练样本。

所述训练模块601基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联。

优选地，所述训练样本的权重分布利用上述任意实施例中所述的样本权重分配方法得到。此处不再详述。

优选地，所述预设训练算法包括，但不限于：卷积神经网络算法。

在本发明中，所述损失函数通过所述训练样本的权重分布增加分类错误的样本对对目标损失的贡献率。优选地，所述训练模块601还用于：利用所述损失函数，增加分类错误的样本对对目标损失的贡献率，从而提高所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率，使得模型在训练过程中能够更加专注于分类错误的样本，增加了模型的表达能力和收敛速度。

由以上技术方案可知，本发明获取训练样本，基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联。所述训练样本的权重分布利用上述任意实施例中所述的样本权重分配方法得到。本发明中，所述训练样本的权重分布在模型训练的过程中，分类错误的样本对的权重逐渐变大，因此，在训练模型参数时，利用所述损失函数可以提高所述分类错误的样本对对修正模型参数的贡献率、提高模型的表达能力的贡献率，使得模型在训练过程中能够更加专注于分类错误的样本，增加了模型的表达能力和收敛速度，提高了模型参数的准确度。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(processor)执行本发明每个实施例所述方法的部分步骤。

如图7所示，所述电子设备3包括至少一个发送装置31、至少一个存储器32、至少一个处理器33、至少一个接收装置34以及至少一个通信总线。其中，所述通信总线用于实现这些组件之间的连接通信。

所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路 (Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－ Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述电子设备3还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

所述电子设备3可以是，但不限于任何一种可与用户通过键盘、触摸板或声控设备等方式进行人机交互的电子产品，例如，平板电脑、智能手机、个人数字助理(PersonalDigital Assistant，PDA)、智能式穿戴式设备、摄像设备、监控设备等终端。

所述电子设备3所处的网络包括，但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

其中，所述接收装置34和所述发送装置31可以是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他设备进行数据通信。

所述存储器32用于存储程序代码。所述存储器32可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储器)、FIFO(First InFirst Out，)等。或者，所述存储器32也可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)、智能媒体卡 (smart media card)、安全数字卡(secure digitalcard)、快闪存储器卡(flash card)等储存设备等等。

所述处理器33可以包括一个或者多个微处理器、数字处理器。所述处理器33可调用存储器32中存储的程序代码以执行相关的功能。例如，图5及图6 中所述的各个单元是存储在所述存储器32中的程序代码，并由所述处理器33 所执行，以实现一种样本权重分配方法，及/或模型训练方法。所述处理器33 又称中央处理器(CPU，Central ProcessingUnit)，是一块超大规模的集成电路，是运算核心(Core)和控制核心(Control Unit)。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令当被包括一个或多个处理器的电子设备执行时，使电子设备执行如上文方法实施例所述的样本权重分配方法。

结合图1所示，所述电子设备3中的所述存储器32存储多个指令以实现一种样本权重分配方法，所述处理器33可执行所述多个指令从而实现：

获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

在任意实施例中所述样本权重分配方法对应的多个指令存储在所述存储器 32，并通过所述处理器33来执行，在此不再详述。

结合图4所示，所述电子设备3中的所述存储器32存储多个指令以实现一种样本权重分配方法，所述处理器33可执行所述多个指令从而实现：获取训练样本；基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联，所述训练样本的权重分布利用任意实施例中所述的模型训练方法得到。

在任意实施例中所述模型训练方法对应的多个指令存储在所述存储器32，并通过所述处理器33来执行，在此不再详述。

以上说明的本发明的特征性的手段可以通过集成电路来实现，并控制实现上述任意实施例中所述样本权重分配方法的功能。即，本发明的集成电路安装于所述电子设备中，使所述电子设备发挥如下功能：获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

在任意实施例中所述样本权重分配方法所能实现的功能都能通过本发明的集成电路安装于所述电子设备中，使所述电子设备发挥任意实施例中所述样本权重分配方法所能实现的功能，在此不再详述。

以上说明的本发明的特征性的手段可以通过集成电路来实现，并控制实现上述任意实施例中所述模型训练方法的功能。即，本发明的集成电路安装于所述电子设备中，使所述电子设备发挥如下功能：获取训练样本；基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联，所述训练样本的权重分布利用任意实施例中所述的模型训练方法得到。

在任意实施例中所述模型训练方法所能实现的功能都能通过本发明的集成电路安装于所述电子设备中，使所述电子设备发挥任意实施例中所述模型训练方法所能实现的功能，在此不再详述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明的各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种样本权重分配方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括正样本集及负样本集，所述正样本集包括正样本对及所述负样本集包括负样本对；

计算所述正样本集中每个正样本对的距离，及所述负样本集中每个负样本对的距离；

根据所述正样本集中每个正样本对的距离，确定所述正样本集的距离分布，所述正样本集的距离分布表示正样本对出现频率与距离的关系；

根据所述负样本集中每个负样本对的距离，确定所述负样本集的距离分布，所述负样本集的距离分布表示负样本对出现频率与距离的关系；

基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布。

2.如权利要求1所述的样本权重分配方法，其特征在于，所述基于所述正样本集的距离分布及所述负样本集的距离分布，确定所述训练样本的权重分布包括：

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类错误的第一样本集；

在所述训练样本的权重分布中，增加所述第一样本集中每个样本对的权重；及/或

基于所述正样本集的距离分布及所述负样本集的距离分布，确定分类正确的第二样本集；

在所述训练样本的权重分布中，减少所述第二样本集中每个样本对的权重。

3.如权利要求1所述的样本权重分配方法，其特征在于，所述训练样本的权重分布为正态分布，当所述正样本集中正样本对的最大距离小于或等于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述最大距离与所述最小距离的均值确定为所述训练样本的权重分布的均值。

4.如权利要求1所述的样本权重分配方法，其特征在于，所述训练样本的权重分布为正态分布，当所述正样本集中正样本对的最大距离大于所述负样本集中负样本对的最小距离时，在确定所述训练样本的权重分布时，所述方法还包括：

将所述正样本集的距离分布与所述负样本集的距离分布的交叉点对应的距离值作为所述训练样本的权重分布的均值；或

将在正样本对出现的频率与负样本对出现的频率的之差的绝对值最小处对应的距离作为所述训练样本的权重分布的均值。

5.如权利要求4所述的样本权重分配方法，其特征在于，在确定所述训练样本的权重分布的均值时，所述方法还包括：

配置预设步长、初始均值及迭代终止条件；

基于所述初始均值及所述预设步长，在所述最小距离与最大距离组成的区间内进行迭代搜索满足所述迭代终止条件的最优距离值，在所述最优距离值处，正样本对出现的频率与负样本对出现的频率的之差的绝对值最小。

6.如权利要求1至5中任一项所述的样本权重分配方法，其特征在于，所述训练样本的权重分布为正态分布，在确定所述训练样本的权重分布时，所述方法还包括：

在每次训练过程中，获取所述正样本集中正样本对之间距离的标准差；

根据所述正样本集中正样本对之间距离的标准差，更新每次训练过程中的所述训练样本的权重分布的标准差。

7.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本；

基于所述训练样本，利用损失函数及预设训练算法训练模型参数，其中所述损失函数与所述训练样本的权重分布相关联，所述训练样本的权重分布利用权利要求1至6中任一项所述的样本权重分配方法得到。

8.如权利要求7中所述的模型训练方法，其特征在于，所述方法还包括：

利用所述损失函数，增加分类错误的样本对对目标损失的贡献率。

9.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令以实现如权利要求1至6中任一项所述样本权重分配方法，及/或如权利要求7或8中任一项所述模型训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至6中任一项所述样本权重分配方法，及/或如权利要求7或8中任一项所述模型训练方法。