CN111191685A - 一种损失函数动态加权的方法 - Google Patents

Abstract

一种损失函数动态加权的方法，相比于基于采样的样本均衡方法而言，没有破坏原数据集的分布状态，提高了数据利用率的同时也提高了模型的训练效果，使得模型输出的概率分布得以保持原有数据状态。相比于对损失函数固定加权的方法而言，其权重由训练效果决定，动态调整过程中，使得模型的训练更符合数据的本身，从而提升了模型的效果。在调整权重的过程中，提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升。

Description

一种损失函数动态加权的方法

技术领域

本发明涉及人工智能、机器学习与数据挖掘技术领域，具体涉及一种损失函数动态加权的方法。

背景技术

近年来，随着人工智能浪潮的涌起,人工智能、机器学习在学术界乃至工业界所占分量越来越大。

分类问题，是人工智能的一个大类问题。而实际环境中的数据往往分布不均衡，例如：在医学数据中，往往越是严重的疾病在所有疾病中占比越是小，但越是严重的疾病，其误诊或漏诊所带来的代价却越是大。

传统的模型训练中，使用简单的交叉熵函数计算模型与实际数据的损失。由于损失函数的设计对各个类别一视同仁，所以并未特意照顾到比例少但是代价越大的少量样本。因此，也造成了，使用常规的交叉熵作为损失函数，训练出来的模型，对于样本数量较少的类别分类效果不佳，但往往这些样本数量少的类别却是关注度高的类别。

在真实的环境中，往往各类别的学习难度不同，有的类别有比较简单固定的模式，较容易训练，而有的类别的样本，模式复杂多变，模型学习难度大。然而类别的难易学程度，很难在模型训练前准确定量估计。在事前使用固定的针对损失函数的各类别进行加权的方法无法在训练中做到随机应变，训练效果往往不尽如人意。

对于不均衡的样本进行重采样的方法，在超大规模数据集上使用效果尚可，但一旦数据规模不够大，则会出现样本数量少的或者是易学的类别已经过学习了，而样本数量大的或是难学的类别学习还不充分。

发明内容

本发明为了克服以上技术的不足，提供了一种提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升的损失函数动态加权的方法。

本发明克服其技术问题所采用的技术方案是：

一种损失函数动态加权的方法，包括如下步骤：

a)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为N_i，1≤i≤C，i为正整数，通过公式

计算数据集中样本数量；

b)构建数据集中每个类别的损失函数权重向量为{α₁,α₂,α₃,……,α_C}，损失权重向量满足限制条件

其中α_i为第i类的损失函数权重；

c)根据步骤b)中的限制条件联立方程组求解得到损失函数权重向量中各个类别损失函数权重的值，将求解得到的每个类别损失函数权重的值初始化朴素交叉熵损失函数及Focal Loss损失函数；

d)使用初始化的朴素交叉熵损失函数及初始化的Focal Loss损失函数对分类器模型进行训练，如果训练达到完成状态则停止训练，如果训练没有完成则返回执行步骤c)；

e)统计分类器模型的训练集中每个类别样本的准确度为{T₁,T₂,T₃,……,T_C}，其中T_i为训练集中第i类的准确度，1≤i≤C，统计分类器模型训练的验证集中每个类别样本的准确度为{V₁,V₂,V₃,……,V_C}，其中V_i为验证集中第i类的准确度，1≤i≤C；

f)对损失函数权重向量为{α₁,α₂,α₃,……,α_C}进行第一次调整，如果

则使用(1-γ)×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中γ为权重的调整比例，0＜γ＜1；

g)将步骤f)调整过的损失函数权重向量进行第二次调整，如果V_i＜T_i则使用β×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中β为权重的调整比例，0＜β＜1；

h)将经步骤g)中调整后的损失函数权重向量通过公式

进行归一化计算，得到调整完的损失权重向量；i)将归一化的调整完的损失权重向量代入步骤c)中，用归一化的调整完的损失权重向量的值初始化朴素交叉熵损失函数及Focal Loss损失函数。

进一步的，步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化朴素交叉熵损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率。

进一步的，步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化Focal Loss损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率，λ为Focal Loss损失函数的参数值。

优选的，步骤f)中γ的值为0.1。

优选的，步骤g)中β的值为0.5。

本发明的有益效果是：相比于基于采样的样本均衡方法而言，没有破坏原数据集的分布状态，提高了数据利用率的同时也提高了模型的训练效果，使得模型输出的概率分布得以保持原有数据状态。相比于对损失函数固定加权的方法而言，其权重由训练效果决定，动态调整过程中，使得模型的训练更符合数据的本身，从而提升了模型的效果。在调整权重的过程中，提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升。

具体实施方式

下面对本发明做进一步说明。

一种损失函数动态加权的方法，包括如下步骤：

a)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为N_i，1≤i≤C，i为正整数，通过公式

计算数据集中样本数量；

b)构建数据集中每个类别的损失函数权重向量为{α₁,α₂,α₃,……,α_C}，损失权重向量满足限制条件

其中α_i为第i类的损失函数权重；

c)根据步骤b)中的限制条件联立方程组求解得到损失函数权重向量中各个类别损失函数权重的值，将求解得到的每个类别损失函数权重的值初始化朴素交叉熵损失函数及Focal Loss损失函数；

d)使用初始化的朴素交叉熵损失函数及初始化的Focal Loss损失函数对分类器模型进行训练，如果训练达到完成状态则停止训练，如果训练没有完成则返回执行步骤c)；

e)统计分类器模型的训练集中每个类别样本的准确度为{T₁,T₂,T₃,……,T_C}，其中T_i为训练集中第i类的准确度，1≤i≤C，统计分类器模型训练的验证集中每个类别样本的准确度为{V₁,V₂,V₃,……,V_C}，其中V_i为验证集中第i类的准确度，1≤i≤C；

f)对损失函数权重向量为{α₁,α₂,α₃,……,α_C}进行第一次调整，如果

则使用(1-γ)×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中γ为权重的调整比例，0＜γ＜1；

g)将步骤f)调整过的损失函数权重向量进行第二次调整，如果V_i＜T_i则使用β×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中β为权重的调整比例，0＜β＜1；

h)将经步骤g)中调整后的损失函数权重向量通过公式

进行归一化计算，得到调整完的损失权重向量；

i)将归一化的调整完的损失权重向量代入步骤c)中，用归一化的调整完的损失权重向量的值初始化朴素交叉熵损失函数及Focal Loss损失函数。

相比于基于采样的样本均衡方法而言，采用本专利的损失函数动态加权的方法，没有破坏原数据集的分布状态，提高了数据利用率的同时也提高了模型的训练效果，使得模型输出的概率分布得以保持原有数据状态。相比于对损失函数固定加权的方法而言，其权重由训练效果决定，动态调整过程中，使得模型的训练更符合数据的本身，从而提升了模型的效果。在调整权重的过程中，提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升。

另外，本专利技术中采用了过学习罚项机制，使得易学的容易过学习的类别能够以比较小的学习率“保持”样本准确度，而主要去学习难学的不易过学习的类别。其均衡了各类别的难易学程度，提升了模型的整体表现。

进一步的，步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化朴素交叉熵损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率。

进一步的，步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化Focal Loss损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率，λ为Focal Loss损失函数的参数值。

优选的，步骤f)中γ的值为0.1。

优选的，步骤g)中β的值为0.5。

Claims (5)

1.一种损失函数动态加权的方法，其特征在于，包括如下步骤：

a)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为N_i，1≤i≤C，i为正整数，通过公式

计算数据集中样本数量；

b)构建数据集中每个类别的损失函数权重向量为{α₁,α₂,α₃,……,α_C}，损失权重向量满足限制条件

其中α_i为第i类的损失函数权重；

c)根据步骤b)中的限制条件联立方程组求解得到损失函数权重向量中各个类别损失函数权重的值，将求解得到的每个类别损失函数权重的值初始化朴素交叉熵损失函数及Focal Loss损失函数；

d)使用初始化的朴素交叉熵损失函数及初始化的Focal Loss损失函数对分类器模型进行训练，如果训练达到完成状态则停止训练，如果训练没有完成则返回执行步骤c)；

e)统计分类器模型的训练集中每个类别样本的准确度为{T₁,T₂,T₃,……,T_C}，其中T_i为训练集中第i类的准确度，1≤i≤C，统计分类器模型训练的验证集中每个类别样本的准确度为{V₁,V₂,V₃,……,V_C}，其中V_i为验证集中第i类的准确度，1≤i≤C；

f)对损失函数权重向量为{α₁,α₂,α₃,……,α_C}进行第一次调整，如果

则使用(1-γ)×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中γ为权重的调整比例，0＜γ＜1；

g)将步骤f)调整过的损失函数权重向量进行第二次调整，如果V_i＜T_i则使用β×α_i代替损失函数权重向量{α₁,α₂,α₃,……,α_C}中的α_i，式中β为权重的调整比例，0＜β＜1；

h)将经步骤g)中调整后的损失函数权重向量通过公式

进行归一化计算，得到调整完的损失权重向量；i)将归一化的调整完的损失权重向量代入步骤c)中，用归一化的调整完的损失权重向量的值初始化朴素交叉熵损失函数及FocalLoss损失函数。

2.根据权利要求1所述的损失函数动态加权的方法，其特征在于：步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化朴素交叉熵损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率。

3.根据权利要求1所述的损失函数动态加权的方法，其特征在于：步骤c)中将求解得到的每个类别损失函数权重的值利用公式

初始化FocalLoss损失函数，式中L_i为该样本在第i类上的标签，L_i取值为0或1，

为分类器输出的第i类的预测概率，λ为Focal Loss损失函数的参数值。

4.根据权利要求1所述的损失函数动态加权的方法，其特征在于：步骤f)中γ的值为0.1。

5.根据权利要求1所述的损失函数动态加权的方法，其特征在于：步骤g)中β的值为0.5。