CN113111979A - 模型训练方法、图像检测方法及检测装置 - Google Patents

Abstract

本发明提供了一种模型训练方法，构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；所述乘积型Focal loss函数的构建方法包括以下步骤：设定权重值，以解决现有的损失函数均含有log运算单元，计算复杂度较高，拖慢了模型收敛速度的问题；设定样本比例平衡因子α，通过W和α构建所述乘积型Focal loss函数，降低了计算的复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。本发明提供了一种图像检测方法和检测装置。

Description

模型训练方法、图像检测方法及检测装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种模型训练方法、图像检测方法及检测装置。

背景技术

人形检测是指在图像中检测是否有人形，对人形图像进行特征提取，通过提取的特征来对人形进行检测。人形检测是计算机视觉中的重要研究课题，被广泛应用于智能视频监控、车辆辅助驾驶、智能交通、智能机器人等领域。主流的人形检测方法分为基于人工图像特征的统计学习方法和基于人工神经网络的深度学习方法。深度学习方法包括损失函数，损失函数作为衡量模型预测值与真实值间不一致性的一种手段，对于模型训练过程中的自动参数调节至关重要。在神经网络训练过程，数据量往往比较庞大，对算力要求较高，而现有损失函数中往往采用交叉熵损失函数和Focal loss函数，但其均含有log运算单元，计算复杂度较高，拖慢了模型收敛速度。

公开号为CN111860631A的中国专利申请公开了一种采用错因强化方式优化损失函数的方法，其通过在原来的交叉熵损失函数的基础上加入惩罚项，调节相关性对交叉熵损失函数影响的强弱，提高了模型对物品识别的精度，能够提高深度学习网络模型的识别准确程度。但是该优化后的损失函数依然含有log运算单元，计算复杂度较高，运行速度较慢。

公开号为CN112419269A的中国专利申请公开了一种提高道面病害分割效果的改进型Focal Loss函数的构建方法及应用，包括：设定Focal Loss函数的权值w；预设阈值β，并将权值w转换成分段函数w'；利用分段函数w'对Focal Loss函数进行优化，得到改进型Focal Loss函数。通过上述方案，该发明具有分类准确、抑制错误标注带来的干扰等优点，在图像处理技术领域具有很高的实用价值和推广价值。但是该专利中的改进型Focal Loss函数依然含有log运算单元，计算复杂度较高，拖慢了模型收敛速度。

因此，有必要提供一种新型的模型训练方法、图像检测方法及检测装置以解决现有技术中存在的上述问题。

发明内容

本发明的目的在于提供一种模型训练方法、图像检测方法及检测装置，以解决现有的损失函数含有log运算单元，计算复杂度较高，拖慢了模型收敛速度的问题。

为实现上述目的，本发明的所述模型训练方法，构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

本发明的模型训练方法的有益效果在于：通过设定权重值，所述权重值的表达式为：

，使得乘积型Focal loss函数中不含对数，解决现有的损失函数含有log运算单元，计算复杂度较高，拖慢了模型收敛速度的问题，而且通过采用样本损失调整因子γ，以平衡简单与困难样本，减少易分类样本的损失，使得乘积型Focal loss函数在计算中更关注于困难的、错分的样本；通过设定样本比例平衡因子α，以平衡正负样本本身的比例不均，解决了普通的交叉熵损失函数中正样本的输出概率越大损失越小，负样本的输出概率越小则损失越小，导致交叉熵损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优的问题；通过W和α构建所述乘积型Focal loss函数，不仅降低了计算的复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focalloss函数反应的是特征图整体的判别情况。

优选的，所述乘积型Focal loss函数的表达式为：

其中，L_fl-new为所述乘积型Focal loss函数，当y_i=0，得到的乘积型Focal loss函数为正样本的乘积型Focal loss函数，当y_i=1，得到的乘积型Focal loss函数为负样本的乘积型Focal loss函数。其有益效果在于：通过将log运算单元去掉，使用乘积型的运算单元，减少了算法复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。

优选的，通过W和α构建所述乘积型Focal loss函数之后，再进行反向传播计算和权重系数调整。其有益效果在于：以提高模型的泛化能力。

优选的，所述调整参数的取值范围为0.5-1.2。其有益效果在于：m大于1.2，会使得m取值过大，在进行连乘运算时超出计算极限，增加算法复杂度，m小于0.5，会使得m取值过小，导致得出的结果没有意义。

优选的，所述调整参数m取值为1，所述乘积型Focal loss函数的表达式为：

其有益效果在于：所述调整参数m取值为1，不会越界，也不会过小，使得模型容易训练，更容易达到预设目标。

优选的，所述γ的取值大于0，所述α的取值为0.1-0.9。其有益效果在于：γ大于0能有效减少了易分类样本的损失，使得乘积型Focal loss函数在计算中更关注于困难的、错分的样本，所述α的取值为0.1-0.9，使得平衡了正负样本本身的比例不均，α取值大于0.9会导致正样本的比例过多，α取值小于0.1会导致负样本的比例过多。

优选的，本发明还提供一种图像检测方法，包括执行以下步骤：

S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用所述的模型训练方法进行模型训练并输出训练好的神经网络模型。

本发明的图像检测方法的有益效果在于：通过步骤S100：对人形图像数据集进行标注并分为训练集、验证集和测试集，步骤S200：对所述训练集、所述验证集和所述测试集进行数据预处理，以对人形图像数据集进行预处理，通过步骤S300：使用所述的模型训练方法进行模型训练并输出训练好的神经网络模型，使得可以将log运算单元去掉，同时使用乘积型的运算单元，不仅降低了计算的复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。

优选的，所述步骤S300具体包括以下步骤：采用所述乘积型Focal loss函数在所述训练集上对所述神经网络模型进行若干代模型训练后，将所述验证集输入到所述神经网络模型得到第一模型输出结果，然后使用NMS策略优化所述第一模型输出结果，再根据优化后的所述第一模型输出结果得到训练好的神经网络模型。

优选的，所述步骤S300执行完毕后，还包括执行以下步骤：

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

优选的，所述步骤S300和所述步骤S400中，使用NMS策略进行优化的方法包括以下步骤：

S410：提供候选框集合和备用候选框集合；

S420：将所述候选框集合初始化为空集合，对所述备用候选框集合中的所有候选框进行初始化得到若干待处理框；

S430；对所述若干待处理框按照置信度进行排序，选取置信度最高的待处理框为第一待处理框；

S440：对所述第一待处理框与所述若干待处理框中除所述第一待处理框外的其它待处理框进行重合度计算以得到若干重合度值，将所述若干重合度值与预设阈值进行比对得到待删除处理框；

S450：将所述待删除处理框从所述备用候选框集合中删除；

S460：重复所述步骤S430至所述步骤S450的处理，直至所述备用候选框集合为空集合。其有益效果在于：使得所述候选框集合中得到的待处理框都没有重合度相同的待处理框，从而解决了训练后的模型存在一人两框的问题。

优选的，所述步骤S440中，将所述若干重合度值与预设阈值进行比对得到待删除处理框的步骤包括：将重合度值高于所述预设阈值的待处理框选取为所述待删除处理框。其有益效果在于：待处理框的重合度值高于所述预设阈值说明其与所述第一待处理框的重合度比较高，因此需要从所述备用候选框集合中删除与所述第一待处理框相比重合度值较大的待处理框，以解决一人两框的问题。

优选的，所述步骤S430执行完毕后进行步骤S431，所述步骤S431执行完毕后进行所述步骤S440；所述步骤S431包括：根据所述第一待处理框的置信度获得所述预设阈值。其有益效果在于：使得获得的所述预设阈值能形成更精准的对比依据，由此获得的待删除处理框更精准，无误差。

优选的，所述预设阈值的选取公式为：

其中，S_i为预设阈值，S₀为预设初始值，conf为置信度，λ为调节参数。其有益效果在于：当所述第一待处理框的置信度大于零且小于所述预设初始值，引进调节参数，进行人工干预调节置信度的强度，避免在所述第一待处理框的置信度过低时，只依靠所述第一待处理框的置信度而导致影响所述预设阈值的选取结果，使得得到的所述预设阈值更可靠；当所述第一待处理框的置信度大于等于所述预设初始值，说明所述第一待处理框的置信度比较大，本身可信度比较高，此时将所述预设初始值设为所述预设阈值，能相对保留更多置信度较高的相对较大重合度值的待处理框。

优选的，所述调节参数的取值范围为0.5-0.75。其有益效果在于：所述调节参数值低于0.5会导致选取的待处理框置信度过低，所述调节参数值的取值大于0.5可以抑制选取过低的置信度的待处理框，所述调节参数值高于0.8会导致选取的待处理框置信度太高，会出现漏检的情况。

优选的，所述预设初始值的取值范围为0.2-0.8。其有益效果在于：所述预设初始值低于0.2会导致选取的待处理框置信度过低，所述预设初始值的取值大于0.2可以抑制选取过低的置信度的待处理框，所述预设初始值高于0.8会导致选取的待处理框置信度太高，会出现漏检的情况。

优选的，所述步骤S430执行完毕后进行步骤S432，所述步骤S432执行完毕后进行所述步骤S440；所述步骤S432包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中。

优选的，所述步骤S450执行完毕后进行步骤S451，所述步骤S451执行完毕后进行所述步骤S460；所述步骤S451包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中。

优选的，本发明还提供一种检测装置，包括：

处理器，适于加载并执行软件程序的指令；

储存器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

本发明的检测装置的有益效果在于：通过处理器加载并执行软件程序的指令，储存器存储软件程序，使得检测装置能配备进行模型训练方法，通过设定设定权重值，使得乘积型Focal loss函数中不含对数，解决现有的损失函数含有log运算单元，计算复杂度较高，拖慢了模型收敛速度的问题；而且通过采用样本损失调整因子γ，以平衡简单与困难样本，以减少易分类样本的损失，使得乘积型Focal loss函数在计算中更关注于困难的、错分的样本，通过设定样本比例平衡因子α，以平衡正负样本本身的比例不均，解决了普通的交叉熵损失函数中正样本的输出概率越大损失越小，负样本的输出概率越小则损失越小，导致交叉熵损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优的问题；通过W和α构建所述乘积型Focal loss函数，不仅降低了计算的复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。

优选的，所述软件程序还包括用于执行以下步骤的指令：

S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用所述的模型训练方法进行模型训练并输出训练好的神经网络模型。其有益效果在于：以将log运算单元去掉，同时使用乘积型的运算单元，不仅降低了计算的复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。

优选的，所述软件程序执行所述步骤S300的指令之后，还包括用于执行以下步骤的指令：

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

附图说明

图1为本发明的一些实施例中图像检测方法的流程图；

图2为本发明的一些实施例中NMS策略的优化方法的流程图；

图3为本发明的一些实施例中检测装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

针对现有技术存在的问题，本发明的实施例提供了一种图像检测方法，图1为本发明的一些实施例中图像检测方法的流程图，参照图1，包括以下步骤：

S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用所述的模型训练方法进行模型训练并输出训练好的神经网络模型；

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

在神经网络训练过程，数据量往往比较庞大，对算力要求较高，而现有技术中所述步骤S300一般是采用交叉熵损失函数和Focal loss函数进行模型训练，并输出训练结果。

交叉熵损失函数，以二分类为例，原始的分类loss是各个训练样本交叉熵的直接求和，如公式（1）所示：

其中，L_ce为交叉熵损失函数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，y_i是真实样本的有效值，当y_i=1，得到的交叉熵损失函数为正样本的交叉熵损失函数，当y_i=0，得到的交叉熵损失函数为负样本的交叉熵损失函数。

交叉熵损失函数对于正样本而言，输出概率越大损失越小，对于负样本而言，输出概率越小则损失越小，而且所述交叉熵损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。

Focal loss函数是在所述交叉熵损失函数基础上加了一个平衡简单与困难样本的样本损失调整因子γ和平衡正负样本的样本比例平衡因子α，如公式（2）所示：

其中，L_fl为Focal loss函数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，α为样本比例平衡因子，y_i是真实样本的有效值，当y_i=1，得到的Focal loss函数为正样本的Focal loss函数，当y_i=0，得到的Focal loss函数为负样本的Focal loss函数。

对于Focal loss函数，从公式（2）可以知道每计算一个样本的loss，就需要进行一次log计算，由于现存计算机中，逻辑运算单元（ALU）只包含加法器和乘法器，因此除法和对数运算必须转换成相应的形式。

计算对数ln(x)的传统方法是利用能量系数无限接近其值。ln(x)的能量系数展开式如公式（3）所示：

在满足计算误差ε(ε>0)的前提下，展开式的前k+1项将被用于计算ln(x)。正整数k的选取直接关系到能量系数的截断误差，k的取值如公式（4）所示：

由此可以看到，计算ln(x)的时间消耗转换成计算二项式的时间消耗，所述二项式为：

。

假设计算机执行一次加法或减法花费t₁s，执行一次乘法或除法花费t₂s，满足条件t₁<t₂，那么交叉熵的计算复杂度可详述如下：

计算函数ln(x)的时间如公式（5）所示：

计算公式（2）Focal loss函数的时间如公式（6）所示：

因此所述Focal loss函数L_fl的计算复杂度为O（k²n）。

从上述分析可知，所述交叉熵损失函数和所述Focal loss函数均含有log运算单元，计算复杂度较高，拖慢了模型收敛速度。

针对现有技术存在的问题，本发明的实施例提供了一种模型训练方法，构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

本发明的一些实施例中，所述乘积型Focal loss函数的表达式如公式（7）所示：

其中，L_fl-new为所述乘积型Focal loss函数，当y_i=0，得到的乘积型Focal loss函数为正样本的乘积型Focal loss函数，当y_i=1，得到的乘积型Focal loss函数为负样本的乘积型Focal loss函数。通过将log运算单元去掉，使用乘积型的运算单元，减少了算法复杂度，提高了运算速度，而且解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确的目标个体对损失函数贡献呈现幂级数降低，使得所述乘积型Focal loss函数反应的是特征图整体的判别情况。

本发明的一些实施例中，通过W和α构建所述乘积型Focal loss函数之后，再进行反向传播计算和权重系数调整，以提高模型的泛化能力。即采用反向传播算法进行计算，反向传播算法（Backpropagation algorithm，简

称BP算法）是一种监督学习算法，常被用来训练多层感知机，主要由两个环节（激励传播、权重更新）反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。每次迭代中的激励传播环节包含两步：第一阶段、前向传播阶段，将训练输入送入网络以获得激励响应；第二阶段、反向传播阶段，将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。权重更新环节主要对于每个突触上的权重，按照以下步骤进行更新：将输入激励和响应误差相乘，从而获得权重的梯度；将这个梯度乘上一个比例并取反后加到权重上。

这个比例将会影响到训练过程的速度和效果，因此称为“训练因子”。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

所述Focal loss函数和所述乘积型Focal loss函数都同样刻画出了图像分类的损失，但是所述乘积型Focal loss函数在解决了分类错误的目标个体对损失函数的贡献乘幂级数增大的同时，也考虑到了分类正确对损失函数贡献呈现幂级数降低，这样的损失函数反应特征图整体的判别情况，再通过反向传播和权重系数的调整，最终提高模型的泛化能力。而从计算量上看所述乘积型Focal loss函数不包含对数项，计算所述乘积型Focalloss函数的时间消耗如公式（8）所示：

因此所述乘积型Focal loss函数Lfl-new的计算复杂度为O（n）。

本发明的一些实施例中，所述调整参数的取值范围为0.5-1.2，m大于1.2，会使得m取值过大，在进行连乘运算时超出计算极限，增加算法复杂度，m小于0.5，会使得m取值过小，导致得出的结果没有意义。

本发明的另一些实施例中，所述调整参数m取值为1，所述乘积型Focal loss函数的表达式如公式（9）所示：

其中，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，α为样本比例平衡因子，y_i是真实样本的有效值，L_fl-new为所述乘积型Focal loss函数，当y_i=0，得到的乘积型Focal loss函数为正样本的乘积型Focal loss函数，当y_i=1，得到的乘积型Focal loss函数为负样本的乘积型Focal loss函数，所述调整参数m取值为1，不会越界，也不会过小，使得容易训练，更容易达到预设目标。

本发明的一些实施例中，所述γ的取值大于0，所述α的取值为0.1-0.9。γ大于0能有效减少了易分类样本的损失，使得乘积型Focal loss函数在计算中更关注于困难的、错分的样本，所述α的取值为0.1-0.9，使得平衡了正负样本本身的比例不均，α取值大于0.9会导致正样本的比例过多，α取值小于0.1会导致负样本的比例过多。

本发明的一些实施例中，所述步骤S100中对人形图像数据集进行标注并分为训练集、验证集和测试集包括：采集现实环境中在摄像头下拍摄的不同环境、不同背景、不同姿态、不同位置的图像形成人形图像数据集，并使用标注工具生成对应目标的标注框位置和标签信息，类别为人的标签信息为human；将标注后的人形图像数据集分为训练集、验证集和测试集；对训练集图像生成列表并打乱排列顺序；对所有图像中的标签对应的目标框进行聚类，生成12个聚类点。

本发明的一些实施例中，所述步骤S200中对所述训练集、所述验证集和所述测试集进行数据预处理包括采用图像RGB通道进行归一化操作，且对每个通道进行如公式（11）所示的操作：

R、G、B分别表示红色、绿色、蓝色的通道，RGB色彩模式是工业界的一种颜色标准，是通过对红（R）、绿（G）、蓝（B）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。采用图像RGB通道进行归一化操作为本领域的常规技术，在此不再赘述。

本发明的一些实施例中，所述步骤S200中在进行归一化操作后还包括将图像随机进行图像水平翻转、最小包含图像目标区域的图像裁剪、饱和度倍数随机在[1/1.5，1.5]调整、曝光度倍数随机在[1/1.5，1.5]调整、色调倍数随机在[1/1.2，1.2]调整、图像随机在[-30，30]的角度按照中心点旋转；以上所有的随机概率均为50%。

本发明的一些实施例中，所述步骤S300具体包括以下步骤：采用所述乘积型Focalloss函数在所述训练集上对所述神经网络模型进行若干代模型训练后，将所述验证集输入到所述神经网络模型得到第一模型输出结果，然后使用NMS策略优化所述第一模型输出结果，再根据优化后的所述第一模型输出结果得到训练好的神经网络模型。本发明的一些优选实施例中，使用NMS策略优化所述第一模型输出结果，以此评估所述神经网络模型的性能，并在所述神经网络模型的性能表现不佳时，进行模型优化，最终得到训练好的神经网络模型。所述模型优化包括针对人形网络训练模型进行神经网络结构调整，该调整指按照1.25的倍数扩充卷积核的个数，以及通过添加该场景的图像数据扩充训练集，再进行模型训练，以达到优化模型的目的，最终得到训练好的神经网络模型。所述进行模型优化为本领域的公知常识，在此不再赘述。

本发明的一些实施例中，所述步骤S400中进行达标评估测试是在训练所用测试集上采用摄像头进行场景实测，并和选择的市面上的产品进行对比，参考图1，效果优于所选择的市面上的产品的效果的平均值，判断为评估结果达到预期效果，则进行所述步骤S500将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出，否则重复进行所述步骤S100-S400的处理。

图2为本发明的一些实施例中NMS策略的优化方法的流程图；本发明的一些实施例中，参考图2，所述步骤S300和所述步骤S400中，使用NMS策略进行优化的方法包括以下步骤：

S410：提供候选框集合和备用候选框集合；

S420：将所述候选框集合初始化为空集合，对所述备用候选框集合中的所有候选框进行初始化得到若干待处理框；

S430：对所述若干待处理框按照置信度进行排序，选取置信度最高的待处理框为第一待处理框；

S440：对所述第一待处理框与所述若干待处理框中除所述第一待处理框外的其它待处理框进行重合度计算以得到若干重合度值，将所述若干重合度值与预设阈值进行比对得到待删除处理框；

S450：将所述待删除处理框从所述备用候选框集合中删除；

S460：重复所述步骤S430至所述步骤S450的处理，直至所述备用候选框集合为空集合。使得所述候选框集合中得到的待处理框都没有重合度相同的待处理框，从而解决了训练后的模型存在一人两框的问题。

本发明的一些实施例中，所述步骤S430执行完毕后进行步骤S432，所述步骤S432执行完毕后进行所述步骤S440；所述步骤S432包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中，即先将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中，再进行后续的重合度计算和比对处理。

本发明的另一些实施例中，所述步骤S450执行完毕后进行步骤S451，所述步骤S451执行完毕后进行所述步骤S460；所述步骤S451包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中，即先进行重合度计算和比对处理，再将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中。

本发明的一些实施例中，所述步骤S440中，将所述若干重合度值与预设阈值进行比对得到待删除处理框的步骤包括：将重合度值高于所述预设阈值的待处理框选取为所述待删除处理框。待处理框的重合度值高于所述预设阈值说明其与所述第一待处理框的重合度比较高，因此需要从所述备用候选框集合中删除与所述第一待处理框相比重合度值较大的待处理框，以解决一人两框的问题。

本发明的一些实施例中，所述步骤S430执行完毕后进行步骤S431，所述步骤S431执行完毕后进行所述步骤S440；所述步骤S431包括：根据所述第一待处理框的置信度获得所述预设阈值。使得获得的所述预设阈值能形成更精准的对比依据，由此获得的待删除处理框更精准，无误差。

本发明的一些实施例中，所述预设阈值的选取公式如公式（10）所示：

其中，S_i为预设阈值，S₀为预设初始值，conf为置信度，λ为调节参数。当所述第一待处理框的置信度大于零且小于所述预设初始值，引进调节参数，进行人工干预调节置信度的强度，避免在所述第一待处理框的置信度过低时，只依靠所述第一待处理框的置信度而导致影响所述预设阈值的选取结果，使得得到的所述预设阈值更可靠；所述第一待处理框的置信度大于等于所述预设初始值，说明所述第一待处理框的置信度比较大，本身可信度比较高，此时将所述预设初始值设为所述预设阈值，能相对保留更多置信度较高的相对较大重合度值的待处理框。

本发明的一些实施例中，所述调节参数的取值范围为0.5-0.75。所述调节参数值低于0.5会导致选取的待处理框置信度过低，所述调节参数值的取值大于0.5可以抑制选取过低的置信度的待处理框，所述调节参数值高于0.8会导致选取的待处理框置信度太高，会出现漏检的情况。

本发明的一些实施例中，所述预设初始值S的取值范围为0.2-0.8，所述预设初始值为人工设定的超参数。所述预设初始值低于0.2会导致选取的待处理框置信度过低，所述预设初始值的取值大于0.2可以抑制选取过低的置信度的待处理框，所述预设初始值高于0.8会导致选取的待处理框置信度太高，会出现漏检的情况。本发明的一些具体实施例中，所述预设初始值选取为0.5。超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据，通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果，对于超参数的选取和设定为本领域的常规技术，在此不再赘述。

本发明的一些实施例中，所述神经网络模型为YOLOv4，YOLOv3和YOLOv5s中的任意一种。

本发明的一些具体实施例中，采用如公式（9）所示乘积型Focal loss函数在YOLOv5s训练自有数据集，作为训练过程中的分类损失函数部分，α为0.25， γ为2，训练20个epoch，在1W张测试图片能达到85.1% AP，同一平台上训练时间缩短了27%。

图3为本发明的一些实施例中检测装置的结构框图。本发明的一些实施例中，还提供一种检测装置，参考图3，包括：储存器1和处理器2，所述处理器2适于加载并执行软件程序的指令，所述储存器1适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

本发明的一些实施例中，所述软件程序还包括用于执行以下步骤的指令：S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用所述的模型训练方法进行模型训练并输出训练好的神经网络模型。

本发明的一些实施例中，所述软件程序执行所述步骤S300的指令之后，还包括用于执行以下步骤的指令：

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

本发明的一些实施例中，所述软件程序还包括用于执行所述步骤S300使用NMS策略优化所述模型输出结果和所述步骤S400采用NMS策略优化所述模型输出结果得到最终效果中的所述NMS策略的优化方法的指令：

S410：提供候选框集合和备用候选框集合；

S420：将所述候选框集合初始化为空集合，对所述备用候选框集合中的所有候选框进行初始化得到若干待处理框；

S430：对所述若干待处理框按照置信度进行排序，选取置信度最高的待处理框为第一待处理框；

S440：对所述第一待处理框与所述若干待处理框中除所述第一待处理框外的其它待处理框进行重合度计算以得到若干重合度值，将所述若干重合度值与预设阈值进行比对得到待删除处理框；

S450：将所述待删除处理框从所述备用候选框集合中删除；

S460：重复所述步骤S430到所述步骤S450的处理，直至所述备用候选框集合为空集合。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (20)

1.一种模型训练方法，其特征在于，构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

2.根据权利要求1所述的模型训练方法，其特征在于，所述乘积型Focal loss函数的表达式为：

其中，L_fl-new为所述乘积型Focal loss函数，当y_i=0，得到的乘积型Focal loss函数为正样本的乘积型Focal loss函数，当y_i=1，得到的乘积型Focal loss函数为负样本的乘积型Focal loss函数。

3.根据权利要求1所述的模型训练方法，其特征在于，通过W和α构建所述乘积型Focalloss函数之后，再进行反向传播计算和权重系数调整。

4.根据权利要求2所述的模型训练方法，其特征在于，所述调整参数的取值范围为0.5-1.2。

5.根据权利要求4所述的模型训练方法，其特征在于，所述调整参数m取值为1，所述乘积型Focal loss函数的表达式为：

。

6.根据权利要求1所述的模型训练方法，其特征在于，所述γ的取值大于0，所述α的取值为0.1-0.9。

7.一种图像检测方法，其特征在于，包括执行以下步骤：

S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用如权利要求1-6任一项所述的模型训练方法进行模型训练并输出训练好的神经网络模型。

8.根据权利要求7所述的图像检测方法，其特征在于，所述步骤S300具体包括以下步骤：

采用所述乘积型Focal loss函数在所述训练集上对所述神经网络模型进行若干代模型训练后，将所述验证集输入到所述神经网络模型得到第一模型输出结果，然后使用NMS策略优化所述第一模型输出结果，再根据优化后的所述第一模型输出结果得到训练好的神经网络模型。

9.根据权利要求8所述的图像检测方法，其特征在于，所述步骤S300执行完毕后，还包括执行以下步骤：

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

10.根据权利要求9所述的图像检测方法，其特征在于，所述步骤S300和所述步骤S400中，使用NMS策略进行优化的方法包括以下步骤：

S410：提供候选框集合和备用候选框集合；

S420：将所述候选框集合初始化为空集合，对所述备用候选框集合中的所有候选框进行初始化得到若干待处理框；

S430：对所述若干待处理框按照置信度进行排序，选取置信度最高的待处理框为第一待处理框；

S440：对所述第一待处理框与所述若干待处理框中除所述第一待处理框外的其它待处理框进行重合度计算以得到若干重合度值，将所述若干重合度值与预设阈值进行比对得到待删除处理框；

S450：将所述待删除处理框从所述备用候选框集合中删除；

S460：重复所述步骤S430至所述步骤S450的处理，直至所述备用候选框集合为空集合。

11.根据权利要求10所述的图像检测方法，其特征在于，所述步骤S440中，将所述若干重合度值与预设阈值进行比对得到待删除处理框的步骤包括：

将重合度值高于所述预设阈值的待处理框选取为所述待删除处理框。

12.根据权利要求10所述的图像检测方法，其特征在于，所述步骤S430执行完毕后进行步骤S431，所述步骤S431执行完毕后进行所述步骤S440；

所述步骤S431包括：根据所述第一待处理框的置信度获得所述预设阈值。

13.根据权利要求12所述的图像检测方法，其特征在于，所述预设阈值的选取公式为：

其中，S_i为预设阈值，S₀为预设初始值，conf为置信度，λ为调节参数。

14.根据权利要求13所述的图像检测方法，其特征在于，所述调节参数的取值范围为0.5-0.75。

15.根据权利要求13所述的图像检测方法，其特征在于，所述预设初始值的取值范围为0.2-0.8。

16.根据权利要求10所述的图像检测方法，其特征在于，所述步骤S430执行完毕后进行步骤S432，所述步骤S432执行完毕后进行所述步骤S440；

所述步骤S432包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中。

17.根据权利要求10所述的图像检测方法，其特征在于，所述步骤S450执行完毕后进行步骤S451，所述步骤S451执行完毕后进行所述步骤S460；

所述步骤S451包括：将所述第一待处理框从所述备用候选框集合移动到所述候选框集合中。

18.一种检测装置，其特征在于，包括：

处理器，适于加载并执行软件程序的指令；

储存器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

构建乘积型Focal loss函数，使用所述乘积型Focal loss函数对神经网络模型进行模型训练并输出训练好的神经网络模型；

所述乘积型Focal loss函数的构建方法包括以下步骤：

设定权重值，所述权重值的表达式为：

其中，W为所述权重值，m为调整参数，P_i 是网络模型输出的特征图中第i个像素点的预测概率值，γ为样本损失调整因子，y_i是真实样本的有效值，当y_i=1，得到的权重值为正样本的权重值，当y_i=0，得到的权重值为负样本的权重值；

设定样本比例平衡因子α；

通过W和α构建所述乘积型Focal loss函数。

19.根据权利要求18所述的检测装置，其特征在于，所述软件程序还包括用于执行以下步骤的指令：

S100：对人形图像数据集进行标注并分为训练集、验证集和测试集；

S200：对所述训练集、所述验证集和所述测试集进行数据预处理；

S300：使用如权利要求1-6任一项所述的模型训练方法进行模型训练并输出训练好的神经网络模型。

20.根据权利要求19所述的检测装置，其特征在于，所述软件程序执行所述步骤S300的指令之后，还包括用于执行以下步骤的指令：

S400：将所述测试集输入到所述训练好的神经网络模型中得到第二模型输出结果后，采用NMS策略优化所述第二模型输出结果得到最终效果，然后对最终效果进行达标评估测试，并判断得到的评估结果是否达到预期效果；

S500：将评估结果达到预期效果的神经网络模型部署在芯片上，进行效果输出。

Images