CN112329873A - 目标检测模型的训练方法、目标检测方法及装置 - Google Patents

Abstract

本申请提供了一种目标检测模型的训练方法、目标检测方法及装置，方法包括：获取训练样本集；训练样本集中的样本为包含对象的图像；每个图像标注有对象对应的真实边界框；将训练样本集中的样本输入至预设神经网络模型中进行训练，得到对象对应的预测边界框；基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。本申请能够提高模型的收敛速度，提高模型的目标检测精准度。

Description

目标检测模型的训练方法、目标检测方法及装置

技术领域

本申请涉及目标检测技术领域，尤其是涉及一种目标检测模型的训练方法、目标检测方法及装置。

背景技术

目标检测是计算机视觉领域重要的研究内容，近些年，深度学习和神经网络技术不断在目标检测任务上取得突破，在汽车自动驾驶领域，随着自动驾驶技术的发展和升级，基于深度学习和神经网络技术的视觉感知方案在自动驾驶领域逐步得到广泛的应用。视觉感知算法方案主要为自动驾驶车辆提供检测得到的障碍物信息，然后汽车智能驾驶系统会结合障碍物信息和其它传感器做出的判断，对行驶路径做出决策。显然，视觉感知算法方案对障碍物的定位能力对自动驾驶决策具有重要意义，精准的障碍物目标定位性能将为智能驾驶系统提供更加准确的决策输入。

上述目标定位问题具体到实际的方法当中，就是目标边界框的回归计算问题。如何让算法模型精准回归计算边界框的位置信息，一直是学术界和工业界的重要研究工作之一。目前，交通场景下的目标检测方法中，目标边界框的回归计算，通常是从预测框和真实框交叠面积的角度，计算边界框在回归训练过程中的损失，在模型的训练过程中，仍然存在收敛速度慢、训练时间长的问题，并且在模型应用中，存在目标定位不准的问题。

发明内容

本申请的目的在于提供一种目标检测模型的训练方法、目标检测方法及装置，能够提高模型的收敛速度，提高模型的目标检测精准度。

第一方面，本申请实施例提供一种目标检测模型的训练方法，方法包括：获取训练样本集；训练样本集中的样本为包含对象的图像；每个图像标注有对象对应的真实边界框；将训练样本集中的样本输入至预设神经网络模型中进行训练，得到对象对应的预测边界框；基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

进一步的，上述预设损失函数如下：

L_RIoU＝1-IoU(b^t,b^p)+P_CDIoU+R^*；

其中，L_RIoU表示鲁棒边界框损失函数，IoU(b^t,b^p)表示真实边界框b^t和预测边界框b^p的交面积与并面积之比，P_CDIoU表示真实边界框b^t与预测边界框b^p、真实边界框b^t与最小外接边界框b^c的中心点欧式距离惩罚项，R^*为真实边界框b^t与预测边界框b^p，真实边界框b^t与最小外接边界框b^c的宽高比惩罚项；

ρ²(b^t,b^p)表示真实边界框b^t与预测边界框b^p之间中心点欧式距离的平方，ρ²(b^t,b^c)表示真实边界框b^t与最小外接边界框b^c之间中心点欧式距离的平方，c₁为最小外接边界框b^c的对角线长度，c₂为最小外接边界框b^c的对角线半长；

R_tp表示真实边界框b^t和预测边界框b^p的宽高比，R_tc表示真实边界框b^t与最小外接边界框b^c的宽高比；w_t和h_t分别为真实边界框b^t的宽和高，w_p和h_p分别为预测边界框b^p的宽和高，w_c和h_c分别为最小外接边界框b^c的宽和高；α_tp和α_tp均为折中参数。

进一步的，上述基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失的步骤，包括：将对象对应的真实边界框、预测边界框、以及最小外接边界框的几何信息代入预设损失函数中进行计算，得到位置回归损失；几何信息包括：面积、中心点距离和宽高比；将位置回归损失确定为模型误差损失。

进一步的，上述每个图像还标注有对象对应的真实分类标签；将训练样本集中的样本输入至预设神经网络模型中进行训练后，还得到对象对应的预测分类标签；基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失的步骤，还包括：基于对象对应的真实分类标签、预测分类标签和交叉熵损失函数，计算类别损失；将位置回归损失和类别损失进行求和，得到模型误差损失。

进一步的，上述当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型的步骤之前，还包括：获取验证样本集；验证样本集中的样本为包含对象的图像；将验证样本集中的样本输入至训练中的预设神经网络模型，得到输出结果；根据输出结果判断预设神经网络模型的模型误差损失是否收敛；如果否，继续执行模型训练步骤；如果是，确定预设神经网络模型的模型误差损失收敛。

进一步的，上述目标检测模型应用于交通场景，对象至少包括以下之一：小汽车、卡车、公交车、自行车、行人、交通指示牌、交通灯。

第二方面，本申请实施例还提供一种目标检测方法，方法包括：获取待检测图像；将待检测图像输入至目标检测模型中，得到待检测图像中包含的目标对象对应的目标检测框和目标分类标签；目标检测模型为通过第一方面所述的目标检测模型的训练方法训练得到的。

第三方面，本申请实施例还提供一种目标检测模型的训练装置，装置包括：训练集获取模块，用于获取训练样本集；训练样本集中的样本为包含对象的图像；每个图像标注有对象对应的真实边界框；训练模块，用于将训练样本集中的样本输入至预设神经网络模型中进行训练，得到对象对应的预测边界框；损失计算模块，用于基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；模型确定模块，用于当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

第四方面，本申请实施例还提供一种目标检测装置，装置包括：图像获取模块，用于获取待检测图像；目标检测模块，用于将待检测图像输入至目标检测模型中，得到待检测图像中包含的目标对象对应的目标检测框和目标分类标签；目标检测模型为通过第一方面所述的目标检测模型的训练方法所训练得到的。

第五方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面或第二方面所述的方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面或第二方面所述的方法。

本申请实施例提供的目标检测模型的训练方法，在通过训练样本集中包含对象的图像样本进行模型训练的过程中，基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；该预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系，也就是本申请实施例提供的预设损失函数考虑了边界框的几何参数，通过基于多几何关系的边界框回归损失函数，加速了模型训练过程边界框的回归收敛速度，节省训练时间，减小模型训练成本，另外，指明了目标检测任务中边界框回归训练的收敛方向，提升了目标检测模型的定位精度。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中提供的一种目标边界框数学原理示意图；

图2为现有技术中提供的一种边界框IoU计算示意图；

图3为本申请实施例提供的一种目标检测模型的训练方法的流程图；

图4为本申请实施例提供的一种边界框在训练过程中的几何关系示意图；

图5为本申请实施例提供的一种目标检测方法的流程图；

图6为本申请实施例提供的一种模型训练及应用的模块示意图；

图7为本申请实施例提供的一种目标检测模型的训练装置的结构框图；

图8为本申请实施例提供的一种目标检测装置的结构框图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目标检测是计算机视觉领域重要的研究内容，近些年，深度学习和神经网络技术不断在目标检测任务上取得突破，在汽车自动驾驶领域，随着自动驾驶技术的发展和升级，基于深度学习和神经网络技术的视觉感知方案在自动驾驶领域逐步得到广泛的应用。视觉感知算法方案主要为自动驾驶车辆提供检测得到的障碍物信息，然后汽车智能驾驶系统会结合障碍物信息和其它传感器做出的判断，对行驶路径做出决策。显然，视觉感知算法方案对障碍物的定位能力对自动驾驶决策具有重要意义，精准的障碍物目标定位性能将为智能驾驶系统提供更加准确的决策输入。

上述目标定位问题具体到实际的方法当中，就是目标边界框的回归计算问题。如何让算法模型精准回归计算边界框的位置信息，一直是学术界和工业界的重要研究工作之一。现有一些技术方法能在一定程度上解决上述问题，但仍存在一些不合理的问题。边界框回归训练是视觉目标检测任务中的一个重要环节，一般用以下数学原理来描述一个边界框：

B＝(c,x,y,w,h) 公式(1)

如图1所示，假设现有一图像(image)，图像上有一个类别标签c为car的目标，该目标的边界框的基本几何信息可用宽(w)、高(h)以及在图像上的中心点坐标(x,y)来表示。

在目标检测技术发展的早期，一般采用L2 loss、L1 loss或者Smooth L1loss对上述边界框的4个变量进行回归，但是，这些方法对边界框的位置信息进行独立地回归训练，舍弃了原始信息的相关性，降低了模型的定位能力，增加了模型训练时的收敛难度。因此，近些年一些基于IoU(Intersection of Union)的损失函数计算方法不断被提出用于边界框的回归训练。IoU的定义如下：如图2所示，现有A＝(c_a,x_a,y_a,w_a,h_a)和B＝(c_b,x_b,y_b,w_b,h_b)两个边界框，A面积为S_A＝w_a×h_a；B的面积为S_B＝w_b×h_b；A和B面积的交集为S_A∩B，A和B面积的并集为S_A∪B，此时两个边界框面积的IoU为：

根据上述分析，接下来将对现有基于IoU边界框回归训练损失函数进行简单介绍。

第一种，构造了一种IoU loss对边界框进行回归训练，其定义如下：

L_IoU＝1-IoU(b^t,b^p) 公式(3)

式中b^t为真实的边界框(或目标边界框)，b^p为模型预测的边界框。虽然IoU loss能在一定程度上提升模型的检测能力，但也存在以下缺陷：首先，当目标框和预测框不相交时，IoU loss的移动梯度为0，导致网络参数无法优化，此时，IoU loss并不能反映出两个box之间是临近还是远离的关系；其次，在很多情况下两个box的交叠方式不同也可以得到同样的IoU，而IoU只对两个box之间的交叠面积进行度量，并不能反映出box之间的交叠方式，所以IoU loss仍然无法准确描述目标框和预测框之间的差异。

第二种，提出了一种Generalized Intersection over Union(GIoU)loss，GIoUloss在IoU loss中引入b^t和b^p最小外接边界框面积S_c的惩罚计算，使得GIoU不仅仅关注重叠区域，还关注其它的不重合区域，避免了IoU为0时损失函数不提供优化方向的问题。然而，GIoU loss稳定性较差，训练过程中，当IoU为0时，GIoU loss会尽可能地增大预测框的面积去接触并覆盖目标框，导致预测框在垂直和水平方向上的误差很大，之后GIoU loss逐渐退化成IoU loss回归策略，使得GIoU严重依赖IoU并且存在梯度发散的风险，因此整个训练过程变得非常复杂，模型训练收敛困难。

综上，现有技术中的损失函数回归计算均是基于边界框的面积进行的，模型收敛困难，且训练出的模型定位不够准确。

基于此，本申请实施例提供一种目标检测模型的训练方法、目标检测方法及装置，能够提高模型的收敛速度，提高模型的目标检测精准度。为便于对本实施例进行理解，首先对本申请实施例所公开的一种目标检测模型的训练方法进行详细介绍。

图3为本申请实施例提供的一种目标检测模型的训练方法的流程图，该训练方法可以应用于各种领域的目标检测模型的训练场景中，比如，可以实现交通场景中的目标检测模型的训练，下面以交通场景为例进行说明，该方法包括以下步骤：

步骤S302，获取训练样本集；训练样本集中的样本为包含对象的图像；每个图像标注有对象对应的真实边界框。

具体实施时，可以通过摄像头等传感器设备采集交通场景的视频数据，并通过特定的程序从视频中解码出图像数据，然后人工筛选包含对象的质量较好的样本，并对对象位置信息(真实边界框)进行标注，本申请实施例中，主要对以下几类交通目标进行标注：小汽车、卡车、公交查、自行车、行人、交通指示牌、交通灯等。数据采集与标注完成后，就可以将数据分为训练样本集和验证样本集。

步骤S304，将训练样本集中的样本输入至预设神经网络模型中进行训练，得到对象对应的预测边界框。

通过预设神经网络模型对样本的检测，可以得到图像中对象对应的预测边界框。一次训练的样本数量可以为一个也可以为多个，通常来说，会将多个图像同时输入预设神经网络模型，得到多个预测结果，即每个图像中，对象对应的预测边界框。

步骤S306，基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系。

本申请实施例提供的预设损失函数为鲁棒IoU loss(Robust Iou loss,RIoUloss)，其将边界框的面积、中心点距离、宽高比等几何信息引入损失计算当中，可以优化模型对目标边界框的回归训练，为模型的训练和收敛提供了更加明确的方向、提升了模型的收敛速度和检测精度，增强了模型的鲁棒性。

在利用训练样本集对神经网络模型进行训练的过程中，需要不断学习预测值与真实值之间的误差损失(loss)，以调整模型自身的网络参数。

步骤S308，当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

在上述模型训练过程中，不断地检测模型误差损失是否收敛，将收敛时的模型确定为训练好的目标检测模型。

本申请实施例提供的目标检测模型的训练方法，在通过训练样本集中包含对象的图像样本进行模型训练的过程中，基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失；该预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系，也就是本申请实施例提供的预设损失函数考虑了边界框的几何参数，通过基于多几何关系的边界框回归损失函数，加速了模型训练过程边界框的回归收敛速度，节省训练时间，减小模型训练成本，另外，指明了目标检测任务中边界框回归训练的收敛方向，提升了目标检测模型的定位精度。

本申请实施例中，上述预设损失函数具体如下：

L_RIoU＝1-IoU(b^t,b^p)+P_CDIoU+R^*；

其中，L_RIoU表示鲁棒边界框损失函数，IoU(b^t,b^p)表示真实边界框b^t和预测边界框b^p的交面积与并面积之比，P_CDIoU表示真实边界框b^t与预测边界框b^p、真实边界框b^t与最小外接边界框b^c的中心点欧式距离惩罚项，R^*为真实边界框b^t与预测边界框b^p，真实边界框b^t与最小外接边界框b^c的宽高比惩罚项；

ρ²(b^t,b^p)表示真实边界框b^t与预测边界框b^p之间中心点欧式距离的平方，ρ²(b^t,b^c)表示真实边界框b^t与最小外接边界框b^c之间中心点欧式距离的平方，c₁为最小外接边界框b^c的对角线长度，c₂为最小外接边界框b^c的对角线半长；

R_tp表示真实边界框b^t和预测边界框b^p的宽高比，R_tc表示真实边界框b^t与最小外接边界框b^c的宽高比；w_t和h_t分别为真实边界框b^t的宽和高，w_p和h_p分别为预测边界框b^p的宽和高，w_c和h_c分别为最小外接边界框b^c的宽和高；α_tp和α_tp均为折中参数。

上述预设损失函数是基于以下分析设计得到的：

图4给出了真实边界框、预测边界框和最小外接边界框在训练过程中的几何关系示意图。从图4中(a)可以看出，真实边界框与最小外接矩形框在中心点位置上也存在很大的差异；图4中(b)分别用θ_c，θ_t以及θ_p来表示外接边界框、真实边界框以及预测边界框的宽高比，从图中可以看出，真实边界框与最小外接边界框在宽高比上也存在一定的差异。当真实边界框与预测边界框以及真实边界框与外接边界框在中心点和宽高比之间的差异都变小时，模型才能得到更好的收敛效果。将真实边界框与外接边界框的中心点距离及宽高比误差引入训练的损失计算当中，将进一步明确损失函数的收敛条件，提升收敛速度，增强损失函数的鲁棒性。

根据上述分析，本申请实施例将真实边界框、预测边界框和最小外接边界框在训练过程中的几何信息(面积、中心点距离、宽高比)引入IoU loss，提出以下鲁棒IoU(RobustIoU)边界框损失函数(RIoU loss)：

L_RIoU＝1-IoU(b^t,b^p)+P_CDIoU+R^* 公式(4)

公式(4)中IoU(b^t,b^p)代表了边界框的面积信息，也就是真实边界框和预测边界框的交面积与并面积之比；P_CDIoU为真实边界框与预测边界框、真实边界框与最小外接边界框的中心点欧式距离惩罚项，代表了边界框之间的中心点距离信息，其定义如下：

公式(5)中ρ²(b^t,b^p)表示真实边界框b^t与预测边界框b^p之间中心点欧式距离的平方，ρ²(b^t,b^c)表示真实边界框b^t与最小外接边界框b^c之间中心点欧式距离的平方，c₁为最小外接边界框的对角线长度，c₂为最小外接边界框的对角线半长。公式(4)中R^*为真实边界框与预测边界框和最小外接边界框的宽高比惩罚项，代表了边界框之间的宽高比信息，其定义如下：

式(6)中R_tp用于度量真实边界框和预测边界框的宽高比，R_tc用于度量真实边界框和最小外接边界框的宽高比，它们的定义如下：

式中w_t和h_t分别为真实边界框的宽和高，w_p和h_p分别为预测边界框的宽和高，w_c和h_c分别为外接边界框的宽和高。此外，式(6)中的折中参数α_tp和α_tp分别定义如下：

由前文的分析可知，只有目标边界框与预测边界框和外接边界框之间的差异都缩小时，模型对边界框的回归才可得到更好的收敛效果。RIoU loss对真实边界框与预测边界框以及目标框与外接边界框的中心点位置和宽高比同时进行监督学习，让真实边界框与预测边界框和外接边界框的差异同时为预测框提供收敛的方向，更加明确了模型的收敛目标，让预测的边界框在距离和宽高比上快速向目标框靠近，进一步提升收敛速度，这种做法充分考虑了边界框在回归训练过程中的变化因素，增强了损失函数的鲁棒性。

为了提高模型误差损失的计算速度，上述基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失的步骤，可以通过以下方式实现：

将对象对应的真实边界框、预测边界框、以及最小外接边界框的几何信息代入预设损失函数中进行计算，得到位置回归损失；几何信息包括：面积、中心点距离和宽高比；将位置回归损失确定为模型误差损失。

为了进一步提提高模型的定位精准度，本申请实施例还提供另一种模型误差损失的计算过程，这种方式中，需要同时考虑边界框回归问题和分类损失问题，即训练样本集中的每个图像除了标注有对象对应的真实边界框外，还标注有对象对应的真实分类标签；将训练样本集中的样本输入至预设神经网络模型中进行训练后，除了得到对象对应的预测边界框，还同时得到对象对应的预测分类标签；然后基于对象对应的真实分类标签、预测分类标签和交叉熵损失函数，计算类别损失；将基于真实边界框、预测边界框、以及最小外接边界框计算得到的位置回归损失和类别损失进行求和，得到模型误差损失。

本申请实施例中，在训练出上述预设神经网络模型的过程中，还可以通过验证样本集对模型进行验证，即利用数据采集与标注模块生成验证样本集来验证可用的神经网络模型，验证过程如下：

获取验证样本集；验证样本集中的样本为包含对象的图像；将验证样本集中的样本输入至训练中的预设神经网络模型，得到输出结果；根据输出结果判断预设神经网络模型的模型误差损失是否收敛；如果否，继续执行模型训练步骤；如果是，确定预设神经网络模型的模型误差损失收敛。

随着训练的不断进行，模型自身的网络参数会得到不断地调整学习，如果训练好的模型在验证样本集上表现为收敛，则终止训练，并保存可用的目标检测模型用于后续的交通目标检测任务当中，如果还不收敛，则继续模型训练过程。

本申请实施例提供的目标检测模型的训练方法，包括以下几个优点：

(1)本申请实施例在边界框位置损失函数中引入面积、中心点距离、宽高比等几何信息，为模型的训练和收敛提供了更加明确的方向。数学原理如公式(4)所示。

(2)在计算边界框中心点距离损失时，本申请实施例将真实边界框与预测边界框的中心点欧式距离、真实边界框与最小外接边界框的中心点欧式距离，都引入中心损失的计算当中，进一步完善边界框中心距离损失的计算。数学原理如公式(5)所示。

(3)在计算边界框的宽高比损失时，本申请实施例将真实边界框与预测边界框的宽高比损失、真实边界框与最小外接边界框的宽高比损失，都引入宽高比损失的计算当中，进一步完善边界框宽高比损失的计算。数学原理如公式(6)、(7)、(8)所示。

本申请实施例通过设计一种基于多几何关系的边界框回归损失函数，加速了模型训练过程边界框的回归收敛速度，节省训练时间，减小模型训练成本；并且指明了目标检测任务中边界框回归训练的收敛方向，提升了目标检测算法的定位精度；本申请实施例设计的多几何关系边界框回归损失函数，使得特征区域定位和分类两个任务更加协调，能在一定程度上提升目标检测算法的分类精度。

基于上述方法实施例，本申请实施例还提供一种目标检测方法，参见图5所示，目标检测方法包括以下步骤：

步骤S502，获取待检测图像；

步骤S504，将待检测图像输入至目标检测模型中，得到待检测图像中包含的目标对象对应的目标检测框和目标分类标签；目标检测模型为通过上一实施例所述的目标检测模型的训练方法训练得到的。

利用已经训练好的目标检测模型对摄像头采集的交通视频进行目标检测，输出对象的类别和位置信息，即目标检测框和目标分类标签，以方便为目标检测任务做出合理的决策。

为了方便对本申请中模型训练过程和模型应用过程的理解，可以参考图6所示的一种模块框图，包括数据采集与标注模块、训练模块和应用模块，其具体的实现过程可参见上述方法实施例，在此不再赘述。

基于上述目标检测模型的训练方法实施例，本申请实施例还提供一种目标检测模型的训练装置，参见图7所示，该装置包括：

训练集获取模块702，用于获取训练样本集；训练样本集中的样本为包含对象的图像；每个图像标注有对象对应的真实边界框；

训练模块704，用于将训练样本集中的样本输入至预设神经网络模型中进行训练，得到对象对应的预测边界框；

损失计算模块706，用于基于对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于模型误差损失调整模型参数；预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；

模型确定模块708，用于当模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

进一步的，上述预设损失函数如下：

L_RIoU＝1-IoU(b^t,b^p)+P_CDIoU+R^*；

其中，L_RIoU表示鲁棒边界框损失函数，IoU(b^t,b^p)表示真实边界框b^t和预测边界框b^p的交面积与并面积之比，P_CDIoU表示真实边界框b^t与预测边界框b^p、真实边界框b^t与最小外接边界框b^c的中心点欧式距离惩罚项，R^*为真实边界框b^t与预测边界框b^p，真实边界框b^t与最小外接边界框b^c的宽高比惩罚项；

ρ²(b^t,b^p)表示真实边界框b^t与预测边界框b^p之间中心点欧式距离的平方，ρ²(b^t,b^c)表示真实边界框b^t与最小外接边界框b^c之间中心点欧式距离的平方，c₁为最小外接边界框b^c的对角线长度，c₂为最小外接边界框b^c的对角线半长；

R_tp表示真实边界框b^t和预测边界框b^p的宽高比，R_tc表示真实边界框b^t与最小外接边界框b^c的宽高比；w_t和h_t分别为真实边界框b^t的宽和高，w_p和h_p分别为预测边界框b^p的宽和高，w_c和h_c分别为最小外接边界框b^c的宽和高；α_tp和α_tp均为折中参数。

进一步的，上述损失计算模块706，还用于：将对象对应的真实边界框、预测边界框、以及最小外接边界框的几何信息代入预设损失函数中进行计算，得到位置回归损失；几何信息包括：面积、中心点距离和宽高比；将位置回归损失确定为模型误差损失。

进一步的，上述每个图像还标注有对象对应的真实分类标签；上述将训练样本集中的样本输入至预设神经网络模型中进行训练后，还得到对象对应的预测分类标签；上述损失计算模块706，还用于：基于对象对应的真实分类标签、预测分类标签和交叉熵损失函数，计算类别损失；将位置回归损失和类别损失进行求和，得到模型误差损失。

进一步的，上述装置还包括：验证模块，用于获取验证样本集；验证样本集中的样本为包含对象的图像；将验证样本集中的样本输入至训练中的预设神经网络模型，得到输出结果；根据输出结果判断预设神经网络模型的模型误差损失是否收敛；如果否，继续执行模型训练步骤；如果是，确定预设神经网络模型的模型误差损失收敛。

进一步的，上述目标检测模型应用于交通场景，对象至少包括以下之一：小汽车、卡车、公交车、自行车、行人、交通指示牌、交通灯。

本申请实施例提供的目标检测模型的训练装置，其实现原理及产生的技术效果和前述目标检测模型的训练方法实施例相同，为简要描述，目标检测模型的训练装置的实施例部分未提及之处，可参考前述目标检测模型的训练方法实施例中相应内容。

基于上述目标检测方法实施例，本申请实施例还提供一种目标检测装置，参见图8所示，该装置包括：

图像获取模块82，用于获取待检测图像；

目标检测模块84，用于将待检测图像输入至目标检测模型中，得到待检测图像中包含的目标对象对应的目标检测框和目标分类标签；目标检测模型为通过上述目标检测模型的训练方法训练得到的。

本申请实施例提供的目标检测装置，其实现原理及产生的技术效果和前述目标检测方法实施例相同，为简要描述，目标检测装置的实施例部分未提及之处，可参考前述目标检测方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图9所示，为该电子设备的结构示意图，其中，该电子设备包括处理器91和存储器90，该存储器90存储有能够被该处理器91执行的计算机可执行指令，该处理器91执行该计算机可执行指令以实现上述方法。

在图9示出的实施方式中，该电子设备还包括总线92和通信接口93，其中，处理器91、通信接口93和存储器90通过总线92连接。

其中，存储器90可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线92可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线92可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器91可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器91中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器91可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器91读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的目标检测模型的训练方法、目标检测方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种目标检测模型的训练方法，其特征在于，所述方法包括：

获取训练样本集；所述训练样本集中的样本为包含对象的图像；每个所述图像标注有所述对象对应的真实边界框；

将所述训练样本集中的样本输入至预设神经网络模型中进行训练，得到所述对象对应的预测边界框；

基于所述对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于所述模型误差损失调整模型参数；所述预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；

当所述模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

2.根据权利要求1所述的目标检测模型的训练方法，其特征在于，所述预设损失函数如下：

L_RIoU＝1-IoU(b^t,b^p)+P_CDIoU+R^*；

其中，L_RIoU表示鲁棒边界框损失函数，IoU(b^t,b^p)表示真实边界框b^t和预测边界框b^p的交面积与并面积之比，P_CDIoU表示真实边界框b^t与预测边界框b^p、真实边界框b^t与最小外接边界框b^c的中心点欧式距离惩罚项，R^*为真实边界框b^t与预测边界框b^p，真实边界框b^t与最小外接边界框b^c的宽高比惩罚项；

ρ²(b^t,b^p)表示真实边界框b^t与预测边界框b^p之间中心点欧式距离的平方，ρ²(b^t,b^c)表示真实边界框b^t与最小外接边界框b^c之间中心点欧式距离的平方，c₁为最小外接边界框b^c的对角线长度，c₂为最小外接边界框b^c的对角线半长；

R_tp表示真实边界框b^t和预测边界框b^p的宽高比，R_tc表示真实边界框b^t与最小外接边界框b^c的宽高比；w_t和h_t分别为真实边界框b^t的宽和高，w_p和h_p分别为预测边界框b^p的宽和高，w_c和h_c分别为最小外接边界框b^c的宽和高；α_tp和α_tp均为折中参数。

3.根据权利要求1所述的目标检测模型的训练方法，其特征在于，基于所述对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失的步骤，包括：

将所述对象对应的真实边界框、预测边界框、以及最小外接边界框的几何信息代入所述预设损失函数中进行计算，得到位置回归损失；所述几何信息包括：面积、中心点距离和宽高比；

将所述位置回归损失确定为所述模型误差损失。

4.根据权利要求3所述的目标检测模型的训练方法，其特征在于，每个所述图像还标注有所述对象对应的真实分类标签；

将所述训练样本集中的样本输入至预设神经网络模型中进行训练后，还得到所述对象对应的预测分类标签；

基于所述对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失的步骤，还包括：

基于所述对象对应的真实分类标签、预测分类标签和交叉熵损失函数，计算类别损失；

将所述位置回归损失和所述类别损失进行求和，得到所述模型误差损失。

5.根据权利要求1所述的目标检测模型的训练方法，其特征在于，当所述模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型的步骤之前，还包括：

获取验证样本集；所述验证样本集中的样本为包含对象的图像；

将所述验证样本集中的样本输入至训练中的预设神经网络模型，得到输出结果；

根据所述输出结果判断所述预设神经网络模型的模型误差损失是否收敛；

如果否，继续执行模型训练步骤；

如果是，确定所述预设神经网络模型的模型误差损失收敛。

6.根据权利要求1所述的目标检测模型的训练方法，其特征在于，所述目标检测模型应用于交通场景，所述对象至少包括以下之一：小汽车、卡车、公交车、自行车、行人、交通指示牌、交通灯。

7.一种目标检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入至目标检测模型中，得到所述待检测图像中包含的目标对象对应的目标检测框和目标分类标签；所述目标检测模型为通过权利要求1-6任一项所述的目标检测模型的训练方法所训练得到的。

8.一种目标检测模型的训练装置，其特征在于，所述装置包括：

训练集获取模块，用于获取训练样本集；所述训练样本集中的样本为包含对象的图像；每个所述图像标注有所述对象对应的真实边界框；

训练模块，用于将所述训练样本集中的样本输入至预设神经网络模型中进行训练，得到所述对象对应的预测边界框；

损失计算模块，用于基于所述对象对应的真实边界框、预测边界框和预设损失函数计算模型误差损失，并基于所述模型误差损失调整模型参数；所述预设损失函数为基于边界框面积、边界框中心点距离和边界框宽高比确定的函数关系；

模型确定模块，用于当所述模型误差损失收敛时，终止模型训练，得到训练好的目标检测模型。

9.一种目标检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像；

目标检测模块，用于将所述待检测图像输入至目标检测模型中，得到所述待检测图像中包含的目标对象对应的目标检测框和目标分类标签；所述目标检测模型为通过权利要求1-6任一项所述的目标检测模型的训练方法所训练得到的。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项或权利要求7所述的方法。

Images