CN115953595A - 模型训练方法、装置、电子设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种模型训练方法、装置、电子设备、介质和程序产品，涉及数据处理领域，尤其涉及图像理解、计算机视觉、目标检测、深度学习等技术领域。具体实现方案为：获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；将样本图像输入初始网络模型进行预测，得到预测结果，预测结果包括预测边界信息；基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个GT框的边界与所对应的所述目标中心点的真实相对位置信息。本公开可以提高模型的训练效果。

Description

模型训练方法、装置、电子设备、介质和程序产品

技术领域

本公开涉及数据处理领域，尤其涉及图像理解、计算机视觉、目标检测、深度学习等技术领域。具体涉及一种模型训练方法、装置、电子设备、介质和程序产品。

背景技术

相关技术中，目标检测是计算机视觉领域中的一个重要研究方向，也是其他复杂视觉任务的基础。作为图像理解和计算机视觉的基石，目标检测是解决分割、场景理解、目标跟踪、图像描述和事件检测等更高层次视觉任务的基础。小目标检测长期以来是目标检测中的一个难点，其旨在精准检测出图像中可视化特征极少的小目标。由于小目标像素占比少，存在覆盖面积小、包含信息少等基本特点，因此，小目标检测精度一直很难提高。相关技术中通常采用锚框机制对图像中的目标对象进行标记，以完成目标检测模型的训练过程。

发明内容

本公开提供了一种模型训练方法、装置、电子设备、介质和程序产品。

根据本公开的第一方面，提供了一种模型训练方法，包括：

获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；

将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

根据本公开的第二方面，提供了一种模型训练装置，包括：

获取模块，用于获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；

预测模块，用于将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

训练模块，用于基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程5序，所述计算机程序在被处理器执行时实现第一方面所述的方法。

本公开实施例中，由于GT框所对应的目标中心点：既可以是位于所述GT框内的目标中心点，也可以是位于所述GT框外的目标中心点，因此，无论GT框内是否包含目标中心点，均可以确定GT框所对应的目标

中心点，进而可以基于GT框所对应的目标中心点生成每个GT框的预测0边界信息。即针对各种尺寸的目标对象均可以对其边界信息进行预测，并

基于预测结果对模型进行训练，如此，有利于提高模型的训练效果。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是本公开实施例提供的一种模型训练方法的流程图；

图2是本公开实施例中目标中心点位于第一GT框之内的示意图；

图3是本公开实施例中目标中心点位于第一GT框之外的示意图；

图4是本公开实施例中目标中心点位于第一GT框之外时，在第一GT

框之外确定先验框的示意图；

图5是本公开实施例提供的一种模型训练装置的结构示意图之一；

图6是本公开实施例提供的一种模型训练装置的结构示意图之二；

图7本公开实施例提供的用于实现模型训练方法的电子设备的框图。

具体实施方式

5以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实

施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

0请参见图1，图1为本公开实施例提供的一种模型训练方法的流程示意图，所述模型训练方法包括以下步骤：

步骤S101、获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注(Ground Truth，GT)框，一个所述GT框用于框选所述样本图像中的一个目标对象；

步骤S102、将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

步骤S103、基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

其中，上述目标网络模型可以是各种目标识别场景中用于对目标对象进行分类或者识别的网络模型。具体地，所述目标网络模型可以作为图像分割、场景理解、目标跟踪、图像描述和事件检测等更高层次视觉任务的基础。

上述样本图像可以是预先对图像中的目标对象进行标注所得到的样本图像。其中，所述目标对象可以是各种场景中待识别或待分类的对象。例如，在自动驾驶场景中，所述目标对象可以包括行人、车辆、交通指示灯、障碍物等各种交通元素。

可以理解的是，在进行模型训练之前，可以预先获取大量包含所述目标对象的图像，然后，采用GT框对图像中的目标对象进行标注，即通过GT框标注出目标对象在图像中的位置和大小等信息。这样，后续在进行模型训练的过程中，可以通过GT框指示样本图像中的目标对象所在位置，以便于模型学习如何从样本图像中准确的识别出目标对象。

上述初始网络模型可以是相关技术中用于训练图像识别模型的网络骨架。在进行模型训练的过程中，初始网络模型可以对样本图像进行下采样，采样点即可作为所述目标中心点。例如，所述初始网络模型可以对样本图像进行网格划分，并选取每个网格的中心点作为所述目标中心点，其中，所述目标中心点的特征即可作为其所述网格中的特征。

相关技术中，在对目标检测模型进行训练时，通常是在图像中标注box框，然后，在图像中确定目标中心点，在利用位于box框内的目标中心点预测目标中心点与box框的各边之间的距离计算损失，以完成模型训练过程。然而，当目标对象为小目标时，其所对应的box框的尺寸也相当小，在此情况下，box框中可能不存在目标中心点，也就导致无法对该小目标的边界信息进行预测，进而导致训练得到的目标检测模型针对小目标的检测效果较差的问题。

而本公开实施例中，由于GT框所对应的目标中心点：既可以是位于所述GT框内的目标中心点，也可以是位于所述GT框外的目标中心点，因此，在GT框内不包括目标中心点时，可以从GT框外确定GT框所对应的目标中心点，并基于该目标中心点预测该GT框的边界信息。这样，在训练过程中，可以使得初始网络模型有效的学习对小目标的边界信息进行预测，进而提高训练得到的目标网络模型对小目标的识别效果。

上述预测边界信息可以包括：所述初始网络模型预测得到的所述GT框所对应的目标中心点与GT框各边之间的相对位置信息。所述真实边界信息可以包括：所述GT框所对应的目标中心点与GT框各边之间的真实的相对位置信息。如此，可以基于所述初始网络模型的预测结果与真实结果构建损失函数，并基于所构建的损失函数对所述初始网络模型进行参数优化，以得到目标网络模型。其中，所述真实边界信息可以直接根据样本图像中目标中心点与GT框之间的相对位置获取得到。

具体地，在训练得到目标网络模型之后，仅需将待识别图像输入目标网络模型，目标网络模型即可准确的识别出所述待识别图像中的目标对象，并预测出目标对象的边界信息，该边界信息可以用于还原目标对象对应的GT框。如此，从而实现基于目标网络模型对图像中的目标对象进行识别的过程。

需要说明的是，上述初始网络模型基于所述GT框所对应的目标中心点对所述预测边界信息进行预测的具体预测过程与相关技术中目标检测模型的预测过程类似，例如，可以与相关技术中采用锚框机制对目标检测模型进行训练过程中的边界预测过程类似。

该实施方式中，由于GT框所对应的目标中心点：既可以是位于所述GT框内的目标中心点，也可以是位于所述GT框外的目标中心点，因此，无论GT框内是否包含目标中心点，均可以确定GT框所对应的目标中心点，进而可以基于GT框所对应的目标中心点生成每个GT框的预测边界信息。即针对各种尺寸的目标对象均可以对其边界信息进行预测，并基于预测结果对模型进行训练，如此，有利于提高模型的训练效果。

可选地，在第一GT框所框选的区域内包括至少一个目标中心点的情况下，所述初始网络模型用于将所述至少一个目标中心点确定为所述第一GT框所对应的目标中心点，所述第一GT框为所述至少一个GT框中的任意一个GT框；

在所述第一GT框所框选的区域内不包括所述目标中心点的情况下，所述初始网络模型用于在所述样本图像内确定与所述第一GT框对应的先验框，所述第一GT框位于所述先验框内，且所述先验框内包括至少一个目标中心点，所述初始网络模型还用于将所述先验框内的至少一个目标中心点确定为所述第一GT框所对应的目标中心点。

其中，在对各个样本图像中的所有GT框对应的目标中心点进行确定的过程中，均可以采用与上述第一GT框相同的方法进行确定。

具体地，在确定第一GT框所对应的目标中心点的过程中，首先，可以在第一GT框内查找是否存在目标中心点，如图2所示，若所述第一GT框内包括目标中心点，则将第一GT框内的目标中心点确定为所述第一GT框所对应的目标中心点。如图3至图4所示，当所述第一GT框内不包括目标中心点时，则可以在所述第一GT框的外围确定一个先验框，其中，该先验框与所述第一GT框之间的距离可以相对较近，且所述第一GT框位于所述先验框的内部，同时，所述先验框内还包括至少一个目标中心点。由于先验框与所述第一GT框之间的距离可以相对较近，因此，所述先验框内部的目标中心点与所述第一GT框之间的距离也相对较近，因此，所述先验框内部的目标中心点处的特征可以用于对所述第一GT框的边界信息进行预测，从而可以将所述先验框内包括至少一个目标中心点确定为所述第一GT框所对应的目标中心点。

可以理解的是，所述第一GT框所对应的目标中心点的数量可以为一个以上，在所述第一GT框对应至少两个目标中心点时，可以基于每个目标中心点预测所述第一GT信息的边界信息，得到至少两个预测结果，然后，对至少两个预测结果进行后处理，以得到最终的预测结果，其中，所述后处理可以是相关技术中的常规处理方式，例如，可以计算至少两个预测结果的平均值，得到最终的预测结果，

该实施方式中，在第一GT框所框选的区域内包括至少一个目标中心点的情况下，所述初始网络模型用于将所述至少一个目标中心点确定为所述第一GT框所对应的目标中心点；在所述第一GT框所框选的区域内不包括所述目标中心点的情况下，将先验框内的至少一个目标中心点确定为所述第一GT框所对应的目标中心点，如此，无论所述第一GT框中是否包括目标中心点，均可以确定与第一GT框所对应的目标中心点，从而实现确定各个GT框所对应的中心点的过程。

可选地，所述第一GT框为矩形框，所述先验框为以所述第一GT框的中心点为中心、并以目标长度为边长确定的方形框，且所述第一GT框的四边分别与所述先验框的四边平行。其中，所述目标长度可以根据实际场景进行设置。

该实施方式中，通过以所述第一GT框的中心点为中心、并以目标长度为边长确定所述先验框，并使所述第一GT框的四边分别与所述先验框的四边平行，如此，可以确保所述第一GT框与先验框各个边之间的距离均相对均衡，从而有利于将位于所述第一GT框之外，且与所述第一GT框较为接近的目标中心点确定为所述第一GT框所对应的目标中心点。这样，由于所确定的目标中心点距离第一GT框较近，因此，目标中心点处的特征与第一GT框内部的特征也更为接近，进而有利于提高基于目标中心点对第一GT框的边界信息进行预测的准确性。

可选地，所述训练数据为预设训练集中训练数据，所述训练数据集包括至少两个不同的训练数据，所述将所述样本图像输入初始网络模型进行预测，得到预测结果之前，所述方法还包括：

基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，其中，所述回归范围中的最小值小于0，所述回归范围中的最大值基于所述目标边长确定，其中，所述目标边长为：所述至少两个不同的训练数据对应的所有GT框的各边界边长中最长的边界边长；

其中，所述初始网络模型用于基于所述GT框所对应的目标中心点，在所述回归范围内预测得到所述预测边界信息，所述预测边界信息包括与所述GT框中的每条边界对应的一维的回归向量，所述回归向量的起点为所述目标中心点，所述回归向量的方向垂直于所对应的边界，且所述回归向量的长度位于所述回归范围内。

上述回归范围即初始网络模型对所述回归向量进行预测时，回归向量的取值范围。本公开实施例中，为了进一步优化回归范围，具体通过缩小回归范围，以提高回归的准确性。

具体地，由于当GT框较大时，其内部通常包括目标中心点，此时，目标中心点到GT框各个边之间的距离小于该GT框的最长边长，此时，回归距离不会超过上述目标边长。而当GT框较小时，可能需要从较小的GT框外部选取目标中心点，此时，目标中心点到较小的GT框的某一条边之间的距离可能超过该较小的GT框的最大边长，然而，由于GT框本身非常小，而所选取的目标中心点也位于GT框的附近，因此，目标中心点到较小的GT框的各边之间的距离也相对较小，且通常会小于上述目标边长。因此，可以将上述目标边长确定为所述回归范围的上限。此外，为了进一步缩小回归范围，也可以取小于所述目标边长的值作为所述回归范围的上限，例如，可以选择所述目标边长的95％作为所述回归范围的上限，如此，也可以实现所述训练数据集中所有GT框的预测过程。相应地，请参见图4，图4中的四个箭头分别用户表示目标中心点至第一GT框四条边界之间的回归向量，由于向上的箭头与向左的箭头需要反向才能分别指向所述第一GT框的上边界和左边界，因此，与第一GT框的上边界和左边界所对应的回归向量的取值需要为负值，因此，上述回归范围的下限需要为负值，而由于出现如图4所示的情形时，第一GT框本身的尺寸较小，所对应的回归向量的长度也相应较小，因此，可以取一个绝对值较小的负值作为所述回归范围的下限，即可实现针对较小目标的回归，例如，本公开一个实施例中，所述回归范围的最小值的取值范围可以位于-3至-1之间，在本公开一个实施例中，所述回归范围为[-2，reg_max]。其中，reg_max为所述目标边长的95％。

可以理解的是，不同的预设训练集所对应的回归范围可以不同，在对初始网络模型进行训练之前，可以先获取所述预设训练集，然后，预设训练集确定所述回归范围，再将所述初始网络模型的回归范围参数调整为所确定的回归范围。

该实施方式中，通过基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，如此，可以确保所确定的回归范围与当前的预设训练数据集更为匹配，从而实现对回归范围的优化，进而有利于提高预测结果的准确性。

可选地，所述回归范围包括多个回归距离，所述初始网络模型预测所述GT框中目标边界所对应的目标回归向量包括：预测与所述多个回归距离一一对应的多个概率值，基于所述多个概率值和所述多个回归距离计算得到所述目标回归向量的长度；

其中，所述目标边界为所述GT框中的任意一条边界，所述概率值用于表征所述目标回归向量的长度为所述概率值所对应的回归距离的概率。

其中，上述回归范围包括多个回归距离可以是指：在回归范围内确定多个回归距离，具体地，可以将回归范围中的每个整数值确定为一个回归距离，然后，初始网络模型在预测目标中心点至目标边界的回归向量时，可以分别输出所述目标中心点至目标边界之间的距离位于上述每个回归距离的概率，再计算概率和，以得到目标回归向量。

例如，当所述回归范围为[-1，3]时，该回归范围一个包括5个整数点，因此，可以分别确定如下5个回归距离-1、0、1、2和3，其中，负号表示向量方向，数值的范围为mm。假设初始网络模型进行预测，得到该5个回归距离所对应的概率值分别为：0、0、0、0.1和0.9时，则目标回归向量为：(-1×0)+(0×0)(1×0)+(2×0.1)+(3×0.9)＝2.9，即目标回归向量为正向的2.9mm。

该实施方式中，通过分别预测与所述多个回归距离一一对应的多个概率值，并计算所述多个概率值和所述多个回归距离的概率和，以得到所述目标回归向量的长度，如此，有利于提高预测结果的准确性。

可选地，所述初始网络模型用于基于所述样本图像生成至少两个不同尺寸的特征图，所述特征图为对所述样本图像按照预设比例进行缩小之后

得到的特征图，且所述两个不同尺寸的特征图与至少不两个不同的所述预5设比例一一对应；所述基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，包括：

基于所述至少不两个不同的所述预设比例对所述目标边长进行缩小，得到至少两个候选长度值，所述至少两个候选长度值与所述至少不两个不

同的所述预设比例一一对应；

0基于所述至少两个候选长度值中的最大候选长度确定所述回归向量的长度。

具体地，在初始网络模型对样本图像进行预测的过程中，通常需要对样本图像进行下采样，以得到对应的特征图。且初始网络模型可以包括至

少两个步长(stridr)不同的采样层，所述至少两个采样层与所述至少两个5不同尺寸的特征图一一对应，即所述采用层用于对所述样本图像进行采样

得到对应的特征图。

由于在进行下采样的过程中，特征图将相对于样本图像进行缩小，相应地，所述样本图像中的GT框也将缩小相同的比例之后，呈现于特征图

中。而初始网络模型是基于特征图进行预测，因此，上述回归范围的上限0也需要相应缩小。因此，可以基于所述至少不两个不同的所述预设比例对

所述目标边长进行缩小，得到至少两个候选长度值，然后，基于所述至少两个候选长度值中的最大候选长度确定所述回归向量的长度，具体地，可以以所述至少两个候选长度值中的最大候选长度的95％作为上述回归范围的上限。

5该实施方式中，通过基于所述至少两个候选长度值中的最大候选长度

确定所述回归向量的长度，如此，可以确保所确定的回归范围能够覆盖各个特征图的回归范围，进而有利于提高所确定的回归范围的准确性。

可选地，所述训练数据还包括所述目标对象的真实类别标签，所述预

测结果还包括对所述目标对象的预测类别标签，所述基于所述预测边界信0息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，包括：

基于所述预测边界信息、所述真实边界信息、所述真实类别标签和所述预测类别标签对所述初始网络模型进行训练，得到所述目标网络模型。

具体地，可以基于所述预测边界信息和所述真实边界信息构建第一损失函数，同时，基于所述真实类别标签和所述预测类别标签构建第二损失函数，然后，分别基于第一损失函数和第二损失函数对所述初始网络模型进行参数优化，以得到目标网络模型。

可以理解的是，在训练得到所述目标网络模型之后，仅需将包括目标对象的图像输入目标网络模型，目标网络模型即可识别出所述图像中的目标对象的位置，并可以识别出目标对象的类别。具体地，所述目标网络模型可以通过矩形框的形式，在图像中框选出目标对象，并在图像中标记每个目标对象的类别，然后进行输出。

该实施方式中，通过基于所述预测边界信息、所述真实边界信息、所述真实类别标签和所述预测类别标签对所述初始网络模型进行训练，得到所述目标网络模型，如此，既可以检测出图像中的目标对象所在位置，同时，还可以对图像中的目标对象进行分类。

基于本公开实施例提供的模型训练方法训练得到的目标网络模型能有效的提高小目标检测的精度。具体地，通过实验验证，在visdrone标准数据集上通过matlab测试能够达到38.29mAP，相比于PP-YOLOE，精度提升1.16；相比于tph-yolov5，精度提升2.09。在coco数据集上相比于ppyoloe_plus mAP|AP50|AP-small分别涨0.1|0.3|1.9。

请参见图5，图5为本公开实施例提供的一种模型训练装置500的结构示意图，所述模型训练装置500，包括：

获取模块501，用于获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；

预测模块502，用于将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

训练模块503，用于基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

可选地，在第一GT框所框选的区域内包括至少一个目标中心点的情况下，所述初始网络模型用于将所述至少一个目标中心点确定为所述第一GT框所对应的目标中心点，所述第一GT框为所述至少一个GT框中的任意一个GT框；

在所述第一GT框所框选的区域内不包括所述目标中心点的情况下，所述初始网络模型用于在所述样本图像内确定与所述第一GT框对应的先验框，所述第一GT框位于所述先验框内，且所述先验框内包括至少一个目标中心点，所述初始网络模型还用于将所述先验框内的至少一个目标中心点确定为所述第一GT框所对应的目标中心点。

可选地，所述第一GT框为矩形框，所述先验框为以所述第一GT框的中心点为中心、并以目标长度为边长确定的方形框，且所述第一GT框的四边分别与所述先验框的四边平行。

可选地，所述训练数据为预设训练集中训练数据，所述训练数据集包括至少两个不同的训练数据，所述装置还包括：

确定模块504，用于基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，其中，所述回归范围中的最小值小于0，所述回归范围中的最大值基于所述目标边长确定，其中，所述目标边长为：所述至少两个不同的训练数据对应的所有GT框的各边界边长中最长的边界边长；

其中，所述初始网络模型用于基于所述GT框所对应的目标中心点，在所述回归范围内预测得到所述预测边界信息，所述预测边界信息包括与所述GT框中的每条边界对应的一维的回归向量，所述回归向量的起点为所述目标中心点，所述回归向量的方向垂直于所对应的边界，且所述回归向量的长度位于所述回归范围内。

可选地，所述回归范围包括多个回归距离，所述初始网络模型预测所述GT框中目标边界所对应的目标回归向量包括：预测与所述多个回归距离一一对应的多个概率值，基于所述多个概率值和所述多个回归距离计算得到所述目标回归向量的长度；

其中，所述目标边界为所述GT框中的任意一条边界，所述概率值用于表征所述目标回归向量的长度为所述概率值所对应的回归距离的概率。

可选地，所述初始网络模型包括用于基于所述样本图像生成至少两个不同尺寸的特征图，所述特征图为对所述样本图像按照预设比例进行缩小之后得到的特征图，且所述两个不同尺寸的特征图与至少不两个不同的所述预设比例一一对应；所述确定模块504，具体用于基于所述至少不两个不同的所述预设比例对所述目标边长进行缩小，得到至少两个候选长度值，所述至少两个候选长度值与所述至少不两个不同的所述预设比例一一对应；

所述确定模块504，具体还用于基于所述至少两个候选长度值中的最大候选长度确定所述回归向量的长度。

可选地，所述训练数据还包括所述目标对象的真实类别标签，所述预测结果还包括对所述目标对象的预测类别标签，所述训练模块503，具体用于基于所述预测边界信息、所述真实边界信息、所述真实类别标签和所述预测类别标签对所述初始网络模型进行训练，得到所述目标网络模型。

需要说明地，本实施例提供的模型训练装置500能够实现上述模型训练方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如模型训练方法。例如，在一些实施例中，模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，执行上文描述的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种模型训练方法，包括：

获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；

将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

2.根据权利要求1所述的方法，其中，在第一GT框所框选的区域内包括至少一个目标中心点的情况下，所述初始网络模型用于将所述至少一个目标中心点确定为所述第一GT框所对应的目标中心点，所述第一GT框为所述至少一个GT框中的任意一个GT框；

在所述第一GT框所框选的区域内不包括所述目标中心点的情况下，所述初始网络模型用于在所述样本图像内确定与所述第一GT框对应的先验框，所述第一GT框位于所述先验框内，且所述先验框内包括至少一个目标中心点，所述初始网络模型还用于将所述先验框内的至少一个目标中心点确定为所述第一GT框所对应的目标中心点。

3.根据权利要求2所述的方法，其中，所述第一GT框为矩形框，所述先验框为以所述第一GT框的中心点为中心、并以目标长度为边长确定的方形框，且所述第一GT框的四边分别与所述先验框的四边平行。

4.根据权利要求1所述的方法，其中，所述训练数据为预设训练集中训练数据，所述训练数据集包括至少两个不同的训练数据，所述将所述样本图像输入初始网络模型进行预测，得到预测结果之前，所述方法还包括：

基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，其中，所述回归范围中的最小值小于0，所述回归范围中的最大值基于所述目标边长确定，其中，所述目标边长为：所述至少两个不同的训练数据对应的所有GT框的各边界边长中最长的边界边长；

其中，所述初始网络模型用于基于所述GT框所对应的目标中心点，在所述回归范围内预测得到所述预测边界信息，所述预测边界信息包括与所述GT框中的每条边界对应的一维的回归向量，所述回归向量的起点为所述目标中心点，所述回归向量的方向垂直于所对应的边界，且所述回归向量的长度位于所述回归范围内。

5.根据权利要求4所述的方法，其中，所述回归范围包括多个回归距离，所述初始网络模型预测所述GT框中目标边界所对应的目标回归向量包括：预测与所述多个回归距离一一对应的多个概率值，基于所述多个概率值和所述多个回归距离计算得到所述目标回归向量的长度；

其中，所述目标边界为所述GT框中的任意一条边界，所述概率值用于表征所述目标回归向量的长度为所述概率值所对应的回归距离的概率。

6.根据权利要求4所述的方法，其中，所述初始网络模型用于基于所述样本图像生成至少两个不同尺寸的特征图，所述特征图为对所述样本图像按照预设比例进行缩小之后得到的特征图，且所述两个不同尺寸的特征图与至少不两个不同的所述预设比例一一对应；所述基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，包括：

基于所述至少不两个不同的所述预设比例对所述目标边长进行缩小，得到至少两个候选长度值，所述至少两个候选长度值与所述至少不两个不同的所述预设比例一一对应；

基于所述至少两个候选长度值中的最大候选长度确定所述回归向量的长度。

7.根据权利要求1所述的方法，其中，所述训练数据还包括所述目标对象的真实类别标签，所述预测结果还包括对所述目标对象的预测类别标签，所述基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，包括：

基于所述预测边界信息、所述真实边界信息、所述真实类别标签和所述预测类别标签对所述初始网络模型进行训练，得到所述目标网络模型。

8.一种模型训练装置，包括：

获取模块，用于获取训练数据，所述训练数据包括样本图像，所述样本图像中包括至少一个标注GT框，一个所述GT框用于框选所述样本图像中的一个目标对象；

预测模块，用于将所述样本图像输入初始网络模型进行预测，得到预测结果，所述预测结果包括预测边界信息，其中，所述初始网络模型用于在所述样本图像中确定多个目标中心点，且所述初始网络模型还用于在所述多个目标中心点中确定每个所述GT框所对应的目标中心点，并基于所述GT框所对应的目标中心点对所述预测边界信息进行预测，所述预测边界信息包括每个所述GT框的边界与所对应的所述目标中心点的预测相对位置信息，所述GT框所对应的目标中心点包括：位于所述GT框内的目标中心点，或者，位于所述GT框外的目标中心点；

训练模块，用于基于所述预测边界信息与真实边界信息对所述初始网络模型进行训练，得到目标网络模型，所述目标网络模型为用于对图像中的目标对象进行检测的模型，所述真实边界信息包括每个所述GT框的边界与所对应的所述目标中心点的真实相对位置信息。

9.根据权利要求8所述的装置，其中，在第一GT框所框选的区域内包括至少一个目标中心点的情况下，所述初始网络模型用于将所述至少一个目标中心点确定为所述第一GT框所对应的目标中心点，所述第一GT框为所述至少一个GT框中的任意一个GT框；

在所述第一GT框所框选的区域内不包括所述目标中心点的情况下，所述初始网络模型用于在所述样本图像内确定与所述第一GT框对应的先验框，所述第一GT框位于所述先验框内，且所述先验框内包括至少一个目标中心点，所述初始网络模型还用于将所述先验框内的至少一个目标中心点确定为所述第一GT框所对应的目标中心点。

10.根据权利要求9所述的装置，其中，所述第一GT框为矩形框，所述先验框为以所述第一GT框的中心点为中心、并以目标长度为边长确定的方形框，且所述第一GT框的四边分别与所述先验框的四边平行。

11.根据权利要求8所述的装置，其中，所述训练数据为预设训练集中训练数据，所述训练数据集包括至少两个不同的训练数据，所述装置还包括：

确定模块，用于基于所述预设训练集中，各个训练数据中的GT框的边长确定回归范围，其中，所述回归范围中的最小值小于0，所述回归范围中的最大值基于所述目标边长确定，其中，所述目标边长为：所述至少两个不同的训练数据对应的所有GT框的各边界边长中最长的边界边长；

其中，所述初始网络模型用于基于所述GT框所对应的目标中心点，在所述回归范围内预测得到所述预测边界信息，所述预测边界信息包括与所述GT框中的每条边界对应的一维的回归向量，所述回归向量的起点为所述目标中心点，所述回归向量的方向垂直于所对应的边界，且所述回归向量的长度位于所述回归范围内。

12.根据权利要求11所述的装置，其中，所述回归范围包括多个回归距离，所述初始网络模型预测所述GT框中目标边界所对应的目标回归向量包括：预测与所述多个回归距离一一对应的多个概率值，基于所述多个概率值和所述多个回归距离计算得到所述目标回归向量的长度；

其中，所述目标边界为所述GT框中的任意一条边界，所述概率值用于表征所述目标回归向量的长度为所述概率值所对应的回归距离的概率。

13.根据权利要求11所述的装置，其中，所述初始网络模型包括用于基于所述样本图像生成至少两个不同尺寸的特征图，所述特征图为对所述样本图像按照预设比例进行缩小之后得到的特征图，且所述两个不同尺寸的特征图与至少不两个不同的所述预设比例一一对应；所述确定模块，具体用于基于所述至少不两个不同的所述预设比例对所述目标边长进行缩小，得到至少两个候选长度值，所述至少两个候选长度值与所述至少不两个不同的所述预设比例一一对应；

所述确定模块，具体还用于基于所述至少两个候选长度值中的最大候选长度确定所述回归向量的长度。

14.根据权利要求8所述的装置，其中，所述训练数据还包括所述目标对象的真实类别标签，所述预测结果还包括对所述目标对象的预测类别标签，所述训练模块，具体用于基于所述预测边界信息、所述真实边界信息、所述真实类别标签和所述预测类别标签对所述初始网络模型进行训练，得到所述目标网络模型。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的模型训练方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的模型训练方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的模型训练方法。

Images