CN112241705A - 基于分类回归的目标检测模型训练方法和目标检测方法 - Google Patents

Abstract

本申请涉及人工智能中的模型构建领域，具体涉及一种基于分类回归的目标检测模型训练方法和目标检测方法。通过将目标检测模型中的回归器和分类器分开训练，模型训练数据先对目标检测中的特征提取器以及回归器进行训练，而后通过所得的回归检测子模型以及均衡采样的方法来得到用于训练分类器的分类训练数据，从而保证分类器训练过程中的类别平衡，能得到回归部分和分类部分都表现优秀的目标检测模型，同时由于回归部分和分类部分是基于模型训练数据分步训练而得的，并不需要额外增加新样本，从而能有效降低目标检测模型的调试难度。

Description

基于分类回归的目标检测模型训练方法和目标检测方法

技术领域

本申请涉及人工智能，提供一种基于分类回归的目标检测模型训练方法和目标检测方法。

背景技术

随着计算机视觉技术的发展，出现了目标检测技术。目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。然而在目标检测场景中，类别不平衡是一个十分普遍且突出的问题，严重影响检测器的分类性能。以车辆检测为例，假设将车辆分为小汽车、公交车(包含客车)、卡车共三类，密集场景下，小汽车与另外两种车辆的数量比例可以达到10:1，甚至20:1，这是非常严重的不平衡。

目前处理目标检测中类别不平衡的方法主要通过人工生成更多的数据来平衡多样本类别和少样本类别，然而这种方法收益不是太明显，而且在检测模型的训练过程中调试难度较大。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效降低模型调试难度的基于分类回归的目标检测模型训练方法和目标检测方法。

一种基于分类回归的目标检测模型训练方法，所述方法包括：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

根据所述回归检测子模型以及所述分类子模型构建目标检测模型。

在其中一个实施例中，所述通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据包括：

通过所述回归检测子模型获取所述模型训练数据对应的特征图，以及特征图内的正样本区域；

根据所述正样本区域内检测目标的类别，对所述模型训练数据进行均衡采样，获得分类训练数据。

在其中一个实施例中，所述获取模型训练数据包括：

获取历史图片以及历史图片对应的类别信息，所述历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；

根据所述历史图片对应的类别信息为所述历史图片添加目标类型标记，获取模型训练数据。

在其中一个实施例中，所述为所述历史图片添加目标类型标记，获取模型训练数据之前，还包括：

获取模型分辨率需求；

根据所述模型分辨率需求对所述历史图片进行数据清洗；

所述为所述历史图片添加目标类型标记，获取模型训练数据包括：

根据数据清洗后的历史图片对应的类别信息为所述数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

在其中一个实施例中，所述根据所述回归检测子模型以及所述分类子模型构建目标检测模型之后，还包括：

获取带标记的模型验证数据，将所述模型验证数据输入所述目标检测模型，获取模型验证数据对应的目标检测结果；

根据所述模型验证数据对应的数据标记以及所述模型验证数据对应的目标检测结果，获取所述目标检测模型的检测准确率；

当所述目标检测模型的检测准确率大于预设准确率阈值时，判定所述目标检测模型通过验证。

在其中一个实施例中，所述根据所述模型验证数据对应的数据标记以及所述模型验证数据对应的目标检测结果，获取所述目标检测模型的检测准确率之后，还包括：

当所述目标检测模型的检测准确率小于或等于所述预设准确率阈值时；

通过所述带标记的模型验证数据分别对所述目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；

根据所述子模型验证结果对目标检测模型进行数据所述目标检测模型进行数据更新，返回将所述模型验证数据输入所述目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

一种目标检测方法，所述方法包括：

获取待检测图像数据；

将所述待检测图像数据输入上述的目标检测模型中，获取目标检测结果。

一种基于分类回归的目标检测模型训练装置，所述装置包括：

数据获取模块，用于获取模型训练数据以及初始目标检测模型；

第一模型训练模块，用于通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

均衡采样模块，用于通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

第二模型训练模块，用于根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

模型构建模块，用于根据所述回归检测子模型以及所述分类子模型构建目标检测模型。

在其中一个实施例中，所述均衡采样模块具体用于：

通过所述回归检测子模型获取所述模型训练数据对应的特征图，以及特征图内的正样本区域；

根据所述正样本区域内检测目标的类别，对所述模型训练数据进行均衡采样，获得分类训练数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

根据所述回归检测子模型以及所述分类子模型构建目标检测模型。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

根据回归检测子模型以及分类子模型构建目标检测模型。

上述基于分类回归的目标检测模型训练方法、装置、计算机设备、存储介质和目标检测方法中，通过获取模型训练数据以及初始目标检测模型；通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据；根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；根据回归检测子模型以及分类子模型构建目标检测模型。本申请通过将目标检测模型中的回归器和分类器分开训练，模型训练数据先对目标检测中的特征提取器以及回归器进行训练，而后通过所得的回归检测子模型以及均衡采样的方法来得到用于训练分类器的分类训练数据，从而保证分类器训练过程中的类别平衡，能得到回归部分和分类部分都表现优秀的目标检测模型，同时由于回归部分和分类部分是基于模型训练数据分步训练而得的，并不需要额外增加新样本，从而能有效降低目标检测模型的调试难度。

附图说明

图1为一个实施例中基于分类回归的目标检测模型训练方法的应用场景图；

图2为一个实施例中基于分类回归的目标检测模型训练方法的流程示意图；

图3为一个实施例中基于分类回归的目标检测模型训练方法训练过程与现有的目标检测模型训练方法训练过程的对比示意图；

图4为一个实施例中图2中步骤205的子流程示意图；

图5为一个实施例中获取模型训练数据步骤的流程示意图；

图6为一个实施例中对目标检测模型进行验证步骤的流程示意图；

图7为一个实施例中基于分类回归的目标检测模型训练装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于分类回归的目标检测模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与模型训练服务器104通过网络进行通信。当模型训练人员需要对获取对某些特定目标进行检测的目标检测模型时，可以通过终端102向模型训练服务器104提交相应的模型训练数据以及初始目标检测模型，来构建目标检测模型。具体地，用户可以通过终端102发送模型训练数据以及初始目标检测模型至模型训练服务器104。模型训练服务器104获取模型训练数据以及初始目标检测模型；通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据；根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；根据回归检测子模型以及分类子模型构建目标检测模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于分类回归的目标检测模型训练方法，以该方法应用于图1中的模型训练服务器104为例进行说明，包括以下步骤：

步骤201，获取模型训练数据以及初始目标检测模型。

其中，其中模型训练数据是指用于对模型进行训练所用的数据，具体可以将若干的图片作为模型训练数据，而这些图片内包含各类待检测目标。在模型训练之前，需要对模型训练数据中的目标添加对应的标签。而初始目标检测模型是指未经训练的初始化模型，可以通过对初始目标检测模型进行训练来获得对图像进行目标检测的目标检测模型，目标检测模型具体包括特征提取器、回归器以及分类器三部分，其中特征提取器用于提取图像的特征，而回归器用于确定检测目标在图像中的位置，分类器用于确定检测到的目标所属的类别。

具体地，在进行一次目标检测模型训练时，工作人员需要先通过终端将模型训练数据以及初始目标检测模型输入到模型训练服务器104中，在另一个实施例中，初始目标检测模型被预存于模型训练服务器104，而工作人员只需要输入模型训练数据就可以开始一次目标检测模型的训练进程。

步骤203，通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型。

其中，与传统的目标检测模型训练方法类似，本申请中目标检测模型的回归器和分类器同样需要共享特征提取网络，但是区别的是，得到特征图之后，两者就要经过不同的卷积模块，即拥有不同的参数，从而将用于检测的回归检测子模块和用于分类的分类子模块分开训练。

具体地，在得到模型训练数据以及初始目标检测模型之后，可以通过模型训练数据对初始目标检测模型中的特征提取器进行训练，即通过特征提取器提取出模型特征数据中的特征图。同时，在得到特征图后，还需要将特征图通过卷积模块，而后由回归器确定检测目标在图像中的具体位置。通过模型训练先对初始目标检测网络中的特征提取器以及回归器进行训练，所得到的对应输出结果为模型数据对应的特征图，以及各检测目标在模型训练数据内的位置。而训练完成的模型则为结合了特征提取功能以及回归检测功能的回归检测子模型。

步骤205，通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据。

其中均衡采样具体是指基于回归检测子模型中检测结果对各类型的检测目标进行采样。而均衡采样的结果具体是指通过均衡采样后的特征图数据，采样后的各种类型的检测目标数量保持平衡。

具体地，由于本申请中目标检测方法的检测目标包含多种类型，而分类具体是指确定回归器所检测到的目标所处区域的所属类型，但是由于在训练样本内，不同类型的检测目标，其对应的数量往往都是不同的，为了提高分类器的分类准确率，需要先确定检测目标所处区域内检测目标的类别，而后基于检测目标的类别来进行均衡采样，保证采样结果的特征图内每种类型的检测目标是相等的。此处的相等具体是指进行分类器训练过程中所有样本中，各类型的检测目标数量保持整体均衡。从而保证在了目标检测模型训练的过程中，各类型的训练数据保持平衡，提高目标检测模型的分类性能。

步骤207，根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型。

步骤209，根据回归检测子模型以及分类子模型构建目标检测模型。

具体地，在本申请中，通过将回归器与分类器分离进行分别训练，首先对特征检测器以及回归器进行训练，从而通过训练完成的回归检测模型从模型训练数据中提取到相应的特征图以及检测目标的位置，而后通过提取模型训练数据中的特征图，并对其进行均衡采样，可以确保在分类训练的过程中，各种类型下的样本数据保持平衡，并在分类训练的过程中还需要保证特征提取器以及回归器内的模型参数保持不变。从而减少因训练样本不均衡导致的目标检测过程中检测准确率不均衡的问题，从而提高目标检测准确率。

具体地，图3中图a的左图为现有的目标检测模型训练过程描述，在进行特征提取后，通过统一的卷积模块来同时完成对回归器以及分类器的训练，它们是在一起训练的，这也是产生类别不平衡的主要原因。而图3中图a的右图为本申请提出的模型训练示意图，和传统方式一样，本方法回归模块和分类模型同时是共享特征提取网络，但是不同的是，得到特征图之后，两者就要经过不同的卷积模块，即拥有不同的参数，这样设计是为了对检测模块和分类模块分开训练。在训练过程中，首先可以如图3中图b左侧所示训练回归器：将所有类别统一归为一类，训练回归器到收敛，此时的模型具有了区分前景和背景的能力，但是不训练分类器，而是如图3中图b右侧所示，通过回归器对原始图像提取特征图，根据回归器的输出，提取特征图上对应的正样本区域，并对这些正样本进行均衡采样，作为分类器的训练数据，训练分类器的卷积模块和分类头部分，直到收敛。此时得到的模型就可以达到很好的分类性能，而与原始模型的区别是将原来连接在一起的参数分成了两部分，由于二者共享特征提取器，因此并没有过多增加计算量，同时由于通过均衡采样保证了分类器训练过程中的类别均衡，从而提高了目标检测的准确率，降低了调试的难度。

上述基于分类回归的目标检测模型训练方法，通过获取模型训练数据以及初始目标检测模型；通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据；根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；根据回归检测子模型以及分类子模型构建目标检测模型。本申请通过将目标检测模型中的回归器和分类器分开训练，模型训练数据先对目标检测中的特征提取器以及回归器进行训练，而后通过所得的回归检测子模型以及均衡采样的方法来得到用于训练分类器的分类训练数据，从而保证分类器训练过程中的类别平衡，能得到回归部分和分类部分都表现优秀的目标检测模型，同时由于回归部分和分类部分是基于模型训练数据分步训练而得的，并不需要额外增加新样本，从而能有效降低目标检测模型的调试难度。

在其中一个实施例中，如图4所示，步骤205包括：

步骤401，通过回归检测子模型获取模型训练数据对应的特征图，以及特征图内的正样本区域；

步骤403，根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。

其中，正样本是指检测到检测目标的区域，而样本区域具体是指检测目标所处区域。

具体地，通过回归检测子模型可以提取出模型训练数据中的特征图，同时确定特征图内的正样本区域，而后根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。而确定正样本区域内检测目标的类别具体可以通过预先对模型训练数据进行标注来确定，当得到正样本区域，基于正样本区域对应的标注，确定其对应检测目标的类别，而后基于正样本区域以及正样本区域内检测目标的类别，对其进行均衡采样，来获得分类训练数据。本实施例中，通过对正样本区域进行均衡采样，可以有效保证对分类器进行训练的训练数据中，各种类型的检测目标数量保持均衡，从而提高目标检测模型用来进行目标检测的准确率。

在其中一个实施例中，如图5所示，步骤201之前，还包括：

步骤502，获取历史图片以及历史图片对应的类别信息，历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；

步骤504，根据历史图片对应的类别信息为历史图片添加目标类型标记，获取模型训练数据。

其中，历史图片具体包括了包含检测目标的历史图片以及不包含检测目标的历史图片，用于训练目标检测模型确定图片是否包含检测目标的能力。历史图片对应的类别信息具体是指历史图片的类别，如历史图片内是否包含检测目标，历史图片内所包含的检测目标的类型以及数量等。而为历史图片添加目标类型标记具体是指，根据包含检测目标的历史图片内检测目标的类型，为其添加相应的目标类型标记，而对于不包含检测目标的历史图片，可以为其添加目标类型为“无”的类型标记。而添加标记的过程具体可以是人为的将历史图片进行分类，而后依照分类的类别将历史图片分别导入目标检测服务器104，由目标检测服务器104按照分类来依次添加目标类型标记。

具体地，目标检测服务器104还可以自动生成模型训练数据。具体地，用户可以输入若干的历史图片，并制定检测的目标，同时为历史图片添加相应的检测目标标注。而历史图片的来源具体包括，若用于对随机场景内的目标进行检测，则可以使用随机场景内的图像，而用于对固定场景内的目标进行检测，则需要使用固定场景对应的图像。其中，标注具体是指根据历史图片中是否包含检测目标，同时根据图片中检测目标所处位置以及检测目标的类型来对历史图片进行标注。本实施例中，通过预先获取历史图片，并对历史图片进行标注，可以有效保证所得模型训练数据的有效性，从而提高目标检测的成功率。

在其中一个实施例中，步骤504之前，还包括：获取模型分辨率需求；根据模型分辨率需求对历史图片进行数据清洗。步骤504包括：根据数据清洗后的历史图片对应的类别信息为数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

具体地，目标检测服务器104在获得这些包含待检测目标以及不包含待检测目标的若干历史图片，还需要对这些历史图片进行清洗过滤。因为目标检测的成功率与图像的分辨率有关。为了保证所得目标检测模型的检测成功率，可以去除其中分辨率或者清晰度等不符合要求的图片。而后对清洗完成的历史图片进行标注，得到模型训练数据。本实施例中，通过对历史图片进行数据清洗，可以进一步地保证所得模型训练数据的有效性，从而提高目标检测的成功率。

在其中一个实施例中，如图6所示，步骤209之后，还包括：

步骤601，获取带标记的模型验证数据，将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果。

步骤603，根据模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果，获取目标检测模型的检测准确率。

步骤605，当目标检测模型的检测准确率大于预设准确率阈值时，判定目标检测模型通过验证。

其中，模型验证数据可以视为模型训练数据的一部分，可以在模型训练开始前将用于训练的数据以7比3的比例将其分为训练集以及验证集，训练集作为模型训练数据用于对模型的训练，而验证集则作为模型验证数据来完成对模型的验证。而预设准确率阈值可以根据实际的检测需求进行设置。

具体地，在得到目标检测模型之后，还需要对得到的目标检测模型进行进一步地调试，以保证目标检测的准确性，具体地，可以通过带标记的模型验证数据来完成对目标检测模型的验证工作。具体地，将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果，通过将模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果进行对比，判断各个模型验证数据对应的目标检测结果是否准确。当检测准确率大于准确率阈值时，可以判定目标检测模型通过验证。在其中一个实施例中，还可以根据检测目标的类型对模型验证数据进行分组，只有在所有组的检测准确率都大于预设准确率阈值时，模型训练服务器104才会判定目标检测模型通过验证。在本实施例中，通过模型验证数据来对所得到的目标检测模型进行验证，保证输出的目标检测模型的检测准确性得到有效保证。

在其中一个实施例中，步骤603之后，还包括：当目标检测模型的检测准确率小于或等于预设准确率阈值时；通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；根据子模型验证结果对目标检测模型进行数据更新，返回将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

具体地，当目标检测模型未通过验证时，需要通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，从而定位出是特征提取以及回归过程的回归检测子模型存在问题，还是对检测目标分类过程的分类子模型存在问题，当得到子模型验证结果后；根据子模型验证结果对目标检测模型进行数据更新后，即可返回到将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤，来对更新后的目标检测模型进行重新验证。本实施例中，通过分步地对验证未通过的目标检测模型中的回归检测子模型以及分类子模型进行验证，从而更准确地定位到模型是哪部分出错，从而有效提高模型调试过程的效率，综合提高目标检测模型的训练效率。

在其中一个实施例中，本申请还提供了一种目标检测方法，方法包括：获取待检测图像数据；将待检测图像数据输入上述实施例中的目标检测模型，获取目标检测结果。

具体地，当得到目标检测模型后，模型训练服务器104还可以基于目标检测模型来实现目标检测。用户可以通过终端102提交待检测图像数据至模型训练服务器104，而后模型训练服务器104将接收到的待检测图像数据输入目标检测模型，通过目标检测模型获得待检测图像数据对应的目标检测结果。本申请的目标检测模型对于各类型的检测目标都能进行有效地检测。

此外，本申请还另外提供一种应用场景，该应用场景应用上述的基于分类回归的目标检测模型训练方法。具体地，该基于分类回归的目标检测模型训练方法在该应用场景的应用如下：当需要在指定的道路出口处检测车流量以及车流量中各种类型车辆的数量，此时可以通过本申请的基于分类回归的目标检测模型来训练得到车辆检测模型，而后通过车辆检测模型来进行车流量以及各类型车辆(包括大型车、中型车以及小型车等)的检测。具体地，用户需要先准备用于车辆检测模型的训练数据以及初始目标检测模型。其中，模型训练数据可以是在指定的道路出口处采集的历史图片，而后通过对其添加是否包含车辆，车辆的数量以及车辆类型。而后通过带标记模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；通过回归检测子模型获取模型训练数据对应的特征图，以及特征图内的正样本区域；根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；根据回归检测子模型以及分类子模型，构建目标检测模型。同时还需要对训练完成的模型进行验证，可以获取带标记的模型验证数据；将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果；根据模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果，获取目标检测模型的检测准确率；当目标检测模型的检测准确率大于预设准确率阈值时，判定目标检测模型通过验证。当目标检测模型的检测准确率小于或等于预设准确率阈值时；通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；根据子模型验证结果对目标检测模型进行数据更新，返回将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种基于分类回归的目标检测模型训练装置，包括：

数据获取模块702，用于获取模型训练数据以及初始目标检测模型。

第一模型训练模块704，用于通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型。

均衡采样模块706，用于通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据。

第二模型训练模块708，用于根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型。

模型构建模块710，用于根据回归检测子模型以及分类子模型构建目标检测模型。

在其中一个实施例中，均衡采样模块706具体用于：通过回归检测子模型获取模型训练数据对应的特征图，以及特征图内的正样本区域；根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。

在其中一个实施例中，还包括训练数据构建模块，用于：获取历史图片以及历史图片对应的类别信息，历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；根据历史图片对应的类别信息为历史图片添加目标类型标记，获取模型训练数据。

在其中一个实施例中，训练数据构建模块还用于：获取模型分辨率需求；根据模型分辨率需求对历史图片进行数据清洗；根据数据清洗后的历史图片对应的类别信息为数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

在其中一个实施例中，还包括模型验证模块，用于：获取带标记的模型验证数据，将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果；根据模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果，获取目标检测模型的检测准确率；当目标检测模型的检测准确率大于预设准确率阈值时，判定目标检测模型通过验证。

在其中一个实施例中，模型验证模块还用于：当目标检测模型的检测准确率小于或等于预设准确率阈值时；通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；根据子模型验证结果对目标检测模型进行数据更新，返回将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

在其中一个实施例中，本申请还提供了一种目标检测装置，装置具体用于：获取待检测图像数据；将待检测图像数据输入上述目标检测模型训练装置中的目标检测模型，获取目标检测结果。

关于基于分类回归的目标检测模型训练装置的具体限定可以参见上文中对于基于分类回归的目标检测模型训练方法的限定，在此不再赘述。上述基于分类回归的目标检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于分类回归的目标检测模型训练数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于分类回归的目标检测模型训练方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据；

根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；

根据回归检测子模型以及分类子模型构建目标检测模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过回归检测子模型获取模型训练数据对应的特征图，以及特征图内的正样本区域；根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取历史图片以及历史图片对应的类别信息，历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；根据历史图片对应的类别信息为历史图片添加目标类型标记，获取模型训练数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据数据清洗后的历史图片对应的类别信息为数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取带标记的模型验证数据，将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果；根据模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果，获取目标检测模型的检测准确率；当目标检测模型的检测准确率大于预设准确率阈值时，判定目标检测模型通过验证。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当目标检测模型的检测准确率小于或等于预设准确率阈值时；通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；根据子模型验证结果对目标检测模型进行数据更新，返回将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过回归检测子模型对模型训练数据进行均衡采样，获得分类训练数据；

根据分类训练数据对初始目标检测模型中的分类器进行训练，获取分类子模型；

根据回归检测子模型以及分类子模型构建目标检测模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过回归检测子模型获取模型训练数据对应的特征图，以及特征图内的正样本区域；根据正样本区域内检测目标的类别，对模型训练数据进行均衡采样，获得分类训练数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取历史图片以及历史图片对应的类别信息，历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；根据历史图片对应的类别信息为历史图片添加目标类型标记，获取模型训练数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据数据清洗后的历史图片对应的类别信息为数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取带标记的模型验证数据，将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果；根据模型验证数据对应的数据标记以及模型验证数据对应的目标检测结果，获取目标检测模型的检测准确率；当目标检测模型的检测准确率大于预设准确率阈值时，判定目标检测模型通过验证。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当目标检测模型的检测准确率小于或等于预设准确率阈值时；通过带标记的模型验证数据分别对目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；根据子模型验证结果对目标检测模型进行数据更新，返回将模型验证数据输入目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分类回归的目标检测模型训练方法，所述方法包括：

获取模型训练数据以及初始目标检测模型；

通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

根据所述回归检测子模型以及所述分类子模型，构建目标检测模型。

2.根据权利要求1所述的方法，其特征在于，所述通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据包括：

通过所述回归检测子模型获取所述模型训练数据对应的特征图，以及特征图内的正样本区域；

根据所述正样本区域内检测目标的类别，对所述模型训练数据进行均衡采样，获得分类训练数据。

3.根据权利要求1所述的方法，其特征在于，所述获取模型训练数据包括：

获取历史图片以及历史图片对应的类别信息，所述历史图片包括包含检测目标的历史图片以及不包含检测目标的历史图片；

根据所述历史图片对应的类别信息为所述历史图片添加目标类型标记，获取模型训练数据。

4.根据权利要求3所述的方法，其特征在于，所述为所述历史图片添加目标类型标记，获取模型训练数据之前，还包括：

获取模型分辨率需求；

根据所述模型分辨率需求对所述历史图片进行数据清洗；

所述为所述历史图片添加目标类型标记，获取模型训练数据包括：

根据数据清洗后的历史图片对应的类别信息为所述数据清洗后的历史图片添加目标类型标记，获取模型训练数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述回归检测子模型以及所述分类子模型构建目标检测模型之后，还包括：

获取带标记的模型验证数据；

将所述模型验证数据输入所述目标检测模型，获取模型验证数据对应的目标检测结果；

根据所述模型验证数据对应的数据标记以及所述模型验证数据对应的目标检测结果，获取所述目标检测模型的检测准确率；

当所述目标检测模型的检测准确率大于预设准确率阈值时，判定所述目标检测模型通过验证。

6.根据权利要求5所述的方法，其特征在于，所述根据所述模型验证数据对应的数据标记以及所述模型验证数据对应的目标检测结果，获取所述目标检测模型的检测准确率之后，还包括：

当所述目标检测模型的检测准确率小于或等于所述预设准确率阈值时；

通过所述带标记的模型验证数据分别对所述目标检测模型中的回归检测子模型以及分类子模型进行验证，获取子模型验证结果；

根据所述子模型验证结果对所述目标检测模型进行数据更新，返回所述将所述模型验证数据输入所述目标检测模型，获取模型验证数据对应的目标检测结果的步骤。

7.一种目标检测方法，其特征在于，所述方法包括：

获取待检测图像数据；

将所述待检测图像数据输入如权利要求1至6所述的目标检测模型中，获取目标检测结果。

8.一种基于分类回归的目标检测模型训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取模型训练数据以及初始目标检测模型；

第一模型训练模块，用于通过模型训练数据对所述初始目标检测模型中的特征提取器以及回归器进行训练，获取回归检测子模型；

均衡采样模块，用于通过所述回归检测子模型对所述模型训练数据进行均衡采样，获得分类训练数据；

第二模型训练模块，用于根据所述分类训练数据对所述初始目标检测模型中的分类器进行训练，获取分类子模型；

模型构建模块，用于根据所述回归检测子模型以及所述分类子模型构建目标检测模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images