CN113807407A - 目标检测模型训练方法、模型性能检测方法及装置 - Google Patents

Abstract

本发明公开了一种目标检测模型训练方法，其通过深度强化学习网络实现对区域的对焦，生成目标更容易检测的最优区域，并用所述最优区域生成训练效果更好的混合训练样本，以通过所述混合训练样本训练目标检测模型，其能够使得不同的目标对象能够自适应调整到目标检测模型容易学习的尺度来进行训练，提升了目标检测模型的检测性能。相应地，本发明还提供一种目标检测模型装置、目标检测模型性能检测方法及装置。

Description

目标检测模型训练方法、模型性能检测方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种目标检测模型训练方法、模型性能检测方法及装置。

背景技术

在深度学习时代，目标检测可以分为两类，单阶段目标检测和两阶段目标检测。

单阶段目标检测算法是直接对预定义的锚框进行分类，并通过检测头进一步细化回归它们，而无需生成建议区域。单阶段目标检测算法中，EfficientDet设计了一种加权双向特征金字塔网络，实现了简单快速的多尺度特征融合。EfficientDet还提出了一种复合缩放方法，该方法在统一的位置和分类框架内均匀缩放分辨率、深度和宽度。

两阶段目标检测算法通常首先生成一组区域建议，然后通过卷积神经网络对其进行细化。例如，faster R-CNN是用共享同一特征图并生成一系列目标锚框的区域建议网络设计的。

但是，本发明人在实施上述技术的过程中发现，无论是单阶段目标检测算法还是两阶段目标检测算法，均不能将不同目标对象自适应调整到检测器容易学习的尺度来进行训练。

发明内容

本发明提供一种目标检测模型的训练方法、模型性能检测方法及装置，以解决现有的目标检测算法不能自适应调整目标区域尺度的技术问题。

本发明第一方面提供一种目标检测模型的训练方法，包括：

对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

基于所述最优区域和所述训练图片集，得到混合训练样本；

采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

作为上述方案的改进，所述将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域，具体包括：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

作为上述方案的改进，所述对含有目标标注框的第一类训练图片上的所有目标标注框进行聚类，得到训练图片的多个初始区域，具体包括：

对第一类训练图片的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

作为上述方案的改进，所述基于所述最优区域和所述训练图片集，得到混合训练样本，具体包括：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

本发明第二方面相应提供一种目标检测模型训练装置，包括：

初始区域获取模块，用于对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

最优区域获取模块，用于将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

混合训练样本获取模块，用于基于所述最优区域和所述训练图片集，得到混合训练样本；

目标检测模型训练模块，用于采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

作为上述方案的改进，所述最优区域获取模块，具体用于：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

作为上述方案的改进，所述初始区域获取模块，具体用于：

对第一训练图片的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

作为上述方案的改进，所述混合训练样本获取模块，具体用于：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

本发明第三方面提供一种目标检测模型性能检测方法，包括上述提供的目标检测模型的训练方法，和对模型性能检测方法，所述对模型性能检测方法包括：

采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

本发明第四方面提供一种目标检测模型性能检测装置，包括：

模型训练模块，用于对每一训练图片标注的所有目标标注框进行聚类，得到每一训练图片的多个初始区域；

将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域；

基于所述最优区域和所述训练图片集，得到混合训练样本；

采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型；

候选区域生成模块，用于采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

最终区域获取模块，用于采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

验证子图获取模块，用于将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

原始和子图检测模块，用于采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

检测框获取模块，用于将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

性能检测模块，用于根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

与现有技术相比，本发明的有益效果如下：

本发明提供的目标检测模型训练方法，通过对训练图片的目标标注框聚类，得到多个初始区域，并将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域，之后，基于所述最优区域和所述训练图片集，得到混合训练样本，最后，采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型，其通过深度强化学习网络实现对区域的对焦，生成目标更容易检测的最优区域，并用所述最优区域生成训练效果更好的混合训练样本，以通过所述混合训练样本训练目标检测模型，其能够使得不同的目标对象能够自适应调整到目标检测模型容易学习的尺度来进行训练，提升了目标检测模型的检测性能。相应地，本发明还提供一种目标检测模型装置、目标检测模型性能检测方法及装置。

附图说明

图1是本发明实施例一提供的一种目标检测模型训练方法的流程示意图；

图2是本发明实施例一生成的其中一个初始区域的示意图；

图3是本发明实施例三提供的目标检测模型的性能检测过程的流程示意图；

图4是本发明实施例四提供的目标检测模型训练装置；

图5是本发明实施例五提供的目标检测模型性能检测装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，其是本发明实施例一提供的一种目标检测模型训练方法的流程示意图。

本发明实施例提供的一种目标检测模型训练方法，包括步骤S11到步骤S14：

步骤S11，对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

步骤S12，将所述初始区域输入到深度强化学习网络(DQN)进行训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

步骤S13，基于所述最优区域和所述训练图片集，得到混合训练样本；

步骤S14，采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

在本发明实施例中，训练图片集分为第一类训练图片和第二类训练图片，第一类训练图片指的是有对训练图片上的目标进行标注的图片，第二类训练图片指的是未进行目标标注的图片。特别地，本发明更加针对性地对小目标对象进行检测，由于小目标较难检测到，因此，本发明实施例首先生成小目标可能存在的区域，以实现对区域的对焦。具体的，通过对每一第一类训练图片的所有目标标注框进行聚类，即可得到多个初始区域。

具体的，参见图2，图2示出了本发明实施例一生成的其中一个初始区域的示意图，在具体实施时，通过将所有第一类训练图片生成的所有初始区域构建成列表，得到初始区域状态列表，其中，初始区域状态列表中每一个元素信息具体为：[region_name,image_name,image_w,image_h,region_x,region_y,region_w,region_h,anno_x,anno_y,anno_w,anno_h]；其中，image_w，image_h是训练图片的宽度与高度；anno_x是该初始区域目标对象中最左边点的横轴坐标；anno_y是该初始区域目标对象中最上边点的纵轴坐标；anno_w是该初始区域目标对象中最右侧点的横轴坐标与最左侧点的横轴坐标差值；anno_h是该初始区域目标对象中最下侧点的横轴坐标与最上侧点的纵轴坐标差值；region_x,region_y,region_w,region_h是anno_x,anno_y,anno_w,anno_h分别为向外延预设像素点过后的对应的值。

在本发明实施例中，通过对深度强化学习网络(DQN)进行训练并将每一区域调整为其状态最好的最优区域。具体的，深度强化学习网络的典型问题为马尔科夫决策过程(MDP)。马尔科夫决策过程包含一组状态S和动作A。深度强化学习为Agent(在本发明实施例即指初始区域)定义了环境，当Agent存在于环境中并转换到另一个状态(位置)时，我们需要估计状态V(s)(位置)-状态值函数的值。一旦知道了每个状态的值，就可以找出执行Q(S,A)-动作值函数的最佳方法，从而得到最优区域。

在本发明实施例中，由于需要将目标对象调整到目标检测器容易学习的尺度上进行训练，在完成对目标可能存在的区域的调整后而得到的最优区域后，将所述最优区域生成的子图和训练图片集作为混合训练样本输入到待训练的目标检测模型中训练，以使得目标检测器能对目标存在的区域进行对焦。示例性的，在本发明实施例中，待训练的目标检测模型为一阶段目标检测器。

本发明提供的目标检测模型训练方法，通过对第一类训练图片的目标标注框聚类，得到多个初始区域，并将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域，之后，基于所述最优区域和所述训练图片集，得到混合训练样本，最后，采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型，其通过深度强化学习网络实现对区域的对焦，生成目标更容易检测的最优区域，并用所述最优区域生成训练效果更好的混合训练样本，以通过所述混合训练样本训练目标检测模型，其能够使得不同的目标对象能够自适应调整到目标检测模型容易学习的尺度来进行训练，提升了目标检测模型的检测性能。

在一种实施方式中，所述步骤S11“对第一类训练图片标注的所有目标标注框进行聚类，得到多个初始区域”，具体包括：

对第一类训练图片的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

在一种实施方式中，所述步骤S12“将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域”，具体包括：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

在本发明实施例中，采用初始区域对深度强化学习网络训练，具体的，每次训练从聚类得到的所有初始区域中取batch_size个初始区域作为训练样本，并通过初始区域生成第一子图对第一子图进行评测，得到评测结果，该评测结果与下一次区域调整后得到的评测结果的差值作为奖励，以根据奖励对初始区域进行调整。

示例性的，本发明实施例的区域调整操作包括增大坐标region_x、减小坐标region_x、增大坐标region_y、减小坐标region_y、增大宽度region_w、减小宽度region_w、增大高度region_h、减小高度region_h及保存状态不变。通过将初始区域项作为状态S，区域调整操作作为动作索引A和奖励reward一起存入DQN的记忆库中，DQN网络根据reward进行学习，重复多次直到满足迭代条件，生成初始区域在调整过程中评测结果最好的一个状态，得到最优区域存储起来。具体的，所述迭代条件指的是达到预设的次数。

在一种实施方式中，所述步骤S13“基于所述最优区域和所述训练图片集，得到混合训练样本”，具体包括：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

具体的，所述预设重叠面积可以为目标标注框的1/3，偏移的所述预设距离通过以下方式计算：将第二子图的子目标标注框的左上角坐标减去第二子图左上角位置的坐标，得到子目标标注框需要偏移的距离。

上述实施例一提供的目标检测模型训练方法仅是对目标检测模型进行训练，在获得训练后的目标检测模型后，为了检测模型的训练效果，有必要对目标检测模型的检测性能进行检测，为此，本发明实施例二提供的一种目标检测模型性能检测方法，所述方法包括：

在上述实施例一提供的步骤S11到步骤S14之后，还包括目标检测模型的性能检测过程，具体的，图3示出了目标检测模型的性能检测过程的流程示意图，包括：

步骤S21，采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

步骤S22，采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

步骤S23，将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

步骤S24，采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

步骤S25，将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

步骤S26，根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

具体的，所述步骤S21中可以针对验证图片的目标进行训练得到区域生成网络，从而得到目标对象的目标推荐图(即目标的检测结果)。

具体的，在所述步骤S22中，通过将候选区域输入到实施例一中训练后的深度强化学习网络中，即可输出8个Q值(分别对应增大坐标region_x，减小坐标region_x，增大坐标region_y，减小坐标region_y，增大宽度region_w，减小宽度region_w，增大高度region_h，减小高度region_h)，取最大Q值对应的一个操作，对区域状态进行调整，共计调整若干次，得到最终区域。

示例性的，在所述步骤S25中，由于验证子图是从原始的验证图片中裁剪出来的，且子图检测框的坐标是相对于验证子图的，其与原始的验证图片的原始检测框的坐标的参考坐标系不同，因此，需要将验证子图偏移回原始的验证图片，具体可以将子图检测框的坐标加上验证子图在原始的验证图片上的相对位置，之后将其合并到原始检测框。

特别的，当将子图检测框偏移回原始检测框时，可以在距离边界的不同距离的检测的目标分数给定不同的权重。具体的，当子图检测框靠近边界第一预设像素(例如10)以内，检测分数乘以第一比例(例如0.5)；当子图检测框靠近边界为大于第一预设像素小于第二预设像素(例如10-16)，检测分数乘以第一比例(例如0.8)；其余的保持不变，然后偏移回原始图片。

在本发明实施例中，通过将子图检测框偏移后合并回原始检测框，并进行极大值抑制，能够在几乎不影响目标检测模型的速度的同时，明显提高目标检测模型的精度。

参见图4，图4是本发明实施例三提供的目标检测模型训练装置的结构框图。本发明实施例三提供的目标检测模型训练装置1，其用于执行上述实施例一提供的目标检测模型训练方法的全部流程和步骤，包括：

初始区域获取模块11，用于对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

最优区域获取模块12，用于将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

混合训练样本获取模块13，用于基于所述最优区域和所述训练图片集，得到混合训练样本；

目标检测模型训练模块14，用于采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

在一种实施方式中，所述初始区域获取模块11，具体用于：

对第一类训练图片的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

在一种实施方式中，所述最优区域获取模块12，具体用于：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

在一种可选的实施方式中，所述混合训练样本获取模块13，具体用于：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

参见图5，图5是本发明实施例四提供的一种目标检测模型性能检测装置的结构框图。本发明实施例四提供的一种目标检测模型性能检测装置2，包括：

模型训练模块21，用于对每一训练图片标注的所有目标标注框进行聚类，得到每一训练图片的多个初始区域；

将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域；

基于所述最优区域和所述训练图片集，得到混合训练样本；

采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型；

候选区域生成模块22，用于采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

最终区域获取模块23，用于采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

验证子图获取模块24，用于将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

原始和子图检测模块25，用于采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

检测框获取模块26，用于将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

性能检测模块27，用于根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

所述目标检测模型训练装置/目标检测模型的性能检测装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述目标检测模型训练装置/目标检测模型的性能检测装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是目标检测模型训练装置/目标检测模型的性能检测装置的示例，并不构成对目标检测模型训练装置/目标检测模型的性能检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述目标检测模型训练装置/目标检测模型的性能检测装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述目标检测模型训练装置/目标检测模型的性能检测装置的控制中心，利用各种接口和线路连接整个所述目标检测模型训练装置/目标检测模型的性能检测装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述目标检测模型训练装置/目标检测模型的性能检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述目标检测模型训练装置/目标检测模型的性能检测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种目标检测模型训练方法，其特征在于，包括：

对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

基于所述最优区域和所述训练图片集，得到混合训练样本；

采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

2.如权利要求1所述的目标检测模型训练方法，其特征在于，所述将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域，具体包括：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

3.如权利要求1所述的目标检测模型训练方法，其特征在于，所述对含有目标标注框的第一类训练图片上的所有目标标注框进行聚类，得到训练图片的多个初始区域，具体包括：

对含有目标标注框的第一类训练图片上的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

4.如权利要求1所述的目标检测模型训练方法，其特征在于，所述基于所述最优区域和所述训练图片集，得到混合训练样本，具体包括：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

5.一种目标检测模型训练装置，其特征在于，包括：

初始区域获取模块，用于对训练图片集中第一类训练图片上的所有目标标注框进行聚类，得到多个初始区域；其中，所述训练图片集中包含第一类训练图片和第二类训练图片，所述第一类训练图片标注有目标标注框；

最优区域获取模块，用于将所述初始区域输入到深度强化学习网络中训练并进行区域调整操作，得到每一所述初始区域调整后的最优区域；

混合训练样本获取模块，用于基于所述最优区域和所述训练图片集，得到混合训练样本；

目标检测模型训练模块，用于采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型。

6.如权利要求5所述的目标检测模型训练装置，其特征在于，所述最优区域获取模块，具体用于：

对于每一所述初始区域，将所述初始区域框选出的图片区域从对应的第一类训练图片裁剪出来，得到包含有子目标标注框的第一子图；

对所述第一子图进行目标检测，得到检测框，并根据所述检测框和所述子目标标注框的交并比，得到评测结果并保存所述评测结果；

将所述初始区域输入到深度强化学习网络中，输出预设数量的Q值，并取最大Q值对应的操作对所述初始区域进行调整，得到调整后的初始区域；其中，每一所述Q值对应于对所述初始区域的其中一种操作下的作用结果；

对每一次调整后的初始区域进行评测，得到调整后的评测结果；

将第N次的评测结果和第N-1次的评测结果的差值作为奖励参数，其中，N≥2；

利用所述奖励参数对所述目标群区域不断迭代调整，直到满足迭代条件为止，输出最优区域，并得到训练后的深度强化学习网络。

7.如权利要求5所述的目标检测模型训练装置，其特征在于，所述初始区域获取模块，具体用于：

对第一类训练图片的所有目标标注框采用K-means聚类，获得M个目标群区域，其中，M≥1；

将所述目标群区域向外扩充预设像素的距离，得到初始区域。

8.如权利要求5所述的目标检测模型训练装置，其特征在于，所述混合训练样本获取模块，具体用于：

对于每一所述最优区域，将所述最优区域框选出的图片区域从对应的第一类训练图片中裁剪出来，得到第二子图；

当检测到所述第一类训练图片的目标标注框与所述第二子图的区域重叠部分大于预设重叠面积时，将所述第一类训练图片的目标标注框的位置偏移预设距离，得到子标注框，并将所述子标注框标注到所述第二子图的标注框中，得到更新标注后的第二子图；

将所述更新标注后的第二子图、所述第一类训练图片和所述第二类训练图片作为混合训练样本。

9.一种目标检测模型性能检测方法，其特征在于，在如权利要求1至4任一项所述的目标检测模型训练方法后，还包括：

采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

10.一种目标检测模型性能检测装置，其特征在于，包括：

模型训练模块，用于对每一训练图片标注的所有目标标注框进行聚类，得到每一训练图片的多个初始区域；

将所述初始区域输入到深度强化学习网络中训练并执行区域的调整操作，得到每一所述初始区域调整后的最优区域；

基于所述最优区域和所述训练图片集，得到混合训练样本；

采用所述混合训练样本对待训练的目标检测模型训练，得到训练后的目标检测模型；

候选区域生成模块，用于采用预先训练好的区域生成网络对每一验证图片进行目标推荐，得到多个目标推荐框，并采用聚类算法将多个所述目标推荐框聚类成多个候选区域；

最终区域获取模块，用于采用训练后的深度强化学习网络对每一所述候选区域进行调整，得到每一最终区域；

验证子图获取模块，用于将所述最终区域框选出的图片区域从对应的验证图片中裁剪出来，得到验证子图；

原始和子图检测模块，用于采用训练后的目标检测模型分别检测所述验证图片和所述验证子图，得到原始检测框和子图检测框；

检测框获取模块，用于将属于同一验证图片的所有子图检测框偏移回对应的所述原始检测框后合并到对应的所述原始检测框，得到合并检测框，并用非极大值抑制对所述合并检测框处理，得到最终检测框；

性能检测模块，用于根据所述最终检测框和所述原始验证图的标注框的交并比，得到性能检测结果。

Images