CN115511776A - 一种用于小目标检测的模型训练方法、检测方法及装置 - Google Patents

Abstract

本发明提供了一种用于小目标检测的模型训练方法、检测方法、装置、可读存储介质及电子设备，该模型训练方法包括：基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；基于训练输入图像和图像分割模型，获取预测掩码图像；基于预测掩码图像对训练输入图像进行分割，获取至少一个目标分割图像；基于预设规则对至少一个目标分割图像进行再分割，确定至少一个目标分割图像分别对应的至少一组分割子图像；基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。本发明提供的技术方案通过图像分割模型和检测模型可以有效提高小目标检测的准确度。

Description

一种用于小目标检测的模型训练方法、检测方法及装置

技术领域

本发明涉及目标检测技术领域，且更具体地，涉及一种用于小目标检测的模型训练方法、检测方法及装置。

背景技术

随着神经网络和深度学习技术的发展，目标检测技术的准确率和实时性均有很大程度的提高。然而对于小目标检测而言，仍存在较大的挑战。目前，为了提高数学模型在小目标检测的准确率，常常会通过增加小目标样本数量和种类的方式，但是因小目标在样本图像中比例较少，且大多数在工业环境中拍摄的真实图像背景复杂、场景多样，如此使得即使增加小目标样本数量也难以获取到较为准确的数学模型。

发明内容

本发明提供了一种用于小目标检测的模型训练方法、检测方法、装置、可读存储介质及电子设备，以解决现有技术中难以获取到较为准确的用于小目标检测的数学模型的技术问题。

根据本发明的第一方面，提供了一种用于小目标检测的模型训练方法，包括：

基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；

基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像；

基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像；

基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

根据本发明的第二方面，提供了一种小目标检测方法，包括：

将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

根据本发明的第三方面，提供了一种用于小目标检测的模型训练装置，包括：

第一训练模块，用于基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；

图像预测模块，用于基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像；

第一分割模块，用于基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像；

第二分割模块，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

第二训练模块，用于基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

根据本发明的第四方面，提供了一种小目标检测装置，包括：

掩码预测模块，用于将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

目标分割模块，用于基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

二次分割模块，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

检测处理模块，用于基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

根据本发明的第五方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述方法。

根据本发明的第六方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的方法。

与现有技术相比，本发明提供的用于小目标检测的模型训练方法，检测方法、装置、可读存储介质及电子设备，至少包括以下有益效果：

本发明的技术方案在获取到第一训练输入图像和训练标注图像后，利用第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型，该图像分割模型以待预测图像为输入项，以预测的掩码图像为输出项，将获取到的第二训练输入图像输入到图像分割模型，即可以获取到第二训练输入图像对应的预测掩码图像，将预测掩码图像和第二训练输入图像进行对比，以对第二训练输入图像进行分割，分割出至少一个目标分割图像。利用预设规则对至少一个目标分割图像进行再分割，确定出至少一个目标分割图像分别对应的至少一组分割子图像，对于每一组分割子图像，确定出第一训练数据集和第二训练数据集，从而可以根据获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。在本发明提供的技术方案中，图像分割模型与检测模型作为一个模型组合用于对含有小目标的待检测图像进行检测，利用图像分割模型可以过滤掉大多数的噪声，使得获取的目标分割图像尽可能的聚焦于小目标所在区域，并对该区域进行进一步分割，使得在确定出的分割子图像中小目标更为显著，从而利用该模型组合可以有效的提高小目标检测的准确性，有助于降低误报率，同时保持较高的召回率。

附图说明

为了更清楚地说明本的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一示例性实施例提供的用于小目标检测的模型训练方法的流程示意图；

图2是本发明一示例性实施例提供的用于小目标检测的模型训练方法中获取目标分割图像的示意图一；

图3是本发明一示例性实施例提供的用于小目标检测的模型训练方法中获取目标分割图像的示意图二；

图4是本发明一示例性实施例提供的用于小目标检测的模型训练方法中获取分割子图像的示意图；

图5是本发明一示例性实施例提供的用于小目标检测的模型训练方法中图像分割模型的训练示意图；

图6是本发明一示例性实施例提供的用于小目标检测的模型训练方法中检测模型的检测结果示意图；

图7为本发明一示例性实施例提供的用于小目标检测的模型训练方法中铁轨图像的示意图；

图8是本发明一示例性实施例提供的用于小目标检测的模型训练方法中获取目标分割图像的示意图三；

图9是本发明一示例性实施例提供的用于小目标检测的模型训练方法中分割子图像的示意图。

图10是本发明一示例性实施例提供的小目标检测方法的流程示意图；

图11是本发明一示例性实施例提供的用于小目标检测的模型训练装置的结构示意图；

图12是本发明一示例性实施例提供的小目标检测装置的结构示意图；

图13是本发明一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将结合本中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例，都属于本实施例保护的范围。

示例性方法

第一方面，图1是本发明一示例性实施例提供的多阶段模型训练方法的流程示意图，至少包括如下步骤：

步骤101，基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型。

在一实施例中，第一训练输入图像为获取到的原始图像，该原始图像上不存在标注数据，训练标注图像为带有标注数据的掩码图像。在获取到第一训练输入图像和训练标注图像后，以训练标注图像为真实数据进行模型训练，以训练出符合预设精度的图像分割模型。

步骤102，基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像。

在一实施例中，将第二训练输入图像输入到图像分割模型，图像分割模型会对应输出预测掩码图像，预测掩码图像是第二训练输入图像对应的预测掩码结果。需要说明的是，第一训练输入图像和第二训练输入图像并不存在本质区别，均可以为获取到的原始图像，其中第一训练输入图像可以为存在对应训练标注图像的原始图像，第二训练输入图像可以为任意的原始图像，此时第二训练输入图像可以包括第一训练输入图像，也可以为没有对应训练标注图像的原始图像。

步骤103，基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像。

在一实施例中，将预测掩码图像与第二训练输入图像进行对比，在第二训练输入图像中分割出至少一个目标分割图像，因此目标分割图像为第二训练输入图像中的一部分。

举例来说，如图2所示，a为传感器顶部的第二训练输入图像，b为该第二训练输入图像对应的预测掩码图像，则根据预测掩码图像对第二训练输入图像a进行分割，获取到一张目标分割图像c。如图3所示，d为包含3个传感器顶部的第二训练输入图像，e为该第二训练输入图像对应的预测掩码图像，则根据预测掩码图像对第二训练输入图像d进行分割，获取三张目标分割图像f，g，h。因此若第二训练输入图像由多个部分组成时，可以对每一部分进行分割，获取到每一部分对应的目标分割图像。

步骤104，基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像。

在一实施例中，事先设置预设规则，利用预设规则对目标分割图像进行再分割，不同的预设规则，对应不同的分割子图像，其中预设规则可以为设定的图像大小，即将确定出的目标分割图像再次分割为图像大小的分割子图像，因分割子图像的所含内容较少，使得小目标可以在分割子图像中较为显著。

在一种可能的实现方式中，将预设规则设定为图像大小，进而确定出符合预设规则的滑动窗口，利用滑动窗口在目标分割图像中进行滑动，以确定出至少一组分割子图像。

步骤105，基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

在一实施例中，第一训练数据集可以为包含小目标的数据集合，第二训练数据可以为不包含小目标的数据集合。在确定出至少一组分割子图像后，对每一组分割子图像中进行选取，为每一组分割子图像确定出一个第一训练数据集和一个第二训练数据集。从而可以根据第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。需要说明的是，此处的预设精度与步骤101中的预设精度可以相同也可以不同，可以根据实际模型训练情况进行确定。

举例来说，如图4所示，在利用预测掩码图像对第二训练输入图像进行分割后，获取到一张目标分割图像，利用滑动窗口在目标分割图像上进行滑动，获取到一组分割子图像，在该组分割子图像中选取出存在缺陷的分割子图像即缺陷训练数据作为第一训练数据集，进一步选取出不存在缺陷的分割子图像即正常训练数据作为第二训练数据集，以获取到缺陷数据集和正常数据集为训练数据，确定出二分类的检测模型。

在上述实施例中，在获取到第一训练输入图像和训练标注图像后，利用第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型，该图像分割模型以待预测图像为输入项，以预测的掩码图像为输出项，将获取到的第二训练输入图像输入到图像分割模型，即可以获取到第二训练输入图像对应的预测掩码图像，将预测掩码图像和第二训练输入图像进行对比，以对第二训练输入图像进行分割，分割出至少一个目标分割图像，利用预设规则对至少一个目标分割图像进行再分割，确定出至少一个目标分割图像分别对应的至少一组分割子图像，对于每一组分割子图像，确定出第一训练数据集和第二训练数据集，从而可以根据获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。在本实施例提供的技术方案中，图像分割模型与检测模型作为一个模型组合用于对含有小目标的待检测图像进行检测，利用图像分割模型可以过滤掉大多数的噪声，使得获取的目标分割图像尽可能的聚焦于感兴趣区域，并对该感兴趣区域进行进一步分割，使得在确定出的分割子图像中小目标更为显著，从而利用该模型组合可以有效的提高小目标检测的准确性，有助于降低误报率，同时保持较高的召回率。

在本发明一示例性实施例中，所述检测模型包括单一检测模型，则所述基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型，包括：

针对每一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出每一组分割子图像分别对应的符合预设精度的单一检测模型。

在上述实施例中，每一组分割子图像均会对应有第一训练数据集和第二训练数据集，因此基于每一组分割子图像训练一个单一检测模型，利用单一检测模型可以准确的确定出每一个目标分割图像中的小目标。举例来说，第二训练输入图像包括部件A和部件B，则在对第二训练输入图像进行分割时，可以得到内容为部件A的目标分割图像和内容为部件B的目标分割图像，对内容为部件A的目标分割图像进行再分割，得到部件A对应的分割子图像，在部件A对应的分割子图像中确定出第一训练数据集和第二训练数据集，从而根据部件A对应的第一训练数据集和第二训练数据集，训练出第一检测模型，第一检测模型可以对部件A中存在的小目标进行检测，如可以准确的确定出部件A存在的缺陷问题；同样的，对内容为部件B的目标分割图像进行再分割，得到部件B对应的分割子图像，在部件B对应的分割子图像中确定出第一训练数据集和第二训练数据集，从而根据部件B对应的第一训练数据集和第二训练数据集，训练出第二检测模型，第二检测模型可以对部件B中存在的小目标进行检测，如可以准确的确定出部件B存在的缺陷问题。其中单一检测模型可以为二分类模型，即可以确定部件A是否存在缺陷，若存在则标记存在缺陷的位置，并输入存在缺陷的位置，若不存在则输入不存在缺陷。当然单一检测模型也可以为多分类模型，如部件A可能存在缺陷A1，缺陷A2，缺陷A3，则可以利用该检测模型准确的确定出部件A是否存在缺陷，若存在缺陷存在哪种缺陷。

在本发明一示例性实施例中，所述检测模型包括关联检测模型，则所述基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型，包括：

在所述至少一组分割子图像分别对应的第一训练数据集和第二训练数据集中，确定出至少一组第一关联数据集和第二关联数据集；

针对每一组第一关联数据集和第二关联数据集，分别训练出符合预设精度的至少一个关联检测模型。

在上述实施例中，当存在多个目标分割图像时，即会存在多组分割子图像，可能会存在分割子图像间存在关联的情况，因此为了更准确高效的确定出小目标对象，在至少一个分割子图像分别对应的第一训练数据集和第二训练数据集中，确定出至少一组第一关联数据集和第二关联数据集，其中第一关联数据集可以为存在关联数据关系的两个或多个第一训练数据集组成，第二关联数据集可以为存在关联数据关系的两个或多个第二训练数据集组成，进而根据每一组第一关联数据集和第二关联数据集，可以分别训练出符合预设精度的关联检测模型。

举例来说，第二训练输入图像中的部件A对应的A组分割子图像与部件C对应C组分割子图像可能存在关联，如部件A存在缺陷则部件C存在缺陷，或当部件A存在缺陷1时，部件C必存在缺陷2，则基于A组分割子图像和C组分割子图像确定第一关联数据集和第二关联数据集，利用该第一关联数据集和第二关联数据集确定出的关联检测模型可以快速准确的确定出部件A和部件C中的小目标。其中分割子图像间的关联关系可以根据各部件的内部结构逻辑确定，与也可以根据先验知识确定。

在本发明一示例性实施例中，在所述基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型前，所述方法还包括：

基于获取的原始输入图像和原始标注图像，训练出符合预设精度的原始分割模型；

基于所述原始分割模型、所述原始输入图像和所述原始标注图像，获取训练输入图像和训练标注图像。

在上述实施例中，训练输入图像和训练标注图像并不是原始获取的图像，而是由原始分割模型分割而来的，在获取到原始输入图像和原始标注图像后，训练出符合预设精度的原始分割模型，也就是说本实施例中存在三阶段的模型，即原始分割模型、图像分割模型和检测模型，通过一步步对原始图像进行分割，以不断的提高对小目标检测的准确度。需要说明的是，可能存在更多阶段的模型，只要利用前一阶段模型对原始图像可以实现进一步分割即可。通过多阶段的模型一步步对原始图像中的噪声进行过滤，以使得最后的检测模型可以尽可能的聚焦于小目标所在区域，提高对小目标检测的准确性。

在本发明一示例性实施例中，所述基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型，包括：

获取初始化数学模型；

将所述第一训练输入图像输入所述初始化数学模型的编码网络进行降采样，获取编码特征图像；

基于所述编码特征图像、所述初始化数学模型的解码网络，获取预测训练图像；

基于所述预测训练图像和所述训练标注图像，确定损失函数值，并基于所述损失函数值，调整所述初始化数学模型的模型参数，以训练出符合预设精度的图像分割模型。

在上述实施例中，初始化模型参数，以获取到初始化数学模型，该初始化数学模型由编码网络和解码网络组成，如U-net网络。其中编码网络主要用于降采样，解码网络主要用于上采样。

举例来说，将第一训练输入图像进行对齐，如按左上角对齐，获取对齐后的第一训练输入图像，将对齐后的第一训练输入图像切割为长宽相等的正方形，如1024ⅹ1024像素，如图5所示，用图5中右图所示的形式的掩码图像作为训练标注图像，以标准U-Net为初始化数学模型，其中U-Net的编码网络的第一层大小为1024ⅹ1024，第二层大小为512ⅹ512，第三层大小为256ⅹ256，第四层大小为128ⅹ128，第五层大小为64ⅹ64。解码网络由四个单元组成，解码过程先对编码特征图像进行上采样，然后将上采样的特征与来自相应编码网络的特征图进行拼接。解码网络最后一个卷积单元后为1ⅹ1卷积层和sigmoid激活函数，可将多通道特征映射为预测掩码图像。当然在卷积层和相应激活层之间加入一个批量归一化层可以帮助图像分割模型的训练。设置U-Net的损失函数如下所示：

其中，X表征预测训练图像，Y表征训练标注图像。利用第一训练输入图像、预测训练图像、训练标注图像以及该损失函数进行循环训练，不断调整初始化数学模型的模型参数，以训练出符合预设精度的图像分割模型。

进一步地，在获取到图像分割模型后，将第二训练输入图像输入到图像分割模型中，获取到预测掩码图像(如图2中b所示)对第二训练输入图像进行分割，获取一个目标分割图像，即图中白色部件，如图4所示，利用滑动窗口将白色部件进一步分割为同宽等齐的正方形图像，其中滑动窗口的步宽为20像素，图像的大小为80ⅹ80像素，在获取到的分割子图像中进行选取，选取出正常训练数据作为第二训练数据集，缺陷训练集作为第一训练数据集。选取Res-Net或者Dense-Net作为检测模型，由第一训练数据集和第二训练数据集进行训练，0-1分类，用于检测有缺陷还是正常，其中检测模型的损失函数是softmax:

其中K＝2，为二分类问题，z_i表征z中的第i个元素。利用该损失函数进行检测模型训练，训练出符合预设精度的检测模型。利用该检测模型确定出小目标后，可以将该小目标在第二训练输入图像中的位置标出(如图6所示)。

在一种可能的应用场景中，以小型电子设备(微米级)的微小缺陷检测为小目标检测的目标，因此获取小型电子设备对应的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型，获取小型电子设备对应的第二训练输入图像，将第二训练输入图像输入到图像分割模型，图像分割模型输出预测掩码图像，根据预测掩码图像中的掩码信息对第二训练输入图像进行分割，获取出目标分割图像，利用预设规则确定的滑动窗口对目标分割图像进行再分割，确定出分割子图像，在分割子图像中选取出正常训练数据集和缺陷训练数据集，利用正常训练数据集和缺陷训练数据集，训练出符合预设精度的二分类故障检测模型。

在另一种可能的应用场景中，如图7所示，左图中的白色方框处为真故障缺陷，右图中的白色方框处为假故障缺陷，该故障的真假难以准确识别，因此以铁轨缺陷检测为小目标检测的目标，进行图像分割模型和检测模型的训练，获取第一训练铁轨图像、训练标注图像以训练出符合预设精度的图像分割模型，利用图像分割模型获取第二训练铁轨图像对应的预测掩码图像，并根据预测掩码图像对第二训练铁轨图像进行分割，获取到目标分割图像(如图8右图所示)，进一步对目标分割图像进行分割，获取分割子图像(图9示例性的示出得到的两张分割子图像)，图9中左图为真故障结果，右图为假故障结果，在分割子图像中选取出存在真故障的分割子图像作为第一训练数据集中的数据，存在假故障的分割子图像作为第二训练数据集中的数据，以第一训练数据集和第二训练数据集进行二分类检测模型的训练，以训练出可以较为准确确定出铁轨中的真假故障的检测模型。

第二方面，图10是本发明一示例性实施例提供的多阶段模型训练方法的流程示意图，至少包括如下步骤：

步骤201，将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

步骤202，基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

步骤203，基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

步骤204，基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

在上述实施例中，待检测图像为含有小目标的图像，如电子设备的图像，铁轨的图像，传感器的图像等等。将待检测图像输入到已训练的图像分割模型中，其中图像分割模型为根据第一训练输入图像和训练标注图像获取到的，图像分割模型会输出待检测图像对应的预测掩码图像，根据待检测图像和预测掩码图像对待检测图像进行分割，确定出至少一个目标分割图像，并根据预设规则对目标分割图像进行再分割，确定出每一个目标分割图像分别对应的一组分割子图像，将每一组分割子图像输入对应的检测模型，确定待检测图像对应的检测结果。本发明提供的技术方案利用图像分割模型将待检测图像中的大多数噪声去除，使得目标分割图像可以尽可能的聚焦于小目标，并对目标分割图像进一步分割，使得小目标在分割子图像中较为显著，尽可能的提高对待检测图像中小目标检测的准确性。

具体的，检测模型可以为单一检测模型，基于目标分割图像在待检测图像中的位置，确定目标分割图像对应的单一检测模型，将由该目标分割图像进一步分割得到的分割子图像输入目标分割图像对应的单一检测模型中，确定检测结果。检测模型也可以为联合检测模型，同样的基于目标分割图像在待检测图像中的位置，确定目标分割图像对应的联合检测模型，利用联合检测模型确定检测结果。即利用本发明提供的技术方案可以对待检测图像中不同部分的不同缺陷均可以进行较为准确的检测。

示例性装置

第三方面，基于与本发明第一方面的方法实施例相同的构思，本发明实施例还提供了一种用于小目标检测的模型训练装置。

图11示出了本发明一示例性实施例提供的模型训练装置的结构示意图，包括：

第一训练模块111，用于基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；

图像预测模块112，用于基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像；

第一分割模块113，用于基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像；

第二分割模块114，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

第二训练模块115，用于基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

在本发明一示例性实施例中，所述检测模型包括单一检测模型，则第二训练模块用于针对每一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出每一组分割子图像分别对应的符合预设精度的单一检测模型。

在本发明一示例性实施例中，所述检测模型包括关联检测模型，则第二训练模块用于，在所述至少一组分割子图像分别对应的第一训练数据集和第二训练数据集中，确定出至少一组第一关联数据集和第二关联数据集；针对每一组第一关联数据集和第二关联数据集，分别训练出符合预设精度的关联检测模型。

在本发明一示例性实施例中，所述装置还包括：

第三分割模块，用于基于获取的原始输入图像和原始标注图像，训练出符合预设精度的原始分割模型；

图像获取模块，用于基于所述原始分割模型、所述原始输入图像和所述原始标注图像，获取训练输入图像和训练标注图像。

在本发明一示例性实施例中，所述第一训练模块包括：

初始化单元，用于获取初始化数学模型；

编码处理单元，用于将所述第一训练输入图像输入所述初始化数学模型的编码网络进行降采样，获取编码特征图像；

解码处理单元，用于基于所述编码特征图像、所述初始化数学模型的解码网络，获取预测训练图像；

训练处理单元，用于基于所述预测训练图像和所述训练标注图像，确定损失函数值，并基于所述损失函数值，调整所述初始化数学模型的模型参数，以训练出符合预设精度的图像分割模型。

在本发明一示例性实施例中，所述第二分割模块，包括：

窗口确定单元，用于确定符合预设规则的滑动窗口；

分割处理单元，用于基于所述滑动窗口对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像。

第四方面，基于与本发明第二方面的方法实施例相同的构思，本发明实施例还提供了一种小目标检测装置。

图12示出了本发明一示例性实施例提供的小目标检测装置的结构示意图，包括：

掩码预测模块121，用于将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

目标分割模块122，用于基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

二次分割模块123，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

检测处理模块124，用于基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

示例性电子设备

第五方面，图13图示了根据本发明实施例的电子设备的框图。

如图13所示，电子设备100包括一个或多个处理器101和存储器102。

处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本发明的各个实施例的用于小目标检测的模型训练方法或检测方法以及/或者其他期望的功能。

在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图13中仅示出了该电子设备100中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

第六方面，除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的用于小目标检测的模型训练方法或检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的用于小目标检测的模型训练方法或检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种用于小目标检测的模型训练方法，其特征在于，包括：

基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；

基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像；

基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像；

基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

2.根据权利要求1所述的方法，其特征在于，所述检测模型包括单一检测模型，则所述基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型，包括：

针对每一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出每一组分割子图像分别对应的符合预设精度的单一检测模型。

3.根据权利要求1或2所述的方法，其特征在于，所述检测模型包括关联检测模型，则所述基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型，包括：

在所述至少一组分割子图像分别对应的第一训练数据集和第二训练数据集中，确定出至少一组第一关联数据集和第二关联数据集；

针对每一组第一关联数据集和第二关联数据集，分别训练出符合预设精度的关联检测模型。

4.根据权利要求1所述的方法，其特征在于，在所述基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型前，所述方法还包括：

基于获取的原始输入图像和原始标注图像，训练出符合预设精度的原始分割模型；

基于所述原始分割模型、所述原始输入图像和所述原始标注图像，获取训练输入图像和训练标注图像。

5.根据权利要求1所述的方法，其特征在于，所述基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型，包括：

获取初始化数学模型；

将所述第一训练输入图像输入所述初始化数学模型的编码网络进行降采样，获取编码特征图像；

基于所述编码特征图像、所述初始化数学模型的解码网络，获取预测训练图像；

基于所述预测训练图像和所述训练标注图像，确定损失函数值，并基于所述损失函数值，调整所述初始化数学模型的模型参数，以训练出符合预设精度的图像分割模型。

6.根据权利要求1所述的方法，其特征在于，所述基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像，包括：

确定符合预设规则的滑动窗口；

基于所述滑动窗口对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像。

7.一种小目标检测方法，其特征在于，包括：

将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

8.一种用于小目标检测的模型训练装置，其特征在于，包括：

第一训练模块，用于基于获取的第一训练输入图像和训练标注图像，训练出符合预设精度的图像分割模型；

图像预测模块，用于基于获取的第二训练输入图像和所述图像分割模型，获取预测掩码图像；

第一分割模块，用于基于所述预测掩码图像对所述第二训练输入图像进行分割，获取至少一个目标分割图像；

第二分割模块，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

第二训练模块，用于基于获取的至少一组分割子图像分别对应的第一训练数据集和第二训练数据集，训练出符合预设精度的至少一个检测模型。

9.一种小目标检测装置，其特征在于，包括：

掩码预测模块，用于将获取的待检测图像输入已训练的图像分割模型，确定所述待检测图像对应的预测掩码图像；

目标分割模块，用于基于所述待检测图像和所述预测掩码图像，获取至少一个目标分割图像；

二次分割模块，用于基于预设规则对所述至少一个目标分割图像进行再分割，确定所述至少一个目标分割图像分别对应的至少一组分割子图像；

检测处理模块，用于基于所述至少一组分割子图像和所述至少一个检测模型，确定所述待检测图像对应的检测结果。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一项所述的方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一项所述的方法。

Images