CN113642576A - 一种目标检测及语义分割任务中训练图像集合的生成方法及装置 - Google Patents

Abstract

本申请提供一种目标检测及语义分割任务中训练图像集合的生成方法及装置，包括对待检测大图像进行切分处理，得到切分图像，切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；将含目标特征的切分图像作为有缺陷样本添加至训练集；对待检测大图像进行区域划分，得到背景图像区域；在背景图像区域中，随机选取背景样本图像，并添加至所述训练集，得到训练图像集合，背景样本图像的数量根据有缺陷样本的数量及待检测大图像的背景比例计算。本申请通过将含有目标特征的切分图像以及随机选取的背景样本图像作为训练图像集合进行训练，避免了将背景样本图像全部输入至训练图像集合中，由于训练图像的数量较多，导致训练效率低下的问题。

Description

一种目标检测及语义分割任务中训练图像集合的生成方法及 装置

技术领域

本申请涉及图像目标检测技术领域，尤其涉及一种目标检测及语义分割任务中训练图像集合的生成方法及装置。

背景技术

在图像处理领域中，一般会采用目标检测算法(Detection)和语义分割算法(Segmentation)提取带有标签的图像的目标特征。目标检测算法(Detection)和语义分割算法(Segmentation)是深度学习计算机视觉(CV)领域两个非常重要的方向，目标检测算法通过对一系列带有标签的图像进行训练，提取目标特征，并用于预测新输入的带有标签的图像中是否含有该目标特征；若含有该目标特征，则目标检测算法通过矩形检测框对该目标特征进行标示。语义分割算法通过对输入的带有标签的图像中的每一个像素的所属类别进行标注，并将属于相同类别的像素分割为一个部分。

通过目标检测算法和语义分割算法对一系列带有标签的图像进行训练后，即可得到训练好的目标检测及语义分割模型。由于目标检测及语义分割模型中的训练资源有限，不能直接对带有标签且分辨率过大的图像(图像分辨率较大，需要提取的目标特征较小)进行训练。因此，在训练之前，需要对输入的带有标签且分辨率过大的图像进行切分处理。

对带有标签且分辨率过大的图像进行切分处理后的切分小图(图像分辨率较小)，可以直接输入至目标检测及语义分割模型中进行训练。但是如果切分之前的图像分辨率过大，切分处理后得到的切分小图的数量会非常庞大，得到的训练图像集合中包含的切分小图数量会比较多，若将所有的切分小图都输入至目标检测及语义分割模型中进行训练，则会导致训练周期过长，从而影响目标检测及语义分割模型的训练效率。

发明内容

本申请提供了一种目标检测及语义分割任务中训练图像集合的生成方法及装置，以解决现有技术中的将所有的切分小图都输入至目标检测及语义分割模型中进行训练，会导致训练周期过长，从而影响目标检测及语义分割模型的训练效率的问题。

一方面，本申请提供一种目标检测及语义分割任务中训练图像集合的生成方法，包括以下步骤：

对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

对所述待检测大图像进行区域划分，得到不同的背景图像区域；

在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

采用上述技术方案，可以解决现有技术中训练图像集合的数量较多，导致训练效率低下的问题；同时，背景样本图像也并非全部被输入至训练图像集合中进行训练，解决了现有技术中背景样本图像占比过高，导致的训练结果精度不足；若不对背景样本图像进行训练，则会导致训练得到的模型误检率过高的问题。

在本申请的较佳实施例中，若所述待检测大图像中的目标特征被遮挡，则采用重叠切分方案对所述待检测大图像进行切分处理，得到含目标特征的重叠切分图像。

在本申请的较佳实施例中，若所述待检测大图像中的目标特征未被遮挡，则采用以目标特征为中心的平移切分方案对所述待检测大图像进行切分处理，得到含目标特征的平移切分图像。

采用上述两种切分方案的相互替换，可以避免现有技术中采用切分处理时将目标特征切分开，改变目标特征的形态，从而导致训练精度较低的问题。

在本申请的较佳实施例中，所述重叠切分方案包括按照重叠切分参数进行重叠切分，其中，所述重叠切分参数主要包括重叠比例和重叠切分图像的大小。

在本申请的较佳实施例中，所述以目标特征为中心的平移切分方案包括按照平移切分参数进行平移切分，其中，所述平移切分参数主要包括平移切分图像的大小和平移步长。

在本申请的较佳实施例中，所述背景图像区域包括预设重点区域，所述预设重点区域内的背景样本图像参与至所述训练集的比重大于非重点区域内的背景样本图像。

另一方面，本申请还提供一种目标检测及语义分割任务中训练图像集合的生成装置，所述装置包括：

切分模块和背景选取模块；

其中，所述切分模块用于：

对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

所述背景选取模块用于：

对所述待检测大图像进行区域划分，得到不同的背景图像区域；

在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

在本申请的较佳实施例中，所述装置还包括训练模块，所述训练模块用于：

对所述训练图像集合中的有缺陷样本和背景样本图像进行训练。

第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

本申请提供的一种目标检测及语义分割任务中训练图像集合的生成方法及装置，相较于现有技术而言，具有以下有益效果：

本申请通过将含有目标特征的切分图像以及随机选取的背景样本图像作为训练图像集合进行训练，避免了将背景样本图像全部输入至训练图像集合中，由于训练图像的数量较多，导致训练效率低下的问题；其次，两种切分方案能够根据场景选取适合的切分方案，并对通过切分得到的含有目标特征的切分图像进行训练，避免了将目标特征切分开，从而改变目标特征的形态，导致训练精度较低的问题；另外，通过在背景图像区域中随机选取背景样本图像，还可以解决完全不对背景区域进行训练导致的模型误检率较高的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例1的一种目标检测及语义分割任务中训练图像集合的生成方法流程图；

图2为本实施例1中重叠比例为50％的重叠切分方案示意图；

图3为本实施例1中以目标特征为中心的平移切分方案示意图；

图4为本实施例1中在平移切分方案基础上对重点区域进行预设的示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

为便于对申请的技术方案进行，以下首先在对本申请所涉及到的一些概念进行说明。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

实施例1

参见图1，本申请提供了一种目标检测及语义分割任务中训练图像集合的生成方法，包括以下步骤：

S101，对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

S102，将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

S103，对所述待检测大图像进行区域划分，得到不同的背景图像区域；

S104，在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

在本实施例1的一种具体实施方式中，步骤S101包括：若所述待检测大图像中的目标特征被遮挡，则采用重叠切分方案对所述待检测大图像进行切分处理，得到含目标特征的重叠切分图像。采用重叠切分方案对待检测大图像进行切分，能够在最大限度保留样本图像的完整性，同时，还可拓展样本图像局部的丰富性。

进一步地，在本实施例1中，步骤S101中的重叠切分方案包括按照重叠切分参数进行重叠切分，其中，所述重叠切分参数主要包括重叠比例和重叠切分图像的大小。需要说明的是重叠切分参数的选取及其具体数值设置均需要根据实际场景中对分辨率较大的图像的处理需求进行不同的设置，本申请对其不做限定。

示例性的，采用上述重叠切分方案，当重叠比例为50％时，即每个切分区域之间有50％的重叠部分，对待检测大图像的切分示意图如图2所示，从图2中可得出，第一切分区域1和第二切分区域2以及第三切分区域3中均含有目标特征，即含缺陷的正样本，第四切分区域4中不含目标特征；其中，第一切分区域1中含有部分目标特征，第二切分区域2中含有全部目标特征，第三切分区域3中含有部分目标特征，且大于第一切分区域1中含目标特征的比重。从图2中可以直观的看出重叠切分方案能够最大限度保留样本图像完整性。

示例性的，采用上述重叠切分方案，当重叠比例为0时，即每个切分区域之间没有重叠部分，此时，含目标特征的区域，即含缺陷的正样本在中间若干个重叠切分区域内，但是每个切分区域所含目标特征的比重不同；若干个随机选取的背景区域，即不含缺陷的负样本散落为在中间切分区域的周围。

在本实施例1的另一种具体实施方式中，步骤S101还包括：若所述待检测大图像中的目标特征未被遮挡，则采用以目标特征为中心的平移切分方案对所述待检测大图像进行切分处理，得到含目标特征的平移切分图像。采用以目标为中心的随机平移切分方案，可以最大限度保留目标特征的完整性。

进一步地，在本实施例1中，步骤S101中的以目标特征为中心的平移切分方案包括按照平移切分参数进行随机平移切分，其中，所述平移切分参数主要包括平移切分图像的大小和平移步长。需要说明的是平移切分参数的选取及其具体数值设置均需要根据实际场景中对分辨率较大的图像的处理需求进行不同的设置，本申请对其不做限定

示例性的，采用上述以目标特征(缺陷)为中心的平移切分方案对待检测大图像的切分示意图如图3所示，从图3中可以看出，中间几个随机平移切分区域为含目标特征的区域(图3中的浅灰色小矩形框)，即为含有缺陷的正样本，但是每个切分区域所含目标特征的比重不同；在中间随机平移切分区域其周围散落的切分区域为随机选取的背景区域(图3中灰黑色小矩形框)，即为不含缺陷的负样本。从图3中可直观看出，以目标为中心的随机平移切分方案在最大限度上保留了目标特征的完整性。

在本实施例1中，步骤S103中对待检测大图像进行区域划分，具体需要根据实际检测场景进行随机划分，本领域技术人员可根据常规技术手段对待检测大图像进行随机区域划分，划分出的背景图像区域的数量也根据实际情况而定，本实施例1中对其划分方式及得到的背景图像区域的数量均不做任何限制。

进一步地，步骤S103中对待检测大图像进行区域划分之后得到的背景图像区域包括预设重点区域，所述预设重点区域内的背景样本图像参与至所述训练集的比重大于非重点区域内的背景样本图像；其中，背景样本图像的选取结合了随机性和重点区域，重点区域中的图像参与训练的比重会加大，因此能够以最小的代价，即以最少的背景样本图像输入至训练集中训练，从而提升训练效率，并在最大程度上减小误检率。

示例性的，如图4所示，为采用以目标为中心的随机平移切分方案进行含缺陷的正样本以及从随机选取的背景区域和人为设置的重点区域选取不含缺陷的负样本的示意图，图4中间几个随机平移切分区域为含目标特征的区域(图4中浅灰色的小矩形框)，即为含有缺陷的正样本，但是每个切分区域所含目标特征的比重不同；在中间随机平移切分区域其周围散落的切分区域为随机选取的背景区域(图4中灰黑色小矩形框)，即为不含缺陷的负样本，散落的切分区域中的两个大矩形框(图4中的白色矩形框)是人为设置的重点区域，因此，在进行背景样本图像选取时，两个大矩形框所在区域必然会进行至少一次的背景样本选取，从而在很大程度上减少了背景样本图像的训练数量，提高了训练效率，减小了误检率。

需要特别说明的是，在表面缺陷检测场景下，经常会有流水线检测到同一物料，所以背景样本图像的获取可以人为地设置重点区域，也可将过检率较高的区域划分为重点区域，，从而有重点的随机选取背景样本图像。上述仅为本申请列出的两种重点区域的设置方式示例，本领域技术人员也可根据实际检测需求对重点区域进行设置。

在本实施例1中，步骤S104中选取背景样本图像的数量根据有缺陷样本的数量及待检测大图像的背景比例进行计算，其中，待检测大图像的背景比例为该图像目标特征图像和背景图像的占比，需要根据实际待检测大图像的分辨率大小和目标特征图像分辨率大小进行计算。

实施例1的具体应用：

对一个大型的电子产品内部进行缺陷检测，由于电子产品图像分辨率较大，目标特征(缺陷)较小，因此较难进行训练。电子产品的图像分辨率为9000*10000像素，所需训练的上述分辨率大小的图像总数约为200张，训练难度较大。

若采用现有技术中的训练方法直接对图像分辨率较大的电子产品图像进行训练，则训练周期一般需要两周。

采用本实施例1的方法对图像分辨率较大的电子产品图像进行处理后，对生成的训练集合中的有缺陷样本图像(包含目标特征的正样本)和随机选取的背景样本图像(不含目标特征的负样本)进行训练，训练周期可以从两周降低到2-4小时，并且与训练两周得到的过漏检率效果相当。

具体过程如下：

首先，采用以目标为中心的随机平移切分对图像分辨率较大的电子产品图像进行切分处理，200张电子产品图像总共切分得到图像分辨率为256*256像素的600张含目标特征的平移切分图像(含缺陷的正样本)；

将所述600张含目标特征的平移切分图像作为有缺陷样本添加至训练集；

其次，对所述电子产品图像进行区域划分，得到若干个背景图像区域，根据测试结果判断出电子产品图像有6个背景图像区域过检率过高，因此将过检率较高的6个背景图像区域划分为重点区域，从而有重点的随机选取图像分辨率为256*256像素的600张背景样本图像(不含缺陷的负样本)，并添加至训练集，得到训练图像集合；

最后，对训练图像集合中的600张含目标特征的平移切分图像(含缺陷的正样本)和600张背景样本图像(不含缺陷的负样本)进行训练，以提高训练效率。

需要说明的是，若不对背景图像进行上述处理，而是将所有的背景图像全部输入至目标检测模型及语义分割模型中，参与训练过程，若采用切分方案为重叠切分方案，则相当于有50万张重叠切分的正样本和负样本小图，训练图像集合中的切分图像数量较多，训练效率低下。

实施例2

与前述一种目标检测及语义分割任务中训练图像集合的生成方法的实施例相对应，本申请还提供了一种目标检测及语义分割任务中训练图像集合的生成装置的实施例。该装置包括：

切分模块和背景选取模块；

其中，所述切分模块用于：

对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

所述背景选取模块用于：

对所述待检测大图像进行区域划分，得到不同的背景图像区域；

在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

在本实施例2中，所述装置还包括训练模块，所述训练模块用于：

对所述训练图像集合中的有缺陷样本和背景样本图像进行训练。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

Claims (12)

1.一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，包括以下步骤：

对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

对所述待检测大图像进行区域划分，得到不同的背景图像区域；

在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

2.根据权利要求1所述的一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，

若所述待检测大图像中的目标特征被遮挡，则采用重叠切分方案对所述待检测大图像进行切分处理，得到含目标特征的重叠切分图像。

3.根据权利要求2所述的一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，

若所述待检测大图像中的目标特征未被遮挡，则采用以目标特征为中心的平移切分方案对所述待检测大图像进行切分处理，得到含目标特征的平移切分图像。

4.根据权利要求2所述的一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，

所述重叠切分方案包括按照重叠切分参数进行重叠切分，其中，所述重叠切分参数主要包括重叠比例和重叠切分图像的大小。

5.根据权利要求3所述的一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，

所述以目标特征为中心的平移切分方案包括按照平移切分参数进行平移切分，其中，所述平移切分参数主要包括平移切分图像的大小和平移步长。

6.根据权利要求1-5任意一项所述的一种目标检测及语义分割任务中训练图像集合的生成方法，其特征在于，

背景图像区域包括预设重点区域，所述预设重点区域内的背景样本图像参与至训练集的比重大于非重点区域内的背景样本图像。

7.一种目标检测及语义分割任务中训练图像集合的生成装置，其特征在于，采用了如权利要求1-6任意一项所述的一种目标检测及语义分割任务中训练图像集合的生成方法，所述装置包括：

切分模块和背景选取模块；

其中，所述切分模块用于：

对待检测大图像进行切分处理，得到切分图像，其中，切分处理包括重叠切分方案和以目标特征为中心的平移切分方案，所述切分图像包括含目标特征的切分图像和不含目标特征的背景样本图像；

将所述含目标特征的切分图像作为有缺陷样本添加至训练集；

所述背景选取模块用于：

对所述待检测大图像进行区域划分，得到不同的背景图像区域；

在所述背景图像区域中，随机选取一定数量的所述背景样本图像，并添加至所述训练集，得到训练图像集合，其中，所述背景样本图像的数量根据所述有缺陷样本的数量以及所述待检测大图像的背景比例进行计算。

8.根据权利要求7所述的一种目标检测及语义分割任务中大图像的处理装置，其特征在于，所述装置还包括训练模块，

所述训练模块用于：

对所述训练图像集合中的有缺陷样本和背景样本图像进行训练。

9.根据权利要求7所述的一种目标检测及语义分割任务中大图像的处理装置，其特征在于，

若所述待检测大图像中的目标特征被遮挡，则采用重叠切分方案对所述待检测大图像进行切分处理，得到含目标特征的重叠切分图像。

10.根据权利要求7所述的一种目标检测及语义分割任务中大图像的处理装置，其特征在于，

若所述待检测大图像中的目标特征未被遮挡，则采用以目标特征为中心的平移切分方案对所述待检测大图像进行切分处理，得到含目标特征的平移切分图像。

11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述一种目标检测及语义分割任务中训练图像集合的生成方法的步骤。

Images