CN113012054A - 基于抠图的样本增强方法和训练方法及其系统和电子设备 - Google Patents

Abstract

一种基于抠图的样本增强方法和训练方法及其系统和电子设备。该基于抠图的样本增强方法，包括步骤：从包含目标对象的原始图像中扣取出目标对象信息；通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；以及通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

Description

基于抠图的样本增强方法和训练方法及其系统和电子设备

技术领域

本发明涉及深度学习技术领域，尤其是涉及基于抠图的样本增强方法和训练方法及其系统和电子设备。

背景技术

深度学习是一种基于数据样本的监督学习算法，由于样本量越丰富，则越可能接近实际场景下目标对象的分布状态，也就越有利于模型训练；因此，在搭建一套深度学习算法时，首先就需要收集充足的数据样本并标注，这需要较高的人力、物力成本。特别是在某些特殊场景(如森林火灾检测、机械故障等)中，很少或没有火灾或故障等发生时的样本图像，使得样本获取是很困难的。此时，就需要利用数据增强的方法来扩充数据样本。

目前，根据样本图像生成方式的不同，数据增强方法通常可以分为有监督的数据增强方法和无监督的数据增强方法。有监督的数据增强方法是指增强生成的图像是通过对已有图像进行简单几何变化、像素变化等预处理算法处理后得到的，例如空间几何变换类增强手段或像素颜色变换类增强手段。无监督的数据增强方法主要是通过模型学习数据的分布，随机生成与训练数据集分布一致的图像，例如生成对抗网络；或者通过模型学习出适合当前任务的数据增强方法，例如Auto Augment。

然而，一方面，在缺少原始样本图像的情况下，通过有监督的数据增强方法扩充数据将相当困难。另一方面，无监督的数据增强方法虽然在理论上可以在任意场景下获得充足的数据样本，但其网络不容易训练，很多时候训练该增强数据网络反而比实际任务要更困难复杂的多，并且在训练网络过程中也需要很多的数据样本。

发明内容

本发明的一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其能够较好地胜任模型训练的前期准备任务。

本发明的另一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于抠图的样本增强方法能够利用少量含有目标对象的图像来生成符合应用场景需求的图像，以扩充数据样本。

本发明的另一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于抠图的样本增强方法能够大幅地降低深度学习模型训练对于样本采集的要求，能够较好地模拟生成困难场景下的数据样本，以便容易地扩充样本分布。

本发明的另一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于抠图的样本增强方法能够利用少量含有目标对象的图像和指定应用场景下的背景图像大批量生成符合实际应用场景需求的图像，融合点处过渡自然，图像逼真。

本发明的另一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于抠图的样本增强方法特别适用于样本获取困难(如森林火灾、机械故障等)或获取成本高昂(如精密仪器缺陷检测等)，而背景图像容易获取且丰富的场景，为后续模型训练提供较好的数据样本集合。

本发明的另一优势在于提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一基于抠图的样本增强方法和训练方法及其系统和电子设备，同时还增加了所述基于抠图的样本增强方法和训练方法及其系统和电子设备的实用性和可靠性。

为了实现上述至少一优势或其他优势和目的，本发明提供了基于抠图的样本增强方法，包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；以及

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

在本发明的一实施例中，该目标对象信息包括目标对象图、目标对象的边缘轮廓图、目标对象的二值图以及目标对象的类型信息。

在本发明的一实施例中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，包括步骤：

基于该原始图像中该目标对象的轮廓线，确定一组标记点；

根据该标记点的局部邻域梯度信息，依次微调该标记点的位置至最大梯度值处；以及

根据微调后的该标记点构造出的凸多边形，以得到该目标对象信息中的该目标对象的边缘轮廓图。

在本发明的一实施例中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，进一步包括步骤：

根据该目标对象的边缘轮廓图，从该原始图像中扣取出该目标对象，以获得该目标对象信息中的该目标对象图；和

对该目标对象图进行二值化处理，以得到该目标对象信息中的该目标对象的二值图。

在本发明的一实施例中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，进一步包括步骤：

识别并标注该目标对象的类型，以得到该目标对象信息中的该目标对象的类型信息。

在本发明的一实施例中，所述通过在背景图像上对该目标对象信息进行融合处理，得到融合图像的步骤，包括步骤：

确定在该背景图像上的对象融合区域；

将该目标对象信息融合至该背景图像中的该对象融合区域，使得该目标对象信息中该目标对象图的像素点与该对象融合区域内的像素点进行加权融合，以得到初始融合图像；以及

通过外扩该对象融合区域，根据该目标对象信息中该目标对象的边缘轮廓图进行平滑滤波处理，以得到该融合图像。

在本发明的一实施例中，在所述确定在该背景图像上的对象融合区域的步骤中，在该背景图像上随机地划定或生成该对象融合区域。

根据本发明的另一方面，本发明还提供了深度学习模型的训练方法，包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

基于所述多个数据样本，训练深度学习模型。

根据本发明的另一方面，本发明还提供了基于抠图的样本增强系统，包括依次可通信地连接的：

一抠图模块，用于从包含目标对象的原始图像中扣取出目标对象信息；

一融合模块，用于通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；以及

一样本增强模块，用于通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

在本发明的一实施例中，该目标对象信息包括目标对象图、目标对象的边缘轮廓图、目标对象的二值图以及目标对象的类型信息。

在本发明的一实施例中，所述抠图模块包括依次可通信地连接的一标记确定模块、一微调模块以及一构造模块，其中所述标记确定模块用于基于该原始图像中该目标对象的轮廓线，确定一组标记点；其中所述微调模块用于根据该标记点的局部邻域梯度信息，依次微调该标记点的位置至最大梯度值处；其中所述构造模块用于根据微调后的该标记点构造出的凸多边形，以得到该目标对象信息中的该目标对象的边缘轮廓图。

在本发明的一实施例中，所述抠图模块进一步包括一扣取模块和与所述扣取模块可通信地连接的二值化处理模块，其中所述扣取模块用于根据该目标对象的边缘轮廓图，从该原始图像中扣取出该目标对象，以获得该目标对象信息中的该目标对象图；其中所述二值化处理模块用于对该目标对象图进行二值化处理，以得到该目标对象信息中的该目标对象的二值图。

在本发明的一实施例中，所述抠图模块进一步包括一识别标注模块，用于识别并标注该目标对象的类型，以得到该目标对象信息中的该目标对象的类型信息。

在本发明的一实施例中，所述融合模块包括依次可通信地连接的一区域确定模块、一加权融合模块以及一平滑滤波模块，其中所述区域确定模块用于确定在该背景图像上的对象融合区域；其中所述加权融合模块用于将该目标对象信息融合至该背景图像中的该对象融合区域，使得该目标对象信息中该目标对象图的像素点与该对象融合区域内的像素点进行加权融合，以得到初始融合图像；其中所述平滑滤波模块用于通过外扩该对象融合区域，根据该目标对象信息中该目标对象的边缘轮廓图进行平滑滤波处理，以得到该融合图像。

根据本发明的另一方面，本发明还提供了深度学习模型的训练系统，用于基于含有目标对象的原始图像训练深度学习模型，其中所述深度学习模型的训练系统包括依次可通信地连接的：

一抠图模块，用于从该包含目标对象的原始图像中扣取出目标对象信息；

一融合模块，用于通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

一样本增强模块，用于通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

一训练模块，用于基于所述多个数据样本，训练该深度学习模型。

根据本发明的另一方面，本发明还提供了电子设备，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行深度学习模型的训练方法中的部分或全部步骤，其中所述深度学习模型的训练方法包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

基于所述多个数据样本，训练深度学习模型。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一实施例的基于抠图的样本增强方法的流程示意图。

图2示出了根据本发明的上述实施例的所述基于抠图的样本增强方法的步骤之一的流程示意图。

图3示出了根据本发明的上述实施例的所述基于抠图的样本增强方法的抠图步骤的一个示例。

图4示出了根据本发明的上述实施例的所述基于抠图的样本增强方法的步骤之二的流程示意图。

图5示出了根据本发明的上述实施例的所述基于抠图的样本增强方法的融合和样本增强步骤的一个示例。

图6示出了根据本发明的一实施例的深度学习模型的训练方法的流程示意图。

图7示出了根据本发明的一实施例的基于抠图的样本增强系统的框图示意图。

图8示出了根据本发明的一实施例的深度学习模型的训练系统的框图示意图。

图9示出了根据本发明的一实施例的电子设备的框图示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在深度学习项目中，往往需要花费相当多的时间寻找和标注数据，但在某些实际场景中，如森林火灾检测、机械故障检测以及精密仪器缺陷检测等等之类的场景，往往因样本获取困难或样本获取成本高而难以获得足够的数据样本。因此，为了解决上述问题，本发明提出一种基于抠图的样本增强方法和训练方法及其系统和电子设备。

示意性方法

参考说明书附图之图1至图5所示，根据本发明的一实施例的一种基于抠图的样本增强方法被阐明。具体地，如图1所示，所述基于抠图的样本增强方法包括步骤：

S110：从包含目标对象的原始图像中扣取出目标对象信息；

S120：通过在背景图像上对所述目标对象信息进行融合处理，得到融合图像；以及

S130：通过对所述融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

值得注意的是，对于某些特殊场景(如森林火灾检测)下的检测、分割等任务，由于含有目标对象的原始图像通常较少且获取困难，难以获得大量的数据样本；而背景图像却非常丰富且容易获取。因此，本发明的所述基于抠图的样本增强方法通过抠图的方式将目标对象扣取出来，并通过图像融合将扣取出的目标对象迁移至数量可观的背景图像上，以便获得大批量的数据样本，为后续模型训练提供大批量较好的数据样本集合。特别地，本发明所采用的含有目标对象的原始图像可以是在任意场景(如城市火灾)下的图像，只要包含有目标对象(如火灾)即可，而不必局限于某些特殊场景(如森林背景)，也就是说，所述含有目标对象的原始图像中的背景与所述背景图像中的背景可以不属于同种场景，这样就使得含有目标对象的原始图像的基数变大，进而目标对象信息的获取难度和获取成本得以大幅地降低。

这样，在通过一张含有目标对象的原始图像获得多个所述融合图像之后，再对每一张融合图像进行样本增强处理都能够获得多个数据样本，也就是说，通过一张含有目标对象的原始图像就能够获得指数倍的数据样本，以便为后续的深度学习模型的训练提供大批量的数据样本，而且所述数据样本的品质也能够得到较好的保证。

值得一提的是，在本发明的一示例中，通过所述步骤S110扣取出的多个所述目标对象信息可以先被保存至信息列表中，再从所述信息列表中随机地选取若干目标对象信息进行后续所述步骤S120的操作。当然，在本发明的其他示例中，也可以从所述信息列表中指定若干目标对象信息以进行后续所述步骤S120的操作；或者，通过所述步骤S100扣取出的所述目标对象信息之后，直接进行后续所述步骤S120的操作。

此外，在本发明的所述基于抠图的样本增强方法的所述步骤S110中，所述目标对象信息可以但不限于包括目标对象图、目标对象的边缘轮廓图、目标对象的二值图以及目标对象的类别信息中的一种或多种。可以理解的是，所述目标对象图可以被实施为从所述原始图像中直接扣取出的目标对象的彩色图或灰度图，即目标对象上的像素点保留原像素值，而背景区域像素值统一设置为0(或255)；所述目标对象的二值图可以被实施为目标对象上的像素值统一设置为255(或0)，并且背景区域像素值统一设置为0(或255)。

更具体地，在本发明的上述实施例中，如图2所示，所述基于抠图的样本增强方法的所述步骤S110，可以包括步骤：

S111：基于所述原始图像中的所述目标对象的轮廓线，确定一组标记点；

S112：根据所述标记点的局部邻域梯度信息，依次微调所述标记点的位置至最大梯度值处；以及

S113：根据微调后的标记点构造出的凸多边形，以得到所述目标对象信息中的所述目标对象的边缘轮廓图。

值得注意的是，在本发明的这个实施例中，根据微调后的标记点构造出的所述凸多边形中的任一边为直线线段，而在本发明的其他示例中，根据微调后的标记点构造出的所述凸多边形中的任一边还可以被实施为诸如弧线或自由曲线等等之类的曲线线段。

进一步地，如图2所示，所述基于抠图的样本增强方法的所述步骤S110，还可以包括步骤：

S114：根据所述目标对象的边缘轮廓图，从所述原始图像中扣取出所述目标对象，以获得所述目标对象信息中的所述目标对象图；和

S115：对所述目标对象图进行二值化处理，以得到所述目标对象信息中的所述目标对象的二值图。

更进一步地，如图2所示，所述基于抠图的样本增强方法的所述步骤S110，还可以包括步骤：

S116：识别并标注所述目标对象的类型，以得到所述目标对象信息中的所述目标对象的类型信息。

示例性地，在本发明的一示例中，如图3所示，所述基于抠图的样本增强方法的所述步骤S100，可以包括步骤：

A)判断从原始图像列表中加载的待处理图像中是否包含目标对象，如果是，则构造出与所述待处理图像大小一致的初始二值图，其中所述初始二值图中像素点的初始像素值均为0(或255)；如果否，则重新从原始图像列表中加载下一待处理图像。

B)在所述初始二值图上标记出所述待处理图像中任一目标对象的轮廓线，以得到标记二值图，其中所述标记二值图中所述标记点的像素值为255(或0)；

C)将所述标记二值图中的所述标记点构造成一凸多边形，以将所述标记二值图上所述凸多边形包围的区域作为待调值区域；

D)判断所述待处理图像中与所述待调值区域对应的区域内是否含有所述目标对象，如果是，则将所述标记二值图中所述待调值区域的像素点的像素值调整为所述待处理图像中与所述待调值区域对应的像素点的原像素值，并将所述待调值区域的最小外接矩形作为感兴趣区域；如果否，则将所述标记二值图中所述待调值区域对应的像素点的像素值固定为0(或255)，并返回所述步骤B)；

E)从所述标记二值图中裁剪出与所述感兴趣区域相对应的图像，以得到目标对象初始图；

F)判断所述目标对象初始图中目标对象的轮廓线是否被全部标记，如果是，则直接将所述目标对象初始图作为所述目标对象图；如果否，则返回所述步骤B)；

G)对构造成凸多边形的所述标记点连线，以得到所述目标对象的边缘轮廓图；并将所述目标对象图中被调整为原像素值的像素点的像素值调整为255(或0)，以得到所述目标对象的二值图；

H)识别所述目标对象的类别信息，并将所述目标对象图、所述目标对象的边缘轮廓图、所述目标对象的二值图以及所述目标对象的类别信息作为所述目标对象信息保存至抠图信息列表；以及

I)判断所述待处理图像中所有的目标对象是否被全部标记，如果是，则返回所述步骤A)，直至所述原始图像列表中所有的待处理图像均完成操作；如果否，则清除内存变量，并返回所述步骤B)以进行下一目标对象的处理。

值得注意的是，在本发明的一示例中，如图3所示，所述基于抠图的样本增强方法的所述步骤B)，可以包括步骤：

B.1)通过人机交互操作，在所述初始二值图上标记出所述待处理图像中所述目标对象的轮廓线上的角点，以得到含有标记点的初始二值图，其中所述标记点的像素值为255(或0)；和

B.2)对所述含有标记点的初始二值图上的所述标记点进行排序，并根据所述标记点的邻域梯度，依次微调所述标记点的位置至梯度最大值处，以得到所述标记二值图。

更进一步地，在本发明的所述基于抠图的样本增强方法的所述步骤B.1)中，可以对所述含有标记点的初始二值图上的所述标记点进行顺时针或逆时针排序，并根据所述标记点的8邻域梯度，依次微调所述标记点的位置至梯度最大值处，以得到所述标记二值图。这样，通过交互操作与邻域处理，使得所述目标对象图中的轮廓更准确、自然。

值得的一提的是，在本发明的所述基于抠图的样本增强方法的所述步骤D)中，当所述待处理图像中与所述待调值区域对应的区域内不含有所述目标对象时，则所述待调值区域对应于所述目标对象内部的孔洞，即背景，则将所述标记二值图中所述待调值区域对应的像素点的像素值固定为0(或255)，后续这些被固定像素值的像素点的像素值将不能被调整，以确保所述目标对象内部的孔洞得以被保留地显示。

此外，在本发明的所述基于抠图的样本增强方法的所述步骤H)中，可以通过人机交互操作，人为地识别并输入所述目标对象的类别信息(如类别名称等等)。可以理解的是，本发明所提及的所述人机交互操作可以但不限于通过诸如鼠标、键盘、语音等方式进行人机交互。当然，在本发明的其他示例中，所述人机交互操作也可以被人工智能操作来替代，以解放人力操作。

根据本发明的上述实施例，在通过抠图的方式获得所述目标对象信息之后，需要对所述目标对象信息和所述背景图像进行加权融合处理，以得到较多含有目标对象的融合图像。具体地，如图4所示，所述基于抠图的样本增强方法的所述步骤S120，可以包括步骤：

S121：确定在所述背景图像上的对象融合区域；

S122：将所述目标对象信息融合至所述背景图像中的所述对象融合区域，使得所述目标对象信息中所述目标对象图的像素点与所述对象融合区域内的像素点进行加权融合，以得到初始融合图像；以及

S123：通过外扩所述对象融合区域，根据所述目标对象信息中所述目标对象的边缘轮廓图进行平滑滤波处理，以得到所述融合图像。

值得注意的是，在本发明的所述基于抠图的样本增强方法的所述步骤S121中，可以先对从背景图像列表中读取的背景图像进行预处理(例如高斯滤波处理等等)，再在预处理后的背景图像中划定或生成所述对象融合区域。当然，所述对象融合区域可以但不限于通过人机交互方式直接在所述背景图像中划定所述对象融合区域；也可以直接利用随机种子，在所述背景图像中随机生成所述对象融合区域。

此外，在本发明的所述基于抠图的样本增强方法的所述步骤S122中，可以从抠图信息列表中随机地选取一个或多个目标对象信息，以将所述目标对象信息分别融合至所述背景图像中的所述对象融合区域。而当所要融合的目标对象信息超过一个时，就需要判断不同的所述对象融合区域是否存在较大的重叠，如果是，则需要重新设置所述对象融合区域的位置，以避免因不同的所述对象融合区域较多地重叠而导致部分目标对象信息丧失其价值。特别地，由于在所述步骤S110中就已经对小批量的原始图像中的目标对象进行了标注，因此在后续的融合图像以及样本增强步骤中无需再针对大批量的数据样本中的目标对象来标注样本，有助于大幅地减少工作量。

综上可知，本发明的所述基于抠图的样本增强方法通过加权融合和平滑滤波处理而得到的所述融合图像中的细节信息相对自然，样本丰富且分布覆盖广，并且还免除了后续样本的标注工作，一举两得。

另外，由于所述背景图像中的所述对象融合区域的大小可能与所述目标对象信息中的目标对象的大小不同，因此本发明可以先将所述目标对象信息中的目标对象等比例缩放至所述对象融合区域的大小，再将所述目标对象信息加权融合至所述背景图像的所述对象融合区域。当然，在本发明的其他示例中，所述目标对象信息中的目标对象也可以在不缩放的情况下直接被加权融合至所述背景图像的所述对象融合区域，以部分地显示所述目标对象信息。

值得一提的是，在可通过加权融合以获得多张融合图像之后，还能够通过诸如图像预处理、随机裁剪、随机翻转、随机调整亮度/色度等常规样本增强手段对每张融合图像进行二次增强处理，以大幅地扩充训练样本库，从而实现根据小批量样本进行样本增强以获得大批量数据样本的目标。

示例性地，在本发明的一示例中，在通过所述基于抠图的样本增强方法的所述步骤S110获得目标对象信息，并保存至抠图对象信息列表之后，可以通过以下步骤来进行融合处理和二次增强处理，进而获得扩充后的数据样本；如图5所示，具体如下：

(1)加载抠图度对象信息列表，以获得目标对象信息；并从背景图像列表中读取一张背景图像，启动一随机种子，设定利用所述背景图像进行P次(如0<P<5)融合操作，其中计数器j置为0。

(2)随机选择图像预处理算法(如高斯滤波等)对选定的背景图像进行预处理。

(3)设置另一随机种子，生成随机数N，其中N>0，并且计数器i置为0；换言之，通过本次融合操作，在所述选定的背景图像上融合N个目标对象。

(4)从所述抠图对象列表信息中选取一个目标对象信息；

(5)通过鼠标交互操作，在所述背景图像上划定对象融合区域；如果所述对象融合区域与已融合目标对象有较大重叠，则重复本步骤，重新划定对象融合区域。当然，在本步骤中，也可以直接利用随机种子，在所述背景图像中生成对象融合区域；

(6)将所述目标对象信息中的目标对象等比例缩放到所述对象融合区域内，根据所述目标对象的二值图，将目标对象上的像素点与所述背景图像上对应的像素点进行加权融合；

(7)外扩所述对象融合区域，并根据所述目标对象的边缘轮廓图，进行平滑滤波处理，以生成融合图像；

(8)所述计数器i加1，并判断已融合的目标对象的个数是否已经达到N个，如果是，则进入下一步骤(9)；否则，则回到上述步骤(4)；

(9)设置又一随机种子，生成随机数M(其中M>0)，表示利用所述生成的融合图像进行常规样本增强处理的次数，其中计数器k置为0；

(10)随机选择常规样本增强手段(如随机裁剪，随机翻转，随机调整亮度/色度等等)，二次增强处理所述生成的融合图像，并以VOC格式保存增强后图像和目标对象的类型信息；

(11)所述计数器k加1，如果达到要求的M次增强处理，则清除内存变量，返回步骤步骤(1)，并且所述计数器j加1；否则，返回步骤(10)；

(12)如果所述计数器j达到P，则结束在所述背景图像上进行的融合增强处理，并选择下一张背景图像，重复上述融合增强过程。

值得注意的是，本发明所采用的样本增强手段可以是有监督的数据增强方法，以通过对已有融合图像进行简单的几何变化、像素变化等预处理算法处理后得到的。具体地，所述空间几何变换类增强手段包括图像水平(或垂直)翻转，随机裁剪感兴趣区域，随机旋转，缩放变形和仿射变换等得到；而像素颜色变换类增强手段主要包括随机添加噪声(高斯噪声，椒盐噪声等)，随机像素块丢失(coarse dropout)，单一噪声图像混合，对比度变换，随机RGB颜色扰动，图像平滑滤波等等。当然，在本发明的其他示例中，本发明所采用的样本增强手段也可以是无监督的数据增强方法，例如生成对抗网络(GAN)等等，本发明在此不再赘述。

由上可知，通过本样本增强算法，一张背景图像可以扩充至P*M张样本图像(即P*M个数据样本)，使得样本数量扩充效率高，生成图像细节信息相对自然，样本丰富，分布覆盖广；并免除了后续样本标注的工作，一举两得。特别是对于某些场景下的检测、分割任务，样本获取困难(如森林火灾、机械故障等)或成本高(如精密仪器缺陷检测等)，而背景图像容易获取且丰富，可通过本发明的抠图算法迁移其他场景下目标对象，进行基于图像融合的样本增强处理，为后续模型训练提供较好的数据样本集合。

根据本发明的另一方面，本发明进一步提供了一深度学习模型的训练方法，可以包括步骤：通过上述基于抠图的样本增强方法获得的所述数据样本，训练深度学习模型，有助于提升所述深度学习模型的训练质量，降低所述深度学习模型的训练成本。

示例性地，如图6所示，在本发明的一示例中，所述深度学习模型的训练方法，可以包括步骤：

S210：从包含目标对象的原始图像中扣取出目标对象信息；

S220：通过在背景图像上对所述目标对象信息进行融合处理，得到融合图像；

S230：通过对所述融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

S240：基于所述多个数据样本，训练深度学习模型。

示意性系统

参考说明书附图之图7所示，根据本发明的一实施例的一基于抠图的样本增强系统被阐明，其中所述基于抠图的样本增强系统用于通过对含有目标对象的原始图像进行处理，以得到含有目标对象的多个数据样本。具体地，如图7所示，所述基于抠图的样本增强系统10可以包括依次可通信地连接的一抠图模块11、一融合模块12以及一样本增强模块13，其中所述抠图模块11用于从所述包含目标对象的原始图像中扣取出目标对象信息；其中所述融合模块12用于通过在背景图像上对所述目标对象信息进行融合处理，得到融合图像；其中所述样本增强模块13用于通过对所述融合图像进行样本增强处理，获得所述含有目标对象的多个数据样本。

值得注意的是，在本发明的上述实施例中，如图7所示，所述基于抠图的样本增强系统10的所述抠图模块11可以包括依次可通信地连接的一标记确定模块111、一微调模块112以及一构造模块113，其中所述标记确定模块111用于基于所述原始图像中该目标对象的轮廓线，确定一组标记点；其中所述微调模块112用于根据所述标记点的局部邻域梯度信息，依次微调所述标记点的位置至最大梯度值处；其中所述构造模块113用于根据微调后的所述标记点构造出的凸多边形，以得到所述目标对象信息中的所述目标对象的边缘轮廓图。

进一步地，如图7所示，所述抠图模块11还可以包括相互可通信地连接的扣取模块114和二值化处理模块115，其中所述扣取模块114用于根据所述目标对象的边缘轮廓图，从所述原始图像中扣取出所述目标对象，以获得所述目标对象信息中的所述目标对象图；其中所述二值化处理模块115用于对该目标对象图进行二值化处理，以得到所述目标对象信息中的所述目标对象的二值图。

更进一步地，如图7所示，所述抠图模块11还可以包括一识别标注模块116，其中所述识别标注模块116用于识别并标注所述目标对象的类型，以得到所述目标对象信息中的所述目标对象的类型信息。

值得一提的是，在本发明的一示例中，如图7所示，所述基于抠图的样本增强系统10的所述融合模块12可以包括依次可通信地连接的一区域确定模块121、一加权融合模块122以及一平滑滤波模块123，其中所述区域确定模块121用于确定在所述背景图像上的对象融合区域；其中所述加权融合模块122用于将所述目标对象信息融合至所述背景图像中的所述对象融合区域，使得所述目标对象信息中所述目标对象图的像素点与所述对象融合区域内的像素点进行加权融合，以得到初始融合图像；其中所述平滑滤波模块123用于通过外扩所述对象融合区域，根据所述目标对象信息中所述目标对象的边缘轮廓图进行平滑滤波处理，以得到所述融合图像。

根据本发明的另一方面，本发明的一实施例进一步提供了一种深度学习模型的训练系统，用于基于含有目标对象的原始图像训练深度学习模型。具体地，如图8所示，所述深度学习模型的训练系统20包括依次可通信地连接的一抠图模块21、一融合模块22、一样本增强模块23以及一训练模块24，其中所述抠图模块21用于从所述包含目标对象的原始图像中扣取出目标对象信息；其中所述融合模块22用于通过在背景图像上对所述目标对象信息进行融合处理，得到融合图像；其中所述样本增强模块23用于通过对所述融合图像进行样本增强处理，获得所述含有目标对象的多个数据样本；其中所述训练模块24用于基于所述多个数据样本，训练所述深度学习模型。

示意性电子设备

下面，参考图9来描述根据本发明的一实施例的电子设备。如图9所示，电子设备90包括一个或多个处理器91和存储器92。

所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。

换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

在一个示例中，如图9所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。

该输出装置94可以向外部输出各种信息，包括分类结果等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

当然，为了简化，图9中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。

示意性计算程序产品

除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。

所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。

所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (16)

1.基于抠图的样本增强方法，其特征在于，包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；以及

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

2.如权利要求1所述的基于抠图的样本增强方法，其中，该目标对象信息包括目标对象图、目标对象的边缘轮廓图、目标对象的二值图以及目标对象的类型信息。

3.如权利要求2所述的基于抠图的样本增强方法，其中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，包括步骤：

基于该原始图像中该目标对象的轮廓线，确定一组标记点；

根据该标记点的局部邻域梯度信息，依次微调该标记点的位置至最大梯度值处；以及

根据微调后的该标记点构造出的凸多边形，以得到该目标对象信息中的该目标对象的边缘轮廓图。

4.如权利要求3所述的基于抠图的样本增强方法，其中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，进一步包括步骤：

根据该目标对象的边缘轮廓图，从该原始图像中扣取出该目标对象，以获得该目标对象信息中的该目标对象图；和

对该目标对象图进行二值化处理，以得到该目标对象信息中的该目标对象的二值图。

5.如权利要求4所述的基于抠图的样本增强方法，其中，所述从包含目标对象的原始图像中扣取出目标对象信息的步骤，进一步包括步骤：

识别并标注该目标对象的类型，以得到该目标对象信息中的该目标对象的类型信息。

6.如权利要求2至5中任一所述的基于抠图的样本增强方法，其中，所述通过在背景图像上对该目标对象信息进行融合处理，得到融合图像的步骤，包括步骤：

确定在该背景图像上的对象融合区域；

将该目标对象信息融合至该背景图像中的该对象融合区域，使得该目标对象信息中该目标对象图的像素点与该对象融合区域内的像素点进行加权融合，以得到初始融合图像；以及

通过外扩该对象融合区域，根据该目标对象信息中该目标对象的边缘轮廓图进行平滑滤波处理，以得到该融合图像。

7.如权利要求6所述的基于抠图的样本增强方法，其中，在所述确定在该背景图像上的对象融合区域的步骤中，在该背景图像上随机地划定或生成该对象融合区域。

8.深度学习模型的训练方法，其特征在于，包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

基于所述多个数据样本，训练深度学习模型。

9.基于抠图的样本增强系统，其特征在于，包括依次可通信地连接的：

一抠图模块，用于从包含目标对象的原始图像中扣取出目标对象信息；

一融合模块，用于通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；以及

一样本增强模块，用于通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本。

10.如权利要求9所述的基于抠图的样本增强系统，其中，该目标对象信息包括目标对象图、目标对象的边缘轮廓图、目标对象的二值图以及目标对象的类型信息。

11.如权利要求10所述的基于抠图的样本增强系统，其中，所述抠图模块包括依次可通信地连接的一标记确定模块、一微调模块以及一构造模块，其中所述标记确定模块用于基于该原始图像中该目标对象的轮廓线，确定一组标记点；其中所述微调模块用于根据该标记点的局部邻域梯度信息，依次微调该标记点的位置至最大梯度值处；其中所述构造模块用于根据微调后的该标记点构造出的凸多边形，以得到该目标对象信息中的该目标对象的边缘轮廓图。

12.如权利要求11所述的基于抠图的样本增强系统，其中，所述抠图模块进一步包括一扣取模块和与所述扣取模块可通信地连接的二值化处理模块，其中所述扣取模块用于根据该目标对象的边缘轮廓图，从该原始图像中扣取出该目标对象，以获得该目标对象信息中的该目标对象图；其中所述二值化处理模块用于对该目标对象图进行二值化处理，以得到该目标对象信息中的该目标对象的二值图。

13.如权利要求12所述的基于抠图的样本增强系统，其中，所述抠图模块进一步包括一识别标注模块，用于识别并标注该目标对象的类型，以得到该目标对象信息中的该目标对象的类型信息。

14.如权利要求9至13中任一所述的基于抠图的样本增强系统，其中，所述融合模块包括依次可通信地连接的一区域确定模块、一加权融合模块以及一平滑滤波模块，其中所述区域确定模块用于确定在该背景图像上的对象融合区域；其中所述加权融合模块用于将该目标对象信息融合至该背景图像中的该对象融合区域，使得该目标对象信息中该目标对象图的像素点与该对象融合区域内的像素点进行加权融合，以得到初始融合图像；其中所述平滑滤波模块用于通过外扩该对象融合区域，根据该目标对象信息中该目标对象的边缘轮廓图进行平滑滤波处理，以得到该融合图像。

15.深度学习模型的训练系统，用于基于含有目标对象的原始图像训练深度学习模型，其特征在于，其中所述深度学习模型的训练系统包括依次可通信地连接的：

一抠图模块，用于从该包含目标对象的原始图像中扣取出目标对象信息；

一融合模块，用于通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

一样本增强模块，用于通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

一训练模块，用于基于所述多个数据样本，训练该深度学习模型。

16.电子设备，其特征在于，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行深度学习模型的训练方法中的部分或全部步骤，其中所述深度学习模型的训练方法包括步骤：

从包含目标对象的原始图像中扣取出目标对象信息；

通过在背景图像上对该目标对象信息进行融合处理，得到融合图像；

通过对该融合图像进行样本增强处理，获得含有目标对象的多个数据样本；以及

基于所述多个数据样本，训练深度学习模型。

Images