CN110503146A - 数据增强方法、装置、计算设备及计算机存储介质 - Google Patents

数据增强方法、装置、计算设备及计算机存储介质 Download PDF

Info

Publication number
CN110503146A
CN110503146A CN201910775133.9A CN201910775133A CN110503146A CN 110503146 A CN110503146 A CN 110503146A CN 201910775133 A CN201910775133 A CN 201910775133A CN 110503146 A CN110503146 A CN 110503146A
Authority
CN
China
Prior art keywords
image
background
background image
mask
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910775133.9A
Other languages
English (en)
Other versions
CN110503146B (zh
Inventor
聂嘉栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Bi Zhi Technology Co Ltd
Original Assignee
Hangzhou Bi Zhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Bi Zhi Technology Co Ltd filed Critical Hangzhou Bi Zhi Technology Co Ltd
Priority to CN201910775133.9A priority Critical patent/CN110503146B/zh
Publication of CN110503146A publication Critical patent/CN110503146A/zh
Application granted granted Critical
Publication of CN110503146B publication Critical patent/CN110503146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种数据增强方法、装置、计算设备及计算机存储介质。其中，方法包括：随机生成N组掩模数据，基于N组掩模数据生成随机掩模；对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；对辅助图像进行背景提取处理，得到对应的第二背景图像；根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像；对第一前景图像及第三背景图像进行叠加处理，得到数据增强图像，通过多样化、丰富化、复杂化背景图像，达到在训练图像样本有限的情况下，利用数据增强后的图像所训练的目标检测模型还能够具有更强的适应性，有效提高目标检测模型的泛化能力，并且大幅提高目标检测模型的准确率。

Description

数据增强方法、装置、计算设备及计算机存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据增强方法、装置、计算设备及计算机存储介质。
背景技术
近几年中，基于深度学习所训练的目标检测模型在图像目标检测任务中取得了巨大成功。目标检测模型的性能在很大程度上依赖于海量的训练图像样本，然而在现实世界的应用中，很难获得大量有效的训练图像样本。
在深度学习的图像目标检测中，就会存在如下情况：在训练数据集较小的情况下，训练的目标检测模型在训练集上准确率很高，而在测试集或真正应用中的准确率相对较低，目标检测模型的泛化能力较差。为了克服上述问题，现有技术主要是通过对训练图像样本进行数据增强，以提高模型在测试集或真正应用中的准确率。大部分常见的数据增强方法都是通过对整张图进行透视变换、仿射变换、加噪声、调整颜色亮度等方式，或者对多张图以不同的权值混加在一起，这些数据增强方法在图像目标检测任务中很难产生预期有效的效果。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据增强方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种数据增强方法，包括：
随机生成N组掩模数据，基于N组掩模数据生成随机掩模；
对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；
对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，辅助图像为从训练图像样本中随机选取的一训练图像；
根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像；
对第一前景图像及第三背景图像进行叠加处理，得到数据增强图像。
根据本发明的另一方面，提供了一种数据增强装置，包括：
随机掩模生成模块，适于随机生成N组掩模数据，基于N组掩模数据生成随机掩模；
背景提取模块，适于对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；以及，对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，辅助图像为从训练图像样本中随机选取的一训练图像；
背景拼接模块，适于根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像；
前景叠加模块，适于对第一前景图像及第三背景图像进行前景叠加处理，得到数据增强图像。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述数据增强方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述数据增强方法对应的操作。
根据本发明提供的方案，随机生成N组掩模数据，基于N组掩模数据生成随机掩模；对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，辅助图像为从训练图像样本中随机选取的一训练图像；根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像；对第一前景图像及第三背景图像进行叠加处理，得到数据增强图像。本发明提供的数据增强方案，能够在不改变前景图像的情况下，来丰富前景图像对应的背景，通过使背景图像多样化、丰富化、复杂化，达到在训练图像样本有限的情况下，利用这些数据增强后的图像进行目标检测模型训练时，所训练的目标检测模型还能够具有更强的适应性，有效提高目标检测模型的泛化能力，并且大幅提高目标检测模型的准确率，从而克服了现有技术中由于训练图像样本有限，导致所训练的目标检测模型准确率低，模型泛化能力较差的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的数据增强方法的流程示意图；
图2A示出了根据本发明另一个实施例的数据增强方法的流程示意图；
图2B为随机掩模的示意图；
图2C为待增强训练图像的示意图；
图2D为第一前景图像的示意图；
图2E为第一背景图像的示意图；
图2F为辅助图像的示意图；
图2G为第二背景图像的示意图；
图2H第三背景图像的示意图；
图2I为数据增强图像的示意图；
图3示出了根据本发明一个实施例的数据增强装置的结构示意图；
图4示出了根据本发明一个实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的数据增强方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤S101，随机生成N组掩模数据，基于N组掩模数据生成随机掩模。
具体地，随机生成一个整数值N，其中，N的取值范围优选为[5,15]，然后，随机生成N组掩模数据，由于是随机生成了N组掩模组数，因此，根据N组掩模数据生成的随机掩模能够在生成第三背景图像，提升第三背景图像的丰富性。
步骤S102，对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像。
待增强训练图像是从训练图像样本选取的一个训练图像，是需要对该图像中的前景图像对应的背景图像进行增强处理的图像。
本实施例的目的是丰富待增强训练图像中的前景图像的背景，以通过更丰富的背景来有效提高目标检测模型的泛化能力，因此，并不会对待增强训练图像中的前景图像作出改变，这样就需要从待增强训练图像中提取出前景图像，另外，本实施例并不是毫无章法的进行背景多样化、丰富化处理，在进行背景多样化丰富化处理时，还需要考虑待增强训练图像中的背景图像，因此，可以对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像。
步骤S103，对辅助图像进行背景提取处理，得到对应的第二背景图像。
其中，辅助图像为从训练图像样本中随机选取的一训练图像，是从除待增强训练图像以外的训练图像样本中随机选取的一个训练图像，这里辅助图像是相对概念，例如，本次被选为辅助图像的训练图像可能在下一次处理时，被选为待增强训练图像。
在本实施例中，是利用辅助图像的背景图像对待增强训练图像中的前景图像做背景增强处理，因此，在本步骤中可以只提取出辅助图像的背景图像，具体地，对辅助图像进行背景提取处理，得到对应的第二背景图像。
步骤S104，根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像。
随机掩模用于随机地改变第一前景图像以外的背景区域的内容，因此，在根据步骤S102提取出第一背景图像以及根据步骤S103提取出第二背景图像之后，可以根据随机掩模来对第一背景图像及第二背景图像进行背景拼接处理，主要是随机地决定所生成的第三背景图像中哪些区域使用第一背景图像的内容，哪些区域使用第二背景图像的内容。
步骤S105，对第一前景图像及第三背景图像进行叠加处理，得到数据增强图像。
本实施例的数据增强方法是使一张图像中的前景图像对应的背景图像变得更丰富，但是并不对前景图像作出任何改变，即保持前景图像不变，因此，在根据步骤S104生成第三背景图像之后，还需要将步骤S102中提取出的第一前景图像与步骤S104中的第三背景图像进行叠加处理，通过叠加处理使得第三背景图像成为第一前景图像的背景图像，这样就丰富了第一前景图像的背景图像，叠加后的图像为数据增强图像。数据增强图像具有多样化、丰富化的特点，因此，能够在目标检测模型训练时，提高模型的泛化能力，提高模型的准确率。
本发明提供的数据增强方案，能够在不改变前景图像的情况下，来丰富前景图像对应的背景，通过使背景图像多样化、丰富化、复杂化，达到在训练图像样本有限的情况下，利用这些数据增强后的图像进行目标检测模型训练时，所训练的目标检测模型还能够具有更强的适应性，有效提高目标检测模型的泛化能力，并且大幅提高目标检测模型的准确率，从而克服了现有技术中由于训练图像样本有限，导致所训练的目标检测模型准确率低，模型泛化能力较差的问题。
图2A示出了根据本发明另一个实施例的数据增强方法的流程示意图。如图2A所示，该方法包括以下步骤：
步骤S201，随机生成N组掩模数据，其中，掩模数据包含坐标值及颜色值。
具体地，随机生成一个整数值N，其中，N的取值范围优选为[5,15]，然后，随机生成N组掩模数据，其中，掩模数据包含坐标值及颜色值，例如，掩模数据为(xmin,ymin,xmax,ymax,color)，其中，(xmin,ymin,xmax,ymax)为坐标值，color为颜色值，指定了在灰度值为第一阈值的灰度图上绘制的色块的灰度值，颜色值的取值范围为[0,255]。
步骤S202，针对N组掩模数据，分别根据相应的掩模数据中的坐标值及颜色值在N个灰度值为第一阈值的灰度图上绘制对应颜色值的色块，得到N个掩模。
具体地，每组掩模数据中的坐标值(xmin,ymin,xmax,ymax)指定了色块的大小和位置，根据坐标值(xmin,ymin,xmax,ymax)可以确定四个坐标点(xmin,ymin)、(xmin,ymax)、(xmax,ymin)、(xmax,ymax)，根据四个坐标点(xmin,ymin)、(xmin,ymax)、(xmax,ymin)、(xmax,ymax)可以在灰度值为第一阈值的灰度图上绘制对应颜色值的色块，在本实施例中生成了N组掩模数据，因此，针对每组掩模数据，分别在灰度值为第一阈值的灰度图上将会绘制一个色块，其中，第一阈值为128，也就是说，是在灰度值为128的灰度图上绘制相应的色块，对于N组掩模数据，将在N个灰度值为第一阈值的灰度图上将会绘制色块，在绘制完色块后，得到N个掩模。举例说明，掩模数据为(10,20,100,200,11)，那么就是在灰度值为第一阈值的灰度图上绘制从左上角(10,20)到右下角(100,200)，灰度值为11的色块，绘制完色块后，得到相应的掩模；掩模数据为(15,25,100,200,158)，那么就是在灰度值为第一阈值的灰度图上绘制从左上角(15,25)到右下角(100,200)，灰度值为158的色块，绘制完色块后，得到相应的掩模，这里仅是举例说明，不具有任何限定作用。
步骤S203，对N个掩模的颜色值求均值，并利用第一阈值对均值处理后的掩模进行二值化处理，得到随机掩模。
在得到N个掩模后，对N个掩模的颜色值求均值，具体地，对N个掩模中对应像素的像素值(颜色值)求和，再利用求和值除以N，便得到该像素的最终值，对所有像素都进行上述处理，最后得到求均值后的掩模，然后，利用第一阈值对均值处理后的掩模进行二值化处理，具体地，将求均值后的掩模的颜色值与第一阈值进行比较，若掩模的颜色值大于第一阈值，则将对应的像素赋值为255，若掩模的颜色值小于或等于第一阈值，则将对应的像素赋值为0，得到随机掩模，如图2B所示。
由于N组掩模数据是随机生成的，使得基于N组掩模数据所绘制的N个色块的位置是随机的，从而最终生成的随机掩模的形状是随机的，从而有利于进行数据增强处理。
步骤S204，基于前景框位置标注信息从待增强训练图像中提取出第一前景图像。
本步骤中的待增强训练图像以及步骤S206中提到的辅助图像都是从训练图像样本中所选取的，训练图像样本中的所有训练图像都具有相同的大小，可以是经过归一化处理后，使得所有训练图像都具有相同的大小。
训练图像样本是经过标注处理的，在训练图像样本中标注了前景框的位置信息，即，标注出训练图像样本中哪部分是前景图像，因此，在本步骤中，可以基于前景框位置标注信息从待增强训练图像中提取出第一前景图像。其中，第一前景图像与待增强训练图像大小相同。
步骤S205，基于前景框位置标注信息，利用第一阈值对待增强训练图像中的前景图像进行填充处理，得到第一背景图像。
在待增强训练图像中，除了前景图像，该图像中的其余部分均为背景图像，本步骤是从待增强图像中提取出第一背景图像，那么就需要所提取出的第一背景图像中不包含前景图像，因此，可以基于前景框位置标注信息，利用第一阈值对待增强训练图像中的前景图像进行填充处理，即，将待增强训练图像中的前景图像对应的区域填充为灰度值为第一阈值的色块，得到第一背景图像。其中，第一背景图像与待增强训练图像大小相同。
举例说明，待增强训练图像如图2C所示，其中，啤酒瓶盖为待增强训练图像的前景图像，其余部分为待增强训练图像的背景图像，根据步骤S204和步骤S205对待增强训练图像进行背景提取处理，得到的第一前景图像如图2D所示，第一背景图像如图2E所示。
步骤S206，基于前景框位置标注信息，利用第一阈值对辅助图像中的前景图像进行填充处理，得到第二背景图像。
其中，辅助图像为从训练图像样本中随机选取的一训练图像，是从除待增强训练以外的训练图像样本中随机选取的一个训练图像，这里辅助图像是相对概念，例如，本次被选为辅助图像的训练图像可能在下一次处理时，被选为待增强训练图像，既然是从训练图像样本中选取的图像，那么对于辅助图像而言，同样也会对前景图像进行标注。
在本实施例中，是利用辅助图像的背景图像对待增强训练图像中的前景图像做背景增强处理，因此，在本步骤中可以只提取出辅助图像的背景图像，具体地，基于前景框位置标注信息，利用第一阈值对辅助图像中的前景图像进行填充处理，得到第二背景图像，例如，将辅助图像中的前景图像对应的区域填充为灰度值为第一阈值的色块，得到第二背景图像。其中，第二背景图像与辅助图像大小相同。
举例说明，辅助图像如图2F所示，其中，啤酒瓶盖为辅助图像的前景图像，其余部分为辅助图像的背景图像，根据步骤S206辅助图像进行背景提取处理，得到的第二背景图像如图2G所示。
步骤S207，根据随机掩模的像素值进行背景图像选择处理。
步骤S208，若随机掩模的像素值为第二阈值，则选择第一背景图像；若随机掩模的像素值为第三阈值，则选择第二背景图像，得到第三背景图像。
在本实施例中，随机掩模的大小与第一背景图像、第二背景图像大小相同，在进行背景拼接处理时，是根据随机掩模的像素值进行背景图像选择处理，若随机掩模的像素值为第二阈值，则选择第一背景图像；若随机掩模的像素值为第三阈值，则选择第二背景图像，得到第三背景图像，举例说明，根据步骤S203得到的随机掩模对步骤S205中的第一背景图像和步骤S206中的第二背景图像进行背景拼接处理，随机掩模的像素值是255，该像素的像素内容对应着图2E中第一背景图像相应的像素内容；随机掩模的像素值是0，该像素的像素内容对应着图2G中第二背景图像相应的像素内容，逐像素的进行上述拼接处理，得到的第三背景图像如图2H所示。
虽然是使背景图像变得多样、复杂，但是这种多样性还是基于训练图像样本本身，并不是毫无章法的多样性，比如啤酒盖周边的背景，并不会是蓝天大海，而还是其他酒的瓶身等等。
步骤S209，将第一前景图像与第三背景图像进行逐像素对比，基于比对结果将第一前景图像粘贴至第三背景图像相应位置，得到数据增强图像。
在生成第三背景图像后背景多样化、丰富化处理过程结束，背景多样化、丰富化的目的还是为了能够更好地训练目标检测模型，因此，还需要将第一前景图像与第三背景图像叠加以形成完整的图像，具体地，将第一前景图像与第三背景图像进行逐像素对比，这就要求第一前景图像与第三背景图像是同样大小的，如果不是同样大小，需要进行缩放处理以缩放到同样大小，基于比对结果将第一前景图像粘贴至第三背景图像相应位置，得到数据增强图像。
举例说明，将图2D所示的第一前景图像与图2H所示第三背景图像进行逐像素对比，基于比对结果将第一前景图像粘贴至第三背景图像相应位置，得到数据增强图像，如图2I所示。
这里进行逐像素对比是为了使第一前景图像的位置不发生变化，即，第一前景图像在原待增强训练图像中的位置，与在叠加处理后所得到的数据增强图像中的位置相同。
在不改变前景图像的情况下，使前景图像对应的背景图像变得多样、复杂，从而更有利于提高目标检测模型的适应性、泛化能力。
步骤S210，基于数据增强图像进行目标检测模型训练，以根据训练得到目标检测模型进行目标检测。
在得到数据增强图像后，将数据增强图像作为训练图像样本进行训练，得到目标检测模型，然后利用所训练得到的目标检测模型进行目标检测，从而提升了目标检测的准确率。
对于图像目标检测任务而言，目标检测模型的泛化能力不仅与前景图像相关，也与前景图像周边的背景图像相关，因此通过丰富北京图像能够有效地提高模型的泛化能力，提高目标检测的适应性及准确率。
图2B-图2I所示的图例仅是示意性说明，以便于理解本发明提供的数据增强方法，本发明提供的方法并不仅限于应用于该场景，还可以用于对其他场景进行数据增强。
本发明提供的数据增强方案，由于是随机生成掩模，因此，利用该随机掩模进行数据增强处理，能够有效地提升背景的多样化；还能够在不改变前景图像的情况下，来丰富前景图像对应的背景，通过使背景图像多样化、丰富化、复杂化，达到在训练图像样本有限的情况下，利用这些数据增强后的图像进行目标检测模型训练时，所训练的目标检测模型还能够具有更强的适应性，有效提高目标检测模型的泛化能力，并且大幅提高目标检测模型的准确率，从而克服了现有技术中由于训练图像样本有限，导致所训练的目标检测模型准确率低，模型泛化能力较差的问题。
图3示出了根据本发明一个实施例的数据增强装置的结构示意图。如图3所示，该装置包括：随机掩模生成模块301、背景提取模块302、背景拼接模块303、前景叠加模块304。
随机掩模生成模块301，适于随机生成N组掩模数据，基于N组掩模数据生成随机掩模；
背景提取模块302，适于对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；以及，对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，辅助图像为从训练图像样本中随机选取的一训练图像；
背景拼接模块303，适于根据随机掩模，对第一背景图像及第二背景图像进行背景拼接处理，得到第三背景图像；
前景叠加模块304，适于对第一前景图像及第三背景图像进行前景叠加处理，得到数据增强图像。
可选地，背景提取模块进一步适于：基于前景框位置标注信息从待增强训练图像中提取出第一前景图像；
基于前景框位置标注信息，利用第一阈值对待增强训练图像中的前景图像进行填充处理，得到第一背景图像。
可选地，背景提取模块进一步适于：基于前景框位置标注信息，利用第一阈值对辅助图像中的前景图像进行填充处理，得到第二背景图像。
可选地，背景拼接模块进一步适于：根据随机掩模的像素值进行背景图像选择处理；
若随机掩模的像素值为第二阈值，则选择第一背景图像；若随机掩模的像素值为第三阈值，则选择第二背景图像，得到第三背景图像。
可选地，前景叠加模块进一步适于：将第一前景图像与第三背景图像进行逐像素对比，基于比对结果将第一前景图像粘贴至第三背景图像相应位置，得到数据增强图像。
可选地，掩模数据包含坐标值及颜色值；
随机掩模生成模块进一步适于：针对N组掩模数据，分别根据相应的掩模数据中的坐标值及颜色值在N个灰度值为第一阈值的灰度图上绘制对应颜色值的色块，得到N个掩模；
对N个掩模的颜色值求均值，并利用第一阈值对均值处理后的掩模进行二值化处理，得到随机掩模。
可选地，装置还包括：训练模块，适于基于数据增强图像进行目标检测模型训练，以根据训练得到目标检测模型进行目标检测。
本发明提供的数据增强方案，能够在不改变前景图像的情况下，来丰富前景图像对应的背景，通过使背景图像多样化、丰富化、复杂化，达到在训练图像样本有限的情况下，利用这些数据增强后的图像进行目标检测模型训练时，所训练的目标检测模型还能够具有更强的适应性，有效提高目标检测模型的泛化能力，并且大幅提高目标检测模型的准确率，从而克服了现有技术中由于训练图像样本有限，导致所训练的目标检测模型准确率低，模型泛化能力较差的问题。
本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据增强方法。
图4示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述数据增强方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述任意方法实施例中的数据增强方法。程序410中各步骤的具体实现可以参见上述数据增强实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据增强设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据增强方法，包括：
随机生成N组掩模数据，基于所述N组掩模数据生成随机掩模；
对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；
对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，所述辅助图像为从训练图像样本中随机选取的一训练图像；
根据所述随机掩模，对所述第一背景图像及所述第二背景图像进行背景拼接处理，得到第三背景图像；
对第一前景图像及第三背景图像进行叠加处理，得到数据增强图像。
2.根据权利要求1所述的方法，其中，所述对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像进一步包括：
基于前景框位置标注信息从待增强训练图像中提取出第一前景图像；
基于前景框位置标注信息，利用第一阈值对待增强训练图像中的前景图像进行填充处理，得到第一背景图像。
3.根据权利要求1或2所述的方法，其中，所述对辅助图像进行背景提取处理，得到对应的第二背景图像进一步包括：
基于前景框位置标注信息，利用第一阈值对辅助图像中的前景图像进行填充处理，得到第二背景图像。
4.根据权利要求1或2所述的方法，其中，根据所述随机掩模，对所述第一背景图像及所述第二背景图像进行背景拼接处理，得到第三背景图像进一步包括：
根据随机掩模的像素值进行背景图像选择处理；
若随机掩模的像素值为第二阈值，则选择第一背景图像；若随机掩模的像素值为第三阈值，则选择第二背景图像，得到第三背景图像。
5.根据权利要求1或2所述的方法，其中，所述对第一前景图像及第三背景图像进行前景叠加处理，得到数据增强图像进一步包括：
将第一前景图像与第三背景图像进行逐像素对比，基于比对结果将第一前景图像粘贴至第三背景图像相应位置，得到数据增强图像。
6.根据权利要求1或2所述的方法，其中，掩模数据包含坐标值及颜色值；
所述基于N组掩模数据生成随机掩模进一步包括：
针对N组掩模数据，分别根据相应的掩模数据中的坐标值及颜色值在N个灰度值为第一阈值的灰度图上绘制对应颜色值的色块，得到N个掩模；
对N个掩模的颜色值求均值，并利用第一阈值对均值处理后的掩模进行二值化处理，得到随机掩模。
7.根据权利要求1或2所述的方法，其中，在得到数据增强图像之后，所述方法还包括：基于所述数据增强图像进行目标检测模型训练，以根据训练得到目标检测模型进行目标检测。
8.一种数据增强装置，包括：
随机掩模生成模块，适于随机生成N组掩模数据，基于所述N组掩模数据生成随机掩模；
背景提取模块，适于对待增强训练图像进行背景提取处理，得到对应的第一背景图像、第一前景图像；以及，对辅助图像进行背景提取处理，得到对应的第二背景图像，其中，所述辅助图像为从训练图像样本中随机选取的一训练图像；
背景拼接模块，适于根据所述随机掩模，对所述第一背景图像及所述第二背景图像进行背景拼接处理，得到第三背景图像；
前景叠加模块，适于对第一前景图像及第三背景图像进行前景叠加处理，得到数据增强图像。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据增强方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据增强方法对应的操作。
CN201910775133.9A 2019-08-21 2019-08-21 数据增强方法、装置、计算设备及计算机存储介质 Active CN110503146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775133.9A CN110503146B (zh) 2019-08-21 2019-08-21 数据增强方法、装置、计算设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775133.9A CN110503146B (zh) 2019-08-21 2019-08-21 数据增强方法、装置、计算设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110503146A true CN110503146A (zh) 2019-11-26
CN110503146B CN110503146B (zh) 2021-12-14

Family

ID=68588782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775133.9A Active CN110503146B (zh) 2019-08-21 2019-08-21 数据增强方法、装置、计算设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110503146B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797923A (zh) * 2020-07-03 2020-10-20 北京阅视智能技术有限责任公司 图像分类模型的训练方法、图像分类的方法及装置
CN112396569A (zh) * 2020-12-02 2021-02-23 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112669204A (zh) * 2021-01-04 2021-04-16 北京金山云网络技术有限公司 图像处理方法、图像处理模型的训练方法和装置
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113486941A (zh) * 2021-06-30 2021-10-08 广州方硅信息技术有限公司 直播图像的训练样本生成方法、模型训练方法及电子设备
CN113536960A (zh) * 2021-06-23 2021-10-22 浙江吉利控股集团有限公司 训练图像生成、定位检测网络训练、定位检测方法及装置
CN114581740A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 一种断路器试验图像增强方法、装置、设备及存储介质
CN112669204B (zh) * 2021-01-04 2024-05-03 北京金山云网络技术有限公司 图像处理方法、图像处理模型的训练方法和装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN108256473A (zh) * 2018-01-17 2018-07-06 北京绽放时代科技有限公司 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN108304850A (zh) * 2017-01-13 2018-07-20 中兴通讯股份有限公司 图像数据的扩充方法及装置
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN108898547A (zh) * 2018-06-27 2018-11-27 太原理工大学 一种基于单样本的人脸图像虚拟样本扩充方法及系统
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
CN108986185A (zh) * 2018-08-01 2018-12-11 浙江深眸科技有限公司 基于深度学习的图像数据扩增方法
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN109255767A (zh) * 2018-09-26 2019-01-22 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109325532A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种小样本下扩充数据集的图像处理方法
CN109341580A (zh) * 2018-10-30 2019-02-15 中国铁道科学研究院集团有限公司基础设施检测研究所 钢轨廓形的追踪方法、系统及装置
CN109377502A (zh) * 2018-10-15 2019-02-22 深圳市中科明望通信软件有限公司 一种图像处理方法、图像处理装置及终端设备
CN109544560A (zh) * 2018-10-31 2019-03-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109598772A (zh) * 2018-11-23 2019-04-09 华南理工大学 基于架空输电线路单一缺陷自动标注图片数据源扩充方法
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置
US10322510B2 (en) * 2017-03-03 2019-06-18 Futurewei Technologies, Inc. Fine-grained object recognition in robotic systems
CN109977983A (zh) * 2018-05-07 2019-07-05 广州逗号智能零售有限公司 获得训练图像的方法及装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法
CN108304850A (zh) * 2017-01-13 2018-07-20 中兴通讯股份有限公司 图像数据的扩充方法及装置
US10322510B2 (en) * 2017-03-03 2019-06-18 Futurewei Technologies, Inc. Fine-grained object recognition in robotic systems
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108154518A (zh) * 2017-12-11 2018-06-12 广州华多网络科技有限公司 一种图像处理的方法、装置、存储介质及电子设备
CN108256473A (zh) * 2018-01-17 2018-07-06 北京绽放时代科技有限公司 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN109977983A (zh) * 2018-05-07 2019-07-05 广州逗号智能零售有限公司 获得训练图像的方法及装置
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN108898547A (zh) * 2018-06-27 2018-11-27 太原理工大学 一种基于单样本的人脸图像虚拟样本扩充方法及系统
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN108986185A (zh) * 2018-08-01 2018-12-11 浙江深眸科技有限公司 基于深度学习的图像数据扩增方法
CN109325532A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种小样本下扩充数据集的图像处理方法
CN109255767A (zh) * 2018-09-26 2019-01-22 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109377502A (zh) * 2018-10-15 2019-02-22 深圳市中科明望通信软件有限公司 一种图像处理方法、图像处理装置及终端设备
CN109341580A (zh) * 2018-10-30 2019-02-15 中国铁道科学研究院集团有限公司基础设施检测研究所 钢轨廓形的追踪方法、系统及装置
CN109544560A (zh) * 2018-10-31 2019-03-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109598772A (zh) * 2018-11-23 2019-04-09 华南理工大学 基于架空输电线路单一缺陷自动标注图片数据源扩充方法
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHONG Z 等: "Random erasing data augmentation", 《ARXIV》 *
张焕朗: "基于监控系统的人脸跟踪与人脸识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王子昊: "深度学习在输电铁塔关键部件缺陷检测中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797923A (zh) * 2020-07-03 2020-10-20 北京阅视智能技术有限责任公司 图像分类模型的训练方法、图像分类的方法及装置
CN112396569A (zh) * 2020-12-02 2021-02-23 北京皮尔布莱尼软件有限公司 一种对图像进行数据增强的方法
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112669204A (zh) * 2021-01-04 2021-04-16 北京金山云网络技术有限公司 图像处理方法、图像处理模型的训练方法和装置
CN112669204B (zh) * 2021-01-04 2024-05-03 北京金山云网络技术有限公司 图像处理方法、图像处理模型的训练方法和装置
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113012176B (zh) * 2021-03-17 2023-12-15 阿波罗智联(北京)科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113536960A (zh) * 2021-06-23 2021-10-22 浙江吉利控股集团有限公司 训练图像生成、定位检测网络训练、定位检测方法及装置
CN113486941A (zh) * 2021-06-30 2021-10-08 广州方硅信息技术有限公司 直播图像的训练样本生成方法、模型训练方法及电子设备
CN114581740A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 一种断路器试验图像增强方法、装置、设备及存储介质
CN114581740B (zh) * 2022-05-09 2022-07-26 广东电网有限责任公司佛山供电局 一种断路器试验图像增强方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110503146B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN110503146A (zh) 数据增强方法、装置、计算设备及计算机存储介质
CN105046213B (zh) 一种增强现实的方法
CN108664981B (zh) 显著图像提取方法及装置
US20170161592A1 (en) System and method for object detection dataset application for deep-learning algorithm training
Saltori et al. Cosmix: Compositional semantic mix for domain adaptation in 3d lidar segmentation
CN108364023A (zh) 基于注意力模型的图像识别方法和系统
CN105120185B (zh) 一种视频图像抠像方法与装置
CN112907530B (zh) 基于分组反向注意力的伪装物体检测方法及系统
CN109919209A (zh) 一种领域自适应深度学习方法及可读存储介质
CN107590811B (zh) 基于场景分割的风景图像处理方法、装置及计算设备
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110047122A (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN109949693A (zh) 一种地图绘制方法、装置、计算设备及存储介质
CN110399760A (zh) 一种批量二维码定位方法、装置、电子设备及存储介质
CN110210480A (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
CN113658044A (zh) 提高图像分辨率的方法、系统、装置及存储介质
CN115439702A (zh) 一种基于频域处理的弱噪声图像分类方法
CN109377552A (zh) 图像遮挡计算方法、装置、计算设备及存储介质
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN104978720A (zh) 一种视频图像雨滴去除方法及装置
CN114882220B (zh) 基于域自适应先验知识引导gan的图像生成方法及系统
CN102306097B (zh) 一种在MultiGen-Vega中对场景图进行实时图像处理的方法
CN110060285A (zh) 一种基于surf算法的遥感图像配准方法及系统
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN109902634A (zh) 一种基于神经网络的视频分类方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Data augmentation methods, devices, computing devices, and computer storage media

Effective date of registration: 20231108

Granted publication date: 20211214

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: HANGZHOU BIZHI TECHNOLOGY Co.,Ltd.

Registration number: Y2023980064447