CN111415293A - 基于图像目标-背景变换的数据集增强方法及系统 - Google Patents
基于图像目标-背景变换的数据集增强方法及系统 Download PDFInfo
- Publication number
- CN111415293A CN111415293A CN202010171324.7A CN202010171324A CN111415293A CN 111415293 A CN111415293 A CN 111415293A CN 202010171324 A CN202010171324 A CN 202010171324A CN 111415293 A CN111415293 A CN 111415293A
- Authority
- CN
- China
- Prior art keywords
- image
- background
- frame
- prediction frame
- target prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000002372 labelling Methods 0.000 claims abstract description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 17
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于图像目标‑背景变换的数据集增强方法及系统。方法包括：对含有真实标注框的图像进行分割，获得图像的前景目标预测框；计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；将图像的背景区域替换为对应位置区域的背景图像内容。本发明通过目标‑背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于图像目标-背景变换的数据集增强方法及系统。
背景技术
现如今，深度学习技术发展日益成熟。作为大数据处理与分析的最好方法之一，深度学习在各行各业的应用范围逐渐广泛并落地，促进了包括客服、门店、仓储、配送等在内的一系列新零售企业的发展。在实际应用中，获取效果更佳的深度学习模型。通常会采集对应场景下大量的数据进行训练学习。如在新零售门店应用场景中，对固定监控摄像头场景下的移动人体进行识别，首先收集该应用场景下的大量数据，标注出人体目标后将其作为训练集进行训练。但在该场景下，由于采集设备安装固定，采集的大量图像背景相同，导致数据集背景缺乏多样性。与传统机器学习方法相比，虽然深度学习更善于挖掘多维数据中错综复杂的关系，取得更为理想的结果，但其模型的精度更加依赖训练数据，包括训练数据的质量、数量、目标类别平衡性以及多样性等。如直接将存在大量背景相同的数据集作为训练集进行训练，由于背景单一简单，即作为负样本的背景学习难度低，极其容易得到背景过拟合的模型。
为解决模型过拟合的问题，在数据集方面，绝大数相关论文和企业应用通过对原始图像数据进行如几何变换（平移、旋转、翻转）、亮度和对比度随机调整等，实现图像增强。这些图像方法虽然可以在一定程度上增加多样性，但就其本质而言，背景和目标物体的语义关系并没有改变，很难实现背景和目标的多样性，从根本上解决新零售应用场景中的背景过拟合问题。此外，也有基于用生成对抗网络生成训练样本的方法，GAN模型的训练过于复杂，图像中的目标和背景信息也不准确，即缺乏细节信息。
发明内容
鉴于此，本发明的目的在于提供一种基于图像目标-背景变换的数据集增强方法及系统，通过目标-背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题。
为了实现上述目的，本发明提供如下技术方案：
本发明提供一种基于图像目标-背景变换的数据集增强方法，所述基于图像目标-背景变换的数据集增强方法包括：
对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；
将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；
将图像的背景区域替换为对应位置区域的背景图像内容。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对含有真实标注框的图像进行分割，获得图像的前景目标预测框，包括：
利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述判断前景目标预测框是否为正确预测，包括：
判断前景目标预测框和真实标注框的交并比是否大于特定值，所述特定值不小于0.5；
若是，则认为前景目标预测框为正确预测；
若否，则认为前景目标预测框为错误预测。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对前景目标预测框区域的内容进行仿射变换，包括：
按照设定系数对前景目标预测框区域的内容进行缩放；
和/或对前景目标预测框区域的内容进行翻转；
和/或对前景目标预测框区域的内容进行旋转；
变换后的前景目标预测框区域位置相对于原图像中心位置保持不变。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合，包括：
使用差值算法将背景图像处理至与原图像相同大小；
对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；
将前景目标预测框区域与对应的背景区域按照新的目标概率矩阵进行线性融合，计算公式如下：
其中，p为新的目标概率矩阵，xj为目标xi对应位置的背景区域。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述对真实标注框区域的内容进行仿射变换，包括：
按照设定系数对真实标注框区域的内容进行缩放；
和/或对真实标注框区域的内容进行翻转；
和/或对真实标注框区域的内容进行旋转；
变换后的真实标注框区域位置相对于原图像中心位置保持不变。
在上述的基于图像目标-背景变换的数据集增强方法中，作为优选方案，所述将图像的背景区域替换为对应位置区域的背景图像内容，包括：
若前景目标预测框为正确预测，将前景目标预测框之外的区域替换为对应位置区域的背景图像内容；
若前景目标预测框为错误预测，将真实标注框之外的区域替换为对应位置区域的背景图像内容。
本发明还提供一种基于图像目标-背景变换的数据集增强系统，所述基于图像目标-背景变换的数据集增强系统包括：
图像分割模块，所述图像分割模块用于对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
判断模块，所述判断模块用于计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
变换模块，所述变换模块用于对前景目标预测框或真实标注框区域的内容进行仿射变换；
线性融合模块，所述线性融合模块用于将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
背景替换模块，所述背景替换模块用于将图像的背景区域替换为对应位置区域的背景图像内容。
在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述变换模块包括：
缩放模块，所述缩放模块用于按照设定系数对前景目标预测框或真实标注框区域的内容进行缩放；和/或
翻转模块，所述翻转模块用于对前景目标预测框或真实标注框区域的内容进行翻转；和/或
选择模块，所述选择模块用于对前景目标预测框或真实标注框区域的内容进行旋转。
在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述图像分割模块包括：
第一概率矩阵获取模块，所述第一概率矩阵获取模块用于对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
前景目标预测框获取模块，所述前景目标预测框获取模块用于根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)，获取前景目标预测框；
所述线性融合模块包括：
背景图像大小处理模块，所述背景图像大小处理模块用于使用差值算法将背景图像处理至与原图像相同大小；
第二概率矩阵获取模块，所述第二概率矩阵获取模块用于对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵。
与最接近的现有技术相比，本发明提供的技术方案具有如下有益效果：
本发明提供一种基于图像目标-背景变换的数据集增强方法，具有如下优点：
1.本发明提供一种基于图像目标-背景变换的数据集增强方法，在数据生成方面，可以针对同一幅图像中的多个目标构建多种尺度关系，从而节约成本，提高效率，促进训练样本的多样性；
2.本发明提供一种基于图像目标-背景变换的数据集增强方法，在数据生成的方法上，本发明相比于其它的方法更加简洁高效，使得背景和目标的关系分布均匀且多样化；
3.本发明提供一种基于图像目标-背景变换的数据集增强方法，节约人力成本，获取目标和背景的关系多样化的数据，在训练过程中，随机构建具有新背景的图像，可以重新构建新的目标和背景间的关系，使得数据分布更加均匀。
本发明还提供一种基于图像目标-背景变换的数据集增强系统，其有益效果与基于图像目标-背景变换的数据集增强方法类似，不再赘述。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。其中：
图1是本发明实施例所提供的基于图像目标-背景变换的数据集增强方法的流程示意图；
图2是本发明实施例所提供的基于图像目标-背景变换的数据集增强方法另一实施方式的流程示意图；
图3是本发明实施例所提供的基于图像目标-背景变换的数据集增强系统的框架图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明中使用的术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明提出一种图像目标变换和背景切换的数据集增强方法，通过目标-背景自动分析与切换技术，形成具有新的背景和目标关系的图像，增加训练过程中数据的多样性，解决背景过拟合的问题，基于图像目标-背景变换的数据集增强方法包括以下步骤：
步骤S1、对含有真实标注框的图像进行分割，获得图像的前景目标预测框。
步骤S2、计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测。
步骤S3、对前景目标预测框或真实标注框区域的内容进行仿射变换。
若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换，之后进行步骤S4；
若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换，之后直接进行步骤S5。
步骤S4、将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合。
步骤S5、将图像的背景区域替换为对应位置区域的背景图像内容。
如图1所示，图1是本发明实施例所提供的基于图像目标-背景变换的数据集增强方法的流程示意图；本发明提供了一种基于图像目标-背景变换的数据集增强方法，所述基于图像目标-背景变换的数据集增强方法具体包括以下步骤：
步骤S101、对原图像进行分割得到目标概率矩阵。
利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P。
步骤S102、获取原图像的前景目标预测框。
根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)，左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)之间的矩形区域即为前景目标预测框。
步骤S103、计算前景目标预测框和真实标注框的交并比。
步骤S104、判断前景目标预测框预测的预测是否正确。
判断前景目标预测框和真实标注框的交并比是否大于特定值，所述特定值不小于0.5；
若是，则认为前景目标预测框为正确预测，进行下一步骤；
若否，则认为前景目标预测框为错误预测，直接进行步骤S107。
步骤S105、对前景目标预测框区域的内容进行仿射变换。
变换的内容包括缩放、翻转、旋转等，即按照设定系数对前景目标预测框区域的内容进行缩放，和/或对前景目标预测框区域的内容进行翻转，和/或对前景目标预测框区域的内容进行旋转。变换后的前景目标预测框区域位置相对于原图像中心位置保持不变。
步骤S106、将前景目标预测框与背景图像进行线性融合。
将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合：
首先，使用差值算法将背景图像处理至与原图像相同大小；
其次，对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；
再者，将前景目标预测框区域与对应的背景区域按照新的目标概率矩阵进行线性融合，计算公式如下：
其中，p为新的目标概率矩阵，xj为目标xi对应位置的背景区域。在步骤S106进行完之后，直接进行步骤S108。
步骤S107、对真实标注框区域的内容进行仿射变换。
变换的内容包括缩放、翻转、旋转等，即按照设定系数对真实标注框区域的内容进行缩放，和/或对真实标注框区域的内容进行翻转，和/或对真实标注框区域的内容进行旋转。变换后的真实标注框区域位置相对于原图像中心位置保持不变。
步骤S108、将图像的背景区域替换为对应位置区域的背景图像内容。
若前景目标预测框为正确预测，将前景目标预测框之外的区域替换为对应位置区域的背景图像内容；
若前景目标预测框为错误预测，将真实标注框之外的区域替换为对应位置区域的背景图像内容。
如图2所示，图2是本发明实施例所提供的基于图像目标-背景变换的数据集增强方法另一实施方式的流程示意图；本实施例的基于图像目标-背景变换的数据集增强方法在实际应用过程中，主要按照以下步骤进行操作，具体如下：
预先准备一张待分割图像A，图像A含有真实标注框G，一张待融合的背景图像B。
S201：使用公开的MaskRCNN模型对待分割图像A进行分割，获得目标概率矩阵P，即判断为某一类别的概率矩阵，由目标概率矩阵P的坐标可得到目标检测预测框Box的左上角坐标（xmin,ymin）和右下角坐标(xmax,ymax)；
S202：计算前景目标预测框和真实标注框的交并比，用于判断当前预测框是否为正确的预测；
S203：判定前景目标预测框和真实标注框的交并比是否大于threshold_IOU（threshold_IOU不小于0.5）。若是，则执行S205；否则，执行S206。
S204：对前景目标预测框区域图像进行仿射变换。变换的内容包括缩放、翻转、旋转等，例如，对目标进行尺度随机缩放，假设目标原宽和高分别为DW和DH，缩放后的目标宽和高分别为SW和SH，缩放比例为scale，则SW= DW/scale，SH =DH/scale，得到缩放后的目标大小后使用差值算法，如双线性差值即可得到新的目标，缩放后的目标xi与原目标在原图中的中心位置保持不变；
S205：对真实标注框区域图像进行仿射变换。变换方法同S204所述；
S206：将前景目标框区域图像与背景图像B对应区域进行线性融合，包括如下子步骤：
S2061：使用差值算法将背景图像B处理至与原图像A相同大小；
S2062：对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；
S2063：将目标预测框框区域与对应的背景区域按照S2061中得到的新的目标概率矩阵进行线性融合，计算公式如下：
其中p为目标分割概率矩阵，xj为目标xi对应位置的背景区域。由于关键点位置分类概率比较高，而非关键点位置概率比较低，线性融合后目标关键点位置主要包括目标信息，而非关键点位置主要为背景信息。
S207：对于目标框Box区域，将上述变换后的目标和对应位置的背景按照目标概率矩阵P进行线性融合，非目标框区域则直接替换为背景图像B中对应位置的内容，得到具有新背景信息的图像。
如图3所示，图3是本发明实施例所提供的基于图像目标-背景变换的数据集增强系统的框架图；本发明还提供一种基于图像目标-背景变换的数据集增强系统，所述基于图像目标-背景变换的数据集增强系统包括：
图像分割模块301，所述图像分割模块301用于对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
判断模块302，所述判断模块302用于计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
变换模块303，所述变换模块303用于对前景目标预测框或真实标注框区域的内容进行仿射变换；
线性融合模块304，所述线性融合模块304用于将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
背景替换模块305，所述背景替换模块305用于将图像的背景区域替换为对应位置区域的背景图像内容。
在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述变换模块303包括：
缩放模块306，所述缩放模块306用于按照设定系数对前景目标预测框或真实标注框区域的内容进行缩放；和/或
翻转模块307，所述翻转模块307用于对前景目标预测框或真实标注框区域的内容进行翻转；和/或
选择模块308，所述选择模块308用于对前景目标预测框或真实标注框区域的内容进行旋转。
在上述的基于图像目标-背景变换的数据集增强系统中，作为优选方案，所述图像分割模块301包括：
第一概率矩阵获取模块310，所述第一概率矩阵获取模块310用于对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
前景目标预测框获取模块311，所述前景目标预测框获取模块311用于根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)，获取前景目标预测框；
所述线性融合模块304包括：
背景图像大小处理模块312，所述背景图像大小处理模块312用于使用差值算法将背景图像处理至与原图像相同大小；
第二概率矩阵获取模块313，所述第二概率矩阵获取模块313用于对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像目标-背景变换的数据集增强方法，其特征在于，所述基于图像目标-背景变换的数据集增强方法包括：
对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
若前景目标预测框为正确预测，则对前景目标预测框区域的内容进行仿射变换；
将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
若前景目标预测框为错误预测，则对真实标注框区域的内容进行仿射变换；
将图像的背景区域替换为对应位置区域的背景图像内容。
2.如权利要求1所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对含有真实标注框的图像进行分割，获得图像的前景目标预测框，包括：
利用MaskRCNN模型进行对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)。
3.如权利要求2所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述判断前景目标预测框是否为正确预测，包括：
判断前景目标预测框和真实标注框的交并比是否大于特定值，所述特定值不小于0.5；
若是，则认为前景目标预测框为正确预测；
若否，则认为前景目标预测框为错误预测。
4.如权利要求3所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对前景目标预测框区域的内容进行仿射变换，包括：
按照设定系数对前景目标预测框区域的内容进行缩放；
和/或对前景目标预测框区域的内容进行翻转；
和/或对前景目标预测框区域的内容进行旋转；
变换后的前景目标预测框区域位置相对于原图像中心位置保持不变。
5.如权利要求4所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合，包括：
使用差值算法将背景图像处理至与原图像相同大小；
对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵；
将前景目标预测框区域与对应的背景区域按照新的目标概率矩阵进行线性融合，计算公式如下：
其中，p为新的目标概率矩阵，xj为目标xi对应位置的背景区域。
6.如权利要求3所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述对真实标注框区域的内容进行仿射变换，包括：
按照设定系数对真实标注框区域的内容进行缩放；
和/或对真实标注框区域的内容进行翻转；
和/或对真实标注框区域的内容进行旋转；
变换后的真实标注框区域位置相对于原图像中心位置保持不变。
7.如权利要求4、5、6任一所述的基于图像目标-背景变换的数据集增强方法，其特征在于，所述将图像的背景区域替换为对应位置区域的背景图像内容，包括：
若前景目标预测框为正确预测，将前景目标预测框之外的区域替换为对应位置区域的背景图像内容；
若前景目标预测框为错误预测，将真实标注框之外的区域替换为对应位置区域的背景图像内容。
8.一种基于图像目标-背景变换的数据集增强系统，其特征在于，所述基于图像目标-背景变换的数据集增强系统包括：
图像分割模块，所述图像分割模块用于对含有真实标注框的图像进行分割，获得图像的前景目标预测框；
判断模块，所述判断模块用于计算前景目标预测框和真实标注框的交并比，判断前景目标预测框是否为正确预测；
变换模块，所述变换模块用于对前景目标预测框或真实标注框区域的内容进行仿射变换；
线性融合模块，所述线性融合模块用于将前景目标预测框区域内容与背景图像的对应位置区域进行线性融合；
背景替换模块，所述背景替换模块用于将图像的背景区域替换为对应位置区域的背景图像内容。
9.如权利要求8所述的基于图像目标-背景变换的数据集增强系统，其特征在于，所述变换模块包括：
缩放模块，所述缩放模块用于按照设定系数对前景目标预测框或真实标注框区域的内容进行缩放；
和/或翻转模块，所述翻转模块用于对前景目标预测框或真实标注框区域的内容进行翻转；
和/或选择模块，所述选择模块用于对前景目标预测框或真实标注框区域的内容进行旋转。
10.如权利要求8所述的基于图像目标-背景变换的数据集增强系统，其特征在于，所述图像分割模块包括：
第一概率矩阵获取模块，所述第一概率矩阵获取模块用于对含有真实标注框的图像进行分割，得到目标的概率矩阵P；
前景目标预测框获取模块，所述前景目标预测框获取模块用于根据目标概率矩阵P的坐标计算前景目标预测框的左上角坐标（xmin，ymin）和右下角坐标(xmax，ymax)，获取前景目标预测框；
所述线性融合模块包括：
背景图像大小处理模块，所述背景图像大小处理模块用于使用差值算法将背景图像处理至与原图像相同大小；
第二概率矩阵获取模块，所述第二概率矩阵获取模块用于对目标概率矩阵P进行处理，将其中概率大于0.5的值设置为1，得到新的目标概率矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010171324.7A CN111415293A (zh) | 2020-03-12 | 2020-03-12 | 基于图像目标-背景变换的数据集增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010171324.7A CN111415293A (zh) | 2020-03-12 | 2020-03-12 | 基于图像目标-背景变换的数据集增强方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111415293A true CN111415293A (zh) | 2020-07-14 |
Family
ID=71491079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010171324.7A Pending CN111415293A (zh) | 2020-03-12 | 2020-03-12 | 基于图像目标-背景变换的数据集增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415293A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860387A (zh) * | 2020-07-27 | 2020-10-30 | 平安科技（深圳）有限公司 | 扩充数据的方法、装置和计算机设备 |
| CN113076983A (zh) * | 2021-03-26 | 2021-07-06 | 北京明略软件系统有限公司 | 一种图像的识别方法和装置 |
| CN113269768A (zh) * | 2021-06-08 | 2021-08-17 | 中移智行网络科技有限公司 | 一种交通拥堵分析方法、装置及分析设备 |
| CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
| CN113570534A (zh) * | 2021-07-30 | 2021-10-29 | 山东大学 | 一种用于深度学习的物品识别数据集扩充方法及系统 |
| CN114092698A (zh) * | 2021-11-09 | 2022-02-25 | 北京百度网讯科技有限公司 | 目标信息处理方法、装置、设备和存储介质 |
| CN114581740A (zh) * | 2022-05-09 | 2022-06-03 | 广东电网有限责任公司佛山供电局 | 一种断路器试验图像增强方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120288186A1 (en) * | 2011-05-12 | 2012-11-15 | Microsoft Corporation | Synthesizing training samples for object recognition |
| CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
| CN109920538A (zh) * | 2019-03-07 | 2019-06-21 | 中南大学 | 一种基于数据增强的零样本学习方法 |
| CN109948562A (zh) * | 2019-03-25 | 2019-06-28 | 浙江啄云智能科技有限公司 | 一种基于x射线图像的安检系统深度学习样本生成方法 |
| CN109948444A (zh) * | 2019-02-19 | 2019-06-28 | 重庆理工大学 | 基于cnn的果实与障碍物的同步识别方法、系统与机器人 |
| CN110472544A (zh) * | 2019-08-05 | 2019-11-19 | 上海英迈吉东影图像设备有限公司 | 一种物品识别模型的训练方法及系统 |
-
2020
- 2020-03-12 CN CN202010171324.7A patent/CN111415293A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120288186A1 (en) * | 2011-05-12 | 2012-11-15 | Microsoft Corporation | Synthesizing training samples for object recognition |
| CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
| CN109948444A (zh) * | 2019-02-19 | 2019-06-28 | 重庆理工大学 | 基于cnn的果实与障碍物的同步识别方法、系统与机器人 |
| CN109920538A (zh) * | 2019-03-07 | 2019-06-21 | 中南大学 | 一种基于数据增强的零样本学习方法 |
| CN109948562A (zh) * | 2019-03-25 | 2019-06-28 | 浙江啄云智能科技有限公司 | 一种基于x射线图像的安检系统深度学习样本生成方法 |
| CN110472544A (zh) * | 2019-08-05 | 2019-11-19 | 上海英迈吉东影图像设备有限公司 | 一种物品识别模型的训练方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860387A (zh) * | 2020-07-27 | 2020-10-30 | 平安科技（深圳）有限公司 | 扩充数据的方法、装置和计算机设备 |
| WO2021139340A1 (zh) * | 2020-07-27 | 2021-07-15 | 平安科技（深圳）有限公司 | 扩充数据的方法、装置和计算机设备 |
| CN111860387B (zh) * | 2020-07-27 | 2023-08-25 | 平安科技（深圳）有限公司 | 扩充数据的方法、装置和计算机设备 |
| CN113076983A (zh) * | 2021-03-26 | 2021-07-06 | 北京明略软件系统有限公司 | 一种图像的识别方法和装置 |
| CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
| CN113269768A (zh) * | 2021-06-08 | 2021-08-17 | 中移智行网络科技有限公司 | 一种交通拥堵分析方法、装置及分析设备 |
| CN113570534A (zh) * | 2021-07-30 | 2021-10-29 | 山东大学 | 一种用于深度学习的物品识别数据集扩充方法及系统 |
| CN114092698A (zh) * | 2021-11-09 | 2022-02-25 | 北京百度网讯科技有限公司 | 目标信息处理方法、装置、设备和存储介质 |
| CN114581740A (zh) * | 2022-05-09 | 2022-06-03 | 广东电网有限责任公司佛山供电局 | 一种断路器试验图像增强方法、装置、设备及存储介质 |
| CN114581740B (zh) * | 2022-05-09 | 2022-07-26 | 广东电网有限责任公司佛山供电局 | 一种断路器试验图像增强方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415293A (zh) | 基于图像目标-背景变换的数据集增强方法及系统 | |
| CN102567300B (zh) | 图片文档的处理方法及装置 | |
| CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及系统 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN108537269B (zh) | 一种弱交互式的物体检测深度学习方法及其系统 | |
| CN111008633B (zh) | 一种基于注意力机制的车牌字符分割方法 | |
| CN110796143A (zh) | 一种基于人机协同的场景文本识别方法 | |
| CN109522908A (zh) | 基于区域标签融合的图像显著性检测方法 | |
| CN112233125B (zh) | 图像分割方法、装置、电子设备及计算机可读存储介质 | |
| CN110874618B (zh) | 基于小样本的ocr模板学习方法、装置、电子设备及介质 | |
| Du et al. | Segmentation and sampling method for complex polyline generalization based on a generative adversarial network | |
| CN108647694A (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
| CN112613343B (zh) | 一种基于改进YOLOv4的河道废弃物监测方法 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN111652240B (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
| CN113920468B (zh) | 一种基于跨尺度特征增强的多分支行人检测方法 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN104598907A (zh) | 一种基于笔画宽度图的图像中文字数据提取方法 | |
| CN117423126B (zh) | 一种基于数据分析的票据图文识别方法及系统 | |
| CN113361467A (zh) | 基于领域适应的车牌识别方法 | |
| CN114529773A (zh) | 基于结构单元的表格识别方法、系统、终端及介质 | |
| CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
| CN116092179A (zh) | 一种改进的yolox跌倒检测系统 | |
| Dornaika et al. | Object-centric contour-aware data augmentation using superpixels of varying granularity | |
| CN113628180B (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |