CN114240734A - 图像数据增广方法、装置、电子设备及存储介质 - Google Patents
图像数据增广方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114240734A CN114240734A CN202111305924.9A CN202111305924A CN114240734A CN 114240734 A CN114240734 A CN 114240734A CN 202111305924 A CN202111305924 A CN 202111305924A CN 114240734 A CN114240734 A CN 114240734A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- target frame
- segmentation information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013434 data augmentation Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 60
- 238000003709 image segmentation Methods 0.000 claims abstract description 56
- 230000003190 augmentative effect Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 abstract description 16
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 19
- 230000003321 amplification Effects 0.000 description 13
- 238000003199 nucleic acid amplification method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像数据增广方法、装置、电子设备及存储介质，该方法包括获取第一图像数据的图像类型；根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。本发明可以使得图像数据增广的方式准确度更高，降低了数据集的制作成本，提升了后续训练模型的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种图像数据增广方法、装置、电子设备及存储介质。
背景技术
目前，深度学习模型训练需要充足的数据作为基础；由于很多公开数据集数据量大，且经过准确标注，但其数据跟实际业务场景往往并不一致，即使公开数据集中已有的物体种类，利用其预训练模型在实际场景下推理预测的准确性也不高；因此，如果用户想基于业务场景自己准备数据的话，不仅数据的生产和标注过程会比较复杂，而且一般需要的数量规模也会非常庞大，这导致数据集的制作成本往往非常高，尤其在计算机视觉领域制作数据非常困难，因为图像要一张一张人工筛选与标注，要是处理几十万图片需要大量的人力和时间。
目前采用的其中一种方案是在业务场景获取一定量的样本并进行标注得到样本数据集，利用公开数据集的预训练模型进行迁移学习，但这种方案同样要求样本数据集具备一定的规模，否则难以训练得到在业务场景下能够准确工作的模型，而另一种方案是对数据进行裁剪、局部遮挡等变换进行数据增广，这在较大规模的数据集上是有效的，但样本较少的情况下能够带来的模型准确度提升也比较有限；也就是说，目前对数据增广的方式准确度不足，导致数据集的制作成本非常高，难以提升训练模型的准确性。
发明内容
第一方面，本发明的主要目的是提供一种图像数据增广方法，包括：
获取第一图像数据的图像类型；
根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；
根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；
根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
优选地，所述根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据，包括：
将所述第三图像数据进行变换处理，得到变换后的图像数据；
根据预先确定的参考图像数据，将所述变换后的图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
优选地，所述从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据包括：
从预设的图像数据集中查找与所述第一图像数据的图像类型相同的图像数据；
在查找得到的图像数据中，将包含图像分割信息的图像数据，作为所述第二图像数据。
优选地，所述根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据包括：
根据所述图像分割信息，确定所述第二图像数据对应的目标框和目标语义分割信息；
根据所述目标语义分割信息与所述目标框的对应关系，将所述目标语义分割信息映射至所述目标框内；
将映射后所述目标框内的第二图像数据确定为所述第三图像数据。
优选地，所述根据所述图像分割信息，确定所述第二图像数据对应的目标框和目标语义分割信息包括：
根据所述图像分割信息，判断所述图像分割信息中是否包含所述目标框；
当所述图像分割信息中不包含所述目标框时，获取所述目标语义分割信息中的多个像素点坐标；
根据预定规则对多个所述像素点坐标进行计算，以得到所述目标框。
优选地，所述根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据包括：
根据预先确定的参考图像数据，在所述参考图像数据中确定位置框，其中，所述位置框与所述第三图像数据的尺寸相同；
根据所述第三图像数据的目标框，确定所述目标框内的像素点关系；
根据所述像素点关系将所述第三图像数据映射至所述位置框内，得到所述增广图像数据。
优选地，所述根据所述第三图像数据的目标框，确定所述目标框内的像素点关系包括：
根据所述第三图像数据的目标框，判断所述目标框内的像素点是否属于所述第三图像数据；
当所述目标框内的像素点属于所述第三图像数据时，将所述参考图像数据中的像素点替换为所述第三图像数据的像素点；
当所述目标框内的像素点不属于所述第三图像数据时，保留所述参考图像数据中的像素点；
或，
根据预定权重关系将所述参考图像数据中的像素点与所述第三图像数据之间的像素点进行融合。
第二方面，本发明实施例提供了一种图像数据增广装置，包括：
获取模块，用于获取第一图像数据的图像类型；
确定模块，用于根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；
分割模块，用于根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；
贴图模块，用于根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的图像数据增广方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像数据增广方法的步骤。
本发明的上述方案至少包括以下有益效果：
本发明首先获取第一图像数据的图像类型；根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。使得图像数据增广的方式准确度更高，降低了数据集的制作成本，提升了后续训练模型的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的图像数据增广方法的流程示意图；
图2为本发明实施例提供的步骤30的具体流程示意图；
图3为本发明实施例提供的图像分割处理的示意图；
图4为本发明实施例提供的图像变换处理的示意图；
图5为本发明实施例提供的图像贴图处理的示意图；
图6为本发明实施例提供的步骤S50的具体流程示意图；
图7为本发明实施例提供的步骤S52的具体流程示意图；
图8为本发明实施例提供的图像数据增广装置的结构框图；
图9为本发明实施例提供的电子设备的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先结合相关附图来举例介绍下本申请实施例的方案。
其中，本申请实施例中提供的图像数据增广方法可以应用于任意场景中，例如可以应用在深度学习模型的公开数据集中，例如对公开数据集进行场景扩充，本申请实施例的提供图像数据增广方法可以应用于客户端(例如图像处理平台)中，也可以应用于服务器中以在后续对模型进行训练。
如图1所示，本发明的具体实施例提供了一种图像数据增广方法，包括：
S10、获取第一图像数据的图像类型。
在本实施例中，第一图像数据可以是场景中的任意图像数据，例如人物图像、树木图像、动物图像、汽车图像及场景图像等，图像类型表示第一图像数据对应的种类，在获取第一图像数据的图像类型时，可以是在训练模型时自行触发，然后可以通过对第一图像数据进行图像检测，并识别出第一图像数据的图像类型；并且，图像类型是根据图像数据中所包含的图像内容元素进行划分的，图像内容元素可以为对象类型，例如人物、动物、植物、建筑物等，
可以理解的是，为了提高训练模型的准确性，第一图像数据可以是在实际应用场景所获取的，例如在道路交通、医院楼宇、校园、景区等地方，可以通过图像采集设备进行采集，通过在不同应用场景所获取的第一图像数据进行检测，并可以通过服务器识别出其对应的图像类型，从而对在后续增广处理过程中，使第一图像数据的准确度更高。
S20、根据图像类型，从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据，第二图像数据包括图像分割信息。
在本实施例中，预设的图像数据集为公开数据集，公开数据集可以是图像处理相关的数据集，例如可以是Open Images Dataset数据集(包含超过900 万个链接图像的数据集)，VisualQA数据集(包含有关图像的开放式问题的数据集)、CIFAR-10数据集(包含图像分类的数据集)等，可以理解的是，采用公开数据集可以实现对不同的图像数据进行图像分类以及对象检测，使得在查找图像类型时，可以更准确地检测得到；因此，通过从公开数据集确定出与第一图像数据相同的图像类型，进而根据该图像类型确定出与其对应的图像分割信息，可以使得处理第二图像数据时准确度更高。
具体的，上述步骤S20的具体实现方式包括：
步骤一，从预设的图像数据集中查找与第一图像数据的图像类型相同的图像数据；
步骤二，在查找得到的图像数据中，将包含图像分割信息的图像数据，作为第二图像数据。
其中，不同的图像类型对应有不同的图像分割信息，图像分割信息表示公开数据集中的语义分割标注信息，在公开数据集中的语义分割标注信息中包括有语义分割信息和边界框信息，语义分割信息表示对图像数据的每个像素点进行分类，并且语义分割是将图像数据变成带有一定语义信息的色块，并且可以识别出每个色块的语义类别，并给每个像素点都标注上其对应的信息；边界框信息表示以像素级地标注每个图像数据的边界。
可以理解的是，服务器可以自行从预设的图像数据集中查找出与第一图像数据相同的图像类型，并根据第一图像数据的图像类型确定与其相同的图像数据，由此可以从确定的图像数据中得到具有图像分割信息的图像数据，进而在对第二图像数据进行图像分割时，可以提高准确度；例如，在第一图像数据的图像类型是人物时，可以从公开数据集中查找与人物相同的图像类型，并根据人物的图像类型确定出对应的第二图像数据。
S30、根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据。
在本实施例中，分割处理表示通过第二图像数据的语义分割信息和边界框信息，对第二图像数据进行语义分割抠图，也就是说，通过语义分割信息可以确定出第二图像数据的像素点，通过第二图像数据的像素点可以确定第二图像数据的轮廓，同时可以根据语义分割信息确定出边界框信息，在对第二图像数据进行抠图时，可以将边界框信息内的像素点进行抠图，同时根据语义分割信息将第二图像数据的像素点映射在边界框内，使得第二图像数据可以被单独分割抠图，使其分割抠图的准确度更高。
举例来说，图3中有一只猫和一只狗，通过语义分割信息可以分别确定出猫和狗的图像类型对应的像素点不同，左边色块所在区域对应的像素点类别为猫，右边色块所在区域对应的像素点类别为狗，通过确定出猫和狗的语义分割信息及边界框信息，在需要对狗进行分割抠图时，通过狗对应的边界框信息进行抠图，然后通过狗的语义分割信息将狗的像素点映射在边界框内，由此，使得狗所在的区域被分割抠图且背景不会被分割，由此提高了分割抠图的准确度。
如图2所示，上述步骤S30的具体实现方式包括：
S31、根据图像分割信息，确定第二图像数据对应的目标框和目标语义分割信息；
S32、根据目标语义分割信息与目标框的对应关系，将目标语义分割信息映射至目标框内；
S33、将映射后目标框内的第二图像数据确定为第三图像数据。
在本实施例中，目标语义分割信息包含有第二图像数据的像素点坐标，通过数据集可以确定出第二图像数据对应的目标语义分割信息和目标框，由此，在对第二图像数据分割抠图过程中，可以根据第二图像数据的目标框，将目标框内的第二图像数据进行分割，同时通过目标语义分割信息将第一图像数据的像素点坐标映射至目标框内。
其中，可以将第二图像数据的宽和高分别定义为W和H，以第二图像数据的左上角为坐标原点，第二图像数据的语义分割信息中对应的某个像素点坐标为(X，Y)；第二图像数据的目标框的宽和高分别定义为w和h，可以将目标框的左上角点的坐标定义为(x0，y0)，如此，使得第二图像数据映射后的像素点坐标为(x，y)＝(X-x0，Y-y0)，通过映射后目标框内的图像数据可以确定得到第三图像数据，在确定得到第三图像数据的同时，可以将第二图像数据的图像分割信息进行保存以供后续其他的图像数据使用。
进一步的，上述步骤S31的具体实现方式包括：
步骤一，根据图像分割信息，判断图像分割信息中是否包含目标框；
步骤二，当图像分割信息中不包含目标框时，获取目标语义分割信息中的多个像素点坐标；
步骤三，根据预定规则对多个像素点坐标进行计算，以得到目标框。
其中，在从图像分割信息中确定目标框和目标语义分割信息时，当图像分割信息中包含目标框和目标语义分割信息时，则可以快速根据目标框和语义分割信息对第二图像数据进行分割处理；当图像分割信息中不包含目标框时，可以通过目标语义分割信息中的像素点坐标进行计算得到目标框，可以理解的是，预定规则表示通过在目标语义分割信息的像素点中确定最高的像素点和最低的像素点，并将最高的像素点和最低的像素点分别生成一条横线，然后在目标语义分割信息的像素点中确定最左边的像素点和最右边的像素点，并通过最左边的像素点和最右边的像素点分别生成一条竖线，将生成的四条线进行围合连接后所形成的框则可以确定为目标框。
S50、根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据。
在本实施例中，参考图像数据可以是在实际应用场景所获取的，可以是多个不同的场景图，例如可以道路交通、医院楼宇、校园、景区等地方，通过将参考图像数据作为背景图，然后将上述确定的第三图像数据粘贴至参考图像数据中，使得到的增广图像数据更多样化；例如可以将处理后的人物图像粘贴至人行道、医院大厅、校园操场、景区雕像等场景中，如此可以生成多种不同的增广图像数据，在训练模型过程中，可以模拟人物出现不同的应用场景所产生的图像数据。
举例来说，在图5示出了粘贴完成的增广图像数据，将经过变换处理后的图片粘贴至参考图像数据中，也即是上述经过反转处理后图中的狗粘贴至背景图的道路上，使得图片中的背景和道路整体融合，而狗则处于道路上，使得贴图效果更换，更贴近实际应用场景；可以理解的是，可以将不同方式变换处理得到的图片和不同的背景图进行组合贴图，进而可以形成不同的增广图像数据，使得训练的模型可以更好地适应在实际场景中的应用。
如图6所示，上述步骤S50的具体实现方式包括：
S51、根据预先确定的参考图像数据，在参考图像数据中确定位置框，其中，位置框与第三图像数据的尺寸相同；
S52、根据第三图像数据的目标框，确定目标框内的像素点关系；
S53、根据像素点关系将第三图像数据映射至位置框内，得到增广图像数据。
在本实施例中，在确定位置框之前，可以比较参考图像数据和第三图像数据之间的尺寸关系，在第三图像数据的尺寸超出参考图像数据时，可以将第三图像数据的尺寸缩小，可选的，第三图像数据的尺寸可以根据参考图像数据进行缩小至一定的比例；其中，位置框可以随机在参考图像数据中进行确定，也可以按固定位置在参考图像数据中进行确定，也就是说，位置框的可以对应第三图像数据，使得第三图像数据可以粘贴在参考图像数据中的不同区域，应用的场景更多，例如可以生成人物行走在不同区域和位置的图像，在训练学习时人物的场景更丰富多样；并且，将位置框的尺寸大小和第三图像数据设置成相同，可以使得第三图像数据在贴图过程中的准确度更高。
其中，第三图像数据在分割抠图后具有对应的目标框，目标框内的像素点和第三图像数据的像素点存在不同的情况，例如背景和物体的像素点颜色不同，通过确定出目标框内的像素点关系，通过确定出目标框内的像素点关系后将第三图像数据映射在位置框中，以得到增广图像数据。
在一个具体的实施例中，在将第三图像数据映射在参考图像数据中，可以通过以下方式进行像素映射，例如参考图像数据的宽和高可以定义为M和 N，以参考图像数据的左上角为坐标原点，随机选定的位置为(X0，Y0)，第三图像数据的目标框大小定义为m和n，目标框中的某个点坐标为(x，y)，由此，第三图像数据映射到参考图像数据的像素点坐标为(X，Y)＝(X0+x，Y0+y)，如此，通过将第三图像数据的像素点坐标映射在参考图像数据中，从而得到增广图像数据。
如图7所示，上述步骤S52的具体实现方式包括：
S521、根据第三图像数据的目标框，判断目标框内的像素点是否属于第三图像数据；
S522、当目标框内的像素点属于第三图像数据时，将参考图像数据中的像素点替换为第三图像数据的像素点；
S523、当目标框内的像素点不属于第三图像数据时，保留参考图像数据中的像素点；
或，
S524、根据预定权重关系将参考图像数据中的像素点与第三图像数据之间的像素点进行融合。
在本实施例中，目标框内的像素点包括背景的像素点和第三图像数据的像素点，例如图4中的黑色背景和狗，通过判断出目标框内是否为第三图像数据的像素点，在贴图时，可以只将第三图像数据映射至参考图像数据中，由此，在贴图时可以使黑色背景被去除而保留有道路的图像，并且只将狗的图像粘贴在道路上；可以理解的是，当目标框内的像素点属于第三图像数据时，则可以将第三图像数据的像素点对应替换在参考图像数据的位置框内，当目标框内的像素点不属于第三图像数据时，则可以保留参考图像数据中位置框内的像素点，也就是说，在目标框内的像素点为背景像素点时，则背景像素点不需要替换至参考图像数据内，在目标框内的像素点为第三图像数据的像素点时，则只需要将第三图像数据的像素点替换至参考图像数据内，由此，可以使得第三图像数据和参考图像数据贴合度更高。
在一个可选的实施例中，对于目标框内不同的像素点，也共同采用加权平均的方式将标框内不同的像素点和参考图像数据进行像素点融合，可以理解的是，加权平均的方式是将标框内不同的像素点对应参考图像数据的像素点灰度值进行加权平均融合，从而生成新的图像，由此可以提高增广图像数据的信噪比；由此，通过上述方式将第三图像数据映射至参考图像数据中，使增广图像数据的处理过程更准确且效率更高。
其中，上述步骤S50还包括：将第三图像数据进行变换处理，得到变换后的图像数据；根据预先确定的参考图像数据，将变换后的图像数据粘贴至参考图像数据内，以得到增广图像数据。
在本实施例中，变换处理表示为缩放，旋转，翻转，变色等，在分割处理后得到变换后的第三图像数据，通过对第三图像数据进行变换，使得到的第三图像数据可以形成更多的样本，所制作的增广图像数据能够有更多的应用场景，对模型训练的适用范围更广，准确度更高；也就是说，可以对第三图像数据设定或随机的采用一种或多种变换，进而使第三图像数据包含更多不同的场景及状态，并可以促使后续模型的训练学习更准确，且通用的信息更多；其中，在对第三图像数据进行变换处理的过程中，如果需要对第三图像数据的像素点坐标产生变化的操作时，如缩放和旋转，则第三图像数据对应的像素点坐标要同步变换。
举例来说，在图4中的狗在经过分割处理后所得到的图片为背景和狗，在对图片进行缩放处理后，对应的像素点坐标跟随被放大，因此缩放后的背景和狗均被放大；在对图片进行旋转处理后，得到背景和狗均向左或向右旋转；在图片进行反转处理后，得到的背景和狗均呈镜像状态；在图片进行变色处理时，得到的背景和狗的颜色均被改变，如此，使得后续生成的增广图像数据场景应用更多样化，使模型训练学习更加丰富。
可以理解的是，本发明首先获取第一图像数据的图像类型；根据图像类型，从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据，第二图像数据包括图像分割信息；根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据；根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据。使得图像数据增广的方式准确度更高，降低了数据集的制作成本，提升了后续训练模型的准确性。
如图8所示，本发明实施例提供的图像数据增广装置10，包括：
获取模块11，用于获取第一图像数据的图像类型；
确定模块12，用于根据图像类型，从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据，第二图像数据包括图像分割信息；
分割模块13，用于根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据；
贴图模块15，用于根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据。
可以理解的是，本发明实施例提供的图像数据增广装置10，首先获取第一图像数据的图像类型；根据图像类型，从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据，第二图像数据包括图像分割信息；根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据；根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据。使得图像数据增广的方式准确度更高，降低了数据集的制作成本，提升了后续训练模型的准确性。
需要说明的是，本发明具体实施例提供的图像数据增广装置10为与上述图像数据增广方法对应的装置，上述图像数据增广方法的所有实施例均适用于该图像数据增广装置10，上述图像数据增广装置10实施例中均有相应的模块对应上述图像数据增广方法中的步骤，能达到相同或相似的有益效果，为避免过多重复，在此不对图像数据增广装置10中的每一模块进行过多赘述。
如图9所示，本发明的具体实施例还提供了一种电子设备20，包括存储器202、处理器201以及存储在存储器202中并可在处理器201上运行的计算机程序，该处理器201执行计算机程序时实现上述的图像数据增广方法的步骤。
具体的，处理器201用于调用存储器202存储的计算机程序，执行如下步骤：
获取第一图像数据的图像类型；
根据图像类型，从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据，第二图像数据包括图像分割信息；
根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据；
根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据。
可选的，处理器201执行的根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据，包括：
将第三图像数据进行变换处理，得到变换后的图像数据；
根据预先确定的参考图像数据，将变换后的图像数据粘贴至参考图像数据内，以得到增广图像数据。
可选的，处理器201执行的从预设的图像数据集中确定与第一图像数据的图像类型相同的第二图像数据包括：
从预设的图像数据集中查找与第一图像数据的图像类型相同的图像数据；
在查找得到的图像数据中，将包含图像分割信息的图像数据，作为第二图像数据。
可选的，处理器201执行的根据图像分割信息，对第二图像数据进行分割处理，得到第三图像数据包括：
根据图像分割信息，确定第二图像数据对应的目标框和目标语义分割信息；
根据目标语义分割信息与目标框的对应关系，将目标语义分割信息映射至目标框内；
将映射后目标框内的第二图像数据确定为第三图像数据。
可选的，处理器201执行的根据图像分割信息，确定第二图像数据对应的目标框和目标语义分割信息包括：
根据图像分割信息，判断图像分割信息中是否包含目标框；
当图像分割信息中不包含目标框时，获取目标语义分割信息中的多个像素点坐标；
根据预定规则对多个像素点坐标进行计算，以得到目标框。
可选的，处理器201执行的根据预先确定的参考图像数据，将第三图像数据粘贴至参考图像数据内，以得到增广图像数据包括：
根据预先确定的参考图像数据，在参考图像数据中确定位置框，其中，位置框与第三图像数据的尺寸相同；
根据第三图像数据的目标框，确定目标框内的像素点关系；
根据像素点关系将第三图像数据映射至位置框内，得到增广图像数据。
可选的，处理器201执行的根据第三图像数据的目标框，确定目标框内的像素点关系包括：
根据第三图像数据的目标框，判断目标框内的像素点是否属于第三图像数据；
当目标框内的像素点属于第三图像数据时，将参考图像数据中的像素点替换为第三图像数据的像素点；
当目标框内的像素点不属于第三图像数据时，保留参考图像数据中的像素点；
或，
根据预定权重关系将参考图像数据中的像素点与第三图像数据之间的像素点进行融合。
即，在本发明的具体实施例中，电子设备20的处理器201执行计算机程序时实现上述图像数据增广方法的步骤，由此使得图像数据增广的方式准确度更高，降低了数据集的制作成本，提升了后续训练模型的准确性。。
需要说明的是，由于电子设备20的处理器201执行计算机程序时实现上述图像数据增广方法的步骤，因此上述图像数据增广方法的所有实施例均适用于该电子设备20，且均能达到相同或相似的有益效果。
本发明实施例中提供的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的图像数据增广方法或应用端图像数据增广方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM) 等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种图像数据增广方法，其特征在于，包括：
获取第一图像数据的图像类型；
根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；
根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；
根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
2.根据权利要求1所述的图像数据增广方法，其特征在于，所述根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据，包括：
将所述第三图像数据进行变换处理，得到变换后的图像数据；
根据预先确定的参考图像数据，将所述变换后的图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
3.根据权利要求1所述的图像数据增广方法，其特征在于，所述从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据包括：
从预设的图像数据集中查找与所述第一图像数据的图像类型相同的图像数据；
在查找得到的图像数据中，将包含图像分割信息的图像数据，作为所述第二图像数据。
4.根据权利要求1所述的图像数据增广方法，其特征在于，所述根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据包括：
根据所述图像分割信息，确定所述第二图像数据对应的目标框和目标语义分割信息；
根据所述目标语义分割信息与所述目标框的对应关系，将所述目标语义分割信息映射至所述目标框内；
将映射后所述目标框内的第二图像数据确定为所述第三图像数据。
5.根据权利要求4所述的图像数据增广方法，其特征在于，所述根据所述图像分割信息，确定所述第二图像数据对应的目标框和目标语义分割信息包括：
根据所述图像分割信息，判断所述图像分割信息中是否包含所述目标框；
当所述图像分割信息中不包含所述目标框时，获取所述目标语义分割信息中的多个像素点坐标；
根据预定规则对多个所述像素点坐标进行计算，以得到所述目标框。
6.根据权利要求1所述的图像数据增广方法，其特征在于，所述根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据包括：
根据预先确定的参考图像数据，在所述参考图像数据中确定位置框，其中，所述位置框与所述第三图像数据的尺寸相同；
根据所述第三图像数据的目标框，确定所述目标框内的像素点关系；
根据所述像素点关系将所述第三图像数据映射至所述位置框内，得到所述增广图像数据。
7.根据权利要求1所述的图像数据增广方法，其特征在于，所述根据所述第三图像数据的目标框，确定所述目标框内的像素点关系包括：
根据所述第三图像数据的目标框，判断所述目标框内的像素点是否属于所述第三图像数据；
当所述目标框内的像素点属于所述第三图像数据时，将所述参考图像数据中的像素点替换为所述第三图像数据的像素点；
当所述目标框内的像素点不属于所述第三图像数据时，保留所述参考图像数据中的像素点；
或，
根据预定权重关系将所述参考图像数据中的像素点与所述第三图像数据之间的像素点进行融合。
8.一种图像数据增广装置，其特征在于，包括：
获取模块，用于获取第一图像数据的图像类型；
确定模块，用于根据所述图像类型，从预设的图像数据集中确定与所述第一图像数据的图像类型相同的第二图像数据，所述第二图像数据包括图像分割信息；
分割模块，用于根据所述图像分割信息，对所述第二图像数据进行分割处理，得到第三图像数据；
贴图模块，用于根据预先确定的参考图像数据，将所述第三图像数据粘贴至所述参考图像数据内，以得到增广图像数据。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像数据增广方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像数据增广方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305924.9A CN114240734A (zh) | 2021-11-05 | 2021-11-05 | 图像数据增广方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305924.9A CN114240734A (zh) | 2021-11-05 | 2021-11-05 | 图像数据增广方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240734A true CN114240734A (zh) | 2022-03-25 |
Family
ID=80748508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111305924.9A Pending CN114240734A (zh) | 2021-11-05 | 2021-11-05 | 图像数据增广方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240734A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677596A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 一种基于注意力模型的遥感图像船舶检测方法和装置 |
-
2021
- 2021-11-05 CN CN202111305924.9A patent/CN114240734A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677596A (zh) * | 2022-05-26 | 2022-06-28 | 之江实验室 | 一种基于注意力模型的遥感图像船舶检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648169B (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
| CN106951830B (zh) | 一种基于先验条件约束的图像场景多对象标记方法 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN111091167B (zh) | 标志识别训练数据合成方法、装置、电子设备及存储介质 | |
| CN114202543B (zh) | Pcb板脏污缺陷检测方法、装置、设备及介质 | |
| CN110390228B (zh) | 基于神经网络的交通标志图片识别方法、装置及存储介质 | |
| CN113240009A (zh) | 一种点云数据标注方法、装置、存储介质及电子设备 | |
| CN115812221A (zh) | 图像生成及着色方法及装置 | |
| CN114241326B (zh) | 一种渐进式遥感影像地物要素智能生产方法及系统 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN110298348A (zh) | 遥感影像建筑物样本区域提取方法及系统、存储介质、设备 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN110598698A (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
| CN112287838A (zh) | 基于静止气象卫星影像序列的云雾自动判识方法及系统 | |
| CN113034511A (zh) | 基于高分辨率遥感影像与深度学习的乡村建筑识别算法 | |
| CN110598705B (zh) | 图像的语义标注方法及装置 | |
| CN115620022A (zh) | 一种对象检测方法、装置、设备及存储介质 | |
| CN111414907A (zh) | 数据集标注方法、数据集标注装置和计算机可读存储介质 | |
| CN114240734A (zh) | 图像数据增广方法、装置、电子设备及存储介质 | |
| CN111429512A (zh) | 图像处理方法和装置、存储介质及处理器 | |
| CN108900895B (zh) | 一种对视频流的目标区域的屏蔽方法及其装置 | |
| CN113378642B (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
| CN117036216A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN111797832A (zh) | 一种图像感兴趣区域自动生成方法及系统及图像处理方法 | |
| CN112884074B (zh) | 基于决策树的图像设计方法、设备、存储介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |