CN111832745B - 数据增广的方法、装置及电子设备 - Google Patents
数据增广的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111832745B CN111832745B CN202010537632.7A CN202010537632A CN111832745B CN 111832745 B CN111832745 B CN 111832745B CN 202010537632 A CN202010537632 A CN 202010537632A CN 111832745 B CN111832745 B CN 111832745B
- Authority
- CN
- China
- Prior art keywords
- image
- augmentation
- mode
- data augmentation
- generation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013434 data augmentation Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003416 augmentation Effects 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000003190 augmentative effect Effects 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 50
- 230000000694 effects Effects 0.000 abstract description 16
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000013136 deep learning model Methods 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 230000007547 defect Effects 0.000 description 14
- 239000002131 composite material Substances 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种数据增广的方法、装置及电子设备，涉及深度学习、云计算及计算机视觉技术领域。具体实现方案为：获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型；根据待生成图像的类型，确定当前的数据增广模式；根据当前的数据增广模式，对原图像集进行增广处理，以获取增广图像集。由此，通过这种数据增广的方法，对于不同类型的数据增广任务，选择不同的数据增广模式实现数据增广，从而不仅有效缓解了训练数据集匮乏的问题，而且能够实现较好的定向增广效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习、云计算及计算机视觉技术领域，提出一种数据增广的方法、装置及电子设备。
背景技术
随着人工智能技术的发展与推进，基于深度学习的计算机视觉技术在人脸识别、自动驾驶、质量检测等方面的应用越来越广泛。比如，在工业质量检测场景中，通常通过收集产品的缺陷样本图像组成训练数据集训练检测模型，以通过计算机视觉技术更加可靠高效的完成质量检测任务，以节省人力和时间成本。
相关技术中，由于深度学习模型的效果很大程度上依赖于训练数据集的规模和质量，以便模型学习到足够的特征来实现“举一反三”，从而防止训练数据过少导致的过拟合现象。但是，在实际应用中经常无法获取到足够且优质的真实图像作为训练样本，从而无法满足深度学习模型的训练需求。
发明内容
本申请提供了一种用于数据增广的方法、装置、电子设备、存储介质以及计算机程序产品。
根据本申请的一方面，提供了一种数据增广的方法，包括：获取数据增广请求，其中，所述增广请求中包括原图像集及待生成图像的类型；根据所述待生成图像的类型，确定当前的数据增广模式；以及根据所述当前的数据增广模式，对所述原图像集进行增广处理，以获取增广图像集。
根据本申请的另一方面，提供了一种数据增广的装置，包括：获取模块，用于获取数据增广请求，其中，所述增广请求中包括原图像集及待生成图像的类型；确定模块，用于根据所述待生成图像的类型，确定当前的数据增广模式；以及增广处理模块，用于根据所述当前的数据增广模式，对所述原图像集进行增广处理，以获取增广图像集。
根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的数据增广的方法。
根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的数据增广的方法。
根据本申请的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前所述的数据增广的方法。
根据本申请的技术方案，解决了深度学习模型的效果很大程度上依赖于训练数据集的规模和质量，但是在实际应用中经常无法获取到足够且优质的真实图像作为训练样本，从而无法满足深度学习模型的训练需求的问题。通过根据数据增广请求中的待生成图像的类型，确定当前的数据增广模型，进而根据当前的数据增广模式，对原图像集进行增广处理。由此，通过对于不同类型的数据增广任务，选择不同的数据增广模式实现数据增广，从而不仅有效缓解了训练数据集匮乏的问题，而且能够实现较好的定向增广效果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例所提供的一种数据增广的方法的流程示意图；
图2为本申请实施例所提供的另一种数据增广的方法的流程示意图；
图3为本申请实施例所提供的再一种数据增广的方法的流程示意图；
图4为本申请实施例所提供的又一种数据增广的方法的流程示意图；
图5为本申请实施例提供的一种数据增广的装置的结构示意图；
图6为用来实现本申请实施例的数据增广的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例针对相关技术中，深度学习模型的效果很大程度上依赖于训练数据集的规模和质量，但是在实际应用中经常无法获取到足够且优质的真实图像作为训练样本，从而无法满足深度学习模型的训练需求的问题，提出一种数据增广的方法。
下面参考附图对本申请提供的数据增广的方法、装置、电子设备、存储介质及计算机程序产品进行详细描述。
图1为本申请实施例所提供的一种数据增广的方法的流程示意图。
如图1所示，该数据增广的方法，包括以下步骤：
步骤101，获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型。
需要说明的是，本申请实施例的数据增广的方法，可以由本申请实施例的数据增广的装置执行。本申请实施例的数据增广的装置可以配置在任意电子设备(如服务器)中，以执行本申请实施例的数据增广的方法。本申请实施例的数据增广的方法的执行主体为数据增广的装置所在电子设备的处理器。
举例来说，本申请实施例的数据增广的方法应用在对深度学习模型的训练数据集进行扩充的场景时，本申请实施例的数据增广的装置可以配置在深度学习模型的开发人员使用的客户端中(如手机、电脑等)；也可以配置在专门用于模型训练的服务器中。
其中，数据增广请求，可以是处理器获取的用户主动输入的数据增广请求；也可以是处理器在获取到模型训练请求时，自动生成的数据增广请求。
其中，待生成图像的类型，可以包括全局图像与局部图像；或者也可以包括人脸图像、自然场景图像、特定对象(如产品缺陷)图像，等等。需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要对待生成图像的类型进行划分，本申请实施例对此不做限定。
在本申请实施例中，处理器在获取到数据增广请求之后，可以对数据增广请求进行解析处理，以确定增广请求中包括的原图像集与待生成图像的类型。
作为一种可能的实现方式，本申请实施例的数据增广的方法，可以应用在离线和实时在线两种场景。在应用在离线场景时，原图像集可以是用户主动上传或指定的，处理器在获取到数据增广请求之后，可以对数据增广请求进行解析处理，以确定数据增广请求中包括的原图像集；待生成图像的类型可以是用户设定的，也可以是处理器根据原图像集进行分析确定的。如果处理器对数据增广请求进行解析处理后，未获取到待生成图像的类型，则说明用户未设定待生成图像的类型，从而处理器可以对原图像集中的各图像内容进行分析，以确定待生成图像的类型。
在应用在实时在线场景时，处理器可以根据获取到的模型训练请求，自动生成数增广请求，并将用于模型训练的原始训练数据集，作为原图像集，并根据用户设定的模型用途确定待生成的图像的类型；或者，原图像集中的各图像内容，确定待生成图像的类型。
举例来说，待生成图像的类型包括全局图像和局部图像，则可以在交互界面提供待生成图像的类型选择控件，以供用户选择全局图像或局部图像；若用户未设定待生成图像的类型，则处理器若确定原图像集中的图像内容为自然场景图像，则可以确定待生成的图像类型为全局图像；若处理器确定原图像集中的图像内容为产品缺陷图像(更加关注局部细节)，则可以确定待生成的图像类型为局部图像。
步骤102，根据待生成图像的类型，确定当前的数据增广模式。
其中，数据增广模式，可以是指对原图像集进行扩充所采用的算法。比如，数据增广模式可以包括基于生成式对抗网络的图像合成算法、基于泊松融合的图像合成算法、基于前景提取的图像融合算法，等等。实际使用时，可以根据实际需要及具体的应用场景预先设置合适的算法分别作为一种数据增广模式，本申请实施例对此不做限定。
需要说明的是，由于在对原图像集进行增广时，待生成图像的类型不同，对生成的新图像的要求不同。比如，若待生成图像的类型为全局图像，则对于数据增广所生成的新图像，通常要求保持全图真实性和协调性；若待生成图像的类型为局部图像，则对于数据增广所生成的新图像，通常要求保持特定对象对应的局部区域的真实性。因此可以根据待生成图像的类型，选择不同的数据增广模式，从而可以通过不同的图像处理方式对原图像集的图像进行处理，以使生成的新图像可以满足待生成图像的类型的相应要求。
作为一种可能的实现方式，可以预先设置待生成图像的类型与数据增广模式的映射关系，从而可以根据预设的待生成图像的类型与数据增广模式的映射关系，将与数据增广请求中的待生成图像的类型对应的数据增广模式，确定为当前的数据增广模式。
步骤103，根据当前的数据增广模式，对原图像集进行增广处理，以获取增广图像集。
在本申请实施例中，确定出当前的数据增广模式之后，可以利用当前的数据增广模式对原图像集中的每张图像进行增广处理，以根据每张图像生成多张对应的新图像，并将原图像集中的图像与每张图像对应的新图像，作为增广图像集，从而实现对原图像集的增广和扩充。
根据本申请实施例的技术方案，通过根据数据增广请求中的待生成图像的类型，确定当前的数据增广模型，进而根据当前的数据增广模式，对原图像集进行增广处理。由此，通过对于不同类型的数据增广任务，选择不同的数据增广模式实现数据增广，从而不仅有效缓解了训练数据集匮乏的问题，而且能够实现较好的定向增广效果。
在本申请一种可能的实现形式中，待生成图像的类型为全局图像时，可以基于生成式对抗网络对原图像集进行增广处理，以提升生成图像的整体真实性和协调性。
下面结合图2，对本申请实施例提供的数据增广的方法进行进一步说明。
图2为本申请实施例所提供的另一种数据增广的方法的流程示意图。
如图2所示，该数据增广的方法，包括以下步骤：
步骤201，获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型。
上述步骤201的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤202，如果待生成图像的类型为全局图像，则确定当前的数据增广模式为第一模式。
其中，第一模式，是指可以保持生成的新图像的整体真实性和协调性的数据增广模式。也就是说，通过第一模式进行数据增广时，可以生成和真实图像具有高相似性的合成图片。比如，第一模式，可以是基于生成式对抗网络的图像合成算法。
作为一种可能的实现方式，可以根据不同的数据增广任务对图像区域的关注特点，将待生成图像的类型划分为全局图像和局部特征图像，并分别为两种待生成图像的类型配置不同的数据增广模式，以采用对应的数据增广模式对原图像集进行增广时，使得新生成的图像符合使用需求。
可选地，在本申请实施例一种可能的实现形式中，可以根据预设的待生成图像的类型与数据增广模式的映射关系，确定待生成图像的类型为全局图像时，当前的数据增广模式为第一模式。
步骤203，如果待生成图像的类型为局部特征图像，则确定当前的数据增广模式为第二模式。
其中，第二模式，是指可以保持生成的新图像中特定对象对应的局部区域的真实性，以及局部区域与其他区域交界处的自然性和协调性的数据增广模式。比如，第二模式可以是基于泊松融合的图像合成算法、基于前景提取的图像融合算法，等等。
可选地，在本申请实施例一种可能的实现形式中，可以根据预设的待生成图像的类型与数据增广模式的映射关系，确定待生成图像的类型为局部特征图像时，当前的数据增广模式为第一模式。
步骤204，当前的数据增广模式为第一模式时，利用第一生成网络，对原图像集中的原图像进行增广处理，以获取增广图像集。
其中，第一生成网络，是指预先训练的、可以根据输入图像生成输入图像对应的合成图像的深度学习网络。比如，第一生成网络，可以是预先训练的用于图像合成的生成式对抗网络。
作为一种可能的实现方式，可以将原图像集中的每张原图像输入第一生成网络，以使第一生成网络根据预先学习到的图像生成规则，对输入的原图像进行修改，以生成分别与原图像对应的合成图像，直至将原图像集中的所有原图像合成完毕，进而利用原图像集中的所有原图像与生成的所有合成图像，作为增广图像集。
举例来说，本申请实施例的数据增广的方法，应用在对质量检测深度学习模型的训练数据集进行增广的场景时，可以预先训练第一生成网络，以使第一生成网络在良品图像上加入缺陷特征的图像合成规则，则原图像集中可以包括多张良品图像，从而可以将每张良品图像输入第一生成网络，以使第一生成网络根据学习到图像合成规则，对每张良品图像进行修改，以生成每张良品图像对应的包含缺陷特征的合成图像。其中，根据一张良品图像可以生成一张或多张包含缺陷特征的合成图像。进而利用生成的包含缺陷特征的合成图像与原图像集，构成增广图像集。
进一步的，还可以利用原图像集对初始生成网络进行训练之后，再利用训练生成的第一生成网络进行数据增广。即在本申请实施例一种可能的实现形式中，上述步骤204之前，还可以包括：
获取原图像集中的对象图像及参考图像；
将对象图像及参考图像输入初始生成网络，以获取初始生成网络生成的第一待判别图像；
将第一待判别图像及参考图像，分别输入初始判别网络，以获取初始判别网络输出的第一待判别图像属于真实图像的第一概率及参考图像属于真实图像的第二概率；
根据第一概率及第二概率，对初始生成网络及初始判别网络进行修正，以生成第一生成网络。
其中，对象图像，是指包含特定对象的图像。比如，在应用在质量检测的深度学习模型训练数据集的增广场景时，对象图像可以是包含缺陷的产品图像；在应用在人脸识别深度模型训练数据集的增光场景时，对象图像可以是帽子、眼镜等配饰，也可以是头发、眼睛等人脸中的器官。
其中，参考图像，是指可用于与对象图像融合的背景图像。比如，在应用在质量检测的深度学习模型训练数据集的增广场景时，参考图像可以是良品图像；在应用在人脸识别深度模型训练数据集的增光场景时，参考图像可以是包含人脸的图像。
其中，第一待判别图像，是指对象图像与参考图像的合成图像。
在本申请实施例中，可以将原图像集中的任意一张对象图像与任意一张参考图像一同输入初始生成网络，以使初始生成网络对输入的对象图像与参考图像进行合成处理，生成第一待判别图像。之后将第一待判别图像与参考图像输入初始判别网络，以使初始判别网络判断第一待判别图像与参考图像是否为真实图像，并输出第一待判别图像属于真实图像的第一概率与参考图像为真实图像的第二概率。
在本申请实施例中，由于第一待判别图像为合成的“造假”图像，参考图像为真实图像，因此，第一概率越大、第二概率越小，说明初始判别网络的性能越差，初始生成网络的性能越好；而第一概率越小、第二概率越大，说明初始判别网络的性能越好，初始生成网络的性能越差。从而，可以利用初始判别网络每次输出的第一概率和第二概率，分别确定初始生成网络的第一损失值与初始判别网络的第二损失值。若第一损失值与第二损失值均未处于预设范围，则可以确定初始生成网络与初始判别网络的性能均不符合要求，从而可以根据第一损失值对初始生成网络的参数进行修正，以及根据第二损失值对初始判别网络的参数进行修正，以生成修正后的生成网络和判别网络。之后，迭代进行上述训练过程，直至第一损失值与第二损失值均处于预设范围，则可以确定修正后的生成网络和判别网络的性能均满足要求，从而完成对生成网络和判别网络的训练过程，并将第一损失值处于预设范围的修正后的生成网络，确定为第一生成网络。
需要说明的是，第一生成网络训练完成之后，第一生成网络便学习到了在背景图像中融入特定对象的图像生成能力，并且真实性很高，因此，可以直接将原图像集中的每张原图像依次输入第一生成网络，不仅可以生成每张原图像对应的合成图像，而且可以保证合成图像的整体真实性和协调性，从而实现对原图像集的增广处理。
步骤205，当前的数据增广模式为第二模式时，根据第二模式对原图像集进行增广处理，以获取增广图像集。
上述步骤205的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
根据本申请实施例的技术方案，通过根据不同的数据增广任务对图像区域的关注特点，将待生成图像的类型划分为全局图像和局部特征图像，并在待生成图像的类型为全局图像时，基于生成式对抗网络对原图像集进行增广处理，以获取增广数据集。由此，在待生成图像的类型为全局图像的数据增广场景，通过生成式对抗网络对原图像集进行增广处理，从而不仅有效缓解了训练数据集匮乏的问题，而且提升了生成的新图像的整体真实性和协调性，进一步提升了定向增广效果。
在本申请一种可能的实现形式中，对于需要在数据增广时合成的新图像中融入特定对象的数据增广场景，可以采用对抗式生成网络与泊松融合相结合的方式，实现数据增广，以进一步提升合成图像的整体协调性。
下面结合图3，对本申请实施例提供的数据增广的方法进行进一步说明。
图3为本申请实施例所提供的再一种数据增广的方法的流程示意图。
如图3所示，该数据增广的方法，包括以下步骤：
步骤301，获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型及目标特征图像。
其中，目标特征，是指需要在数据增广时合成的图像中融入的特征。目标特征图像，是指包含目标特征的图像。比如，在质量检测深度学习模型的训练数据集的增广场景中，目标特征图像可以是包含特定缺陷的产品图像；又如，在人脸识别深度学习模型的训练数据集的增广场景中，目标特征图像可以是包含头发、配饰等特征的图像。
步骤302，如果待生成图像的类型为全局图像，则确定当前的数据增广模式为第一模式。
步骤303，如果待生成图像的类型为局部特征图像，则确定当前的数据增广模式为第二模式。
上述步骤302-303的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤304，当前的数据增广模式为第一模式时，根据目标特征图像对原图像集中的原图像进行预处理，以获取预处理图像。
在本申请实施例中，如果是需要将目标特征融入原图像集中的原图像，以实现对原图像集的增广任务时，可以首先将目标特征图像与原图像集中的每张原图像进行对齐，并根据目标特征在目标特征图像中的位置，将目标特征直接融合至每张原图像中的相应位置，以生成每张原图像对应的包含目标特征的预处理图像，从而完成对原图像集的预处理过程。
也就是说在，在将目标特征图像与原图像对齐之后，可以根据目标特征在目标特征图像中对应的各像素点的位置，将原图像中相应位置对应的各像素点的像素值，修改为目标特征在目标特征图像中对应的各像素点的像素值，以生成原图像对应的预处理图像。
需要说明的是，如果增广请求中包含多张目标特征图像，则可以采用上述方式将每张目标特征图像中的目标特征与原图像进行融合，以生成原图像对应的多张包含不同目标特征的预处理图像。
举例来说，本申请实施例的数据增广的方法应用在质量检测的深度学习模型训练数据集的增广场景时，原图像集为良品图像，目标特征图像为缺陷产品图像，其中，目标特征图像与原图像的大小均为500×500像素，且目标特征(即产品缺陷)在目标特征图像中的位置为左上角坐标为(100像素，100像素)、大小为100×100像素的区域，从而可以将原图像中左上角坐标为(100像素，100像素)、大小为100×100像素的区域中的像素值，分别修改为目标特征在目标特征图像中各像素的像素值，以将产品缺陷融合至良品图像中。
步骤305，利用第二生成网络，对预处理图像进行增广处理，以获取增广图像集。
其中，第二生成网络，是指预先训练的、可以对输入的简单融合图像进行修正，以生成输入图像对应的精细合成图像的深度学习网络。比如，第二生成网络，可以是预先训练的生成式对抗网络。
在本申请实施例中，由于预处理图像是直接将目标特征图像中的目标特征融入原图像生成的，因此，预处理图像中目标特征的位置可能并不准确(比如目标特征为头发时，头发与原图像中的人脸未贴合)，或者目标特征边缘与原图像中的背景不协调。从而，可以利用预先训练的第二生成网络对预处理图像进行进一步处理，以提升预处理图像的融合效果，提升数据增广时生成的新图像的整体真实性和协调性。
进一步的，还可以利用原图像集对初始生成网络进行训练之后，再利用训练生成的第二生成网络进行数据增广。即在本申请实施例一种可能的实现形式中，上述步骤305之前，还可以包括：
获取原图像集中的对象图像及参考图像；
将对象图像粘贴至参考图像，以生成组合图像；
将组合图像进行光学变换处理，以生成变换图像；
将组合图像输入初始生成网络，以获取初始生成网络生成的第二待判别图像；
根据第二待判别图像与变换图像的差异，对初始生成网络进行修正；
将第二待判别图像及参考图像，分别输入初始判别网络，以获取初始判别网络输出的第二待判别图像属于真实图像的第三概率及参考图像属于真实图像的第四概率；
根据第三概率及第四概率，对初始生成网络及初始判别网络进行修正，以生成第二生成网络。
需要说明的是，将对象图像粘贴至参考图像，可以是将对象图像中的特定对象融入参考图像，以生成组合图像的过程。具体的实现过程及原理可以参照步骤304中间目标特征融入原图像，以生成预处理图像的过程，此处不再赘述。
在本申请实施例中，可以首先将对象图像粘贴至参考图像，以将对象图像与参考图像进行粗糙的简单合成，生成组合图像。之后对组合图像进行光学变换处理，生成融合良好、风格协调的变换图像，以将变换图像作为监督图像，指导初始生成网络的训练过程。
在本申请实施例中，将组合图像输入初始生成网络之后，初始生成网络可以对输入的组合图像进行合成、修正处理，以生成对象图像中的特定对象与参考图像融合良好的第二待判别图像。之后根据第二待判别图像与变化图像的差异，确定初始生成网络的第三损失值，并利用第三损失值对初始生成网络进行初步修正。之后将第二待判别图像与参考图像输入初始判别网络，以使初始判别网络判断第二待判别图像与参考图像是否为真实图像，并输出第二待判别图像属于真实图像的第三概率与参考图像为真实图像的第四概率。
在本申请实施例中，可以利用初始判别网络每次输出的第三概率和第四概率，分别确定初始生成网络的第四损失值与初始判别网络的第五损失值。若第四损失值与第五损失值均未处于预设范围，则可以确定初始生成网络与初始判别网络的性能均不符合要求，从而可以根据第四损失值对初始生成网络的参数进行修正，以及根据第五损失值对初始判别网络的参数进行修正，以生成修正后的生成网络和判别网络。之后，迭代进行上述训练过程，直至第三损失值、第四损失值及第五损失值均处于预设范围，则可以确定修正后的生成网络和判别网络的性能均满足要求，从而完成对生成网络和判别网络的训练过程，并将第三损失值与第四损失值均处于预设范围的修正后的生成网络，确定为第二生成网络。
需要说明的是，在对初始生成网络进行训练，以生成第二生成网络时，还可以在损失函数中加入泊松方程，以在计算生成网络的损失时，融入判别损失、颜色约束和梯度约束，以进一步提升第二生成网络将目标特征与背景图像进行融合的效果，进一步提升合成图像的真实性和整体协调性。
步骤306，当前的数据增广模式为第二模式时，根据第二模式对原图像集进行增广处理，以获取增广图像集。
上述步骤306的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
根据本申请实施例的技术方案，通过根据不同的数据增广任务对图像区域的关注特点，将待生成图像的类型划分为全局图像和局部特征图像，并在待生成图像的类型为全局图像，且需要在合成的新图像中融入特定对象时，基于生成式对抗网络与泊松融合相结合的方式对原图像集进行增广处理，以获取增广数据集。由此，通过在生成式对抗网络的训练过程中融入泊松方程，实现了生成式对抗网络与泊松融合的结合，从而不仅有效缓解了训练数据集匮乏的问题，而且提升了特定对象与背景图像的融合效果，进一步提升了生成的新图像的整体真实性和协调性。
在本申请一种可能的实现形式中，待生成图像的类型为局部特征图像时，由于仅关注局部特征的细节，因此对于数据增广所生成的新图像，通常注重保持特定对象对应的局部区域的真实性。从而，可以根据对象图像与参考图像的相似度，确定数据增广的具体方式，以在保证图像合成效果的同时，降低数据处理量，进而提升数据增广的效率。
下面结合图4，对本申请实施例提供的数据增广的方法进行进一步说明。
图4为本申请实施例所提供的又一种数据增广的方法的流程示意图。
如图4所示，该数据增广的方法，包括以下步骤：
步骤401，获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型。
步骤402，如果待生成图像的类型为全局图像，则确定当前的数据增广模式为第一模式。
步骤403，如果待生成图像的类型为局部特征图像，则确定当前的数据增广模式为第二模式。
步骤404，当前的数据增广模式为第一模式时，根据第一模式对原图像集进行增广处理，以获取增广图像集。
上述步骤401-404的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤405，当前的数据增广模式为第二模式时，获取原图像集中的对象图像与参考图像。
其中，对象图像，是指包含特定对象的图像，即特定对象是需要关注和融合的局部特征。比如，在应用在质量检测的深度学习模型训练数据集的增广场景时，对象图像可以是包含缺陷的产品图像，即特定对象为产品缺陷；在应用在人脸识别深度模型训练数据集的增光场景时，对象图像可以是帽子、眼镜等配饰，也可以是头发、眼睛等人脸中的器官。
其中，参考图像，是指可用于与对象图像融合的背景图像。比如，在应用在质量检测的深度学习模型训练数据集的增广场景时，参考图像可以是良品图像；在应用在人脸识别深度模型训练数据集的增光场景时，参考图像可以是包含人脸的图像。
在本申请实施例中，确定当前的增广模式为第二模式之后，可以获取原数据集中的参考图像和对象图像，以对将对象图像中的特定对象与参考图像进行合成，生成大量包含特定对象的新图像，以实现对原图像集的数据增广
步骤406，确定对象图像的第一关键特征及参考图像的第二关键特征。
其中，关键特征，可以包括图像的光照特征、纹理特征、亮度特征等。实际使用时，可以根据实际需要及具体的应用场景，确定关键特征包括的特征类型，本申请实施例对此不做限定。
在本申请实施例中，对一张对象图像和一张参考图像进行合成之前，可以首先对该对象图像和该参考图像进行特征提取，以确定对象图像的第一关键特征与参考图像的第二关键特征，进而根据第一关键特征与第二关键特征的相似度，确定对象图像与参考图像的相似度。
步骤407，判断第一关键特征与第二关键特征间的相似度是否大于或等于第一阈值，若是，则执行步骤408；否则，执行步骤409。
在本申请实施例中，将对象图像与参考图像进行合成，以对源数据集进行增广时，可以根据对象图像与参考图像的相似度，确定对对象图像与参考图像进行合成的方式。比如，在对象图像与参考图像的相似度较高时，说明即使将对象图像简单粘贴至参考图像中，也可以生成将对象图像中的局部特征保持良好，且局部特征与参考图像中的背景比较协调的合成图像，并且还可以降低数据处理量，提升数据增广的效率；在对象图像与参考图像的相似度较低时，则说明简单将对象图像粘贴至参考图像中，生成的合成图像质量较差，从而可以采用其他方式对对象图像与参考图像进行合成处理。
作为一种可能的实现方式，可以采用相同的图像特征提取算法，分别对对象图像与参考图像进行特征提取，以生成对象图像的图像特征的向量表示(即第一关键特征)，与参考图像的图像特征的向量表示(即第二关键特征)，之后可以根据第一关键特征与第二关键特征之间的距离或余弦相似度等参数，确定第一关键特征与第二关键特征的相似度。比如，可以将第一关键特征与第二关键特征之间的余弦相似度，确定为第一关键特征与第二关键特征的相似度。进而在第一关键特征与第二关键特征的相似度大于或等于预先设置的第一阈值时，确定对象图像与参考图像的相似度较高；在第一关键特征与第二关键特征的相似度小于第一阈值时，确定对象图像与参考图像的相似度较低。
需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，确定第一阈值的具体取值，本申请实施例对此不做限定。比如，第一阈值第一关键特征与第二关键特征的相似度的取值范围为[0,1]时，第一阈值可以为0.8。
步骤408，根据对象图像中的对象在参考图像中的位置，将对象粘贴至参考图像中，以生成增广图像集。
在本申请实施例中，确定第一关键特征与第二关键特征的相似度大于或等于第一阈值时，即对象图像与参考图像的相似度较高时，可以将对象图像与参考图像进行对齐，并根据对象图像中的对象在参考图像中的位置，确定对象在对象图像中对应的各像素点的像素值，进而将参考图像中相应位置的各像素点的像素值，分别修改为对象在对象图像中对应的各像素点的像素值，以生成对象图像与参考图像的合成图像，即将对象粘贴至参考图像中。从而，通过在对象图像与参考图像的相似度较高时，采用简单的复制粘贴方式，实现对象图像与参考图像的合成，提升了数据增广的效率。
步骤409，判断第一关键特征与第二关键特征间的相似度是否小于或等于第二阈值，其中，第二阈值小于第一阈值，若是，则执行步骤410；否则，执行步骤411。
作为一种可能的实现方式，在第一关键特征与第二关键特征间的相似度小于第一阈值时，即对象图像与参考图像的相似度较低时，还可以进一步判断对象图像与参考图像的差异是否过大，以采用不同的方式对对象图像与参考图像进行合成处理，以进一步提升合成图像的真实性和协调性。
具体的，在第一关键特征与第二关键特征间的相似度小于第一阈值时。可以继续判断第一关键特征与第二关键特征间的相似度是否小于或等于第二阈值，若是，则可以确定对象图像与参考图像的差异过大；若第一关键特征与第二关键特征间的相似度大于第二阈值，则可以确定对象图像与参考图像的相似度处于中等水平。
步骤410，获取对象图像中的前景区域，并将前景区域与参考图像进行泊松融合，以生成增广图像集。
其中，前景区域，是指对象图像中的对象对应的区域。
在本申请实施例中，若确定第一关键特征与第二关键特征间的相似度大于第二阈值，则可以确定对象图像与参考图像的差异过大，直接将对象图像中对象粘贴至参考图像中，容易出现对象区域与参考图像中的背景区域无法自然过渡的现象。因此，作为一种可能的实现方式，可以首先采用前景提取算法(如matting算法)，对对象进行精细的前景提取，以计算出对象区域对应的前景掩膜，将对象图像中的前景区域与背景区域进行分离。之后，采用泊松融合算法将精细提取出的前景区域与参考图像进行合成，以实现对象图像与参考图像的合成。
步骤411，将对象图像与参考图像进行泊松融合，以生成增广图像集。
在本申请实施例中，若确定第一关键特征与第二关键特征间的相似度大于第二阈值，则可以确定对象图像与参考图像的相似度处于中等水平，直接将对象图像中对象粘贴至参考图像中，也可能出现对象区域与参考图像中的背景区域无法自然过渡的现象。但是，由于不自然的程度可能较低，从而可以仅采用泊松融合的方式对对象图像与参考图像进行合成，以在提升合成效果的同时，降低数据处理量。
作为一种可能的实现方式，在第一关键特征与第二关键特征间的相似度大于第二阈值时，由于对象图像中本身包含对对象区域的标注(即已包含的前景掩膜)，因此，可以首先根据对象图像中已包含的对对象区域的标注，计算对象区域的梯度场，以及参考图像的梯度场。之后，根据对象区域在对象图像中的位置，将对象区域的梯度场放置在参考图像的梯度场的相应位置上，融合重叠区域的梯度场得到组合梯度场。进而在组合梯度场的基础上计算散度场并构建泊松方程，以根据散度场和泊松方程求解合成图像中每个像素点的像素值，实现对对象图像与参考图像的泊松融合。
根据本申请实施例的技术方案，通过根据不同的数据增广任务对图像区域的关注特点，将待生成图像的类型划分为全局图像和局部特征图像，并在待生成图像的类型为局部特征图像时，根据对象图像的第一关键特征与参考图像的第二关键特征的相似度，确定对象图像与参考图像的相似度，以在对象图像与参考图像的相似度处于不同范围时，分别采用简单粘贴、泊松融合、前景提取与泊松融合相结合的方式，对对象图像与参考图像进行合成处理，以生成增广数据集。由此，通过根据对象图像与参考图像的相似度，确定数据增广的具体方式，从而不仅有效缓解了训练数据集匮乏的问题，而且在保证图像合成效果的同时，降低了数据处理量，进一步提升了数据增广的效率。
为了实现上述实施例，本申请还提出一种数据增广的装置。
图5为本申请实施例提供的一种数据增广的装置的结构示意图。
如图5所示，该数据增广的装置50，包括：
获取模块51，用于获取数据增广请求，其中，增广请求中包括原图像集及待生成图像的类型；
确定模块52，用于根据待生成图像的类型，确定当前的数据增广模式；以及
增广处理模块53，用于根据当前的数据增广模式，对原图像集进行增广处理，以获取增广图像集。
在实际使用时，本申请实施例提供的数据增广的装置，可以被配置在任意电子设备中，以执行前述数据增广的方法。
根据本申请实施例的技术方案，通过根据数据增广请求中的待生成图像的类型，确定当前的数据增广模型，进而根据当前的数据增广模式，对原图像集进行增广处理。由此，通过对于不同类型的数据增广任务，选择不同的数据增广模式实现数据增广，从而不仅有效缓解了训练数据集匮乏的问题，而且能够实现较好的定向增广效果。
在本申请一种可能的实现形式中，上述确定模块52，包括：
第一确定单元，用于在待生成图像的类型为全局图像时，确定当前的数据增广模式为第一模式；以及
第二确定单元，用于在待生成图像的类型为局部特征图像时，确定当前的数据增广模式为第二模式。
进一步的，在本申请另一种可能的实现形式中，上述当前的数据增广模式为第一模式；相应的，上述增广处理模块53，包括：
增广处理单元，用于利用第一生成网络，对原图像集中的原图像进行增广处理，以获取增广图像集。
进一步的，在本申请再一种可能的实现形式中，上述增广处理模块53，还包括：
第一获取单元，用于获取原图像集中的对象图像及参考图像；
第二获取单元，用于将对象图像及参考图像输入初始生成网络，以获取初始生成网络生成的第一待判别图像；
第三获取单元，用于将第一待判别图像及参考图像，分别输入初始判别网络，以获取初始判别网络输出的第一待判别图像属于真实图像的第一概率及参考图像属于真实图像的第二概率；
第一修正单元，用于根据第一概率及第二概率，对初始生成网络及初始判别网络进行修正，以生成第一生成网络。
进一步的，在本申请又一种可能的实现形式中，上述增广请求中，还包括目标特征图像，上述当前的数据增广模式为第一模式；相应的，上述增广处理模块53，包括：
第四获取单元，用于根据目标特征图像，对原图像集中的原图像进行预处理，以获取预处理图像；
第五获取单元，用于利用第二生成网络，对预处理图像进行增广处理，以获取增广图像集。
进一步的，在本申请又一种可能的实现形式中，上述增广处理模块53，还包括：
第六获取单元，用于获取原图像集中的对象图像及参考图像；
第一生成单元，用于将对象图像粘贴至参考图像，以生成组合图像；
第二生成单元，用于将组合图像进行光学变换处理，以生成变换图像；
第七获取单元，用于将组合图像输入初始生成网络，以获取初始生成网络生成的第二待判别图像；
第二修正单元，用于根据第二待判别图像与变换图像的差异，对初始生成网络进行修正；
第八获取单元，用于将第二待判别图像及参考图像，分别输入初始判别网络，以获取初始判别网络输出的第二待判别图像属于真实图像的第三概率及参考图像属于真实图像的第四概率；
第三修正单元，用于根据第三概率及第四概率，对初始生成网络及初始判别网络进行修正，以生成第二生成网络。
进一步的，在本申请另一种可能的实现形式中，上述当前的数据增广模式为第二模式；相应的，上述增广处理模块53，包括：
第九获取单元，用于获取原图像集中的对象图像与参考图像；
第三确定单元，用于确定对象图像的第一关键特征及参考图像的第二关键特征；以及
第三生成单元，用于在第一关键特征与第二关键特征间的相似度大于或等于第一阈值时，根据对象图像中的对象在参考图像中的位置，将对象粘贴至参考图像中，以生成增广图像集。
进一步的，在本申请再一种可能的实现形式中，上述增广处理模块53，还包括：
第十获取单元，用于在第一关键特征与第二关键特征间的相似度小于或等于第二阈值时，获取对象图像中的前景区域；
第四生成单元，用于将前景区域与参考图像进行泊松融合，以生成增广图像集，其中，第二阈值小于第一阈值。
进一步的，在本申请又一种可能的实现形式中，上述增广处理模块53，还包括：
第五生成单元，用于在第一关键特征与第二关键特征间的相似度大于第二阈值、且小于第一阈值时，将对象图像与参考图像进行泊松融合，以生成增广图像集。
需要说明的是，前述对图1、图2、图3、图4所示的数据增广的方法实施例的解释说明也适用于该实施例的数据增广的装置50，此处不再赘述。
根据本申请实施例的技术方案，通过根据不同的数据增广任务对图像区域的关注特点，将待生成图像的类型划分为全局图像和局部特征图像，并在待生成图像的类型为全局图像时，基于生成式对抗网络对原图像集进行增广处理，以获取增广数据集。由此，在待生成图像的类型为全局图像的数据增广场景，通过生成式对抗网络对原图像集进行增广处理，从而不仅有效缓解了训练数据集匮乏的问题，而且提升了生成的新图像的整体真实性和协调性，进一步提升了定向增广效果。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图6所示，是根据本申请实施例的数据增广的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据增广的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据增广的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据增广的方法对应的程序指令/模块(例如，附图5所示的获取模块51、确定模块52及增广处理模块53)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据增广的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据增广的方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据增广的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据增广的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与数据增广的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的技术方案，通过根据数据增广请求中的待生成图像的类型，确定当前的数据增广模型，进而根据当前的数据增广模式，对原图像集进行增广处理。由此，通过对于不同类型的数据增广任务，选择不同的数据增广模式实现数据增广，从而不仅有效缓解了训练数据集匮乏的问题，而且能够实现较好的定向增广效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种数据增广的方法，包括：
获取数据增广请求，其中，所述增广请求中包括原图像集及待生成图像的类型；
如果所述待生成图像的类型为全局图像，则确定当前的数据增广模式为第一模式；以及如果所述待生成图像的类型为局部特征图像，则确定当前的数据增广模式为第二模式；以及
根据所述当前的数据增广模式，对所述原图像集进行增广处理，以获取增广图像集；
其中，所述当前的数据增广模式为第一模式，所述根据所述当前的数据增广模式对所述原图像集进行增广处理，以获取增广图像集，包括：
利用第一生成网络，对所述原图像集中的原图像进行增广处理，以获取增广图像集；所述第一生成网络的生成方式，包括：获取所述原图像集中的对象图像及参考图像；将所述对象图像及所述参考图像输入初始生成网络，以获取所述初始生成网络生成的第一待判别图像；将所述第一待判别图像及所述参考图像，分别输入初始判别网络，以获取所述初始判别网络输出的所述第一待判别图像属于真实图像的第一概率及所述参考图像属于真实图像的第二概率；根据所述第一概率及所述第二概率，对所述初始生成网络及所述初始判别网络进行修正，以生成所述第一生成网络；
其中，所述当前的数据增广模式为第二模式，所述根据所述当前的数据增广模式，对所述原图像集进行增广处理，以获取增广图像集，包括：获取所述原图像集中的对象图像与参考图像；确定所述对象图像的第一关键特征及所述参考图像的第二关键特征；以及如果所述第一关键特征与所述第二关键特征间的相似度大于或等于第一阈值，则根据所述对象图像中的对象在所述参考图像中的位置，将所述对象粘贴至所述参考图像中，以生成增广图像集。
2.根据权利要求1所述的方法，其中，所述增广请求中，还包括目标特征图像，所述当前的数据增广模式为第一模式，所述根据所述当前的数据增广模式对所述原图像集进行增广处理，以获取增广图像集，包括：
根据所述目标特征图像，对所述原图像集中的原图像进行预处理，以获取预处理图像；
利用第二生成网络，对所述预处理图像进行增广处理，以获取增广图像集。
3.根据权利要求2所述的方法，其中，在所述利用第二生成网络，对所述预处理图像进行增广处理之前，还包括：
获取所述原图像集中的对象图像及参考图像；
将所述对象图像粘贴至所述参考图像，以生成组合图像；
将所述组合图像进行光学变换处理，以生成变换图像；
将所述组合图像输入初始生成网络，以获取所述初始生成网络生成的第二待判别图像；
根据所述第二待判别图像与所述变换图像的差异，对所述初始生成网络进行修正；
将所述第二待判别图像及所述参考图像，分别输入初始判别网络，以获取所述初始判别网络输出的所述第二待判别图像属于真实图像的第三概率及所述参考图像属于真实图像的第四概率；
根据所述第三概率及所述第四概率，对所述初始生成网络及所述初始判别网络进行修正，以生成所述第二生成网络。
4.根据权利要求1所述的方法，其中，在确定所述对象图像的第一关键特征及所述参考图像的第二关键特征之后，还包括：
如果所述第一关键特征与所述第二关键特征间的相似度小于或等于第二阈值，则获取所述对象图像中的前景区域；
将所述前景区域与所述参考图像进行泊松融合，以生成增广图像集，其中，所述第二阈值小于所述第一阈值。
5.根据权利要求1所述的方法，其中，在确定所述对象图像的第一关键特征及所述参考图像的第二关键特征之后，还包括：
如果所述第一关键特征与所述第二关键特征间的相似度大于所述第二阈值、且小于所述第一阈值，则将所述对象图像与所述参考图像进行泊松融合，以生成增广图像集。
6.一种数据增广的装置，包括：
获取模块，用于获取数据增广请求，其中，所述增广请求中包括原图像集及待生成图像的类型；
确定模块，用于在所述待生成图像的类型为全局图像时，确定当前的数据增广模式为第一模式；以及在所述待生成图像的类型为局部特征图像时，确定当前的数据增广模式为第二模式；以及
增广处理模块，用于根据所述当前的数据增广模式，对所述原图像集进行增广处理，以获取增广图像集；
其中，所述当前的数据增广模式为第一模式，所述增广处理模块，包括：
增广处理单元，用于利用第一生成网络，对所述原图像集中的原图像进行增广处理，以获取增广图像集；所述第一生成网络的生成方式，包括：获取所述原图像集中的对象图像及参考图像；将所述对象图像及所述参考图像输入初始生成网络，以获取所述初始生成网络生成的第一待判别图像；将所述第一待判别图像及所述参考图像，分别输入初始判别网络，以获取所述初始判别网络输出的所述第一待判别图像属于真实图像的第一概率及所述参考图像属于真实图像的第二概率；根据所述第一概率及所述第二概率，对所述初始生成网络及所述初始判别网络进行修正，以生成所述第一生成网络；
所述当前的数据增广模式为第二模式，所述增广处理模块，包括：
第九获取单元，用于获取所述原图像集中的对象图像与参考图像；
第三确定单元，用于确定所述对象图像的第一关键特征及所述参考图像的第二关键特征；以及
第三生成单元，用于在所述第一关键特征与所述第二关键特征间的相似度大于或等于第一阈值时，根据所述对象图像中的对象在所述参考图像中的位置，将所述对象粘贴至所述参考图像中，以生成增广图像集。
7.根据权利要求6所述的装置，其中，所述增广请求中，还包括目标特征图像，所述当前的数据增广模式为第一模式，所述增广处理模块，包括：
第四获取单元，用于根据所述目标特征图像，对所述原图像集中的原图像进行预处理，以获取预处理图像；
第五获取单元，用于利用第二生成网络，对所述预处理图像进行增广处理，以获取增广图像集。
8.根据权利要求7所述的装置，其中，所述增广处理模块，还包括：
第六获取单元，用于获取所述原图像集中的对象图像及参考图像；
第一生成单元，用于将所述对象图像粘贴至所述参考图像，以生成组合图像；
第二生成单元，用于将所述组合图像进行光学变换处理，以生成变换图像；
第七获取单元，用于将所述组合图像输入初始生成网络，以获取所述初始生成网络生成的第二待判别图像；
第二修正单元，用于根据所述第二待判别图像与所述变换图像的差异，对所述初始生成网络进行修正；
第八获取单元，用于将所述第二待判别图像及所述参考图像，分别输入初始判别网络，以获取所述初始判别网络输出的所述第二待判别图像属于真实图像的第三概率及所述参考图像属于真实图像的第四概率；
第三修正单元，用于根据所述第三概率及所述第四概率，对所述初始生成网络及所述初始判别网络进行修正，以生成所述第二生成网络。
9.根据权利要求6所述的装置，其中，所述增广处理模块，还包括：
第十获取单元，用于在所述第一关键特征与所述第二关键特征间的相似度小于或等于第二阈值时，获取所述对象图像中的前景区域；
第四生成单元，用于将所述前景区域与所述参考图像进行泊松融合，以生成增广图像集，其中，所述第二阈值小于所述第一阈值。
10.根据权利要求6所述的装置，其中，所述增广处理模块，还包括：
第五生成单元，用于在所述第一关键特征与所述第二关键特征间的相似度大于第二阈值、且小于所述第一阈值时，将所述对象图像与所述参考图像进行泊松融合，以生成增广图像集。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537632.7A CN111832745B (zh) | 2020-06-12 | 2020-06-12 | 数据增广的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537632.7A CN111832745B (zh) | 2020-06-12 | 2020-06-12 | 数据增广的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832745A CN111832745A (zh) | 2020-10-27 |
| CN111832745B true CN111832745B (zh) | 2023-08-01 |
Family
ID=72899108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010537632.7A Active CN111832745B (zh) | 2020-06-12 | 2020-06-12 | 数据增广的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832745B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967248B (zh) * | 2021-03-03 | 2024-01-23 | 北京百度网讯科技有限公司 | 生成缺陷图像样本的方法、装置、介质及程序产品 |
| CN113160231A (zh) * | 2021-03-29 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 一种样本生成方法、样本生成装置及电子设备 |
| CN113284086A (zh) * | 2021-03-31 | 2021-08-20 | 广东电力信息科技有限公司 | 电力稀缺缺陷图像生成及检测方法、装置及相关设备 |
| CN113160341B (zh) * | 2021-04-27 | 2022-11-25 | 中国科学院自动化研究所 | 一种含有目标物品的x光图像生成方法、系统及设备 |
| CN113435273B (zh) * | 2021-06-15 | 2022-03-25 | 北京的卢深视科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| CN114119363A (zh) * | 2021-10-15 | 2022-03-01 | 北京百度网讯科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| CN113989548B (zh) * | 2021-10-20 | 2024-07-02 | 平安银行股份有限公司 | 证件分类模型训练方法、装置、电子设备及存储介质 |
| CN114066788B (zh) * | 2021-10-26 | 2024-03-29 | 华南理工大学 | 一种平衡的实例分割数据合成方法 |
| CN114663810B (zh) * | 2022-03-21 | 2023-11-10 | 中国电信股份有限公司 | 基于多模态的物体图像增广方法及装置、设备及存储介质 |
| CN115345321B (zh) * | 2022-10-19 | 2023-02-17 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018177237A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和存储介质 |
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
-
2020
- 2020-06-12 CN CN202010537632.7A patent/CN111832745B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018177237A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和存储介质 |
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Polysomnographic and pharmacokinetic findings in levodopa-induced augmentation of restless legs syndrome.;R Vetrugno;Movement Disorders;全文 * |
| 结合数据增广和迁移学习的高分辨率遥感影像场景分类;乔婷婷;李鲁群;;测绘通报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832745A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832745B (zh) | 数据增广的方法、装置及电子设备 | |
| CN111783647B (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN111294665B (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| CN111722245B (zh) | 定位方法、定位装置和电子设备 | |
| CN111709470B (zh) | 图像生成方法、装置、设备及介质 | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| CN111783622A (zh) | 人脸表情识别的方法、装置、设备和计算机可读存储介质 | |
| US11568590B2 (en) | Cartoonlization processing method for image, electronic device, and storage medium | |
| CN112270745B (zh) | 一种图像生成方法、装置、设备以及存储介质 | |
| CN111739167B (zh) | 3d人头重建方法、装置、设备和介质 | |
| US10484599B2 (en) | Simulating depth of field | |
| CN111768356A (zh) | 一种人脸图像融合方法、装置、电子设备及存储介质 | |
| CN111754431B (zh) | 一种图像区域替换方法、装置、设备及存储介质 | |
| CN112001248A (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| CN114792355A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN114187392B (zh) | 虚拟偶像的生成方法、装置和电子设备 | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN113362409B (zh) | 图像上色及其模型训练方法、装置、电子设备、存储介质 | |
| CN115082298A (zh) | 图像生成方法、装置、电子设备以及存储介质 | |
| CN112785524A (zh) | 一种人物图像的修复方法、装置及电子设备 | |
| CN113240780A (zh) | 生成动画的方法和装置 | |
| CN112560678A (zh) | 表情识别方法、装置、设备及计算机存储介质 | |
| CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |