CN113591917A - 一种数据增强的方法及装置 - Google Patents

一种数据增强的方法及装置 Download PDF

Info

Publication number
CN113591917A
CN113591917A CN202110727026.6A CN202110727026A CN113591917A CN 113591917 A CN113591917 A CN 113591917A CN 202110727026 A CN202110727026 A CN 202110727026A CN 113591917 A CN113591917 A CN 113591917A
Authority
CN
China
Prior art keywords
picture
target
enhanced
generation model
semantic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110727026.6A
Other languages
English (en)
Other versions
CN113591917B (zh
Inventor
唐健
石伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202110727026.6A priority Critical patent/CN113591917B/zh
Publication of CN113591917A publication Critical patent/CN113591917A/zh
Application granted granted Critical
Publication of CN113591917B publication Critical patent/CN113591917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本申请实施例公开了一种数据增强的方法及装置,用于生成改变特征的增强数据,从而通过增强数据减少神经网络模型拟合度过高的情况。本申请实施例方法包括:训练初始生成模型,得到目标生成模型,所述目标生成模型为基于生成式对抗网络GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;获取待增强图片;根据所述待增强图片确定目标语义信息;根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。

Description

一种数据增强的方法及装置
技术领域
本申请实施例涉及数据增强技术领域,尤其涉及一种数据增强的方法及装置。
背景技术
在图像处理的深度学习中,训练神经网络模型对数据量的需求是庞大的,因此对数据量比较少的数据集,需要进行数据增强从而使得数据集增广以满足训练神经网络模型的要求。
现有技术中,一般采用的数据增强方法是对数据集中的图片进行旋转、翻转、裁剪和缩放大小的操作。然而,现有技术中采取的数据增强方法只是对图片进行简单的几何变换,并没有改变图片的特征,用这些图片作为训练集训练神经网络模型,容易导致训练得到的神经网络模型拟合度过高。
发明内容
本申请实施例提供了一种数据增强的方法及装置,可以生成改变特征的增强数据,从而通过增强数据减少神经网络模型拟合度过高的情况。
本申请实施例第一方面提供了一种数据增强的方法,包括:
训练初始生成模型,得到目标生成模型,所述目标生成模型为基于生成式对抗网络(Generative Adversarial Networks,GAN)的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取待增强图片;
根据所述待增强图片确定目标语义信息;
根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
可选的,所述根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片包括:
将所述待增强图片输入所述目标生成模型;
通过所述目标生成模型中的预设向量生成规则,生成与所述目标语义信息对应的目标语义向量;
根据所述待增强图片和所述目标语义向量生成目标增强图片。
可选的,所述根据所述待增强图片确定目标语义信息包括:
根据所述待增强图片的标签值确定目标图片类别;
根据所述目标图片类别确定目标语义信息。
可选的,所述训练初始生成模型,得到目标生成模型包括:
S1:获取预设图片类别和所述预设图片类别中每一个图片类别对应的语义信息;
S2:获取预设向量生成规则,所述预设向量生成规则包括根据所述预设图片类别中每一个图片类别对应的语义信息生成对应的语义向量;
S3:获取真实图片集,所述真实图片集包括带有标签值的真实图片,所述真实图片为标记为真实的图片;
S4:固定所述初始生成模型中生成器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第一仿真图片集,根据所述第一仿真图片集和所述真实图片集对所述初始生成模型的判别器进行训练,并更新所述判别器的参数;
S5:固定所述判别器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第二仿真图片集,根据所述第二仿真图片集和所述真实图片集对所述初始生成模型的生成器进行训练,并更新所述生成器的参数;
S6:交替执行步骤S4和步骤S5以进行迭代训练,并判断所述初始生成模型是否达到预设收敛条件,若是,则将所述初始生成模型确定为目标生成模型;若否,则进行下一次迭代训练。
可选的,所述交替执行步骤S4和步骤S5以进行迭代训练包括:
每执行K次步骤S4之后执行1次步骤S5以进行一次迭代训练,所述K为大于等于1的整数。
本申请实施例第二方面提供了一种数据增强的装置,包括:
训练单元,用于训练初始生成模型,得到目标生成模型,所述目标生成模型为基于GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取单元,用于获取待增强图片;
确定单元,用于根据所述待增强图片确定目标语义信息;
生成单元,用于根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
可选的,所述生成单元具体用于:
将所述待增强图片输入所述目标生成模型;
通过所述目标生成模型中的预设向量生成规则,生成与所述目标语义信息对应的目标语义向量;
根据所述待增强图片和所述目标语义向量生成目标增强图片。
可选的,所述确定单元具体用于:
将所述待增强图片输入所述目标生成模型;
通过所述目标生成模型中的预设向量生成规则,生成与所述目标语义信息对应的目标语义向量;
根据所述待增强图片和所述目标语义向量生成目标增强图片。
可选的,所述训练单元具体用于:
S1:获取预设图片类别和所述预设图片类别中每一个图片类别对应的语义信息;
S2:获取预设向量生成规则,所述预设向量生成规则包括根据所述预设图片类别中每一个图片类别对应的语义信息生成对应的语义向量;
S3:获取真实图片集,所述真实图片集包括带有标签值的真实图片,所述真实图片为标记为真实的图片;
S4:固定所述初始生成模型中生成器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第一仿真图片集,根据所述第一仿真图片集和所述真实图片集对所述初始生成模型的判别器进行训练,并更新所述判别器的参数;
S5:固定所述判别器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第二仿真图片集,根据所述第二仿真图片集和所述真实图片集对所述初始生成模型的生成器进行训练,并更新所述生成器的参数;
S6:交替执行步骤S4和步骤S5以进行迭代训练,并判断所述初始生成模型是否达到预设收敛条件,若是,则将所述初始生成模型确定为目标生成模型;若否,则进行下一次迭代训练。
本申请实施例第三方面提供了一种数据增强的装置,包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
训练初始生成模型,得到目标生成模型,所述目标生成模型为基于GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取待增强图片;
根据所述待增强图片确定目标语义信息;
根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
所述处理器还用于执行第一方面及第一方面的可选方案中的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时使得所述计算机执行第一方面及第一方面的可选方案中的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供的方法,首先训练初始生成模型,从而得到基于GAN的目标生成模型,而目标生成模型可以根据输入图片的语义信息生成对应的增强图片。然后获取待增强图片,并确定待增强图片的目标语义信息,再将待增强图片输入到目标生成模型就可以生成与待增强图片对应的目标增强图片。因为目标增强图片是根据待增强图片的语义信息生成的,所以目标增强图片的特征得到了改变,使用目标增强图片训练神经网络模型,可以减少训练得到的神经网络模型出现拟合度过高的现象,从而提高神经网络模型的泛化能力。
附图说明
图1为本申请实施例中数据增强的方法一个实施例的流程示意图;
图2为本申请实施例中数据增强的方法另一个实施例的流程示意图;
图3为本申请实施例中数据增强的装置一个实施例的结构示意图;
图4为本申请实施例中数据增强的装置另一个实施例的结构示意图;
图5为本申请实施例中数据增强的装置另一个实施例的结构示意图。
具体实施方式
本申请实施例提供了一种数据增强的方法及装置,用于生成改变特征的增强数据,从而通过增强数据减少神经网络模型拟合度过高的情况。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的方法可以应用于服务器、终端或者其它具备逻辑处理能力的设备,对此,本申请不作限定。为方便描述,下面以执行主体为服务器为例进行描述。
请参与图1,本申请实施例中数据增强的方法一个实施例包括:
101、训练初始生成模型,得到目标生成模型;
服务器可以对初始生成模型进行迭代训练,当确定达到收敛条件时,得到目标生成模型。目标生成模型是基于GAN的神经网络模型,图片被输入到目标生成模型后,目标生成模型可以根据图片的语义信息生成对应的增强图片。
102、获取待增强图片;
如果要对图片进行数据增强的处理,则需要先获取到图片,因此服务器可以获取待增强图片以进行进一步的数据增强。
103、根据待增强图片确定目标语义信息;
服务器可以根据待增强图片确定目标语义信息,其中,目标语义信息是待增强图片对应的语义信息。本实施例中,图片类别和语义信息是预先设计好的,一个图片类别对应多个语义信息,例如图片类别为“车”,而“车”对应的语义信息包括“视角变换”、“改变颜色”、“改变背景”、“改变汽车款式”、和“改变汽车尾灯”;图片类别为“猫”,而“猫”对应的语义信息包括“视角变换”、“改变颜色”、“改变背景”、“跑动”、“骑车”、“跳跃”、“行走”。因此服务器可以根据待增强图片的图片类别确定目标语义信息。
104、根据目标语义信息,通过目标生成模型生成与待增强图片对应的目标增强图片。
服务器在确定目标语义信息之后,可以将待增强图片和目标语义信息一起输入到目标生成模型,利用目标生成模型生成对应的目标增强图片。
本实施例中,服务器首先训练初始生成模型,从而得到基于GAN的目标生成模型,而目标生成模型可以根据输入图片的语义信息生成对应的增强图片。然后获取待增强图片,并确定待增强图片的目标语义信息,再将待增强图片输入到目标生成模型就可以生成与待增强图片对应的目标增强图片。因为目标增强图片是根据待增强图片的语义信息生成的,所以目标增强图片的特征得到了改变,使用目标增强图片训练神经网络模型,可以减少训练得到的神经网络模型出现拟合度过高的现象,从而提高神经网络模型的泛化能力。
请参与图2,本申请实施例中数据增强的方法另一个实施例包括:
201、获取预设图片类别和预设图片类别中每一个图片类别对应的语义信息;
服务器可以获取预设图片类别和预设图片类别中每一个图片类别对应的语义信息。例如,预设图片类别中一共包含N个图片类别,而这N个图片类别中,每一个图片类别都对应了各自的语义信息。需要说明的是,不同的图片类别对应的语义信息的数量可以是相同的,也可以是不同的,具体此处不作限定。
202、获取预设向量生成规则;
服务器可以获取预设向量生成规则,预设向量生成规则为初始生成模型生成语义向量的规则,初始生成模型可以根据预设向量生成规则对预设图片类别中每一个图片类别对应的语义信息进行处理,生成对应的语义向量。
203、获取真实图片集;
服务器需要根据真实的图片对初始生成模型进行训练,因此服务器可以获取真实图片集。
204、固定初始生成模型中生成器的参数,根据生成器、真实图片集和预设向量生成规则生成第一仿真图片集,根据第一仿真图片集和真实图片集对初始生成模型的判别器进行训练,并更新判别器的参数;
服务器可以固定初始生成模型中生成器的参数,训练初始生成模型的判别器。具体过程包括:固定生成器的参数,通过预设向量生成规则生成真实图片集的语义向量,然后通过生成器根据语义向量和真实图片集生成对应的第一仿真图片集,再将第一仿真图片集和真实图片集输入判别器,通过判别器判断输入图片的真假,真图片为来自真实图片集的图片,假图片为来自第一仿真图片集的图片,最后再根据判别器的判别结果对判别器的参数进行更新,提高判别器判断真假图片的能力。
需要说明的是,可以将真实图片集中全部的图片输入到生成器生成第一仿真图片集,也可以将真实图片集中部分的图片输入到生成器生成第一仿真图片集,具体此处不作限定。可以从第一仿真图片集和真实图片集中随机抽取部分图片输入到判别器,也可以将第一仿真图片集和真实图片集中全部的图片都输入到判别器,具体此处不作限定。
205、固定判别器的参数,根据生成器、真实图片集和预设向量生成规则生成第二仿真图片集,根据第二仿真图片集和真实图片集对初始生成模型的生成器进行训练,并更新生成器的参数;
服务器可以固定初始生成模型中判别器的参数,训练初始生成模型的生成器。具体过程包括:固定判别器的参数,通过预设向量生成规则生成真实图片集的语义向量,然后通过生成器根据语义向量和真实图片集生成对应的第二仿真图片集,再将第二仿真图片集和真实图片集输入判别器,通过判别器判断输入图片的真假,真图片为来自真实图片集的图片,假图片为来自第二仿真图片集的图片,最后再根据判别器的判别结果对生成器的参数进行更新,提高生成器生成的第二仿真图片集被判别器判断为真图片的概率。
需要说明的是,可以将真实图片集中全部的图片输入到生成器生成第二仿真图片集,也可以将真实图片集中部分的图片输入到生成器生成第二仿真图片集,具体此处不作限定。可以从第二仿真图片集和真实图片集中随机抽取部分图片输入到判别器,也可以将第二仿真图片集和真实图片集中全部的图片都输入到判别器,具体此处不作限定。
需要说明的是,本实施例中,连续执行K次步骤204后执行一次步骤205为一次迭代训练。其中,K为大于等于1的整数。
206、判断初始生成模型是否达到预设收敛条件,若是则执行步骤207;若否则重新执行步骤204至206;
服务器在对初始生成模型进行一次迭代训练之后,可以根据预设收敛条件判断初始生成模型是否已经收敛,如果确定初始生成模型已经收敛,则执行步骤207。如果确定初始生成模型没有收敛,则重新执行步骤204至206以进行新一轮的迭代训练,然后重新判断初始生成模型是否收敛。本实施例中,预设收敛条件可以是迭代训练的次数达到预设值,也可以是其他条件,具体此处不作限定。
207、将初始生成模型确定为目标生成模型;
服务器在确定初始生成模型已经收敛时,将初始生成模型确定为目标生成模型。
208、获取待增强图片;
本实施例中,步骤208与前述实施例中的步骤102类似,此处不再赘述。
209、根据待增强图片的标签值确定目标图片类别;
待增强图片中携带有代表图片类别的标签值,因此服务器可以根据待增强图片的标签值确定待增强图片的图片类别,即目标图片类别。
210、根据目标图片类别确定目标语义信息;
因为每个图片类别都对应了相应的语义信息,所以服务器可以根据目标图片类别(待增强图片的图片类别)确定目标语义信息(待增强图片的语义信息)。
211、将待增强图片输入目标生成模型;
服务器可以将待增强图片输入目标生成模型,通过目标生成模型对待增强图片进行数据增强。
212、通过目标生成模型中的预设向量生成规则,生成与目标语义信息对应的目标语义向量;
服务器可以根据目标生成模型中的预设向量生成规则生成与目标语义信息对应的目标语义向量。
213、根据待增强图片和目标语义向量生成目标增强图片。
服务器在将待增强图片输入到目标生成模型之后,目标生成模型可以根据预设向量生成规则对目标语义信息进行处理,得到目标语义向量,再根据该目标语义向量对待增强图片进行对应的语义改变,生成目标增强图片。
上面对本申请实施例中数据增强的方法进行了描述,下面对本申请实施例中数据增强的装置进行描述。
请参阅图3,本申请实施例中数据增强的装置一个实施例包括:
训练单元301,用于训练初始生成模型,得到目标生成模型,目标生成模型为基于GAN的神经网络模型,目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取单元302,用于获取待增强图片;
确定单元303,用于根据待增强图片确定目标语义信息;
生成单元304,用于根据目标语义信息,通过目标生成模型生成与待增强图片对应的目标增强图片。
本实施例中,训练单元301首先训练初始生成模型,从而得到基于GAN的目标生成模型,而目标生成模型可以根据输入图片的语义信息生成对应的增强图片。然后获取单元302获取待增强图片,确定单元303确定待增强图片的目标语义信息,生成单元304再将待增强图片输入到目标生成模型就可以生成与待增强图片对应的目标增强图片。因为目标增强图片是根据待增强图片的语义信息生成的,所以目标增强图片的特征得到了改变,使用目标增强图片训练神经网络模型,可以减少训练得到的神经网络模型出现拟合度过高的现象,从而提高神经网络模型的泛化能力。
下面对本申请实施例中数据增强的装置进行描述,请参阅图4,本申请实施例中数据增强的装置另一个实施例包括:
训练单元401,用于训练初始生成模型,得到目标生成模型,目标生成模型为基于GAN的神经网络模型,目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取单元402,用于获取待增强图片;
确定单元403,用于根据待增强图片确定目标语义信息;
生成单元404,用于根据目标语义信息,通过目标生成模型生成与待增强图片对应的目标增强图片。
本实施例中,训练单元401具体用于:
S1:获取预设图片类别和预设图片类别中每一个图片类别对应的语义信息;
S2:获取预设向量生成规则,预设向量生成规则包括根据预设图片类别中每一个图片类别对应的语义信息生成对应的语义向量;
S3:获取真实图片集,真实图片集包括带有标签值的真实图片,真实图片为标记为真实的图片;
S4:固定初始生成模型中生成器的参数,根据生成器、真实图片集和预设向量生成规则生成第一仿真图片集,根据第一仿真图片集和真实图片集对初始生成模型的判别器进行训练,并更新判别器的参数;
S5:固定判别器的参数,根据生成器、真实图片集和预设向量生成规则生成第二仿真图片集,根据第二仿真图片集和真实图片集对初始生成模型的生成器进行训练,并更新生成器的参数;
S6:每执行K次步骤S4之后执行1次步骤S5以进行一次迭代训练,K为大于等于1的整数,并判断初始生成模型是否达到预设收敛条件,若是,则将初始生成模型确定为目标生成模型;若否,则进行下一次迭代训练。
本实施例中,确定单元403具体用于:
根据待增强图片的标签值确定目标图片类别;
根据目标图片类别确定目标语义信息。
本实施例中,生成单元404具体用于:
将待增强图片输入目标生成模型;
通过目标生成模型中的预设向量生成规则,生成与目标语义信息对应的目标语义向量;
根据待增强图片和目标语义向量生成目标增强图片。
本实施中,各单元的功能和前述图2所示实施例中的步骤对应,此处不再赘述。
下面对本申请实施例中数据增强的装置进行描述,请参阅图5,本申请实施例中数据增强的装置另一个实施例包括:
处理器501、存储器502、输入输出单元503以及总线504;
处理器501与存储器502、输入输出单元503以及总线相连504;
处理器501具体执行如下操作:
训练初始生成模型,得到目标生成模型,目标生成模型为基于GAN的神经网络模型,目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取待增强图片;
根据待增强图片确定目标语义信息;
根据目标语义信息,通过目标生成模型生成与待增强图片对应的目标增强图片。
本实施例中,处理器的功能与前述图1至图2所示实施例中的步骤对应,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种数据增强的方法,其特征在于,包括:
训练初始生成模型,得到目标生成模型,所述目标生成模型为基于生成式对抗网络GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取待增强图片;
根据所述待增强图片确定目标语义信息;
根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片包括:
将所述待增强图片输入所述目标生成模型;
通过所述目标生成模型中的预设向量生成规则,生成与所述目标语义信息对应的目标语义向量;
根据所述待增强图片和所述目标语义向量生成目标增强图片。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待增强图片确定目标语义信息包括:
根据所述待增强图片的标签值确定目标图片类别;
根据所述目标图片类别确定目标语义信息。
4.根据权利要求3所述的方法,其特征在于,所述训练初始生成模型,得到目标生成模型包括:
S1:获取预设图片类别和所述预设图片类别中每一个图片类别对应的语义信息;
S2:获取预设向量生成规则,所述预设向量生成规则包括根据所述预设图片类别中每一个图片类别对应的语义信息生成对应的语义向量;
S3:获取真实图片集,所述真实图片集包括带有标签值的真实图片,所述真实图片为标记为真实的图片;
S4:固定所述初始生成模型中生成器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第一仿真图片集,根据所述第一仿真图片集和所述真实图片集对所述初始生成模型的判别器进行训练,并更新所述判别器的参数;
S5:固定所述判别器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第二仿真图片集,根据所述第二仿真图片集和所述真实图片集对所述初始生成模型的生成器进行训练,并更新所述生成器的参数;
S6:交替执行步骤S4和步骤S5以进行迭代训练,并判断所述初始生成模型是否达到预设收敛条件,若是,则将所述初始生成模型确定为目标生成模型;若否,则进行下一次迭代训练。
5.根据权利要求4所述的方法,其特征在于,所述交替执行步骤S4和步骤S5以进行迭代训练包括:
每执行K次步骤S4之后执行1次步骤S5以进行一次迭代训练,所述K为大于等于1的整数。
6.一种数据增强的装置,其特征在于,包括:
训练单元,用于训练初始生成模型,得到目标生成模型,所述目标生成模型为基于GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取单元,用于获取待增强图片;
确定单元,用于根据所述待增强图片确定目标语义信息;
生成单元,用于根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
7.根据权利要求6所述的装置,其特征在于,所述生成单元具体用于:
将所述待增强图片输入所述目标生成模型;
通过所述目标生成模型中的预设向量生成规则,生成与所述目标语义信息对应的目标语义向量;
根据所述待增强图片和所述目标语义向量生成目标增强图片。
8.根据权利要求7所述的装置,其特征在于,所述确定单元具体用于:
根据所述待增强图片的标签值确定目标图片类别;
根据所述目标图片类别确定目标语义信息。
9.根据权利要求8所述的装置,其特征在于,所述训练单元具体用于:
S1:获取预设图片类别和所述预设图片类别中每一个图片类别对应的语义信息;
S2:获取预设向量生成规则,所述预设向量生成规则包括根据所述预设图片类别中每一个图片类别对应的语义信息生成对应的语义向量;
S3:获取真实图片集,所述真实图片集包括带有标签值的真实图片,所述真实图片为标记为真实的图片;
S4:固定所述初始生成模型中生成器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第一仿真图片集,根据所述第一仿真图片集和所述真实图片集对所述初始生成模型的判别器进行训练,并更新所述判别器的参数;
S5:固定所述判别器的参数,根据所述生成器、所述真实图片集和所述预设向量生成规则生成第二仿真图片集,根据所述第二仿真图片集和所述真实图片集对所述初始生成模型的生成器进行训练,并更新所述生成器的参数;
S6:交替执行步骤S4和步骤S5以进行迭代训练,并判断所述初始生成模型是否达到预设收敛条件,若是,则将所述初始生成模型确定为目标生成模型;若否,则进行下一次迭代训练。
10.一种数据增强的装置,其特征在于,包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
训练初始生成模型,得到目标生成模型,所述目标生成模型为基于GAN的神经网络模型,所述目标生成模型用于根据输入图片的语义信息生成对应的增强图片;
获取待增强图片;
根据所述待增强图片确定目标语义信息;
根据所述目标语义信息,通过所述目标生成模型生成与所述待增强图片对应的目标增强图片。
CN202110727026.6A 2021-06-29 2021-06-29 一种数据增强的方法及装置 Active CN113591917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727026.6A CN113591917B (zh) 2021-06-29 2021-06-29 一种数据增强的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727026.6A CN113591917B (zh) 2021-06-29 2021-06-29 一种数据增强的方法及装置

Publications (2)

Publication Number Publication Date
CN113591917A true CN113591917A (zh) 2021-11-02
CN113591917B CN113591917B (zh) 2024-04-09

Family

ID=78244917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727026.6A Active CN113591917B (zh) 2021-06-29 2021-06-29 一种数据增强的方法及装置

Country Status (1)

Country Link
CN (1) CN113591917B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316333A1 (en) * 2015-11-04 2017-11-02 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US20180203907A1 (en) * 2015-07-20 2018-07-19 Nec Europe Ltd. Method and system for querying semantic information stored across several semantically enhanced resources of a resource structure
US20200026416A1 (en) * 2018-07-19 2020-01-23 Palo Alto Research Center Incorporated System and method for generating photorealistic synthetic images based on semantic information
US20200104726A1 (en) * 2018-09-29 2020-04-02 VII Philip Alvelda Machine learning data representations, architectures, and systems that intrinsically encode and represent benefit, harm, and emotion to optimize learning
CN111340708A (zh) * 2020-03-02 2020-06-26 北京理工大学 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN111666771A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 文书的语义标签抽取、装置、电子设备及可读存储介质
CN111897809A (zh) * 2020-07-24 2020-11-06 中国人民解放军陆军装甲兵学院 一种基于生成对抗网络的指挥信息系统数据生成方法
US20200380366A1 (en) * 2018-06-12 2020-12-03 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Enhanced generative adversarial network and target sample recognition method
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技(深圳)有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112614197A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 图像生成方法、装置、计算机设备和存储介质
CN112667800A (zh) * 2020-12-21 2021-04-16 深圳壹账通智能科技有限公司 关键词生成方法、装置、电子设备及计算机存储介质
CN112734658A (zh) * 2020-12-29 2021-04-30 维沃移动通信(杭州)有限公司 图像增强方法、装置及电子设备
CN112738092A (zh) * 2020-12-29 2021-04-30 北京天融信网络安全技术有限公司 一种日志数据增强方法、分类检测方法及系统
US20210134268A1 (en) * 2019-11-04 2021-05-06 Ubtech Robotics Corp Ltd Method for utterance generation, smart device, and computer readable storage medium
US20210158570A1 (en) * 2019-11-22 2021-05-27 Adobe Inc. Enhanced video shot matching using generative adversarial networks

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180203907A1 (en) * 2015-07-20 2018-07-19 Nec Europe Ltd. Method and system for querying semantic information stored across several semantically enhanced resources of a resource structure
US20170316333A1 (en) * 2015-11-04 2017-11-02 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US20200380366A1 (en) * 2018-06-12 2020-12-03 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Enhanced generative adversarial network and target sample recognition method
US20200026416A1 (en) * 2018-07-19 2020-01-23 Palo Alto Research Center Incorporated System and method for generating photorealistic synthetic images based on semantic information
US20200104726A1 (en) * 2018-09-29 2020-04-02 VII Philip Alvelda Machine learning data representations, architectures, and systems that intrinsically encode and represent benefit, harm, and emotion to optimize learning
US20210134268A1 (en) * 2019-11-04 2021-05-06 Ubtech Robotics Corp Ltd Method for utterance generation, smart device, and computer readable storage medium
US20210158570A1 (en) * 2019-11-22 2021-05-27 Adobe Inc. Enhanced video shot matching using generative adversarial networks
CN111340708A (zh) * 2020-03-02 2020-06-26 北京理工大学 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN111666771A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 文书的语义标签抽取、装置、电子设备及可读存储介质
CN111897809A (zh) * 2020-07-24 2020-11-06 中国人民解放军陆军装甲兵学院 一种基于生成对抗网络的指挥信息系统数据生成方法
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技(深圳)有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112614197A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 图像生成方法、装置、计算机设备和存储介质
CN112667800A (zh) * 2020-12-21 2021-04-16 深圳壹账通智能科技有限公司 关键词生成方法、装置、电子设备及计算机存储介质
CN112734658A (zh) * 2020-12-29 2021-04-30 维沃移动通信(杭州)有限公司 图像增强方法、装置及电子设备
CN112738092A (zh) * 2020-12-29 2021-04-30 北京天融信网络安全技术有限公司 一种日志数据增强方法、分类检测方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
""Improving Augmentation and Evaluation Schemes for Semantic Image Synthesis"", 《HTTPS://ARXIV.ORG》 *
LIU KEXIN, ET AL.,: ""APPLICATION OF GENERATIVE ADVERSARIAL NETWORK IN SEMANTIC SEGMENTATION"", 《2020 17TH INTERNATIONAL COMPUTER CONFERENCE ON WAVELET ACTIVE MEDIA TECHNOLOGY AND INFORMATION PROCESSING(ICCWAMTIP)》 *
宣云干;朱庆华;鞠秀芳;: "社会化标注系统的标签语义检索研究综述", 现代情报, no. 02 *
李奥;但志平;董方敏;刘龙文;冯阳;: "基于改进生成对抗网络的谣言检测方法", 中文信息学报, no. 09 *
林克正;李昊天;白婧轩;李骜;: "语义自编码结合关系网络的零样本图像识别算法", 模式识别与人工智能, no. 03 *
柯健;徐志京;: "基于生成对抗网络的语音增强算法研究", 信息技术与网络安全, no. 05 *
王辰成;杨麟儿;王莹莹;杜永萍;杨尔弘;: "基于Transformer增强架构的中文语法纠错方法", 中文信息学报, no. 06 *

Also Published As

Publication number Publication date
CN113591917B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109859288B (zh) 基于生成对抗网络的图像上色方法及装置
CN112966742A (zh) 模型训练方法、目标检测方法、装置和电子设备
EP3675034A1 (en) Image realism predictor
CN104618350A (zh) 一种图片验证码的生成方法
CN110246198B (zh) 选字验证码生成方法、装置、电子设备及存储介质
EP4290448A1 (en) Image generation model training method, generation method, apparatus, and device
CN111383651A (zh) 一种语音降噪方法、装置及终端设备
CN112784929A (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN113962845B (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN113361567B (zh) 图像处理方法、装置、电子设备和存储介质
CN111950579A (zh) 分类模型的训练方法和训练装置
CN112598611A (zh) 一种凸字体银行卡号图像的合成方法、识别方法及装置
CN113591917A (zh) 一种数据增强的方法及装置
CN111260570B (zh) 基于循环一致性对抗网络的碑帖二值化背景噪声模拟方法
CN109840926B (zh) 一种图像生成方法、装置及设备
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN113269701A (zh) 一种基于注意力引导和核选择机制的低照度图像增强方法
CN111858862A (zh) 一种答复推荐方法、答复推荐装置及电子设备
CN112101330B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111382834A (zh) 一种置信度比较方法及装置
CN116798052B (zh) 文本识别模型的训练方法和装置、存储介质及电子设备
CN111612861B (zh) 一种图像合成方法及装置
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
RU2817316C2 (ru) Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства
CN110689542A (zh) 一种基于多级卷积神经网络的人像分割处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant