CN118154912A - 图像生成模型的处理方法、装置、设备及存储介质 - Google Patents
图像生成模型的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118154912A CN118154912A CN202410584871.6A CN202410584871A CN118154912A CN 118154912 A CN118154912 A CN 118154912A CN 202410584871 A CN202410584871 A CN 202410584871A CN 118154912 A CN118154912 A CN 118154912A
- Authority
- CN
- China
- Prior art keywords
- text
- target
- loss function
- model
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 145
- 238000000034 method Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000452 restraining effect Effects 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 21
- 239000013598 vector Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 241001133760 Acoelorraphe Species 0.000 description 5
- 241000257303 Hymenoptera Species 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本公开提供了图像生成模型的处理方法、装置、设备及存储介质，涉数据处理技术领域，尤其涉及人工智能、大数据、图像生成等技术领域。具体实现方案为：确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及人工智能、大数据、图像生成技术领域。
背景技术
对于特定语境下的图像生成模型，比如，中文语境下的图像生成模型，由于中文语料库中存在大量专有名词，导致了较为严重的语义歧义问题，图像生成模型的生成效果不尽人意。
发明内容
本公开提供了一种图像生成模型的处理方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种图像生成模型的处理方法，包括：
确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；
确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；
至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
根据本公开的另一方面，提供了一种图像生成模型的处理方法，包括：
将目标文本输入至目标图像生成模型，其中，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配的图像；所述目标文本为目标名词对应的文本；
输出与所述目标文本的语义所匹配的图像。
根据本公开的另一方面，提供了一种图像生成模型的处理装置，包括：
样本确定单元，用于确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；
损失函数确定单元，用于确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；
训练单元，用于至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
根据本公开的另一方面，提供了一种图像生成模型的处理装置，包括：
处理单元，用于将目标文本输入至目标图像生成模型，其中，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配的图像；所述目标文本为目标名词对应的文本；
输出单元，用于输出与所述目标文本的语义所匹配的图像。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
这样，本公开方案能够根据目标数据集和目标损失函数，对初始图像生成模型的文本编码器进行增量训练，使得训练后所得的目标图像生成模型不仅具有初始图像生成模型的生成能力，还兼具目标名词的准确理解能力，进而确保目标图像生成模型所输出的图像与所输入的文本语义匹配，如此，有效提升了模型的生成效果，提升了用户体验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本申请一实施例图像生成模型的处理方法的示意性流程图一；
图2是根据本申请一实施例的目标图文对的示意图；
图3是根据本申请一实施例图像生成模型的处理方法的示意性流程图二；
图4是根据本申请一实施例图像生成模型的处理方法的示意性流程图三；
图5是根据本申请一实施例的模型训练的场景示意图；
图6是根据本申请一实施例图像生成模型的处理方法的示意性流程图三；
图7是根据本申请一实施例的基于图文对齐的生成模型专有名词增量学习的训练方法的示意图；
图8是根据本申请一实施例的训练模型的场景示意图；
图9是根据本申请一实施例的模型训练效果的对比示意图；
图10是根据本申请一实施例的图像生成模型的处理装置的结构示意图一；
图11是根据本申请一实施例的图像生成模型的处理装置的结构示意图二；
图12是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，缺少某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
以下对本公开实施例的相关技术进行说明，以下相关技术作为可选方案与本公开实施例的技术方案可以进行任意结合，其均属于本公开实施例的保护范围。
对于特定语境下的图像生成模型，比如，中文语境下的图像生成模型，由于中文语料库中存在大量专有名词，导致了较为严重的语义歧义问题，图像生成模型的生成效果不尽人意。比如，“蚂蚁上树”一般指菜品，而不是“蚂蚁在树上爬动”；“熊熊烈火”中包含“熊”字与动物无关。而当上述的名词作为提示词输入至图像生成模型后，“蚂蚁”、“树”、“熊”等会对图像生成模型的文本编码器造成极大干扰，进而导致最终的生成效果不尽人意。
举例来说，基于扩散模型的图像生成模型，展现出了令人惊艳的图像合成能力，比如，将文字描述作为提示词输入至模型后，可生成与文字描述所匹配的图像。这类图像生成模型主要包括三个模块：基于变换器（transformer）的文本编码模型、基于U型神经网络（UNet）的扩散模型和自动编码器（autoencoder）。这里，文本编码器主要用于提取输入的提示词的文本特征向量，并通过两端注意力机制，如cross attention方式，将文本特征向量送入扩散模型的UNet中，以对所需生成的图像和提示词的语义相关性进行约束。但是，上述模型对特定语境的理解仍然不尽如人意，导致所生成的图像与提示词的语义相关性低，降低了用户体验。
基于此，本公开方案提供了一种轻量级的高效的文生图算法迭代方案，能够确保图像生成模型在原有图像生成能力不变的情况下，增量学习特定语境下的文本，比如，增量学习专有名词的图文对，以提升图像生成模型的生成效果，进而提升用户体验。
具体地，图1是根据本申请一实施例图像生成模型的处理方法的示意性流程图一。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。
进一步地，该方法至少包括以下内容的至少部分内容。如图1所示，包括：
步骤S101：确定目标数据集。
这里，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像。
步骤S102：确定目标损失函数。
这里，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度，如此，使得基于该目标损失函数训练后所得的目标图像生成模型能够生成与输入的提示词语义相关（也即语义匹配）的图像。
步骤S103：至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型。
该示例中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
需要指出的是，在一示例中，所述初始图像生成模型是训练完成的图像生成模型，换言之，所述初始图像生成模型具有基于输入的文本生成与该文本语义匹配的图像的能力。相应地，所述目标图像生成模型是在所述初始图像生成模型的生成能力的基础上，利用目标名词以及与目标名词语义匹配的目标图像（也即目标图文对）进行增量训练后所得，如此，使得该目标图像生成模型不仅具有所述初始图像生成模型的生成能力，还兼具对目标名词的准确理解能力，有效提升了模型的生成效果，进而提升了用户体验。
这样，本公开方案能够根据目标数据集和目标损失函数，对初始图像生成模型的文本编码器进行增量训练，使得训练后所得的目标图像生成模型不仅具有初始图像生成模型的生成能力，还兼具目标名词的准确理解能力，进而确保目标图像生成模型所输出的图像与所输入的文本语义匹配，如此，有效提升了模型的生成效果，提升了用户体验。
另外，本公开方案不是对整个初始图像生成模型进行训练，而是对初始图像生成模型中的文本编码器进行增量训练，换言之，本公开方案的训练方式为轻量级的增量训练，所以，训练效率高，在有效提升模型生成效果的基础上，还兼顾了训练成本问题。
这里，在一示例中，所述目标名词可具体为具有特殊语义的名词，比如，为专有名词；相应地，目标图文对可具体为由专有名词及专有名词的图像（也即与专有名词的语义所匹配的图像）所组成的图文对。
需要说明的是，本公开方案所述的专有名词为名词的一种，表示特定的、独一无二的人或物（人名、地名、国家名、景观名等）。专有名词与普通名词相对。举例来说，如图2所示，目标数据集所包含的目标图文对可以为：“黄喉”及其对应的菜品图像、“蚂蚁上树”及其对应的菜品图像、“掌中宝”及其对应的菜品图像、“熊熊烈火”及其对应的场景图像。
图3根据本申请一实施例图像生成模型的处理方法的示意性流程图二。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。可以理解的是，以上图1所示方法的相关内容，也可以应用于该示例中，该示例对相关联内容不再赘述。
进一步地，该方法至少包括以下内容的至少部分内容。如图3所示，包括：
步骤S301：确定原始数据集。
这里，所述原始数据集是基于训练所述初始图像生成模型的训练集所得，包含有多个原始文本。比如，所述原始数据集可以为训练所述初始图像生成模型所使用的数据集中的部分或全部数据。具体地，在一示例中，该原始数据集为训练所述初始图像生成模型的训练集的子集。
步骤S302：确定目标数据集。
这里，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像。
这里，步骤S301和步骤S302的执行顺序可以调换，本公开方案对此不作具体限制。
进一步地，在一示例中，所述目标数据集中的目标名词为专有名词，具体解释可参见以上说明，此处不再赘述。
进一步地，在另一示例中，所述原始数据集中的原始文本为普通名词所对应的文本。此时，基于普通名词对应的文本训练所得的初始图像生成模型则可具有生成与输入提示词语义所匹配的图像的生成能力。这样，由于增量训练中还使用了原始训练集，所以，能够有效确保训练后的模型具有初始图像生成模型的生成能力，且确保该生成能力不因增量训练而改变。
进一步地，在再一示例中，所述目标名词为专有名词，相应地，所述原始文本为普通名词对应的文本，如此，基于本公开方案所得的目标图像生成模型，不仅具有初始图像生成模型的生成能力，还兼具目标名词的准确理解能力，进而确保无论输入的文本是普通名词还是专有名词，目标图像生成模型所输出的图像均与所输入的文本语义匹配，如此，有效提升了模型的生成效果，进而进一步提升了用户体验。
进一步地，在一示例中，目标数据集的数据量，小于原始数据集的数据量，如此，可有效提升训练效率。
步骤S303：确定目标损失函数。
这里，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度。
进一步地，在一示例中，可以采用如下方式构造目标损失函数，具体地，以上所述的确定目标损失函数，包括以下内容的至少部分：
步骤S303-1：确定第一损失函数和第二损失函数。
这里，所述第一损失函数用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度。如此，来确保训练所得的目标图像生成模型能够准确理解目标名词，以在输入目标名词后能够输出与之语义匹配的图像，进而提升模型的生成效果，丰富用户体验的同时提升了用户体验。
进一步地，所述第二损失函数用于约束进行增量训练的文本编码器对原始文本的文本理解力，与增量训练前的文本编码器对原始文本的文本理解力的差异度。
需要说明的是，该示例中，进行增量训练的是初始图像生成模型的中文本编码器，此时，利用第二损失函数可以有效避免增加训练时该文本编码器遗忘历史训练结果，因此，有效确保了训练后所得的目标图像生成模型具有初始图像生成模型的生成能力，且该生成能力并未因增量训练而被改变。
步骤S303-2：基于第一损失函数和第二损失函数，得到目标损失函数。
进一步地，在一具体示例中，所述第一损失函数为对比损失函数。进一步地，在另一示例中，所述第二损失函数为均方误差（Mean Squared Error，MSE）损失函数。
这样，本公开方案提供了一种具体地损失函数构造方式，一方面，利用构造所得的损失函数（比如第一损失函数），来确保训练所得目标图像生成模型能够准确理解目标名词，以在输入目标名词后能够输出与之语义匹配的图像，另一方面，还可以利用构造所得的损失函数（比如第二损失函数），来有效避免增加训练时遗忘历史训练结果的问题，以确保训练后所得的目标图像生成模型具有初始图像生成模型的生成能力，这样，提升了模型的生成效果，同时，也提升了用户体验。
进一步地，在一具体示例中，在得到第一损失函数和第二损失函数之后，还可以采用如下方式得到目标损失函数；具体地，以上所述的基于第一损失函数和第二损失函数，得到目标损失函数，包括以下内容的至少部分：
对第一损失函数和第二损失函数进行加权处理，得到所述目标损失函数。
比如，目标损失函数=权重1×第一损失函数+权重2×第二损失函数。
这里，权重1和权重2可为经验值；可以理解的是，权重1和权重2可基于实际训练需求而调整，本公开方案对此不作限制。
这样，本公开方案提供了一种利用第一损失函数和第二损失函数得到目标损失函数的具体方案，该方案简便、可解释性强，同时，为有效提升训练效果提供了支持。而且，权重可基于实际训练需求而调整，因此，提升了本公开方案的灵活性，更便于满足不同的训练需求。
步骤S304：基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型。
这样，本公开方案可以快速完成增量训练，训练效率高、成本低，而且，训练所得的目标图像生成模型不仅具有初始图像生成模型的生成能力，还兼具目标名词的准确理解能力，有效提升了模型的生成效果，进而提升了用户体验。
具体地，图4是根据本申请一实施例图像生成模型的处理方法的示意性流程图三。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。可以理解的是，以上图1至图3所示方法的相关内容，也可以应用于该示例中，该示例对相关联内容不再赘述。
进一步地，该方法至少包括以下内容的至少部分内容。如图4和图5所示，包括：
步骤S401：确定原始数据集。
这里，所述原始数据集是基于训练所述初始图像生成模型的训练集所得，包含有多个原始文本。这里，有关原始数据集的相关内容可参见以上描述，此处不再赘述。
步骤S402：确定目标数据集。
这里，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像。
这里，有关目标数据集的相关内容可参见以上描述，此处不再赘述。
步骤S403：基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型。
这里，步骤S401至步骤S403的执行顺序可以调换，本公开方案对此不作具体限制。
进一步地，在一示例中，可以采用如下方式得到学生文本模型和教师文本模型，具体地，以上所述的基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型，包括以下内容的至少部分：
步骤S403-1：将所述初始图像生成模型中的文本编码器作为所述教师文本模型。如此，可使该教文本模型有效继承训练完成的文本编辑器的文本处理能力。
步骤S403-2：对所述初始图像生成模型中的文本编码器进行处理，得到所述学生文本模型。其中，所述教师文本模型和学生文本模型的模型结构相同。
需要说明的是，在一示例中，也可直接将所述初始图像生成模型中的文本编码器作为学生文本模型，此时，该学生文本模型也能有效继承训练完成的文本编辑器的文本处理能力。
或者，在另一示例中，还可对初始图像生成模型中的文本编码器进行处理，比如，进行剪枝处理，或进行部分参数冻结处理等，此时，所得的学生文本模型，一方面能有效继承训练完成的文本编辑器的文本处理能力，另一方面为提升增量训练的训练效率提供支持。
进一步地，在一示例中，所述学生文本模型中的可调参数的参数量，小于所述教师文本模型的可调参数的参数量。如此，为提升增量训练的训练效率提供了有力支持。
这样，利用初始图像生成模型中的文本编码器来构造教师文本模型和学生文本模型，且该教师文本模型和学生文本模型均继承有文本编码器中训练完成的参数，换言之，该教师文本模型和学生文本模型均继承有文本编辑器的文本处理能力，如此，有效确保了增量训练后的模型兼具目标名词和普通名词的理解能力。
步骤S404：确定第一损失函数和第二损失函数。
这里，如图5所示，该示例中，所述第一损失函数用于约束目标名词输入学生文本模型后所得的文本特征，与目标图像输入所述初始图像生成模型中的图像编码器后所得的图像特征之间的语义相关度。如此，来确保训练所得的学生文本模型能够准确理解目标名词，进而确保训练所得的目标图像生成模型在输入目标名词后能够输出与之语义匹配的图像，这样，有效提升了模型的生成效果，丰富用户体验的同时也提升了用户体验。
进一步地，如图5所示，所述第二损失函数用于约束学生文本特征与教师文本特征之间的差异程度；学生文本特征是将原始文本输入学生文本模型后所得，教师文本特征是将原始文本输入教师文本模型后所得。如此，利用教师文本特征来约束学生文本特征，以确保训练后所得的学生文本模型具有初始图像生成模型中文本编码器的生成能力，进而确保训练后所得的目标图像生成模型具有初始图像生成模型的生成能力，且该生成能力不会因增量训练而被改变。
这里，有关第一损失函数和第二损失函数的相关内容可参见以上描述，此处不再赘述。
步骤S405：基于第一损失函数和第二损失函数，得到目标损失函数。
步骤S406：基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述学生文本模型进行增量训练，并将训练完成后的学生文本模型替换所述初始图像生成模型中的文本编码器，以得到所述目标图像生成模型。
这样，本公开提供了一种具体地增量训练方式，即利用初始图像生成模型中的文本编码器来构造教师文本模型和学生文本模型，此时，构造所得的教师文本模型和学生文本模型均继承有文本编码器中训练完成的参数，如此，来有效确保训练后所得的目标图像生成模型不仅具有目标名词的准确理解能力，还兼具初始图像生成模型的生成能力，且该初始图像生成模型的生成能力不会因为增量训练所被改变，因此，有效提升了模型的生成效果，进而提升了用户体验。而且，该增量训练方式简便、高效。
图6是根据本申请一实施例图像生成模型的处理方法的示意性流程图三。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。
进一步地，该方法至少包括以下内容的至少部分内容。如图5所示，包括：
步骤S601：将目标文本输入至目标图像生成模型。
这里，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配（也即语义匹配）的图像；所述目标文本为目标名词对应的文本；
步骤S602：输出与所述目标文本的语义所匹配的图像。
可以理解的是，在一示例中，目标文本还可以为其他名词对应的文本，比如，为普通名词对应的文本。换言之，本公开方案所述的目标图像生成模型不仅具有对目标名词的准确理解能力，还兼具普通名词的准确理解能力，且可生成与输入文本的语义所匹配的图像。
进一步地，在一示例中，所述目标图像生成模型中的文本编码器至少是使用目标文本对，对初始图像生成模型中的文本编码器进行增量训练后所得。进一步地，初始图像生成模型是使用原始文本训练后所得的图像生成模型。
进一步地，在另一示例中，该目标图像生成模型是采用以上所述的方法训练后所得。
这样，本公开方案所述的目标图像生成模型可以生成与目标文本的语义所匹配的图像，如此，有效减少了对目标文本语义的误解，提高了图像生成模型生成正确图像的能力，进而提升了用户体验。
以下结合具体示例，对本公开方案做进一步详细说明；具体地，本公开方案基于图文对齐算法，提出了一种轻量级的高效的文生图算法迭代方案，能够确保图像生成模型在原有图像生成能力不变的情况下，增量学习专有名词下的文生图能力，以实现对专有名词的准确理解，并生成与之语义匹配的图像，进而来进一步提升图像生成模型的生成效果。
具体地，本公开方案增量训练的基础模型可称为原始图像生成模型（也即以上所述的初始图像生成模型），该原始图像生成模型是训练完成后的图像生成模型，具有文生图能力；进一步地，该原始图像生成模型包括文本编码器和图像编码器，本示例增量训练该文本编码器，且保证了文本编码器的特征空间分布，并使用少量增量数据微调文本编码器（也即增量训练完成）后，替换掉原始图像生成模型中的文本编码器，进而得到目标图像生成模型，此时，该目标图像生成模型即为增量训练所得的图像生成模型，兼具原始图像生成模型的文生图能力，和专有名词的准确理解能力，进而有效提升了对专有名词的图像生成效果。
如图7和图8所示，基于图文对齐的图像生成模型专有名词增量学习的训练方法可具体包括：
步骤S701：准备用于蒸馏的大批量的原始文本数据集（对应以上所述的原始数据集），以及用于增量训练的少量的专有名词的图文数据集（对应以上所述的目标数据集），该图文数据集中包含多个图文对，各图文对是由专有名词及其语义匹配的图像所组成，如图2所示，此处不再赘述。
步骤S702：初始化，以得到图像编码器，学生文本编码器（对应以上所述的学生文本模型）和教师文本编码器（对应以上所述的教师文本模型）；
比如，加载训练完成的图文对齐的初始图像生成模型的图像编码器和文本编码器参数权重，以得到一个图像编码器和结构和可调参数取值相同的学生文本编码器和教师文本编码器。
步骤S703：从步骤S701中的原始文本数据集中选中一批次的原始文本，并将选中的原始文本通过学生文本编码器前向传播得到学生文本特征向量，以及将选中的原始文本通过教师文本编码器前向传播得到教师文本特征向量；
步骤S704：基于步骤S703得到的原始文本所对应的学生文本特征向量和教师文本特征向量，计算得到对比损失函数的损失值。
比如，如图8所示，将“一只可爱的猫”、“开通女孩头像”、“奢华室内装修”等原始文本，输入至教师文本编码器，并得到对应的教师文本特征向量，同理，将“一只可爱的猫”、“开通女孩头像”、“奢华室内装修”等原始文本，输入至学生文本编码器，得到对应的学生文本特征向量，此时，可基于“一只可爱的猫”对应的学生文本特征向量和教师文本特征向量、“开通女孩头像”对应的学生文本特征向量和教师文本特征向量、“奢华室内装修”对应的学生文本特征向量和教师文本特征向量等，计算得到对比损失函数的损失值。
步骤S705：从步骤S701中的图文数据集中选中一批次的图文对，并将选中的图文对中的专有名词通过学生文本编码器前向传播得到专有名词的特征向量，以及将选中的图文对中的图像通过图像编码器前向传播得到图像的特征向量。
步骤S706：基于步骤S705得到的图文对中的专有名词的特征向量，以及图文对中的图像的特征向量，计算得到MSE损失函数的损失值。
比如，如图8所示，可将图文对中的“蚂蚁上树”、“香脆掌中宝”、“黄喉”、“熊熊烈火”等文本输入至学生文本编码器，并得到对应的文本特征，相应地，将将图文对中的“蚂蚁上树”对应的图像、“香脆掌中宝”对应的图像、“黄喉”对应的图像、“熊熊烈火”对应的图像等图像输入至图像编码器，并得到对应的图像特征，此时，可基于“蚂蚁上树”的文本特征和“蚂蚁上树”对应图像的图像特征、“香脆掌中宝”的文本特征和“香脆掌中宝”对应图像的图像特征、“黄喉”的文本特征和“黄喉”对应图像的图像特征，以及“熊熊烈火”的文本特征和“熊熊烈火”对应图像的图像特征等，计算得到对比损失函数的损失值。
步骤S707：对步骤S705和步骤S706中的损失值进行加权，得到加权和，并计算其梯度信息。
步骤S708：梯度反向传播，以更新学生文本编码器的可调参数（比如，权重参数）。
步骤S709：判定学生文本编码器是否达到收敛条件，或者是否达到最大迭代次数，若是，执行步骤S710；否则，返回步骤S703。
步骤S710：将学生文本编码器替换原始生成模型中的文本编码器，以得到目标图像生成模型。
如图9所示，本公开方案训练后所得的目标图像生成模型，在输入专有名词后可通过前向推理得到与该专有名词的语义所匹配的图像，相较于原始图像生成模型而言，本公开方案所得的目标图像生成模型可大幅提升对专有名词的准确理解能力，有效提升了用户体验。
综上所述，本公开方案在采用少量增量数据微调文本编码器的情况下，提升了图像生成模型对专有名词的图像生成效果；进一步地，具体优势如下：
第一，本公开方案解决了图像生成模型文本编码阶段，由于专有名词语义歧义所导致生成的图像不准确的问题；而且，本公开方案不需要经过大批量图文数据训练，只需要微调的文本编码器，并将微调后的文本编码器嵌入至图像生成模型中即可，对专有名词的图像生成效果提升明显；
第二，本公开方案通过对比损失函数让学生文本编码器和图像编码器的语义对齐，以使学生文本编码器正确理解专有名词；同时，通过MSE损失函数，让学生文本编码器与教师文本编码器的文本理解对齐，以保持其它文本数据下文本特征向量的空间分布不变。
第三，相比于现有方案，本公开方案不会干扰到常规文本的图像生成效果，训练效率高，且能兼顾多样性。
本公开方案还提供了一种图像生成模型的处理装置，如图10所示，包括：
样本确定单元1001，用于确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；
损失函数确定单元1002，用于确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；
训练单元1003，用于至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
在本公开方案的一具体示例中，所述样本确定单元，还用于确定原始数据集，所述原始数据集是基于训练所述初始图像生成模型的训练集所得，包含有多个原始文本；
所述训练单元，还用于基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型。
在本公开方案的一具体示例中，所述目标名词为专有名词；和/或，所述原始文本为普通名词所对应的文本。
在本公开方案的一具体示例中，所述损失函数确定单元，具体用于：
确定第一损失函数和第二损失函数；所述第一损失函数用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度，所述第二损失函数用于约束进行增量训练的文本编码器对原始文本的文本理解力，与增量训练前的文本编码器对原始文本的文本理解力的差异度；
基于第一损失函数和第二损失函数，得到目标损失函数。
在本公开方案的一具体示例中，所述第一损失函数为对比损失函数；和/或，所述第二损失函数为MSE损失函数。
在本公开方案的一具体示例中，所述损失函数确定单元，具体用于：
对第一损失函数和第二损失函数进行加权处理，得到所述目标损失函数。
在本公开方案的一具体示例中，还包括：模型初始化单元；其中，
所述模型初始化单元，用于基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型；其中，所述第二损失函数用于约束学生文本特征与教师文本特征之间的差异程度；学生文本特征是将原始文本输入学生文本模型后所得，教师文本特征是将原始文本输入教师文本模型后所得；所述第一损失函数用于约束目标名词输入学生文本模型后所得的文本特征，与目标图像输入所述初始图像生成模型中的图像编码器后所得的图像特征之间的语义相关度；
所述训练单元，具体用于基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述学生文本模型进行增量训练，并将训练完成后的学生文本模型替换所述初始图像生成模型中的文本编码器，以得到所述目标图像生成模型。
在本公开方案的一具体示例中，所述模型初始化单元，具体用于：
将所述初始图像生成模型中的文本编码器作为所述教师文本模型；
对所述初始图像生成模型中的文本编码器进行处理，得到所述学生文本模型；其中，所述教师文本模型和学生文本模型的模型结构相同。
在本公开方案的一具体示例中，所述学生文本模型中的可调参数的参数量，小于所述教师文本模型的可调参数的参数量。
本公开方案还提供了一种图像生成模型的处理装置，如图11所示，包括：
处理单元1101，用于将目标文本输入至目标图像生成模型，其中，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配的图像；所述目标文本为目标名词对应的文本；
输出单元1102，用于输出与所述目标文本的语义所匹配的图像。
本公开实施例的装置的各单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器（ROM）1202中的计算机程序或者从存储单元1208加载到随机访问存储器（RAM）1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出（I/O）接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如图像生成模型的处理方法。例如，在一些实施例中，图像生成模型的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的图像生成模型的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像生成模型的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入、或者触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (23)
1.一种图像生成模型的处理方法，包括：
确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；
确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；
至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
2.根据权利要求1所述的方法，还包括：
确定原始数据集，所述原始数据集是基于训练所述初始图像生成模型的训练集所得，包含有多个原始文本；
其中，所述至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型，包括：
基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型。
3.根据权利要求2所述的方法，其中，所述目标名词为专有名词；
和/或，所述原始文本为普通名词所对应的文本。
4.根据权利要求2所述的方法，其中，所述确定目标损失函数，包括：
确定第一损失函数和第二损失函数；所述第一损失函数用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度，所述第二损失函数用于约束进行增量训练的文本编码器对原始文本的文本理解力，与增量训练前的文本编码器对原始文本的文本理解力的差异度；
基于第一损失函数和第二损失函数，得到目标损失函数。
5.根据权利要求4所述的方法，其中，所述第一损失函数为对比损失函数；和/或，所述第二损失函数为均方误差损失函数。
6.根据权利要求4所述的方法，其中，所述基于第一损失函数和第二损失函数，得到目标损失函数，包括：
对第一损失函数和第二损失函数进行加权处理，得到所述目标损失函数。
7.根据权利要求4-6任一项所述的方法，还包括：
基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型；其中，所述第二损失函数用于约束学生文本特征与教师文本特征之间的差异程度；学生文本特征是将原始文本输入学生文本模型后所得，教师文本特征是将原始文本输入教师文本模型后所得；所述第一损失函数用于约束目标名词输入学生文本模型后所得的文本特征，与目标图像输入所述初始图像生成模型中的图像编码器后所得的图像特征之间的语义相关度；
其中，所述基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型，包括：
基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述学生文本模型进行增量训练，并将训练完成后的学生文本模型替换所述初始图像生成模型中的文本编码器，以得到所述目标图像生成模型。
8.根据权利要求7所述的方法，其中，所述基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型，包括：
将所述初始图像生成模型中的文本编码器作为所述教师文本模型；
对所述初始图像生成模型中的文本编码器进行处理，得到所述学生文本模型；其中，所述教师文本模型和学生文本模型的模型结构相同。
9.根据权利要求8所述的方法，其中，所述学生文本模型中的可调参数的参数量，小于所述教师文本模型的可调参数的参数量。
10.一种图像生成模型的处理方法，包括：
将目标文本输入至目标图像生成模型，其中，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配的图像；所述目标文本为目标名词对应的文本；
输出与所述目标文本的语义所匹配的图像。
11.一种图像生成模型的处理装置，包括：
样本确定单元，用于确定目标数据集，所述目标数据集包含有多个目标图文对，所述多个目标图文对中各目标图文对包含有目标名词，以及与目标名词的语义所匹配的目标图像；
损失函数确定单元，用于确定目标损失函数，其中，所述目标损失函数至少用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度；
训练单元，用于至少基于目标训练集合以及所述目标损失函数，对初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型；其中，所述目标图像生成模型至少能够基于输入的目标名词得到与目标名词语义匹配的图像。
12.根据权利要求11所述的装置，其中：
所述样本确定单元，还用于确定原始数据集，所述原始数据集是基于训练所述初始图像生成模型的训练集所得，包含有多个原始文本；
所述训练单元，还用于基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述初始图像生成模型中的文本编码器进行增量训练，以得到目标图像生成模型。
13.根据权利要求12所述的装置，其中，所述目标名词为专有名词；
和/或，所述原始文本为普通名词所对应的文本。
14.根据权利要求12所述的装置，其中，所述损失函数确定单元，具体用于：
确定第一损失函数和第二损失函数；所述第一损失函数用于约束目标名词的文本特征与目标图像的图像特征之间的语义相关度，所述第二损失函数用于约束进行增量训练的文本编码器对原始文本的文本理解力，与增量训练前的文本编码器对原始文本的文本理解力的差异度；
基于第一损失函数和第二损失函数，得到目标损失函数。
15.根据权利要求14所述的装置，其中，所述第一损失函数为对比损失函数；和/或，所述第二损失函数为均方误差损失函数。
16.根据权利要求14所述的装置，其中，所述损失函数确定单元，具体用于：
对第一损失函数和第二损失函数进行加权处理，得到所述目标损失函数。
17.根据权利要求14-16任一项所述的装置，还包括：模型初始化单元；其中，
所述模型初始化单元，用于基于所述初始图像生成模型中的文本编码器，得到学生文本模型和教师文本模型；其中，所述第二损失函数用于约束学生文本特征与教师文本特征之间的差异程度；学生文本特征是将原始文本输入学生文本模型后所得，教师文本特征是将原始文本输入教师文本模型后所得；所述第一损失函数用于约束目标名词输入学生文本模型后所得的文本特征，与目标图像输入所述初始图像生成模型中的图像编码器后所得的图像特征之间的语义相关度；
所述训练单元，具体用于基于所述原始数据集、所述目标训练集合以及所述目标损失函数，对所述学生文本模型进行增量训练，并将训练完成后的学生文本模型替换所述初始图像生成模型中的文本编码器，以得到所述目标图像生成模型。
18.根据权利要求17所述的装置，其中，所述模型初始化单元，具体用于：
将所述初始图像生成模型中的文本编码器作为所述教师文本模型；
对所述初始图像生成模型中的文本编码器进行处理，得到所述学生文本模型；其中，所述教师文本模型和学生文本模型的模型结构相同。
19.根据权利要求18所述的装置，其中，所述学生文本模型中的可调参数的参数量，小于所述教师文本模型的可调参数的参数量。
20.一种图像生成模型的处理装置，包括：
处理单元，用于将目标文本输入至目标图像生成模型，其中，所述目标图像生成模型至少包含有文本编码器和图像编码器，所述文本编码器用于对所述目标文本进行语义理解，并得到语义理解结果；所述图像编码器用于生成与所述语义理解结果所匹配的图像；所述目标文本为目标名词对应的文本；
输出单元，用于输出与所述目标文本的语义所匹配的图像。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410584871.6A CN118154912A (zh) | 2024-05-11 | 2024-05-11 | 图像生成模型的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410584871.6A CN118154912A (zh) | 2024-05-11 | 2024-05-11 | 图像生成模型的处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118154912A true CN118154912A (zh) | 2024-06-07 |
Family
ID=91285511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410584871.6A Pending CN118154912A (zh) | 2024-05-11 | 2024-05-11 | 图像生成模型的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118154912A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230005284A1 (en) * | 2021-09-18 | 2023-01-05 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for training image-text matching model, computing device, and storage medium |
| CN116012481A (zh) * | 2023-01-17 | 2023-04-25 | 北京百度网讯科技有限公司 | 图像生成处理方法、装置、电子设备及存储介质 |
| CN116522870A (zh) * | 2023-04-28 | 2023-08-01 | 清华大学 | 一种主体导向文字生成图像的解耦高效微调方法及产品 |
| CN117351115A (zh) * | 2023-09-20 | 2024-01-05 | 腾讯科技（深圳）有限公司 | 图像生成模型的训练方法、图像生成方法、装置及设备 |
| US11922550B1 (en) * | 2023-03-30 | 2024-03-05 | OpenAI Opco, LLC | Systems and methods for hierarchical text-conditional image generation |
| US20240144651A1 (en) * | 2022-09-22 | 2024-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for vision-language understanding |
| CN118015637A (zh) * | 2024-03-11 | 2024-05-10 | 北京达佳互联信息技术有限公司 | 文本生成图像模型训练方法、文本生成图像方法及装置 |
-
2024
- 2024-05-11 CN CN202410584871.6A patent/CN118154912A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230005284A1 (en) * | 2021-09-18 | 2023-01-05 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for training image-text matching model, computing device, and storage medium |
| US20240144651A1 (en) * | 2022-09-22 | 2024-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for vision-language understanding |
| CN116012481A (zh) * | 2023-01-17 | 2023-04-25 | 北京百度网讯科技有限公司 | 图像生成处理方法、装置、电子设备及存储介质 |
| US11922550B1 (en) * | 2023-03-30 | 2024-03-05 | OpenAI Opco, LLC | Systems and methods for hierarchical text-conditional image generation |
| CN116522870A (zh) * | 2023-04-28 | 2023-08-01 | 清华大学 | 一种主体导向文字生成图像的解耦高效微调方法及产品 |
| CN117351115A (zh) * | 2023-09-20 | 2024-01-05 | 腾讯科技（深圳）有限公司 | 图像生成模型的训练方法、图像生成方法、装置及设备 |
| CN118015637A (zh) * | 2024-03-11 | 2024-05-10 | 北京达佳互联信息技术有限公司 | 文本生成图像模型训练方法、文本生成图像方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113553864B (zh) | 翻译模型的训练方法、装置、电子设备及存储介质 | |
| US20220414959A1 (en) | Method for Training Virtual Image Generating Model and Method for Generating Virtual Image | |
| US11195098B2 (en) | Method for generating neural network and electronic device | |
| WO2019157251A1 (en) | Neural network compression | |
| CN113657399A (zh) | 文字识别模型的训练方法、文字识别方法及装置 | |
| US20230386168A1 (en) | Pre-training method, image and text retrieval method for a vision and scene text aggregation model, electronic device, and storage medium | |
| CN113361285B (zh) | 自然语言处理模型的训练方法、自然语言处理方法及装置 | |
| JP7430820B2 (ja) | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム | |
| JP2022169743A (ja) | 情報抽出方法、装置、電子機器及び記憶媒体 | |
| CN111061877A (zh) | 文本主题提取方法和装置 | |
| CN115631261B (zh) | 图像生成模型的训练方法、图像生成方法和装置 | |
| CN114020950A (zh) | 图像检索模型的训练方法、装置、设备以及存储介质 | |
| CN112463989A (zh) | 一种基于知识图谱的信息获取方法及系统 | |
| CN110046344B (zh) | 添加分隔符的方法及终端设备 | |
| CN114781654A (zh) | 联邦迁移学习方法、装置、计算机设备及介质 | |
| CN114819079A (zh) | 模型训练方法、装置、电子设备及可读存储介质 | |
| JP6647475B2 (ja) | 言語処理装置、言語処理システムおよび言語処理方法 | |
| JP7121791B2 (ja) | 言語生成方法、装置及び電子機器 | |
| CN117351299A (zh) | 图像生成及模型训练方法、装置、设备和存储介质 | |
| CN111178097B (zh) | 基于多级翻译模型生成中泰双语语料的方法及装置 | |
| CN118154912A (zh) | 图像生成模型的处理方法、装置、设备及存储介质 | |
| CN116030235A (zh) | 目标检测模型训练方法、目标检测方法、装置和电子设备 | |
| CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN115952852B (zh) | 模型训练方法、文本检索方法、装置、电子设备和介质 | |
| CN115936094B (zh) | 文本处理模型的训练方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |