CN117194696A - 基于人工智能的内容生成方法、装置、设备和存储介质 - Google Patents

Abstract

本公开提供了一种基于人工智能的内容生成方法、装置、设备和存储介质，涉及人工智能技术领域，具体为计算机视觉、深度学习、大模型等技术领域，可应用于人工智能的内容生成等场景。基于人工智能的内容生成方法包括：对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。本公开可以提升内容生成效果。

Description

基于人工智能的内容生成方法、装置、设备和存储介质

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、深度学习、大模型等技术领域，可应用于AIGC等场景，尤其涉及一种基于人工智能的内容生成方法、装置、设备和存储介质。

背景技术

生成式人工智能(Artificial Intelligence Generated Content，AIGC)是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。

以文生图(text2img)为例，存在图像编辑的需求。

发明内容

本公开提供了一种基于人工智能的内容生成方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种基于人工智能的内容生成方法，包括：对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

根据本公开的另一方面，提供了一种基于人工智能的内容生成装置，包括：第一处理模块，用于对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；第二处理模块，用于对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；编辑模块，用于对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；生成模块，用于对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，可以提升内容生成效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开实施例提供的应用场景的示意图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开实施例提供的文生图场景的整体架构的示意图；

图5是根据本公开第三实施例的示意图；

图6是用来实现本公开实施例的基于人工智能的内容生成方法的电子设备的示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

相关技术中，可以采用对生成模型进行重新训练的方式实现图像编辑。但是，对生成模型进行重新训练的方式存在工作量大、实现复杂等问题。另外，内容生成效果也有待提升。

为了提升内容生成效果，本公开提供如下实施例。

图1是根据本公开第一实施例的示意图。本实施例提供一种基于人工智能的内容生成方法，该方法包括：

101、对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重。

102、对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的。

103、基于所述第一输入内容和所述第二输入内容，对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重。

104、对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

其中，在AICG场景下，可以由一种内容生成另一种内容，其中，前面的一种内容可以称为输入内容，后面的另一种内容可以称为输出内容。

例如，在文生图(text2img)场景下，输入内容是文本，输出内容是图像。再例如，在文生视频(text2video)场景下，输入内容是文本，输出内容是视频。再例如，在文生文(text2text)场景下，输入内容是文本，输出内容也是文本。

以文生图为例，存在图像编辑需求。本实施例，可以通过对输入内容(文本)进行编辑，实现对输出内容(图像)的编辑。

编辑前的输入内容可以称为第一输入内容，编辑后的输入内容可以称为第二输入内容。在文生图场景下，例如，编辑前文本是“lemon cake”，编辑后文本是“cheese cake”，则第一输入内容是“lemon cake”，第二输入内容是“cheese cake”。

目标输出内容，是指基于编辑后的输入内容生成的输出内容。例如，在上述示例下，目标输出内容是指基于“cheese cake”生成的图像。

第一输入内容特征，是对第一输入内容进行特征提取后得到的；

第二输入内容特征，是对第二输入内容进行特征提取后得到的。

生成模型可以基于注意力网络实现，注意力网络可以是交叉注意力(cross-attention)网络或者自注意力(self-attention)网络。

注意力网络中，可以对输入内容特征进行注意力处理，得到对应的注意力权重。

第一注意力权重，是指基于第一输入内容特征得到的注意力权重。

第二注意力权重，是指基于第二输入内容特征得到的注意力权重。

目标注意力权重，是指对第一注意力权重和第二注意力权重进行编辑处理后得到的注意力权重。

获得目标注意力权重后，可以采用目标注意力权重和第二输入内容特征进行生成处理，得到目标输出内容。

本实施例中，基于目标注意力权重和第二输入内容特征获得目标输出内容，整体上不需要重新训练模型，可以避免重新训练模型导致的工作量大、实现复杂等问题；另外，通过对第一注意力权重和第二注意力权重进行编辑处理，得到目标注意力权重，可以实现注意力权重的可编辑性，进而提升目标输出内容的生成效果。

为了更好地理解本公开实施例，对本公开实施例可以适用的应用场景进行说明。

图2是本公开实施例提供的应用场景的示意图。该场景下包括：用户终端201和服务器202，用户终端201可以包括：个人电脑(Personal Computer，PC)、手机、平板电脑、笔记本电脑、智能穿戴设备等。服务器202可以是云端服务器或者本地服务器，用户终端201与服务器202可以采用通信网络进行通信，通信网络例如包括有线网络和/或无线网络。

以文生图场景为例，用户可以通过用户终端将输入的文本传输给服务器，由服务器基于文本生成图像。服务器所生成的图像还可以反馈给用户终端，通过用户终端显示给用户。

上述以服务器进行文生图为例，如果用户终端本地具有相关能力，也可以由用户终端进行文生图处理。

针对服务器，具体可以采用大模型(Large Language Model，LLM)进行内容生成处理。

LLM是近年来人工智能领域的热点问题，LLM是一种预训练语言模型，通过在海量文本数据上进行预训练，学习到了丰富的语言知识和世界知识，从而能够在各种自然语言处理(Natural Language Processing，NLP)任务上取得惊人的效果。文心一言、ChatGPT等都是基于LLM开发的应用，它们可以生成流畅、有逻辑、有创意的文本内容，甚至可以与人类进行自然对话。在自然语言处理场景下，大模型可以是基于Transformer的通用预训练(Generative Pre-trained Transformer，GPT)模型，基于知识集成实现增强型表示(Enhanced Representation through Knowledge Integration，ERNIE)模型等。

本实施例中，以文生图场景为例，相应的生成模型可以选择为扩散模型(diffusion model)。

扩散模型，是基于时间步t进行迭代的，其初始图像是噪声图像(Z_T)，通过预设次数(T)的迭代，得到去噪后的最终图像(Z₀)。每个迭代过程(如从第t时刻到第(t-1)时刻)，可以采用去噪网络，对当前图像(Z_t)进行处理，得到下一图像(Z_t-1)，t＝T,T-1，...，不断迭代，得到最终图像Z₀。

去噪网络可以选择为UNet形式的网络，该网络中包括编码器(encoder)和解码器(decoder)，编码器和解码器中均存在交叉注意力(cross-attention)网络。

本实施例主要针对上述cross-attention网络的权重进行修改(编辑)。若去噪网络中包括多个交叉注意力网络，可以对其中的一个或多个进行权重修改。

结合上述应用场景，本公开还提供了如下实施例。

图3是根据本公开第二实施例的示意图，本实施例提供了一种基于人工智能的内容生成方法，本实施例以文生图为例，且以去噪网络的多次迭代生成图像为例。如图3所示，该方法包括：

301、获取第一文本和第二文本，以及根据随机种子s生成噪声图像。

其中，第一文本是指编辑前文本，第二文本是指编辑后文本。例如，第一文本P是“lemon cake”，第二文本P^*是“cheese cake”。

随机种子可以是设置的，如1234567，用于生成噪声图像，假设噪声图像用Z_T表示。

302、初始化参数。

其中，初始化的参数可以包括：当前迭代次数t、第一当前图像Z_t、第二当前图像Z^* _t。

其中，t的初始值为最大迭代次数T，T为可设置。

第一当前图像Z_t、第二当前图像Z^* _t的初始值均为噪声图像Z_T。

303、判断当前迭代次数t是否大于0，若是，执行304-308，否则执行309。

其中，若t大于0，则可以执行当前迭代过程，通过当前迭代过程，可以基于当前图像获得下一图像。下一图像可以通过注意力网络获得。

由于本实施例涉及P对应的第一当前图像Z_t，以及P^*对应的第二当前图像Z^* _t，则下一图像(目标图像)包括：P对应的第一目标图像Z_t-1，以及P^*对应的第二目标图像Z^* _t-1。

304、基于第一文本P和第一当前图像Z_t，获取当前时刻的第一注意力权重M_t。

305、基于第二文本P^*和第二当前图像Z^* _t，获取当前时刻的第二注意力权重M^* _t。

其中，针对P和Z_t，经过一次去噪过程，得到M_t；

针对P^*和Z^* _t，经过一次去噪过程，得到M^* _t。

304和305无时序限定关系。

具体地，如图4所示，可以包括：将第一文本P对应的第一文本特征转换为第一关键值特征K；对第一当前图像Z_t进行特征提取，以获得第一当前图像特征；将所述第一当前图像特征转换为第一查询特征Q；对所述第一查询特征Q和所述第一关键值特征K进行权重运算，以获得所述第一注意力权重M_t；

类似地，将第二文本P^*对应的第二文本特征转换为第二关键值特征K^*；对第二当前图像Z^* _t进行特征提取，以获得第二当前图像特征；将所述第二当前图像特征转换为第二查询特征Q^*；对所述第二查询特征Q^*和所述第二关键值特征K^*进行权重运算，以获得所述第二注意力权重M^* _t。

本实施例中，通过基于第一当前输出内容获得第一查询特征，将第一输入内容转换为第一关键值特征，基于第一查询特征和第一关键值特征获得第一注意力权重，可以在第一注意力权重计算时参考第一输入内容信息和第一当前输出内容信息，提高第一注意力权重计算的准确度，进而提高内容生成的准确度。

本实施例中，通过基于第二当前输出内容获得第二查询特征，将第二输入内容转换为第二关键值特征，基于第二查询特征和第二关键值特征获得第二注意力权重，可以在第二注意力权重计算时参考第二输入内容信息和第二当前输出内容信息，提高第二注意力权重计算的准确度，进而提高内容生成的准确度。

306、基于当前时刻的第一注意力权重M_t和当前时刻的第二注意力权重M^* _t，获取当前时刻的目标注意力权重

其中，可以基于所述第二输入内容对所述第一输入内容的内容编辑方式，对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重；其中，不同的内容编辑方式对应不同的权重编辑处理方式。

本实施例中，通过基于不同的内容编辑方式对注意力权重进行不同的编辑处理，可以提高目标注意力权重的精准度，提升内容生成效果。

一些实施例中，所述内容编辑方式是内容替换；

所述对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重，包括：将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重。

本实施例中，针对内容替换场景，将第一注意力权重或第二注意力权重作为目标注意力权重，可以实现全局编辑，改变整体风格，满足内容替换场景需求。

进一步地，所述目标输出内容是对初始输出内容进行多次迭代后生成的；所述将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重，包括：在第一迭代阶段，将所述第一注意力权重作为所述目标注意力权重；在第二迭代阶段，将所述第二注意力权重作为所述目标注意力权重；其中，所述第二迭代阶段晚于所述第一迭代阶段。

例如，总迭代次数是50次，可以在前30次采用第一注意力权重作为目标注意力权重，后20次采用第二注意力权重作为目标注意力权重。

本实施例中，通过在迭代后期将目标注意力权重从第一注意力权重修改为第二注意力权重，可以高效地生成整体风格改变的内容，提高全局编辑效果。

一些实施例中，所述内容编辑方式是内容新增，或者内容程度调整；

所述对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重，包括：基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重；以及，将所述第一权重和所述第二权重组成所述目标注意力权重。

本实施例中，针对内容新增或内容程度调整场景，基于第一注意力权重的部分权重和第二注意力权重的部分权重获取目标注意力权重，可以实现局部编辑，并且保持整体结构和外观不变。

进一步地，若所述内容编辑方式是内容新增，所述基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重，包括：

将所述第一注意力权重作为所述第一权重；

将所述第二注意力权重中新增内容对应的权重，作为所述第二权重。

本实施例中，通过将新增内容对应的权重作为第二权重，其余权重采用第一注意力权重，可以在新增内容时保持原图整体结构和外观不变。

进一步地，若所述内容编辑方式是内容程度调整，所述基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重，包括：

将所述第一注意力权重中的待调整位置之外的其他权重作为所述第一权重；基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重；其中，所述待调整位置是程度调整内容对应的位置。

本实施例中，基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重，可以实现对图像的局部编辑。

进一步地，所述基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重，包括：将所述调整系数与所述待调整位置处的权重进行相乘，以获得所述第二权重。

本实施例中，通过对调整系数和上述权重进行相乘运算，可以简便高效地进行局部编辑。

上述各种内容编辑方式对应的注意力权重编辑处理，用公式表示为：

(1)针对内容替换情况：如将“lemon”替换为“cheese”，则采用如下编辑公式：

其中，τ是人为设置的值。

该编辑公式表明：在迭代后期(t较小时)，目标注意力权重选择为第二注意力权重，在迭代前期，目标注意力权重选择为第一注意力权重。这样可以实现全局编辑。

(2)针对内容新增情况：如将“lemon cake”修改为“lemon cheese cake”，则采用如下编辑公式：

其中，i,j为位置坐标，i对应图像特征，j对应文本特征，A(j)表明权重对应的文本内容。

该编辑公式表明：目标注意力权重中：只有原文本(第一文本P)对应的词内容(token)是空的位置，也就是编辑后文本(第二文本P^*)中新增词对应的权重，采用第二注意力权重的对应位置的权重，其余权重保持为第一注意力权重对应位置的权重。这样可以保证整个图的结构不变。

(3)针对内容程度调整情况：如调整“a old man”中old的程度，则采用如下编辑公式：

其中，j^*是程度调整的内容(如old)对应的位置。

c是调整系数。用户在编辑文本时，可以指定某个词的程度，如指定old(c＝1.2)，基于此，调整系数c＝1.2。

该编辑公式表明：目标注意力权重中：程度调整的词的权重是基于调整系数和第二注意力权重对应位置的权重计算的，其余权重保持第一注意力权重对应位置的权重不变。这样可以实现局部编辑。

307、获取当前时刻的目标图像Z_t-1和Z^* _t-1。

其中，在当前时刻t，目标图像包括：P对应的第一目标图像Z_t-1，以及P^*对应的第二目标图像Z^* _t-1。

其中，如图4所示，还可以将第一文本特征转换为第一值特征V，以及将第二文本特征转换为第二值特征V^*，利用第一注意力权重M_t和第一值特征V进行生成处理，得到第一目标图像Z_t-1；对目标注意力权重和第二值特征V^*进行生成处理，得到第二目标图像Z^* _t-1。

308、将当前迭代次数减1(t＝t-1)；之后重复执行303及其后续步骤。

309、获取去噪后的最终图像Z₀和Z^* ₀。

其中，Z^* ₀是编辑后文本对应的最终图像，即编辑后的最终图像。Z₀是编辑前文本对应的最终图像。

本实施例中，通过对文本进行编辑可以实现对图像编辑，不需要重新训练模型，因此是training-free的方法，可以降低工作量和实现复杂度；基于文本的编辑方式，可以对注意力权重进行对应的编辑处理，得到目标注意力权重，基于目标注意力权重控制目标图像的编辑，可以实现更改图像整体风格，更改图像局部要素，更改图像局部物体的描述形容权重占比，并且可以更好的维持原图的大致结构。

图5是根据本公开第三实施例的示意图。本实施例提供一种基于人工智能的内容生成装置，如图5所示，该装置500包括：第一处理模块501、第二处理模块502、编辑模块503和生成模块504。

第一处理模块501用于对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；第二处理模块502用于对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；编辑模块503用于对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；生成模块504用于对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

本实施例中，基于目标注意力权重和第二输入内容特征获得目标输出内容，整体上不需要重新训练模型，可以避免重新训练模型导致的工作量大、实现复杂等问题；另外，通过对第一注意力权重和第二注意力权重进行编辑处理，得到目标注意力权重，可以实现注意力权重的可编辑性，进而提升目标输出内容的生成效果。

一些实施例中，所述编辑模块503进一步用于：基于所述第二输入内容对所述第一输入内容的内容编辑方式，对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重；其中，不同的内容编辑方式对应不同的权重编辑处理方式。

本实施例中，通过基于不同的内容编辑方式对注意力权重进行不同的编辑处理，可以提高目标注意力权重的精准度，提升内容生成效果。

一些实施例中，所述内容编辑方式是内容替换；所述编辑模块503进一步用于：将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重。

本实施例中，针对内容替换场景，将第一注意力权重或第二注意力权重作为目标注意力权重，可以实现全局编辑，改变整体风格，满足内容替换场景需求。

一些实施例中，所述目标输出内容是对初始输出内容进行多次迭代后生成的；所述编辑模块503进一步用于：在第一迭代阶段，将所述第一注意力权重作为所述目标注意力权重；在第二迭代阶段，将所述第二注意力权重作为所述目标注意力权重；其中，所述第二迭代阶段晚于所述第一迭代阶段。

本实施例中，通过在迭代后期将目标注意力权重从第一注意力权重修改为第二注意力权重，可以高效地生成整体风格改变的内容，提高全局编辑效果。

一些实施例中，所述内容编辑方式是内容新增，或者内容程度调整；所述编辑模块503进一步用于：基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重；以及，将所述第一权重和所述第二权重组成所述目标注意力权重。

本实施例中，针对内容新增或内容程度调整场景，基于第一注意力权重的部分权重和第二注意力权重的部分权重获取目标注意力权重，可以实现局部编辑，并且保持整体结构和外观不变。

一些实施例中，若所述内容编辑方式是内容新增，所述编辑模块503进一步用于：将所述第一注意力权重作为所述第一权重；将所述第二注意力权重中新增内容对应的权重，作为所述第二权重。

本实施例中，通过将新增内容对应的权重作为第二权重，其余权重采用第一注意力权重，可以在新增内容时保持原图整体结构和外观不变。

一些实施例中，若所述内容编辑方式是内容程度调整，所述编辑模块进一步用于：将所述第一注意力权重中的待调整位置之外的其他权重作为所述第一权重；基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重；其中，所述待调整位置是程度调整内容对应的位置。

本实施例中，基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重，可以实现对图像的局部编辑。

一些实施例中，所述编辑模块503进一步用于：将所述调整系数与所述待调整位置处的权重进行相乘，以获得所述第二权重。

本实施例中，通过对调整系数和上述权重进行相乘运算，可以简便高效地进行局部编辑。

一些实施例中，所述第一处理模块501进一步用于：将所述第一输入内容特征转换为第一关键值特征；对第一当前输出内容进行特征提取，以获得第一当前输出内容特征；将所述第一当前输出内容特征转换为第一查询特征；对所述第一查询特征和所述第一关键值特征进行权重运算，以获得所述第一注意力权重。

本实施例中，通过基于第一当前输出内容获得第一查询特征，将第一输入内容转换为第一关键值特征，基于第一查询特征和第一关键值特征获得第一注意力权重，可以在第一注意力权重计算时参考第一输入内容信息和第一当前输出内容信息，提高第一注意力权重计算的准确度，进而提高内容生成的准确度。

一些实施例中，所述第二处理模块502进一步用于：将所述第二输入内容特征转换为第二关键值特征；对第二当前输出内容进行特征提取，以获得第二当前输出内容特征；对所述第二初始输出内容特征进行查询特征提取，以获得第二查询特征；对所述第二查询特征和所述第二关键值特征进行权重运算，以获得所述第二注意力权重。

本实施例中，通过基于第二当前输出内容获得第二查询特征，将第二输入内容转换为第二关键值特征，基于第二查询特征和第二关键值特征获得第二注意力权重，可以在第二注意力权重计算时参考第二输入内容信息和第二当前输出内容信息，提高第二注意力权重计算的准确度，进而提高内容生成的准确度。

可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。

可以理解的是，本公开实施例中的“第一”、“第二”等只是用于区分，不表示重要程度高低、时序先后等。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如基于人工智能的内容生成方法。例如，在一些实施例中，基于人工智能的内容生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的基于人工智能的内容生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于人工智能的内容生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种基于人工智能的内容生成方法，包括：

对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；

对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；

对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；

对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

2.根据权利要求1所述的方法，其中，所述对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重，包括：

基于所述第二输入内容对所述第一输入内容的内容编辑方式，对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重；其中，不同的内容编辑方式对应不同的权重编辑处理方式。

3.根据权利要求2所述的方法，其中，

所述内容编辑方式是内容替换；

所述对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重，包括：

将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重。

4.根据权利要求3所述的方法，其中，

所述目标输出内容是对初始输出内容进行多次迭代后生成的；

所述将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重，包括：

在第一迭代阶段，将所述第一注意力权重作为所述目标注意力权重；

在第二迭代阶段，将所述第二注意力权重作为所述目标注意力权重；

其中，所述第二迭代阶段晚于所述第一迭代阶段。

5.根据权利要求2所述的方法，其中，

所述内容编辑方式是内容新增，或者内容程度调整；

所述对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重，包括：

基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重；以及，

将所述第一权重和所述第二权重组成所述目标注意力权重。

6.根据权利要求5所述的方法，其中，

若所述内容编辑方式是内容新增，所述基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重，包括：

将所述第一注意力权重作为所述第一权重；

将所述第二注意力权重中新增内容对应的权重，作为所述第二权重。

7.根据权利要求5所述的方法，其中，

若所述内容编辑方式是内容程度调整，所述基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重，包括：

将所述第一注意力权重中的待调整位置之外的其他权重作为所述第一权重；

基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重；

其中，所述待调整位置是程度调整内容对应的位置。

8.根据权利要求7所述的方法，其中，所述基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重，包括：

将所述调整系数与所述待调整位置处的权重进行相乘，以获得所述第二权重。

9.根据权利要求1-8任一项所述的方法，其中，所述对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重，包括：

将所述第一输入内容特征转换为第一关键值特征；

对第一当前输出内容进行特征提取，以获得第一当前输出内容特征；将所述第一当前输出内容特征转换为第一查询特征；

对所述第一查询特征和所述第一关键值特征进行权重运算，以获得所述第一注意力权重。

10.根据权利要求1-8任一项所述的方法，其中，所述对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重，包括：

将所述第二输入内容特征转换为第二关键值特征；

对第二当前输出内容进行特征提取，以获得第二当前输出内容特征；对所述第二初始输出内容特征进行查询特征提取，以获得第二查询特征；

对所述第二查询特征和所述第二关键值特征进行权重运算，以获得所述第二注意力权重。

11.一种基于人工智能的内容生成装置，包括：

第一处理模块，用于对第一输入内容的第一输入内容特征进行注意力处理，以获得第一注意力权重；

第二处理模块，用于对第二输入内容的第二输入内容特征进行注意力处理，以获得第二注意力权重；其中，所述第二输入内容是对所述第一输入内容进行编辑后得到的；

编辑模块，用于对所述第一注意力权重和所述第二注意力权重进行编辑处理，以获得目标注意力权重；

生成模块，用于对所述目标注意力权重和所述第二输入内容特征进行生成处理，以生成目标输出内容。

12.根据权利要求11所述的装置，其中，所述编辑模块进一步用于：

基于所述第二输入内容对所述第一输入内容的内容编辑方式，对所述第一注意力权重和所述第二注意力权重进行权重编辑处理，以获得所述目标注意力权重；其中，不同的内容编辑方式对应不同的权重编辑处理方式。

13.根据权利要求11所述的装置，其中，

所述内容编辑方式是内容替换；

所述编辑模块进一步用于：

将所述第一注意力权重或者第二注意力权重，作为所述目标注意力权重。

14.根据权利要求11所述的装置，其中，

所述目标输出内容是对初始输出内容进行多次迭代后生成的；

所述编辑模块进一步用于：

在第一迭代阶段，将所述第一注意力权重作为所述目标注意力权重；

在第二迭代阶段，将所述第二注意力权重作为所述目标注意力权重；

其中，所述第二迭代阶段晚于所述第一迭代阶段。

15.根据权利要求12所述的装置，其中，

所述内容编辑方式是内容新增，或者内容程度调整；

所述编辑模块进一步用于：

基于所述第一注意力权重获取第一权重，基于所述第二注意力权重获取第二权重；以及，

将所述第一权重和所述第二权重组成所述目标注意力权重。

16.根据权利要求15所述的装置，其中，若所述内容编辑方式是内容新增，所述编辑模块进一步用于：

将所述第一注意力权重作为所述第一权重；

将所述第二注意力权重中新增内容对应的权重，作为所述第二权重。

17.根据权利要求15所述的装置，其中，若所述内容编辑方式是内容程度调整，所述编辑模块进一步用于：

将所述第一注意力权重中的待调整位置之外的其他权重作为所述第一权重；

基于调整系数和所述第二注意力权重中的所述待调整位置处的权重获取所述第二权重；

其中，所述待调整位置是程度调整内容对应的位置。

18.根据权利要求15所述的装置，其中，所述编辑模块进一步用于：

将所述调整系数与所述待调整位置处的权重进行相乘，以获得所述第二权重。

19.根据权利要求11-18任一项所述的装置，其中，所述第一处理模块进一步用于：

将所述第一输入内容特征转换为第一关键值特征；

对第一当前输出内容进行特征提取，以获得第一当前输出内容特征；将所述第一当前输出内容特征转换为第一查询特征；

对所述第一查询特征和所述第一关键值特征进行权重运算，以获得所述第一注意力权重。

20.根据权利要求11-18任一项所述的装置，其中，所述第二处理模块进一步用于：

将所述第二输入内容特征转换为第二关键值特征；

对第二当前输出内容进行特征提取，以获得第二当前输出内容特征；对所述第二初始输出内容特征进行查询特征提取，以获得第二查询特征；

对所述第二查询特征和所述第二关键值特征进行权重运算，以获得所述第二注意力权重。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。