CN117131271A - 一种内容生成方法及系统 - Google Patents

一种内容生成方法及系统 Download PDF

Info

Publication number
CN117131271A
CN117131271A CN202311103709.XA CN202311103709A CN117131271A CN 117131271 A CN117131271 A CN 117131271A CN 202311103709 A CN202311103709 A CN 202311103709A CN 117131271 A CN117131271 A CN 117131271A
Authority
CN
China
Prior art keywords
content
target
data
template
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311103709.XA
Other languages
English (en)
Inventor
曹佳炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202311103709.XA priority Critical patent/CN117131271A/zh
Publication of CN117131271A publication Critical patent/CN117131271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本说明书提供的内容生成方法以及系统，在内容生成过程中，获得目标对象输入的目标提示数据以及所述目标对象对应的内容模板集，所述内容模板集是基于所述目标对象的多个历史内容生成数据得到的；并将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板；在生成目标内容的过程中，基于所述目标提示数据的同时将所述目标内容模板作为内容生成的参考，生成目标内容。所述方法及系统能够自适应地从目标对象的历史数据中挑选相匹配的历史数据作为参考模板，在提升内容生成的效率的同时，保证生成内容的个性化和可控性。

Description

一种内容生成方法及系统
技术领域
本说明书涉及图像处理技术领域，尤其涉及一种内容生成方法及系统。
背景技术
人工智能生成内容(Artificial Intelligence Generated Content，AIGC)领域实现了重大突破，被广泛地应用在多种作品创作中。尽管AIGC技术已在创意启发和作品修改等方面取得成功，但在个性化和可控性的生成过程方面依旧存在挑战，需要依赖大量的人工经验以及时间成本。比如，用户需要人工调整提示内容(Prompt)以调整生成内容，再比如，用户需要人工挑选参考图像以为为内容生成提供参考。
综上所述，需要提供一种新的内容生成方法以及系统，能够提升AIGC技术的效率。
背景技术部分的内容仅仅是发明人个人所知晓的信息，并不代表上述信息在本公开申请日之前已经进入公共领域，也不代表其可以成为本公开的现有技术。
发明内容
本说明书提供一种内容生成方法和系统，能够提升使用AIGC技术生成内容的可控性和个性化的效果。
第一方面，本说明书提供一种内容生成方法，包括以下步骤：获得目标对象输入的目标提示数据以及所述目标对象对应的内容模板集，所述内容模板集是基于所述目标对象的多个历史内容生成数据得到的；将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板；将所述目标内容模板作为内容生成的参考，基于所述目标提示数据生成目标内容；以及输出所述目标内容。
在一些实施例中，所述内容模板集基于预设周期更新。
在一些实施例中，所述多个历史内容生成数据包括上一个周期的内容模板集以及上一个周期至当前周期产生的内容生成数据。
在一些实施例中，所述内容模板集包括K个内容模板，所述K个内容模板彼此之间的模板相似度满足预设条件，所述K个内容模板中的每个内容模板包括提示数据模板及其对应的采纳内容模板，其中，K为正整数。
在一些实施例中，所述预设条件包括：所述K个内容模板彼此之间的模板相似度均小于预设阈值；和/或在所述多个历史内容生成数据构成的所有组合中，所述K个内容模板彼此之间的所述模板相似度的统计量是最小的，所述模板相似度的统计量包括所述模板相似度的和或均值，其中，所述所有组合中的每个组合包括所述多个历史内容生成数据中的K个历史内容生成数据。
在一些实施例中，所述模板相似度包括以下一种：所述提示数据模板对应的提示数据模板特征的相似度；所述采纳内容模板对应的采纳内容模板特征的相似度；以及所述提示数据模板特征和所述采纳内容模板特征的组合的相似度。
在一些实施例中，所述将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板，包括：将所述目标提示数据与所述K个内容模板中的K个提示数据模板进行匹配，将与所述目标提示数据匹配的目标提示数据模板对应的内容模板作为所述目标内容模板。
在一些实施例中，所述将所述目标提示数据与所述K个内容模板中的K个提示数据模板进行匹配，将与所述目标提示数据匹配的目标提示数据模板对应的内容模板作为所述目标内容模板，包括以下步骤：将所述目标提示数据与所述K个提示数据模板中的每个提示数据模板进行匹配，确定所述每个提示数据模板对应的匹配分；以及将所述匹配分最高的提示数据模板作为所述目标提示数据模板，将所述目标提示数据模板对应的内容模板作为所述目标内容模板。
在一些实施例中，所述将所述目标提示数据与所述K个提示数据模板中的每个提示数据模板进行匹配，确定所述每个提示数据模板对应的匹配分，包括：将所述目标提示数据和所述每个提示数据模板输入至提示数据匹配模型中，得到所述每个提示数据模板对应的匹配分，其中，所述提示数据匹配模型的训练数据包括样本提示数据以及样本内容模板集的样本提示数据模板，所述提示数据匹配模型的训练目标包括约束其输出的预测匹配分与预先标记的真实匹配分之间的差异在第一预设差异阈值内。
在一些实施例中，所述将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板，还包括：至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索。
在一些实施例中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索，包括以下步骤：至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型；以及从所述目标内容模板中确定所述目标线索类型对应的目标线索内容，其中，所述目标线索包括所述目标线索类型以及所述目标线索内容。
在一些实施例中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型，包括：将所述目标提示数据与所述目标内容模板中的目标采纳内容模板输入至线索类型匹配模型，得到所述目标线索类型，其中，所述线索类型匹配模型的训练数据包括样本提示数据及其对应的样本参考内容，所述线类型索匹配模型的训练目标包括约束其输出的预测线索类型与预先标记的真实线索类型之间的差异在第二预设差异阈值内，所述样本参考内容包括所述真实线索类型。
在一些实施例中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型，包括：将所述目标提示数据、所述目标内容模板中的目标采纳内容模板以及所述目标内容模板对应的匹配分输入至线索类型匹配模型，得到所述目标线索类型，其中，所述线索类型匹配模型的训练数据包括样本提示数据及其对应的样本参考内容以及样本匹配分，所述线类型索匹配模型的训练目标包括约束其输出的预测线索类型与预先标记的真实线索类型之间的差异在第二预设差异阈值内，所述样本参考内容包括所述真实线索类型。
在一些实施例中，所述将所述目标内容模板作为内容生成的参考，基于所述目标提示数据生成目标内容，包括：将所述目标提示数据以及所述目标内容模板中的目标采纳内容模板和目标线索内容，输入至生成模型，得到所述目标内容，使得所述目标内容与所述目标线索内容一致，其中，所述生成模型的训练数据包括样本提示数据以及其对应的样本参考内容和样本参考线索内容，所述生成模型的训练目标包括约束其输出的预测生成内容和预先标记的真实生成内容的差异在第三预设差异阈值内，其中，所述真实生成内容包括所述样本参考线索内容，所述生成模型为扩散模型。
第二方面，本说明书还提供一种内容生成系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行内容生成；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述内容生成系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行第一方面任一项所述的方法。
由以上技术方案可知，本说明书提供的内容生成方法及系统，在生成目标对象的目标内容时，能够自适应地从目标对象对应的历史内容生成数据中挑选和目标提示数据匹配度高的目标内容模板作为生成目标内容的参考，能够提升内容生成的效率。同时，所述方法和系统通过将与目标提示数据相匹配的历史生成内容数据作为内容生成的参考内容，能够保证并提升目标内容生成过程的可控性以及目标内容的个性化的效果。
本说明书提供的内容生产方法以及系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的内容生成方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A示出了根据本说明书的实施例提供的一种内容生成系统的应用场景示意图；
图1B示出了根据本说明书的一些实施例提供的一种目标对象正在进行内容生成的场景示意图；
图2示出了根据本说明书的实施例提供的一种计算设备的结构示意图；
图3示出了根据本说明书的实施例提供的一种内容生成方法的流程图；
图4示出了根据本说明书的实施例提供的确定目标内容模板的流程图；以及
图5示出了根据本说明书的实施例提供的确定目标线索的流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在本说明书中，“X包括A、B或C中的至少一个”所表达的意思是X至少包括A，或X至少包括B，或X至少包括C。也就是说，X可以只包括A、B、C的任意一个，或者同时包括A、B、C的任意组合以及其他可能的内容/元素。所述A、B、C的任意组合可以是A、B、C、AB、AC、BC、或ABC。
在本说明书中，除非明确说明，否则结构之间产生的关联关系可以是直接的关联关系也可以是间接的关联关系。比如，当描述“A与B连接”时，除非明确说明了A与B直接连接，否则应当理解成A可以与B直接连接，也可以与B间接地连接；再比如，当描述“A在B之上”时，除非明确说明了A直接在B的上方(AB相邻且A在B的上方)，否则应当理解成A可以直接在B的上方，A也可以间接地在B之上(AB之间隔着其他元素，且A在B的上方)。以此类推。
为了方便描述，首先对本说明书中出现的术语进行如下解释：
AIGC：生成式人工智能(Artificial Intelligence Generated Content，简称AIGC)，指利用人工智能(Artificial Intelligence，AI)技术生成内容的方法。生成的内容可以包括图像，文本内容、音频内容以及视频内容等等。Prompt：是指提示词，是一种输入引导，是对内容生成目标的描述，可以理解为是与人工智能(ArtificialIntelligence，AI)模型交流的语言，用以告诉AI模型想要生成的内容。内容生成目标也可以理解为是用户意图要生成的内容(可以是图像，文本内容、音频内容、视频内容等等)。
文生图：通过文字描述生成图像，例如将描述图像内容的Prompt输入AI模型中，生成图像。
图生图：以一张图像为基准，去生成另外一张图像，例如将一张参考图像输入AI模型中，生成新的图像。
在使用AIGC技术的过程中，为了提高AIGC生成内容的可控性以及个性化，现有的方法主要有以下几种，以内容生成方法应用在图像生成场景中为例介绍。例如在文生图的过程中，用户自己可以通过调整prompt来调整生成的图像。可能对prompt进行的调整包括但不限于prompt扩展、风格调整和同义词替换等。然而，此类方法门槛高，需要依赖大量人工经验。虽然现有一些自动提示词(auto-prompt)方法可以降低学习成本，但是仍然距离规模化有较长的距离。再例如，基于单张参考图像的图生图生成内容的技术中，要求用户额外输入一张参考图像，然后根据参考图像的特定线索(例如轮廓、深度或者分割图谱等)来进行新的AIGC图像内容生成。但是，这种方法需要人工指定线索类型(例如指定轮廓，则生成图像和参考图像在轮廓上更相似)，这个选择本身依赖人工经验，而且需要人工挑选参考图像，这本身存在经验依赖和试错成本。
因此，本说明书提供一种新的内容生成方法来生成内容，能够降低对人工经验的依赖度，提升内容生成的效率，并且可以提升生成内容的可控性和个性化效果。
在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：
本说明书提供的内容生成方法可以应用在任意的内容生成的场景中。例如，在需要图像内容生成的场景中，AIGC技术可以利用输入的提示词或者参考图像来生成新的图像，比如利用提示词生成漫画图像，利用参考图像生成具有同样风格的线稿等；在需要文本内容生成的场景中，AIGC技术可以利用输入的文章关键词/提示词来进行高质量文本的生成或者进行文本的修改和润色；在需要音频生成的场景中，AIGC技术可以利用输入的提示词或者参考音频来生成新的音频，比如利用提示词来生成相应的背景音乐或者从参考音频和视频中提取人声、伴奏和各种乐器来生成新的歌曲；在需要视频内容生成的场景中，AIGC技术可以利用输入的提示词生成新的视频，例如利用提示词生成产品介绍的视频以及文章内容朗读的视频等等。
本说明书的内容生成方法还可以应用在任意的内容生成场景中，在此就不再一一赘述。为了方便描述，本申请中将以内容生成方法应用在图像生成场景中对AIGC技术生成的图像为例进行描述。
本领域技术人员应当明白，本说明书所述的内容生成方法及系统应用于其他使用场景也在本说明书的保护范围内。
图1A示出了根据本说明书的一些实施例提供的一种内容生成系统100的应用场景示意图。内容生成系统100(以下简称系统100)可以应用于任意场景的内容生成中，比如上述的图像内容、文本内容、音频内容、视频内容等等的生成场景。系统100可以包括服务器110和客户端120。在一些实施例中，系统100还可以包括网络130，数据库140。系统100的应用场景可以包括目标对象150。
目标对象150可以为需要进行内容生成的用户，或者正在进行内容生成的用户。
网络130可以促进信息和/或数据的交换。网络130可以是任何类型的有线或无线网络，也可以是其组合。比如，网络130可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市/市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。网络130可以包括一个或多个网络接入点。例如，网络130可以包括有线或无线网络接入点，如基站和/或互联网交换点。通过该接入点，客户端120、服务器110、数据库140的一个或多个组件可以连接到网络130以交换数据和/或信息，其中，目标对象150可以通过客户端120连接到网络130。如图1A所示，服务器110、客户端120、数据库140可以同网络130连接，并且通过网络130互相传输信息和/或数据。例如，客户端120可以通过网络130从服务器110获取服务。
客户端120可以为目标对象150进行内容生成的设备。内容生成方法可以在客户端120上执行。此时，客户端120可以存储有本说明书描述的内容生成方法的数据或指令，并可以执行或用于执行数据或指令。客户端120可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。在一些实施例中，客户端120可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容，或其中的任何组合。例如，虚拟现实设备或增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中，机动车中的内置装置可包括车载计算机、车载电视等。
客户端120可以安装有一个或多个应用程序(APP)。APP能够为目标对象150提供通过网络130同外界交互的能力以及界面。APP包括但不限于：网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱终端设备、社交平台软件等等。在一些实施例中，客户端120上可以安装有目标APP。目标APP能够提供目标对象150使用AIGC进行内容生成的能力。
图1B示出了根据本说明书的一些实施例提供的一种目标对象150正在进行内容生成的场景示意图。目标对象150正在使用客户端120上的绘画AI并选用了文生图的形式进行内容生成。如图1B所示，客户端150上的目标APP能够提供给目标对象150进行图像生成(绘画AI)，音频内容生成(音频AI)，文本内容生成(写作AI)以及视频内容生成(视频AI)等等的选项。目标对象150选择绘画AI以及其中的文生图形式，此时目标APP能够获取到目标对象150输入的Prompt(提示词)。在一些实施例中，目标对象150还可以通过目标APP触发内容生成的请求。目标APP可以响应于内容生成的请求，执行本说明书描述的内容生成方法。内容生成方法将在后面的内容中详细介绍。
服务器110可以是提供与客户端120相对应的各种预设服务的服务器。例如，服务器110可以是客户端120上部署的能够为进行内容生成的目标APP提供支持的后台服务器。本说明书中所介绍的内容生成方法可以在服务器110上执行。此时，服务器110可以存储有执行本说明书描述的内容生成方法的数据或指令，并可以执行或用于执行所述数据或指令。服务器110可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。
数据库140可以用于存储执行本说明书中描述的内容生成的方法的数据和/或指令。服务器110和客户端120可以具有访问数据库140的权限。目标对象150在客户端120上的数据可以存储在数据库中。例如，图1B中的目标对象150使用客户端120进行图像生成时，在客户端120登录自身的账号便可以保存生成过的图像或者生成图像中满意的图像。这些图像的数据可以暂存在客户端120上，也可以由客户端120传送至数据库140进行保存。服务器110和客户端120可以通过网络130访问存储在数据库140中的数据或指令。数据库140可以直接连接到服务器110和客户端120。其中，数据库140可以是服务器200的一部分。数据库140可以包括大容量存储、可移动存储、易失性读写存储器、只读存储器(ROM)或类似内容，或其任意组合。示例性大容量存储可能包括磁盘、光盘、固态驱动器等非暂时性存储介质(non-transitory storage medium)。示例可移动存储可能包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等。典型的易失性读写内存可能包括随机存取存储器(RAM)。示例RAM可能包括动态RAM(DRAM)、双日期速率同步动态RAM(DDR-SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性ROM可包括掩码ROM(MROM)、可编程ROM(PROM)、可虚拟可编程ROM(PEROM)、电子可编程ROM(EEPROM)、光盘(CD-ROM)和数字多功能磁盘ROM等。数据库140可以在云平台上实现。仅举例，云平台可能包括私有云、公共云、混合云、社区云、分布式云、云间云或类似，或其任意组合。存储介质可以包括远程独立的存储介质，例如上述的磁盘，硬盘以及固态硬盘等等。服务器110/客户端120可以通过具有访问权限的移动设备访问或者更新存储在远端独立的存储介质中的数据。存储介质可以包括本地存储介质。例如本地服务器140或IOT设备本身的数据存储硬盘等。
应该理解，图1A中的客户端120、服务器110的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端120和服务器110。
需要说明的是，内容生成方法可以完全在客户端120上执行，也可以完全在服务器110上执行，还可以部分在客户端120上执行，部分在服务器110上执行。
图2示出了根据本说明书的实施例提供的一种计算设备200的结构示意图。服务器110和客户端120可以具有如图2所示的计算设备200的结构。
如图2所示，计算设备200包括至少一个存储介质230和至少一个处理器220。在一些实施例中，计算设备200还可以包括通信端口250和内部通信总线210。同时，计算设备200还可以包括I/O组件260。
内部通信总线210可以连接不同的系统组件，包括存储介质230和处理器220。I/O组件260支持计算设备200和其他组件之间的输入/输出。
存储介质230可以包括数据存储装置。数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，数据存储装置可以包括磁盘232、只读存储介质(ROM)234或随机存取存储介质(RAM)236中的一种或多种。存储介质230还包括存储在数据存储装置中的至少一个指令集。指令集是计算机程序代码，计算机程序代码可以包括执行本说明书提供的对目标对象150进行内容生成的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
通信端口250用于计算设备200同外界的数据通讯。比如，计算设备200可以通过通信端口250连接网络130。至少一个处理器220同至少一个存储介质230通过内部通信总线210通信连接。至少一个处理器220用以执行上述至少一个指令集。当系统100运行时，至少一个处理器220读取至少一个指令集，并且根据至少一个指令集的指示执行本说明书提供的内容生成方法。
处理器220可以执行对目标对象150进行内容生成方法包含的所有步骤。处理器220可以是一个或多个处理器的形式。处理器220可以发出执行指令。处理器220可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。
仅仅为了说明问题，在本说明书中计算设备200中仅描述了一个处理器220。然而，应当注意，本说明书中计算设备200还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备200的处理器220执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器220联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。
图3示出了根据本说明书的实施例提供的一种内容生成方法300的流程图。如前所述，服务器110和/或客户端120可以执行内容生成方法300(以下简称方法300)。方法300可以完全在客户端120上执行，也可以完全在服务器110上执行，还可以部分在客户端120上执行，部分在服务器110上执行。其中，服务器110/客户端120可以具有如图2所示的计算设备200的结构。具体地，服务器110/客户端120中的存储介质可以存储有至少一组指令集用于内容生成。处理器220可以与存储介质230通信连接。处理器220可以读取存储在其本地存储介质和/或数据库140中的指令集，然后根据指令集的规定，执行方法300。
如图3所示，方法300可以包括：
S310：获得目标对象150输入的目标提示数据以及所述目标对象150对应的内容模板集。
步骤S310可以由客户端120执行，也可以由服务器110执行。客户端120可以获取目标对象150输入的目标提示数据。目标提示数据可以为上述的Prompt，是一种输入引导，是目标对象150对内容生成目标的描述。目标提示数据可以为一个或多个关键词，也可以是一段或多段文字等等。内容生成目标可以为目标对象150意图通过AI模型生成的内容。如上述的图像，文本内容，音频内容，视频内容等等。如图1B，目标对象150可以在画面描述的内容框中输入自己对于图像的描述。例如目标对象150想要生成一张猫的图像，输入内容框的内容提示数据可以包括猫的品种，猫的瞳孔颜色，猫的毛色，猫的神情，猫的动作，生成图像的清晰度等等关键词。再例如目标对象150想要生成一张建筑的图像，内容提示数据可以包括建筑的方位，建筑的背景，建筑的色彩，建筑的线条，生成图像的格式等等关键词。在一些实施例中，目标对象150也可以在画面描述的内容框中导入对于图像的描述。导入内容的来源可以是存储在客户端120上的文档，也可以是网页链接，等等。
当步骤S310在客户端120上执行时，客户端120可以直接获得目标提示数据。当步骤S310在服务器110上执行时，服务器110可以从客户端120获得目标提示数据。
内容模板集可以是基于目标对象150的多个历史内容生成数据得到的。多个历史内容生成数据可以存储在目标对象150的客户端120中，也可以存储在服务器110中。
多个历史内容生成数据可以是目标对象150在历史时间窗口内进行内容生成时的历史数据。多个历史内容生成数据中的每个历史内容生成数据可以包括目标对象150在历史时间的内容生成过程中输入的历史提示数据及其对应的历史采纳内容。目标对象150输入一个历史提示数据后可能会得到多个不同的历史内容。其中，历史采纳内容可以是从多个不同的历史内容中最终选择或采纳的历史内容。如图1B，目标对象150可以在图像展示的内容框中看到基于同样的提示数据生成的多个不同的图像。其中，目标对象150可以在多个不同的图像中选择符合自己预期或者自己最满意的图像作为采纳图像。采纳图像可以与其对应的提示数据作为数据对，被保存在与目标对象150关联的历史内容生成数据中。例如，目标对象150的一个历史内容生成数据中的历史提示数据可以包括关于猫咪的多个关键词，其对应的历史采纳内容可以是一张由这些关键词生成的且被目标对象150采纳的猫咪的图像。在基于同样的提示数据生成的多张图像中，被目标对象150采纳的图像可以视作是目标对象150比较喜欢的图像。例如，由于图像的布局、风格、渲染、图像中的对象轮廓、深度等等方面使得图像更受到目标对象150的喜爱而被采纳。因此被采纳的图像中蕴含了目标对象150对于生成图像的偏好，也就是目标对象150对于生成图像的个性化的需求。多个历史内容生成数据可以作为目标对象150后续内容生成的参考，从而使得新的生成的内容符合目标对象150的喜好，满足目标对象150的个性化需求。
在一些实施例中，内容模板集可以是目标对象150的全部历史内容生成数据。在一些实施例中，目标对象150的历史内容生成数据中可能会存在相似度较高的数据。为了在满足目标对象150的个性化需求的同时节省存储空间，内容模板集可以是目标对象150的多个历史内容生成数据中相似度较低的历史内容生成数据，以覆盖多种不同类型的历史内容生成数据。比如，内容模板集可以是从多个历史内容生成数据中挑选出的K个历史内容生成数据。此时，内容模板集可以包括K个内容模板。K个内容模板中的每个内容模板可以包括提示数据模板以及对应的采纳内容模板。多个历史内容生成数据中被挑选出的历史内容生成数据可以作为内容模板。历史内容生成数据包括的历史提示数据可以作为提示数据模板。历史内容生成数据包括的历史采纳内容可以作为采纳内容模板。当历史内容生成数据是进行图像生成时，K个内容模板的采纳内容模板可以是K张图像，K个内容模板的提示数据模板可以是每张图像对应的提示数据(Prompt)。其中，K为正整数。K的取值可以为1，2，3，4，5，10，15等等任意整数。K的取值可以依据工作人员以往的经验设定，也可以使用神经网络训练得到。K的取值可以是固定值，也可以是变化的值。K的取值的变化可以与多个历史内容生成数据的数量有关，也可以与多个历史内容生成数据之间的相似度有关。需要说明的是，从多个历史内容生成数据中挑选出K个历史内容生成数据作为内容模板集的过程可以在客户端120中执行，也可以在服务器110中执行。在一些实施例中，为提升计算效率以及保证客户端120的运行速度，从多个历史内容生成数据中挑选出K个历史内容生成数据作为内容模板集的过程可以在服务器110中执行。为了方便描述，以下的描述中将以从多个历史内容生成数据中挑选出K个历史内容生成数据作为内容模板集的过程在服务器110中执行为例进行说明。
服务器110可以基于多个历史内容生成数据之间的相似度确定内容模板集。比如，服务器110可以计算多个历史内容生成数据两两之间的相似度，并从中挑选出相似度满足预设条件的K个历史内容生成数据作为K个内容模板。K个内容模板彼此之间的模板相似度满足预设条件，以使得通过保存较少的存储内容，就能够记录目标对象150的内容生成偏好。
K个内容模板彼此之间的模板相似度可以为提示数据模板对应的提示数据模板特征的相似度，也可以为采纳内容模板对应的采纳内容模板特征的相似度。由于提示数据模板能够直接且准确地反应内容模板的信息，采纳内容模板能够补充目标对象150对于具体内容生成的偏好，例如图像的布局，风格，渲染等等。因此，综合考虑二者，K个内容模板彼此之间的模板相似度还可以为提示数据模板特征和采纳内容模板特征的组合的相似度，例如采纳内容模板特征和对应的提示数据模板特征串联后的特征的相似度。其中，提示数据模板对应的提示数据模板特征以及采纳内容模板对应的采纳内容模板特征可以分别通过对比文本-图像预训练模型(Contrastive Language-Image Pre-training，CLIP)从内容模板中提取出来。
模板相似度需要满足的预设条件可以包括K个内容模板彼此之间的模板相似度均小于预设阈值。其中，预设阈值可以依据工作人员以往的筛选经验设定，也可以使用神经网络训练得到。模板相似度需要满足的预设条件可以包括在多个历史内容生成数据构成的所有组合中，K个内容模板彼此之间的模板相似度的统计量是最小的。模板相似度的统计量包括模板相似度的和或均值。其中，所有组合中的每个组合包括多个历史内容生成数据中的K个历史内容生成数据。
为了方便描述，我们将多个历史内容生成数据的数量定义为M。其中，M为正整数。服务器110可以通过以下步骤确定内容模板集。
服务器110可以计算M个历史内容生成数据两两之间的相似度，得到M×M的相似度矩阵。其中，第i行第j列元素表示第i个历史内容生成数据与第j个历史内容生成数据之间的相似度。其中，i＝1,2,…,M，j＝1,2,…,M。历史内容生成数据两两之间的相似度可以是历史内容生成数据对应的特征两两之间的相似度。也就是说，历史内容生成数据两两之间的相似度可以是历史内容生成数据两两之间的特征相似度。历史内容生成数据对应的特征可以是历史提示数据对应的历史提示数据特征，也可以是历史采纳内容对应的历史采纳内容特征，还可以是历史提示数据特征和历史采纳内容特征的组合。其中，历史提示数据特征以及历史采纳内容特征可以分别通过对比文本-图像预训练模型(Contrastive Language-Image Pre-training，CLIP)从历史内容生成数据中提取出来。其中，相似度可以基于余弦相似度、欧式距离等方式来确定。
在一些实施例中，服务器110可以从M个历史内容生成数据中挑选出两两之间的相似度均小于预设阈值的K个历史内容生成数据，作为K个内容模板。
在一些实施例中，服务器110挑选出两两之间的相似度的和或均值最小的K个历史内容生成数据，作为K个内容模板。在一些实施例中，服务器110可以通过整数规划求解的方式确定K个内容模板。比如，M个历史内容生成数据中可以有多种不同的组。每个组合中包括K个历史内容生成数据。而K个内容模板所组成的组合在所有组合中两两之间的相似度的和或均值是最小的。
需要说明的是，当目标对象150的历史内容生成数据较少或者没有时，可以从公用模板中挑选出K个模板作为目标对象150的内容模板集。其中，公用模板中的内容模板可以是从服务器110中的至少部分用户的内容模板集中挑选的。公用模板中的内容模板可以是随机挑选的，也可以是通过进行相似度计算挑选的相似度低的内容模板。由于公用模板中的内容模板可以来自不同的对象的历史内容生成数据，因此公用模板中的模板之间的模板相似度本身比较低。服务器110可以随机从公用模板中挑选出K个模板作为目标对象150的内容模板集。服务器110也可以对公用模板中的模板进行模板相似度的计算，将满足上述模板相似度条件的K个模板作为目标对象150的内容模板集。
内容模板集可以基于预设周期更新。例如，目标对象150在0～T的历史时间段的内容生产过程，得到历史内容生成数据Con1；在T～2T的历史时间段的内容生产过程，得到历史内容生成数据Con2；在2T～3T的历史时间段的内容生产过程，得到历史内容生成数据Con3。在T时刻的内容模板集为Set1，设定以2T为预设周期更新内容模板集，则3T时刻可以进行内容模板集的更新。每个更新时间点，用于挑选内容模板集的多个历史内容生成数据可以包括上一个周期的内容模板集以及上一个周期至当前周期产生的内容生成数据。例如，当目标对象150在3T时刻进行内容模板集的更新时，以Set1，Con2以及Con3作为3T更新时刻的多个历史内容生成数据，从多个历史内容生成数据中获得相似度满足上述条件的内容模板集Set2，以替换内容模板集Set1。当目标对象150在3T～5T时间段内进行内容生成，服务器110获得的目标对象150的内容模板集为Set2。如果上一个周期的内容模板集Set1中包含的内容模板数量为K个，进行内容模板集更新时，可以获取Set1中K个内容模板彼此之间的模板相似度均值，以及可以计算Con2和Con3中每个数据与Set1中K个内容模板的相似度的均值，从计算得到的Con2和Con3的相似度均值中选出小于K个内容模板的模板相似度均值的值，其对应的数据可以替换K个内容模板中的部分相似度较高的内容模板。当目标对象150在3T时刻进行内容模板集的更新时，如果上一个周期的内容模板集Set1中包含的内容模板数量为K-N个，也就是说Set1中内容模板集的数量少于K个，此时也可以保留Set1中的内容模板集，从Con2以及Con3中挑选出N个内容模板补充到Set1中从而形成Set2。此时，只需要计算Con2和Con3中每个数据与Set1中K-N个内容模板的模板相似度，从得到的模板相似度中挑选出数据较小的N个即可。
内容模板集可以存储在客户端120中，也可以存储在服务器110中，也可以同时存储在客户端120和服务器110中。当步骤S310在客户端120上执行，同时内容模板集存储在客户端120上时，客户端120可以从客户端120本地获取内容模板集；当步骤S310在客户端120上执行，同时内容模板集存储在服务器110上时，客户端120可以从服务器110中获取内容模板集；当步骤S310在服务器110上执行，同时内容模板集存储在客户端120上时，服务器110可以从客户端120获取内容模板集；当步骤S310在服务器110上执行，同时内容模板集存储在服务器110上时，服务器110可以从服务器110本地中获取内容模板集。
每个目标对象150都可以关联最新的内容模板集，因此当目标对象150进行当前的内容生成时，服务器110/客户端120可以直接获取关联的内容模板集。每个目标对象150也可以仅关联多个历史内容生成数据，当目标对象150进行当前的内容生成时，服务器110/客户端120可以实时进行内容模板集的获取。服务器110/客户端120通过存储目标对象150采纳过的历史内容生成数据，或者存储目标对象150关联的内容模板集，可以记录目标对象150对于内容生成的偏好和个性化的需求。
如图3所示，方法300还可以包括：
S330：将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板。
步骤S330可以在客户端120上执行，也可以在服务器110上执行。服务器110/客户端120可以将目标提示数据和内容模板集中的K个内容模板进行匹配，从内容模板集中确定目标内容模板。目标内容模板和目标提示数据的匹配度越高，对于生成新的内容时的参考价值也是越高。例如，目标对象150在内容生成时，意图生成一张猫咪的图像。此时，在目标对象150关联的内容模板集中如果存在包含猫咪的内容模板(图像)，那么相较于内容模板集中其它不包含猫咪的内容模板，包含猫咪的内容模板对于再次生成猫咪的图像具有更高的参考价值。包含猫咪的模板可以反映目标对象150对于猫咪的品种，毛色，轮廓等等的喜好。当目标对象150关联的内容模板集中存在以猫咪为主角的图像，和不以猫咪为主角的图像(例如描述某个场景中顺带提及到了猫咪)时，以猫咪为主角的图像可能对于猫咪的特征体现的更加地详细。因此在目标对象150意图再次生成一张猫咪图像时，内容模板集中以猫咪为主角的图像相较于不以猫咪为主角的图像，对于猫咪的描述更详细或者更具体，对于新的内容的生成具有更高的参考价值。此时，内容模板集中以猫咪为主角的图像就可以作为生成新图像时的目标内容模板。图4示出了根据本说明书的实施例提供的确定目标内容模板的流程图。如图4所示，步骤S330可以包括：
S410：将所述目标提示数据与所述K个内容模板中的K个提示数据模板进行匹配，将与所述目标提示数据匹配的提示数据模板对应的内容模板作为所述目标内容模板。
由于内容模板的提示数据模板能够直接且准确地反应模板的内容，因此服务器110/客户端120在确定目标内容模板时，可以将目标提示数据与K个内容模板中的K个提示数据模板进行匹配，将与目标提示数据匹配的提示数据模板作为目标提示数据模板，将目标提示数据模板对应的内容模板作为目标内容模板。比如，服务器110/客户端120可以将目标提示数据和K个提示数据模板中的每个提示数据模板进行匹配，从而得到每个提示数据模板对应的匹配分。匹配分最高的提示数据模板可以作为目标提示数据模板，目标提示数据模板对应的内容模板作为目标内容模板。匹配分越高说明提示数据模板和目标提示数据的重叠程度以及相似度越高。例如上述的，以猫咪为主角的图像的匹配分>不以猫咪为主角单包含猫咪的图像的匹配分>不含猫咪的图像的匹配分。
在一些实施例中，服务器110/客户端120可以计算目标提示数据与K个提示数据模板之间的K个相似度。服务器110/客户端120还可以基于K个相似度得到K个提示数据模板对应的K个匹配分。其中，相似度与匹配分之间可以成正比关系。相似度越高，匹配分也越高；相似度越低，匹配分也越低。
在一些实施例中，服务器110/客户端120可以基于神经网络模型来确定目标提示数据与每个提示数据模板之间的匹配分。为了方便描述，我们将神经网络模型定义为提示数据匹配模型。比如，服务器110/客户端120中可以预先部署训练好的提示数据匹配模型。服务器110/客户端120可以将目标提示数据和每个提示数据模板输入至提示数据匹配模型中，得到每个提示数据模板对应的匹配分。
提示数据匹配模型可以通过以下方式进行训练。为了方便描述，我们将训练提示数据匹配模型的设备定义为训练设备。提示数据匹配模型的训练数据可以包括多个第一训练样本。训练设备可以获得多个第一训练样本以及其对应的第一标签，并基于多个第一训练样本以及其对应的第一标签得到第一损失，训练提示数据匹配网络，以得到提示数据匹配模型。多个第一训练样本中的每个第一训练样本可以包括样本提示数据以及其对应的样本内容模板集。其中，样本内容模板集是基于与之对应的样本提示数据的样本用户的历史内容生成数据得到的。样本内容模板集与样本提示数据对应同一个样本用户。比如，样本内容模板集可以基于前述的内容模板集的获取方式得到，本说明书对此不再赘述。每个样本内容模板集中可以包括多个样本内容模板。每个样本内容模板可以包括样本提示数据模板。其中，样本提示数据不同于与其对应的样本内容模板集中的多个样本提示数据模板。第一标签可以包括预先标记的样本提示数据与每个样本内容模板之间的真实匹配分。比如，第一标签可以包括与其对应的第一训练样本中的样本提示数据对应的相匹配的内容模板。其中，相匹配的内容模板是样本内容模板集中的一个。第一标签可以采用人工标注的形式，例如由设计师标注出样本提示数据与每个样本提示数据模板的匹配分。比如，相匹配的模板的匹配分的分数为满分，而其余模板的匹配分为低分或零分。
训练设备可以将样本提示数据以及与其对应的样本内容模板中的每个样本提示数据模板依次输入至提示数据匹配网络，并由提示数据匹配网络输出对应的预测匹配分。训练设备可以基于预测匹配分和预先标记的真实匹配分之间的差异得到第一损失，并基于第一损失对提示数据匹配网络进行训练，直至收敛，以得到提示数据匹配模型。其中，提示数据匹配模型的训练目标可以是约束其输出的预测匹配分与预先标记的真实匹配分之间的差异小于第一预设差异阈值。第一损失可以是预测匹配分与真实匹配分之间的差异。提示数据匹配模型的训练目标可以是约束第一损失小于第一预设差异阈值。所述第一预设差异阈值可以是一个较小的值，以使预测匹配分与预先标记的真实匹配分趋于一致。
从内容模板集中确定目标内容模板，也就是相当于确定了内容生成的参考模板。由此可见，方法300中，服务器110/客户端120可以自适应地从内容模板集中选择与目标提示数据匹配相匹配的目标内容模板作为目标提示数据的参考模板，避免用户投入大量的人力成本进行选择，从而提升了内容生成的效率。同时，目标内容模板中既可以体现出目标对象150的喜好，从而满足目标对象150的个性化需求，又可以保证内容生成过程的可控性，避免过度依赖用户的个人选择导致的内容生成后的频繁调整，从而提升了内容生成的质量。如前所述，目标内容模板可以作为内容生成过程的参考模板。为了进一步满足个性化需求，确定参考模板中具体的参考内容，如图4所示，步骤S330还可以包括：
S430：至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索。
服务器110/客户端120可以将目标提示数据与目标内容模板进行匹配，以从目标内容模板中选出目标线索。线索可以理解为生成内容时对于参考模板中的可参考内容的精确控制。如前所述，提示数据(Prompt)可以对意图生成的内容进行描述。在一些实施例中，文字表达可能不能完全精确地刻画希望生成的内容中的细节。因此，在进行内容生成时，可以借鉴参考模板中所包含的线索，以精细地刻画希望生成的内容的细节，通过把控内容的线索能够使得内容生成的可控性和稳定性进一步地提升。线索可以包括多种不同类型下的内容。比如，以图像为例，线索的类型可以是图像内对象的边缘、图像的深度信息、图像的分割图谱、图像的角色姿态等等。其中，图像内对象的边缘可以理解为图像内各对象的边缘轮廓；图像的深度信息可以理解为图像空间里面的各个点相对于摄像头的距离；图像的分割图谱可以理解为通过不同的灰度，色彩等区分开图像中不同类型的对象；图像的角色姿态可以理解为图像中角色的动作或姿势。目标线索可以包括目标线索类型以及目标线索类型对应的目标线索内容。目标线索内容可以是目标内容模板中在目标线索类型下的内容。目标线索可以理解为在目标内容模板中与目标提示数据相匹配的线索。也就是说目标线索是与目标对象150希望生成的目标内容相匹配的线索。也就是说，保留有目标线索的目标内容更符合目标对象150对于目标内容的期望，更容易被目标对象150采纳。
在一些实施例中，目标内容模板中的所有内容都可以用来作为目标提示数据进行内容生成的参考。在一些实施例中，目标内容模板中与目标提示数据相匹配的部分内容可以用来作为目标提示数据进行内容生成的参考。图5示出了根据本说明书的实施例提供的确定目标线索的流程图。如图5所示，服务器110/客户端120确定与目标提示数据匹配的目标线索的步骤S430可以包括以下步骤：
S510：至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型。
目标线索类型可以是目标内容模板中的所有线索类型中与目标提示数据相匹配的线索类型。目标线索类型可以作为目标提示数据进行内容生成时的参考线索类型。比如，目标线索类型可以是上述所述的线索中的任意一种或任意多种的任意组合。比如，以图像为例，目标线索类型可以包括上述的图像内对象的边缘、图像的深度信息、图像的分割图谱、图像的角色姿态等等中的一种或者上述多种类型的组合。
在一些实施例中，服务器110/客户端120可以基于神经网络模型来确定与目标提示数据匹配的目标线索类型。为了便于描述，我们将神经网络模型定义为线索类型匹配模型。比如，服务器110/客户端120中可以预先部署训练好的线索类型匹配模型。服务器110/客户端120可以将目标提示数据与目标内容模板中的目标采纳内容模板输入至线索类型匹配模型，得到目标线索类型。
线索类型匹配模型可以通过以下方式进行训练。为了方便描述，我们将训练线索类型匹配模型的设备定义为训练设备。线索类型匹配模型的训练数据可以包括多个第二训练样本。训练设备可以获得多个第二训练样本以及其对应的第二标签，并基于多个第二训练样本以及其对应的第二标签得到第二损失，训练线索类型匹配网络，以得到线索类型匹配模型。多个第二训练样本中的每个第二训练样本可以包括样本提示数据以及其对应的样本参考内容。其中，样本参考内容是样本内容模板集中与样本提示数据最匹配的内容。样本参考内容可以是基于前述的目标内容模板的获取方式，从样本用户对应的样本内容模板集中获得。样本参考内容也可以是人工从样本内容模板集中标注的。样本参考内容可以作为基于样本提示数据进行内容生成时的参考。第二标签可以是预先标记的真实线索类型。比如，第二标签可以包括与其对应的第二训练样本中的样本参考内容中与样本提示数据对应的相匹配的线索类型。即样本参考内容包括相匹配的线索类型。第二标签可以采用人工标注的形式，例如由设计师标注出样本参考内容中与样本提示数据匹配的线索类型。线索类型的种类可以预先设定。设计师可以将样本参考内容中与样本提示数据匹配的线索类型标注为1，其余种类的线索类型标注为0。
训练设备可以将样本提示数据以及其对应的样本参考内容依次输入至线索类型匹配网络，并由线索类型匹配网络输出对应的预测线索类型。训练设备可以基于预测线索类型和预先标记的真实线索类型之间的差异得到第二损失，并基于第二损失对线索类型匹配网络进行训练，直至收敛，以得到线索类型匹配模型。其中，线索类型匹配模型的训练目标可以是约束其输出的预测线索类型与预先标记的真实线索类型之间的差异小于第二预设差异阈值。第二损失可以是预测线索类型与真实线索类型之间的差异。线索类型匹配模型的训练目标可以是约束第二损失小于第二预设差异阈值。第二预设差异阈值可以是一个较小的值，以使预测线索类型和真实线索类型趋于一致。
在一些实施例中，服务器110/客户端120也可以将目标提示数据与目标内容模板中的目标采纳内容模板以及目标内容模板对应的匹配分依次输入至训练好的线索类型匹配模型中，得到目标线索类型。如前所述，目标提示数据与目标内容模板之间的匹配分越高，代表二者之间的相似度越高。此时，目标采纳内容模板与目标对象150基于目标提示数据希望生成的内容的匹配度也越高。也就是说，目标采纳内容模板中与目标对象150基于目标提示数据希望生成的内容相匹配度的线索也越多，即目标采纳内容模板中可以作为目标对象150基于目标提示数据进行内容生成的参考线索的类型也越多。因此，匹配分可以用来调控目标线索类型的数量。例如，匹配分以100分为最高分，匹配分为95分相对于匹配分为50分来说，95分对应的目标采纳内容模板中可以作为参考的线索类型的数量可以更多。
此时，每个第二训练样本还可以包括样本参考内容对应的匹配分。匹配分是基于样本提示数据与样本参考内容对应的样本提示数据模板得到的。匹配分可以基于上述的获得目标提示数据和提示数据模板之间的匹配分的方式得到。匹配分也可以通过预先标记的方式得到的。匹配分标注样本提示数据模板和样本提示数据的相似度。匹配分越高，二者的相似度越高。此时，线索类型匹配模型的训练方法和上述相似，在此不再赘述。
为了进一步确定进行内容生成时，可以参照的目标内容模板中的具体内容，如图5，步骤S430还可以包括：
S530：从所述目标内容模板中确定所述目标线索类型对应的目标线索内容。
服务器110/客户端120可以从目标内容模板中确定目标线索类型对应的目标线索内容。目标线索内容可以是目标采纳内容模板中与目标线索类型对应的内容。服务器110/客户端120可以从目标采纳内容模板中提取出目标线索类型在目标采纳内容模板中所体现的内容，作为目标线索内容。比如，以图像为例，目标线索内容可以是体现出了目标线索类型对应的内容的图像。目标采纳内容模板为一张猫咪的图像，目标线索类型为边缘时，目标线索内容可以是包括猫咪身体轮廓，眼睛轮廓和鼻子轮廓等等的线条构成的图像，而在目标线索内容中猫咪的毛色，瞳孔颜色以及所处的背景等等都没有展现出来。其中，服务器110/客户端120提取边缘图像可以使用canny边缘检测等算法。再例如，目标采纳内容模板为一个人以某个建筑为背景的图像，线索类型为深度时，目标线索内容可以是一张具有深度结构的深度图。例如得到的深度图像中，图像中越靠前摄像头的部分颜色越白，越远离摄像头的部分颜色越黑，以此体现深度。而在目标线索内容中人的样貌、穿着以及建筑的颜色等等都没有显示出来。其中，服务器110/客户端120提取图像的深度可以使用LeReS深度信息估算等算法。
当目标线索类型有多个时，目标线索内容也对应的有多个。以图片为例，目标线索类型可以包括深度和姿态。此时，目标线索内容可以包括两张图像，一张体现深度的图像，一张体现姿态的图像。目标线索内容也可以只包括一张图像。深度和姿态同时在这一张图像上体现。
回到图3，在步骤S330之后，方法300还可以包括如下步骤：
S350：将所述目标内容模板作为内容生成的参考，基于所述目标提示数据生成目标内容。
步骤S350可以由客户端120执行，也可以由服务器110执行。服务器110/客户端120可以基于目标提示数据生成目标内容，并可以将目标内容模板作为内容生成的参考。如前所述，目标内容模板是目标对象150的内容模板集中与目标提示数据匹配度最高的内容模板。因此，服务器110/客户端120将目标内容模板作为内容生成的参考所得到的目标内容，既符合目标对象150的喜好，能够满足目标对象150个性化的需求，又能够保证内容生成过程的可控性。
在一些实施例中，将目标内容模板作为参考，可以是将目标内容模板中目标采纳内容模板作为参考。在一些实施例中，将目标内容模板作为参考，可以是将目标采纳内容模板中的目标线索内容作为参考，以使得目标内容在目标线索类型下对应的内容与目标线索内容完全一致或几乎一致。在一些实施例中，将目标内容模板作为参考，可以是将目标采纳内容模板以及其中的目标线索内容作为参考。比如，将目标线索内容作为主要参考，以使得目标内容在目标线索类型下对应的内容与目标线索内容完全一致或几乎一致。再比如，将目标采纳内容模板作为次要参考，以使得目标内容在目标线索类型之外的其他类型下对应的内容可以与目标采纳内容模板中的内容部分一致。
综上所述，基于目标提示数据以及目标内容模板生成的目标内容中可以包括与目标提示数据描述的内容完全一致或者完全匹配的内容。目标内容中还可以包括与目标线索内容一致或近似一致的内容。目标内容中还可以包括目标采纳内容模板中除目标线索内容之外的其他内容，并且与目标提示数据相匹配。为了方便描述，我们以将目标采纳内容模板以及其中的目标线索内容作为参考内容为例进行描述。
比如，以图像为例，目标对象150意图生成一张猫咪的图像。服务器110/客户端120获得的目标提示数据可以包括{<水彩>，<正在注视前方>，<银渐层>，<黑色瞳孔>，...}等等关键词。服务器110/客户端120从目标内容模板得到目标线索类型为边缘和目标线索内容为对应的边缘线条图。在服务器110/客户端120根据目标提示数据生成新的猫咪图像的时候，新的猫咪的边缘轮廓和目标线索内容的边缘线条图可以近似一致或完全一致。猫咪的其它特点基于目标提示数据进行生成。其它特点可以包括猫咪的黑色瞳孔，银渐层的毛色，水彩的画风以及正在注视前方的神态等等。但是由于目标提示数据中的银渐近层是对猫咪毛色的较为笼统的描述，并且目标提示数据也没有对猫咪的品种进行限定。因此基于目标提示数据和目标内容模板，服务器110/客户端120仍然能够生成多张图像。并且所生成的多张图像的部分中可以参考目标采纳内容模板中关于猫咪的毛色、深度等内容。但是服务器110/客户端120生成的所有的新的猫咪图像中的猫咪的轮廓都是符合预设的轮廓边缘，也就是目标线索内容中的轮廓，并且猫咪都具有目标提示数据描述的特点。
在一些实施例中，服务器110/客户端120可以基于神经网络生成目标内容。为了方便描述，我们将神经网络模型定义为生成模型。比如，服务器110/客户端120中可以预先部署训练好的生成模型。在一些实施例中，服务器110/客户端120可以将目标提示数据和目标内容模板输入至生成模型中，得到目标内容，使得目标内容与目标线索内容相匹配。在一些实施例中，服务器110/客户端120可以将目标提示数据和目标采纳内容模板输入至生成模型中，得到目标内容，使得目标内容与目标线索内容相匹配。在一些实施例中，服务器110/客户端120可以将目标提示数据、目标采纳内容模板和目标线索内容模板输入至生成模型中，得到目标内容，使得目标内容与目标线索内容相匹配。为了方便描述，我们将以服务器110/客户端120可以将目标提示数据、目标采纳内容模板和目标线索内容模板输入至生成模型中，得到目标内容，使得目标内容与目标线索内容相匹配为例进行描述。
生成模型可以是任意形式的可以基于目标提示数据以及参考内容进行内容生成的模型。比如扩散模型(Diffusion Model)，再比如，生成网络对抗模型(GenerativeAdversarial Networks，简称GAN)，等等。为了方便描述，我们将以生成模型可以为扩散模型为例进行描述。
在一些实施例中，生成模型可以包括模板特征编码模块，线索特征编码模块，以及扩散模块。服务器110/客户端120可以将目标内容模板输入模板特征编码模块后，可以得到输出的目标内容模板特征。服务器110/客户端120可以将目标线索内容输入线索特征编码模块，可以得到输出的目标线索内容特征。服务器110/客户端120可以将目标提示数据以及目标内容模板特征和目标线索内容特征，输入扩散模块，并由扩散模块输出目标内容。
生成模型可以通过以下方式进行训练。为了方便描述，我们将训练生成模型的设备定义为训练设备。生成模型的训练数据可以包括多个第三训练样本。训练设备可以获得多个第三训练样本以及其对应的第三标签，并基于多个第三训练样本以及其对应的第三标签得到第三损失，训练生成网络，以得到生成模型。多个第三训练样本中的每个第三训练样本可以包括样本提示数据以及其对应的样本参考内容和样本参考线索内容。其中，样本参考线索内容是样本参考内容中和样本提示数据最匹配的样本线索类型对应的线索内容。样本参考线索内容可以基于上述目标线索内容的获得方式，从所述样本参考内容中得到。样本参考内容可以作为样本提示数据进行内容生成时的参考。样本参考线索内容可以出现在基于样本提示数据生成的内容中。第三标签可以包括预先标记的基于样本提示数据与样本参考内容以及样本参考线索内容生成的真实生成内容。第三标签可以采用人工标注的方法预先标记得到。比如，基于样本提示数据与样本参考内容以及样本参考线索内容可以生成多个内容，第三标签可以是人工从生成的多个内容中标记出的符合样本用户期待的内容，或者是样本用户从生成的多个内容中最终采纳的内容。其中，真实生成内容可以包括样本参考线索内容。
训练设备可以将样本提示数据以及其对应的样本参考内容和样本参考线索内容依次输入至生成网络，并由生成网络输出对应的预测生成内容。训练设备可以基于预测生成内容和预先标记的真实生成内容之间的差异得到第三损失，并基于第三损失对生成网络进行训练，直至收敛，以得到生成模型。其中，生成模型的训练目标可以是约束其输出的预测生成内容与预先标记的真实生成内容之间的差异小于第三预设差异阈值。第三损失可以是预测生成内容与真实生成内容之间的差异。生成模型的训练目标可以是约束第三损失小于第三预设差异阈值。第三预设差异阈值可以是一个较小的值，以使生成内容和真实生成内容趋于一致。
如图3所示，方法300还可以包括：
S370：输出所述目标内容。
步骤S370可以由客户端120执行，也可以由服务器110执行。
当步骤S370由客户端120执行时，客户端120可以可视化地展示生成的目标内容。例如，在图1B中，当目标内容为图像内容时，图像展示的内容框中可以显示生成的一张或多张图像。当目标内容为音频内容时，目标内容可以通过播放器播放出来等等。在一些实施例中，生成的目标内容可以以文件的形式保存在客户端120上。目标对象150点击对应的文件后，目标内容可以被展示出来。
当步骤S370由服务器110执行时，服务器110可以将目标内容发送至客户端120，客户端120获取到目标内容后可以按照上文所述的方式在客户端120上输出给目标对象150。
综上所述，本说明书提供的内容生成方法300及系统100，在生成目标对象150的目标内容时，服务器110/客户端120可以自适应地从目标对象150对应的历史内容生成数据中挑选与目标提示数据匹配相匹配的目标内容模板作为目标提示数据的参考模板，从而提升了内容生成的效率。同时，方法300和系统100通过将与目标提示数据相匹配的历史生成内容数据作为内容生成的参考内容，能够保证并提升目标内容生成过程的可控性以及目标内容的个性化的效果。
需要说明的是，本说明书实施例中的内容生成数据并不是针对某一特定用户的数据，并不能反映出某一特定用户的相关信息。本公开的技术方案中，所涉及的用户相关联的内容数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行内容生成的可执行指令。当可执行指令被处理器220执行时，可执行指令指导处理器220实施本说明书所述的内容生成方法。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (15)

1.一种内容生成方法，包括：
获得目标对象输入的目标提示数据以及所述目标对象对应的内容模板集，所述内容模板集是基于所述目标对象的多个历史内容生成数据得到的；
将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板；
将所述目标内容模板作为内容生成的参考，基于所述目标提示数据生成目标内容；以及
输出所述目标内容。
2.如权利要求1所述的方法，其中，所述内容模板集基于预设周期更新。
3.如权利要求2所述的方法，其中，所述多个历史内容生成数据包括上一个周期的内容模板集以及上一个周期至当前周期产生的内容生成数据。
4.如权利要求1所述的方法，其中，所述内容模板集包括K个内容模板，所述K个内容模板彼此之间的模板相似度满足预设条件，所述K个内容模板中的每个内容模板包括提示数据模板及其对应的采纳内容模板，其中，K为正整数。
5.如权利要求4所述的方法，其中，所述预设条件包括：
所述K个内容模板彼此之间的模板相似度均小于预设阈值；和/或
在所述多个历史内容生成数据构成的所有组合中，所述K个内容模板彼此之间的所述模板相似度的统计量是最小的，所述模板相似度的统计量包括所述模板相似度的和或均值，其中，所述所有组合中的每个组合包括所述多个历史内容生成数据中的K个历史内容生成数据。
6.如权利要4所述的方法，其中，所述模板相似度包括以下一种：
所述提示数据模板对应的提示数据模板特征的相似度；
所述采纳内容模板对应的采纳内容模板特征的相似度；以及
所述提示数据模板特征和所述采纳内容模板特征的组合的相似度。
7.如权利要求4所述的方法，其中，所述将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板，包括：
将所述目标提示数据与所述K个内容模板中的K个提示数据模板进行匹配，将与所述目标提示数据匹配的目标提示数据模板对应的内容模板作为所述目标内容模板。
8.如权利要求7所述的方法，其中，所述将所述目标提示数据与所述K个内容模板中的K个提示数据模板进行匹配，将与所述目标提示数据匹配的目标提示数据模板对应的内容模板作为所述目标内容模板，包括：
将所述目标提示数据与所述K个提示数据模板中的每个提示数据模板进行匹配，确定所述每个提示数据模板对应的匹配分；以及
将所述匹配分最高的提示数据模板作为所述目标提示数据模板，将所述目标提示数据模板对应的内容模板作为所述目标内容模板。
9.如权利要求8所述的方法，其中，所述将所述目标提示数据与所述K个提示数据模板中的每个提示数据模板进行匹配，确定所述每个提示数据模板对应的匹配分，包括：
将所述目标提示数据和所述每个提示数据模板输入至提示数据匹配模型中，得到所述每个提示数据模板对应的匹配分，
其中，所述提示数据匹配模型的训练数据包括样本提示数据以及样本内容模板集，所述提示数据匹配模型的训练目标包括约束其输出的预测匹配分与预先标记的真实匹配分之间的差异在第一预设差异阈值内。
10.如权利要求8所述的方法，其中，所述将所述目标提示数据与所述内容模板集进行匹配，从所述内容模板集中确定目标内容模板，还包括：
至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索。
11.如权利要求10所述的方法，其中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索，包括：
至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型；以及
从所述目标内容模板中确定所述目标线索类型对应的目标线索内容，
其中，所述目标线索包括所述目标线索类型以及所述目标线索内容。
12.如权利要求11所述的方法，其中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型，包括：
将所述目标提示数据与所述目标内容模板中的目标采纳内容模板输入至线索类型匹配模型，得到所述目标线索类型，
其中，所述线索类型匹配模型的训练数据包括样本提示数据及其对应的样本参考内容，所述线类型索匹配模型的训练目标包括约束其输出的预测线索类型与预先标记的真实线索类型之间的差异在第二预设差异阈值内，所述样本参考内容包括所述真实线索类型。
13.如权利要求11所述的方法，其中，所述至少将所述目标提示数据与所述目标内容模板进行匹配，确定与所述目标提示数据匹配的目标线索类型，包括：
将所述目标提示数据、所述目标内容模板中的目标采纳内容模板以及所述目标内容模板对应的匹配分输入至线索类型匹配模型，得到所述目标线索类型，
其中，所述线索类型匹配模型的训练数据包括样本提示数据及其对应的样本参考内容以及样本匹配分，所述线类型索匹配模型的训练目标包括约束其输出的预测线索类型与预先标记的真实线索类型之间的差异在第二预设差异阈值内，所述样本参考内容包括所述真实线索类型。
14.如权利要求11所述的方法，其中，所述将所述目标内容模板作为内容生成的参考，基于所述目标提示数据生成目标内容，包括：
将所述目标提示数据以及所述目标内容模板中的目标采纳内容模板和所述目标线索内容，输入至生成模型，得到所述目标内容，使得所述目标内容与所述目标线索内容相匹配，
其中，所述生成模型的训练数据包括样本提示数据以及其对应的样本参考内容和样本参考线索内容，所述生成模型的训练目标包括约束其输出的预测生成内容和预先标记的真实生成内容的差异在第三预设差异阈值内，其中，所述真实生成内容包括所述样本参考线索内容，所述生成模型为扩散模型。
15.一种内容生成系统，包括：
至少一个存储介质，存储有至少一个指令集，用于进行内容生成；以及
至少一个处理器，同所述至少一个存储介质通信连接，
其中，当所述内容生成系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-14任一项所述的方法。
CN202311103709.XA 2023-08-29 2023-08-29 一种内容生成方法及系统 Pending CN117131271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311103709.XA CN117131271A (zh) 2023-08-29 2023-08-29 一种内容生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311103709.XA CN117131271A (zh) 2023-08-29 2023-08-29 一种内容生成方法及系统

Publications (1)

Publication Number Publication Date
CN117131271A true CN117131271A (zh) 2023-11-28

Family

ID=88862522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311103709.XA Pending CN117131271A (zh) 2023-08-29 2023-08-29 一种内容生成方法及系统

Country Status (1)

Country Link
CN (1) CN117131271A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351328A (zh) * 2023-12-04 2024-01-05 杭州灵西机器人智能科技有限公司 一种标注图像生成方法、系统、设备和介质
CN117474785A (zh) * 2023-12-27 2024-01-30 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351328A (zh) * 2023-12-04 2024-01-05 杭州灵西机器人智能科技有限公司 一种标注图像生成方法、系统、设备和介质
CN117351328B (zh) * 2023-12-04 2024-02-13 杭州灵西机器人智能科技有限公司 一种标注图像生成方法、系统、设备和介质
CN117474785A (zh) * 2023-12-27 2024-01-30 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法
CN117474785B (zh) * 2023-12-27 2024-05-10 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法

Similar Documents

Publication Publication Date Title
US10867416B2 (en) Harmonizing composite images using deep learning
US10255681B2 (en) Image matting using deep learning
US10049477B1 (en) Computer-assisted text and visual styling for images
CN117131271A (zh) 一种内容生成方法及系统
US10482177B2 (en) Deep reading machine and method
US11264006B2 (en) Voice synthesis method, device and apparatus, as well as non-volatile storage medium
US11914841B2 (en) Automatic generation of stylized icons
US20180143741A1 (en) Intelligent graphical feature generation for user content
US20220375223A1 (en) Information generation method and apparatus
CN114449313B (zh) 视频的音画面播放速率调整方法及装置
CN117786154A (zh) 图像生成方法、系统、装置及存储介质
CN117252958A (zh) 基于文本生成图像的方法、装置、电子设备及存储介质
CN113963306B (zh) 基于人工智能的课件片头制作方法和装置
CN112289321B (zh) 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN114742991A (zh) 海报背景图像选取、模型训练、海报生成方法及相关装置
US20230336839A1 (en) Method, computer device, and storage medium for generating video cover
Shim A “K” to bridge Korea and the world: the state-led formulation of K-lit and its contradictions
JP7329281B1 (ja) 情報処理装置、方法、プログラム、およびシステム
KR102167588B1 (ko) 복수의 사용자 장치를 기반으로 동영상을 생성하는 컨텐츠 생성 서비스 장치, 복수의 사용자 장치를 기반으로 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN114580349A (zh) 内容处理方法、装置、计算机设备及计算机可读存储介质
CN118212326A (zh) 视觉文本生成方法、装置、设备和存储介质
CN117763193A (zh) 音乐动图的生成方法、控制器、车辆及存储介质
CN115082595A (zh) 视频制作方法、模板生成方法、装置及设备
CN118015111A (zh) 一种图像生成方法、装置、设备、存储介质以及程序产品
CN116959480A (zh) 图像的生成、模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination