CN113704488B - 内容的生成方法、装置、电子设备及存储介质 - Google Patents
内容的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113704488B CN113704488B CN202110932757.4A CN202110932757A CN113704488B CN 113704488 B CN113704488 B CN 113704488B CN 202110932757 A CN202110932757 A CN 202110932757A CN 113704488 B CN113704488 B CN 113704488B
- Authority
- CN
- China
- Prior art keywords
- content
- target
- mode
- generation
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000012925 reference material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开公开了一种内容的生成方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及自然语言处理、深度学习、知识图谱等人工智能技术领域。具体实现方案为:获取内容生成请求,其中,所述生成请求中包括参考内容及目标模态;根据所述参考内容的类型,确定目标生成模式;基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容。由此,在有参考内容的基础上,即可直接生成与目标模态匹配的内容,从而不仅使得内容生成的方式更灵活、更智能,而且可以实现跨模态的内容生成。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及自然语言处理、深度学习、知识图谱等人工智能技术领域,具体涉及一种内容的生成方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术地不断发展和完善,其已经在与人类日常生活相关的各个领域扮演着极其重要的作用,例如,人工智能技术已经在内容生成的领域取得了显著的进步。目前,如何更灵活的进行内容生成成为重点的研究方向。
发明内容
本公开提供了一种内容的生成方法、装置、电子设备及存储介质。
根据本公开的第一方面,提供了一种内容的生成方法,包括:
获取内容生成请求,其中,所述生成请求中包括参考内容及目标模态;
根据所述参考内容的类型,确定目标生成模式;
基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容。
根据本公开的第二方面,提供了一种内容的生成装置,包括:
获取模块,用于获取内容生成请求,其中,所述生成请求中包括参考内容及目标模态;
第一确定模块,用于根据所述参考内容的类型,确定目标生成模式;
生成模块,用于基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本公开第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如第一方面所述方法的步骤。
本公开提供的内容的生成方法、装置、电子设备及存储介质,存在如下有益效果:
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容及目标模态,之后根据参考内容的类型,确定目标生成模式,最后基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。由此,在有参考内容的基础上,即可直接生成与目标模态匹配的内容,从而不仅使得内容生成的方式更灵活、更智能,而且可以实现跨模态的内容生成。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例提供的一种内容的生成方法的流程示意图;
图2是根据本公开另一实施例提供的一种内容的生成方法的流程示意图;
图3是根据本公开又一实施例提供的一种内容的生成方法的流程示意图;
图4是根据本公开又一实施例提供的一种内容的生成方法的流程示意图;
图5是根据本公开又一实施例提供的一种内容的生成方法的流程示意图;
图6为本公开一实施例提供的一种内容生成平台的示意图;
图7为本公开一实施例提供的一种内容生成平台中算法实现层的示意图;
图8是根据本公开一实施例提供的一种内容的生成装置的结构示意图;
图9是用来实现本公开实施例的内容的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例涉及自然语言处理、深度学习等人工智能技术领域。
人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
自然语言处理是用计算机来处理、理解以及运用人类语言(如中文、英文等),它是计算机科学与语言学的交叉学科,又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言,人类的思维也就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。
知识图谱本质上是语义网络,是一种基于图的数据结构,由节点和边组成。在知识图谱中,每个节点表示现实世界中存在的实体,每条边为实体与实体之间的关系。通俗地讲,知识图谱就是把所有不同种类的信息连接在一起而得到的一个关系网络,知识图谱提供了从“关系”的角度去分析问题的能力。
图1是根据本公开一实施例提供的一种内容的生成方法的流程示意图。
其中,需要说明的是,本实施例的内容的生成方法的执行主体为内容的生成装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
如图1所示,该内容的生成方法包括:
S101:获取内容生成请求,其中,生成请求中包括参考内容及目标模态。
可选的,可以在用户触发内容生成平台中的内容生成请求控件的情况下,获取内容生成请求。
可选的,参考内容可以为源数据,也可以为与目标内容关联的已生成内容。
其中,源数据可以为生成目标内容的素材来源数据。源数据的存储形式可以包括:简易信息聚合(Really Simple Syndication,RSS)订阅源、word文档、及excel数据文件等等,本公开对此不做限定。
可选的,本公开中,模态,可以为信息传递的形式、方式或者样式等等,比如,模态可以包括图文、文本、图像、视频、音频、音乐、有声读物等等。相应的,目标模态可以为目标内容的样式。比如,目标模态可以为图文、图像、视频、有声读物、音乐等等中的一种或多种。本公开对此不作限定。
其中,图文可以是以文本为核心,以图像作为辅助的形式展示目标内容。
其中,视频可以按时长分为短视频和长视频。短视频是目标明确,内容单一、且时长较短的视频。短视频适用于填充内容消费者的碎片时间。长视频是具有完整结构和细节,且时长较长的视频。长视频适用于传递复杂的信息,或完整的视频艺术创作,比如,记录片、电影等等。
其中,有声读物可以是以文本为核心,音乐、音效为辅助的音频模态的数据。
其中,音乐是以传达感情为主要目标的模式。音乐可以由其他模态的内容配合生成,比如,歌词文本、音乐视频等等。
可选的,生成请求中还可以包括风格标签。风格标签可用于确定目标内容的风格。比如,风格标签可以为更活泼、更简洁、或更通俗等等,本公开对此不做限定。
S102:根据参考内容的类型,确定目标生成模式。
可选的,目标生成模式可以包括非交互模式,及交互模式。
其中,交互模式为用户与算法协作生成目标内容的模式。在目标内容的生成过程中,用户可基于当前已生成的内容,在适当的时机向内容生成平台发送交互指令,之后内容生成平台会采用人工智能算法完成交互指令中传递的要求。由此,交互模式可以提升用户的体验和内容生成的效率,以及目标内容的质量。
其中,非交互模式可以包括全自动模式和聚焦模式。
全自动模式为根据预先设定的源数据及流程,由人工智能算法完成目标内容的生成。
聚焦模式为将目标内容聚焦在某一具体的、单一的内容上的内容生成模式。比如,目标内容可以为一段诗歌、一段配乐、或一幅图画等等。在聚焦模式下,内容生成平台可根据用户的需求,自动完成目标内容的初稿,并进一步协助用户对初稿进行调整,以生成目标内容。
可选的,可以在参考内容为源数据的情况下,确定目标生成模式为非交互模式。
可选的,在参考内容为与目标内容关联的已生成内容的情况下,确定目标生成模式为交互模式。
S103:基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。
可选的,与目标模态匹配的目标内容可以为:关键词、参考资料、续作、等等。本公开对此不做限定。
其中,关键词和参考资料为内容创作平台基于当前已有的内容,为用户推荐相关的热点方向,或稀缺方向的关键词、参考资料等等,以激发用户的灵感。
其中,续作为基于当前已有的内容,进行下一部分的延续创作。
可选的,用户可以通过触发内容生成平台中的控件,确定生成的目标内容为续作,或者是用于激发灵感的关键词、参考资料等等。
需要说明的是,内容生成平台可以采用同一模型生成关键词、参考资料、续作等等。
可选的,若目标模态包含多种模态,用户可优先完成一种模态的内容,之后可由内容生成平台根据已经完成的某种模态的内容,生成其它目标模态的内容。
举例来说,目标模态为文本,图像及视频,若优先完成的目标内容的模态为文本,之后内容生成平台可采用人工智能算法对该文本进行处理以生成图像及视频模态的目标内容。或者,优先完成的内容为视频,之后可采用人工智能算法自动对视频补充字幕、视频特效或虚拟主播等等,本公开对此不做限定。
可以理解的是,参考内容的模态可以与目标模态相同,也可以与目标模态不同,即本公开中的内容生成方法可以实现跨模态的内容生成。比如,参考内容为文本模态,生成的目标内容的模态可以为文本模态、图文模态、或视频模态,本公开对此不做限定。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容及目标模态,之后根据参考内容的类型,确定目标生成模式,最后基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。由此,在有参考内容的基础上,即可直接生成与目标模态匹配的内容,从而不仅使得内容生成的方式更灵活、更智能,而且可以实现跨模态的内容生成。
图2是根据本公开另一实施例提供的一种内容的生成方法的流程示意图。
如图2所示,该内容的生成方法包括:
步骤S201:获取内容生成请求,其中,生成请求中包括参考内容、目标模态及触发条件。
可选的,触发条件可以为参考内容发生改变。比如,触发条件可以为:源数据发生订阅更新、关键词触发、数据变动等等;也可以为与目标内容关联的已生成内容发生改变。本公开对此不做限定。
步骤S202:根据参考内容的类型,确定目标生成模式。
步骤S203:在满足触发条件的情况下,基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。
其中,步骤S201-步骤S203的具体实现形式,可参照本公开中其它各实施例中的详细描述,此处不再详细赘述。
步骤S204:将目标内容输入训练生成的模型中,以确定目标内容对应的流量数据。
其中,流量数据可以衡量目标内容的传播力。流量数据越大,目标内容的传播力越强。
步骤S205:根据流量数据,确定目标内容的发布模式。
可选的,在目标内容对应的流量数据大于预设的阈值的情况下,可以对目标内容进行多维度发布,在目标内容对应的流量数据小于预设的阈值的情况下,只采用一种模式发布目标内容。
比如,在流量数据大于预设的阈值时,可以采用图文、视频、有声读物等多种模式同时发布目标内容。在流量数据小于预设的阈值时,只采用图文模式发布目标内容。
需要说明的是,上述示例只是简单的举例说明,不能作为本公开实施例中发布模式的具体限定。
可选的,在目标内容对应的流量数据大于预设的阈值的情况下,也可以对该目标内容进行优先发布。
可选的,在对目标内容进行发布之前,用户可进一步根据内容生成平台提供的优化建议,对已经生成的内容进行优化。比如,对文本进行纠错,优化图像的分辨率,对视频进行剪辑等等,本公开对此不做限定。
可选的,在对目标内容进行发布之前,用户也可根据内容生成平台推荐的标题、摘要、推广文案等,确定目标内容发布时的标题或文案。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容、目标模态及触发条件,再根据参考内容的类型,确定目标生成模式,之后在满足触发条件的情况下,基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容,最后根据目标内容对应的流量数据,确定目标内容的发布模式。由此,通过目标内容对应的流量数据衡量目标的传播力,进而根据传播力确定发布模式,不仅使内容生成的方式更灵活、更智能,而且提高了发布内容的质量。
图3是根据本公开又一实施例提供的一种内容的生成方法的流程示意图。
如图3所示,该内容的生成方法包括:
步骤S301:获取内容生成请求,其中,生成请求中包括参考内容、目标模态及目标模板的标识。
其中,目标模板为根据参考内容生成目标内容的模板。
可选的,用户可以对自己的创作流程进行录制,以生成目标模板。
可选的,用户也可以根据自己的需要,对内容生成平台提供的参考模板进行修正,以获取目标模板。
其中,目标模板的标识可以为目标模板的存储地址,也可以为目标模板的序号等等,本公开对此不做限定。
步骤S302:根据参考内容的类型,确定目标生成模式。
其中,步骤S301及步骤S302的具体实现形式,可参照本公开中其它各实施例中的详细描述,此处不再详细赘述。
步骤S303:根据目标模板的标识,确定目标模板。
步骤S304:根据目标模板中各个内容的属性,确定目标模板中的待更新内容。
可选的,目标模板中各个内容的可以属性包括固定变量、自动决策变量、数据变量等等,本公开对此不做限定。
可选的,可以将目标模板中内容属性为数据变量、自动决策变量的内容,确定为待更新的内容。
步骤S305:基于目标生成模式,根据参考内容,对待更新内容进行更新处理,以生成与目标模态匹配的目标内容。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容、目标模态及目标模板的标识,之后根据参考内容的类型,确定目标生成模式,再根据目标模板的标识确定目标模板,根据目标模板中各个内容的属性,确定目标模板中的待更新内容,最后基于目标生成模式,根据参考内容,对待更新内容进行更新处理,以生成与目标模态匹配的目标内容。由此,根据参考内容,对目标模板中的内容进行更新,即可生成与目标模态匹配的内容,不仅使内容生成的方式更灵活、更智能,而且提高了内容生成的效率。
图4是根据本公开又一实施例提供的一种内容的生成方法的流程示意图。
如图4所示,该内容的生成方法包括:
步骤S401:获取内容生成请求,其中,生成请求中包括参考内容、目标模态及目标内容的属性。
其中,目标内容的属性可以包括:目标内容的类型、主题、格式、韵脚、色调、关键词等等,本公开对此不做限定。
其中,目标内容的类型可以为诗歌,散文,图画等等,本公开对此不做限定。格式可以为长短句交错等等,本公开对此不做限定。
步骤S402:在参考内容为源数据的情况下,确定目标生成模式为非交互模式。
其中,步骤S401及步骤S402的具体实现形式,可参照本公开中其它各实施例中的详细描述,此处不再详细赘述。
步骤S403:根据目标内容的属性,对参考内容进行处理,以生成与目标模态匹配的多个候选内容。
可选的,内容生成平台可以根据目标内容的属性,基于预设的模板或样例,对参考内容进行处理,并自动生成与目标模态匹配的多个候选内容。
可选的,在生成了多个候选内容之后,也可以根据目标内容的风格属性对候选内容进行风格迁移。
步骤S404:根据每个候选内容与预设的数据库中各内容间的相似度,对多个候选内容进行过滤,以生成与目标模态匹配的目标内容。
其中,数据库中可以包含与候选内容风格相似,内容相近的数据,也可以包含可借鉴的数据。
可选的,可以选择与数据库中各内容间的相似度最低的候选内容,作为目标内容。
可选的,也可以先从多个候选内容中获取相似度小于阈值的候选内容,之后由用户从小于阈值的候选内容中,选取一个候选内容,作为目标内容。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容、目标模态及目标内容的属性,之后,在参考内容为源数据的情况下,确定目标生成模式为非交互模式,再根据目标内容的属性,对参考内容进行处理,以生成与目标模态匹配的多个候选内容,最后根据每个候选内容与预设的数据库中各内容间的相似度,对多个候选内容进行过滤,以生成与目标模态匹配的目标内容。由此,在非交互模式下,根据预设的目标内容的属性,生成与目标模态匹配的多个候选内容,进而根据候选内容与数据库中内容的相似性,确定目标内容,从而不仅使内容生成的方式更灵活、更智能,而且提高了生成内容的新颖性及原创性。
图5是根据本公开又一实施例提供的一种内容的生成方法的流程示意图。
如图5所示,该内容的生成方法包括:
步骤S501:获取内容生成请求,其中,生成请求中包括参考内容及目标模态。
步骤S502:在参考内容为与目标内容关联的已生成内容的情况下,确定目标生成模式为交互模式。
其中,步骤S501及步骤S502的具体实现形式,可参照本公开中其它各实施例中的详细描述,此处不再详细赘述。
步骤S503:对参考内容进行处理,以生成并展示与目标模态匹配的候选内容。
其中,候选内容可以为用于激发用户灵感的关键词或参考资料等等,也可以为基于已生成的内容,生成的下一部分的续作。
可选的,用户可以通过触发内容生成平台中的控件,确定生成的候选内容为续作,或者是用于激发灵感的关键词、参考资料等等。
步骤S504:根据获取的针对候选内容的修订操作,生成目标内容。
其中,修订操作可以为改变候选内容的风格,也可以为对候选内容进行纠错等等,本公开对此不做限定。
可选的,用户可以通过触发内容生成平台中的修订控件,以内容生成平台根据获取的修订操作,对候选内容进行修订。
比如,可以在不改变候选内容的语义的情况下,改变候选内容的风格,使候选内容变得更精简、更活泼或更通俗。或者,若候选内容为文本模态,可对文本进行纠错;若候选内容为视频模态,可对视频中的字幕进行纠错。
需要说明的是,上述示例只是简单地举例说明,不能作为本公开实施例中修订操作的限定。
可选的,用户也可圈定一部分已有的内容,之后内容生成平台根据获取的修订操作,对已有的内容进行修订,以生成目标内容。比如改变已有内容的风格等。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容及目标模态,之后在参考内容为与目标内容关联的已生成内容的情况下,确定目标生成模式为交互模式,之后对参考内容进行处理,以生成并展示与目标模态匹配的候选内容,最后根据获取的针对候选内容的修订操作,生成目标内容。由此,在交互模式下,通过对生成的与目标模态匹配的候选内容进行修订,以生成目标内容,从而不仅使内容生成的方式更灵活、更智能,而且提高了生成内容的准确度。
图6为本公开提供的一种内容生成平台的示意图。如图6所示,内容生成平台包括:平台与服务层、算法实现层、及核心技术层。
可选的,平台与服务层可以包括:平台前端(网页、移动APP)、API接口及平台后端。
可选的,核心技术层可以包括:统一模态与训练模型,以及多模态知识图谱。
可以理解的是,在人工智能技术领域,及内容生成应用领域中,“多模态”指多种传递信息的模态的综合。传递信息的模态可以包括:文本、图像、视频,语音、音乐等等。
其中,统一模态与训练模型为,将任何模态的内容通过不同的途径转换为统一表义空间内的向量,进而经过大规模数据上的预训练,得到的统一处理各种单模态、多模态、跨模态任务的基础模型。统一模态与训练模型是具体算法实现的基础。
其中,多模态知识图谱可通过知识增强的方式融合到预训练模型和算法实现中,进而增强算法的实用效果。
可选的,算法实现层可以包括:基于模板的自动内容创作模块、交互式多模创作模块、内容模态转换模块、多模原创素材生成模块、多模内容理解与检索模块、以及多模传播能力衡量与增强模块。
其中,基于模板的自动内容创作模块可以根据预先设定的参考内容,基于目标模板,由算法自主生成目标模态匹配的目标内容。可以理解的是,基于模板的自动内容创作模块的基础是一个描述能力完备的模板语言,该模板可以刻画内容的时序,及各模态之间的配合关系,由此,该模块可以根据用户预设设定的参考内容,自动生成目标内容。
其中,交互式多模创作模块可以根据用户的交互指令,完成目标内容的生成。其中,交互指令可以为“续写下一段”,“重写上一段”,“精简第二段”等等,本公开对此不做限定。
其中,内容模态转换模块可以将同样的内容转换为不同的模态。比如,将图像转换为视频、将文本转换为图像等等,本公开对此不做限定。
其中,多模原创素材生成模块可以根据用户的需求,自动生成原创素材。另外,该模块也可以对已有的素材做风格迁移和转换,以生成原创素材。
其中,多模内容理解与检索模块可以生成目标内容的标签、摘要等等;也可以为目标内容进行纠错审核、润色优化等等;还可以对目标内容进行跨模态的检索,比如,用文本检索图像,用图像检索视频等等,本公开对此不做限定。
其中,多模传播能力衡量与增强模块可以对衡量目标内容的传播能力,也可以增强目标内容的传播能力。
图7为本公开一实施例提供的一种内容生成平台中算法实现层的示意图。如图7所示,基于模板的自动内容创作模块可以包括:数据源适配器单元、内容构成单元、自动创作流程托管单元及内容发布接口单元。
交互式多模创作模块可以包括:交互指令理解分发单元、交互结果筛选推荐单元、多模内容剪辑单元及多模内容扩展单元。
多模原创素材生成模块可以包括:原创文本生成单元、原创图像生成单元、虚拟形象生成单元、原创音乐生成单元、多模风格转换单元、以及多模风格合成单元。
多模内容理解与检索模块可以包括:多模理解单元、多模知识关联单元、多模语义检索单元以及多模语义匹配单元。
多模传播能力衡量与增强模块可以包括:内容传播力预测单元、以及多模内容润色单元。
内容模态转换模块中,箭头表示内容模态间的转换关系,比如,文本可以转化为图像、视频、音乐等等。图像可以转化为文本、视频等等。需要说明的是,每一箭头对应的模态之间的转换,均由对应的算法实现。
需要说明的是,如图7中所示的每一个单元,都由对应的具体算法实现。
图8是根据本公开一实施例提供的一种内容的生成装置的结构示意图。
如图8所示,该基于内容的生成装置800,包括:获取模块810、第一确定模块820、生成模块830。
其中,获取模块810,用于获取内容生成请求,其中,生成请求中包括参考内容及目标模态;
第一确定模块820,用于根据参考内容的类型,确定目标生成模式;
生成模块830,用于基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。
在一种可能的实现方式中,第一确定模块820,具体用于:
在参考内容为源数据的情况下,确定目标生成模式为非交互模式;
在参考内容为与目标内容关联的已生成内容的情况下,确定目标生成模式为交互模式。
在一种可能的实现方式中,生成请求中还包括触发条件,生成模块830,具体用于:
在满足触发条件的情况下,基于目标生成模式,对参考内容进行处理。
在一种可能的实现方式中,生成请求中还包括目标模板的标识,生成模块830,具体用于:
根据目标模板的标识,确定目标模板;
根据目标模板中各个内容的属性,确定目标模板中的待更新内容;
根据参考内容,对待更新内容进行更新处理。
在一种可能的实现方式中,目标生成模式为交互模式,生成模块830,具体用于:
对参考内容进行处理,以生成并展示与目标模态匹配的候选内容;
根据获取的针对候选内容的修订操作,生成目标内容。
在一种可能的实现方式中,目标生成模式为非交互式模式,生成请求中还包括目标内容的属性,生成模块830,具体用于:
根据目标内容的属性,对参考内容进行处理,以生成与目标模态匹配的多个候选内容;
根据每个候选内容与预设的数据库中各内容间的相似度,对多个候选内容进行过滤,以生成与目标模态匹配的目标内容。
在一种可能的实现方式中,该装置还包括:
第二确定模块,用于将目标内容输入训练生成的模型中,以确定目标内容对应的流量数据;
第三确定模块,用于根据流量数据,确定目标内容的发布模式。
需要说明的是,前述对内容的生成方法的解释说明也适用于本实施例的内容的生成装置,此处不再赘述。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容及目标模态,之后根据参考内容的类型,确定目标生成模式,最后基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。由此,在有参考内容的基础上,即可直接生成与目标模态匹配的内容,从而不仅使得内容生成的方式更灵活、更智能,而且可以实现跨模态的内容生成。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如内容的生成方法。例如,在一些实施例中,内容的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的内容的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行内容的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
本公开实施例中,首先获取内容生成请求,其中,生成请求中包括参考内容及目标模态,之后根据参考内容的类型,确定目标生成模式,最后基于目标生成模式,对参考内容进行处理,以生成与目标模态匹配的目标内容。由此,在有参考内容的基础上,即可直接生成与目标模态匹配的内容,从而不仅使得内容生成的方式更灵活、更智能,而且可以实现跨模态的内容生成。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (13)
1.一种内容的生成方法,包括:
获取内容生成请求,其中,所述生成请求中包括参考内容及目标模态;
根据所述参考内容的类型,确定目标生成模式;
基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容;
其中,所述目标生成模式为交互模式,所述基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容,包括:
对所述参考内容进行处理,以生成并展示与所述目标模态匹配的候选内容;
根据获取的针对所述候选内容的修订操作,生成所述目标内容;
其中,所述目标生成模式为非交互模式,所述生成请求中还包括目标内容的属性,所述基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容,包括:
根据所述目标内容的属性,对所述参考内容进行处理,以生成与所述目标模态匹配的多个候选内容;
根据每个所述候选内容与预设的数据库中各内容间的相似度,对所述多个候选内容进行过滤,以生成与所述目标模态匹配的目标内容。
2.如权利要求1所述的方法,其中,所述根据所述参考内容的类型,确定目标生成模式,包括:
在所述参考内容为源数据的情况下,确定所述目标生成模式为非交互模式;
在所述参考内容为与目标内容关联的已生成内容的情况下,确定所述目标生成模式为交互模式。
3.如权利要求1所述的方法,其中,所述生成请求中还包括触发条件,所述基于所述目标生成模式,对所述参考内容进行处理,包括:
在满足所述触发条件的情况下,基于所述目标生成模式,对所述参考内容进行处理。
4.如权利要求1所述的方法,其中,所述生成请求中还包括目标模板的标识,所述基于所述目标生成模式,对所述参考内容进行处理,包括:
根据所述目标模板的标识,确定目标模板;
根据所述目标模板中各个内容的属性,确定所述目标模板中的待更新内容;
根据所述参考内容,对所述待更新内容进行更新处理。
5.如权利要求1-4任一所述的方法,其中,在所述生成与所述目标模态匹配的目标内容之后,还包括:
将所述目标内容输入训练生成的模型中,以确定所述目标内容对应的流量数据;
根据所述流量数据,确定所述目标内容的发布模式。
6.一种内容的生成装置,包括:
获取模块,用于获取内容生成请求,其中,所述生成请求中包括参考内容及目标模态;
第一确定模块,用于根据所述参考内容的类型,确定目标生成模式;
生成模块,用于基于所述目标生成模式,对所述参考内容进行处理,以生成与所述目标模态匹配的目标内容;
其中,所述目标生成模式为交互模式,所述生成模块,具体用于:
对所述参考内容进行处理,以生成并展示与所述目标模态匹配的候选内容;
根据获取的针对所述候选内容的修订操作,生成所述目标内容;
其中,所述目标生成模式为非交互式模式,所述生成请求中还包括目标内容的属性,所述生成模块,具体用于:
根据所述目标内容的属性,对所述参考内容进行处理,以生成与所述目标模态匹配的多个候选内容;
根据每个所述候选内容与预设的数据库中各内容间的相似度,对所述多个候选内容进行过滤,以生成与所述目标模态匹配的目标内容。
7.如权利要求6所述的装置,其中,所述第一确定模块,具体用于:
在所述参考内容为源数据的情况下,确定所述目标生成模式为非交互模式;
在所述参考内容为与目标内容关联的已生成内容的情况下,确定所述目标生成模式为交互模式。
8.如权利要求6所述的装置,其中,所述生成请求中还包括触发条件,所述生成模块,具体用于:
在满足所述触发条件的情况下,基于所述目标生成模式,对所述参考内容进行处理。
9.如权利要求6所述的装置,其中,所述生成请求中还包括目标模板的标识,所述生成模块,具体用于:
根据所述目标模板的标识,确定目标模板;
根据所述目标模板中各个内容的属性,确定所述目标模板中的待更新内容;
根据所述参考内容,对所述待更新内容进行更新处理。
10.如权利要求6-9任一所述的装置,其中,还包括:
第二确定模块,用于将所述目标内容输入训练生成的模型中,以确定所述目标内容对应的流量数据;
第三确定模块,用于根据所述流量数据,确定所述目标内容的发布模式。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932757.4A CN113704488B (zh) | 2021-08-13 | 2021-08-13 | 内容的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932757.4A CN113704488B (zh) | 2021-08-13 | 2021-08-13 | 内容的生成方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704488A CN113704488A (zh) | 2021-11-26 |
CN113704488B true CN113704488B (zh) | 2024-03-22 |
Family
ID=78652852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110932757.4A Active CN113704488B (zh) | 2021-08-13 | 2021-08-13 | 内容的生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704488B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112035687A (zh) * | 2020-08-28 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 一种多媒体内容发布的方法、装置、电子设备及存储介质 |
CN112513838A (zh) * | 2018-04-20 | 2021-03-16 | 脸谱公司 | 为用户生成个性化内容汇总 |
CN112541359A (zh) * | 2020-11-27 | 2021-03-23 | 北京百度网讯科技有限公司 | 文档内容识别方法、装置、电子设备及介质 |
WO2021087746A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市欢太科技有限公司 | 推送内容的处理方法、装置、电子设备以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241259B (zh) * | 2020-01-08 | 2023-06-20 | 百度在线网络技术(北京)有限公司 | 交互信息推荐方法和装置 |
-
2021
- 2021-08-13 CN CN202110932757.4A patent/CN113704488B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112513838A (zh) * | 2018-04-20 | 2021-03-16 | 脸谱公司 | 为用户生成个性化内容汇总 |
WO2021087746A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳市欢太科技有限公司 | 推送内容的处理方法、装置、电子设备以及存储介质 |
CN112035687A (zh) * | 2020-08-28 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 一种多媒体内容发布的方法、装置、电子设备及存储介质 |
CN112541359A (zh) * | 2020-11-27 | 2021-03-23 | 北京百度网讯科技有限公司 | 文档内容识别方法、装置、电子设备及介质 |
Non-Patent Citations (1)
Title |
---|
基于表示学习的跨模态检索模型与特征抽取研究综述;李志义;黄子风;许晓绵;;情报学报(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113704488A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717017B (zh) | 一种处理语料的方法 | |
KR102565659B1 (ko) | 정보 생성 방법 및 장치 | |
JP7301922B2 (ja) | 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
WO2016197767A2 (zh) | 一种表情输入方法、装置、终端和计算机可读存储介质 | |
US11264006B2 (en) | Voice synthesis method, device and apparatus, as well as non-volatile storage medium | |
JP2021197133A (ja) | 意味マッチング方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
JP7395553B2 (ja) | 文章翻訳方法、装置、電子機器及び記憶媒体 | |
JP7337172B2 (ja) | 音声パケット推薦方法、装置、電子機器およびプログラム | |
CN109359308B (zh) | 机器翻译方法、装置及可读存储介质 | |
CN104994000A (zh) | 一种图像动态呈现的方法和装置 | |
CN115982376A (zh) | 基于文本、多模数据和知识训练模型的方法和装置 | |
CN109800435A (zh) | 一种语言模型的训练方法及装置 | |
CN113850080A (zh) | 一种押韵词推荐方法、装置、设备及存储介质 | |
JP2023002690A (ja) | セマンティックス認識方法、装置、電子機器及び記憶媒体 | |
JP7309811B2 (ja) | データ注釈方法、装置、電子機器および記憶媒体 | |
CN113360683B (zh) | 训练跨模态检索模型的方法以及跨模态检索方法和装置 | |
CN114882874A (zh) | 一种端到端模型训练方法、装置、计算机设备及存储介质 | |
CN117744620A (zh) | 文章的自动生成方法、装置、设备及存储介质 | |
JP2024502400A (ja) | グラフ・ニューラル・ネットワークを用いたポータブル・ドキュメント・フォーマットの表形式データの自動描写及び抽出 | |
CN113704488B (zh) | 内容的生成方法、装置、电子设备及存储介质 | |
JP2020173776A (ja) | 映像を生成するための方法および装置 | |
CN116978028A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN114218431A (zh) | 视频搜索方法、装置、电子设备以及存储介质 | |
CN112560466A (zh) | 链接实体关联方法、装置、电子设备和存储介质 | |
CN117651156A (zh) | 视频生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |