CN117633259A - 互动多媒体内容的生成方法、装置和计算机可读存储介质 - Google Patents
互动多媒体内容的生成方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117633259A CN117633259A CN202311598800.3A CN202311598800A CN117633259A CN 117633259 A CN117633259 A CN 117633259A CN 202311598800 A CN202311598800 A CN 202311598800A CN 117633259 A CN117633259 A CN 117633259A
- Authority
- CN
- China
- Prior art keywords
- scenario
- content
- nodes
- node
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000015654 memory Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 12
- 230000000981 bystander Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 101100080277 Caenorhabditis elegans ncr-1 gene Proteins 0.000 description 2
- 101100080278 Caenorhabditis elegans ncr-2 gene Proteins 0.000 description 2
- 101100459404 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) npc-1 gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 101150107867 npc-2 gene Proteins 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000442 meristematic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种互动多媒体内容的生成方法、装置和计算机可读存储介质,涉及多媒体技术领域。互动多媒体内容的生成方法包括:接收用户输入的内容;显示所述一个或多个剧情节点、以及所述一个或多个剧情节点之间的逻辑关系,所述一个或多个剧情节点和所述逻辑关系是根据第一生成模型对所述用户输入的内容的处理结果生成的;显示至少一个剧情节点的剧情内容,所述剧情内容是根据所述第一生成模型对所述一个或多个剧情节点和所述逻辑关系的处理结果生成的;利用所述一个或多个剧情节点的剧情内容,创建互动多媒体内容。
Description
技术领域
本公开涉及多媒体技术领域,特别涉及一种互动多媒体内容的生成方法、装置和计算机可读存储介质。
背景技术
互动多媒体内容是一种集成了图像、声音、文字等多种元素、并且能够为其观看者(或称为使用者)提供交互接口的内容。诸如游戏、互动故事、互动电影等互动多媒体内容基于设定的剧情开展。创作者基于预先写好的剧本绘制每个场景的画面、或者组织演员进行拍摄,程序开发者通过编写代码等手段将艺术创作的成果进行组织,并且在需要观看者与互动多媒体内容进行互动的位置处设置交互接口,以便接收用户的输入。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
根据本公开的一些实施例,提供了一种互动多媒体内容的生成方法,包括:接收用户输入的内容;显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的;显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的;利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。
根据本公开的另一些实施例,提供了一种互动多媒体内容的生成装置,包括:接收模块,被配置为接收用户输入的内容;第一显示模块,被配置为显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的;第二显示模块,被配置为显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的;创建模块,被配置为利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。
根据本公开的一些实施例,提供一种互动多媒体内容的生成装置,包括:存储器;和耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行本公开中的任一实施例的互动多媒体内容的生成方法。
根据本公开的一些实施例,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行本公开中的任一实施例的互动多媒体内容的生成方法。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征、方面及其优点将会变得清楚。
附图说明
下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解,各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分,用于解释本公开。应当理解的是,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开构成限制。
在附图中:
图1示出了根据本公开一些实施例的互动多媒体内容的生成方法的流程示意图。
图2示出了根据本公开一些实施例的剧情节点和剧情内容的生成方法的流程示意图。
图3示出了根据本公开一些实施例的多媒体资源的生成方法的流程示意图。
图4示出了根据本公开一些实施例的用户输入界面的示意图。
图5示出了根据本公开一些实施例的设定信息的输入界面的示意图。
图6A和6B示例性地示出了根据本公开一些实施例的剧情节点的可视化界面示意图。
图7A和7B示例性地示出了根据本公开另一些实施例的剧情节点的可视化界面示意图。
图8示出了根据本公开一些实施例的互动多媒体内容的生成装置的结构示意图。
图9示出了根据本公开一些实施例的电子设备的结构示意图。
图10示出了根据本公开一些实施例的计算机系统的结构示意图。
应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此,一旦某一项在一个附图中被定义,则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,但是显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的,不限制本公开的范围。
本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语,即“包括但不限于”。此外,本公开使用的术语“包含”及其变型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语,即“包含但不限于”。因此,包括与包含是同义的。术语“基于”意指“至少部分地基于”。
整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本公开的至少一个实施例中。例如,术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。而且,短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例,但是也可以指同一个实施例。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定,否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面结合附图对本公开的实施例进行详细说明,但是本公开并不限于这些具体的实施例。下面这些具体实施例可以相互结合,对于相同或者相似的概念或过程可能在某些实施例不再赘述。此外,在一个或多个实施例中,特定的特征、结构或特性可以由本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
应理解,本公开对于如何获得待应用/待处理的图像也不做限制。在本公开的一个实施例中,可以从存储装置,例如内部存储器或者外部存储装置获取,在本公开的另一个实施例中,可以调动摄影组件来拍摄。需要说明的是,所获取的图像可以是一张采集到的图像,也可以是采集到的视频中的一帧图像,并不特别局限于此。
在本公开的上下文中,图像可指的是多种图像中的任一种,诸如彩色图像、灰度图像等。应指出,在本说明书的上下文中,图像的类型未被具体限制。此外,图像可以是任何适当的图像,例如由摄像装置获得的原始图像,或者已对原始图像进行过特定处理的图像,例如初步过滤、去混叠、颜色调整、对比度调整、规范化等等。应指出,预处理操作还可以包括本领域已知的其它类型的预处理操作,这里将不再详细描述。
互动多媒体内容属于专业生产内容(Professional Generated Content,简称:PGC),其生成过程具有较高的门槛,并且通常涉及多个领域的专业人员的合作。例如,策划人员或编剧撰写剧本,美术人员绘制人物、场景图,技术人员通过编写代码等操作组织上述素材,以最终生成互动多媒体内容。整个过程需要多方耗费大量的时间、人力,具有较高的创作门槛。
以剧本的创作为例,在基于剧情的互动多媒体内容的创作过程中,除了确定剧情的梗概之外,还需要创作者详细地写明细节,例如,对场景的描述;对角色的描述,包括角色的外形、穿着、动作等等;对话,包括互动多媒体内容的非玩家控制角色向玩家(或观看者)反馈的说话内容,或者需要玩家输入的说话内容、或者选择。一些非专业的创作者拥有很好的故事和互动创意,但是在剧情内容的编写、以及如何将剧情内容和多媒体资源组织为互动多媒体内容等方面缺乏经验。
因此,互动多媒体内容难以以用户生成内容(User Generated Content,简称:UGC)的方式进行创作,其生成效率比较低。
为了提高互动多媒体内容的生成效率,本公开的实施例提供了一种互动多媒体内容的生成方法、装置和计算机可读存储介质。
图1示出了根据本公开一些实施例的互动多媒体内容的生成方法的流程示意图。该实施例可以由用户设备执行,例如个人计算机、手机、平板电脑、可穿戴设备等等。如图1所示,该实施例的互动多媒体内容的生成方法包括步骤S102~S108。
在步骤S102中,接收用户输入的内容。
用户输入的内容包括用户欲创作的互动多媒体内容的关键信息,这些关键信息可以视为互动多媒体内容的故事的基本元素。用户输入的内容例如包括故事背景、角色信息、主要情节的简述等等。
例如,用户可以输入剧情简介,包含了用户所认为的剧情中的必要信息。例如,在故事开始后,主角先后遇到了哪些人、经历了哪些重大事件,最后结局是什么。当然,该输入还可以包括用户认为与该互动多媒体内容相关的其他任意信息。
用户输入的内容可以包括文本、图像中的至少一种。用户可以直接输入文本内容,或者通过输入语音以及语音转文字的功能来输入文本。通过转换语音所得到的文本可以显示给用户,以便用户在需要时进行调整。图像的数量可以为一张或多张,图像可以是静态图像、动态图像或者是来自视频的图像。
在步骤S104中,显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的。
在接收到用户输入的内容之后,可以利用生成式模型对该内容进行处理,以自动地生成并显示一个或多个剧情节点、一个或多个剧情节点之间的逻辑关系。
生成式模型用于基于输入的信息,输出目标内容。输入的信息包括生成式模型在生成过程中的处理依据,例如参考哪些信息执行生成过程、输出的目标内容的要求等等。生成式模型例如包括基于文本进行生成的模型、或基于图像进行生成的模型,生成式模型的输出可以包括文本、图像或二者的结合。当然,生成式模型的输入或输出也可以是其他模态的数据,如音频、视频或者多种类型的数据的结合。生成式模型可以为单一模态的模型,例如基于文本生成文本的模型(简称“文生文模型”)、基于图像生成图像的模型(简称“图生图模型”);或者,生成式模型也可以是跨模态的模型,即输入和输出属于不同模态的模型,例如基于文本生成图像的模型(简称“文生图模型”);再或者,生成式模型的输入可以包括多个模态,输出也可以包括多个模态。
剧情节点可以理解为通过对完整的剧情进行划分所得到的单元,每个剧情节点中的内容联系紧密。例如,一个剧情节点为针对一个场景或一个事件展开的。剧情节点之间的逻辑关系可以包括顺序关系,以及在指定条件被满足的情况下的顺序关系等等。在一些实施例中,互动多媒体内容可以包括一个或多个章节,每个章节可以包括一个或多个剧情节点。
一个或多个剧情节点及其逻辑关系可以在互动多媒体内容的可视化编辑界面展示,以便于用户的预览和编辑。
在步骤S106中,显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的。
剧情内容是对剧情节点中所发生的情节的详细描述。例如,剧情内容可以是剧本。剧情内容包括对话、对场景的描述、对角色的描述等等。在生成剧情节点和逻辑关系后,可以进一步根据这些信息生成每个剧情节点的剧情内容。
在一些实施例中,每个剧情节点的剧情内容包括一种或多种文本,所述一种或多种文本包括虚拟角色的对话文本、旁白文本、动作描述文本、玩家的备选交互文本中的至少一种,每种文本采用指定的格式表示。
虚拟角色是指互动多媒体内容的故事中的角色,其可以是玩家控制角色,也可以是非玩家控制角色。虚拟角色的对话文本是指虚拟角色在互动多媒体内容中所说的话。旁白文本不属于任何一个虚拟角色,其用于描述环境、过渡剧情等。动作描述文本用户描述虚拟角色的动作,例如“走过去”“大笑”等等。玩家的备选交互文本用于提供给玩家选项,以便根据玩家的选择结果确定玩家控制角色在互动多媒体内容中的下一步动作、或者所说的话,例如针对遇见敌人的情节,备选交互文本可以是“开战”和“逃走”。
采用不同的格式表示不同类型的文本的一个示例如下。旁白文本的开始和结束采用“#”标记,动作描述文本的开始和结束使用括号标记等等。从而,一方面便于在后续生成互动多媒体内容时,由机器自动识别不同类型的信息;另一方面,也便于用户进行浏览。
剧情内容可以显示在互动多媒体内容的可视化编辑界面中。既可以一次性地显示视野范围内的所有剧情节点的剧情内容,也可以通过用户对剧情节点的触发操作,显示被触发的剧情节点对应的剧情内容。
在步骤S108中,利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。被创建的互动多媒体内容根据剧情节点之间的逻辑关系,组织与每个剧情节点对应的素材,素材包括每个剧情节点的剧情内容,还可以包括图像、音频等等。
由于剧情节点、剧情节点之间的逻辑关系、剧情内容、多媒体资源都以特定的方式显示、或者具有特定的数据格式,因此可以针对每种类型的数据进行这些信息的拼装,最终完成互动多媒体内容的生成。
本公开的实施例通过对用户输入的内容进行处理,能够自动地生成剧情节点、剧情节点之间的逻辑关系、以及剧情内容,并以可视化的方式显示给用户。通过基于用户的自由输入进行扩写、并生成互动多媒体内容所需的信息,大大减少了用户在创建过程中的操作,因此提高了互动多媒体内容的创作效率。并且,在生成上述信息后,可以将其显示给用户,便于用户进行预览或修改,提高了创建的准确性。
并且,本公开的实施例降低了对互动式多媒体内容的创作者的创作经验的要求,即降低了互动式多媒体内容的创作门槛,可以利用技术手段使得更多用户将创意转换为实际的互动多媒体产品。
在生成剧情节点、逻辑关系和剧情内容时,可以使用生成式模型实现。下面参考图2描述本公开剧情节点和剧情内容的生成方法的实施例。
图2示出了根据本公开一些实施例的剧情节点和剧情内容的生成方法的流程示意图。如图2所示,该实施例的生成方法包括步骤S202~S204。该生成的步骤可以在用户设备实现,也可以由用户设备将需要处理的信息发送给其他设备,例如服务器,并获得其他设备所返回的处理结果。
在步骤S202中,将所述用户输入的内容以及处理指示输入到所述第一生成模型中,所述处理指示包括对所述第一生成模型所要执行的一个或多个处理的描述信息。
处理指示以第一生成模型能够理解的格式表示。处理指示可以是预设的,例如是来自于模板中的内容。模板可以对应于不同的任务。例如,步骤S202中的处理指示可以来自对应于生成任务的模板。
第一生成模型例如为文本生成模型、或者为具有文本生成功能的多模态生成模型。第一生成模型可以基于神经网络模型等机器学习模型实现。在一些实施例中,第一生成模型可以是基础模型(Foundation Model,又称为大模型)。基础模型能够对输入的内容进行理解,并给出相应的输出。在利用基础模型进行上述处理时,处理指示也可以是自然语言,例如“根据上述剧情简介生成剧情节点,然后生成剧情节点之间的逻辑关系,再生成每个剧情节点的剧情内容”。
在一些实施例中,处理指示还包括第一生成模型输出的信息的格式,其中,一个或多个剧情节点、逻辑关系和每个节点的剧情内容以不同的格式输出。例如,处理指示还可以包括“剧情节点用……的格式表示,逻辑关系用……的格式表示,剧情内容用……的格式表示”,以便于根据不同的格式确定每种类别的信息,并将每种类别的信息以该类别所对应的方式显示。
上述示例仅仅是示意性的,并且为了方便描述,均以自然语言表示处理指示。在实际应用中,可以设置内容更加丰富的处理指示,以使得第一生成模型能够更准确地输出生成的内容;或使用其他形式的处理指示,以适应各种类型的第一生成模型。
在一些实施例中,第一生成模型可以依次地输出剧情节点、剧情节点之间的逻辑关系、以及剧情内容。例如,首先获取第一生成模型通过对用户输入的内容进行处理所生成的一个或多个剧情节点;然后获取第一生成模型通过对用户输入的内容、一个或多个节点进行处理所生成的逻辑关系,即生成逻辑关系时参考用户输入的内容和前一个步骤生成的内容;最后获取第一生成模型通过对用户输入的内容、一个或多个节点、逻辑关系进行处理所生成的每个剧情节点的剧情内容,即生成剧情内容时参考用户输入的内容和前两个步骤生成的内容。通过在生成剧情节点后生成逻辑关系、在生成逻辑关系后生成剧情内容,可以使得逻辑关系能够参考全局的剧情信息,并且剧情内容能够按照合理的逻辑生成。例如,在剧情涉及多个分支时,通过参考逻辑关系生成剧情内容,某个分支中的剧情内容会更贴近于当前分支的主题、而非更贴近于其他分支的主题。
第一生成模型通过利用每个步骤生成的内容,进行下一个步骤的处理,使得生成的内容更加合理,可用性更强。例如,在利用基础模型进行处理时,基础模型可以记忆之前输入或输出的内容,因此在输出每条信息时,之前输入或输出的所有内容都可以作为参考。因此,能够基于更多的可用信息输出生成的内容,使得生成结果更充分、准确。
在步骤S204中,获取所述第一生成模型生成的所述一个或多个剧情节点、所述逻辑关系和每个剧情节点的剧情内容。
如果第一生成模型一次性地输出剧情节点、逻辑关系和剧情内容,可以直接获取该输出结果。如果第一生成模型分多个步骤分别输出剧情节点、逻辑关系和剧情内容,可以将多个步骤的输出进行整合。
上述实施例能够基于人工智能(Artificial Intelligence,简称:AI)自动地对用户输入的内容进行拆解、分析,并自动地生成剧情节点和剧情内容,从而能够基于人工智能强大的计算能力、海量的先验知识,高效地生成互动多媒体内容。因此,实现了基于用户的输入所进行的高效、专业的剧情扩写,降低了互动多媒体内容的创作门槛,提高了互动多媒体内容的生成效率。
除了显示剧情节点及其逻辑关系、以及剧情内容以外,在一些实施例中,还可以显示至少一个剧情节点的多媒体资源。多媒体资源用于在剧情内容的基础上,对剧情节点进行辅助描述,以便于用户更直观地了解到当前剧情节点的风格。多媒体资源例如包括场景图像、角色图像、角色声音、背景音乐、音效中的至少一种,也可以进一步包括其他更多的信息。
多媒体资源是根据所述剧情节点的剧情内容生成的。除此之外,还可以进一步参考剧情节点及其逻辑关系、设定信息等生成。在生成某个剧情节点的多媒体资源时,除了参考该剧情节点的剧情内容以外,还可以参考其他剧情节点的剧情内容、故事梗概、场景设定、角色设定中的至少一种,以便为多媒体资源的生成提供更丰富的参考信息。下面参考图3示例性地描述多媒体资源的生成方法的实施例。
图3示出了根据本公开一些实施例的多媒体资源的生成方法的流程示意图。如图3所示,该实施例的多媒体资源的生成方法包括步骤S302~S304。该生成的步骤可以在用户设备实现,也可以由用户设备将需要处理的信息发送给其他设备,例如服务器,并获得其他设备所返回的处理结果。
在步骤S302中,针对每个剧情节点,利用第一生成模型提取剧情节点的剧情内容的视觉内容。视觉内容可以是剧情内容中与视觉相关的信息,例如包括环境的描述,或角色的动作、衣着、表情等等。例如,可以将剧情节点的剧情内容以及提取指令输入到第一生成模型中,必要时还可以输入其他的参考信息。提取指令例如为“从上述内容中提取视觉信息,并输出”。当然,根据需要,提取指令也可以包括其他内容,或者以其他非自然语言的方式表示。
在步骤S304中,利用第二生成模型对视觉内容进行处理,生成剧情节点的多媒体资源。
第二生成模型是用于生成多媒体资源的模型,第二生成模型可以基于神经网络模型等机器学习模型实现。在一些实施例中,第二生成模型可以是基础模型。例如,对于图像这种多媒体资源,第二生成模型可以是图像生成模型,例如“文生图”模型。或者,第二生成模型的输入也可以是多模态的,即输入既包括文本、也包括图像,从而可以在输入的图像的基础上,基于输入的文本进行调整,以输出调整后的图像。例如,可以向第二生成模型输入互动多媒体内容的最基本的设定图,然后基于某个剧情节点的剧情内容,进一步在设定图的基础上生成该剧情节点的场景中的图像。当然,第二生成模型也可以生成声音、视频等等,这里不再赘述。
在第二生成模型进行处理时,除了输入视觉内容以外,也可以额外再输入第一生成模型生成的其他内容,以便作为辅助的参考。此外,还可以向第二生成模型中输入生成指示,以便第二生成模型了解当前的处理任务。该指示例如为“根据上述描述,生成每个角色的画像以及场景概念图”。第二生成模型也可以是基于基础模型实现的,其输入为自然语言,其输出为多媒体资源,例如图像、视频、声音等等。
通过自动生成多媒体资源,能够进一步提高互动多媒体内容的生成效率。并且,多媒体资源依据已生成的剧情内容生成,因此能够与剧情内容更加匹配。
上述实施例能够基于人工智能自动地基于剧情内容生成与之匹配的多媒体资源,从而能够基于人工智能强大的计算能力、海量的先验知识,高效地生成互动多媒体内容,进一步降低了艺术方面的创作门槛。因此,上述实施例进一步降低了互动多媒体内容的创作门槛,提高了互动多媒体内容的生成效率。
在对互动多媒体内容所涉及的素材的生成方式进行描述后,下面进一步地描述本公开一些实施例中的可视化内容的具体实施方式。
首先,描述用户输入阶段涉及的可视化内容。
如前文实施例所述,可以基于用户输入的内容生成剧情节点和剧情内容。用户输入的内容可以是故事背景、角色信息、主要情节的内容等等。图4示出了根据本公开一些实施例的用户输入界面的示意图。如图4所示,在输入界面4中,包括一个或多个情节的设定控件,图4中示例性地示出了包括结局在内的三个情节对应的设定控件。根据需要,输入界面可以包括任意数量的设定控件,例如,可以将整个故事的相关信息整体地输入到单独的设定控件中,而不需要用户手动地划分情节。以情节一对应的设定控件41为例,设定控件41可以包括文本输入控件411,以便用户通过文本方式输入。此外,还可以包括图像资源输入控件412,以便输入图像、视频等资源;或者,还可以包括音频输入控件413,以便用户上传背景音乐。本领域技术人员应当清楚,图4只是一种示例性的界面,根据需要,本领域技术人员可在用户输入界面4中增加、删减或修改内容。
在一些实施例中,还可以接收所述用户输入的设定信息,所述设定信息包括角色设定、场景设定、画面风格设定中的至少一种。从而,在生成剧情内容时还可以参考设定信息,即,可以根据所述第一生成模型对所述一个或多个剧情节点、所述逻辑关系、所述设定信息的处理结果生成剧情内容。角色设定包括对互动多媒体内容中的虚拟角色的描述信息,例如包括角色概念图、基础属性、基本信息、台词风格等等。场景设定包括多互动多媒体内容中的场景的描述信息,例如室外的地理环境、时间、天气,室内的装饰风格、物品等等。画面风格例如包括漫画风格、古典风格、科技风格等等。
设定信息与前述用户输入的内容可以通过同一个界面或控件输入,以提高用户的操作效率;也可以通过不同的界面或控件输入,以更准确地区分不同类型的输入。
图5示出了根据本公开一些实施例的设定信息的输入界面的示意图。如图5所示,设定信息的输入界面5中示例性地示出了故事背景设定控件51和角色设定控件52。故事背景设定可以是对故事整体性的描述,可以比图4所示的情节设定更概括。在角色设定控件52中可以根据需要,设置一种或多种更具体的设定控件。例如,用于上传角色概念图的图像设定控件521、姓名设定控件522、性别设定控件523、基础设定控件524、台词风格设定控件525、是否可由玩家扮演的设定控件526、选择配音的控件527中的任意一种或多种。基础设定可以包括对角色的性格、主要经历、外表描述等台词风格之外的设定。是否可由玩家扮演是指该角色是否由玩家控制。由玩家控制的角色可以根据需要设定一个或多个。部分角色也可以被设置为不可由玩家扮演的,对于这种角色,其角色设定控件52中则不包括控件526,或者控件526处于不可用状态。选择配音是指选择该角色的声音属性、或者是选择一些固定的有声台词的音频。此外,设定界面5中也可以选择性地包括场景设定、画面风格设定的控件,这里不再赘述。
本公开的上述实施例通过接收用户输入的设定信息,并基于此生成剧情内容,可以使得生成的剧情内容更丰富、立体,并更贴近用户的需求,因此进一步提升了互动多媒体内容的生成效率。
接下来,描述基于用户的输入生成剧情节点之后所涉及的可视化内容。
在自动生成了互动多媒体内容所涉及的素材后,可以根据需要设置其显示方式。在一些实施例中,可以以比较直观的图表方式显示剧情节点以及剧情节点之间的逻辑关系。例如,可以显示一个或多个剧情节点的控件以及一个或多个剧情节点之间的连接符,连接符的样式用于表示一个或多个剧情节点之间的逻辑关系的类型。剧情节点的控件的样式也可以表示剧情节点的类型,例如是普通节点类型、分支节点类型等等。通过以类似流程图的方式显示,能够更清楚地呈现剧情节点及其逻辑关系,便于用户预览。
图6A示例性地示出了根据本公开一些实施例的剧情节点的可视化界面示意图。如图6A所示,该互动多媒体内容的故事包括多个章节,可视化界面6的左侧显示了章节列表,右侧显示了被触发的章节“地形探索”所对应的剧情节点及其逻辑关系图61。图61中,“上一章节”用于触发显示上一个章节“登陆火星”所对应的可视化内容,“下一章节”用于触发显示下一个章节“发现新生物”所对应的可视化内容。图61中的其他节点为该章节的多个剧情节点。从而,用户能够清楚地了解各个剧情节点之间的逻辑关系。
在一些实施例中,响应于用户对多个剧情节点中任意一个剧情节点的控件的触发操作,显示被触发的剧情节点的剧情内容。触发操作例如为点击操作,或其他类型的操作。在图6A所示的界面中,响应于用户对节点611的触发操作,可以显示如图6B所示的界面。在可视化界面6中,显示剧情节点“探索高山”所对应的剧情内容的显示控件62。显示控件62可以包括剧情内容的文本描述控件621,其中,旁白文本“经过长途跋涉,大家终于到达了平地”的两侧以“#”标记,动作描述文本“兴奋地指向远处”“紧张”的两侧都已括号标记,冒号“:”的左侧表示发言或执行动作的角色(例如NPC 1或NPC 2),冒号“:”右侧的、未被括号标记的内容表示角色的对话内容。
当然,基于触发操作而显示剧情内容的方式并不仅限于在图6B所示的界面中。对于任何可视化方式展示的剧情节点,均可以响应于对剧情节点的控件的触发操作而显示剧情内容。根据需要,也可以不经由用户的触发而默认显示至少一个剧情节点的剧情内容。例如,显示可视范围内的所有剧情节点的剧情内容。
在浏览了自动生成的剧情内容后,用户可以对自动生成的剧情内容进行修改,该修改可以是依据用户的调整指示信息自动修改的,也可以是通过用户的手动编辑修改的。
自动修改的方式可以包括:对于多个剧情节点中任意一个剧情节点,接收用户对剧情节点的剧情内容的调整指示信息;显示剧情节点的、调整后的剧情内容,调整后的剧情内容是基于第一生成模型对调整指示信息和调整前的剧情内容的处理结果生成的。调整指示信息可以是对所要做出的调整的描述,该描述比较宽泛,表示需要修改哪些方面,可以不包括具体的调整细节。例如,调整指示信息可以是“NPC 1的语言可以更活泼一些”“减少NPC2的动作”等等。这种方式能够基于用户的指示,丰富修改的细节,以降低用户修改的工作量,提高了用户的修改效率。用户可以通过调整指示输入控件来输入调整指示信息。在一些实施例中,可以利用第一生成模型对调整指示信息进行处理,以生成调整后的剧情内容。除了调整指示之外,还可以向第一生成模型中输入调整前的剧情内容、一个或多个剧情节点、剧情节点之间的逻辑关系、设定信息等内容中的任意一种或多种,从而使得调整后的内容更准确。
手动修改的方式可以包括:对于多个剧情节点中任意一个剧情节点,响应于用户对剧情节点的剧情内容的编辑操作,显示剧情节点的、编辑后的剧情内容。例如,图6B中所示的文本描述控件621可以是可编辑的,用户通过在文本描述控件621中执行编辑操作(例如添加或删减文字、改变格式或排版),可以更精确地调整剧情内容。这种方式具有较高的灵活性和准确性。
根据需要,用户可以结合上述两种修改方式。例如,先采用自动修改的方式进行整体的、大幅度的调整,再使用手动修改的方式编辑细节。从而,能够从整体上提高互动多媒体内容的生成效率。
在一些实施例中,除了剧情内容以外,响应于用户对多个剧情节点中任意一个剧情节点的控件的触发操作,还显示至少一个剧情节点的多媒体资源。如图6B所示,响应于用户触发剧情节点611,可以在显示控件62中同时显示文本描述控件621、剧情节点611的场景图像622、剧情节点611的人物设定图像623、剧情节点611的所使用的背景音乐“音乐1.mp3”。根据需要,显示控件62还可以包括其他内容,这里不再赘述。多媒体资源所对应的控件,例如622、623和624,也可以是可触发的,用于修改、删除或替换多媒体资源。
与调整剧情内容类似的,除了手动调整以外,也可以通过自动的方式调整多媒体资源。例如,接收用户对剧情节点的多媒体资源的调整指示信息;显示剧情节点的、调整后的多媒体资源,调整后的多媒体资源是基于第二生成模型对多媒体资源的调整指示信息和调整之前的多媒体资源的处理结果生成的。
除了前述自动生成剧情节点的方式之外,本公开的一些实施例也支持用户手动创建剧情节点。在一些实施例中,接收所述用户的创建剧情节点的指令;接收所述用户配置的、创建的剧情节点与其他节点的逻辑关系。例如,对于以流程图的方式表示的剧情节点,可以通过添加或修改连接符,来配置创建的剧情节点与其他节点的逻辑关系。通过在自动生成的基础上支持用户进一步进行手动调整,提高了互动多媒体内容生成的灵活性。
图7A示例性地示出了根据本公开另一些实施例的剧情节点的可视化界面示意图。如图7A所示,在可视化界面7A中,通过触发剧情节点的创建控件71,用户可以手动创建剧情节点72,并通过调整界面中的连接线,配置剧情节点72与其他节点的逻辑关系。例如,用户可以通过移动选项1对应的箭头,使得新创建的剧情节点72与已创建的剧情节点73连接,并且是在用户选择了选项1的情况下触发剧情节点72对应的剧情内容。剧情节点73可以是自动生成的,也可以是用户手动创建的。可视化界面74可以提供多种创建控件,以便用户创建多种类型的节点。例如,可以通过触发条件节点的创建控件74,来创建条件节点75。条件节点用于根据当前的状态,例如玩家控制角色的武力值,来确定推进的下一个剧情节点。
用户还可以通过触发剧情节点,来进一步对该节点的剧情内容或其他相关信息进行编辑。例如,在剧情节点“新建节点”72被触发后,可以显示与剧情节点72对应的编辑控件76。在编辑控件76中,可以包括剧情内容的编辑控件761、上传图像(例如背景图、人物图)的控件762和上传音乐的控件763。
在完成了对互动多媒体内容所需素材的生成和编辑后,可以执行互动多媒体内容的生成操作。
一个示例性的生成方式为,对于每个剧情节点,基于该剧情节点的剧情内容以及多媒体资源生成每一帧画面,然后将多帧画面拼接以生成多个片段(例如视频片段)。根据剧情内容中所描述的交互信息,在部分相邻的片段之间插入交互接口,以便接收用户的输入,从而形成该剧情节点对应的片段。最后将各剧情节点对应的片段进行拼接,生成互动多媒体内容。
另一个示例性的生成方式为,将剧情节点、剧情节点之间的逻辑关系、剧情内容、多媒体资源以及控制逻辑进行打包,以生成互动多媒体内容。控制逻辑用于根据文本生成模型对一个或多个剧情节点的剧情内容和互动多媒体内容的玩家的输入的处理结果,生成多媒体内容片段。即,此类互动多媒体内容随着剧情的推进以及玩家的输入,实时地生成互动多媒体内容的画面。该控制逻辑可以根据当前剧情内容的推进程度和玩家的输入,确定需要读取或生成的文本和多媒体资源,并将读取或生成的内容进行合成、再显示给玩家。控制逻辑例如包括基础模型的调用接口,以便灵活地根据用户的输入提供反馈,该反馈甚至可以暂时偏离原始的剧情内容。从而,给予玩家更好的互动体验。
下面参考点图8描述本公开互动多媒体内容的生成装置的实施例。
图8示出了根据本公开一些实施例的互动多媒体内容的生成装置的结构示意图。如图8所示,该实施例的互动多媒体内容的生成装置80包括:接收模块801,被配置为接收用户输入的内容;第一显示模块802,被配置为显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的;第二显示模块803,被配置为显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的;创建模块804,被配置为利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。
在一些实施例中,互动多媒体内容的生成装置80还包括生成模块805,被配置为:将用户输入的内容以及处理指示输入到第一生成模型中,处理指示包括对第一生成模型所要执行的一个或多个处理的描述信息;获取第一生成模型生成的一个或多个剧情节点、逻辑关系和每个剧情节点的剧情内容。
在一些实施例中,生成模块805进一步被配置为:获取第一生成模型通过对内容进行处理所生成的一个或多个剧情节点;获取第一生成模型通过对内容、一个或多个节点进行处理所生成的逻辑关系;获取第一生成模型通过对内容、一个或多个节点、逻辑关系进行处理所生成的每个剧情节点的剧情内容。
在一些实施例中,处理指示还包括第一生成模型输出的信息的格式,其中,一个或多个剧情节点、逻辑关系和每个节点的剧情内容以不同的格式输出。
在一些实施例中,第二显示模块803进一步被配置为:响应于用户对多个剧情节点中任意一个剧情节点的控件的触发操作,显示被触发的剧情节点的剧情内容。
在一些实施例中,互动多媒体内容的生成装置80还包括调整模块806,被配置为:对于多个剧情节点中任意一个剧情节点,接收用户对剧情节点的剧情内容的调整指示信息;显示剧情节点的、调整后的剧情内容,调整后的剧情内容是基于第一生成模型对调整指示信息和剧情内容的处理结果生成的。
在一些实施例中,第二显示模块803进一步被配置为:对于多个剧情节点中任意一个剧情节点,响应于用户对剧情节点的剧情内容的编辑操作,显示剧情节点的、编辑后的剧情内容。
在一些实施例中,互动多媒体内容的生成装置80还包括第三显示模块807,被配置为:显示至少一个剧情节点的多媒体资源,多媒体资源是根据剧情节点的剧情内容生成的。
在一些实施例中,互动多媒体内容的生成装置80还包括多媒体资源生成模块808,被配置为:针对每个剧情节点,利用第一生成模型提取剧情节点的剧情内容的视觉内容;利用第二生成模型对视觉内容进行处理,生成剧情节点的多媒体资源。
在一些实施例中,多媒体资源包括场景图像、角色图像、角色声音、背景音乐、音效中的至少一种。
在一些实施例中,互动多媒体内容的生成装置80还包括设定信息接收模块809,被配置为:接收用户输入的设定信息,设定信息包括角色设定、场景设定、画面风格设定中的至少一种,剧情内容是根据第一生成模型对一个或多个剧情节点、逻辑关系、设定信息的处理结果生成的。
在一些实施例中,互动多媒体内容的生成装置80还包括节点创建模块810,被配置为:收用户的创建剧情节点的指令;接收用户配置的、创建的剧情节点与其他节点的逻辑关系。
在一些实施例中,第一显示模块802进一步被配置为:显示一个或多个剧情节点的控件以及一个或多个剧情节点之间的连接符,连接符的样式用于表示一个或多个剧情节点之间的逻辑关系的类型。
在一些实施例中,用户输入的内容包括文本、图像中的至少一种。
在一些实施例中,每个剧情节点的剧情内容包括一种或多种文本,一种或多种文本包括虚拟角色的对话文本、旁白文本、动作描述文本、玩家的备选交互文本中的至少一种,每种文本采用指定的格式表示。
在一些实施例中,互动多媒体内容还包括控制逻辑,控制逻辑用于根据第一生成模型对一个或多个剧情节点的剧情内容和互动多媒体内容的玩家的输入的处理结果,生成多媒体内容片段。
应注意,上述各个单元仅是根据其所实现的具体功能划分的逻辑模块,而不是用于限制具体的实现方式,例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时,上述各个单元可被实现为独立的物理实体,或者也可由单个实体(例如,处理器(CPU或DSP等)、集成电路等)来实现。此外,上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在,而它们所实现的操作/功能可由处理电路本身来实现。
此外,尽管未示出,该设备也可以包括存储器,其可以存储由设备、设备所包含的各个单元在操作中产生的各种信息、用于操作的程序和数据、将由通信单元发送的数据等。存储器可以是易失性存储器和/或非易失性存储器。例如,存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。当然,存储器可也位于该设备之外。可选地,尽管未示出,但是该设备也可以包括通信单元,其可用于与其它装置进行通信。在一个示例中,通信单元可以被按照本领域已知的适当方式来实现,例如包括天线阵列和/或射频链路等通信部件,各种类型的接口、通信单元等等。这里将不再详细描述。此外,设备还可以包括未示出的其它部件,诸如射频链路、基带处理单元、网络接口、处理器、控制器等。这里将不再详细描述。
本公开的一些实施例还提供一种电子设备,用于实现互动多媒体内容的生成装置。图9示出了根据本公开一些实施例的电子设备的结构示意图。例如,在一些实施例中,电子设备9可以为各种类型的设备,例如可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。例如,电子设备9可以包括显示面板,以用于显示根据本公开的方案中所利用的数据和/或执行结果。例如,显示面板可以为各种形状,例如矩形面板、椭圆形面板或多边形面板等。另外,显示面板不仅可以为平面面板,也可以为曲面面板,甚至球面面板。
如图9所示,该实施例的电子设备9包括:存储器91以及耦接至该存储器91的处理器92。应当注意,图9所示的电子设备9的组件只是示例性的,而非限制性的,根据实际应用需要,该电子设备9还可以具有其他组件。处理器92可以控制电子设备9中的其它组件以执行期望的功能。
在一些实施例中,存储器91用于存储一个或多个计算机可读指令。处理器92用于运行计算机可读指令时,计算机可读指令被处理器92运行时实现根据上述任一实施例的方法。关于该方法的各个步骤的具体实现以及相关解释内容可以参见上述的实施例,重复之处在此不作赘述。
例如,处理器92和存储器91之间可以直接或间接地互相通信。例如,处理器92和存储器91可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器92和存储器91之间也可以通过系统总线实现相互通信,本公开对此不作限制。
例如,处理器92可以体现为各种适当的处理器、处理装置等,诸如中央处理器(CPU)、图形处理器(Graphics Processing Unit,GPU)、网络处理器(NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X89或ARM架构等。例如,存储器91可以包括各种形式的计算机可读存储介质的任意组合,例如易失性存储器和/或非易失性存储器。存储器91例如可以包括系统存储器,系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。在存储介质中还可以存储各种应用程序和各种数据等。
另外,根据本公开的一些实施例,根据本公开的各种操作/处理在通过软件和/或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的计算机系统,例如图10所示的计算机系统1000安装构成该软件的程序,该计算机系统在安装有各种程序时,能够执行各种功能,包括诸如前文所述的功能等等。图10示出了根据本公开一些实施例的计算机系统的结构示意图。
在图10中,中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM 1003中,也根据需要存储当CPU 1001执行各种处理等时所需的数据。中央处理单元仅仅是示例性的,其也可以是其它类型的处理器,诸如前文所述的各种处理器。ROM 1002、RAM 1003和存储部分1008可以是各种形式的计算机可读存储介质,如下文所述。需要注意的是,虽然图10中分别示出了ROM 1002、RAM 1003和存储装置1008,但是它们中的一个或多个可以合并或者位于相同或不同的存储器或存储模块中。
CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。
下述部件连接到输入/输出接口1005:输入部分1006,诸如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等;输出部分1007,包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD),扬声器,振动器等;存储部分1008,包括硬盘,磁带等;和通信部分1009,包括网络接口卡比如LAN卡、调制解调器等。通信部分1009允许经由网络比如因特网执行通信处理。容易理解的是,虽然图10中示出电子设备1000中的各个装置或模块是通过总线1004来通信的,但它们也可以通过网络或其它方式进行通信,其中,网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
根据需要,驱动器1010也连接到输入/输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上,使得从中读出的计算机程序根据需要被安装到存储部分1008中。
在通过软件实现上述系列处理的情况下,可以从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。
根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1009从网络上被下载和安装,或者从存储装置1008被安装,或者从ROM 1002被安装。在该计算机程序被CPU 1001执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,在本公开的上下文中,计算机可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是,但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
在一些实施例中,还提供了一种计算机程序,包括:指令,指令当由处理器执行时使处理器执行上述任一个实施例的方法。例如,指令可以体现为计算机程序代码。
在本公开的实施例中,可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络(,包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示例性的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一些实施例,提供一种互动多媒体内容的生成方法,包括:
接收用户输入的内容;显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的;显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的;利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。
在一些实施例中,互动多媒体内容的生成方法还包括:将用户输入的内容以及处理指示输入到第一生成模型中,处理指示包括对第一生成模型所要执行的一个或多个处理的描述信息;获取第一生成模型生成的一个或多个剧情节点、逻辑关系和每个剧情节点的剧情内容。
在一些实施例中,获取第一生成模型生成的一个或多个剧情节点、逻辑关系和每个剧情节点的剧情内容包括:获取第一生成模型通过对内容进行处理所生成的一个或多个剧情节点;获取第一生成模型通过对内容、一个或多个节点进行处理所生成的逻辑关系;获取第一生成模型通过对内容、一个或多个节点、逻辑关系进行处理所生成的每个剧情节点的剧情内容。
在一些实施例中,处理指示还包括第一生成模型输出的信息的格式,其中,一个或多个剧情节点、逻辑关系和每个节点的剧情内容以不同的格式输出。
在一些实施例中,显示至少一个剧情节点的剧情内容包括:响应于用户对多个剧情节点中任意一个剧情节点的控件的触发操作,显示被触发的剧情节点的剧情内容。
在一些实施例中,互动多媒体内容的生成方法还包括:对于多个剧情节点中任意一个剧情节点,接收用户对剧情节点的剧情内容的调整指示信息;显示剧情节点的、调整后的剧情内容,调整后的剧情内容是基于第一生成模型对调整指示信息和剧情内容的处理结果生成的。
在一些实施例中,互动多媒体内容的生成方法还包括:对于多个剧情节点中任意一个剧情节点,响应于用户对剧情节点的剧情内容的编辑操作,显示剧情节点的、编辑后的剧情内容。
在一些实施例中,互动多媒体内容的生成方法还包括:显示至少一个剧情节点的多媒体资源,多媒体资源是根据剧情节点的剧情内容生成的。
在一些实施例中,互动多媒体内容的生成方法还包括:针对每个剧情节点,利用第一生成模型提取剧情节点的剧情内容的视觉内容;利用第二生成模型对视觉内容进行处理,生成剧情节点的多媒体资源。
在一些实施例中,多媒体资源包括场景图像、角色图像、角色声音、背景音乐、音效中的至少一种。
在一些实施例中,互动多媒体内容的生成方法还包括:接收用户输入的设定信息,设定信息包括角色设定、场景设定、画面风格设定中的至少一种,剧情内容是根据第一生成模型对一个或多个剧情节点、逻辑关系、设定信息的处理结果生成的。
在一些实施例中,互动多媒体内容的生成方法还包括:接收用户的创建剧情节点的指令;接收用户配置的、创建的剧情节点与其他节点的逻辑关系。
在一些实施例中,显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系包括:显示一个或多个剧情节点的控件以及一个或多个剧情节点之间的连接符,连接符的样式用于表示一个或多个剧情节点之间的逻辑关系的类型。
在一些实施例中,用户输入的内容包括文本、图像中的至少一种。
在一些实施例中,每个剧情节点的剧情内容包括一种或多种文本,一种或多种文本包括虚拟角色的对话文本、旁白文本、动作描述文本、玩家的备选交互文本中的至少一种,每种文本采用指定的格式表示。
在一些实施例中,互动多媒体内容还包括控制逻辑,控制逻辑用于根据第一生成模型对一个或多个剧情节点的剧情内容和互动多媒体内容的玩家的输入的处理结果,生成多媒体内容片段。
根据本公开的一些实施例,提供一种互动多媒体内容的生成装置,包括:
接收模块,被配置为接收用户输入的内容;第一显示模块,被配置为显示一个或多个剧情节点、以及一个或多个剧情节点之间的逻辑关系,一个或多个剧情节点和逻辑关系是根据第一生成模型对用户输入的内容的处理结果生成的;第二显示模块,被配置为显示至少一个剧情节点的剧情内容,剧情内容是根据第一生成模型对一个或多个剧情节点和逻辑关系的处理结果生成的;创建模块,被配置为利用一个或多个剧情节点的剧情内容,创建互动多媒体内容。
根据本公开的一些实施例,提供一种互动多媒体内容的生成装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行本公开中所述的任一实施例的互动多媒体内容的生成方法。
根据本公开的一些实施例,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开中所述的任一实施例的互动多媒体内容的生成方法。
根据本公开的一些实施例,提供一种机程序,包括:指令,指令当由处理器执行时使处理器执行本公开中所述的任一实施例的互动多媒体内容的生成方法。
根据本公开的一些实施例,提供一种计算机程序产品,包括指令,所述指令当由处理器执行时实现本公开中所述的任一实施例的互动多媒体内容的生成方法。
以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
在本文提供的描述中,阐述了许多特定细节。然而,理解的是,可以在没有这些特定细节的情况下实施本公开的实施例。在其他情况下,为了不模糊该描述的理解,没有对众所周知的方法、结构和技术进行详细展示。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (20)
1.一种互动多媒体内容的生成方法,包括:
接收用户输入的内容;
显示所述一个或多个剧情节点、以及所述一个或多个剧情节点之间的逻辑关系,所述一个或多个剧情节点和所述逻辑关系是根据第一生成模型对所述用户输入的内容的处理结果生成的;
显示至少一个剧情节点的剧情内容,所述剧情内容是根据所述第一生成模型对所述一个或多个剧情节点和所述逻辑关系的处理结果生成的;
利用所述一个或多个剧情节点的剧情内容,创建互动多媒体内容。
2.根据权利要求1所述的生成方法,还包括:
将所述用户输入的内容以及处理指示输入到所述第一生成模型中,所述处理指示包括对所述第一生成模型所要执行的一个或多个处理的描述信息;
获取所述第一生成模型生成的所述一个或多个剧情节点、所述逻辑关系和每个剧情节点的剧情内容。
3.根据权利要求2所述的生成方法,其中,所述获取所述第一生成模型生成的所述一个或多个剧情节点、所述逻辑关系和每个剧情节点的剧情内容包括:
获取所述第一生成模型通过对所述内容进行处理所生成的所述一个或多个剧情节点;
获取所述第一生成模型通过对所述内容、所述一个或多个节点进行处理所生成的所述逻辑关系;
获取所述第一生成模型通过对所述内容、所述一个或多个节点、所述逻辑关系进行处理所生成的每个剧情节点的剧情内容。
4.根据权利要求2所述的生成方法,其中,所述处理指示还包括所述第一生成模型输出的信息的格式,其中,所述一个或多个剧情节点、所述逻辑关系和所述每个节点的剧情内容以不同的格式输出。
5.根据权利要求1所述的生成方法,其中,所述显示至少一个剧情节点的剧情内容包括:
响应于所述用户对所述多个剧情节点中任意一个剧情节点的控件的触发操作,显示被触发的剧情节点的剧情内容。
6.根据权利要求1至5中任一项所述的生成方法,还包括:
对于所述多个剧情节点中任意一个剧情节点,接收所述用户对所述剧情节点的剧情内容的调整指示信息;
显示所述剧情节点的、调整后的剧情内容,所述调整后的剧情内容是基于所述第一生成模型对所述调整指示信息和所述剧情内容的处理结果生成的。
7.根据权利要求1至5中任一项所述的生成方法,还包括:
对于所述多个剧情节点中任意一个剧情节点,响应于所述用户对所述剧情节点的剧情内容的编辑操作,显示所述剧情节点的、编辑后的剧情内容。
8.根据权利要求1所述的生成方法,还包括:
显示至少一个剧情节点的多媒体资源,所述多媒体资源是根据所述剧情节点的剧情内容生成的。
9.根据权利要求8所述的生成方法,还包括:
针对每个剧情节点,利用所述第一生成模型提取所述剧情节点的剧情内容的视觉内容;
利用第二生成模型对所述视觉内容进行处理,生成所述剧情节点的多媒体资源。
10.根据权利要求8或9所述的生成方法,其中,所述多媒体资源包括场景图像、角色图像、角色声音、背景音乐、音效中的至少一种。
11.根据权利要求1至5中任一项所述的生成方法,还包括:
接收所述用户输入的设定信息,所述设定信息包括角色设定、场景设定、画面风格设定中的至少一种,所述剧情内容是根据所述第一生成模型对所述一个或多个剧情节点、所述逻辑关系、所述设定信息的处理结果生成的。
12.根据权利要求1至5中任一项所述的生成方法,还包括:
接收所述用户的创建剧情节点的指令;
接收所述用户配置的、创建的剧情节点与其他节点的逻辑关系。
13.根据权利要求1至5中任一项所述的生成方法,其中,所述显示所述一个或多个剧情节点、以及所述一个或多个剧情节点之间的逻辑关系包括:
显示一个或多个剧情节点的控件以及所述一个或多个剧情节点之间的连接符,所述连接符的样式用于表示所述一个或多个剧情节点之间的逻辑关系的类型。
14.根据权利要求1至5中任一项所述的生成方法,其中,所述用户输入的内容包括文本、图像中的至少一种。
15.根据权利要求1至5中任一项所述的生成方法,其中,所述每个剧情节点的剧情内容包括一种或多种文本,所述一种或多种文本包括虚拟角色的对话文本、旁白文本、动作描述文本、玩家的备选交互文本中的至少一种,每种文本采用指定的格式表示。
16.根据权利要求1至5中任一项所述的生成方法,其中,所述互动多媒体内容还包括控制逻辑,所述控制逻辑用于根据所述第一生成模型对所述一个或多个剧情节点的剧情内容和所述互动多媒体内容的玩家的输入的处理结果,生成多媒体内容片段。
17.一种互动多媒体内容的生成装置,包括:
接收模块,被配置为接收用户输入的内容;
第一显示模块,被配置为显示所述一个或多个剧情节点、以及所述一个或多个剧情节点之间的逻辑关系,所述一个或多个剧情节点和所述逻辑关系是根据第一生成模型对所述用户输入的内容的处理结果生成的;
第二显示模块,被配置为显示至少一个剧情节点的剧情内容,所述剧情内容是根据所述第一生成模型对所述一个或多个剧情节点和所述逻辑关系的处理结果生成的;
创建模块,被配置为利用所述一个或多个剧情节点的剧情内容,创建互动多媒体内容。
18.一种互动多媒体内容的生成装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至16中任一项所述的互动多媒体内容的生成方法。
19.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1至16中任一项所述的互动多媒体内容的生成方法。
20.一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机实现权利要求1至16中任一项所述的互动多媒体内容的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598800.3A CN117633259A (zh) | 2023-11-27 | 2023-11-27 | 互动多媒体内容的生成方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598800.3A CN117633259A (zh) | 2023-11-27 | 2023-11-27 | 互动多媒体内容的生成方法、装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117633259A true CN117633259A (zh) | 2024-03-01 |
Family
ID=90037030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311598800.3A Pending CN117633259A (zh) | 2023-11-27 | 2023-11-27 | 互动多媒体内容的生成方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117633259A (zh) |
-
2023
- 2023-11-27 CN CN202311598800.3A patent/CN117633259A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109688463B (zh) | 一种剪辑视频生成方法、装置、终端设备及存储介质 | |
CN110827378B (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
US20210217216A1 (en) | Presenting Multiple Image Segmentations | |
CN109300179B (zh) | 动画制作方法、装置、终端和介质 | |
CN110166650B (zh) | 视频集的生成方法及装置、计算机设备与可读介质 | |
CN113365134B (zh) | 音频分享方法、装置、设备及介质 | |
US20240184438A1 (en) | Interactive content generation method and apparatus, and storage medium and electronic device | |
CN111970571B (zh) | 视频制作方法、装置、设备及存储介质 | |
CN108846886B (zh) | 一种ar表情的生成方法、客户端、终端和存储介质 | |
CN111803951A (zh) | 游戏编辑方法、装置、电子设备及计算机可读介质 | |
WO2020220773A1 (zh) | 图片预览信息的显示方法、装置、电子设备及计算机可读存储介质 | |
CN113778419B (zh) | 多媒体数据的生成方法、装置、可读介质及电子设备 | |
CN114245099B (zh) | 视频生成方法、装置、电子设备以及存储介质 | |
KR20220167358A (ko) | 가상 캐릭터 생성 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
CN113806306A (zh) | 媒体文件处理方法、装置、设备、可读存储介质及产品 | |
KR20230065339A (ko) | 모델 데이터 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체 | |
CN113190316A (zh) | 互动内容生成方法、装置、存储介质及电子设备 | |
CN114997117A (zh) | 文档编辑的方法、装置、终端及非暂时性存储介质 | |
CN117633259A (zh) | 互动多媒体内容的生成方法、装置和计算机可读存储介质 | |
US11423941B2 (en) | Write-a-movie: unifying writing and shooting | |
CN115049574A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
CN112153439A (zh) | 互动视频处理方法、装置、设备及可读存储介质 | |
CN113301436A (zh) | 播放控制方法、装置及计算机可读存储介质 | |
CN110703971A (zh) | 用于发布信息的方法和设备 | |
CN115499672B (zh) | 图像显示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |