CN107003825A - 通过自然语言输出控制电影指导和动态角色的系统和方法 - Google Patents

Abstract

本发明提供一种通过自然语言输出执行电影指导和动态角色控制的方法。所述方法包括生成一个或多个角色的动画的第一组指令和生成一个或多个环境的动画的第二组指令；从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；从自然语言系统输出中提取第二组对话元素；通过处理电路中的分析模块分析第一组和第二组对话元素来确定情感内容的数据，情感内容数据用于生成情感内容报告；通过处理电路中的分析模块分析第一组和第二组对话元素来确定持续时间的数据，持续时间数据用于生成持续时间报告；根据情感内容报告和持续时间报告对角色和环境进行动画处理。

Description

通过自然语言输出控制电影指导和动态角色的系统和方法

根据美国法典第35篇第119条要求优先权

本申请要求2014年9月9日递交的申请号为62/048,170的美国临时申请的优先权，该临时申请的名称为“″SYSTEMS AND METHODS FOR CINEMATIC DIRECTION AND DYNAMICCHARACTER CONTROL VIA NATURAL LANGUAGE PROCESSING”，在此全文引入以供参考。

技术领域

本发明涉及通过自然语言输出控制的电影指导和动态角色的系统和方法。

背景技术

由计算设备执行的应用程序通常被用来控制虚拟角色。这些由计算机控制的角色可以用在如培训项目、电子游戏、教育项目、或个人助手中。这些用于控制虚拟角色的应用可以独立运作，或者可以嵌入很多设备中，如台式电脑、笔记本电脑、可穿戴式计算机以及嵌入到汽车、建筑物、机器人系统、以及其他位置、设备、和对象的计算机中。网络计算机中同一个软件程序或系统中包含有很多不同的角色，使得这些不同的角色分配与划分了计算机应用的不同任务与部分。这些计算机控制的角色通常被部署的意图是进行对话，并与用户进行交谈，也被称作人机对话，或者被部署的意图是执行与其他由计算机控制的角色进行对话。这种使用英语或其他等自然语言的信息交流，展现了用途、使用和需求显著增长的应用程序的广泛的应用范围。

复杂性限制了与计算机控制的角色的交互，部分原因是因为计算机控制的角色没有能力识别与传达自然语言中，尤其是文本形式的自然语言中缺少的非文本形式的交流。人们在互相交谈的时候使用很多这种非文本形式的交流，俗称“肢体语言”、“语气”、“表情”来传达大量的信息。在某些情况下，如手语，对话中的所有数据，都包含在非文本形式的交流中。除此之外，正如电影艺术、电子游戏、虚拟世界、以及其他的地方、设备和对象一样，非文本形式的交流也延伸到了角色交谈之外，包括如照相机控制、背景音乐、背景声音、背景本身的调整或表现、照明以及其他形式的非文本形式的交流。

计算机控制的交流元素在本质上是非文本的，计算机控制的非文本交流元素造价昂贵，设计耗时长，并且每一个映射对话中的文本元素的非文本形式交流的人工构建都会产生大量的工作以便其能够以清晰易懂的方式进行传达。编写肢体语言和其他非文本交流元素的相关成本是限制计算机控制的角色和计算机控制的环境开发人员的重要因素，同时限制了叙述、培训、帮助或其他交流方法中能够更好地传达信息的选项。计算机控制角色的开发人员对于提高计算机控制角色对话的复杂性和多样性以及创造人格、情感和智力的幻想非常感兴趣，但是，当角色没有手势、重复逼真的动作、缺乏面部表情、或者开始与用于计算机控制角色的人工编写内容范围以外的用户展开对话时，这种幻想很快就破灭了。其他表现电影艺术的手段也是如此，例如在虚拟环境中对摄像头的控制以最好地传达亲密或孤立感、灯光、以及背景场景、对象、交流中用到的其他元素的仿真和控制。

虽然理论上可以简单地创作出越来越多计算机控制的角色、对象、或环境可以识别和用于交流的非文本交流元素，然而开发人员投入到这些系统中的时间和精力受到了很大的限制，使得质量的提高需要昂贵的费用。

发明内容

下面介绍一个或多个实施方式的简要总结，以便对某些实施方式提供基本的理解。此总结并不是所有预期实施方式的广泛概括，它的目的既不是确定所有实施方式的关键或关键要素，也不描述任何或所有实施方式的保护范围。它的唯一目的是作为后续详细描述的前序，将一个或多个实施方式的一些概念或示例以简化的形式呈现。

本发明提供了一种通过自然语言输出执行电影指导和动态角色控制的计算机实现方法。所述方法包括在计算机终端的处理电路上执行以下步骤：生成一个或多个角色的动画的第一组指令；生成一个或多个环境的动画的第二组指令；从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；从自然语言系统输出中提取第二组对话元素；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定情感内容数据，情感内容数据用于生成情感内容报告；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定持续时间数据，持续时间数据用于生成持续时间报告；根据情感内容报告和持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

根据本发明的一个特征，计算机终端中所述情感型对象模块包括剖析模块、语音接口模块和可视化接口模块。

根据本发明的另一个特征，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

根据本发明的再一个特征，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

根据本发明的再一个特征，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

根据本发明的再一个特征，自然语言系统输出是如机器人或机器人系统的实体角色。

根据本发明的另一个方面，本发明提供一种存储有指令的非临时性计算机可读介质。当处理器执行指令的时候，执行以下步骤：生成一个或多个角色的动画的第一组指令；生成一个或多个环境的动画的第二组指令；从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；从自然语言系统输出中提取第二组对话元素；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定情感内容数据，情感内容数据用于生成情感内容报告；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定持续时间数据，持续时间数据用于生成持续时间报告；根据情感内容报告和持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

根据本发明的一个特征，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

根据本发明的另一个特征，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

根据本发明的再一个特征，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

根据本发明的再一个特征，自然语言系统输出是如机器人或机器人系统的实体角色。

根据本发明的再一个方面，本发明提供一种用于通过自然语言输出执行电影指导和动态角色控制的计算机终端。所述终端包括处理电路；与处理电路耦合的通信接口，所述通信接口用于传输与接收信息的；及与处理电路耦合的存储器，所述存储器用于储存信息，所述处理电路用于：生成一个或多个角色的动画的第一组指令；生成一个或多个环境的动画的第二组指令；从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；从自然语言系统输出中提取第二组对话元素；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定情感内容数据，情感内容数据用于生成情感内容报告；通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定持续时间数据，持续时间数据用于生成持续时间报告；根据情感内容报告和持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

根据本发明的一个特征，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

根据本发明的另一个特征，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

根据本发明的再一个特征，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

根据本发明的再一个特征，自然语言系统输出是如机器人或机器人系统的实体角色。

附图说明

图1示出了示例性的实施例中使用的网络计算平台的示例；

图2是根据示例性的实施例示出了评估个体语义情绪方法的流程图；

图3A和3B根据示例示出了从对话输入中抽取语义数据的方法流程图；

图4根据示例示出了基于面部表情的个人情绪表现；

图5示出了实时绘制的个人情绪或情感的图形；

图6示出了普拉奇克的情感轮的示例；

图7根据示例示出了用于通过自然语言输出执行电影指导和动态角色控制的计算机实现方法；

图8为通过使用国家语言处理的关联输入向量来衡量语义的心情、情感、意图和感情的系统的硬件实现示意图；

图9为图8中情感型对象模块或电路的模块/电路或子模块/子电路一种实现方式的示意图。

具体实施方式

下面的详细描述是目前进行披露的最佳设想实施方式，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

在以下的描述中，提供了具体细节以便深入理解的实施例。然而，本领域的普通技术人员会理解到，没有这些具体细节实施例也是可实行的。例如，电路可以显示在框图中，以免在不必要的细节中使得实施例不清楚。在其他情况下，众所周知的电路、结构和技术可以详细显示，以免使得实施例不清楚。

术语″包括″以及术语的变体，如“包含”等其他类似的词，并不排除还包括其他的添加、组件、整数或步骤。此处使用的名词术语以及类似的词将被解释为包括单数和复数，除非它们在上下文中的用法另有说明。此处使用“代表性”一词来表示“示例、实例或说明”。此处描述的任何实现方式或实施例都不一定被解释为首选或优于其他的实施例或实现方式。同样，术语“实施例”并不要求所有的实施例都包括讨论的特征、优点或操作模式。

术语“方面”并不要求本发明所有方面都包含讨论的特征、优点或操作模式。此处使用的术语“耦合”指两个对象之间的直接或间接耦合。例如，如果对象A和对象B物理接触，对象B和对象C接触，那么即使对象A和对象C之间没有直接的物理接触，对象A和对象C两者之间仍然被当做相互耦合。

正如本领域技术人员所知道的，化身是个体在虚拟环境中的虚拟表达。化身通常包括有物理特性、统计属性、详表、社会关系、情感表达、网络日志(博客)或其他记录的历史数据。化身可能是人的外表，但并不局限于任何外表的约束。化身可能是真实世界个体的人格化，如大型多人在线游戏(MMOG)中的玩家角色(PC)，或者可能是人工制造的人格，如非玩家角色(NPC)。其他类型的人工人格化身可能包括但不限于个人助手、向导、教育家、应答服务器和信息提供者。此外，一些化身在一些时间可能有自动化的能力，在其他时间则由人控制。这样的准玩家角色(QPCs)可以自动执行普通的任务，但在复杂问题的情况下，则由需要高昂费用的人类代理来接管。

对由自主化身驱动程序驱动的化身的定义可能很笼统。在虚拟环境中，化身可能是个角色、非玩家角色、准玩家角色、代理人、个人助手、人格、向导、教育家或者其他的虚拟实体。化身可能与三维渲染的图形化体现一样复杂，包括详细的面部表情和肢体表达，它可能是一个硬件组件，如机器人，或者它可能与一个没有面部的、非图形的控件一样简单，它具有有限的、或者不具有超出自然语言文字交互的功能。在一个现实生活与虚拟生活日益依赖和融合的社会中，拥有可信和有用的化身的能力是非常可取和有利的。

除了化身或虚拟角色，本发明也可针对实体角色如机器人或机器人系统。此外，环境可以针对虚拟环境和实体环境。在本发明中生成的指令和/或驱动程序可用于对虚拟角色以及实体角色进行动画化处理。在本发明中生成的指令和/或驱动程序可用于对虚拟角色以及实体角色进行动画处理。

网络计算平台

图1展示了示例性的实施例中使用的网络计算平台的示例。网络计算平台100可以是包括移动计算设备和能够由移动计算设备读取的介质的通用移动计算环境，所述介质包括可由移动计算设备执行的可执行指令。如图所示，网络计算平台100可包括，例如，移动计算设备102。所述移动计算设备102包括处理电路104(如处理器、处理模块等)、存储器106、输入/输出(I/O)组件108、以及与远程计算机或其他移动设备通讯的通信接口110。在一个实施例中，上述组件之间通过总线112耦合进行通信。

存储器106可以作为非易失性的电子存储器如具有备用电池模块(未显示)的随机存取存储器(RAM)，这样当移动计算设备102的总电源断电时，存储在存储器106中的信息不会丢失。存储器106的一部分可分配为程序执行的可寻址存储器，而存储器106的另一部分则用来存储。存储器106包括操作系统114、应用程序116和对象存储118。在操作过程中，处理电路104从存储器106中示意性地执行操作系统114。所述操作系统114可以用在任何设备上，包括但是不限于具有麦克风或者相机的移动设备，同时可以实现数据库功能，并且应用程序116可以通过一组公开的应用程序编程接口和方法来利用所述数据库功能。对象存储118中的对象可以由应用程序116和操作系统114维护，至少在某种程度上是对公开的应用程序编程接口和方法的调用的回应。

通信接口110代表了大量的允许移动计算设备102发送和接收信息的设备和技术。例如，这些设备包括有线和无线调制解调器、卫星接收器和广播调谐器。移动计算设备102也可以直接与计算机连接进行数据交换。在这种情况下，通信接口110可以是红外线收发器或者是串行或并行的通信连接，这些都能够传输流式信息。

输入/输出组件108包含有各种输入设备和输出设备，所述输入设备包括但不限于触摸屏、按钮、滚轮、照相机和麦克风，所述输出设备包括音频发生器、振动设备和显示器。此外，还包括可以连接到移动计算设备102上的其他输入/输出设备。

网计算平台100还包括网络120。移动计算设备102通过发送和接收通信接口110与网络收发器122之间合适协议的电磁信号与网络120示意性地进行无线通信，其中网络120可以是互联网或一定范围的局域网。反过来，网络收发器122通过网络120提供了对各种额外计算资源124的访问。在响应用户的输入指令时，移动计算设备102可以使用存储在存储器106的介质上的可执行指令，例如使移动计算设备102执行某步骤，如将与虚拟世界状态相关联的语言表达和与计算机控制系统(或自然语言处理系统)知识库相关联的语言表达相结合，并从结合后的语言表达中动态生成对话元素。

语义情绪评估

图2是根据示例性的实施例评估个体语义情绪方法的流程图。首先，收集用户的对话输入202。对话输入可以是音频、可视化或文本数据的形式，所述数据是通过用户提供的文本、基于传感器的数据如心率或血压、手势(或体态)、面部表情、语调、区域、位置和/或口语生成的。

根据一个例子，对话输入可以是对着麦克风口述。口述的对话输入可以被录音和保存。将保存的录音发送到语音转文本模块来传输所述录音的抄本。此外，对话输入能被扫描进终端，也可以是一个图形用户界面(GUI)。

其次，语义模块能分割和剖析对话输入来进行语义分析204。也就是说，可以将对话输入的抄本传输给自然语言处理模块，其剖析语言和识别文本的意图。语义分析包括词性(PoS)分析206、文体数据分析208、语气分析210以及主题分析212。

在词性分析206中，通过分析被剖析后的对话输入来确定对话输入对应的词性和词类，并生成词性分析报告。例如，剖析后的对话输入可能是形容词、名词、动词、感叹词、介词、副词或者量词。在文体数据分析208中，通过分析剖析后的对话输入来确定语用问题，如俚语、讽语、频率、重复、结构长度、语法形式、话轮转换、语法、拼写变体、上下文修饰语、停顿、口吃、专有名词组、心情估计等。通过上述分析生成文体数据分析报告。在语气分析210中，可以确定剖析后的对话输入的语气。语气包括但并不限于疑问、陈述、祈使、强调和条件语句。通过上述分析生成语气分析报告。在主题分析212中，主题被评估以构建上下文和关系性理解，以便，例如，可以更好地理解单个要素如单词的意思(如“星”一词有天体或者名人的意思，因此主题分析可以帮助我们更好的确定它的含义)。通过上述分析生成主题分析报告。

对被剖析的对话输入进行分析后，将上述关于对话输入的感情数据的所有报告进行整理216。如上所述，这些报告包括但是不限于词性分析报告、文体数据报告、语气报告以及主题分析报告。整理后的报告可以存储在云端或者其他存储区域中。

然后，通过上述生成的报告，评估对话输入的感情的词汇表达218。对话输入中的感情的词汇表达是一个网络对象，其可以评估从对话输入中识别的所有单词(通过分割和剖析识别)，然后将这些单词与一个可能的情感值进行参照，其之后所述情感值便与感情、心情以及其他情绪表达相关联。

然后，使用生成的报告和词汇表达来构建或生成一个整体语义评估220。也就是说，系统生成了一个关于对话输入中单词的感情和心情的建议。之后所述语义评估将与其他数据源进行对比与结合222。

图3A和3B根据一个例子示出了从对话输入中抽取语义数据的方法流程图300。语义元素或数据可以从软件程序和用户之间或两个软件程序之间的对话中提取，分析这些对话元素以便协调互动，从而达到在对话开始之前设立在计算机程序中的情感目标。

在该方法中，首先，将用户输入302(即对话输入或对话)输入到语言模块304中对用户输入进行处理。用户输入可以是用户提供的通过文本、手势和/或口语生成的音频、可视化或文本数据的形式。语言模块304包括自然语言理解模块306、自然语言处理模块308和自然语言生成模块310。在某些配置中，语言模块304可以选择性地包含文字转语音模块311，它不仅会生成单词，还会生成传达这些词的声音，如语音。

自然语言理解模块306可以识别对话中的词性从而确定所使用的单词。词性包括但不限于动词、名词、形容词、副词、代词、介词、连词和感叹词。之后，自然语言处理模块308可以生成有关单词之间的关系以及这些关系含义的数据，例如对话的含义和情绪。自然语言生成模块310可以生成针对对话输入可能的回答。

自然语言引擎输出312可以输出如文本形式的数据，例如用UTF8或ASCII编写的自然语言句子，或者如记录并存储在音频文件中的音频文件形式的数据，如WAV、MP3、MP4、AIFF(或本领域人员所知的任何一种用于存储声音数据的格式)。输出数据然后被输入到分析模块314中。分析模块314可以利用从自然语言引擎输出312中输出的数据。分析模块314可以分析提取出的元素的持续时间并生成持续时间报告316。此外，分析模块314可以分析提取出的元素的情感内容/心情并生成情感内容/心情报告318。情感内容可以根据与外部库相关联的许多向量来识别数据的情绪，例如，目前被用于检测音频的或文本的数据主体的感情和情绪。很多具有不同向量的库可以应用到此方法中。

然后，将持续时间报告316和情感内容/心情报告318发送到多媒体标签生成模块320。多媒体标签生成模块320利用持续时间报告316和情感内容/心情报告318中的数据生成多个标签对，其中标签对中的每一个标签用于定义或识别生成化身和/或虚拟环境的数据。也就是说，每个标签用于生成化身的动画或者环境场景的其他修改。如图3A所示，多个标签对包括但不限于动画时长和情感标签328、330；相机转换和相机x/y/x旋转标签332、334；照明时长和效果标签336、338；声音时长和效果标签340、342。动画不限于角色动画，而是可能包括场景中的任何元素或其他相关的数据集以使得，例如，在背景中花朵的生长可能与表达喜悦的角色相对应，或者当开始下雨时，花朵将凋萎以表现出悲伤。

然后，将标签生成模块320中的标签输入控制文件344。控制文件344可以驱动化身动画并动态调整化身和/或虚拟环境。换句话来说，控制文件344可以通过语言数据驱动计算机屏幕。例如，每个标签对引导系统生成(或动画绘制)化身(或虚拟角色)和虚拟场景(或虚拟环境)。此方法也可用于驱动硬件机器人的动画。例如，角色可以是实体角色。此外，环境还可以是实体环境或实体环境与虚拟环境的结合。

如图3B所示，控制文件344包括多个数据集，所述数据集中包含有用于创建化身和虚拟环境的数据。例如，多个文件夹包括但不限于多个动画文件(″Anims″)、照相机文件(″Cams″)、灯光文件(″Lights″)、声音文件(″Snds″)以及其他文件(″Other″)。动画文件包括各种事件、动作、场景等。或者，动画文件包括化身或虚拟角色的谈话、化身或虚拟角色的动画等。照相机文件包括相机位置数据、动画数据等。灯光文件包括灯光位置数据、灯光类型数据等。声音文件包括音乐数据、噪音数据、声调数据和音频效果数据。其他文件包括可用于创建化身和虚拟环境的任何其他类型的数据，以及提供交互式控件的节点(例如距离传感器或或现场按钮、触发器等)或者其他环境效果如雾、其他元素如飞鸟、事件触发如出现在提示的时刻的另一个化身。

然后，控制文件344将数据发送给设备346例如移动设备(或其他计算机、连接设备如机器人)以操控化身或者虚拟环境数据。

运用斐波那契链和标志性手势动画绘制情感

图4根据示例示出了基于面部表情的个人情绪的表现。面部表情可能与情感值相关，情感值与情感、心情或其他的情绪有关。图5为实时绘制的个人情绪或情感的图形。尽管图中显示了8种情感，但这只是通过举例说明，图形也可以绘制8种以上的情感或者少于8种的情感。根据一个例子，图形也包括一个单一的情绪、零/无情绪。图6显示了一个类似的例子，即普拉奇克的情感轮。根据一个例子，八角形图形的每一侧代表了一种情绪如自信、善良、冷静、羞愧、恐惧、愤怒、无情和愤慨。然而，与普拉奇克的情感轮不同的是，距离轮心越远情感就越强烈。例如，烦恼会更接近于轮心，然后愤怒再然后狂暴。再比如，忧虑会更接近于轮心，然后害怕再然后恐惧。

运用斐波那契链动画绘制情感

根据一个例子，建立8个42秒的动画。8个动画中的每一个都对应列表中的八种情绪。建立两个相同持续时间的零/无情绪的动画，这样总共给出10个动画。每一个42秒的动画按斐波那契数列被分成了持续时间为1秒，1秒，2秒，3秒，5秒，8秒和13秒的动画链。将这些动画链保存以备日后使用，并存在于用户客户端平台346上。

自然语言处理(NLP)系统可以生成一个未确定持续时间(陈述文本所需的时间)以及未确定的情感(文本的情感)的输出文本块。之后，可以提供与上述情感和持续时间大致匹配的动画，且该动画中没有与其他相邻动画重复的动画。自然语言处理系统可以是一个虚拟角色或实体角色。例如，自然语言处理系统可能是个机器人或机器人系统。

通过评估输出文本块来确定两个值。第一个值是以秒为单位的持续时间(即持续时间数据)。如果使用文本转语音(TTS)系统，持续时间取决于字符数、或者录音长度、或者陈述该文本需要多长时间。第二个值是被列为从0-8的整数的感情或情感内容(即情感内容数据)，感情或情感内容与我们的情感模型相对应，情感模型与情感值相对应。

生成连串动画

多媒体标签生成模块320构建了列有由动画链组成的连串动画的控制文件344。根据这些汇总的值为连串动画命名，例如13_7即代表连串动画的情感值为7持续时间为13秒。

根据上述的两个值来确定组合的或者连串的动画的持续时间与情感。连串动画是上述动画链的序列，这些动画链是通过连续动画链的结束值和起始值之间插入生成的。必须注意避免重复的动画。

此外，为了避免重复，多媒体标签生成模块320也可以确认这个序列尚未被发送，如果已经被发送了，那么动画链的具体顺序就会被更改，从而保证动画链的总和相同但是动画链的顺序是不同的。以这种方式，先前通过8秒+5秒的动画链构建的13秒的动画可以改为发送5秒+8秒、2秒+3秒+8秒、5秒+3秒+5秒或者其他的持续时间总和相等的任何数学变量的动画链组合。

从一方面来说，当系统与能够使该系统感知对话的系统以及与其他能够向该系统提供如标志性手势的示例对话元素的系统相连接时，该系统具有自调整(即自我训练)的能力。

标志性手势

在需要特别强调的特定时刻，标志性手势可以用来终止动画链序列，并将注意放在所说的单词上，以使标志性手势与所说的单词的持续时间和感情相匹配。

图7为一种通过自然语言输出执行电影指导和动态角色控制的计算机实现方法700。首先，生成一个或多个角色动画的第一组指令702。所述角色可以是虚拟角色和/或实体角色。其次，生成一个或多个环境动画的第二组指令704。所述环境可以是虚拟环境和/或实体环境。

从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素706。对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。从自然语言系统输出中提取第二组对话元素708。自然语言输出系统可以是虚拟角色或如机器人或机器人系统的实体角色。

之后，通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定情感内容数据，情感内容数据用于生成情感内容报告710。通过处理电路中的分析模块分析第一组对话元素和第二组对话元素来确定持续时间数据，持续时间数据用于生成持续时间报告712。最后，根据情感内容报告和持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理714。

设备

图8为配置为通过使用国家语言处理关联输入向量来衡量语义心情、情感、意图和感情的系统802的硬件实现的例子的示意图800。图9为示出了图8中情感型对象模块或电路的模块/电路或子模块/子电路的例子的示意图。

系统802包括处理电路804。处理电路804通过总线结构实现，通常以总线831表示。总线831可以包括任意数量相互连通的总线和网桥，具体的要取决于处理电路804的应用和属性以及总体设计约束。总线831可以将各种电路连接起来，包括一个或多个处理器和/或硬件模块、处理电路804和处理器可读介质806。总线831还可以连接其他各种电路，如计时源、外围设备和电源管理电路，由于它们在本领域中是众所周知的，因此不会再做进一步的描述。

处理电路804可以耦合一个或多个通信接口或收发器814，其用于与网络实体进行通信(接收和传输数据)。

处理电路804可能包括一个或多个负责一般处理的处理器，所述处理器包括存储在处理器可读介质806上的执行软件。例如，处理电路804可以包括部署在图1的移动计算设备102中的一个或多个处理器。当由一个或多个处理器执行所述软件时，会导致处理电路804执行上述任何特定终端所描述的各种功能。处理器可读介质806也可以用于存储在执行软件时由处理电路804操纵的数据。处理系统进一步包括模块820，822，824，826，828，830和832中的至少一个。模块820，822，824，826，828，830和832可以是在处理电路804上运行的软件模块，它们驻存/存储在处理器可读介质806中，也可以是一个或多个耦合到处理电路804的硬件模块，或软件模块与硬件模块的组合。

在一个配置中，用于无线通信的移动计算设备802包括用于从个体口头交互(例如，提供人类或自然语言输入或对话输入)中获取口头交流到移动计算设备802并将自然语言输入转录为文本的模块或电路820，用于从移动计算设备802的照相机的个体交互(如前文出现的)处获取可视交流的模块或电路822，以及用于剖析文本以获得经过身份验证用户的自然语言输入的含义的模块或电路824。处理系统还可以包括用于获取个人的语义信息到移动计算设备802的模块或电路826，用于分析从对话输入中提取出的元素到移动计算设备802的模块或电路828，用于在对话中确定和/或分析情感对象的模块或电路830，以及用于生成或者动画虚拟角色(化身)和/或虚拟环境或场景的模块或电路832。

在一个配置中，移动计算设备802可选地包括用于接收和显示数据给使用者的显示或触摸屏836。

图中所示的一个或多个组件、步骤和/或功能在不影响通信设备的操作情况下可以重新排列和/或组合成单个组件、步骤或功能，或呈现在几个组件、步骤或功能中，所述通信设备具有特定信道的信导插入。在不偏离本发明的情况下还可以添加其他元素、组件、步骤和/或功能。本文描述的新算法可以在软件和/或嵌入式硬件中有效地实现。

本领域技术人员会进一步理解，在披露的实施例中描述的各种说明性的逻辑块、模块、电路和算法步骤可以是通过电子硬件、计算机软件或两者的组合来实现的。为了清楚地说明硬件和软件的互换性，以上各种说明性的组件、块、模块、电路和步骤都是从功能上进行描述。

此外，值得注意的是，实施例可以被描述为以流程图、流程图表、结构图或框图描述的过程。虽然流程图将操作描述为有顺序的进程，但许多操作可以并行或同时执行。此外，操作的顺序可以重新排列。进程在操作完成时终止。进程可能对应于方法、功能、程序、子程序、辅程序等等。当进程对应功能时，进程的终止对应于功能返回到调用功能或主功能。

此外，存储介质代表了用于存储数据的一个或多个设备，包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光盘存储介质、闪存设备和/或其他用于存储信息的机器可读介质。“机器可读介质”一词包括但不限于便携式或固定式的存储设备、光存储设备、无线通道和各种能够存储、包含或携带指令和/或数据的其他介质。

此外，实施例可由硬件、软件、固件、中间件、微码或其任何组合来实现。当在软件、固件、中间件或微码中实现时，执行必要任务的程序代码或代码段可以存储在可读介质如存储介质或其他存储器中。处理器可以执行必要的任务。一个代码段可以表示一个过程、功能、子程序、程式、例程、子例程、模块、软件包、类或任何指令、数据结构或程序语句的组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容来耦合到另一个代码段或硬件电路。信息、参数、参数、数据等可以通过任何适当的方式进行传递、转发或传输，包括内存共享、消息传递、令牌传递、网络传输等。

在披露的实施例中描述的各种说明性的逻辑块、模块、电路、元素和/或组件可通过通用处理器、数字信号处理器(DSP)、应用特定集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器、离散栅或晶体管逻辑器、离散硬件器或其他任何用来执行所述功能的组合来实现。通用处理器可以是微处理器，但可选的，处理器可能是任何常规处理器、控制器、微控制器或状态机。处理器也可以作为一个计算机组件的组合来实现，例如，DSP和微处理器的组合，一些微处理器，一个或多个微处理器与DSP内核DE结合，或任何其他的这种配置。

本例子中所描述的方法或算法可以以处理单元、编程指令、或其他方向的形式直接在硬件中、可由处理器执行的软件模块中、或者两者的组合中体现，同时可以包含在单个设备或分布在多个设备之中。软件模块可以驻存在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、暂存器、硬盘、可移动磁盘、ROM光盘或任何本领域所知的其他形式的存储介质。存储介质可以与处理器耦合，以便处理器可以在存储介质中读取信息和写入信息。另外，存储介质可能是处理器不可或缺的。

虽然附图中描述和显示了某些代表性的实施例，但要理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，而且本发明不限于描述与显示的具体的结构和安排，还包括任何其他在本领域技术的常规修改。

Claims (20)

1.一种通过自然语言输出执行电影指导和动态角色控制的计算机实现方法，其特征在于，包括在计算机终端的处理电路上执行以下步骤：

生成一个或多个角色的动画的第一组指令；

生成一个或多个环境的动画的第二组指令；

从所述处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；

从自然语言系统输出中提取第二组对话元素；

通过所述处理电路中的分析模块分析所述第一组对话元素和所述第二组对话元素以确定情感内容数据，所述情感内容数据用于生成情感内容报告；

通过所述处理电路中的所述分析模块分析所述第一组对话元素和所述第二组对话元素以确定持续时间数据，所述持续时间数据用于生成持续时间报告；

根据所述情感内容报告和所述持续时间数据报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

2.根据权利要求1所述的方法，其特征在于，所述计算机终端中的所述情感型对象模块包括剖析模块、语音接口模块和可视化接口模块。

3.根据权利要求1所述的方法，其特征在于，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

4.根据权利要求1所述的方法，其特征在于，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

5.根据权利要求1所述的方法，其特征在于，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

6.根据权利要求1所述的方法，其特征在于，所述自然语言系统输出是实体角色。

7.根据权利要求6所述的方法，其特征在于，所述实体角色是机器人。

8.一种存储有指令的非临时性计算机可读介质，其特征在于，当处理器执行指令的时候，执行以下步骤：

生成一个或多个角色的动画的第一组指令；

生成一个或多个环境的动画的第二组指令；

从处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；

从自然语言系统输出中提取第二组对话元素；

通过所述处理电路中的分析模块分析所述第一组对话元素和所述第二组对话元素以确定情感内容数据，所述情感内容的数据用于生成情感内容报告；

通过所述处理电路中的分析模块分析所述第一组对话元素和所述第二组对话元素以确定持续时间数据，所述持续时间数据用于生成持续时间报告；

根据所述情感内容报告和所述持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

9.根据权利要求8所述的非临时性计算机可读介质，其特征在于，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

10.根据权利要求8所述的非临时性计算机可读介质，其特征在于，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

11.根据权利要求8所述的非临时性计算机可读介质，其特征在于，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

12.根据权利要求8所述的非临时性计算机可读介质，其特征在于，所述自然语言系统输出是实体角色。

13.根据权利要求12所述的非临时性计算机可读介质，其特征在于，所述实体角色是机器人。

14.一种用于通过自然语言输出执行电影指导和动态角色控制的计算机终端，其特征在于，所述终端包括：

处理电路；

与所述处理电路耦合的通信接口，所述通信接口用于传输与接收信息；以及

与所述处理电路耦合的存储器，所述存储器用于储存信息，其特征在于，所述处理电路用于：

生成一个或多个角色的动画的第一组指令；

生成一个或多个环境的动画的第二组指令；

从所述处理电路的情感型对象模块接收到的对话输入中提取第一组对话元素；

从自然语言系统输出中提取第二组对话元素；

通过所述处理电路中的分析模块分析所述第一组对话元素和所述第二组对话元素以确定情感内容数据，所述情感内容数据用于生成情感内容报告；

通过所述处理电路中的所述分析模块分析所述第一组对话元素和所述第二组对话元素以确定持续时间数据，所述持续时间数据用于生成持续时间报告；

根据所述情感内容报告和所述持续时间报告对所述一个或多个角色和所述一个或多个环境进行动画处理。

15.根据权利要求10所述的计算机终端，其特征在于，所述对话输入是从用户的口头交流和可视化交流中的至少一个进行选择。

16.根据权利要求10所述的计算机终端，其特征在于，所述一个或多个角色被选择用于至少虚拟角色和实体角色。

17.根据权利要求10所述的计算机终端，其特征在于，所述一个或多个环境被选择用于至少虚拟环境和实体环境。

18.根据权利要求10所述的计算机终端，其特征在于，所述自然语言系统输出是实体角色。

19.根据权利要求18所述的计算机终端，其特征在于，所述实体角色是机器人。

20.根据权利要求18所述的计算机终端，其特征在于，所述实体角色是机器人系统。