CN104541306B - 神经行为动画系统 - Google Patents

Abstract

本发明涉及用于制作虚拟对象或数字实体的动画的计算机实现的系统。本发明具体涉及使用生物型模型或行为模型特别是神经行为模块的动画。提供了多个具有计算元件和图形元件的模块。所述模块以所需结构排列，具有至少一个变量，并与至少一个连接器关联。所述连接器将所述结构中的模块之间的变量链接，所述模块一起提供神经行为模型。还提供了一种响应于外部刺激控制数字实体的方法。

Description

神经行为动画系统

技术领域

本发明涉及能够制作动画的仿真虚拟对象或数字实体的系统和方法。本发明特别应用于使用基于生物的模型或者行为模型特别是神经行为模型制作动画的方法和系统。

背景技术

随着动画和数字技术的发展，个人用户和计算机或数字实体之间的界面或交互有很大发展。能够智能地处理信息、以类似人的方式交互并呈现自身的类似人的机器或计算机系统是期望的。这部分是因为个人用户与类似人的系统和/或机器人交互得更好。其次是更类似人的系统可以具有更加逼真的动作、响应和动画，因此，降低了包括恐怖谷效应的感知技术的障碍。

这种类型的动画有许多明显的技术问题。首先，类似于人或类似于动物的功能需要被建模，这本身是极其有挑战性的。获得类似于人的功能，并使用该功能来创建用户或观看者信任的视觉或图形响应也有挑战。困难响应的一个示例是脸部表情。如果系统是与用户交互的系统，即交互式的，则处理视觉和/或音频输入数据有另外的挑战。

这些挑战也有技术问题。类似于人的模块需要以系统是灵活的(需要根据所需应用而变化)并由程序员/开发者可使用的方式与图形、动画和传感器集成(系统应当是相对直观的或至少能够大致被程序员理解)，同时还能被有效地编译和运行。

现有的系统不能充分解决这些问题。在下文讨论一些已知的系统。

动画类型的程序

控制系统和信号处理领域已经产生了诸如Simulink^TM和VisSim^TM的可视编程语言。这些视觉系统的使用已经扩展到其它领域，因为这些系统提供创建系统并自动生成编程代码的有效方式。在典型的示例中，Simulink^TM系统可以通过连接一连串块单元(块单元代表例如一个电组件或一组电组件)来构造，以便根据需要链接输入和输出。此系统然后通过评估块结构和系统属性来被编译，以扁平化结构重新构造模型，并给块操作排序。在这个意义上，视觉设计用来创建模型的可理解视图。然而，模型以排序的和集中的方式操作。类似的视觉类型的程序也已知用来使编码过程或回路布置更加直接了当。

动画和3D绘图程序也是已知的，例如Autodesk Maya^TM使用节点图形架构来代表复杂的3D图形。AutodeskMaya允许通过多个不同的等级来产生和结构化动画。指令然后可以提供给动画，以鼓励与环境的交互。一些程序在动画和功能方面接口，包括使用Jitter的Max^TM可视编程。在这些情况下，图形引擎基本上与一些其它的程序或装置(诸如用于Jitter的声音)分离或由其控制。在其它情况下，动画仿真的复杂性是通过使用可能动作的有限集合来克服的。例如，HavokAnimation Studio^TM(HAS)通过使用有限的状态机(FSM)提供有效的人物动画。使用南加利福尼亚(USC)大学研究院的创新性技术(ICT)的Virtual Human工具箱、Cerebella，可以基于附带的对话产生动画物理行为的自动生成，然而，Cerebella需要输入关于人物的心理状态的详细信息以创建适当的动画。

神经模型系统

基于神经网络的模型(包括诸如SNNS和Emergent的程序)提供了各种各样的神经网络环境。在不同的程序中，模型可以提供生物类型的神经元或可以构建人工神经网络。有效的神经网络可以包含成百上千个神经元来仿真甚至更直接的模型。使用大的神经网络的复杂性导致尝试建立基于人工智能(AI)的装置。诸如由MIT Leonardo开发的那些社交或个人机器人看上去具有类似于人的品质。然而，他们必须以严格的不可变的方式被编程，通常他们要求特殊实现可能的动作，并取决于特定的硬件或者是不可变的。

人工智能机器人

神经-机器人和/或基于大脑的装置尝试通过复制基于大脑的功能来创建期望的交互从而产生类似于人的系统。这些模型通常是非常大的，由低级的神经元复制完整的大脑系统，将系统与类似于生物交互的系统链接。基于大脑的装置是被构建成仿效由神经系统产生的行为的机器人。这些装置通常尝试具有类似于人的动作和传感器阵列，但不提供通过与人交互的交互式体验。基于大脑的装置被设计用于具体的机器人或应用，通常不能广泛支持大范围的不同操作。

总之，已知系统不具有充分执行以下当中的一个或多个的能力：

·适应具有不同等级的仿真细节的多个模型；

·执行高等级和低等级仿真；

·集成和优先考虑作为仿真的一部分的动画和图形；

·提供可以共同包括仿真系统的多个模型的视觉或动画输出；

·提供具有调节、去掉或复制模型组件所需的灵活性的环境；

·提供对建模者或开发者容易理解的环境；

·提供基于生物神经系统的动画系统；

·提供学习能力。

发明目的

本发明的目的是提供用于仿真虚拟对象的计算机实现的系统或方法，他们能够克服或者至少缓解上述问题中的一个或多个，或者至少提供一种有用的替代。

本发明的另一目的是提供用于基于神经行为模型提供动画现实或虚拟对象或数字实体的计算机实现的系统或方法。

本发明的另一目的是提供用于基于神经行为模型描述数字实体的计算机实现的系统或方法。

本发明的另一目的是提供具有提高的复杂性、细节、丰富度或对刺激的响应的化身，以及用于控制是交互式的化身并允许调节交互特征的系统。

本发明的其它目的通过以下描述将变得显然。

发明内容

在一方面，本发明解决了灵活地将真实世界的输入刺激与机器中的虚拟神经行为模型或模型组件集成的技术问题，使得机器提供交互式动画。

在另一方面，本发明解决了使用机器集成不同规模的个别神经或神经行为模型的技术问题。

在另一方面，本发明解决了允许模型组件之间的关系变化或改变的技术问题，使得程序员可以使用机器来容易地识别和实现整个神经-行为模型中的变化或者动画或动画的交互方面的变化。

在第一方面，本发明可以宽泛地提供一种用于制作虚拟对象或数字实体的动画的计算机实现的系统，所述系统包括多个模块，所述模块具有计算元件和图形元件，

所述模块以所需结构排列，

每个模块具有至少一个变量，并与至少一个连接器关联，其中，所述连接器将所述结构中的模块之间的变量链接，所述模块一起提供神经行为模型。

在一个实施例中，所述模块以诸如层级结构的结构排列。

在一个实施例中，所述层级包括树结构。

在一个实施例中，所述结构由所述动画对象的生物结构的生物性质衍生出。

在一个实施例中，所述结构由进化的神经结构衍生出。

所述层级可以是树结构，并且可以取决于动画对象的性质。例如，所述层级结构可以由动画对象中存在的或其需要的生物性质或结构衍生出。因此，如果对象是脸部，则所述结构可以包括这样一种层级，其中，包括关于角膜的计算和图形特征的模块依从于(层级上低于)关于眼睛的模块。

所述层级结构可以另外或替代性涉及仿真对象的进化性质或结构，例如进化的大脑或神经结构。

树结构的使用便于识别仿真对象的背景下的模块功能。

连接器的使用提供了显著的灵活性，允许在多个模块之间链接变量，产生模块之间的链接，形成复杂的神经行为模型。连接器还在降低模型特征的重复时有帮助，并提供对系统建模和系统操作时更高的效率，原因是连接器清楚地指出系统是如何链接的。

在一个实施例中，所述系统包括具有听觉或图形或视觉输入或刺激的至少一个模块和具有听觉或图形或视觉输出的至少一个模块。

在一个实施例中，所述系统的一部分代表大脑。

在一个实施例中，每个模块的图形元件可以在可视和隐藏之间切换。

在一个实施例中，模块可以有超过一个可能的图形元件。

在一个实施例中，一个或多个模块的图形元件包括计算元件的代表。

图形元件可以提供模块中对GPU的支持、着色器和其它图形工具，以便有创建每个或任何一个模块的图形输出的直接手段。例如，模块的神经元活动可以连接到颜色、听觉或视觉输出而不需要产生新模块。

在一个实施例中，模块代表一个或多个神经元。

在一个实施例中，模块可以代表生物模型。

在一个实施例中，所述模块中的至少一个可以代表高级系统，所述模块中的至少一个可以代表低级系统。

在一个实施例中，来自模块的变量可以通过连接器链接到多个模块中的任何一个。

在一个实施例中，所述模块可以具有通过执行模块操作的一部分的所需结构与其关联的附加模块。

在一个实施例中，所述模块中的至少一个是关联模块，所述关联模块通过变量权重链接所述模块的输入和输出。

在一个实施例中，所述关联模块具有固定权重。

在一个实施例中，模块的图形元件可以被打开或关闭。

在一个实施例中，模块可以具有多个图形元件，每个元件具有单独的图形输出。

在一个实施例中，所需结构建立模块之间的关系。

在一个实施例中，所述多个模块可以具有变换元件。

在一个实施例中，所述变换元件基于由所需结构链接的模块修改模块的图形输出。

在一个实施例中，所述多个模块中的至少一个具有图形输入。

在一个实施例中，所述系统具有至少一个图形输出。

在一个实施例中，所述多个模块中的一个产生链接变量的图形输出。

在一个实施例中，所述多个模块中的一个具有来自外部一种或几种刺激的输入。

在一个实施例中，所述系统能够学习一种或几种外部刺激。

在一个实施例中，所述系统从外部提供刺激。

在一个实施例中，所述系统与用户或环境交互。

在一个实施例中，所述模块的一个或多个具有学习或记忆元件。

在一个实施例中，所述学习元件由关联元件实现。

在一个实施例中，所述关联元件是突触权重模块。

在一个实施例中，模块的操作通过连接到所述模块的调制值来调制。

在一个实施例中，所述调制值与神经递质/神经调质有关。

在一个实施例中，每个模块在所述模型是时间步长时执行动作。

在一个实施例中，所述对象可以是虚拟对象。

在一个实施例中，所述连接器可以使用标准化网络格式通信。

在一个实施例中，所述连接器可以传送时变数据。

在一个实施例中，所述连接器可以引入定时和/或延迟属性。

在一个实施例中，所述定时和/或延迟元件可以取决于连接或结构的性质。

在另一方面，本发明可以宽泛地提供一种用于制作对象或数字实体的动画的计算机实现的系统，所述系统包括多个模块，所述模块具有计算元件和图形元件，

每个计算元件具有模块类型和至少一个变量，并且与至少一个连接器关联，

其中，所述连接器链接模块之间的变量，被链接的模块一起代表制成动画的虚拟对象的图形和计算模型。

在一个实施例中，所述系统包括输入，所述输入用于接收听觉或视觉输入刺激。

在一个实施例中，本发明可以包括传感元件。

在另一方面，本发明可以宽泛地提供一种用于制作对象的动画的计算机实现的系统，所述系统包括多个模块，

每个模块具有从接口类型、动画类型和神经元类型中选择的类型，

每个模块具有变量，并与连接器关联，

其中，所述连接器链接模块之间的变量，被链接的模块一起代表动画对象的图形和计算模型。

在一个实施例中，每个模块可以从多个预先定义的模块中选择。

在一个实施例中，所述系统可以包括是接口类型的输入模块和是动画类型模块的输出模块。

在一个实施例中，所述系统可以包括一个或多个学习模块。

在一个实施例中，所述输入和/或输出可以包括图形或计算信息。

在一个实施例中，所述模块被排列成模拟生物结构。

在一个实施例中，所述模型是神经行为模型。

在又一方面，提供了一种对动画编程的方法，所述方法包括步骤：

创建模块的所需结构，每个模块与动画的一部分关联，并能够包括计算元件、图形元件、变换元件和输入和/或输出的集合，其中，计算和图形元件与一部分动画关联，

创建多个模块之间的多个连接，所述连接出现在每个模块的输入和输出之间，

其中，模块的层级和多个连接限定动画系统和动画系统的模型控制。

在一个实施例中，所需结构是层级。

在一个实施例中，所述输入和/或输出是模块的变量。

在一个实施例中，所述层级和/或连接可以复制神经行为系统。

在一个实施例中，所述层级和/或连接可以复制神经回路。

在一个实施例中，所述方法可以包括另一步骤：改变元件之间的连接以改变动画。

在一个实施例中，所述模块的一个或多个可以是学习模块。

在一个实施例中，所述方法可以包括另一步骤：允许学习模块基于输入和/或输出的集合修改。

在一个实施例中，所述学习模块的可塑性可以被改变。

在一个实施例中，所述方法包括步骤：从多个预定义模块或模块类型中选择每个模块。

在一个实施例中，所述方法包括步骤：调节预定义模块以提供期望操作。

在一个实施例中，所需结构的模块中的一个或多个是学习模块。

在一个实施例中，所述方法包括步骤：允许学习模块基于输入数据修改，然后固定学习模块的操作。

在另一方面，本发明可以宽泛地提供一种制作对象或数字实体的动画的计算机实现的方法，所述方法包括步骤：

提供多个模块，所述多个模块一起仿真神经行为模型，多个模块中的每个模块具有图形元件，以及

处理所述模块，使得对象或实体的解剖特征的变换产生该解剖特征的一个或多个子部分的相应变换。

在另一方面，本发明可以宽泛地提供一种制作对象或数字实体的动画的计算机实现的方法，所述方法包括步骤：

提供多个模块，所述多个模块一起提供神经行为模型，多个模块中的每个模块具有图形元件，

以时间步长方式处理所述模块，以提供在每个时间步长中每个模块的图形信息，

评估实时约束，以及

如果满足所述实时约束，则渲染所述图形信息。

在一个实施例中，图形信息的渲染可以出现在已经处理多个时间步长之后。

在另一方面，本发明可以宽泛地提供一种用于制作对象或数字实体的动画的计算机实现的系统，所述系统包括多个模块，所述多个模块能够具有计算元件、图形元件和一个或多个变量，

其中，所述多个模块中的至少一个创建图形输出特征，

所述多个模块中的至少一个适于改变所述图形输出特征的外观，以及

所述多个模块中的至少一个是关联模块，所述关联模块包括链接输入和输出变量的权重。

在一个实施例中，所述多个模块中的至少一个是学习模块，所述学习模块适于改变动画虚拟对象或数字实体的未来动作。

在一个实施例中，所述关联模块是学习模块。

在一个实施例中，所述学习模块的可塑性是可调节的以控制学习的速率。

在一个实施例中，所述多个模块中的至少一个是学习过程已经被停止的学习模块。

在一个实施例中，所述关联模块具有来自形成神经行为模型的一个或多个模块的输入和到形成图形输出的一个或多个模块的输出。

在一个实施例中，所述关联模块的权重是固定的。

在一个实施例中，所述关联权重是基于外部数据固定的。

在一个实施例中，所述关联模块的权重代表图形输出。

在一个实施例中，所述多个模块中的每一个是代表替代性图形输出的关联模块。

在一个实施例中，所述替代性图形输出中的每一个可以被单独地显示或者可以以混合组合被显示。

在一个实施例中，所述图形输出可以代表脸。

在一个实施例中，所述替代性图形输出可以代一系列表脸部表情。

在一个实施例中，所述图形输出是到多个图形输出组件中的一个或多个的定位信息。

在一个实施例中，所述图形输出组件代表肌肉。

在另一方面，本发明可以宽泛地描述为一种具有一个或多个如在其它方面描述的特征的计算机游戏。

在另一方面，本发明可以宽泛地描述为一种显示如在其它方面描述的虚拟对象或数字实体的交互式显示器。

在一个实施例中，所述交互式显示器可以是广告显示器。

在另一方面，本发明可以宽泛地提供一种用于产生交互式行为的计算机实现的系统，所述系统包括多个模块，所述多个模块具有计算元件和图形元件，

所述模块以所需结构排列，

每个模块具有至少一个变量，并与至少一个连接器关联，

其中，所述连接器链接所述结构中的模块之间的变量，所述模块一起提供行为或神经行为模型。

在另一方面，本发明可以宽泛地提供一种用于产生交互式行为的计算机实现的系统，所述系统包括多个模块，所述多个模块具有计算元件和图形元件，

所述多个模块中的至少一个接收外部刺激，

所述多个模块中的至少一个提供外部输出，

所述多个模块中的至少一个产生外部刺激和外部输出之间的关联，

其中，所述关联影响未来系统行为，使得外部输出对外部刺激的变化进行响应。

在一个实施例中，所述关联给系统提供学习行为。

在一个实施例中，所述模块中的至少一个创建第一内部刺激和第二内部刺激或外部输出之间的关联。

在一个实施例中，所述多个模块中的至少一个具有调制装置，所述调制装置调制所述多个模块中的一个的功能。

在另一方面，本发明可以宽泛地提供一种制作虚拟对象或数字实体的动画的计算机实现的方法，所述方法包括步骤：

初始化来自多个模块模板的多个模块，

对于多个模块定义功能、输入和输出，

定义所述多个模块的输入和输出之间的连接，其中，所述多个模块和连接形成行为或神经行为模型。

在一个实施例中，到所述多个模块中的至少一个的所述输入和/或输出中的至少一个是外部刺激或输出。

在一个实施例中，所述多个模块或连接中的任何一个或多个可以具有可视化输出。

在另一方面，本发明可以宽泛地提供一种用于创建动画虚拟对象或数字实体的计算机实现的系统，所述系统包括：

多个模块模板，所述多个模块模板能够具有计算元件和图形元件，

第一描述装置，所述第一描述装置规定一个或多个选择模块的功能和变量，每个选择模块是基于所述多个模块模板的，

第二描述装置，所述第二描述装置规定所述一个或多个选择模块的变量之间的多个连接，

其中，一个或多个选择模块连接成以便创建行为或神经行为模型。

在一个实施例中，所述模块模板中的至少一个是神经元模型。

在一个实施例中，所述模块模板中的至少一个是延迟模型。

在一个实施例中，所述模块模板中的至少一个是关联模型。

在一个实施例中，所述系统进一步包括第三描述装置，所述第三描述装置规定模块之间的关系。

在一个实施例中，所述关系是层级。

在一个实施例中，所述结构或层级可以代表或不代表生物系统或结构。

在一个实施例中，每个模块可以是时间步长的。

在另一方面，本发明可以宽泛地提供使用定义功能的模块网络对计算机生成的显示、效果或化身的控制，所述模块连成使用用于时变数据的格式通信，其中，根据网络中模块的布置连接向时变数据引入定时和/或延迟属性，使得由网络引起的响应可以通过重新排列模块或连接来调节。

在另一方面，本发明可以宽泛地描述为一种计算机系统，其可操作于响应限定对数字实体刺激的数据控制数字实体，所述系统包括代码的功能模块的网络，所述网络可操作于接收表征所述刺激的数据，并可操作于生成限定对数字实体的响应的数据，其中，所述网络包括定义如下的代码：

用于每个功能模块的一个或多个变量，所述变量被配置成用于为网络标准化的基于时间的数据格式，并与至少一个连接器关联，所述连接器在模块的发射和接收变量之间运送时变数据；

为每个模块定义的位置-参考数据，所述数据允许相对于一个或多个其它模块定义模块的位置，

时间调节器，所述时间调节器可操作于调节在发射和接收变量之间传送的时变数据的时间，其中，所述时变数据取决于传送变量的模块的位置，所述模块将变量传送到接收接收变量的模块，

一个或多个功能操作，所述一个或多个功能操作为多个功能模块中的每一个定义，并对在时变信号中传送的时变数据进行操作，所述时变数据在为功能模块定义的变量上接收，

由此，对在两个接收变量上接收的时变数据的操作具有由功能模块的调节相对位置可调节的效果，所述两个接收变量接收从两个不同的功能模块传送的数据，

由此，所述化身的响应是可调节的。

所述时变调节器可以包括传输线的集合，所述传输线可操作于互连发射和接收变量，并且根据发射和接收变量的模块的位置的不同引入时间延迟。

所述网络可以包括变换器，所述变换器可操作于允许两个或多个变量组合，由此两个发射变量可以与单个接收连接器连接。

所述功能模块可以包括包装器(wapper)，所述包装器可操作于将基于时间格式的数据解析为特定格式，以允许在数据上操作的不是基于时间格式的代码用于使用标准化化的基于时间的格式连接的网络中的功能模块中。

所述功能操作可以具有可调节以允许调节化身的响应的参数。

所述功能操作可以具有根据通过网络传播的网络参数可调节的参数。所述传播可以开始于网络中的定义位置，从该位置传播，由此所述参数可以根据特定模块的位置和传播的网络参数的传播范围调节功能-操作。所述网络参数可以是调制值。

所述网络可以可操作于接收数据或者输入以确定位置-参考数据。

如本文中使用的，数据被宽泛地用来覆盖编码信息，可以包括数据类型和事件类型的实例，可以包括流式数据。

所述网络可以包括时间调节装置，所述时间调节装置与功能模块的相对位置无关，以允许定义时变数据的延迟或时间提前从而调节化身对于刺激的响应。

所述功能操作可以可操作于定义来自两个或多个功能模块的发射变量的时变数据的特征的关联。化身对刺激的响应可以通过调节网络中的功能模块的相对位置和/或调节一个或多个功能模块的功能操作而可调节。

由系统控制的化身对刺激的响应可以被模块的功能、模块的连接和模块在网络中的相对位置配置。

时间调节装置可以包括被引入到基于时间的格式中的数据的延迟。

所述网络可以包括定义连接变换器和模块的连接器的集合的代码，每个连接器包括可操作于延迟时变信号的时间调节器。

所述网络可包括定义可操作于组合来自两个或多个发射变量的时变数据的变换器的集合的代码，以便允许连接到单个接收变量。

所述网络的操作可以取决于模块的功能和模块在网络中的相对位置。

在一些实施例中，所述变换器不引入如由功能模块经历的任何时间延迟。

在一个实施例中，模块是由操作员选择的和/或定位的。

在一个实施例中，系统可以包括配置界面，所述配置界面可操作于接收对位置-参数数据的调节。

所述配置界面可以可操作于允许选择的模块连接来配置网络，从而，系统的控制和/或化身的响应可以被配置。所述配置可以可操作于显示功能模块的相对位置和模块的连接的表示。所述配置可以可操作于显示网络的表示。所述配置可以可操作于显示所述化身。所述配置可以选择为允许用户观察网络操作和/或调节模块位置和/或模块的选择。

在一些实施例中，表征刺激的数据从照相机接收。在一些实施例中，所述系统可以可操作于单独地或一起控制单个化身或多个化身。在其它实施例中，所述系统可以提供于应用程序(诸如游戏)的代码内，表征刺激的数据可以在游戏中接收。

一个或多个系统可以用来生成由化身代表的多个人物，这里，相似的网络被不同地配置以多样化化身的特征响应。这可以用来提供具有不同的特征响应的化身或数字实体的集合。不同配置可以通过改变参数设置来实现。例如，不同的个性可以由对模型中的神经递质、神经调质或其它信号的灵敏度或响应等级(例如通过改变阈值变量)来表征。不同的配置还可以通过修改系统的拓扑或布局来实现，产生神经行为模型中的不同类型的结构。拓扑或布局可以通过调节模块之间的连接、模块的功能或模块之间的结构或关系来改变。

本发明的实施例允许一系列的不同类型的代码包括于功能模块中，功能模块通过使用标准化的基于时间的格式的连接器互联，因此不同的功能代码可以包括于相同的网络中。

本发明的另一方面提供一种脸部图形渲染系统，包括：

图形渲染层，所述图形渲染层接收定义脸部动画肌肉的集合的激励程度的肌肉激励/位置数据，产生图形图像数据；

肌肉激活/合成层，所述肌肉激活/合成层接收定义动画神经的给定集合的神经激活程度的神经激励数据，并生成为肌肉激励层定义的激活肌肉的集合的肌肉激励数据；

神经激活层，所述神经激活层接收定义表情的表情数据，生成定义要被激活的动画神经的组合以及定义每个神经的激活程度的神经激活数据。

每一层可以包含定义神经、肌肉和皮肤/脂肪等的性质的数据。肌肉层/图形渲染层接收刺激数据，生成反馈数据。

在另一方面，本发明可以宽泛地提供一种可操作于响应外部刺激控制数字实体的计算机系统，所述系统包括代码的功能模块的网络，所述网络可操作于接收表征刺激的数据，并可操作于生成限定对于数字实体的响应的数据，其中，所述网络包括：

用于每个功能模块的一个或多个变量，

结构，所述结构允许相对于一个或多个其它模块定义模块的位置；

一个或多个连接器，所述一个或多个变量与在模块的变量之间传送数据的至少一个连接器关联；

其中，所述连接器可被选择性调节以连接不同的模块，从而响应于外部刺激改变或调节数字实体的行为。

在另一方面，本发明可以宽泛地提供一种被编程或可操作于实现前述实施例中任何一个的系统的计算机。

在另一方面，本发明可以宽泛地提供存储计算机可使用指令的一个或多个计算机可读介质，当由计算装置使用时，所述计算机可使用指令引起所述计算装置实现前述实施例的任何一个的系统。

在另一方面，本发明可以宽泛地提供一种响应于外部刺激控制数字实体的方法，所述方法包括：

接收表征刺激的数据；

处理多个互联模块中一起代表神经行为模型的数据，以提供定义数字实体对外部刺激的响应的输出；

响应于所述输出，改变一个或多个模块之间的连接，或者改变一个或多个模块中的变量。

在另一方面，本发明可以宽泛地提供一种可操作于执行控制数字实体的方法的计算装置。

在另一方面，本发明可以宽泛地提供存储计算机可使用指令的一个或多个计算机可读介质，当由计算装置使用时，所述计算机可使用指令引起所述计算装置实现控制数字实体的方法。

上述的实施例中的任何一个可以涉及上述方面中的任何一个。

根据另一方面，本发明提供了基本上如本文中参照附图描述的方法和系统。

应当在其所有的新颖性方面考虑的本发明的另外方面将通过下文的通过其可能的实施例的示例的描述变得显然。

在说明书中对现有技术的任何讨论决不认为是对现有技术是广为人知的或形成本领域公知常识的一部分的承认。

附图说明

图1A：示出了本发明的实施例，其中显示大脑的模型；

图1B：示出了用于实现计算机系统的系统的示意图；

图2：示出了本发明的实施例，其中显示逼真的可视化；

图3：示出了本发明的实施例，其中多个模块被链接；

图4：示出了本发明的实施例，其中多个模块排列成文件夹结构；

图5：示出了本发明的实施例，其中多个不同的模块被链接；

图6：示出了具有链接到图形和计算系统的眨眼模块的实施例；

图7：示出了具有计算、图形和变换部分的模块的实施例的示意图；

图8：示出了包括复杂图形输出的系统的实施例的示意图；

图9：示出了角膜周围的系统的实施例的示意图；

图10：示出了用于响应于定义刺激的数据控制化身的系统；

图11：示出了类似于图10但增加了示例性情绪反应模块的网络的系统；

图12：示出了图11的系统，其中定义模块的功能操作的一方面的参数被调节；

图13和14：示出了类似于图12系统的系统，其中，网络具有附加的用于脸部和声音的多模式识别的语音识别模块；

图15：示出了神经行为系统的模型，其示出了不同的神经系统和计算元件是如何能够被组合的。

具体实施方式

本文中描述的本发明是使用计算机实现的。参照图1B，计算机具有用于输入信息的输入装置201、处理装置202和输出装置203。用于处理信息的处理装置可以与存储装置204通信，以存储或检索信息。输入或刺激可以源于真实世界的刺激，包括例如来自照相机、电磁换能器、音频换能器、键盘或其它已知系统的一个或多个的输入。其它刺激包括图形用户界面、硬件控制台、流式数据和来自云计算机、计算机索引、万维网或各种传感器的数据。输出装置给显示单元或另一机器(例如机器人)发送信号。存储装置可以是适于存储代码的计算机可读介质，代码可在处理器上执行。替代性地，所述模型或其一部分可以是电路。本发明的实施例包括具有形式为游戏、控制台、贩卖机和广告、移动装置和云计算装置中任何一个或多个的应用的模型。

在本发明的实施例中，生物行为是通过提供图形输出的生物模型仿真的。图形输出可以指任何形式的视觉或呈现的输出。例如，产生行为和社交学习的大脑过程用来制作可与用户交互的脸部的逼真模型的动画。在本发明的另一实施例中，所述模型可以应用到交互式动画。所述动画可以合并交互式行为和学习中涉及的基本神经系统的多尺度计算模型。每个计算单元或模块可以起自包含黑盒子的作用，能够实现任何尺度的一系列模型(例如从单个神经元到网络)。模块然后可以链接以创建形成模型的网络或结构。

神经行为模型使用底层神经路径或回路来产生行为。产生的神经回路复杂度可以从相对简单的反馈环或神经网到复杂的生物系统的呈现。因此，虚拟对象或数字实体包括人或动物的大的模型，诸如小孩的脸以及其它任何呈现的或者能够在虚拟或计算机产生或实现的环境中使用的模型。在一些情况下，对象或实体可以是不完整的，他们可以局限于实体的一部分，例如诸如手或脸的身体部分；特别是在不需要完整模型时。人或对象的化身或其它呈现包括于数字实体或虚拟对象的定义中。在一些实施例中，数字实体或虚拟对象的人物或行为可以通过神经行为模型改变。系统制作数字实体或虚拟对象的动画，以便允许实体或对象的真实运动或变化。

动画可以合成或复制行为，通过先进的3D计算机图形模型呈现此行为。在宽泛的意义上，模型可以提供可以适应外部刺激的行为系统，这里外部刺激指与模型的内部刺激分离的刺激。例如，一个实施例可以与人通过屏幕界面交互，或者可以实现为机器人。此功能可以通过神经类型的系统或者神经类型的系统和神经系统的功能替代的混合来实现。所述系统的一个实施例可以称作是自动画的，原因是动画是根据外部刺激使用习得的方法执行的，而不需要干预动画。

在本发明的实施例中，模型的图形/动画元件与模型的计算元件在所需结构(优选是层级结构)中链接。该结构允许代码的一部分被包含或被分组，意味着该部分可以作为一组组件被复制或移动。所述结构可以包括从属结构，从属结构包括树状元件。在替代性布置中，层级结构可以另一种形式实现以产生所需结构。在一个实施例中，可以使用多个层级。所需结构的一个重要特征是它提供模块之间的进一步的链接，所述链接重点在关系或物理或伪物理布置。以此方式，所需结构提供模型中的每个模块的基础或关系结构。在优选的实施例中，所需结构按层级排列，以便容易地显示和理解结构。由于包含图形和计算元件的模块以清楚和可构建的方式被关联，这允许改进地描述模型并且允许建模者更高效地构建模型。

本发明的实施例可以包括由层级结构中的一系列模块定义的模型。这可以类似于将物理元件分解成其合成或组件部分的方式。每个模块可以具有零个、一个或多个从属模块。多个模块可以形成树状结构。此结构用于或涉及图形结构，但还包括计算元件。计算元件可以单独地但类似所需的/层级结构定义。元件可以引用代码的区段、子模块或部分或与代码的链接，以执行功能。有单独的代码元件允许分离每个模块中的不同功能的控制。优选地，模块可以包含计算和图形元件中的两者或任何一个。在优选的实施例中，每个模块能够包含每个元件，只要求该元件被激活。以此方式，在查看层级和模块之间的关系时模型的结构被清楚地观察，其计算元件和图形元件是清楚的。因此，模型可以提供创建神经行为或心理行为动画的改进方法。在一些实施例中，可以有更多的元件，以提供附加特征或分离模块结构。传感元件可以包括于一个、多个或每个模块中，以便允许来自内部或外部刺激的输入。

图形元件通常包括几何结构、着色器和纹理信息或代码。图形元件的这些特征可以被外部模块连接或修改。着色器和纹理可以用在通用GPU(GPGPU)意义上以用于计算。图形元件的一种典型实现可以用于虚拟脸部。脸部的几何结构、纹理和着色器可以保存在称作“脸”的目录中。脸目录还可以包含与脸关联的计算元件。以此方式，图形元件和计算元件包括于所需结构的单个模块中，但也是分开的，以允许管理和更新或链接。具体地，不同的图形元件和计算元件可以被操作，例如显示脸部的神经网络或运动的操作。例如，计算元件可以将来自脸神经核模块的肌肉激活变量馈送到着色器或动画变形模块，着色器或动画变形模块可以：

·使脸部几何结构的顶点变形

·修改被读取的纹理数据的映射(例如以基于由于血流造成的表情，改变皮肤的外观)

·基于在着色器外部计算的连接应变信息，修改阴影计算。

所需结构由多个模块之间的连接补充。这些连接或链接有助于控制计算系统和动画需求之间的复杂的动态和相互-关系。连接可以在模型中的任何模块或元件(包括图形和计算模块)的输入和输出(变量)之间链接。模型的图形和计算方面的此通信和灵活性允许设计者/程序员或用户高效地创建非常复杂的模型。不需要复制分离的或者弱链接的特征或动作，以及模型的图形和计算部分。在本发明的实施例中，输入和输出可以优选通过高级模块连接或路由，使得层级的分支可以变成基本上自包含的。大多数连接然后可以连接到高级模块，以避免进入内部模块的复杂度。连接和其它模型特征提供调制系统中的信号的手段。信号的调制允许行为是可训练的，训练成高效的，原因是训练与模型的细节无关。例如，神经递质可以实现为与多个模型的连接，其值可以改变以适应模型或模型行为。

连接可以在模块的图形和计算元件之间建立，这些连接提供基于复杂的生物模型创建复杂的类似人的仿真手段。连接可以提供第一和第二变量(其中，变量是模块的输入和/或输出)之间的关联。这改进了现有技术的系统，现有技术的系统允许创建神经模型，但具有有限的图形或动画，限制了这些图形或动画之间的界面。通过组合图形和计算元件，反馈环和动画和底层模型之间的关系可以被控制和/或描述。这还允许更高效地更新模型，原因是内部关系在更新或优化过程中可以是可见的，包括实时的。

在本发明的实施例中，每个模块与其它模块连接，以形成网络或所需结构。在此实施例中，变量(显示为模块上的点，在此直线与模块连接)由连接(可以称作传输线)连接，这些连接连接变量并可以引入延迟，延迟取决于或代表网络中互连模块之间的距离。在一些实施例中，连接使用或根据与连接模块关联的位置参考数据确定延迟。在其它实施例中，延迟引入模块中或者在单独的延迟模块中。在一些实施例中，时间提前代替延迟使用，或者可以不存在延迟。连接可以在模块之间传送形式为时间-信号的基于时间的数据。模块对信号连同其它信号进行操作，以产生用来控制化身或数字实体的响应，该响应例如在屏幕或其它数字呈现装置上显示给用户。所接收的基于时间的信号的相对时间和操作会影响模块的输出。因此，数字实体、化身或虚拟对象的响应和/或响应的特征可以被以下的一个或多个影响：模块的选择、模块功能操作的选择、模块在网络内的布置和/或模块之间的相对位置和连接选择。

如本文中使用的词语“连接器”或“传输线”可以是适于连接两个或多个变量的任何通信线，可以包括面向对象的界面。时间和/或延迟属性可以被模块之间的连接影响。例如，在每个时间步长变量从发射变量移动到接收变量的实施例中，发射和接收变量之间的干涉模块的存在会使数据的通信延迟。在其它实施例中，连接本身可以具有定时或延迟组件。优选地，使用标准化的网络或通信格式，使得所有的模块可以在变量之间通信。这可能需要定义模块内部的代码如何产生标准化的网络格式的包装器或模块的初始化。在替代性实施例中，模块的位置和模块的视觉距离或其它位置参考数据可以影响定时。

大脑和脸部特征的一个示例性模型示于图1中。所述模型可以包括生物、计算和图形元件。优选地，计算和图形元件可以宽泛地或基本上基于生物系统。在一个实施例中，生物建模架构允许一系列低级模块被连接，或被构建成组，然后被连接以形成高级组件。这可以遵循或由进化的分层结构或进化的神经结构衍生出，其中，简单的基本模型被链接，并被组合以产生复杂的整体特征。基本模块可以给模块的核心功能提供高级模块，提供连接到此更基本系统的附加功能。生物建模架构然后用来基于生物学构建动画系统。系统的一个优点是复杂的动画系统可以通过构建多个单独的、低级模块来构造，他们之间的连接给模型提供类似于人的或者类似于动物的能力。

图1A图解说明模型的总图，其示出了包括一些周围特征的大脑的呈现。此模型可以包括神经系统的子模型和神经解剖，神经解剖包括基于科学模型的系统和神经网络系统。具体地，可以使用已知类型的生物神经网络。此结构能够使由产生行为的计算模型产生的内部过程可视化。此结构还提供用户和系统之间的可描述或可理解形式的交互。模型或模块可以由理论模型、数据驱动的经验模型、这些或简化模型的组合来驱动。在一些实施例中，模型的交互特性允许化身或动画的行为变化，以便构造期望的行为或测试行为模式或生物效应。

诸如图1A的化身、数字实体或动画的创建需要用于神经系统的构造、可视化和动画的建模方法。用于神经模型的新模型环境和方法被公开，并可以称作大脑语言(BL)。BL允许用户从基于生物的神经网络模型创建动画和实时可视化，并允许在交互式背景下查看模型效果。例如，图1示出了模型的大脑和眼睛21的图像，部分22和变量、输入或输出23、24、25。这种视觉环境不仅适于创建模型，对于模型的开发和模型的可视化也是理想的。可视化可以使用用户界面，以允许调节网络或允许配置输入以便被用户接收。模型可以使用照相机、麦克风或根据需要其它任何传感器可视地、可听地或图形接收输入，提供输出。不同形式的输入可能需要具有适当的包装器的不同的输出模块，以将数据合并到模型中。

BL建模环境提供用户和模型之间的双向通信。在实施例中，模型可以与用户通过视觉和/或听觉通信进行交互。这意味着模型可以发出声音、改变方向或位置、以同样方式对用户作出反应，并且优选地这些动作应当是逼真的以及类似于人的。在一个示例中，如果用户没有注视模型的方向，则模型可能会哭。替代性地，模型可以监视并对在其环境中的声音或动作作出反应。在进一步的实施例中，环境中的声音或动作可以影响模型随时间的操作。动画、环境(通过传感器)和神经模型之间的交互是可能的，原因是建模环境提供用于复杂系统的互连的丰富结构。这提供了测试、改进和优化模型的手段。

图2图解说明了动画输出，它是幼儿的脸部和上身的3D呈现。输出呈现可以显示模型结果以及影响模型。例如，系统可以实时地分析视频和音频输入以使用行为模型对护理者或同行的行为作出反应。类似地，模型可以被动画正在注视的方向和任何外部声音或动作影响。外脸部可以使用生物力学信息或建模来呈现。在动画中，这通常是基于肌肉的形状。在替代性实施例中，输出可以是机器人、卡通人物或其它装置的一部分。这些可能不直接与人或类似人的特征类似，但可以共享类似人的动作或响应。在基于动物或类似人的特征的实施例中，模型的生物基础可以允许或要求产生更逼真模型的逼真建模限制。与动画输出31一起，还可以显示许多变量、输入或输出32以提高对模型的理解。

系统还能够描述和制作数字实体的动画。描述允许数字实体通过模型部分的结构和布置被查看。由于设计和动画是紧密耦连在一起的，这使得用户能够高效地构造模型，而不要求创建单独的神经模型和动画模型，然后再在后面耦连。模型的描述可以包括系统是什么以及系统的各部分如何连接的运行数据和/或描述。数字实体的动画与此描述紧密耦连，但增加了与系统如何运行以及系统的每个部分如何在时间步长中操作的计算和图形信息。模型的紧密耦连是由包含及直接链接图形、计算和/或变换元件的模块产生的特征，使得每个模块形成总模型的一个区断。这允许组件级的模块被构造成凝聚连贯的整体，或者组合形成连接模块的结构。

在一个实施例中，模块可以包括用于脸部动画的肌肉级的组件。这可以由神经行为模型驱动，可以具有与肌肉有关的图形元件和与肌肉的操作有关的计算元件。肌肉组件可以从模型接收建议采用的优选位置或动作的输入。神经网络模式发生器可以从类似的肌肉组件的集合接收输入或预期输出，并将他们组合，形成用于较大肌肉或肌肉区的连贯的输出效果。因为图形输出的低级控制，可以形成非常复杂的脸部表情。这是因为模型不仅尝试组合一系列可能的表情，或者将脸部的数据点的网格匹配，而是基于动物或人类的解剖或生物系统构造脸部表情。稍后描述的其它实施例可以通过输出或表情和有限元弹性的组合提供连贯的脸部表情。

对模型的图形和计算元件的低级控制还提供在细节级的范围内学习模型的各个方面的能力。例如，如果特定肌肉的动作是重要的，则模型可以局限到显示这个动作，同时维持模型的剩余部分的计算或操作。类似地，模型可以显示输出的图形动画和关于模型的计算的输出，包括此计算的图形输出。例如，小孩的模型可以用来探究多巴胺对眨眼率的效果。主要的图形输出可以是小孩的脸部或头部以及其脸部运动。然而，小孩体内的多巴胺水平的曲线也可以可视化，以便类似于图2中所示的进行比较。在第二示例中，小孩的模型可以用来与用户交互，以对多巴胺对特定行为的奖励学习的效果建模-例如，当小孩作出某个表情时，用户积极地应答，然后多巴胺调制可塑性的学习效果意味着此表情极有可能被重复。用户可以看到小孩脸部行为的变化，还看得见纹状体(striatal)神经网络的突触权重的变化。

在一个实施例中，仿真神经回路的可视化可以允许用户在任何给定时间或者在更示意性的显示器上看到产生行为的在神经解剖背景下正在起作用的神经回路。此模型的特征是用图形观看皮肤下面，看到对激活脸部肌肉有贡献的神经回路模型的活动。BL中可用的查看形式的范围允许用户在神经解剖背景下随心查看模型的各个部分以及提供更加传统的“数字集中的”显示器，这可能更适于更加抽象的模型以及实时模型参数修改。

可视化可以通过向来自模型中适当模块的多巴胺变量的多巴胺变量或连接增加图形元件或可视化元件来实现。用户然后可能想检查药物对多巴胺/奖励系统的效果。这可能涉及将来自药物的连接器增加到神经行为模型的模块。用户可能想要看到这是如何影响神经系统的一些部分的操作的。这还是可以通过创建或激活与系统的该部分关联的图形或可视化元件来实现，这可以在多个等级上从脸部组件到个别的神经元模块被激活。这是可能的原因是仿真是由具有所需结构的模块的组合构建的，模块具有计算和图形元件，使得基于计算或数据的处理和图形处理可以被个别地或单独地研究、描述和修改。基于模块的方法还允许通过在所需结构中引入另外的模块来增加计算或显示元件的进一步的细节。以此方式，产生例如脸部行为的模型的状态可以通过图形和示意图或者通过探究映射到底层神经解剖的活动而被可视化。

动画/图形

图2示出了具有类似人的脸部的动画。逼真的脸部和脸部表情的产生和动画制作可以通过使用模型来实现。神经控制系统作为用于脸部动画的产生模型是优选的，原因是它通过构造表情的块来构造脸部运动。这可以有助于创建数字实体或虚拟对象中的更加一致的总体表情。脸部运动的神经控制需要使用多个并行系统，包括自发感情系统，他们在解剖学和功能上与脸神经核不同。基于与神经系统的连接控制脸部动画或表情的能力提供了产生逼真的动画并配置和优化动画以便使其更加类似人的手段。模型的脸部动画可以基于脸部运动系统的架构使用神经解剖模型。这可以从与模型关联的其它模块获取输入，不过优选是基于已知的科学模型。在系统的实施例中，脸部或其它图形特征可以形成结构的单独部分或者单独的结构，以便集中在真实脸部的图形需要。此脸部结构然后连接或链接到神经行为模型，以便被控制。

在本发明的实施例中，复杂的图形输出(诸如脸部)可以由只包含或者大的图形数据的一系列模块形成。以此方式，脸部可以与计算方面更无关，以允许改变脸部(或者其它图形图像)的细节。脸部可以被设置为一组模块，第一模块代表脸部，所需结构中的多个模块则代表子特征。在第一示例中，模块可以只代表脸部的表面，或者在第二示例中，模块可以代表脸部和脸部后面的肌肉或者组织元件。脸部的特征可以根据上文讨论的获得，其中，一系列的脸部表情被计算、记录和描述。在一个实施例中，脸部表情可以在模型中混合，以产生复合表情。使用混合脸部表情的优点是这确保表情是完整的，使用所需肌肉的全部。例如，一个人强颜欢笑可以通过笑容的非对称特性与发自内心的笑相区别，这是因为个别肌肉被命令，代替一起操作的肌肉的刻意的微笑模式。

现在参照图8，本发明的实施例示出了通过多个模块控制的脸部的脸部表情。脸部由多个肌肉形状81或者表示有鱼尾纹表面的脸部特征表示。这些肌肉形状的动作和图形表示是由一系列表情模块84、85、86提供的。表情模块可以具有对于肌肉形状81的预定义权重，使得当被触发时，他们给脸部提供权重、强度或输入，以产生适当表情。预定义权重可以由之前的数据捕获来获得。例如，表情模块可以涉及皱眉84、笑容85和愤怒的表情86。脸部表情可以由用作表情发生器87、88、89的一个或多个模式发生器来控制。表情发生器87-89提供混合和成形多个表情模块的手段。例如，父母亲可能要求愤怒的皱眉，这可通过混合愤怒的表情和皱眉的脸来实现。在其它示例中，表情可以更加独特，例如组合笑容和惊讶，以产生愉快的惊讶的整体表情。表情发生器可以包括基于其输入变量预先训练的响应曲线。

表情发生器可以链接到神经行为模型，具体地链接到针对感情的模型。例如，表情发生器可以连接到用于惩罚90或奖励91的模块。表情发生器可以获取系统的明显感情中的任何一个或多个的输入，配置脸部表情的适当混合作为输出。系统可以包含于整体的结构元件95下，以便提供所需结构并支持系统的组织。在优选实施例中，系统包括与脸部表情系统关联的一个或多个学习元件。例如，学习元件可以改变表情发生器的权重，使得在延长的时段中为做出特定表情而被奖励的模型具有对于奖励表情更强的权重，因此更加频繁地呈现表情。通过调节的学习也可以由模型完成。例如，将刺激引发的感觉活动与调节之后行为的感情触发关联的关联模块会通过只暴露于刺激而触发行为。这类似于“经典条件反射”或巴甫洛夫条件反射。

图形输出或动画可以通过使用脑干或皮层模式发生器组成，使用形成为模块的生物合理的再现神经网络模型建模，产生在脸神经核中解析的活动，再作为动画权重输出。如所示的，模型的图形输出以及特定的脸部模型被设计成由从仿真的运动神经元产生的肌肉激活来驱动。运动神经元可以包含于单独的模块中，或者可以形成模块的图形部分的一部分。脸部表情几何流形(geometric manifold)由对个别肌肉激活以及明显非线性的组合激活的效果进行建模来产生。图形动画可以使用包括扫描、几何建模和生物力学仿真的过程。

脸部表情流形可以使用个别肌肉激活的综合生物力学仿真来生成。这提供了这样的优点，即图形输出是各个特征的阵列中每一个的组合，但形成单个连贯和灵活的整体。系统还可以允许各部分被打开或关闭，使得模糊部分可以被查看，或者某些特征可以被集中。当系统中包含的模型正正在仿真人的大脑或其部分时，关闭计算模型的某些部分可以引起系统象已经接受到脑损伤那样表现。这可以被称作合成病变。

系统还可以允许艺术性地对脸部表情建模，以便允许构造具有类似人的品质的风格化的人物或卡通。使用物理型模型的优点是与模型的未来机器人(例如在类人型的机器人)实现兼容。脸部表情可以基于脸部生物力学的有限集合，然而，在优选的实施例中，结构与脸部的解剖紧密匹配。数字实体可以包括化身以及显示或音频-视觉输出，包括光、卡通人物、颜色或读者已知的各种其它输出或显示。

系统可以包括深的和浅的脂肪层、深的和浅的肌肉、筋膜和/或连接组织的模型。脸上的变形或脸部运动的效果可以通过使用大变形有限元弹力获得，其用来通过仿真的肌肉激活使脸部变形离开平静位置。每块肌肉单独的以及与通常被共同激活的肌肉组合的动作可以被仿真以产生分段线性的表情流形或脸部运动模式。在一个实施例中，预先计算的脸部几何结构在模型中被组合，以使用逼真的变形和皮肤运动产生实时的脸部动画。然而，其它方法可以被开发以产生预先计算的几何结构或在运行中处理几何结构。在本发明的实施例中，图形输出可以用来驱动机器人的脸部或类似的物理表示。此外，脸部的物理表示和图形输出能显示关于图形输出(诸如紧张或舒展或压力)的进一步的细节。

学习元件

模型还允许学习和/或情节记忆元件。这些元件可以以存储数据值或权重的集合的模块的形式实现。权重可以与神经网络相关。在一个实施例中，至少一些权重是突触类权重。权重可以改变或适应环境或模型的输入中的变化。例如，权重可对多巴胺水平作出反应，其中，较高水平可以指示更加有塑性的状态。以此方式，模型的神经网络可以自动调节，结果可以随时间变化。社交学习的动态性对开发逼真的交互是关键的，作为与小孩交互的一方或用户会预料到在提供正或负的增强反馈时小孩会改变其响应。学习模块可以形成模块的计算部分的一部分，还可以根据需要如上文描述的以图形形式显示。

学习模块可以是关联学习元件或关联引擎或模块。例如，模型可以被训练成使得模型通过对之前的事件作出反应来学习。正增强周期可以出现在与用户的反应似乎表现出成功的结果时，成功的结果通过系统鼓励权重或路径的增强。两个变量、模块或输入和输出之间的关联指示在他们之间形成的关系，其中，第一个的变化直接或间接地引起后一个变化。在一些情况下，多个关联可以形成或者可以来自相同的模块/变量或刺激。这意味着下一次相同的事件出现时，以类似的方式是优先的。第二示例可以使用负面示例，其中，权重基于对一些刺激的负面响应而变化。在交互周期中，这允许在关联引擎中构建优先权重集合，对于模型的反应进行变化或修改。在一些实施例中，刺激和权重之间的关联可以是非直接的、过滤的或被通过系统或其它学习模块的路径影响。在一些情况下，特别是当关注生物系统时，学习过程可以适当地是非直接的，变化的全部效果只在虚拟对象的行为中可观察到。即，不容易察觉特定的权重是如何变化产生效果的。

在一些实施例中，学习模块可以取决于内部活动或内部源或刺激。这允许系统产生内部世界，而不是只取决于外部刺激。例如，内部稳态失衡(例如疲倦)会影响行为，不涉及外部输入或与其无关。或者行为可能受内部产生的历史/记忆影响，所以会是非直接的内部响应。在另外的实施例中，与天气系统类似，神经网络可以在其活动中是不断演化的，其中的一些呈现混乱行为，以非线性方式取决于其过去的状态。在一个实施例中，系统包括设计为中央模式发生器的神经网络，中央模式发生器即使在与外部刺激隔离时，也生成某些行为动作。例如，咿呀语可以由有节奏地操作的中央模式发生器(CPG)产生，这可以为学习模块提供基础。在其它实施例中，学习网络可以形成内部刺激之间的关联，反馈环只具有非直接外部输出或主要集中在模块之间的交互之间的变化。

人们并不知道CPG已经用于数字动画中，CPG提供创建活动的时间序列(可能是周期性的或有节奏的)的方式。此活动可以是系统的核心特征，在生物上是合理的，允许神经网络或模块的计算元件产生模式。例如，类似哭或笑或呼吸的行为是由中央模式发生器驱动的。中央模式发生器可以通过使用拟合算法将动画拟合到递归神经网络(RNN)来构造或编码。在激活RNN时(通过例如激活信号)，可以产生模式。产生的模式将可变性引入到动画中，所以动画不会完全重复(原因是它由潜在的混沌系统产生或一部分具有潜在的混沌系统)，但具有相似的重复。例如，这可以基于相似的输入提供响应的可变性，我们将相似的输入与一些生物行为关联。

在一些实施例中，可能期望固定模块的关联。例如，模型可以被训练成以特定方式动作，这可能不需要改变。替代性地，系统改变或修改的能力可能随时间或神经行为元件变化。在这种情况下，关联引擎或模块可以被称作固定的或模式模块。模式模块可以用于图形元件，包括预先构建的外观(包括脸部表情)。可以有可塑性变量，其可以控制关联模块或学习模块可能的变化量。这可以通过限制任何时间步长的权重的可能变化来起作用。模块的可塑性允许调节变化速度，并且可以被优化以在记忆的保持和新记忆拾取之间折衷。在一些情况下，单个模块的权重可以具有变化的可塑性。可塑性可以受反馈以及(诸如来自神经递质的)外部调制信号影响。

例如，关联模块可以用来教导模块玩简单的游戏(诸如乒乓球)。模型可以具有为乒乓球屏幕的视觉输入的刺激，并通过移动其眼睛输出乒乓球拍的位置。增强手段可以通过增加神经递质(诸如多巴胺)来提供。当模型成功地通过发出咿呀声的运动用乒乓球拍击中球时，模型接收更多的多巴胺，神经行为系统可以将此与球/乒乓球拍的跟踪关联，增强与此有关的关联模块。

示例性模块

现在参照图6，通过眨眼的实现示出了模型的灵活性。此特征可以被并入作为如图5中描述并显示的脸部61、眼睛62和角膜63的脸部结构的一部分。眼睛的眨动是通过动眼系统协调的，使得眨眼易于在扫视中出现。在一个实施例中，系统可以由具有适当的神经网络的模块来建模。在动画模型中，眨眼系统也必须具有图形元件-链接到眼睑和眼睛周围的肌肉。因为眼睛系统的结构化和组合特性以及被加入的计算数据，这些连接是直接的。然而，眼睛还与大脑的其它区域有复杂的关系。例如，眨眼率可能受多巴胺活动的影响。模型的结构允许此完全不同的复杂系统在不对眼睛系统进行改动时，提供眨眼系统的输入。如果一些形式的反馈进入神经系统，则这也会被简单地连接。互连两个系统的能力可以依从于模型的层级结构和每个模块的不同特性。

在另一示例中，我们可以考虑当环境出现变化时会发生什么情况，例如，当模型的视场出现变化时，这是由照相机检测的。照相机的输出映射到仿真视网膜，其检测亮度变化，并映射到上丘的活动，上丘的活动分解竞争输入，并指导动眼系统(由多个神经核组成)生成扫视眼运动，扫视眼运动被发送到动画系统。不期望的刺激引起多巴胺通过构造(tectonigral)路径释放。如果影响基底神经节的新的或奖励的多巴胺释放，在刺激下下凹的眼睛，通过赫布(hebbian)可塑性修改当前的运动活动和以后的响应。杏仁核将当前的情绪状态与刺激关联，可以触发下丘脑的荷尔蒙释放，激活脑干运动回路，驱动脸部肌肉，通过激活预先计算的生物力学仿真的变形产生动画。子系统的响应和可塑性受不同的神经调质和荷尔蒙水平的影响，他们也影响有效状态。因为模型的行为受其历史以及外部事件的影响，动画由复杂的非线性系统动态特性产生，通过参数生理学约束自调节。这基于视觉环境变化和神经系统的生物理解描述特定的反应集合。然而，应当理解复杂性可能不只通过描述的模型表达，模型可以变化以根据需要包括或去掉某些部分或特征。

应用

为了提供所描述的系统和方法的可能使用的示例，简要讨论涉及游戏环境和广告环境的应用。然而，本发明可以不仅仅局限于这些实施例。在游戏环境中，用户可以控制与其它游戏中的人物交互的动画人物或虚拟对象。在许多游戏中，这些人物的动作是非常简单的或者类似僵尸。这些游戏人物可以使用本发明的实施例实现，有助于克服许多游戏人物的类似于计算机或类似于机器人的特性或特征。类似于计算机的特性可以包括具有不断的交互或者具有不变化的交互。

基于神经行为模型的人物可以具有宽范围的技能或者没有技能，同时代表非常逼真的交互。而且，游戏开发者可以以直接方式调节人物或者允许人物学习，以便根据应用提供宽范围的不同的人物类型。例如，人物可以被建模成或多或少对神经递质或其它变量(神经调制)可接受，诸如催产素或多巴胺，或者根据该人物的期望使用，具有更慢的反应时间。模型的互连图形部分使这些变化清楚、令人信服，例如人物如果沮丧，则可能会由于交互表现出沮丧，这种沮丧的脸部表情可能是相当逼真的和/或基于用户和人物之间的交互平滑变化的。这可以提供另外的优点，原因是它能够创建具有不同交互能力的多个人物，以产生复杂世界。

具有学习方面或模块的人物允许在人物和用户之间的交互被记住，神经行为模型可以在人物再次相遇时是逼真的。例如，用户对其友好的人物可以具有记住此情况的学习模块，并在下次交互时进行积极的交互。以此方式，用户和人物之间的交互在图形上是逼真的，会以现实或有趣的方式通过一系列交互发展。

在另外的示例中，系统或方法可以被应用到或与广告装置、显示屏或网页关联。在此示例中，模型可以与用户交互以呈现想法或产品。模型可以具有为用户脸部的视觉输入的刺激，提供用户可以看到的动画视觉输出。用户的交互不是单方面的，而是交互式的，这里，用户对某些信息元件的不同响应可以引起模型处理响应，对关于下次呈现什么或者如何呈现此信息作出选择。同时，模型的图形或视觉元件呈现逼真的和有感情的脸部表情，以便改善与用户的关系。因为模型组合了图形和处理元件，它可以构建强大的连接，其至少部分可以缩小恐怖谷效应。模型的神经行为信息还可以用来判断广告的效果。模型的处理或图形还可以被修改，以便提供期望的服务。例如，汽车穿梭餐厅可以具有接收订单的模型，其具有类似人的品质，以便克服任何反计算机的偏见，还可以由类似于与餐厅关联的人物的图形输出来表示。

在另外的示例中，系统可以用在人机交互环境中。机场登记通常是人流密集的，要求乘客很快通过。然而，有限的成功使用化身或数字实体与乘客交互。这部分是由于缺少化身的交互性。然而，基于神经行为的化身能够基于乘客响应改变行为以提供更好的服务。这可通过视觉地监视乘客或者通过查看由乘客提供的答案来实现。描述的模型提供能够感测和改变行为以及可扩展或可适应不同情况或乘客交互点的系统。

系统操作

系统可以在通用计算机上运行。系统的架构可以包括多个等级或数据结构。在一个实施例中，在模型架构中有多个等级。这些等级可以包括：

·定义每个模块类型和功能的编程；

·组合和排序多个模块的结构；以及

·提供模块之间的联接和通信的结构

将模型分成包括不同细节水平的模块的层级允许模型中的模块之间的广泛互连，原因是模块之间清楚分开，但整体结构提供连接他们的手段。例如，如果连接是对眼睛，则眼睛可以与脸部或鼻子分开，允许不影响剩余的模型建立与眼睛的新连接。模型的组织结构还允许容易地找到眼睛并产生链接。在一些实施例中，连接可以在模型中的基本上任何变量之间进行。

这可以允许图形与神经模型交互，形成复杂的动画系统。在一些实施例中，所描述的结构提供以直接方式产生复杂的动画的能力，原因是它使设计等级和技能分开和区别。

这允许第一用户创建模块；第二用户适当地构造和对模型分组，第三用户建立模块之间的连接和数据流。连接可以看成是描述模块之间或者模块或系统的变量之间的相互关系的一种方式。在一些情况下，单个用户可以执行任务中的每一个任务，但可以以单独方式进行，以便可以在不影响系统或者不要求大的重构或重组系统时更新一个部分。以此方式，模型可以由模块或模块模板的库或集合构造。这允许将建模分成编码/准备部分和(模块/模块模板的)汇编和(连接器的)链接部分。汇编部分不一定要求编程部分的理解或者技能组，并且可以由模型结构领域的技术人员以直截了当的方式执行。模块模板可以是不用清楚限定功能的模块的宽泛描述。这些可以通过增加功能或图形来重新定义，例如由已知的科学模型来形成模块。库可以根据建议的构造方法包括模块和模块模板的混合。库可以包括能够产生行为结构或神经行为结构的模块的集合。

在一个实施例中，操作员或用户选择模块以包括到模型或网络中，选择模块之间的连接，调节与模块关联的参数以及模块在所需结构中的相对位置。操作员然后观察在屏幕上显示的数字实体或化身，调节会影响由模型控制的化身的响应的特征的模块选择、位置、参数和模块的连接的组合。例如，化身的人物可以通过改变所需结构的拓扑或布局来被影响或配置。新模块可以被增加，模块部分被复制或者结构部分(例如树分支)被去掉。模块或系统之间连接的变化也会影响人物-例如，如果不再在模块之间发射神经递质，或者传输不再那么有效。所需的配置量取决于差异的水平，或者化身或虚拟对象的行为之间的差异的重要性。

在一个实施例中，额外的信息处理能力是基于不同信号的精确定时，这对系统是可调节的参数。因此，模型的结果可以取决于信息是如何通过模型连接的。在一个实施例中，模块的相对位置可以是参数。这能够使模块的运动引起位置-参考数据被调节。在一个实施例中，单纯的暂时参考帧代替位置参考帧被使用。

模块应当首先或者在使用之前适于被模型识别。多个模块的结构或层级然后可以被创建。结构上的每个点或节点可以链接到其它节点，并且可以包含与来自库的模块的链接或指针。节点可以出现，并且可以被称作模块。模块计算元件或代码可以直接包括于在节点处的模块中。在所需结构或依从树被构建之后，可以进行结构上的节点之间的连接。这些连接可以被视作通过树的分支的网。通过以基本上非限制的方式链接这些点(使用模块和连接)，连接使得基本的依从变成复杂的开发系统。连接可以在不需要重新编译结构下被建立。以此方式，模型可以被实时地更新、测试或优化，并且具有快速的响应。依从树可以称作描述系统的手段，模块之间的关系可以通过编程语言来创建。

模型的特征是模块可以代表不同细节等级的系统。例如，基于层级结构和模型的设计，可以实现简单的基本系统以提供模型的基本功能。与所关心的特征关联的结构部分或分支可以使用许多关联的神经元或计算复杂度被高度开发到高的细节等级(低级系统)，同时剩余的模型以相对低等级的细节(高级系统)操作。所需的或使用的细节等级可以根据情况或可用的处理能力来修改。这对于难以预料所需的细节量的模型是特别有关的。在构建模型之前，之前的模型需要调节或选择细节等级时，此系统的灵活性可以允许连续操纵细节的等级。

现在参照图5，示出了示例性模型1的一部分的示意图。示意图图解说明了模型的图形、计算和生物特性之间的链接、结构和交互。从图的底部开始，示出了视觉模块50。视觉模块可以使用照相机或其它光学传感器或常设装置实现。模块产生包括具有宽度51和高度52的像素阵列53和复合数54(以区分RGB和灰度)的输出。这些输出可以连接到模块的其它部分。例如，他们可以成为脸部检测模块55的输入。脸部检测模块55可以被编程或另外被修改，以从图像中检测脸部结构，产生描述脸部56，脸部的坐标位置57、58，大小59和图像的面罩60的输出。类似地，来自视觉模块50的输出可以连接到如所示的运动检测器56，或者根据需要连接到一系列的其它模块。

所描述的系统的特征是一个模块(诸如视觉模块50)，其内部可以具有任何特定的结构。例如，照相机模块可以首先实现为黑盒子以用于测试目的，提供已知或恒定的输入。在需要时，适当的成像系统或照相机可以被插入到模块中。此过程要求包装器或识别结构被组织、编码或写入输入装置(或模型)周围，以便形成模块。包装器或模块定义器(definer)告诉模型如何与模块交互。应用包装器可能要求规定模块的输入和输出以及时间步长的动作。在准备模块后，将模块引入到模型中需要将模块链接到模型层级的一部分中，将输入和/或输出(由包装器定义)链接到其它模块。包装器或模型定义以模型保持明显但相关和可连接的方式引入或定义包含不同系统或模型类型的新模块到系统或模型中。模块的特征不是由模块被设置到其中的模型定义的。模型具有并入多个具有不同的动力学或操作或神经元的模块，并以简单的方式将他们进行组合的能力。可用的模块可以形成库或选择列表，其中多个预先准备好模块可以多次被并入到模型中。

模块类型可以指具体的模块实例，但优选指模块的首要或整体功能。例如，模块类型可以是图形的，其中，其具有使用输入变量的指令显示输入变量或显示图形的主要或唯一功能。类似地，动画模块显示图形元件，但也允许图形元件运动。模块类型可以是计算的，其具有将输入处理成输出的首要或唯一功能。还可以有不同的模型类型或子类型，诸如计算模型。例如，模块可以提供相对简单的计算，诸如图5的“胜利者拿走所有模块”，或者更加复杂的模块，诸如神经行为模型或生物仿真模型。这些可以分别称作简单的计算模块和科学计算模块，或者其它词语可以用来区分模块的子类型。例如，神经类型模块在输入和输出之间包括一个或多个神经元。接口模块可以从外部源接收输入或者向外部源提供输出，例如，照相机模块被设计为输入接口。模块可以是具有有限功能或不具有功能但产生用于其它模块的结构或组织的容器或结构模块。学习模块可以具有记忆或存储元件以提供变化的行为。模块类型还可以指模块的细节等级，例如高或低级模块。

视觉模块50、脸部检测55和运动检测器56可以在视觉系统模块57下面按层级组织。视觉系统模块57可以是容器或者还可以包括或包含操作代码或指令。视觉系统还可以链接到处理模块。图5图解说明了充当特征图58的神经网络模块。特征图模块58可以从脸部和运动检测器获取输入，产生与视觉图像的重要特征有关的一系列输出。这可以通过任何一个已知的手段来实现。在一些实施例中，可以使用生物类型神经网络，或者基于生物系统的模型。特征图58的输出然后可以被例如分开最强特征的“胜利者拿走所有”的模块处理。如图5中所示，模型的结构允许视觉系统的所有构建块被包含或被一起保存、定位或以有组织方式关联。然而，系统还允许模块之间的连接，而不管这些模块是在相同的结构中还是在不相关的结构或者不同的容器模块中。

视觉系统模块57在图5中显示为包含在头模块58中。头模块还包含注视系统模块59、脑模块60和脸模块61。可能的模块的选择不局限于所示的那些模块。模块可以分别包括构建头部模型所需的系统的一些部分。例如，注视系统模块59在头模块中，提供眼睛向哪个方向看的指令。这可能要求至少来自视觉系统57、脸部系统61的输入和给脸部61的输出。然而，可以建立与脑或模块60或另一模块，诸如眼睛62或瞳孔(未显示)的进一步连接。模块之间在容器等级上或直接与子模块的连接提供模型操作的很大的灵活性。在某个意义上，任何特征被表示为一个或多个模块，模块的输入和/或输出可以通过连接器连接到任何其它输入或输出。模块化系统的使用允许布局或组织模型的组件，提供模型的视觉形式，并允许配置和/或重新配置模型和其神经回路。

在本发明的实施例中，图形元件是模型所不可缺少的。这克服了与维持脑的复杂的生物模型以及个别的现实运动所需的动画有关的问题。在图5所示的实施例中，脸部模块61包含用于模型脸的图形和动画。脸部模块和子模块(诸如眼睛62和角膜63)包含于模块的结构和层级以及之前讨论的处理和计算模块中。在另外的实施例中，模块之间可以有另外的关系。例如，可以在眼睛模块62和视觉模块60之间形成连接，以便照相机看着眼睛的方向。图形元件与计算元件的组合是复杂的，原因是每个系统内部是复杂的，包括许多互连。然而，每个系统使用相同的或紧密相应的结构提供简单可理解的系统。这部分是由于避免了不同系统之间的冗余，以及所产生的模型对用户透明。

图形元件、传感元件和处理/计算元件之间的层级关系提供了可以构建和理解复杂系统的结构。不需要认真规划和优化复杂结构，模型可以被建立并以分段方式改进。例如，建模者/用户可以通过定义脸部和其组件的结构开始。在构建脸部61、眼睛62和角膜63之后，适当的图形可以包括于模块层级中。然后，可能基于生物模型，简单的反馈循环可以由视觉模块50编程以引导眼睛。因为所描述的层级结构，眼睛的运动取决于头的运动，导致一致的现实运动。效果可以通过层级使用每个模块中包含的变换指令来传送。眼睛运动还可以链接到视觉输入，其识别感兴趣的环境特征。此输入可以通过链接或连接给眼睛提供输入。眼睛系统可以获取这些输入的组合并起作用，以便匹配图形和计算输入。新特征可以通过另外的模块和增加的连接归入到现有的模型中。这允许创建模块的基础，然后适当时增加图形模型的附加复杂性，不必从开始重新构建模型。

在一个实施例中，可以通过考虑从输入(例如听觉/视觉外部输入)到输出的信息流来理解模型。所需结构提供通过模型的第一信息流。具体地，所需结构提供模块的布局或配置，使得信息被从属于其它模块的模块共享。此配置提供适合理解其中依从性是清楚的，复制或重复结构的部分是期望的系统或物理结构的信息流。第二信息流由模块变量之间的连接提供。此信息流在所需结构上优选以类似网的结构被构建，以便定义不依从于所需结构的模块之间的链接。

例如，这些连接特别适合神经递质/神经调质或在模型的多个模块上具有宽范围效果的类似物。连接或链接还允许修改连接或允许测试新连接。由于这些连接至少部分地与所需结构独立，大量的变化对连接是可行的，而所需结构确保模型作为整体保持一致的。所需结构和连接的相对复杂性可以变化。例如，在复杂的模型中，可能期望使用所需结构作为实质框架，使用连接在其之间进行链接。然而，为了获得更大的灵活性，借助进行更大数目的连接以在结构周围传送信息，可以使用简单的所需结构。

所需结构可以图解说明两个模块之间的清楚关系或依从性。例如，所需结构可以代表一系列模块(例如，头、脸部、眼睛、角膜和瞳孔)的物理关系。尽管在具有有限的所需结构的模型中，此信息可以通过连接传递，这使得可视地表示模型的部分，使用户修改模块的配置更加困难和不太高效。连接必须在模块之间传递更多的数据，连接必须被仔细地构造以确保重要的或必需的关系不被去掉。连接然后在不建立模块自身之间的依从性的情况下链接模块之间的变量。

在一些实施例中，所需结构可以形成系统操作的重要部分。优选地，操作是时间步长的。时间步长应当以足够快使得动画或输出表现为流动的速率出现。帧速率为40帧每秒可以视为流动的，要求每25毫秒有一个新帧。假定1.5-2.5毫秒的计算时间，这允许在需要重新绘制之前有大约10个计算时间步长-虽然如果需要图形输出可以或多或少被重新绘制，计算时间可以根据系统参数和模型复杂度变化。在一个实施例中，主操作可以涉及每个模块消耗一个时间步长。在此时间步长中，模块计算元件可以被更新。通常，图形元件在一个时间步长中没有任何变化。每个连接器然后用新变量更新，将这些新变量传送到连接的模块。然后，优选通过从所需结构由上到下，遵循变换指令，模型可以被重新绘制。如上文描述的，时间步长和连接器更新可以在重新绘制之前被重复多次。类似地，一些模块可以具有中断或保持，使得不象模型的剩余部分那样频繁地更新。

模型可以通过具有第一库或集合或列表来实现，第一库或集合或列表包括变化的宽泛的模板模块或模块类型，诸如神经元模块、关联模块等。此库可以用来构建实现或描述模块模板内部的具体方法或模型第二库或模块集合。每个模块或模块的每个实例(由于模块在一个模型中优选使用多次)之间的链接的描述然后优选以BL书写。此描述解释模块是如何连接的，哪些模块具有图形输出。进一步的描述或代码可以用来提供模块之间的进一步的结构或链接。在优选的实施例中，至少一个描述是基于文件结构，其中，模块可以以文件结构排列，以建立布置、所需结构或层级。这种系统提供改变模型时的高度的灵活性，将创建单个模型的复杂性与适当地组合一系列模块的复杂性分离。

皮层的神经行为模型

现在参照图9，示出了皮层20和与相关模块及相关模块之间的连接选择的示意图。此可以称作外皮-视丘-基底核-循环。皮层模块可以具有神经元模块23，其集合了进入的模块和/或突触权重模块24或关联模块的活动，这可以实现可塑性或随时间改变效果。皮层20的输入来自感测图21。感测图可以用来处理从外部刺激(诸如照相机17)接收的数据。感测图21起将刺激的像素变换成神经元的作用，神经元可以输入到皮层中。

皮层可以具有与其它模块(诸如丘脑22)的反馈连接33。反馈环可以用来提供将感测感知集合到皮层的手段。正反馈环可以有助于将视觉事件或刺激与动作关联。皮层还连接到基底核。基底核29可以具有包括神经元模块和突触权重模块的多个相关或子模块，可以给皮层或通过丘脑给皮层提供反馈。尽管只显示单个连接31、32，可以建立与基底核的多个连接，另外的连接可以链接到示出和未示出的模块。基底核29本身或连接到路径的模块可以调制皮层和丘脑之间的反馈。即具有神经功能的中间模块可以增加结构的复杂性或适应性。神经递质/神经调质25(诸如多巴胺或催产素)可以用来影响结构的操作。这可以实现为来自模块的另一部分或外部刺激的连接。在优选的实施例中，神经递质(诸如多巴胺)会链接奖励值26，其中，高的奖励值是积极的，释放更多的多巴胺。

皮层还可以链接到输出装置，在所示的图中，输出装置是到肌肉激活28的运动输出装置，其通过脑干模块27连接。脑干可以包含模式发生器或递归神经网络模块，模式发生器或递归神经网络模块具有预先设置或可混合的预先设置的肌肉激活28。输出装置还可以用来显示模型中任何模块的操作。这些与动画或肌肉激活的显示分离，允许显示变量、突触权重或模型的其它特征的变化。如本文中讨论的，这可以通过具有功能和图形组件的每个模块来实现，图形组件根据需要在可见和不可见之间切换。替代性地，图形模块可以用来提高与这些输出关联的呈现或计算。例如，滚动曲线30可以链接到基底核29以监视变量中的任何一个或多个的特性。因为使用单独的模块，关于绘制变量的更多的计算或该曲线的呈现可能是可行的。在没有示出的另一图形输出中，突触权重的操作或变化可以被建模，或模块或模块内部的神经元之间的传输可以被可视化。

眼睛运动的模型

图10示出了控制屏幕上显示的化身的眼睛运动并在照相机接收对化身的刺激的系统。照相机与计算机视觉库通信，计算机视觉库与脸部检测单元通信。网络具有以下模块：SC：上丘；Tr：触发神经元；EBN：兴奋性爆发神经元；LLBN：长爆发式神经元；OPN：全中止神经元；MN：动眼神经元；Physics：物理型动态约束。模块基于他们之间的连接交互，形成生物类型的系统。

图11示出了具有示例性情绪反应模块的扩展系统或模型，情绪反应模块对脸的存在(FFA)以及促肾上腺皮质素释放因数(CRH)、B-内啡肽(BE)和催产素物理(OXY)的模型水平起反应。OXY参数是一种神经递质，它能够改变或影响模块的性能或操作，诸如CRH。例如，较高的OXY值允许更大地抑制CRH，这降低了压力和激活PL的痛苦行为回路的触发激活的机会。另外的模块有：Face Rec.脸部识别模块；CRH(促肾上腺皮质素释放荷尔蒙)；BE(β内啡肽)；OXY(催产素)；FFA(梭状回面孔区)；ZM颧大肌；以及PL颈阔肌。

参数的调节，例如神经递质(诸如催产素)的水平示于图12中。参数可以定义模块的功能操作方面。在这种情况下，数字实体或化身的响应和/或数字实体的特征响应通过调节与功能模块关联的参数而被调节。以此方式，特征可以在整体意义上改变，而不需要每个模块中的一系列变化。例如，在一些实施例中，调节可以传播，诸如从其中限定网络的空间中的模块或点辐射传播或者在网络上直线传播或者沿着连接或通过所需结构传播。在图12的网络情况下，OXY参数降低到50％。如果这反映生物催产素系统，则系统的动态特性被修改，系统变成更易于受到压力的影响，降低激活颈阔肌的痛苦回路的激活延迟。

图13包括由麦克风和语音识别模块提供的另外的外部输入或刺激，用于脸或声音的多模式识别。多模式识别器R在脸和声音识别同步时触发。两个信号到达R的时间可以取决于所需结构或连接或不同的处理路径。在此示例中，模块或连接中50ms的时间延迟确保适当的信号时间。在替代性实施例中，延迟可以用来确保信号同时或者在适当的时间步长到达模块。图14调节语音识别连接中影响语音和脸部识别信号的相对到达时间的延迟。在此示例中，与图13的网络相比，已经加入额外的延迟。

眼睛运动模型的开发

图15示出了获取视觉/听觉输入并产生输出动画的模型的示意图。图15的实施例示出了可以构造具有高水平的模型精密度和而且在需要时提高功能的复杂的生物型架构。示出了所需结构的一部分，其中，形成模块分组，这些模块分组在一些实施例中可以变成模块。在一个完整的模型中，所需结构可以更大，使每个模块分组适合于层级或其它结构。模型的结构允许在模块构建之后并入模块之间的互连，在模型开发时提供另外的复杂度。尽管此示例描述了脸部识别系统，但模型不局限于此，脸部识别系统可以只是完整模型的一部分。

首先考虑初始系统，其只包括计算机视觉、动眼、物理、脸部动画渲染和屏幕模块。模型的附加部分可以由此基础构建。例如来自照相机的计算机视觉输入供应给计算机视觉库，计算机视觉库用来检测脸部。计算机视觉输入还演示“黑盒子”功能或严格的计算元件如何能够与生物型系统集成。脸部的检测或者输入场的类似限制或集中(在此情况下是视觉)降低了模型的输入数据的复杂度。这创建了目标，目标被发送到上丘(SC)模块，上丘模块产生眼急动(快速的眼睛运动)，眼急动产生运动神经元的活动，这又产生眼睛的加速。

物理系统使用惯性约束使运动衰减，眼睛的逼真的运动往回供应到SC，以用于校正。物理模块例如通过限制响应的速度帮助降低不正常运动的可能性，并且帮助施加物理约束。眼睛的计算运动供应到脸部动画系统，脸部动画系统使眼睛的几何结构相应旋转，并在屏幕上对其渲染。眼睛运动可以往回供应到计算机视觉系统，产生凹区或视线；这允许模型的输入与输出相关，产生模块的反馈环或依从关系。

更复杂的模型还可以包括表情检测和表情反应。例如，视皮层、边缘系统和脑干PG可以加入到模型中。梭状脸部回区可以是用于脸部表情识别的卷积神经网络(CNN)，其触发不同的情绪行为(例如通过颈阔肌触发害怕，或者通过颧大肌触发微笑)。中枢模式发生器(CPG)可以用作响应于情绪的所需动作的基础。面神经核分解脸部肌肉活动，将动画权重发送到脸部动画系统，脸部动画系统使几何结构变形，几何结构被供应到脸部渲染器，然后是屏幕。

神经递质/神经调质还可以通过其与杏仁核(AMG)的关系并入到系统中。杏仁核具有(例如通过下丘脑)与自发和内分泌系统的连接(这些连接在此情况下可以涉及生物投射)。催产素(OXY)、促肾上腺皮质素释放荷尔蒙(CRH)和β内啡肽(BE)水平具有相互调节效果，在此示例中用来调节脑干脸部回路的触发。脑干CPG产生随时间控制脸部肌肉的模式。产生中脑腹侧被盖区(VTA)的多巴胺具有来自SC和AMG的自发连接，提供互连单独的神经系统的示例。单独地连接来自模块的配置的模块的能力允许以直接了当的方式加入并修改模型。

另外的输入可以包括于系统中，例如音频处理系统。这可以检测语音。新模块的并入还可以需要其它模块中的新模块，诸如扩展到包括多模式集成组件以混合或组合听觉和视觉输入的皮层。然而，新模块的加入不一定要求修改以前的连接，简化了模型的扩展。进一步加入到模型可以通过协调动眼系统和面神经核之间的眨眼来实现。使眨眼(这涉及眼轮匝肌(OOc)的眼睑部分)与扫视协调。

加入眨眼神经元模块来控制OOc肌肉，定时是通过与动眼系统的连接协调的。第二步可以引入从眨眼神经元到多巴胺系统的连接。自发眨眼率(EBR)显示为是多巴胺功能的关键标志。从VTA到眨眼神经元建立调节多巴胺连接。点连接表明多巴胺是如何能够通过在单独的系统之间加入新连接来调节眨眼率的。这调节眨眼率，同时仍与扫视活动协调，说明使用模型连接不同的神经子系统的灵活性。当模块形成包括例如一系列模块分组或关联模块的所需结构时，可以在这些分组内或外通过连接建立链接。这些连接允许加入高水平的效果或者在不同的模块分组上协调效果。

另一结构

再次参照图5，示出了具有模块的层级结构的系统，所述模块通常包含于其它模块内。在系统的实施例中，个别模块可以通过从上部模块到底部模块沿着树引用而被引用。例如，FFA着色器可以作为头/脑/FFA/着色器引用。替代性地，在一些实例中，使输入和输出依从层级中更高的模块是优选的，例如，通常使用的输出(诸如脸56)可以分配给视觉系统模块作为可用输出，以便使引用脸部更加容易。

现在参照图7，示出了模块100的表示。模块100包含与计算103相关的数据元件101、与图形104相关的数据元件102和与模块107的变形相关的元件。模块的任何依从部分可以包含于模块100中，但优选通过其中包含模块的层级树结构被包含。树结构具有多个模块由其分支的中点或模块，每个较低层的模块能够具有另外的子模块。在一些情况下，树结构在主分支之外可以具有另外的模块。模块100的输入109和输出108可以是任何一个或多个元件或模块依从性中涉及的变量。图形元件或数据102可以包含与模块的动作关联的一系列模块105和产生图像中的适当水平的光的一系列着色器106。替代性地，模块可以提供使计算的一部分可视化的图形输出。计算元件可以包含指令或指向库结构或类似物中包含的计算块的指针。在一些情况下，计算元件可以被限制，模块充当常数或容器模块，以提高层级的依从性结构。在其它实施例中，计算元件可以包括大的复杂的神经网络或单个神经元。

变换元件可以提供调节模块图形如何作为动画的一部分变化或者变成依从结构如何影响图形元件的数据。这在层级结构用来遍历模型时是特别重要的。每个模块可以具有变换部分，变换部分提供如何对层级中上面模块中的变化反应的指令。例如，如果脸部改变方向，则脸部的特征和脑中包含的特征也应当旋转。脸部的旋转会影响眼睛的旋转，这可能影响瞳孔的适当旋转。层级结构提供使这些变化是一致的手段，所以当绘制元件时，元件的变化可以适当地与周围元件组合，以便产生逼真的动画。尽管对变换的描述是基于模型的层级结构的，但应当理解可以使用以不同方式但具有类似结果链接变换手段的替代性的结构方法。

架构

系统结构可以包括第一和第二模型子结构(数据结构)，其中，第一子结构(等级)由多个计算模块的布置定义，第二子结构(等级)由链接模块变量的连接器定义。第一子结构可以是有方向的用图表表示的场景图。这可以允许仔细布置模块。第二子结构可以是方向图，其中连接形成边缘，模块形成顶点或节点。这两种等级的子结构提高了操作模型的有效性，原因是数据与控制代码分离。因此，建模过程变成使用第二子结构将来自第一子结构的多个模块(这可以通过使用模块变量)链接的方法，而不是构建完全链接的系统或设计过程流。结构还允许变量或常数在模型正在操作时被更新。这是因为由于关系或连接与数据分离，所以模型并不需要被重新编译。

第一子结构可以实现为多个模块，或者组织多个模块的结构。第二子结构可以实现为用于组合模块的指令的集合。在一些实施例中，指令的集合可以位于多个单独的文件中。单独的文件可以分别定义模型的连接的一部分或子区段。在特定的实施例中，指令可以位于与模型相同但分离的结构中。

第一子结构(模块)

第一等级可以包括多个模块的组织结构。在一些实施例中，这可以是树型结构，其中，多个模块基本上按照层级组织。多个模块可以排列在类似目录的文件夹结构中。这在容器模块存在时是特别有用的。图3示出了一种可能的结构，其中，容器模块“场景”保存许多模块，包括容器模块“脸”。模块“脸”保存两个另外的模块“眼睛”和“嘴”。这可以存储在类似文件的结构中，其中，“场景”在顶层文件夹，“脸”和“头”在第一级子文件夹，“眼睛”和“嘴”在子-子文件夹等等。以此方式，模型结构是清楚的容易观看的。模型元件可以通过拷贝所需级别的文件夹和所有包含的文件夹而被拷贝或复制。这在例如每只眼睛是独立的时是有用的。相同的模型结构被复制，然而，每只眼睛可具有不同的控制信号，或者可以进行小的变化。

第二子结构(连接器)

子结构包括与模块相关的一系列指令。指令可以包含于与整个模型或动画相关的单个文件中。在优选的实施例中，第二子结构包括一系列单独的链接文件。在一个实施例中，指令文件包含于与模块相同的结构中。指令文件包含于在所需结构中依从他们的所有模型之上一级(或更多级)的层级。例如，链接“眼睛”模块的指令可以优选在包含“脸”模块的文件夹中。然而，指令也可以设置在包括“场景”模块的文件夹中或设置在“脸”模块之上的任何等级。

直接在模块上的等级中设置指令是有利的，他们称作这提供了有效的建模技术。具体地，如果需要对特定模块或其指令进行变化，则可以简单地找到正确位置。其次，模块和相关的指令的搭配允许整个模块使用适当的指令被快速复制。这可能是有用的，以便将模块移动到不同模型或在模型内部拷贝模块。在一个实施例中，在第一子结构的每个阶段有单独的指令，使得：

·“方向”指令在眼睛文件夹中，

·“眼睛”指令在“脸”文件夹中，以及

·“脸”指令在“场景”文件夹中。

操作

在模型运行时，它编译包含创建其模块、连接器、几何结构等等的配置文件的第一和第二子结构(优选如上文描述的排列在目录树中)。所需结构可以是目录树的形式，其结构可以变化，但能够构建多个模块和模块之间的链接。在每个时间步长，结构必须被遍历并被更新。这可以根据如上文描述的模型的具体设计从底部向上或从上部向下的方法进行，但在头在上部的层级结构中优选是从上到下。每个模块是基于当前提供的输入评估的。这包括所有容器模块和其子类。如果模块(诸如容器模块)没有任何代码，则不会发生任何变化。然而，如果代码或计算材料存在，则会发生变化，并通常独立于系统的其它部分。时间步长的结果然后发送到输出字段。在第二次通过结构时，可以在连接上拷贝输出。这在下一时间步长更新每个模块的输入。在一些实例中，可以有在连接上进行的处理，例如保持或阈值，他们可以在一个或两个阶段被更新。如果出现实质性变化，或者已经过去固定的时段，则模型可以完全地重新构建，包括基本上所有的元件以确保连续性。

在具体的示例中，如图4所示，具有相同名称(不包括任何文件扩展名)的文件或文件夹认为包含属于相同对象的数据。例如，几何结构数据(.obj,.frag,.vert,.geom,.mtl,.tex,.trans,或图像文件)必须具有与它所属的对象相同的名称，并且应当设置在相同名称的文件夹的内部。对象定义文件或指令文件(.blm,.blc)可以设置在与此文件夹相同的父目录中。如图4所示可以规定具有几何结构、着色器但没有纹理的简单模块。因此，当代码正在操作时，它可以读，连接具有共同名称的项目，这些提供模型的附加细节。

模块

如果需要新模块，则可以与建模系统分开准备新模块。模块可以根据实施例和具体的模型而不同，但可以包括：

动画；

·提供已知的时间步长，

·包括动画文件，

文件夹模块；

·也称作容器模块，

·保存其它模块，

神经元模块；

·例如，泄露积分触发模块，

·多泄露积分神经元，

突触权重模块；

·可以与神经元模块组合，形成自包含人工神经网络，

视觉界面模块；

·滚动显示模块以演示输出，

界面模块；

·视觉模块，

·可以控制与外部世界(例如照相机或麦克风)的交互，

恒定值；

·不依从于时间步长，

黑盒子

·常备模块以执行任务或以后被更新，

空；

·空模块可以被忽略。

另外的模块或模块类型可以根据需要创建。

模块描述

在模块可以在建模环境中使用之前，必须首先创建。这涉及定义模型的输入和输出，以及他们之间的关系。然后设置模块定义。

例如，考虑已知的神经元模型，诸如泄露积分触发神经元，这可以通过下式用数学公式描述为：

其方便地重写为：

模块定义列出了变量，描述在使用时模块的动作。变量是重要的，原因是变量允许在模块之间建立连接或链接。变量是如何能够访问模块的参数，以便建立链接或连接。一些变量可以引用多个变量，而一些变量可以只引用单变量。一些变量指定为输出变量。这些变量是模块的计算过程的，被定义为不能从外部进行修改，是有效的“只读”变量。其它变量指定为输入变量。这些变量影响模块的输出的计算，但他们本身不能由模块改变。他们是能够在外部修改或者只是读的“读-写”变量。有时候，一个变量可以指定为既是输入又是输出。这意味着变量可以从外部修改，但其值也可以修改为模块的计算结果。

除了容器模块之外的每个模块类型可以需要文件来设置其类型和其参数。此文件的第一行通常标识其创建的模块的类型。下面的行包含与第一行中规定的类型相关的设置。在具体的模型或动画中，模块文件(例如.blm)可以基于定义的模块之一(诸如泄露积分触发神经元)创建对象。模块通过定义所需的输入和输出被插入到模型中。模块的示例性代码示于代码部分A。忽略格式，此示例性模块首先命名模块类型，然后列出每个输入，之后是默认值。如果在插入模块时，没有声明输入，则可以使用默认值。以此方式，神经元模型必须只创建一次，然后可以在多个点通过创建适当的.b1m文件插入到动画或模型中。

BL_leaky_integrate_and_fire_module

number_of_inputs＝<number_of_inputs>

[voltage＝<starting voltage>[＝0.]]

[fired＝＜starting_fired_value>[＝0.]]

[fired_value＝<fired_value>[＝0.]]

[firing_threshold_voltage＝<threshold_voltage>[＝0.]]

input_frequency_constants＝<input_frequency_constants>[＝0.]

[input_voltages＝<input_voltages>[＝0.]]

[maximum_voltage＝<maximum_voltages>[＝0.]]

[membrane_frequency_constant＝<membrane_frequency_constant>[＝0.]]

[minimum_voltage＝<minimum_voltage>[＝1.]]

[reset_voltage＝<reset_voltage>[＝0.]]

[tonic_voltage＝<tonic_voltage>[＝0.]]

[use_firing＝＜use_firing＞[＝0]]

[time_step＝＜time_step＞[＝0.001]]

代码部分A

变量和连接

变量和连接器提供第一子结构的多个模块之间的链接。变量提供连接器访问模块的参数的手段。一些变量可以引用多个变量，而一些变量可以只引用单变量。变量可以被定义为内部或外部可用的，并在需要时可编辑。模块可以具有几个变量，变量可以是输入或输出(有时是其两者)。输出变量由其拥有的模块的计算过程确定，可以由连接器读但不能被修改。输入变量是模块计算的输入参数，可以由连接器读和写。当引用变量(或就此而言的任何模块或连接器)时，语法反映数据的层级、基于目录的结构。

变量可以被创建为模块构建定义过程的一部分。变量可以通过指令链接在一起，创建模型或动画。指令链接一个或多个变量，使得在一个时间步长中，变量可以在模块之间传递。在一些实施例中，变量还可以在模块之间传递时具有保持、暂态或其它处理，或者定时可以另外被调节。在一些实施例中，变量可以具有子变量成员。这提供了引用一组变量或组的成员的手段。例如，命名纹理数据的文件可以具有三个子变量：

·texture.data–引用纹理的颜色数据阵列；

·texture.width–引用纹理的宽度(单位texel)；以及

·texture.height–引用纹理的高度(单位texel)。

为了引用模块，在进行引用的目录开始，可以使用到模块的目录路径。例如，如果模块“test_module”位于与连接器相同的目录，则模块简单称作“test_module”。然而，如果test_module是称作“parent_module”的模块的子，且连接器在与parent_module相同的目录，则使用“parent_module/test_module”。变量可以认为是其父模块的子，通过使用相同的层级语法被引用。如果test_module具有称作“output”的变量，则此变量被称作“test_module/output”。可以适用上文描述的关于目录路径的相同规则。为了引用在parent_module目录中的变量输出(参见以前的段落)，需要使用路径“parent_module/test_module/output”。可以观察到靠近其关联的模块的文件中包含的指令在此实施例中提供简单的名称。

连接器

第二子结构将模块链接或连接在一起。连接器将模块的变量彼此链接。定义连接器的文件可以包括优选在第一行声明要创建的连接器的类型的标识符。连接器文件还包含类型特定的信息，尽管通常在至少一行中输入变量被传送到一个或多个其它变量。

可能的连接器类型包括但不限于：

·等同连接器

·绝对相等

·简单而公用

BL_identity_connector

simple_module/input_variables[0]＝another_module/output_variables[2]

another_module/special_variable＝a_third_module/output_variables[0]

·线性变换连接器

·在发送时对变量变换

·基于阈值的关系

·变量的组合

·变量的比较

·衰减求和连接器

·线性变换连接器和神经元的系统，诸如泄露积分触发(LIF)。将

输入的线性组合连接到输出变量，但通过使他们首先通过LIF神经

元来“衰减”这些输入的和。

在前述的描述中提到具有已知等同的本发明的特定组件或实体，则这些等同物如单独列出的被并入本文。

除非上下文明确要求为相反，否则在说明书和权利要求书中，词语“包括”等等要解读为包括的含义，与排他性或详尽的含义相反，即为“包括但不限于”的含义。

尽管通过示例并参照其可能的实施例描述了本发明，但要理解在不偏离由所附权利要求定义的本发明的范围或精神下可以对其进行修改或改进。

Claims (23)

1.一种用于制作虚拟人物或数字实体的动画的计算机实现的系统，所述系统包括

多个模块，所述模块具有耦连的计算和图形元件，每个模块代表生物过程并且具有与所述生物过程相关并仿真所述生物过程的计算元件以及使所述生物过程可视化的图像元件；

所述模块以所需结构排列；以及

每个模块具有至少一个变量，所述变量代表所述模块的过程的性质；

其中来自模块的变量被至少一个连接器链接到一个或多个模块，并且其中，所述连接器将所述结构中的模块之间的变量链接，并且所述模块和所述连接器一起提供神经行为模型，所述模块代表神经元的集合和通信系统，所述连接器代表神经，利用所述神经行为模型制作虚拟人物或数字实体的动画。

2.根据权利要求1所述的系统，其中，所述模块以层级结构排列。

3.根据权利要求2所述的系统，其中，所述层级包括树结构。

4.根据权利要求1所述的系统，其中，所述结构由所述虚拟人物或数字实体的生物性质或生物结构衍生出。

5.根据权利要求1所述的系统，其中，所述模块以层级树结构排列，所述层级树结构由所述虚拟人物或数字实体的生物性质或生物结构衍生出。

6.根据权利要求1所述的系统，其中，所述结构由进化的神经结构衍生出。

7.根据权利要求1所述的系统，其中，所述模块以层级树结构排列，所述层级树结构由进化的神经结构衍生出。

8.根据权利要求1所述的系统，其中，至少一个模块包括听觉或图形或视觉输入，并且至少一个模块包括听觉或图形或视觉输出。

9.根据权利要求1所述的系统，其中，一个或多个模块的图形元件包括所述计算元件的代表。

10.根据权利要求1所述的系统，其中，模块代表一个或多个神经元。

11.根据权利要求1所述的系统，其中，来自模块的变量可以通过连接器链接到多个模块中的任何一个。

12.根据权利要求1所述的系统，其中，所述模块中的至少一个是关联模块，所述关联模块通过变量权重链接所述模块的输入和输出。

13.根据权利要求1所述的系统，其中所述通信系统包括从由以下各项构成的组中选择的一个或多个通信系统：脸部表情、身体语言、视觉、听觉和语音。

14.根据权利要求1所述的系统，其中所述神经元的集合包括从由以下各项构成的组中选择的一个或多个神经元的集合：皮层、丘脑、基底核和脑干。

15.一种用于产生虚拟人物或数字实体的交互式行为的计算机实现的系统，所述系统包括：

多个模块，所述模块具有耦连的计算和图形元件，每个模块代表生物过程并且具有与所述生物过程相关并仿真所述生物过程的计算元件以及使所述生物过程可视化的图像元件；

所述多个模块中的至少一个接收外部刺激；

所述多个模块中的至少一个提供外部输出；

所述多个模块中的至少一个创建所述外部刺激和所述外部输出之间的关联；

其中，所述关联影响虚拟人物或数字实体的未来系统的行为，使得所述外部输出响应于所述外部刺激的变化。

16.根据权利要求15所述的系统，其中，所述关联给所述系统提供学习行为。

17.根据权利要求15所述的系统，其中，所述模块中的至少一个创建第一内部刺激和第二内部刺激或所述外部输出之间的关联。

18.一种可操作于响应外部刺激控制虚拟人物或数字实体的计算机系统，所述系统包括代码的功能模块的网络，所述模块具有耦连的计算和图形元件，每个模块代表生物过程并且具有与所述生物过程相关并仿真所述生物过程的计算元件以及使所述生物过程可视化的图像元件，所述网络可操作于接收表征所述刺激的数据，并且可操作于产生限定对所述虚拟人物或数字实体的响应的数据，其中，所述网络包括：

用于每个功能模块的一个或多个变量，所述变量代表所述模块的过程的性质；

允许相对于一个或多个其它模块限定所述模块的位置的结构；以及

一个或多个连接器，所述一个或多个变量与至少一个连接器关联，所述至少一个连接器在模块的变量之间传送数据，所述模块和所述连接器一起提供神经行为模型，所述模块代表神经元的集合和通信系统，所述连接器代表神经；

其中，所述连接器选择性可调节以连接不同的模块，从而响应于所述外部刺激改变或调节所述虚拟人物或数字实体的行为。

19.一种计算机，所述计算机被编程或可操作于实施根据前述权利要求中任一项所述的系统。

20.一个或多个非临时性计算机可读介质，其存储计算机可使用指令，所述指令被计算装置使用时引起所述计算装置实施根据权利要求1-18中任一项所述的系统。

21.一种响应于外部刺激控制虚拟人物或数字实体的方法，所述方法包括：

接收表征所述刺激的数据；

处理多个互连模块中一起代表神经行为模型的数据，以提供限定所述虚拟人物或数字实体对所述外部刺激的响应的输出，所述模块具有耦连的计算和图形元件，每个模块代表生物过程并且具有与所述生物过程相关并仿真所述生物过程的计算元件以及使所述生物过程可视化的图像元件，所述模块代表神经元的集合和通信系统，并且所述互连代表神经；以及

响应于所述输出改变一个或多个模块之间的连接，或者改变一个或多个模块中的变量。

22.一种计算装置，所述计算装置可操作于执行根据权利要求21所述的方法。

23.一个或多个非临时性计算机可读介质，其存储计算机可使用指令，所述指令被计算装置使用时引起所述计算装置实施根据权利要求21所述的方法。