CN100407111C - 用于产生对象的行为的装置和方法 - Google Patents

用于产生对象的行为的装置和方法 Download PDF

Info

Publication number
CN100407111C
CN100407111C CN2004800079338A CN200480007933A CN100407111C CN 100407111 C CN100407111 C CN 100407111C CN 2004800079338 A CN2004800079338 A CN 2004800079338A CN 200480007933 A CN200480007933 A CN 200480007933A CN 100407111 C CN100407111 C CN 100407111C
Authority
CN
China
Prior art keywords
behavior
input
node
framework
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800079338A
Other languages
English (en)
Other versions
CN1764889A (zh
Inventor
丹尼尔·巴兰
马尔科·吉利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of CN1764889A publication Critical patent/CN1764889A/zh
Application granted granted Critical
Publication of CN100407111C publication Critical patent/CN100407111C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

分级行为框架用于产生和控制有关节对象的自主和半自主行为。行为控制器用于接收与行为动作相关联的行为,使用该框架来推断多个行为参数值,以及当将这些参数值载入到该行为控制器中时使用这些参数值来产生该有关节对象的等效行为,以产生与该等效行为相对应的输出。该等效行为可以再现所输入的行为动作,并且/或者包括一个或更多个其他行为动作,这些行为动作可以同时执行或者作为动作序列的一部分来执行。

Description

用于产生对象的行为的装置和方法
技术领域
本发明涉及一种用于产生对象的行为的方法和装置。尽管本发明并不限于此,但是特别感兴趣的一个应用是产生用于传达虚拟代理或对象(例如,化身(avatar))的肢体语言的自主行为。
背景技术
动画对象,无论是虚拟的(例如化身)还是机器人(例如宠物“玩具”),都在其行为方面变得越来越复杂。具体地,顾客要求诸如化身和动画代理的虚拟对象能够表达更多的实际行为。在本发明的上下文中,化身被定义为用户在虚拟环境中的任意适当形式的可视表示。动画代理是基于智能软件的代理,用于在虚拟环境中和用户进行交互,或者用于交互娱乐。类似地,动画代理可以采用任意适当的形式。
当对象能够具有动画行为时,希望相对不擅长编程的用户具有使该对象的行为个人化的能力。当用户例如在组设置中寻求产生个性的感觉,以丰富该对象所扮演的角色,或者反映该用户自己的个性时尤其如此。为了使对象让人类用户更加感兴趣,如果可以为对象提供个性,即,如果可以由用户来修改行为,则希望具有用户所期望的特定特性。
为了满足这些要求,用于产生动画对象的行为的行为模型变得越来越复杂。由于相对不擅长编程的用户缺乏对表示行为模型的复杂程序进行处理以及对支持该行为的代码进行修改所需的专业知识,所以当他们希望修改对象的行为时,会产生冲突。
本领域中已知的用于产生对象的自主行为并为对象提供个性的技术的应用有限。通常,当向非本领域的个人提供适当的手段来修改对象的行为并支持该对象的复杂行为时,实现了较差的折衷。如果用户希望实时修改对象的行为,则尤其如此。
现有技术中已经公开了使得非专业用户能够对诸如化身的虚拟对象的行为进行修改的有限装置。例如,在Brush II等人的美国专利No.US5,884,029“User interaction with intelligent virtual objects,avatars,which interact with other avatars controlled by differentusers”中,公开了一种方法和装置,其使得用户能够将个性编程到诸如化身的智能虚拟对象中。在该示例中,通过利用预先编程的响应设定,使得化身能够对外部刺激半自主地进行响应,来创建化身的个性。该方法由于许多原因而应用受限,尤其因为非专业用户不能选择哪一种个性特征来定义自主行为,还因为非专业用户不能实时地修改化身的个性。
在Ball等人的美国专利 No.US 6,212,502“Modelling andProjecting Emotion and Personality from a Computer User Interface”中公开了一种方法,该方法确定用户的可能情绪状态,然后在个人化身中表达用户的情绪行为,以增长用户对虚拟世界的经验。因为如果用户希望化身的行为与他们本身的不同,则用户不能干涉和控制化身的行为,所以该方法的应用受限。
在Liles等人的美国专利No.US 5,880,731“Use of avatars withautomatic gesturing and bounded interaction in on-line chatsession”中,当化身不活动时,用户可以从有限的菜单中为化身选择特定的手势,以使其自主地执行动作。由于个性包括当化身没有在用户的控制下执行预备的动作时常常自动显示的所选择的手势,所以没有对行为进行修改,以在用户的有意控制下增强动作。
发明内容
本发明希望提供一种用于产生对象的自主行为的装置和方法,其消除和/或减少了上述现有技术中已知的缺点。
根据本发明的第一方面,提供了一种用于在行为控制器的控制下产生对象的行为的方法,该行为控制器包括多个节点的框架,至少一个节点被设置为通过多个节点的所述框架沿前向方向和后向方向对其输入进行映射,以向其他节点提供输出,并且至少一个节点被设置用来赋予全局框架参数值,该方法包括以下步骤:接收与一个或更多个行为动作相关联的输入;根据所述行为框架,对于所述框架中的多个行为节点,通过所述输入来推断各个行为节点的行为参数值;对于所述框架中的一个或更多个全局参数节点,根据所述行为参数值中的每一个来推断一个或更多个全局参数值;通过所述框架中的各个节点,沿前向方向映射所述全局参数值;对于行为框架中的行为输出节点,根据所推断的多个行为参数值来获得输出;以及使用所获得的输出来产生对象的等效行为。
根据本发明的第二方面,提供了一种用于推断对象的行为控制器的多个内部参数值的方法,该方法包括以下步骤:接收表示行为动作的输入;根据所述接收的输入推断与该对象的等效行为动作相对应的至少一个输出值的集合;以及根据所述至少一个输出值的集合为所述多个内部参数中的每一个推断值,其中为所述多个内部参数中的每一个推断的值通过行为控制器产生输出,从而获得与该等效行为动作等效的行为。
根据本发明的第三方面,提供了一种用于产生对象的行为的方法,该方法包括根据第二方面的方法推断对象的行为控制器的多个内部参数值,该方法还包括:使用所述推断出的多个参数值来产生与所述等效行为相关联的所述输出值的集合;以及使得所述有关节对象执行所述行为。
根据本发明的第四方面,提供了一种用于控制有关节对象的行为的方法,该方法包括以下步骤:使用用于向该对象的行为控制器提供输入的行为设计界面,向与该对象的行为特性相关联的行为参数集合赋值,各个所述行为参数集合都包括影响行为特性的至少一个参数;使该参数集合中的每一个参数都与下述的参数值相关联,该参数值是通过使用由行为简档限定的默认值对所赋的值执行一函数而获得的;将该参数值输入对象的行为控制器;根据所述输入推断出由行为控制器产生的输出;使该输出与对象的行为动作相关联;以及使对象执行该行为动作。
根据本发明的第五方面,提供了一种计算机程序产品,其包括计算机程序或者计算机程序集合,这些计算机程序包括指令集合,这些指令使得一个或更多个计算机执行本发明的方法方面中的任意一种。
根据本发明的第六方面,提供了一种装置,其包括用于产生对象的行为的行为控制器,该控制器包括:多个节点的框架,至少一个节点被设置用来通过多个节点的所述框架沿前向方向和后向方向将输入映射为输出,并且至少一个节点被设置用来赋予全局框架参数值;接口装置,该接口装置用于接收与一个或更多个行为动作相关联的输入;用于对于所述框架中的多个行为节点,根据所述行为框架通过所述输入来推断各个节点的行为参数值的装置;用于对于所述框架中的一个或更多个全局参数节点,根据所述行为参数值中的每一个推断一个或更多个全局参数值的装置;用于通过所述框架的各个行为节点沿前向方向对所述全局参数值进行映射的装置;用于对于行为框架中的行为输出节点根据所推断的多个行为参数值来获得输出的装置;以及用于由所述对象使用所获得的输出来产生等效行为的装置。
根据本发明的第七方面,提供了一种包括行为设计界面的装置,该界面包括:用于允许向行为参数集合赋值的装置,该参数集合包括与该对象的行为特性相关联的至少一个参数值,其中将使用该界面赋的值作为输入提供给根据第六方面的装置。
根据本发明的第八方面,提供了一种其上存储有至少一个计算机程序的集合的设备,该至少一个计算机程序的集合可以在该设备上执行,以使该设备用作根据本发明第六或第七方面的装置。
根据本发明的第九方面,提供了一种包括能够彼此进行通信的多个计算机型设备的网络,这些设备中的至少一个包括根据本发明第八方面的设备,其他设备用于远程访问该至少一个计算机程序的集合中的至少一部分,以使得能够通过该至少一个计算机程序的集合来控制在所述其他设备的环境中进行操作的对象。
根据本发明的第十方面,提供了一种用于直接操控对象以控制其行为的方法,该方法包括以下步骤:操控对象以执行行为动作;向行为框架的输出节点提供表示该行为动作的输入,该输出节点还用于提供用于产生对象的等效行为的输出;在该行为框架内对该行为框架的输出节点接收的输入进行映射,以获得该框架的其他行为节点的至少一个参数值的集合;根据所获得的至少一个参数值的集合推断输出值的集合,该输出值的集合用于产生对象的其他等效行为。
根据本发明的第十一方面,提供了一种用于在包括节点框架的行为控制器的控制下产生对象的行为的方法,该方法包括以下步骤:至少一个节点接收与行为动作相关联的输入;所述至少一个节点中的每一个将所接收的输入映射为输出;使用所述输出为该框架内的其他节点推断多个行为参数值;使用所述推断出的行为参数值对所接收的输入进行映射,以通过用于产生对象的等效行为的行为控制器来提供输出。
根据本发明的第十二方面,提供了一种用于在行为控制器的控制下产生对象的行为的方法,该方法包括以下步骤:接收与行为动作相关联的输入;将所述接收的输入映射为与该对象的等效行为相对应的至少一个输出值的集合;根据用于产生该对象的行为的行为框架,通过所述至少一个输出值的集合推断多个行为参数值;以及通过将所述参数值载入到行为控制器中,来使用所述参数值产生对象的等效行为。
根据本发明的第十三方面,提供了一种虚拟环境,其中多个虚拟对象在参与该虚拟环境的一个或更多个用户的观察下进行交互,其中该虚拟环境中的所述多个虚拟对象中的每一个都使用从该虚拟环境中的一个或更多个其他虚拟对象的行为动作中的一个或更多个获得的一个或更多个输入,来表示使用行为系统产生的半自主行为。
优选地,参与该虚拟环境的每个用户都能够控制通过向该行为系统提供输入而产生的半自主行为。
本发明的另一方面提供了一种平台,用于支持以上方面的虚拟环境,其中该平台提供了用于参与该虚拟环境的所述一个或更多个用户之一提供所述输入的装置。
优选地,用户通过所显示的行为设计界面来提供所述输入,通过用于控制由所述行为系统产生的行为的行为控制器来处理所接收的输入。
该行为系统可以包括根据以上任意方面的行为控制器,以及根据以上任意方面的行为框架。
优选地,该系统使得能够提供对象的行为控制器的行为翻译设备,该设备包括用于将表示符合第一文化的行为的信息映射为符合第二文化的行为的装置。优选地,该信息由行为控制器作为输入接收。优选地,其中该信息由行为控制器作为输出提供。
优选地,由于对象的等效行为可以包括以预定顺序执行的多个行为动作,所以可以由相对不精通本领域的用户来提供更复杂的行为。更优选地,可以将随时间变化的行为参数并入到行为控制器中,以提供更真实的自主动画行为。
优选地,通过具备根据输入来推断随后可以用来产生对象的等效动作的内部参数值的能力,该产生行为的方法使得用户能够进行相对简单的数据输入,来产生复杂的对象行为。
优选地,可以产生复杂的行为,该复杂的行为可以包括一个以上的行为动作,这些行为动作中的两个或更多个可以同时执行。例如,可以对诸如化身的有关节对象的行为进行控制,以使该化身的摆姿势和凝视行为同时执行。例如,该化身可以在捡起物体时自动盯着该物体,或者另选地,作为另一示例,如果一化身不敢响应于具有侵略性的另一化身,则该胆小的化身会在姿势和凝视方面同时改变,耸肩并向下看。
优选地,本发明提供了一种装置,用于通过增加用户在聊天室的虚拟介质中可以传达的表情的数量,来提高聊天室经验。肢体语言的存在(具体地,当通过同时执行诸如摆姿势和凝视的两个或更多个行为动作来传达时),使得化身更加生动和人性化,并提高了它们交流的质量。本发明的优点使得一组化身可以协调它们的行为,以使每个化身都可以按照适当的方式对其他化身的肢体语言做出反应。
对于本领域的技术人员,显然可以按照任意适当的方式将从属权利要求中所述的优选特征与以上方面中的任意方面进行适当的组合。
附图说明
下面将参照附图,仅以示例的方式来说明本发明的优选实施例,附图中:
图1A示意性地表示了本发明的第一实施例;
图1B示意性地表示了图1A所示的行为设计用户界面的放大视图;
图2A更详细地表示了图1A所示的两个化身的中立姿势;
图2B表示当Bill化身具有较高的男子气概时两个化身的姿势;
图2C表示当Bill化身具有较高的挑逗性时两个化身的姿势;
图2D表示当Bill化身具有较低的挑逗性时两个化身的姿势;
图2E表示当BOB化身具有较高的putUpon和聆听级别以及较低的domSub级别时两个化身的姿势;
图3表示根据本发明的行为体系结构的示意性概要图;
图4表示根据本发明实施例的行为模型的分级层次;
图5是根据本发明实施例的对象的行为控制器的简化框架的示意图;
图6是诸如图5和7中所示的体系结构的框架中的行为节点的示意图;
图7是根据本发明另一实施例的比图5所示的更加复杂的用于对象的行为控制器的框架的示意图;
图8是示意性地表示根据本发明的产生对象行为的方法中的实时步骤以及离线简档和形容词(adjective)设计的流程图;
图9A是表示行为框架如何产生根据本发明的等效行为的流程图;
图9B是表示用户如何控制化身的肢体运动以对赋给行为控制器的特定行为参数的值进行重新赋值的流程图。
具体实施方式
下面参照附图来说明发明人当前构想的本发明的最佳实施方式。然而,对于本领域的普通技术人员而言,很明显,本发明的说明仅是示例性的,并且并不旨在将本发明仅限制为所述实施例。
下面参照附图中的图1A,示出了本发明的第一实施例,其包括用于产生、推断和设计化身和虚拟角色的肢体语言的工具。本发明的该实施例是对互联网聊天室以及计算机游戏型环境等中的虚拟对象的行为特性进行控制的具体应用。
在图1A中,示出了计算机设备1。假定该计算机设备1由不具备高级计算机编程技能的人类用户(未示出)来操作。“计算机设备”一词用于暗示可以安装在可视显示器上的具有数据处理能力的任意设备,例如游戏控制台、个人数字助理,以及诸如移动电话的移动通信设备等。
计算机设备1具有可视显示装置2,例如监视器,该可视显示装置2具有显示器3。用户可以采用任意适当的操纵(navigate)装置(例如鼠标或键盘(未示出))来操纵显示器3。其他实施例可以包括诸如铁笔、轨迹板,以及游戏杆的操纵工具,可以以等效的方式来使用它们。
显示器3包括其中运行虚拟环境应用的窗口4。窗口4中显示有包含虚拟对象的虚拟环境。为了清楚起见,在本发明的该优选实施例的上下文中仅讨论两个虚拟对象。如图1A所示,这两个虚拟对象是包括能够进行动画的两个化身5、6的有关节对象。这里,也将化身5称为Bob,而将化身6称为Bill。尽管Bill和Bob具有图1A所示的实施例中的有关节形式,但是虚拟对象也可以是无关节的,例如包括可以扭曲以显示情绪等的面部。因此,行为的基准包括对象的面部表情行为以及任意形式的行为,而与对象的形式无关。
尽管虚拟对象5、6被构造为能够半自主地动画(这种情况下,它们需要来自用户的至少某些输入),但是也可以对虚拟对象5、6中的至少一个进行离线编程,以使用根据本发明其他实施例的行为控制器自主地进行操作。在本发明的上下文中,离线是指当虚拟对象未在它们的虚拟环境中执行动画行为,或者当这种行为暂停或中断,而在继续之前进行离线编程时,对行为控制器进行编程。
下面返回图1A,虚拟环境中的虚拟对象5、6包括两个人类化身。然而,本领域的技术人员可以理解,虚拟对象可以采用的形式可以根据情况而发生相当大的改变。例如,根据其角色,虚拟对象可以是动物或者能够进行动画的任意其他的有关节对象。有关节一词在此定义为包括能够彼此相对运动的部分,例如,肢体或关节。
显示器3还显示行为设计用户界面7。行为设计用户界面7包括相对于虚拟环境窗口4的独立窗口。行为设计用户界面7使得用户能够向行为控制器提供输入,以通过一个或多个虚拟对象5、6来产生行为。行为设计用户界面应用可以包括应用的包括行为控制器的部分,或者可以作为与包括该行为控制器的应用连接的独立软件应用的一部分来提供。行为控制器包括根据预定行为框架设置的连接节点的集合,该框架中的每个节点都基于多个参数将输入映射为输出。下面详细说明行为控制器。
在图1A中,用户通过使用行为设计用户界面的轨迹条9中的滑块8适当地选择行为参数值,来对两个虚拟对象5、6进行控制。为了清楚起见,图1A中仅标出了用于男子气概行为参数设置的轨迹条和滑块。然而,下面参照图1B,示出了图1A的行为设计用户界面的放大图。
行为设计界面
图1B更详细地示出了图1A的行为设计用户界面7。如图1B所示,行为设计用户界面7为用户提供了在图1A的虚拟环境窗口4中进行交互的虚拟对象Bob和Bill中的每一个的菜单选择范围。在本发明的另选实施例中,用户可以对该环境中的其他虚拟对象的行为进行较少的直接控制,但是为了简单,这里假定用户希望对Bob和Bill都进行直接影响。然而,即使在没有提供对另一虚拟对象的直接控制的情况下,用户仍然可以间接影响其他虚拟对象的行为,如下面将详细说明的。
在图1B中,为了清楚起见,仅标出了用于选择轨迹条9a、11a中的标有挑逗性的行为参数设置的值的滑动条8、10。
如图1B所示的行为设计用户界面7包括两个行为简档9a至9h和11a至11h。所示的每个行为简档都包括“形容词”集合或与虚拟对象的特定行为特性相关联的等效行为参数集合。如图1B所示,行为参数集合包括挑逗性9a、11a;友善性9b、11b;男子气概(9c,11c);其他爱好(9d,11d);悲哀(9e,11e);自傲(9f,11f);害羞(9g,11g)以及优越感(9h,11h)。
用户可以构造包含行为参数集合的不同选择的其他行为简档。还可以修改多个个体行为参数中的每一个的特性,该多个个体行为参数包括行为参数集合。通过行为控制器的行为框架来限定行为参数集合的设计,以集中修改预定的行为特性。因此,参数集合设计是比简单选择哪些行为参数集合来形成参数简档需要更多技能的任务。参数集合可以仅包括单个参数。例如,其值可以对行为框架内的所有行为节点的输出产生影响的全局参数,或者其值仅对框架的单个行为节点的输出产生影响的内部参数。
返回图1B,轨迹条9a至9h和11a至11h的轨道长度表示用户可以通过定位滑动条8或9来选择的可能值的范围。应该理解,在图1B中,为清楚起见,仅标注了第一挑逗性行为参数设置的滑动条。在其他另选实施例中,可以使用其他的值选择装置,例如,单选按钮、下拉窗口等,或者直接输入控制数据。然而,使用滑动条和轨迹条是特别优选的,因为这使得能够容易地向参数赋予连续范围的值,而不会不适当地使用户偏移主画面显示虚拟环境窗口4。
图1B所示的值为虚拟对象5、6提供了与各个所显示的行为参数设置相对应的中立姿态,这些参数已经由用户赋予了值0。在图2A中更清楚地示出了这种情况,图2A示出了图1A所示的两个虚拟对象的中立姿态以及图1A和1B中所示的对应行为参数设置值。
图2B示出了用户如何通过移动用于虚拟对象6(Bill)的男子气概轨迹条中的滑块来直接影响Bill的行为,以及间接影响Bob的行为。在图2B中,用户使用男子气概行为参数设置轨迹条中的滑块赋值14,并且Bill显示通过用于Bill的行为控制器而产生的行为。Bill的行为控制器已经根据用户输入,通过获取该输入并通过行为框架对其进行传播,以向框架的行为输出节点赋予合适的值,来推断出需要哪种等效的男子气概行为。
Bill的行为控制器已经通过所赋予的男子气概值14推断出图2B所示实施例中的等效行为动作包括Bill保持男子气概姿势。可以获得多种男子气概姿势,以及其他男子气概行为,例如男子气概手势、凝视、姿态、面部表情等。Bill的行为控制器还向反映Bill的男子气概行为动作的Bob的行为控制器输出一个或更多个值。该输出包括要由Bob执行的行为动作,该行为动作表示他对Bill的男子气概的反应。
Bob的行为控制器接收根据Bill的行为动作而获得的输入,该输入使得Bob的行为控制器能够有效地解释由Bill的行为所传达的肢体语言。该输入可以表示包括对Bill的男子气概行为的响应的行为动作,例如,将改变由Bob的行为框架产生的行为的一个或更多个参数值。另选地,Bob可以仅接收表示Bill的行为的参数值指示,并且Bob的行为控制器可以根据由Bill提供的参数值来推断出哪些输出值与该响应相对应。然后,Bob的行为控制器能够根据这些输出值推断出其他行为参数值(这些行为参数值将在Bob的行为框架中产生与该响应等效的行为),并使用这些行为参数值产生输出,然后执行该行为。如图2A所示,其包括Bob在Bill面前采取顺从姿态。
通过以上所述的方式,用户能够通过改变虚拟对象6的行为参数设置值,间接地修改虚拟对象5的行为。假定Bob具有更顺从的姿态,而无需用户直接将Bob的轨迹条移动到顺从位置。一个虚拟对象(Bob)的行为控制器对另一虚拟对象(Bill)的行为所传达的肢体语言进行解释。这已经通过第一对象的控制器产生由另一对象的行为控制器所接收的输出得以实现,该另一对象传达了表示肢体语言的信息。随后通过另一虚拟对象的行为控制器推断出适当的内部行为参数值,这些内部行为参数值对另一虚拟对象的行为进行修改。对于本领域的技术人员,很明显,如果每个虚拟对象都具有用于接收输入的适当行为控制器,则可以将肢体语言信息传达给一个以上的虚拟对象。
在图2A所示的本发明的实施例中,与角色Bob(虚拟对象6)相对应的行为框架的参数值并不受赋予给Bill的值的直接影响,并且Bob的显示滑块值并不改变。然而,在本发明的其他实施例中,也可以自动更新滑块值以反映它们的新值。
图2C示出了在本发明的一个实施例中,如何将一个虚拟对象的肢体语言传达给另一虚拟对象,以建立适当的行为响应。在图2C中,在图2B所示的行为之后,Bill的用户为男子气概赋予值1,并为挑逗性赋予值10。此时,Bill的行为控制器产生自动行为,例如图2C所示,使Bill伸手并接触Bob的手臂。Bob的行为控制器将Bill的肢体语言解释为表示他缺少男子气概且更加友善,以及伸手接触Bob的动作因此是友善的并没有恶意。例如,这可以通过使用Bob的行为控制器已接收的输入将由Bill的控制器提供的参数值解释为表示Bill是友善的来实现。因此,与显示防御行为(例如,如果Bill以敌对的方式接触Bob,则产生防御行为)相反,Bob采取低防御姿态,并略微前倾,而不是保持顺从姿态。看到Bob为低度防御,用户此时可以将Bill的挑逗性和男子气概的级别设定为较低值,如图2D所示,这导致了两个化身的更加友善的行为。
如图2A至2D所示,用户无需表示特定的肢体移动或文本中的关键字以表示行为动作,行为控制器响应于所赋的行为参数设置值,实时自主地产生适当的行为。
优选地,通过将行为设计用户界面7设置为窗口型软件应用,可以根据用户需求来改变所显示的界面范围。在图2E中,Bob的行为简档在行为设计用户界面窗口7中可见,并且对于Bob显示了不同的行为简档,其包括与图2A至2D中的行为简档中所示不同的行为参数集合。
在图2E中,用户为Bob赋予了较高的聆听行为参数设置值、一样高的putUpon行为参数设置值。图2E所示的其他参数设置包括touchyFeely、domSub等。对Bob赋予了相对低的domSub值。Bob的行为控制器使用这些值产生了适于这些值的行为,因此,Bill采取直立的姿势,而Bob采取更顺从的姿势。
附图的图3示意性地表示了本发明的行为控制器如何根据行为模型30来产生对象的行为。行为模型30定义了对象的特定行为框架31,该行为框架31管理如何使用该框架所接收的输入来产生特定的行为,例如姿势32、手势33、面部运动34、凝视35。行为框架31包括多个节点,并稍后对其进行详细说明(参见图5和7的行为框架的示例)。
可以从各种外部和内部源获得框架31的输入。例如,从外部环境/事件36、从其他角色37、从其他情绪暗示38、从预定简档39。框架31本身也可以用于设计特定的简档40,所得到的简档39随后向框架31提供输入,以修改赋予框架节点的一个或更多个行为参数的值。
在用户直接操控化身或使用行为设计用户界面41直接输入值的情况下,可以利用通过移动而赋予该框架31的姿势32、手势33、面部34以及凝视34行为输出节点的值,直接向框架31提供输入。该框架随后推断行为动作的适当值,并且用户界面/跟踪系统40随后使用该动画系统产生适当的动作。
利用动画子系统43,集中地使用由姿势、手势、面部和凝视行为节点的输出值来适当地产生动画行为。可以通过任何适当的动画应用,例如,诸如Quake引擎的计算机游戏引擎或者诸如SGI的Open Inventor库的基于场景图的计算机图形系统来提供所使用的动画子系统。
行为模型体系结构
下面将参照附图的图4,图中示意性地表示了根据本发明的分层等级行为模型的分级结构。
图4示出了本发明的优选实施例,其中该行为模型的功能包括五层:第一层,其在功能上涉及用于限定行为模型51的框架中的行为节点的设计;第二层,其在功能上涉及行为体系结构本身52a的设计并涉及“内容创建”52b(其涉及通过本领域技术人员进行的与输出行为相对应的实际动画等的创建);第三层,其在功能上涉及行为形容词(等效地,为行为参数集合)53的设计;第四层,其在功能上涉及参数值选择机制,例如图4所示,滑块功能54a,涉及行为简档54b的设计,并涉及通过直接操控虚拟对象54c来直接向该模型提供输入;以及最后的第五层,其涉及实时控制55。
在本发明的其他实施例中,可以在行为设计和控制体系结构中提供更多层的复杂结构,然而,如果要支持实时控制,则本发明的优选实施例最少需要5层。
与该行为模型的层连接所需的专业知识的级别和/或信息量通常取决于框架的具体特征或者用户想要修改的功能。例如,对模块的上层(例如,层4和5)的连接需要用户部分相对少的专业知识,即,任何人都可以根据本发明的该方面对虚拟对象进行实时控制。然而,希望设计节点类型(即,对行为等级的级别1的连接)的用户可能是专业程序员。
图4所示的行为模型与Scerri&Ydrèn的已知多层行为设计和控制体系结构(参见下文)的不同之处在于,层数(其增大了复杂度)和模型中包括实时控制(例如,参见Scerri和Ydrèn[End User Specificationof RoboCup Teams,RoboCup-99,Robot Soccer World Cup III,Springer-Verlag Lecture Notes in Computer Science(2000)],以获得该简单多层体系结构的更多细节)。除了具有更加复杂的分级结构,以及实现实时控制功能的能力以外,其他的区别特征包括提供了行为参数推断方案,该方案使得能够根据所输入的参数值内部推断出行为框架的行为参数值。因此,当用户输入与行为特性相关联的一个或更多个行为参数值的集合,或者操控对象以产生特定的行为动作时,可以使用所接收的输入来产生包括一个或更多个行为动作的其他等效行为。以下将更详细地说明该行为参数推断系统。
在图4中,设计节点型层51涉及对与动画控制系统连接的输出节点的设计。通常,输出节点的输出由该节点的其他部分使用,以使虚拟对象进行动画。该动画系统包含多个参数,这些参数控制其产生的行为。输出节点对于动画系统的每一个参数具有一个输出,并且将该参数直接设定为该输出的值。例如,在姿势节点的情况下,根据各个基本姿势的权重,作为一组基本姿势的组合而产生新的姿势。姿势与运动组合系统按照其权重的比例组合在一起。姿势节点对于各个姿势都具有与其权重相对应的输出。其他输出行为在参数和行为之间具有更复杂的映射。例如,可以通过程序员(通常非常精通其技术领域)创建该节点类型的子类型,然后通过在运行时将该新类型添加至该体系结构的框架中来创建输出节点,该节点可以用于在行为控制器定义中从文件进行读取。在木发明的其他实施例中,输出节点调整其输出以适应正在使用的动画系统。
通常需要对用户进行训练,使其在对行为设计模型的层2的休系结构设计52a或内容创建52b特征进行修改之前熟悉该行为框架。层2包括用于创建特定应用的虚拟对象的框架。其包括对行为控制器的设计以及对输出节点的内容的设计。例如,输出节点可以被设计为产生基于预先存在的运动或其他内容的行为。许多输出行为都基于某些预先存在的动画和类似内容,例如,姿势模型基于一组预先存在的姿势,而面部表情模型基于一组预先存在的面部表情。这可以由专业设计人员使用商业3D建模工具来创建。
通常通过设计规范文件(例如,XML文件或者可以手工编辑的其他合适的文件类型(可能是特殊设计的文件类型))来指定行为控制器的设计。在另选实施例中,由于行为控制器具有图形结构,所以可以提供简单的图形编辑工具,以对设计规范文件进行编辑。当对设计规范文件进行了编辑时,可以使用上述行为框架将其编译(complied)到控制器中。
图4中的形容词设计层53和滑块54a、简档设计52a、直接操控52c,以及层3、4和5的实时控制特征用于使普通技能的用户能够定制对象的行为。具体地,用户可以通过设计行为简档来与层3和4进行连接,如以下参照附图的图8进行的详细说明。
行为控制器
下面参照附图的图5,该图示出了根据本发明第一实施例的虚拟对象的行为控制器的框架60。在图5中,行为控制器的框架60包括多个计算节点,用于将来自一个或更多个源的输入映射为一个或更多个输出。框架60内的节点包括:用于提供外部输入的节点61,该外部输入例如是可以从其他虚拟对象的行为得到的输入;全局参数节点62,其提供可以由框架中的所有节点访问(直接或间接)的全局框架参数及其相关的输入值;行为节点63a、63b、63c、63d,通过名称对这些行为节点进行标识,并且这些行为节点与特定节点内部的一个或更多个值相关联;以及输出节点64、65,其可以包括外部输出节点64或行为输出节点65,外部输出节点64输出可以外部使用(例如,由其他虚拟对象的行为控制器使用)的参数值,行为输出节点65提供由行为动画机制使用的参数值,以产生提供适当行为的虚拟对象的实际所需动画。从编程的角度来看,每一个参数都由名称-值对构成,例如,纹理名称以及所赋予的数值。所使用的行为模型的精确体系结构确定了行为控制器的框架60的形式。
在图5中,框架60包括多个行为节点63a、b、c、d,它们的功能是根据多个参数将多个输入映射为多个输出。图5示意性示出了外部输入61和全局参数输入62如何集中地向行为节点63a、b、c、d提供输入。节点63a、d还从节点63b、c接收输入。
外部输入61包括与环境和其他对象相关的高级信息,例如,其他角色的友善或顺从程度。
全局参数输入62包括虚拟对象的高级属性,这些高级属性影响虚拟对象的行为,并且修改由各个行为节点确定的特定行为。例如,全局参数值可以包括诸如对象的情绪或态度(例如愉快或友善)的特征。再次简要地参照图1B,标出了多个行为参数设置,以表示各种全局参数,例如角色有多友善或者有多害羞。
输入到行为控制器框架内的行为节点63a、b、c、d的每个全局参数名称-值对都产生一个或更多个数值输出。这些数值输出随后作为外部输出节点64的外部输出进行传送,或者与输出节点65的行为输出相关联。
外部输出64包括与外部输入等效的信息,例如虚拟对象有多友善或多顺从。作为外部输出而提供的参数名称-值对传达肢体语言信息。当该外部输入由其他虚拟对象接收时,其使得能够推断出其他虚拟对象的内部行为参数,该内部行为参数对其他虚拟对象的行为进行修改。通过匹配具有相同名称的名称-值对,使一个控制器的外部输出与提供给其他虚拟对象的行为控制器的外部输入相互关联。
每个行为输出节点65都产生与行为动作相对应的输出。从编程的角度来看,行为输出节点65包括行为节点63a、b、c、d的子类型(在面向对象方面),并执行与从参数到行为相类似的从输入到输出的映射。行为输出节点65产生可以由该输出节点的其他部分使用,以使该角色进行动画的输出。例如,在姿势输出节点中,存在一组基本姿势以及用于各个基本姿势的参数,根据这些基本姿势来产生新的姿势。根据对象的关节角度(作为欧拉角)来存储姿势的实际表达。通过使用姿势的参数作为权重,对与基本姿势相对应的角度执行加权求和,来产生新的姿势。将所产生的角度直接传送给基本几何表达中的对应变换。
框架中的行为节点的结构和功能
下面参照图6,该图示出了图5的行为节点63d的放大视图。图6示意性地表示了行为节点可以如何使用来自多个不同源的输入。如图6所示,行为节点63d能够接收多达3种不同类型的输入,这些输入由行为节点根据其内部参数设置沿前向方向映射为一个或更多个输出。在图6中,对行为节点63d的输入可以来自另一行为节点(例如节点63b、c)的输出;来自由一个或更多个全局参数名称-值对提供的输入62;和/或来自该框架外部的源的外部输入61。可以根据交互规则的预定设置,通过与该对象进行交互的另一对象来产生外部输入61。可以通过该节点来修改对行为节点的外部输入。例如,如果输入超出可接受范围,则可以忽略该输入,或者将其限制为最大或最小值。另选地,如果外部输入表示根据与用户的文化不同的文化执行的动作,则可以首先对该外部输入进行适当的修改,以保证该框架实际上使用与用户自己的文化中的适当行为相对应的外部输入,来修改用户的虚拟对象的响应。
图6还示出了行为节点如何可以使其功能颠倒并执行逆映射。无论何时通过框架以与行为节点的输出相对应的级别接收到输入时,都执行逆映射。例如,当用户直接操控对象,以与行为节点65的输出等效的级别对框架提供输入时,会产生这种情况。于是,所接收的“输出”为通过框架进行的逆映射的起始点,每一个内部行为节点都具有以上述方式(以下将更加详细地说明)推断出的参数值,直到最终确定该框架(用于产生所接收的“输出”)的全局参数值为止。
在前向或后向方向上,该框架中的各个行为节点都能够根据该节点的功能,基于多个参数将一个或更多个输入映射为一个或更多个输出。
前向映射
在前向映射的情况下,以多项和的形式 O i = Σ j T ij 给出由对象的行为控制器提供的输出,其中各个项Tij是多个因子的乘积 T ij = Π k F ijk , 其中各个因子是内部参数或节点的输入。如上所述,对节点的输入可以来自另一节点的输出,为全局赋予整个体系结构的参数,或者为来自另一体系结构(即,来自另一对象的行为控制器)的外部输入。
例如,可以使用具有值1.2的全局参数“友善”(表示该角色本质友善)对角色进行设置,该角色也可以从另一角色接收具有值1.5的外部输入“快乐”(表示该另一角色快乐)。在节点内将这些值相乘,以产生具有值1.8的输出“靠近”(表示该角色应该对其他角色采取靠近的姿势)。然后将该输出传送至其他节点,这些其他节点确定该角色应该通过组合两个基本姿势(向前倾和朝向另一角色)来实现该动作。应该根据该“靠近”输出来计算这两个姿势的权重,并将其传送给用于产生新姿势的动画系统。
下面参照图7,该图更加详细地示出了根据本发明第二实施例的行为控制器的框架。在图7中,行为节点包括直接均衡、支配因子、直接差异、响应、支配差异、从属关系、状态、快乐、亲近、空间填充(spacefling),以及放松。行为输出节点65包括面部表情、高级姿势节点、凝视、手势以及姿势。其他实施例可以包括更多的行为输出节点,例如语调、语速、重音等。
尽管图7中示意性示出的框架的复杂性比图5所示的简化框架的要高,但是可以构造更复杂的框架来适应本发明的特定应用和实施例。为了使用户能够修改对象根据其行为框架而产生的行为,构造了包括一个或更多个行为参数的集合的行为形容词,这极大地简化了用户需要提供的输入级别。
行为形容词的示例包括图1B中所示的那些,其中各个虚拟对象5、6的行为简档包括以下形容词:挑逗性、友善性、男子气概、其他爱好、悲哀、自傲、害羞,以及优越感。这些行为形容词中的每一个都包括行为参数集合,并且在行为设计用户界面中,通常通过简单的文本名称或短语来表示。通常,“形容词”名称直观地描述了该“形容词”修改的行为方面,以便于用户识别。可以对行为参数集合中的各个参数赋予初始值或默认值,可以通过函数对其进行运算,并且可以结合任意的外部输入的值对其进行运算。例如,该函数可以是简单的线性代数函数,或者简单地将用户赋给行为参数集合的任意值放大预定量。另选地,该函数可以是“恒等”函数,仅返回所输入的值。
图7中示意性示出的框架表示用于执行非口头、个人内在行为的多个方面的本发明的实施例。行为控制器增强了虚拟对象(例如,在线会议或计算机游戏/聊天室场景中的角色)之间的交互,并且使得它们看上去更加可信。具体地,该框架对于半自主化身(即,用户并不具体指示化身的每个行为动作)有用。
由于化身的许多应用涉及个人内在行为,所以适当的非口头行为极大地增强了它们的应用。在图7中,行为控制器对多个个人内在态度进行编码,并潜在地控制多个输出,这些输出产生动画,例如姿势和凝视行为。控制系统基于Argyle提出的理论(Michael Argyle(1988)BodilyCommunication 2nd edition,Routledge)以及Mehrabian提出的理论(Albert Mehrabian(1972)Nonverbal Communication,Aldine-Atherton)。Argyle提出对非口头行为影响最大的人际关系的两个方面:亲密和支配-顺从。可以如下所述将其建模为自我平衡动机。与Mehrabian所提出的非口头行为从属关系(爱好)的三个维度相关,显示为微笑、身体靠近和接触、力量/状态,通过放松或紧张以及响应来显示,通过总的身体动作来显示。响应维度是可选的,并且在图7所示的行为控制器中没有实现,但其基于这些量。
在图7中,当Argyle的直接和支配维度与Mehrabian的从属关系和状态维度紧密相关时,它们在体系结构方面相关联。将Mehrabian的维度建模为直接由直接和支配代理确定的行为节点。直接和支配被建模为自我平衡动机。
通过直接均衡和支配因子节点,根据虚拟对象的全局参数和来自任意其他虚拟对象的外部输入来计算变量的期望值。增大期望亲密度的因子包括角色有多友善、它有多喜欢其他角色(全局参数)以及其他角色有多快乐(外部输入)。降低期望亲密度的因子包括该角色有多害羞,以及其他角色有多占优势。所有这些因子都具有可以根据其简档在角色之间变化的权重。期望支配因子是两个角色之间的状态的期望差异,其也取决于多个其他因子。直接差异是期望直接与实际直接之间的差异,其由其他角色有多么亲密(外部输入)来确定,如果实际直接为Ia,而期望直接为Id,则直接差异为:
ΔI=Id-Ia
对于支配的公式是类似的,虽然因子不同。本发明的其他实施例中实现了行为响应的第三维。
在本发明的该实施例中,角色的行为按照高级类型行为进行定义:快乐、接近、空间填充、放松。这些用作等级的动机级别和动作产生级别之间的媒介。快乐是一般的愉快行为,例如笑脸,而相反的可能是反对或侵略性手势。它是从属关系的表示(喜欢或不喜欢)。快乐在姿势上没有许多表达,但是一个示例是“歪头”,其中角色将头向其他角色侧倾斜,这通常被解释为友好的姿势。接近是社交距离(靠近),包括身体距离以及诸如身体朝向或相互注视。低社交距离是高从属关系的结果。在姿势方面表示为诸如前倾或接触其他角色的多种方式。高社交距离与此相反,并且可以表示为向远离方向倾斜以及扭转整个身体。空间填充是例如通过姿势或者更加扩张或相反的手势,使得自己的空间更大或更小的倾向。示例姿势包括伸展至最大高度或者分腿站立或坐下。高空间填充与支配相关,低空间填充与顺从相关。放松是低度身体紧张,主要与姿势相关,并且还与其他类型的行为有关。高放松是支配状态的迹象,并且可以表示为姿势的不对称。
在本发明的该实施例中,存在多个高级姿势节点,用于将高级行为因子转换为实际姿势。每一种姿势都具有一个高级姿势节点。每一种姿势都取决于一个或更多个高级行为类型。将高级行为类型的值与权重相乘,以产生姿势的值。这确定了角色执行该姿势的程度。权重取决于角色简档,因此不同的角色对于相同的高级行为会产生不同的姿势。然后将该姿势的值传送给姿势输出节点。姿势输出节点存储该姿势的实际表达。这是根据关节角度的表达。使用姿势的值作为权重对与各个姿势相对应的关节角度求和,并且其结果为角色的实际姿势,将该结果直接传送给基本几何表达。
图8示出了虚拟对象的行为产生的特定阶段。这些阶段包括:第一,设计一个或更多个行为形容词;第二,设计包括多个行为形容词的行为简档;第三,由用户对简档中的行为形容词进行赋值;最后,通过行为控制器产生随后的行为。形容词和简档设计阶段通常离线进行,而用户输入和通过行为控制器产生行为可以实时地动态进行,尽管用户在虚拟环境中为在线状态。
在本发明的上下文中,形容词包括一个或更多个行为参数的集合。选择行为控制器的框架中的哪个行为参数影响了行为特性是相对专业的任务。然而,通过提供形容词,减少了数据量和行为设计界面的用户的理解要求。以上参照图7说明了用于对行为参数进行赋值的形容词设计70和默认值的选择71。
简档设计
与进行形容词设计所需的知识水平相反,选择哪个形容词应该包含在对象72的行为简档中与构造形容词所需的知识水平相比并不是复杂的任务。行为简档的设计阶段使得用户能够使用行为设计界面来选择哪个行为特征与用户想要控制的对象的行为相关。
行为简档因此由一个或更多个形容词构成。形容词可以包括单个全局或者唯一赋予的行为节点参数值,或者各种类型的参数名称-值中的一个或多个的多种类型。通过这种方式,用户可以为行为控制器设置内部和/或全局参数。在本发明的一个实施例中,行为简档包括两部分,这两部分都使用参数名称-值对来表述。第一部分说明了对象的整体个性(个性一词在此用于表示对象的总体性格)。第二部分包括态度名称值的集合。在本发明的一个实施例中,“个性”部分中的每个形容词都包括全局参数,而“态度”部分中的每个形容词都包括唯一的行为节点参数。
态度包括虚拟对象的行为变化的多个方面,其他虚拟对象根据这些方面与该虚拟对象进行交互。例如,虚拟对象对一个角色可以比对另一角色更加友善。态度包括角色(或角色集合)的名称和参数值集合,该参数值集合仅在与该角色进行交互时才被载入。在本文中,态度为“形容词”的形式,因为其包括由至少一个行为参数名称-值对构成的集合。
行为简档的态度参数部分包括用于交互中存在的各个命名对象的至少一个参数值的集合。这些值被载入行为框架的参数中,以产生适当的行为。也可以对一类对象,或者单个对象的参数值的集合(例如,用于“陌生人”类别的对象的参数值)进行赋值,以反映出该对象不喜欢该化身以前没有遇到过的其他化身的事实。
参数的值可以任意适当的方式进行设定。认为以下两种方式非常合适。第一,可以通过使用节点名称、参数名称,以及用于设定参数的值指定框架参数,来直接指定值。第二,多个框架参数可以与在此所述的被称为“形容词”的数据结构相关联,在此已定义的“形容词”一词是指包括该行为框架的一个或更多个行为参数的集合。用户可以为形容词选择的值的可能范围可以包括在简档设计阶段73中(或者另选地,其可以构成形容词设计阶段的一部分)。
最后,当用户已经为“形容词”赋了值时(步骤74),在步骤75中确定该集合中的每个参数的实际值,并作为在形容词设计阶段定义的默认值的函数给出每个参数的实际值(步骤73),并且用户将该值赋给形容词(步骤74)。
例如,用户可以为表示“快乐”的行为参数设置“形容词”赋值“10”。当将行为简档读入行为控制器时,对于已通过形容词设计(步骤70、71)确定的所有参数,随后将用户为“快乐”赋的值“10”翻译为实际参数值,以构造参数集合“快乐”,该实际值是通过对与该形容词相关的输入值进行运算的函数来确定的。
通过简档翻译文件来确定哪些参数集中包括行为参数集合。该简档翻译文件定义每个行为参数集合并与每个“形容词”名称(或者该行为参数集合的某些等效名称或短语,即直观上与参数集合所修改的行为特征相关联的名称)相关联。该简档翻译文件还定义了属于该行为参数集合的至少一个参数。总之,由行为模型使用的各个参数中的最终值都是在简档中所赋的值和/或赋给行为参数集合的值的函数。
用户可以通过多种方式修改简档。例如,对代码进行文本编辑、使用滑块或者通过直接操控虚拟对象来赋值,以下将详细进行说明。
现返回图8,提供用户为对象的行为形容词所赋的值作为该对象的行为控制器的输入。该行为控制器随后获取该输入,并通过该输入推断应该为哪个参数赋哪个值,以产生适当的行为输出(步骤75、76、77、78)。图9A中更加详细地示意性表示了将所接收的输入用于产生对象的行为的机制。
图9A示出了框架操作的两种方式。第一,该框架可以仅使用前向映射来进行操作,在设定了诸如外部输入的高级输入或者全局参数或形容词时会出现这种情况。在这种情况下,框架前向运行,仅在节点处根据输入产生输出(也参见图6),并执行前向映射,直到确定了输出节点的值为止。
第二,该框架可以在输出改变而不是输入改变时执行逆映射(再次参见图6)。例如,当直接操控对象时。然而,也可以接收多个输入以执行这两种映射,逆映射可以通过直接映射来影响输出,所以,在本发明的某些实施例中,首先执行这种映射。
下面参照图9A,行为控制器接收输入(步骤81)。如果在输入节点(例如在与外部输入参数或全局参数相对应的框架中的高级节点)接收到了输入(步骤81),则随后在所连接节点的行为控制器的框架内对该输入进行前向映射(步骤83),以产生特定输出(步骤83),该特定输出用于向动画系统提供值,以产生所期望的行为(步骤85)。所期望的行为包括与输入处表示的行为等效的行为。然而,该等效行为可能更加复杂和/或包括更多动作,其中某些动作可以同时和/或顺序执行。
逆映射
如果相反地从诸如该对象的直接操控的源接收到输入,则所接收的输入与产生该框架的输出节点中的一个或更多个的输出(与动画系统相结合)的行为等效。在这种情况下,在一个或更多个输出节点处接收到输入(步骤81),并通过行为框架进行第一逆映射,以确定哪种输入值会导致要产生的这种输出(步骤82b)。
该逆映射需要推断出该框架中的所有相关节点的参数值,直到推断出将产生这种行为的全局参数为止(步骤84、85)。保留所获得的这些参数值,用于前向映射处理,该前向映射处理从所推断出的全局参数值开始并用于产生其他行为。结果,尽管仅使用了一个动作来提供直接输入,控制器所产生的行为也可以比原始直接操控的输入更加丰富和复杂,并且可以包括一个或更多个行为动作,或者甚至一系列的行为动作。以下再次对其进行更加详细的说明。
前向映射
例如,考虑其中行为设计界面为一个或更多个全局参数赋值的本发明的实施例,例如,全局参数表示诸如化身的虚拟对象的特定情绪,以及可能的特定节点具体参数值,例如,表示该化身对另一虚拟对象的态度。下面参照图7和图9A,通过行为框架中的适当节点来接收输入62(步骤82a),然后通过内部行为节点63由行为框架进行映射(步骤83),例如,参照图7,可以首先通过直接平衡和支配因子节点对该参数值进行映射,然后是直接差异、响应,以及支配差异节点,其随后前向映射至从属关系和状态节点,以及快乐、接近、空间填充以及放松节点,直到抵达输出节点65为止。在图7所示的本发明的实施例中,输出节点包括面部表情、高级姿势节点(并且其进一步映射至姿势节点)、凝视,以及手势节点,其中的每一个都产生可以提供给适当的动画系统以使化身进行动画并产生适当行为的输出。当通过框架对输入进行前向映射时,提供全局参数作为对该框架中的其他节点的输入,这使得能够得到次级行为变化。这些全局参数值由此使得能够通过化身来执行更复杂的行为。
直接操控
在图7所示的本发明的实施例中,输出节点包括面部表情、高级姿势节点(并且其进一步映射至姿势节点)、凝视,以及手势节点,其中的每一个都产生能够提供给适当的动画系统以使化身进行动画并产生适当行为的输出。现在参照图9,考虑其中例如用户对化身的姿势进行直接操控(例如,通过点击该化身的手臂,步骤90)以接触另一化身的手臂(步骤91)的示例。这在框架的姿势节点处产生了特定的输入(步骤92)。可以将通过化身产生这种行为的全局参数值设定为仅在希望对其他化身友善时才进行该操作。行为控制器通过该框架的相关节点根据由姿势节点产生的值执行逆映射(步骤93),直到抵达该框架的全局参数输入节点为止,其中可以推断出全局行为参数“友善”的适当输入值(参见步骤93)。这些全局参数值随后用于通过该框架来开始前向映射。
例如,该逆映射还为该框架中的其他行为参数值(例如快乐和放松)赋值(参见图7)。根据所推断出的全局参数值执行前向映射(步骤94),使用所赋的值来产生更多的输出(步骤95),该更多的输出产生其他行为(步骤96)。例如,赋给快乐和放松的值可以在面部表情的输出节点处产生另外的行为,这导致化身微笑。还可以产生其他行为,例如将凝视改变为看着其他化身的脸部,并且可以产生诸如握手的手势以跟随接触手臂的动作。因此,尽管用户仅直接操控化身的姿势来接触另一化身的手臂,但是行为控制器解释了用户提供给化身的肢体语言,从而推断出该化身对其他化身友善并希望和该化身打招呼,并因此产生适当的行为。
总之,通过根据作为输入接收的信息推断出更多信息,使用逆映射而产生的行为可以包括一个或更多个行为动作,这些行为动作可按顺序执行或随机执行,并且可以同时执行诸如凝视、姿态、运动等的一个或更多个行为动作。这极大地提高了对象所表现的行为的复杂度,同时还为用户提供了非常简单的控制机制。以下详细说明推断机制。
可以由用户使用鼠标点击虚拟对象的身体部分,然后将身体部分拖动到新的位置,对虚拟对象进行直接操控来实现直接操控。可以通过对于本领域的技术人员来说公知的任何适当的方式,使用其他计算机操纵工具或工具的组合,例如,光标和键盘、操纵杆、轨迹球、指示器等对虚拟对象进行操控。在通过行为控制器控制真实对象的本发明的实施例中,用户可能希望通过手直接改变对象的姿势。该运动的特征(可能包括该运动的位移或速度)以及在运动过程中靠近其他对象等,将确定向行为控制器输入哪种输出。
这样,用户能够通过虚拟对象来表示特定的期望动作,并且行为框架于是能够外推出更多的行为动作,这些行为动作与用户指示为所期望的行为一致。新的输出参数值可以用于再现用户指示的动作以及适合于不同环境的类似运动。此外,随后可以将参数设置保存为行为简档,或者作为随后可以由用户用来构建行为简单的形容词。因为儿童可以容易地对玩具进行编程使之执行复杂的行为,所以直接操控对象以触发更复杂行为的产生对于对象是玩具的情况特别有用。
下面详细说明虚拟对象的行为控制器的行为框架推断内部和全局参数的方式。
行为推断方案
用于限定行为控制器的操作的行为框架的结构使得能够使用逆映射,例如,当用户直接操控该虚拟对象时,根据到该框架的输入来推断出内部参数值。再次参照图9A,考虑行为控制器接收从该框架外部的源获得的输入的情况。其中输入与输出直接相关,例如,如果通过直接操控获得,则需要执行逆映射,以产生用于进行前向映射的全局参数值。使用以下概述的行为推断方案来执行该逆映射。
输入的外部源可以通过该对象的环境来确定。例如,该输入可以包括另一对象提供给该对象的信息。另选地,其可以包括来自另一对象的行为控制器的输出。另选地,其可以包括来自用户的输入,例如,通过用户携带的运动传感器提供的数据。另选地,其可以包括由用户直接输入的值,或者通过行为设计用户界面的输入。该输入可以提供另一对象的肢体语言的表示,在这种情况下,该信息可以用于推断适当的响应。
当通过行为控制器接收到了输入(步骤80)时,所接收的输入值与对象的输出值相关联(步骤81)。这是通过使用针对各种不同类型的行为输出节点的特殊目的的映射来执行的。当已在输出节点处执行了该初始映射时,通过整个框架执行逆映射,以推断出节点的内部参数和全局参数。这是通过使用为行为框架中的每个节点的各个受影响输出而建立的公式来实现的:
T ij = Π k F ijk
其中各个因子是内部参数或者节点的输入。
这样,输出的每一项Tij具有使其与该输出的其他项Tij相区别的可分解因子。项Tij包括可分解因子,其可以是诸如内部参数值的内部值或者全局参数值。在这种情况下,可分解因子被简单地重新赋予一新值。如果从另一节点输入该可分解因子,则通过形成一组新的公式来重复该处理,以表示来自源节点的输入。输出处的变化由此在节点的分级中向上传播,直到可以通过内部或全局参数来表示该可分解因子为止。
每一项T1j都具有两个可分解参数:第一个用于在推断实时控制的内部状态时进行分解,而另一个用于简档编辑。
每一个节点根据可分解因子的输出为:
O i = Σ j f ij S ij
其中fij是不可分解因子的总和,而Sij是可分解因子。然后使用适当的线性代数方法来分解该线性方程。例如,如果用户执行多次编辑函数,则以矩阵形式存在一系列的线性方程:
o=Fs
其中o是每次编辑的输出的向量,F是不可分解因子的矩阵(可能取决于上下文,例如外部输入的不同设置或者随时间变化的参数),而s是可分解因子的向量。由于在F不是方阵的所有情况下存在一个以上的精确解,所以可以使用伪逆方法来寻找最小平方解。
s=F+o
该方法使得能够推断出单个节点的参数。为了推断出节点的参数直到没有与输出直接连接的分级,提供可分解因子中的某些作为节点的输入而不是内部参数。这些输入可以是外部输入、全局参数或者其他节点的输出。外部输入不能是可分解参数。在求解过程中直接设定全局参数的值。
如果该输入是另一节点的输出,则分解需要对其他节点进行分解,这可以通过创建包括该节点和向该节点提供输入的任意节点在内的公式的系统来实现。在这种情况下,另外的节点向其他节点提供输出,因此要求解的公式优选地表示为以下形式
0 = Σ j f ij S ij - O i
要根据给定输出节点的输出来确定每个行为节点。
实时控制
在其中行为分级的最后一层使得用户能够向对象实时地提供复杂行为的本发明的实施例中,用户可能希望从多种源向行为控制器提供输入,或者希望使用任意单个对象的一个以上的行为设计界面。例如,或者提供输入的其他设备可以包括使用运动跟踪器(例如位于用户的头部和/或身体上)。用户可以同时操作两个或更多个控制设备,以减小操作负荷。所使用的控制设备利用形容词的使用来设置行为模型中的特定参数,以保证用户无需持续控制虚拟对象的身体的所有部分,而是仅需要不时地对有限数量的部分进行操控。
无论是通过直接操控获得还是通过用于跟踪用户的传感器获得,对象的行为产生可以使用适当的接口装置传送给行为控制器的信息。当该信息表示与特定行为输出节点的参数值等效的参数值时,行为控制器通过该框架执行逆映射,以对需要通过该虚拟对象产生该特定行为的相关参数进行内部赋值。这使得对象能够产生与这些参数相关的其他行为。例如,用户可以使对象的手臂进行动画,以接触另一角色的手臂,如图2C所示。该框架将推断出该手势与高值的挑逗性相对应。这随后会导致其他挑逗行为,例如向前倾并微笑。
参数值可以表示多种行为模式,例如“友善”,其可以与在使用跟踪器的情况下的用户行为相对应。在本发明的该实施例中没有使用任何统计机制来推断用户的行为,因为推断机制简单地求解了与虚拟对象的操控相关的代数方程,以确定表示何种类型的行为。当认为是“友善”行为时,该框架再现出更宽范围的友善行为。该更宽范围的行为超过了用户预期实时地直接控制的范围,例如,可以通过该框架使虚拟对象微笑,尽管事实上用户仅通过操控化身进行握手来表示该化身友善。如果没有提供输入,则该框架使得虚拟对象能够继续自主地动作。这使得不熟悉该行为设计用户界面的用户变得更习惯于该虚拟环境,并且可以学习该环境,而不必试图从刚开始就操控该虚拟对象。这提供了非常容易使用的界面,甚至适用于非常小的儿童。
附图所示的行为控制系统基于支持非口头行为的本发明的实施例。然而,在本发明的总体上下文中,行为被表示为分别通过特定参数进行修改的身体动作和/或声音动作。例如,诸如肢体语言的身体动作可以通过对象的当前内部状态(例如,该对象是否害怕)来修改。可以通过诸如音调的参数来修改声音动作。在该上下文中,“行为”一词可以定义为作为对特定激励的受控或非受控(自发的)响应而产生的一个或更多个动作。行为包括长期典型特征(例如,胆小或好斗)以及更加短暂、情绪化的特征(例如,开心或伤心)。
本发明的非口头行为实施例的示例使用亲密和支配-顺从的概念对人际关系进行建模。在本实施例中,行为控制系统产生非口头动作,以表示多种程度的特定属性,例如从属关系、力量/状态,这些属性反映了双方之间的亲密和支配/顺从级别。例如,通过适当行为表现(例如,通过诸如微笑、身体靠近和/或接触等的动作)来表示从属关系。力量/状态例如可以通过姿势中所表现的放松或紧张来表示。可以表示的其他非口头动作包括由一般的身体动作表现的响应。在该上下文中,图1B所示的参数值在本发明的实施例中是预定的情绪/个人内在参数,例如与从属关系相对应的“友善”和“其他爱好”,或者与支配相对应的“男子气概”或“自傲”。
本发明的其他实施例
上述实施例主要说明了虚拟对象的受控行为。然而,即使在以上说明中没有明确描述,在此所述的行为控制概念也可以很容易扩展到对非虚拟的,即,真实或有形对象的控制,因此,对于本领域的技术人员来讲,很容易将本发明扩展至真实和虚拟对象的行为。
本发明的以上实施例具有实质上为静态的行为框架。在静态框架中,当用户设定了参数值时,该参数值就保持该值直到被重置为止。通过随时间而改变参数可以产生更多的自主动画。为了产生真实动画,将该框架修改为包括时变参数。
行为框架可以支持不同类型的时变参数。例如,随机变化的参数可以提供偶然的姿势变化,而不同的类型可以产生更加可预测的动画。这种参数可能需要更加复杂的技术来执行逆映射,所以在本发明的最佳方式中没有考虑。然而,通过控制参数变化的任意定时的变更,可以获得更加真实的姿势变化。
本发明的另一动画实施例需要提供多个简档,这些简档随时间而相互改变或者内插。这将一次改变一组参数。实现本发明的该实施例的一种方式是在动画方面作为关键帧提供多个简档并在它们之间进行内插。实现更多动画的另一方式是使用有限状态机系统来控制角色,其中每一种状态都附有简档。状态会由于环境中的事件或者该角色的内部因素而发生改变,并且当输入新状态时,载入其简档。
本发明的其他实施例具有其他类型的输出节点。例如,在本发明的一个实施例中,可以仅提供姿势节点作为输出节点。该输出节点提供了从参数到行为的简单映射,为每个姿势而存在的参数以及这些参数的值提供了姿势之间的内插。可以将该模型应用于其他类型的行为,例如可以按照相同的方式对运动片段进行内插。然而,更复杂的行为需要更复杂的映射,这增大了根据行为推断出内部参数的后向映射的复杂度。
解决该问题有多种方法。第一种是忽略它并且使可以产生行为的某些输出节点继续而不是解决该问题。只要存在可以控制的其他类型的行为,这就是可行的选择。可以忽略某些方面,因为它们对于用户进行控制(例如凝视)来说太难了。另一种方法是为每一种类型的输出节点提供手工映射。这非常耗时。最后的方法是使用某种学习方案来学习映射,例如Bayesian或神经网络。
本发明的一个实施例组合了有限状态机扩展和统计Bayesian网络扩展。在该实施例中,网络中的每个节点都具有多个状态,每个状态都具有不同的内部参数设置以及在输入和输出之间的这种不同映射。在本实施例中,节点处于给定状态的可能性取决于其他节点的状态,以及全局参数或其他节点的输出。于是,该框架具有两种不同类型的节点间关系。一种是连续的,如在节点之间具有连续值参数的当前系统的情况。另一种是离散的,节点处于一组离散状态之一。给予两种信息相等的重视,因为某些行为特征本质是离散的,而其他行为不是。例如,某人可以交叉手臂或者不交叉,并且某人可以正在交谈或者没有在交谈,每种情况50%的概率不是非常有意义。然而,其他行为特征本质上是连续的,例如,对象应该能够在开心和发怒之间随时间而连续变化,而并不是作为离散步骤序列来进行。
在本发明的这些实施例中,不同的方法适用于推断各种类型的信息。这里所述的框架确实适于连续数据,而Bayesian网络可以推断出一组离散状态的概率。在本发明的某些实施例中,行为框架的扩展使得可以组合用于推断信息的两种方法。
以上参照附图进行说明的方法是非统计的,并且可以在各个节点的状态已知时用于推断连续状态。在其中组合了两种推断方法的本发明的其他实施例中,可以预先使用Bayesian网络,并且可以将节点状态以及它们之间的概率关系视为Bayesian网络,并用于根据输出推断各个节点的状态。无论被视为Bayesian还是连续网络,网络的拓扑将保持相同。当这些因素适当时,可以根据人类行为的数据自动学习该系统的内部参数。
在本发明的其他实施例中,上述用于设计简档的方法可以扩展为大量示例,以学习基于真实数据的内部参数的集合。Bayesian学习技术可用于学习概率关系。同时该系统的参数可以基于来自真实人的数据,并且可以更加准确地反映出理论上很难捕捉的人的行为。
下面说明本发明的一个实施例,其中用户通过在线聊天室进行交互。在本实施例中,允许用户使用肢体语言以及向行为控制器提供输入的文本来表达自己。这同样适用于诸如其中化身表示人类辅导员的在线辅导的本发明的实施例,以及其他虚拟环境,例如在线调解、在线会议(即,其中通过一组虚拟对象来交换信息)、在线协作(即,其中通过一组虚拟对象来执行任务),以及在线商业环境(例如,化身出售房屋)。
肢体语言包括通过在所述框架内设计的体系结构自主产生的行为,通过使用来自简档的预定情绪/个人内在参数的集合来产生该行为。用户使用标准台式PC来访问该系统。用户用来向行为控制器提供输入的计算机操纵设备限于在这种环境下通常可用的设备,例如鼠标和键盘。键盘用于输入文本而鼠标可用于控制角色运动。由于用户大部分希望专注于输入文本,所以对角色运动的控制是偶然的。一个输入(例如,通过行为设计用户界面)将导致对角色总体行为而不是单个运动的校正,因此充分利用了少量的用户输入。这可以通过根据该输入推断出情绪/个人内在参数而容易地实现。通过当前图形聊天系统中所使用的“图释”来执行化身的情绪的更直接的输入。这些可以直接设定全局参数。
本发明的另一实施例通过进一步包括由用户的运动提供的输入,对以上实施例进行了扩展。例如,家用计算机通常具有带有廉价的视频相机,其可以用来通过特定的输出节点执行面部跟踪,该特定输出节点向行为控制器提供输入,该输入用于推断用户的状态。
通过允许用户编辑其化身的简档,上述本发明的实施例允许用户定制其化身的行为。对于最终用户,必需尽可能地以用户友善的方式来执行该操作,并且图1A至2E所示的实施例尤其适用于使用通过行为设计用户界面提供的一组滑块来编辑形容词。
本发明具有许多应用,包括国际化身会议,其可以按照类似于聊天室的方式来实现。在这种情况下,捕捉与会者的实际肢体语言更加重要,尤其对于商业谈判。这可以通过具有更复杂的肢体跟踪系统来实现,该系统包括高质量的用户面部跟踪。也可以利用诸如语调的其他线索来推断用户的状态。行为控制器的框架可以更加复杂,以保证正确地推断每个用户的行为。
行为翻译
上述推断方案使得能够确定虚拟代理或化身的内部状态的模型,其将行为控制器的应用扩展为包括在不同文化行为之间进行翻译的能力。例如,在化身用作个人虚拟代理的情况下,对于在诸如网络会议的在线环境中与来自不同文化背景的用户进行交互的用户来说,可能不希望直接表达该用户的实际动作和情绪的能力。
本发明的这种实施例可以被修改为包括在输入或输出阶段通过行为控制器来翻译行为。这可以通过以下操作来实现:使用与一种文化相对应的行为框架来产生外部输入;以及使用与另一种文化相对应的不同框架根据该外部输入再现该行为。除非两个框架相同,否则使用与不同文化相对应的不同简档。
这也可以如下来实现:包括翻译单元,其使得能够将行为控制器所接收的与对应于第一文化的行为动作相关联的输入第一翻译为与不同的第二文化中的等效行为动作相关联的输入。类似地,可以实现一种翻译单元,其从与符合第二文化的行为相对应的行为控制器的输出行为节点接收输出,并将其翻译为第一文化。
该翻译单元可以配备控制器,用于实现从一种文化到另一种文化的肢体语言翻译。可用来实现这种操作的一种机制是通过将表示肢体语言片段的含义的高级参数与不同简档一同使用,来产生不同文化环境下的不同肢体语言。这将保证其他观察者可以感知在其自身文化中该参与者的化身的肢体语言。因此,可以通过文化A的观察者将特定行为输入该系统,并且通过与文化A相对应的简档将其解释为友善行为。随后将友善参数发送至机器组,该机器组中具有包含与文化B相对应的简档的机器。该机器将产生不同的但具有文化B中的友善含义的行为。
在计算机游戏环境中使用的本发明的实施例中,可以通过用户对其角色的命令来产生富于表情的肢体语言,并推断出其角色处于何种内部状态。可以通过多种方式来执行用户输入,例如如上所述,用户可以直接操控角色的姿势。另选地,可以使用大幅度行为来推断例如动作的选择、是否与某人交谈或词语选择。当推断出该行为框架的全局参数时,可以使游戏中的角色对其进行响应。优选地,本发明提供了一种行为设计工具,其使得游戏设计者能够使用强大但直觉的工具对角色的行为设计进行精细控制。
在其中对象需要执行角色的本发明的实施例中,用户使用设计界面创建的简档可以用来保证行为适于该角色,以及保证内部状态的任意推断都反映了对其行为进行了推断的对象的角色。
机器人应用
尽管上述实施例尤其与虚拟环境相关,但是下述的概念可以在真实世界,尤其是例如机器人玩具中得到应用:为用户提供简单的输入设备,以操纵能够产生复杂、持续行为的行为控制器。因此,本发明的其他实施例为用户提供了简单的机制,用于产生机器人对象的复杂行为,尤其是诸如玩具娃娃的有关节机器人对象。
这种实施例使得儿童可以为机器人宠物或玩具提供复杂特性,而仅需要对分配给行为简档的直观标签进行操控。在这种应用中,行为设计用户界面可以设置为远程控制型设备。于是,可以无线地提供行为控制信息以指示机器人设备的适当动作。行为控制器可以被设置为接口设备的一部分(仅将动画指令发送给机器人设备),或者设置为机器人设备本身的一部分,或者设置为随后对机器人设备的行为指令进行中继的代理设备的一部分。
在本发明的其他实施例中,制造或生产线环境中使用的机器人设备可能类似地需要使用诸如在此所述的分级行为模型框架来控制其行为,并且行为设计用户界面可以具有行为选项,这些行为选项是根据机器人设备要执行的任务的更多任务细节。根据这些机器人设备的情况,可以通过有线或无线连接来远程控制这些机器人设备。例如,在生产线中,可以通过有线通信链路来控制机器人设备,而在水下环境中,海下机器人可能需要无线通信链路和/或有线通信链路。
优选地,本发明提供了对复杂的机器人行为使用行为设计界面的简单方法,其在机器人对象必须执行需要由用户进行实时控制的具有某种程度的自主/半自主行为的在时间方面重要的任务的情况下的应用尤其重要。
对于本领域的技术人员,显然可以通过硬件和/或软件的适当组合来实现本发明,并且硬件和软件的组合并不旨在由上述特定部分来限定。此外,可以通过在一个或更多个设备上运行的一个或更多个计算机程序的集合来实现本发明。这些设备可以分布在通信网络中。
在其中虚拟环境中的实体的行为受到该虚拟环境中的一个或更多个其他实体的存在的影响的本发明实施例中,对于本领域的技术人员,显然还可以确定其他虚拟实体的总体影响,并且可以使用该总体影响作为受到影响的实体的行为控制器的高级输入。即使虚拟环境中的影响该化身的一个或更多个甚至全部其他实体没有出现在其行为受到影响的化身的观察者面前,这也可能发生。例如,如果化身正在辅导一组其他实体,并且其他实体通过其行为表示他们很厌烦,则进行辅导的化身可以采取更加生动的行为和/或增加其语调变化和音量,以通过自主的方式提高其听众的兴趣。例如,即使发言者不能直接观察到其所有的虚拟听众,这也使得用户能够保持对在线会议的兴趣。通常,通过在将所处理的输出作为输入提供给其行为受到影响的实体的行为控制器之前,根据一处理方案对其他实体的行为控制器提供的输出进行处理来确定总体影响。例如,可以在被其他实体用作对其行为受到影响的实体的行为控制器的输入之前,确定由一个或更多个其他实体提供的各个输出的平均参数值(尽管不是所有实体都对任意的特定参数值有贡献)。
以下重复摘要的内容作为本说明书的一部分:
分级行为框架用于产生和控制有关节对象的自主和半自主行为。行为控制器用于接收与行为动作相关联的行为,使用该框架来推断多个行为参数值,以及当将这些参数值载入到该行为控制器中时使用这些参数值来产生该有关节对象的等效行为,以产生与该等效行为相对应的输出。该等效行为可以再现所输入的行为动作,并且/或者包括一个或更多个其他行为动作,这些行为动作可以同时执行或者作为动作序列的一部分来执行。

Claims (24)

1.一种用于在行为控制器的控制下产生对象的行为的方法,该行为控制器包括多个节点(62、63、64、65)的框架(31、60),至少一个节点(63)被设置为通过多个节点(62、63、64、65)的所述框架(31、60)沿前向方向和后向方向对其输入进行映射,以向其他节点(62、63、64、65)提供输出,并且至少一个节点(62)被设置用来赋予全局框架参数值,该方法包括以下步骤:
接收与一个或更多个行为动作相关联的输入;
根据所述行为框架(31、60),对于所述框架(31、60)中的多个行为节点(63),通过所述输入来推断各个行为节点(63)的行为参数值;
对于所述框架(31、60)中的一个或更多个全局参数节点(62),根据所述行为参数值中的每一个来推断一个或更多个全局参数值;
通过所述框架(31、60)中的各个节点(62、63、64、65),沿前向方向映射所述全局参数值;
对于行为框架(31、60)中的行为输出节点(65),根据所推断的多个行为参数值来获得输出;以及
使用所获得的输出来产生对象的等效行为。
2.根据权利要求1所述的方法,其中,所述框架(31、60)具有内部柔性结构。
3.根据权利要求1或2所述的方法,其中,所述框架(31、60)包括行为节点(63)的分级,至少一个行为节点(63)被设置用来接收来自多个不同的源的输入,所述输入取自以下的组:
从另一框架的一个或更多个输出节点(64)提供的输入(61);
来自另一行为节点(63)的包括参数值的输入;以及
由全局参数节点(62)间接或直接提供的包括所述框架(31、60)的全局参数值的输入。
4.根据权利要求1或2所述的方法,其中,所述框架(31、60)包括多个行为节点(63)的分级,其中,每一个行为节点(63)都被设置用来通过外部输出节点(64)向另一对象的行为框架(31、60)中的输入节点(61)提供输出,并且通过行为输出节点(65)提供行为输出,以使所述对象的行为能够进行动画。
5.根据权利要求1或2所述的方法,其中所述框架(31、60)是动态柔性的。
6.根据权利要求1或2所述的方法,其中所接收的输入与多个行为动作相关联,并且各个所推断的参数值都是通过所述多个行为动作输入的组合来确定的。
7.根据权利要求1或2所述的方法,其中所述输入包括与产生所述行为动作的输出直接相关联的至少一个行为参数值的集合,其中在所述推断步骤中,通过所述框架(31、60)进行反向映射而推断出至少一个或更多个其他行为参数值,通过这些参数值来获得进一步的输出,以产生所述行为动作的附加行为。
8.根据权利要求1或2所述的方法,其中,所述框架包括多个行为节点(63),该多个行为节点(63)与对一个或更多个参数值进行运算以提供对所述对象的行为特性进行修改的输出的函数相关联,其中所述函数对与对象的情绪状态相关联的至少一个全局行为参数值进行运算,由此对由来自所述框架(31、60)的输出节点(65)的输出提供的该对象的行为进行修改,以表示该对象的情绪。
9.根据权利要求1或2所述的方法,其中,所述框架(31、60)包括多个行为节点(63),该多个行为节点(63)与对一个或更多个参数值进行运算以提供对所述对象的行为特征进行修改的输出的函数相关联,其中所述函数对唯一地赋予所述框架(31、60)的行为节点(63)的至少一个行为参数值进行运算,并且其中由所述框架的行为节点(63)根据所述输入产生的输出使用所述函数对内部参数值进行运算,该内部参数值与影响该对象的行为特性的个性特征相关。
10.根据权利要求1或2所述的方法,其中所述对象的等效行为包括以预定顺序执行的多个行为动作。
11.根据权利要求10所述的方法,其中在一时间段内执行所述多个行为动作。
12.根据权利要求10所述的方法,其中同时执行所述多个行为动作中的一个或更多个。
13.根据权利要求1或2所述的方法,其中所述行为包括从以下组中选择的行为动作:凝视、四肢运动、发言、姿态。
14.根据权利要求1或2所述的方法,其中所接收的输入是根据所述对象的行为动作获得的,该行为动作已通过人类用户对所述对象的直接操控而产生。
15.根据权利要求1或2所述的方法,其中,所述输入是由输入节点(61)接收的,并且是根据与所述对象进行交互的一个或更多个其他对象的行为动作而获得的。
16.根据权利要求1或2所述的方法,其中,所述输入是由输入节点(61)接收的,并且包括与由所述行为控制器的用户执行的行为动作相关联的输入。
17.根据权利要求1所述的方法,其中接收与一个或更多个行为动作相关联的输入的所述步骤包括以下步骤:
使用用于向所述对象的行为控制器提供输入的行为设计界面,向与所述对象的行为特性相关联的行为参数集合赋值,各个所述行为参数集合都包括影响所述行为特性的至少一个参数;
使用由行为简档限定的默认值,使所述参数集合中的每一个参数都与通过对所赋的值执行一函数而获得的参数值相关联;以及
将所述参数值输入所述对象的行为控制器;
其中,所述对象使用所获得的输出产生等效行为的所述步骤包括:使所述输出与所述对象的行为动作相关联;以及
使所述对象执行所述行为动作。
18.一种用于产生对象的行为的行为控制器,该控制器包括:
多个节点(62、63、64、65)的框架(31、60),至少一个节点(63)被设置用来通过多个节点(62、63、64、65)的所述框架(31、60)沿前向方向和后向方向将输入映射为输出,并且至少一个节点(62)被设置用来赋予全局框架参数值;
接口装置,该接口装置用于接收与一个或更多个行为动作相关联的输入;
用于对于所述框架(31、60)中的多个行为节点(63),根据所述行为框架(31、60)通过所述输入来推断各个节点(63)的行为参数值的装置;
用于对于所述框架(31、60)中的一个或更多个全局参数节点(62),根据所述行为参数值中的每一个推断一个或更多个全局参数值的装置;
用于通过所述框架(31、60)的各个行为节点(63)沿前向方向对所述全局参数值进行映射的装置;
用于对于行为框架(31、60)中的行为输出节点(65)根据所推断的多个行为参数值来获得输出的装置;以及
用于由所述对象使用所获得的输出来产生等效行为的装置。
19.根据权利要求18所述的行为控制器,其中用于产生等效行为的所述装置包括用于将根据所推断的行为参数值获得的输出传送给用于对所述输出进行运算的动画系统,以使所述对象进行适当行为动画的装置。
20.根据权利要求18或19所述的行为控制器,其中以适于由另一对象的行为控制器作为输入接收的形式来提供来自所述行为控制器的输出。
21.根据权利要求18或19所述的行为控制器,其中,所述行为控制器产生肢体语言行为并且还包括肢体语言翻译单元,用于将根据符合第一文化的肢体语言的行为而获得的所接收的输入映射为符合第二文化的肢体语言的输入。
22.根据权利要求18或19所述的行为控制器,其中,所述对象是被设置为在虚拟环境内进行操作的虚拟对象。
23.根据权利要求22所述的行为控制器,其中,所述对象是用于在从包括以下虚拟环境的组中选择的任意虚拟环境中进行操作的虚拟对象:
虚拟计算机游戏、虚拟在线会议、在线游戏、在线聊天室、化身宴会会议、化身辅导会议、基于化身的调解环境、基于化身的销售环境、在线协作环境、在线顾客关系管理环境。
24.根据权利要求18或19所述的行为控制器,其中,软件代理向所述行为控制器提供所述输入。
CN2004800079338A 2003-03-25 2004-03-24 用于产生对象的行为的装置和方法 Expired - Fee Related CN100407111C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0306875.6A GB0306875D0 (en) 2003-03-25 2003-03-25 Apparatus and method for generating behavior in an object
GB0306875.6 2003-03-25

Publications (2)

Publication Number Publication Date
CN1764889A CN1764889A (zh) 2006-04-26
CN100407111C true CN100407111C (zh) 2008-07-30

Family

ID=9955506

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2004800079338A Expired - Fee Related CN100407111C (zh) 2003-03-25 2004-03-24 用于产生对象的行为的装置和方法
CNB2004800079408A Expired - Fee Related CN100392562C (zh) 2003-03-25 2004-03-24 用于对象的行为翻译器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB2004800079408A Expired - Fee Related CN100392562C (zh) 2003-03-25 2004-03-24 用于对象的行为翻译器

Country Status (8)

Country Link
US (2) US20060184355A1 (zh)
EP (2) EP1606697A1 (zh)
JP (2) JP4579904B2 (zh)
KR (2) KR101106002B1 (zh)
CN (2) CN100407111C (zh)
CA (2) CA2520036A1 (zh)
GB (1) GB0306875D0 (zh)
WO (2) WO2004086207A1 (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0306875D0 (en) * 2003-03-25 2003-04-30 British Telecomm Apparatus and method for generating behavior in an object
US7346478B2 (en) * 2004-09-21 2008-03-18 Ford Motor Company Method of embedding tooling control data within mechanical fixture design to enable programmable logic control verification simulation
JP2006146435A (ja) * 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
KR100711194B1 (ko) * 2005-02-04 2007-04-24 바이어스아이티 주식회사 다중 레이어 기반의 이미지 및 오디오 아바타 파일 생성및 재생 방법
US8136038B2 (en) * 2005-03-04 2012-03-13 Nokia Corporation Offering menu items to a user
US7512537B2 (en) * 2005-03-22 2009-03-31 Microsoft Corporation NLP tool to dynamically create movies/animated scenes
US20070015121A1 (en) * 2005-06-02 2007-01-18 University Of Southern California Interactive Foreign Language Teaching
DE102005035903A1 (de) * 2005-07-28 2007-02-08 X-Aitment Gmbh Generische KI-Architektur für ein Multiagenten-System
WO2007076513A2 (en) * 2005-12-27 2007-07-05 Bonnie Johnson Virtual counseling practice
WO2008008893A2 (en) * 2006-07-12 2008-01-17 Medical Cyberworlds, Inc. Computerized medical training system
US8010474B1 (en) 2006-09-05 2011-08-30 Aol Inc. Translating paralinguisitic indicators
US8726195B2 (en) 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US20080120558A1 (en) * 2006-11-16 2008-05-22 Paco Xander Nathan Systems and methods for managing a persistent virtual avatar with migrational ability
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
EP2132650A4 (en) * 2007-03-01 2010-10-27 Sony Comp Entertainment Us SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD
WO2008151424A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
WO2008151422A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Dynamic user interface for inheritance based avatar generation
WO2008151420A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Automatic feature mapping in inheritance based avatar generation
WO2008151419A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Sex selection in inheritance based avatar generation
US8930463B2 (en) * 2007-07-09 2015-01-06 Yahoo! Inc. Super-emoticons
KR101399199B1 (ko) * 2007-07-16 2014-05-27 삼성전자주식회사 소프트웨어 로봇의 유전자 코드 구성 방법
US20090058862A1 (en) * 2007-08-27 2009-03-05 Finn Peter G Automatic avatar transformation for a virtual universe
US20090069084A1 (en) * 2007-09-12 2009-03-12 Reece Alex D System and Methods for Monitoring and Controlling the Actions of an Avatar in a Virtual Environment
US20090128567A1 (en) * 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
US20090157751A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying an avatar
US20090171164A1 (en) * 2007-12-17 2009-07-02 Jung Edward K Y Methods and systems for identifying an avatar-linked population cohort
US8195593B2 (en) * 2007-12-20 2012-06-05 The Invention Science Fund I Methods and systems for indicating behavior in a population cohort
US20090157813A1 (en) * 2007-12-17 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
US8615479B2 (en) 2007-12-13 2013-12-24 The Invention Science Fund I, Llc Methods and systems for indicating behavior in a population cohort
US20090164302A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a cohort-linked avatar attribute
US20090157660A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems employing a cohort-linked avatar
US20090157625A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
US8356004B2 (en) * 2007-12-13 2013-01-15 Searete Llc Methods and systems for comparing media content
US20090164458A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems employing a cohort-linked avatar
US8069125B2 (en) * 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US20090156955A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US9211077B2 (en) * 2007-12-13 2015-12-15 The Invention Science Fund I, Llc Methods and systems for specifying an avatar
US20090157481A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a cohort-linked avatar attribute
US8390629B2 (en) * 2007-12-17 2013-03-05 Pixar Methods and apparatus for designing animatronics units from articulated computer generated characters
EP2227802A4 (en) * 2007-12-17 2012-04-25 Pixar METHOD AND DEVICE FOR DESIGNING ANIMATRONIC UNITS FROM COMPUTER-GENERATED JOINTFIGURES
US20090164503A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a media content-linked population cohort
US9418368B2 (en) * 2007-12-20 2016-08-16 Invention Science Fund I, Llc Methods and systems for determining interest in a cohort-linked avatar
US20090164131A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a media content-linked population cohort
US8150796B2 (en) * 2007-12-20 2012-04-03 The Invention Science Fund I Methods and systems for inducing behavior in a population cohort
US9775554B2 (en) * 2007-12-31 2017-10-03 Invention Science Fund I, Llc Population cohort-linked avatar
US20090192785A1 (en) * 2008-01-29 2009-07-30 Anna Carpenter Cavender System and method for optimizing natural language descriptions of objects in a virtual environment
US20090210803A1 (en) * 2008-02-15 2009-08-20 International Business Machines Corporation Automatically modifying communications in a virtual universe
US9110890B2 (en) * 2008-02-15 2015-08-18 International Business Machines Corporation Selecting a language encoding of a static communication in a virtual universe
US7447996B1 (en) * 2008-02-28 2008-11-04 International Business Machines Corporation System for using gender analysis of names to assign avatars in instant messaging applications
EP2293855A1 (en) * 2008-06-02 2011-03-16 Nike International Ltd. System and method for creating an avatar
US20090319397A1 (en) * 2008-06-19 2009-12-24 D-Link Systems, Inc. Virtual experience
IL192478A0 (en) * 2008-06-26 2009-02-11 Shimon Elnatan System and method for simplifying the creation and storage of complex animation objects and movies
US8200578B2 (en) * 2008-07-09 2012-06-12 Hill Matthew D Methods and systems for account management and virtual agent design and implementation
US8446414B2 (en) * 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
US20120246585A9 (en) * 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US8384719B2 (en) * 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US9223469B2 (en) * 2008-08-22 2015-12-29 Intellectual Ventures Fund 83 Llc Configuring a virtual world user-interface
US8296246B2 (en) * 2008-09-02 2012-10-23 International Business Machines Corporation Allocating virtual universe customer service
US20100083112A1 (en) * 2008-09-23 2010-04-01 International Business Machines Corporation Managing virtual universe avatar behavior ratings
US20100088084A1 (en) * 2008-10-03 2010-04-08 International Business Machines Corporation Method for translating a non-verbal communication within a virtual world environment
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US20100131876A1 (en) * 2008-11-21 2010-05-27 Nortel Networks Limited Ability to create a preferred profile for the agent in a customer interaction experience
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
KR101381594B1 (ko) * 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
WO2010093995A1 (en) * 2009-02-13 2010-08-19 Social Gaming Network Apparatuses, methods and systems for an interworld feedback platform bridge
KR20110114650A (ko) * 2009-02-18 2011-10-19 닛본 덴끼 가부시끼가이샤 동작 대상 제어 장치, 동작 대상 제어 시스템, 동작 대상 제어 방법 및 프로그램
US8262474B2 (en) * 2009-04-21 2012-09-11 Mcmain Michael Parker Method and device for controlling player character dialog in a video game located on a computer-readable storage medium
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US8380649B2 (en) 2009-07-10 2013-02-19 International Business Machines Corporation Application of normative rules in a virtual universe
US8347217B2 (en) * 2009-12-02 2013-01-01 International Business Machines Corporation Customized rule application as function of avatar data
US20110239136A1 (en) * 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
US20110225515A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Sharing emotional reactions to social media
US8572177B2 (en) * 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
US20110225039A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Virtual social venue feeding multiple video streams
US20110225518A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Friends toolbar for a virtual social venue
US8875019B2 (en) 2010-03-16 2014-10-28 International Business Machines Corporation Virtual cultural attache
KR20110107428A (ko) * 2010-03-25 2011-10-04 삼성전자주식회사 컨텐츠 제작을 위한 그래픽 유저 인터페이스를 제공하는 디지털 기기 및 그의 그래픽 유저 인터페이스 제공 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체
US20110250575A1 (en) * 2010-04-13 2011-10-13 enVie Interactive LLC System And Method For Providing A Visual Representation Of A User Personality Within A Virtual Environment
US8323068B2 (en) * 2010-04-23 2012-12-04 Ganz Villagers in a virtual world with upgrading via codes
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
CN106964150B (zh) * 2011-02-11 2021-03-02 漳州市爵晟电子科技有限公司 一种动作定位点控制系统及其穿套式定点控制设备
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
KR101190660B1 (ko) * 2012-07-23 2012-10-15 (주) 퓨처로봇 로봇 제어 시나리오 생성 방법 및 장치
TWI569156B (zh) 2012-10-09 2017-02-01 萬國商業機器公司 提供電子裝置之使用者介面的方法及其電子裝置
US9852381B2 (en) * 2012-12-20 2017-12-26 Nokia Technologies Oy Method and apparatus for providing behavioral pattern generation for mixed reality objects
EP3028201A4 (en) 2013-08-02 2017-03-22 Auckland Uniservices Limited System for neurobehavioural animation
US9886710B2 (en) 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
US20160148529A1 (en) 2014-11-20 2016-05-26 Dharma Systems Inc. System and method for improving personality traits
KR101659849B1 (ko) 2015-01-09 2016-09-29 한국과학기술원 아바타를 이용한 텔레프레즌스 제공 방법, 상기 방법을 수행하는 시스템 및 컴퓨터 판독 가능한 기록 매체
IN2015CH03967A (zh) 2015-07-31 2015-08-14 Wipro Ltd
US20170124900A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome weak behavioral traits
US20170124910A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome submissiveness
US20170124906A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome perfectionism
US20170124901A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome introversion
US20160293044A1 (en) * 2015-11-04 2016-10-06 Dharma Life Sciences Llc System and method for enabling a user to overcome impatience laziness and low trust issues
US20170186334A1 (en) * 2015-11-04 2017-06-29 Dharma Life Sciences Llc System and method for enabling a user to improve on behavioral traits that are required for achieving success
US20170124896A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome sensitivity
US20170124903A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome anxiety
US20170124904A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome low empathy
US20170124909A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome anger
US20170124908A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome pessimism
US20160328992A1 (en) * 2015-11-04 2016-11-10 Dharma Life Sciences Llc System and method for enabling a user to overcome low self esteem and narcissism
US20170124897A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome high empathy
US20170124902A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome low self-esteem
US20170124905A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome social anxiety
US20170124907A1 (en) * 2015-11-04 2017-05-04 Dharma Life Sciences Llc System and method for enabling a user to overcome lack of self control
WO2017079731A1 (en) 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
CN105511930A (zh) * 2015-12-30 2016-04-20 北京像素软件科技股份有限公司 一种游戏技能的实现方法及装置
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
JP7157340B2 (ja) 2018-02-16 2022-10-20 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
WO2019160104A1 (ja) * 2018-02-16 2019-08-22 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
KR102543656B1 (ko) 2018-03-16 2023-06-15 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
CN109063595B (zh) * 2018-07-13 2020-11-03 苏州浪潮智能软件有限公司 一种将肢体动作转换为计算机语言的方法及装置
KR102530264B1 (ko) * 2018-08-08 2023-05-09 삼성전자 주식회사 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US11544594B2 (en) * 2019-04-11 2023-01-03 Sunghee Woo Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device
US20210035047A1 (en) * 2019-08-02 2021-02-04 Capital One Services, Llc Utilizing a machine learning model to determine anonymized avatars for employment interviews
CN111870917B (zh) * 2020-07-24 2021-07-23 合肥安达创展科技股份有限公司 滑雪装置的模拟运行方法、系统及计算机可读储存介质
US11738943B2 (en) * 2021-09-07 2023-08-29 Lasso Loop Recycling LLC. Processed used-material collection and transfer system and method
US11861778B1 (en) * 2022-07-25 2024-01-02 Gravystack, Inc. Apparatus and method for generating a virtual avatar

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145113A (zh) * 1994-02-17 1997-03-12 斯马特系统国际公司 用于气候自动控制的器件和方法
EP0978790A1 (en) * 1998-08-06 2000-02-09 Yamaha Hatsudoki Kabushiki Kaisha Control system and method for controlling object using emotions and personality generated in the object
US6212502B1 (en) * 1998-03-23 2001-04-03 Microsoft Corporation Modeling and projecting emotion and personality from a computer user interface
CN1292117A (zh) * 1998-02-26 2001-04-18 太阳微系统公司 基于事件的分布式系统中传送行为的方法和装置
CN1384445A (zh) * 2001-04-30 2002-12-11 索尼电脑娱乐美国公司 根据用户指定的特征传输内容数据的改进网络
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
JP3932462B2 (ja) * 1997-05-27 2007-06-20 ソニー株式会社 クライアント装置、画像表示制御方法、共有仮想空間提供装置および方法、並びに記録媒体
EP0911741B1 (en) * 1997-08-29 2009-01-14 Sony France S.A. System adapted to develop conditioned reflexes
JP3178393B2 (ja) * 1997-11-11 2001-06-18 オムロン株式会社 行動生成装置、行動生成方法及び行動生成プログラム記録媒体
JPH11213179A (ja) * 1998-01-23 1999-08-06 Sony Corp 共有仮想空間提供装置および方法、並びに提供媒体
JP2000107442A (ja) * 1998-10-06 2000-04-18 Konami Co Ltd ビデオゲームにおけるキャラクタ挙動制御方法、ビデオゲーム装置及びビデオゲームプログラムが記録された可読記録媒体
JP2000155750A (ja) * 1998-11-24 2000-06-06 Omron Corp 行動生成装置、行動生成方法及び行動生成プログラム記録媒体
US7061493B1 (en) * 1999-04-07 2006-06-13 Fuji Xerox Co., Ltd. System for designing and rendering personalities for autonomous synthetic characters
WO2000066239A1 (fr) * 1999-04-30 2000-11-09 Sony Corporation Systeme d'animal de compagnie electronique, systeme de reseau, robot et support de donnees
US7088459B1 (en) 1999-05-25 2006-08-08 Silverbrook Research Pty Ltd Method and system for providing a copy of a printed page
JP2001034378A (ja) * 1999-07-23 2001-02-09 Kansai Tlo Kk オブジェクト出力システム、オブジェクト管理装置、オブジェクト出力装置、及び記録媒体
JP2001191274A (ja) * 1999-12-30 2001-07-17 Sony Corp データ保持装置、ロボット装置、変更装置及び変更方法
JP2001277163A (ja) * 2000-04-03 2001-10-09 Sony Corp ロボットの制御装置及び制御方法
JP2002018146A (ja) * 2000-07-04 2002-01-22 Tomy Co Ltd 対話型玩具、反応行動パターン生成装置および反応行動パターン生成方法
JP2002312295A (ja) * 2001-04-09 2002-10-25 Nec Interchannel Ltd 仮想3次元空間会話システム
US7663628B2 (en) * 2002-01-22 2010-02-16 Gizmoz Israel 2002 Ltd. Apparatus and method for efficient animation of believable speaking 3D characters in real time
JP2003337956A (ja) * 2002-03-13 2003-11-28 Matsushita Electric Ind Co Ltd コンピュータグラフィックス・アニメーション装置及びコンピュータグラフィックス・アニメーション方法
GB0306875D0 (en) 2003-03-25 2003-04-30 British Telecomm Apparatus and method for generating behavior in an object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145113A (zh) * 1994-02-17 1997-03-12 斯马特系统国际公司 用于气候自动控制的器件和方法
CN1292117A (zh) * 1998-02-26 2001-04-18 太阳微系统公司 基于事件的分布式系统中传送行为的方法和装置
US6212502B1 (en) * 1998-03-23 2001-04-03 Microsoft Corporation Modeling and projecting emotion and personality from a computer user interface
EP0978790A1 (en) * 1998-08-06 2000-02-09 Yamaha Hatsudoki Kabushiki Kaisha Control system and method for controlling object using emotions and personality generated in the object
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations
CN1384445A (zh) * 2001-04-30 2002-12-11 索尼电脑娱乐美国公司 根据用户指定的特征传输内容数据的改进网络

Also Published As

Publication number Publication date
CN1764889A (zh) 2006-04-26
WO2004086208A3 (en) 2004-11-25
JP2007527556A (ja) 2007-09-27
EP1606698A2 (en) 2005-12-21
JP4579904B2 (ja) 2010-11-10
KR101106002B1 (ko) 2012-01-18
WO2004086208A2 (en) 2004-10-07
KR20050107629A (ko) 2005-11-14
CN1764890A (zh) 2006-04-26
CA2519762A1 (en) 2004-10-07
CN100392562C (zh) 2008-06-04
US20060184355A1 (en) 2006-08-17
WO2004086207A1 (en) 2004-10-07
EP1606697A1 (en) 2005-12-21
CA2520036A1 (en) 2004-10-07
GB0306875D0 (en) 2003-04-30
JP2006525570A (ja) 2006-11-09
US20060224546A1 (en) 2006-10-05
KR20050116156A (ko) 2005-12-09
US7574332B2 (en) 2009-08-11

Similar Documents

Publication Publication Date Title
CN100407111C (zh) 用于产生对象的行为的装置和方法
Badler Real-time virtual humans
Lertlakkhanakul et al. Building data model and simulation platform for spatial interaction management in smart home
Prendinger et al. MPML3D: Scripting agents for the 3D internet
Dai et al. Virtual spaces-VR projection system technologies and applications
WO1998006043A1 (en) A method and system for scripting interactive animated actors
Pelechano et al. Feeling crowded yet?: crowd simulations for VR
Ieronutti et al. A virtual human architecture that integrates kinematic, physical and behavioral aspects to control h-anim characters
Kennaway Avatar-independent scripting for real-time gesture animation
Jung et al. Extending H-Anim and X3D for advanced animation control
Kwon et al. Creative social VR practices in connected environments: The 5G lift for retails in digital urban context
Nijholt From virtual environment to virtual community
Turner et al. SL-Bots: Automated and Autonomous Performance Art in Second Life
Li et al. EnchantedBrush: Animating in Mixed Reality for Storytelling and Communication
Barnes Visual programming agents for virtual environments
Badler et al. Virtual Humans
Na et al. Interface Application of a Virtual Assistant Agent in an Immersive Virtual Environment
Thalmann Control and autonomy for intelligent virtual agent behaviour
Anastassakis et al. A system for logic-based intelligent virtual agents
Gillies et al. Direct manipulation like tools for designing intelligent virtual agents
Celentano et al. Classes of experiences: a high level approach to support content experts for the authoring of 3D environments
Reffat et al. A Framework of semantic-based agents to support designing in virtual environments
Kiss 3D Character Centred Online Editing Modalities for VRML-based Virtual Environments
Kim et al. Definition of a layered avatar behavior script language for creating and reusing scenario scripts
André et al. Deliverable D5. 2 Shell for Emotional Expression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CI01 Publication of corrected invention patent application

Correction item: International application

Correct: * 2004 * 01301 2004.03.24

False: * 2004 * 01301 2004.03.25

Number: 17

Volume: 22

Correction item: Application Date

Correct: 20040324

False: 20040325

Number: 17

Volume: 22

CI02 Correction of invention patent application

Correction item: International application

Correct: PCT/GB2004/001301 2004.03.24

False: PCT/GB2004/001301 2004.03.25

Number: 17

Page: The title page

Volume: 22

Correction item: Application Date

Correct: 20040324

False: 20040325

Number: 17

Page: The title page

Volume: 22

COR Change of bibliographic data

Free format text: CORRECT: APPLICATION DATE INTERNATIONAL APPLICATION; FROM: 2004.3.25 PCT/GB2004/001301 2004.3.25 TO: 2004.3.24 PCT/GB2004/001301 2004.3.24

ERR Gazette correction

Free format text: CORRECT: APPLICATION DATE INTERNATIONAL APPLICATION; FROM: 2004.3.25 PCT/GB2004/001301 2004.3.25 TO: 2004.3.24 PCT/GB2004/001301 2004.3.24

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080730

Termination date: 20140324