CN102458595B - 在虚拟世界中控制对象的系统、方法和记录介质 - Google Patents

在虚拟世界中控制对象的系统、方法和记录介质 Download PDF

Info

Publication number
CN102458595B
CN102458595B CN201080031098.7A CN201080031098A CN102458595B CN 102458595 B CN102458595 B CN 102458595B CN 201080031098 A CN201080031098 A CN 201080031098A CN 102458595 B CN102458595 B CN 102458595B
Authority
CN
China
Prior art keywords
virtual world
virtual
world object
virtual image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080031098.7A
Other languages
English (en)
Other versions
CN102458595A (zh
Inventor
韩承周
韩在浚
安廷桓
李贤廷
方远喆
朴浚我
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102458595A publication Critical patent/CN102458595A/zh
Application granted granted Critical
Publication of CN102458595B publication Critical patent/CN102458595B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种在虚拟世界中控制虚拟形象的特征的系统和方法。控制虚拟形象的特征的系统可基于虚拟世界的虚拟形象信息以及使用基于传感器的输入装置表达用户意图的传感器控制命令来产生虚拟形象控制信息。

Description

在虚拟世界中控制对象的系统、方法和记录介质
技术领域
一个或多个实施例涉及一种控制真实世界的用户的图形适合于虚拟世界的虚拟形象的特征的方法。
背景技术
近来，将真实世界的用户表示为虚拟世界的虚拟形象的兴趣极大地增加。具体地讲，已经积极地做出对控制以使用户的实际特征(诸如，外貌、运动等)适合于虚拟世界的虚拟形象从而虚拟形象可被逼真地显示的方法的研究。
因此，存在对一种控制虚拟世界的虚拟形象的特征的系统和方法的期望。
发明内容
根据一个或多个实施例的一方面，可提供一种控制虚拟形象的特征的系统，该系统包括：传感器控制命令接收器，经由基于传感器的输入装置来接收指示用户的意图的传感器控制命令；虚拟形象控制信息产生器，基于传感器控制命令来产生虚拟形象控制信息。
虚拟形象信息可包括：用于标识虚拟形象的标识符(ID)以及指示虚拟形象的形态学信息的族的属性，作为元数据。
虚拟形象信息可包括：用于定义虚拟形象动画的各种行为的运动元素的自由方向(FreeDirection)，作为元数据。
虚拟形象信息可包括：用于指示虚拟形象的行为的各种表情的物理条件(PhysicalCondition)的元素作为用于虚拟行为外貌的元数据，并且可包括身体灵活性(BodyFlexibility)和身体力量(BodyStrength)作为PhysicalCondition的子元素。
虚拟形象信息可包括：用于定义用于控制虚拟形象的面部表情和动作的虚拟形象脸特征点以及身体特征点的元数据。
根据一个或多个实施例的另一方面，可提供一种控制虚拟形象的特征的方法，该方法包括：经由基于传感器的输入装置来接收指示用户意图的传感器控制命令；基于传感器控制命令来产生虚拟形象控制信息。
根据一个或多个实施例的另一方面，可提供一种存储元数据结构的非暂时性计算机可读存储介质，其中，用于定义虚拟形象的面部表情和动作的脸特征点和身体特征点被定义。
根据一个或多个实施例的另一方面，可提供一种成像设备，包括：存储单元，存储动画剪辑、动画控制信息以及控制控制信息，动画控制信息包括指示动画剪辑对应的虚拟形象的部分的信息以及优先级，控制控制信息包括指示运动数据对应的虚拟形象的部分的信息以及优先级，所述运动数据通过处理从运动传感器接收的值而被产生；处理单元，将对应于虚拟形象的第一部分的动画控制信息的优先级与对应于虚拟形象的第一部分的控制控制信息的优先级进行比较，并且确定将可应用于虚拟形象的第一部分的数据。
根据一个或多个实施例的另一方面，可提供一种存储在包括处理器和存储器的计算机系统中执行的程序的非暂时计算机可读存储介质，该非暂时计算机可读存储介质包括：第一组指令，存储动画控制信息和控制控制信息；第二组指令，基于对应于虚拟形象的每一部分的动画控制信息以及控制控制信息来将从运动传感器接收的值产生的动画剪辑和运动数据关联。动画控制信息可包括与对应动画剪辑关联的信息、指示对应动画剪辑对应于虚拟形象的面部表情、头、上体、中体和下体中的一个的标识符，并且控制控制信息可包括指示实时运动数据对应于虚拟形象的面部表情、头、上体、中体和下体中的一个的标识符。
附图说明
图1示出根据实施例的自适应真实到虚拟(RV)使用传感器控制命令来接收真实世界的用户意图并且基于虚拟形象信息和虚拟形象控制信息来与虚拟世界通信的系统；
图2简要地示出具有RV和虚拟到真实(VR)的对称结构的系统；
图3详细地示出具有RV和VR的对称结构的系统；
图4示出根据实施例的驱动自适应RV的处理；
图5示出根据实施例的定义用于脸控制的虚拟形象面部表情控制点的示例；
图6示出根据实施例的脸控制的示例；
图7示出根据实施例的通过脸控制产生关于真实世界的用户的各虚拟形象的示例；
图8示出根据实施例的取决于虚拟形象的物理条件显示不同的形式的两个虚拟形象的示例；
图9示出根据实施例的共同特征类型(CommonCharacteristicsType)的结构；
图10示出根据实施例的标识类型(IdentificationType)的结构；
图11示出根据实施例的虚拟世界对象声音类型(VWOSoundType)的结构；
图12示出根据实施例的虚拟世界对象气味类型(VWOScentType)的结构；
图13示出根据实施例的虚拟世界对象控制类型(VWOControlType)的结构；
图14示出根据实施例的虚拟世界对象事件类型(VWOEventType)的结构；
图15示出根据实施例的虚拟世界对象行为模型类型(VWOBehaviorModelType)的结构；
图16示出根据实施例的虚拟世界对象触觉特征类型(VWOHapticPropertyType)的结构；
图17示出根据实施例的材料特征类型(MaterialPropertyType)的结构；
图18示出根据实施例的动力效果类型(DynamicForceEffectType)的结构；
图19示出根据实施例的触觉类型(TactileType)的结构；
图20示出根据实施例的虚拟形象类型(AvatarType)的结构；
图21示出根据实施例的虚拟形象外貌类型(AvatarAppearanceType)的结构；
图22示出根据实施例的面部校准点的示例；
图23示出根据实施例的物理条件类型(PhysicalConditionType)的结构；
图24示出根据实施例的虚拟形象动画类型(AvatarAnimationType)的结构；
图25示出根据实施例的虚拟形象通信技能类型(AvatarCommunicationSkillsType)的结构；
图26示出根据实施例的虚拟形象通信类型(VerbalCommunicationType)的结构；
图27示出根据实施例的语言类型(LanguageType)的结构；
图28示出根据实施例的非语言通信类型(NonVerbalCommunicationType)的结构；
图29示出根据实施例的手语类型(SignLanguageType)的结构；
图30示出根据实施例的虚拟形象个性类型(AvatarPersonalityType)的结构；
图31示出根据实施例的虚拟形象控制特征类型(AvatarControlFeaturesType)的结构；
图32示出根据实施例的控制体特征类型(ControlBodyFeaturesType)的结构；
图33示出根据实施例的控制脸特征类型(ControlFaceFeaturesType)的结构；
图34示出根据实施例的头轮廓的示例；
图35示出根据实施例的左眼轮廓的示例；
图36示出根据实施例的右眼轮廓的示例；
图37示出根据实施例的左眉毛轮廓的示例；
图38示出根据实施例的右眉毛轮廓的示例；
图39示出根据实施例的左耳轮廓和右耳轮廓的示例；
图40示出根据实施例的鼻子轮廓的示例；
图41示出根据实施例的嘴唇轮廓的示例；
图42示出根据实施例的脸点的示例；
图43示出根据实施例的轮廓类型(OutlineType)的结构；
图44示出根据实施例的Outline4PointsType的结构；
图45示出根据实施例的Outline5PointsType的结构；
图46示出根据实施例的Outline8PointsType的结构；
图47示出根据实施例的Outline14PointsType的结构；
图48示出根据实施例的虚拟对象类型(VirtualObjectType)的结构；
图49示出根据实施例的虚拟对象外貌类型(VOAppearanceType)的结构；
图50示出根据实施例的虚拟对象动画类型(VOAnimationType)的结构；
图51示出根据实施例的虚拟形象特征控制系统的配置；
图52示出根据实施例的控制虚拟形象的特征的方法；
图53示出根据实施例的在真实世界和虚拟世界之间交换信息和数据的系统的结构；
图54至图58示出根据实施例的虚拟形象控制命令；
图59示出根据实施例的外貌控制类型(AppearanceControlType)的结构；
图60示出根据实施例的通信技能控制类型(CommunicationSkillsControlType)的结构；
图61示出根据实施例的个性控制类型(PersonalityControlType)的结构；
图62示出根据实施例的动画控制类型(AnimationControlType)的结构；
图63示出根据实施例的控制控制类型(ControlControlType)的结构；
图64示出根据实施例的成像设备的配置；
图65示出根据实施例的虚拟世界的虚拟形象被分为面部表情部分、头部、上体部分、中体部分和下体部分的状态；
图66示出根据实施例的关于动画剪辑的数据库；
图67示出根据实施例的关于动作数据的数据库；
图68示出根据实施例的通过比较优先级确定运动对象数据将被应用到虚拟形象的任意部分的操作；
图69示出根据实施例的确定将被应用到虚拟形象的每个部分的运动对象数据的方法；
图70示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分关联的操作；
图71示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分关联的操作；
图72示出根据实施例的用于控制虚拟世界对象的终端和虚拟世界服务器；
图73示出根据另一实施例的用于控制虚拟世界对象的终端和虚拟世界服务器；
图74示出根据另一实施例的用于控制虚拟世界对象的多个终端；
图75示出根据另一实施例的用于控制虚拟世界对象的终端。
具体实施方式
现在，将对实施例进行详细参照，其示例在附图中示出，其中，相同的标号始终表示相同的元件。下面描述实施例以通过参照附图来解释本公开。
1、指令：
虚拟环境(VE)在多媒体产业中的重要性可能逐渐增加。VE对于其他多媒体应用的特异性可包括在VE内用户的视觉表情。可以以虚拟形象(也就是，提供其他目的的图形对象)的形式提供视觉表情，所述其他目的包括：
-使得真实世界中的用户的出现在VE中可见，
-在VE中表现用户的特征，
-与VE交互。
图1示出根据实施例的自适应真实到虚拟(RV)102使用传感器控制命令103来接收真实世界的用户意图并且基于虚拟形象信息和虚拟形象控制信息来与虚拟世界104通信的系统。在真实世界中，用户意图可作为传感器控制命令103从基于传感器的输入装置101传送到自适应RV 102。虚拟世界104中的对象和虚拟形象的结构信息可作为虚拟形象信息105被传送到自适应RV 102(例如，自适应RV引擎)。自适应RV引擎可基于传感器控制命令103和虚拟形象信息105将虚拟世界104的虚拟形象和对象转换为虚拟形象控制信息106，并且可将虚拟形象控制信息106发送给虚拟世界104。虚拟世界104的虚拟形象可基于虚拟形象控制信息106被操纵。例如，运动传感器可传送与位置、速度等关联的信息，相机可传送与轮廓像、颜色、深度等关联的信息。由运动传感器和相机传送的信息可用包含在自适应RV引擎中的虚拟形象信息来计算，并且可被转换为虚拟形象控制信息106。
图2简要地示出具有RV和虚拟到真实(VR)的对称结构的系统，图3详细地示出具有RV和VR的对称结构的系统。图2和图3中显示的VR可使用虚拟传感器来感测虚拟世界的情形以使用虚拟形象来提供真实世界中的相同情形。例如，在交互式电影院的情况下，电影中的情形(诸如风吹、摇动等)可在观看者观看电影的空间中被相同地再现。RV可使用真实世界的传感器来感测真实世界的当前实际情形，并且可将感测的情形转换为符合虚拟世界，产生输入和命令信息，并且将产生的输入和命令信息适应虚拟世界。虚拟制动器可与虚拟形象、虚拟对象和虚拟环境相关。在图3中，椭圆形可指示关于与图2的部分2对应的控制信息的标准区域A。部分2定义关于存在于真实世界中的装置(例如，传感器和制动器)的产品性能、用户偏爱、装置命令等。圆柱形可指示关于上下文信息(诸如，与部分3对应的感官信息、与部分4对应的虚拟形象信息以及与部分5对应的虚拟对象信息)的标准区域B。部分3定义期望从真实世界传送的内容的效果(例如，虚拟游戏、游戏等)。该效果可以是由版权持有者包括在内容中的传感器效果，并且可经由用于虚拟世界的运动图像专家组(MPEG-V)引擎被转换为控制信息，并且可作为命令被传送到每个装置。部分4定义存在于虚拟世界中的虚拟形象和虚拟对象的特征。具体地，部分4可被用于基于控制信息、虚拟形象信息和虚拟对象信息容易地操纵虚拟世界的虚拟形象和虚拟对象。标准区域A和B是MPEG-V标准化的目标。
图4示出根据实施例的驱动自适应RV的处理。
在操作401，自适应RV引擎的虚拟形象信息可被设置。在操作402，传感器输入可被监控。当在操作403发生传感器控制命令时，在操作404自适应RV引擎的命令可被识别。在操作405，虚拟形象控制信息可被产生。在操作406，虚拟形象操纵可被输出。
通常，创建虚拟形象可以是耗时的任务。尽管虚拟形象的一些元素可与VE相关(例如，在当代风格VE中穿着中世纪套装的虚拟形象是不合适的)，但是可存在一次创建虚拟形象并且在其他VE中输入并使用该创建的虚拟形象的真实期望。此外，可从外部应用控制虚拟形象。例如，可通过处理关联的用户的心理传感器来获得虚拟形象曾经在VE中暴露的情绪。
基于下面的两个主要需求，用于表达虚拟形象的可扩展标记语言(XML)方案可被提议：
-从各种VE的性能来容易地创建输入者和输出者；
-在VE中容易地控制虚拟形象。
提议的方案可处理元数据并且可不包括纹理、几何形状或动画的表现。
可从虚拟世界的真实存在以及内容认证包，基于对另一虚拟人的研究来获得该方案，所述另一虚拟人与标记语言连同流行游戏、工具以及方案相关。
作为虚拟形象的基本属性，用于表示虚拟真实(VR)空间中的每个虚拟形象的标识符(ID)以及表示每个虚拟形象的类型的族可被给定。该族可提供关于虚拟形象是否具有人类、机器人或特定动物的形式的信息。以此方式，用户可在存在多个虚拟形象的VR空间中使用ID来将用户自己的虚拟形象与另一用户的虚拟形象进行区分并且操作自己的虚拟形象，该族属性可被应用到各种虚拟形象。作为虚拟形象的可选属性，名称、性别等可被包括。
虚拟形象的元素可被配置为如下的数据类型：
-外貌：可包括用于外貌的高级描述，并且指示包括精确的几何形状和纹理的媒体。这里，′PhysicalCondition′被附加地提出。′PhysicalCondition′可包括作为它的子元素的′BodyFlexibility′和′BodyStrength′。当定义每个虚拟形象的外部特征时，身体灵活性或身体力量可提供与表达运动的虚拟形象的程度关联的信息。例如，在具有高灵活性的虚拟形象和具有低灵活性的虚拟形象之间的比较中，当由这两个虚拟形象执行相同的舞蹈(例如，芭蕾舞)时，这两个虚拟形象的运动可根据灵活性程度而改变。对于身体力量，对于相同的运动具有相对大的力量的虚拟形象可被表示为更积极地执行。为了获得这些效果，′PhysicalCondition′可作为虚拟形象外貌的子元素的元数据被提供。
-动画：可包括关于执行虚拟形象的一组动画序列的描述，并且可指示包括精确的动画参数(诸如，几何变换)的一些媒体。移动元素的自由方向(FreeDirection)可被附加地增加到虚拟形象动画的现有元数据。移动虚拟形象的现有操纵方案限于上、下、左和右。在这方面，可在任何方向被容易地操纵的项可被增加以不同地提供虚拟形象的运动动画的表情信息。
-通信技能：可包括向可通过虚拟形象通信的其他形态提供信息的一组描述符。
-个性：可包括定义虚拟形象的个性的一组描述符。
-控制特征：可包括一组虚拟形象的面部表情和运动点。因此，用户可控制描述符中没有列出的面部表情和全部身体运动。
具体地，外貌可表示虚拟形象的特征，虚拟形象的各种外貌可使用与关于虚拟形象的眼睛、鼻子、嘴唇、耳朵、头发、眉毛、指甲等的大小、位置、形状等有关的外貌信息而被定义。动画可被分类为虚拟形象的身体姿态(生气姿态、同意姿态、疲劳姿态等)(诸如问候、跳舞、步行、打架、庆祝等)以及虚拟形象的无意义姿态(诸如，面部表情(微笑、哭喊、惊讶等))。通信技能可表示虚拟形象的通信能力。例如，通信技能可包括通信能力信息，从而虚拟形象极好地讲作为本地语言的韩语，流利地讲英语，并且用法语讲简单的问候语。个性可包括开朗、热情、神经质、外向、认真等。
虚拟形象特征中的面部表情和全身体运动可被如下控制。图5示出根据实施例的用于脸控制的虚拟形象面部表情控制点的示例。脸控制可基于如图5所示的虚拟形象的头、左眼和右眼、左眉毛和右眉毛、左耳和右耳、鼻子和嘴唇的轮廓上的空间坐标、控制点(标记)，通过运动来表达各种未预定义的面部表情(诸如，微笑表情、哭喊表情、无意义的表情等)。例如，根据脸控制，真实世界中的用户的面部表情可使用相机被识别，以使识别的面部表情适应到虚拟世界的虚拟形象的面部表情上。
图6示出根据实施例的脸控制的示例。从真实世界装置601(诸如深度相机)获得的用户脸特征点的位置信息可被发送到自适应RV引擎602。该信息可通过规格化处理(用于将用户的脸大小和虚拟形象模型的脸大小匹配)被映射到参考虚拟形象模型的特征点信息，并且随后被发送到自适应RV引擎602，或者可由自适应RV引擎602来执行前述处理。接下来，虚拟世界信息603(诸如通过特征点映射创建的虚拟形象模型)可被调整为虚拟世界604的各虚拟形象的大小以被映射，并且映射的信息可作为虚拟世界604的位置信息被发送到虚拟世界604。因此，真实世界的用户的各种面部表情的改变可适应虚拟世界604的虚拟形象的面部表情。在图6中，′RW′可指示真实世界，′VW′可指示虚拟世界。
图7示出根据实施例的通过脸控制产生真实世界的用户的各虚拟形象的示例。
当比较具有彼此不同的物理条件的两个虚拟形象时，在两个虚拟形象进行相同的任务的同时或者之后的状态可彼此不同。图8示出取决于物理条件显示不同的状态的两个虚拟形象的示例。在两个虚拟形象赛跑完成之后，具有相对高身体力量的虚拟形象801看上去仍然生机勃勃，而具有相对低身体力量的虚拟形象802看上去疲劳。根据另一实施例，当练习相同的瑜伽动作时，每个虚拟形象的伸展程度可根据身体灵活性而不同。
可基于真实世界中存在的人类的骨骼按照实际人类的形状来配置体型(也就是，骨架)。例如，体型可包括左锁骨和右锁骨、左肩胛骨和右肩胛骨、左肱骨和右肱骨、左桡骨和右桡骨、左手腕和右手腕、左手和右手、左拇指和右拇指等。此外，表示骨骼的运动的身体控制可反映各骨骼的运动以表示身体的运动，可使用每个骨骼的接合点来控制各骨骼的运动。由于各骨骼彼此连接，因此相邻骨骼可共享接合点。因此，以作为参考点的盆骨开始，各骨骼的结束点中远离骨盆的结束点可被定义为各骨骼的控制点，并且可通过移动控制点来不同地表示虚拟形象的非预定义的运动。例如，可基于与关于肘部的接合点的三维(3D)位置、方向和长度关联的信息来控制肱骨的运动。也可基于与每个接合点的结束点的3D位置、方向和长度关联的信息来控制手指。可仅基于位置或仅基于方向和距离来控制每个接合点的运动。
在使用上述进行虚拟形象身体控制的情况下，可使用相机或者感测运动的运动传感器来识别真实世界的用户的运动，以使识别的运动适应到虚拟世界的虚拟形象的运动。可通过与以上参照图6描述的虚拟形象脸控制类似的处理来执行虚拟形象身体控制。具体地，可使用相机、运动传感器等来获得用户的骨架的特征点的位置和方向信息，并且获得的信息可被发送到自适应RV。该信息可通过规格化处理(用于匹配基于用户的脸大小和虚拟形象模型的脸大小计算的骨骼模型信息)被映射到参考虚拟形象模型的骨骼特征点信息，随后被发送到自适应RV引擎，或者可由自适应RV引擎来执行上述处理。处理的信息可被重新调整以适合于虚拟世界的各虚拟形象的骨骼模型，并且基于虚拟世界的位置信息被发送给虚拟世界。因此，真实世界的用户的运动可被适应到虚拟世界的虚拟形象的运动上。
如上所述，根据实施例，通过表示虚拟形象的特征的虚拟形象特征控制，用户各种面部表情、运动、个性等可被自然地表示。为此目的，可使用传感装置(例如，相机、运动传感器、红外光等)来感测真实世界的用户，以将用户的特征按原样再现到虚拟形象。因此，用户的各种图形可被自然地适应到虚拟世界的虚拟形象上。
积极虚拟形象控制可以是用于跟踪、识别并合成来自真实世界的感测装置的数据序列中的共同特征的一般参数模型。例如，捕获的用户的全身体运动可被发送给控制虚拟形象的运动的系统。身体运动感测可使用一组可佩戴或可附着的3D位置以及姿势感测装置。因此，虚拟形象身体控制的概念可被添加。该概念可表示通过采用所有感测的用户的运动来实现虚拟形象的全部控制。
该控制不限于虚拟形象，因此可应用到存在与虚拟环境中的所有对象。对此，根据实施例，对象控制系统可包括接收关于虚拟环境的对象的控制命令的控制命令接收器、以及基于接收的控制命令和对象的对象信息来控制对象的对象控制器。对象信息可包括作为虚拟世界对象的元数据的虚拟世界对象的共同特征，包括作为用于虚拟形象的元数据的虚拟形象信息、以及作为虚拟对象的元数据的虚拟对象信息。
对象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元数据的以下元素中的至少一个元素：用于标识虚拟世界对象的标识、虚拟世界对象声音(VWOSound)、虚拟世界对象气味(VWOScent)、虚拟对象控制(VWOControl)、虚拟世界对象事件(VWOEvent)、虚拟世界对象行为模型(VWOBehaviorModel)和虚拟世界触觉特征(VWOHapticProperties)。
标识可包括作为元素的以下元素中的至少一个：用于标识与虚拟世界对象关联的用户的用户标识符(UserID)、虚拟世界对象的所有权(Ownership)、权利(Rights)和信用(Credits)，并且可包括作为属性的虚拟世界对象的名称(name)以及与另一虚拟世界对象的家庭(family)中的至少一个。
VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资源统一资源定位符(URL)，并且可包括作为属性的以下元素中的至少一个：作为对象声音的唯一标识符的声音标识符(SoundID)、指示声音强度的强度(intensity)、指示声音持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及声音名称(name)。
VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资源URL(scent resource URL)，并且可包括作为属性的以下元素中的至少一个：作为对象气味的唯一标识符的气味标识符(ScentID)、指示气味浓度的强度(intensity)、指示气味持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及气味名称(name)。
VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、方位(orientation)和大小(scale)的一组元素的运动特征控制(MotionFeatureControl)，并且可包括作为属性的作为控制的唯一标识符的控制标识符(ControlID)。在这种情况下，MotionFeatureControl可包括作为元素的以下元素中的至少一个：在具有三维(3D)浮点向量的场景中的对象的位置、具有作为欧拉角的3D浮点向量的场景中的对象的方位、以及表示为3D浮点向量的场景中的对象的大小。
VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及用户定义的输入(UserDefinedInput)，并且可包括作为事件的唯一标识符的事件标识符(EventID)作为属性。鼠标(Mouse)可包括作为元素的以下元素中的至少一个：单击(click)、双击(Double_Click)、左按钮向下(LeftBttn_down)(作为在按下鼠标的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作为在释放鼠标的左按钮时发生的事件)、右按钮向下(RightBttn_down)(作为在按下鼠标的右按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在释放鼠标的右按钮时发生的事件)、以及移动(move)(作为在改变鼠标的位置的同时发生的事件)。此外，键盘(Keyboard)可包括作为元素的以下元素中的至少一个：键向下(Key_Down)(作为在按下键盘按钮时发生的事件)、以及键向上(Key_Up)(作为在释放键盘按钮时发生的事件)。
VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入事件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下，BehaviorInput可包括作为属性的EventID，BehaviorOutput可包括作为属性的以下元素中的至少一个：SoundID、ScentID和动画标识符(AnimationID)。
VWOHapticProperties可包括作为属性的以下元素中的至少一个：材料特征(MaterialProperty)(包含表现触觉特征的参数)、动力效果(DynamicForceEffect)(包含表现力效果的参数)以及触觉特征(TactileProperty)(包含表现触觉特征的参数)。在这种情况下，MaterialProperty可包括作为属性的以下元素中的至少一个：虚拟世界对象的硬度(Stiffness)、虚拟世界对象的静摩擦(StaticFriction)、虚拟世界对象的动摩擦(DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到触觉纹理文件的链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外，DynamicForceEffect可包括作为属性的以下元素中的至少一个：包含到力场向量文件的链接的力场(ForceField)以及包含到力轨道文件的链接的运动轨道(MovementTrajectory)。此外，TactileProperty可包括作为属性的以下元素中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的摇动(Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链接的触觉模式(TactilePatterns)。
对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌(AvatarAppearance)、虚拟形象动画(AvatarAnimation)、虚拟形象通信技能(AvatarCommunicationSkills)、虚拟形象个性(AvatarPersonality)、虚拟形象控制特征(AvatarControlFeatures)和虚拟形象共同特征(AvatarCC)，并且可包括作为属性的虚拟形象的性别(Gender)。
AvatarAppearance可包括作为元素的以下元素中的至少一个：身体(Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物理条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、外貌资源(AppearanceResource)。
AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候(Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听(Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达(Body_Expression)以及动画资源(AnimationResource)。
AvatarCommunicationSkills可包括作为元素的以下元素中的至少一个：输入语言通信(InputVerbalCommunication)、输入非语言通信(InputNonVerbalCommunication)、输出语言通信(OutputVerbalCommunication)，以及输出非语言通信(OutputNonVerbalCommunication)，并且可包括作为属性的以下元素中的至少一个：名称(Name)和默认语言(DefaultLanguage)。在这种情况下，包括InputVerbalCommunication和OutputVerbalCommunication的语言通信可包括作为元素的语言，并且可包括作为属性的以下元素中的至少一个：语音(voice)、文本(text)和语言(language)。语言可包括作为属性的以下元素中的至少一个：作为指示语言的名称的字符串的名称(name)和在语言通信中使用语言的偏爱(preference)。此外，包括偏爱(preference)的通信偏爱可包括虚拟形象的通信的偏爱级别。语言可设置有包括对于虚拟形象能够讲或理解的每种语言的偏爱级别的通信偏爱级别(CommunicationPreferenceLevel)。此外，包括InputNonVerbalCommunication和OutputNonVerbalCommunication的非语言通信可包括作为元素的以下元素中的至少一个：手语(SignLanguage)和暗示法通信(CuedSpeechCommumication)，并且可包括作为属性的补充姿势(ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属性的语言的名称(name)。
AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗(openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness)和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。
AvatarControlFeatures  可包括作为元素的控制身体特征(ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征(ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包括作为属性的控制配置的名称(name)。
ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨骼(headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones)以及中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可包括作为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓(LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓(LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓(LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点(MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称(name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素可包括作为元素的以下元素中的至少一个：具有四个点的轮廓(Outline4Points)、具有五个点的轮廓(Outline5Points)、具有八个点的轮廓(Outline8Points)以及具有14个点的轮廓(Outline14Points)。此外，包括在ControlFaceFeatures中的至少一个元素可包括基本数量的点并且可选择性地还包括附加点。
对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素：虚拟对象外貌(VOAppearance)、虚拟对象动画(VOAnimation)以及虚拟对象共同特征(VOCC)。
当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的虚拟对象URL(VirtualObjectURL)(为包括所述至少一个链接的元素)。
VOAnimation可包括作为元素的以下元素中的至少一个：虚拟对象运动(VOMotion)、虚拟对象变形(VODeformation)、虚拟对象附加动画(VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个：动画标识符(AnimationID)、作为动画持续的时间长度的持续时间(Duration)以及作为播放选项的循环(Loop)。
可包括在对象信息中的元数据稍后将被进一步进行描述。
当对象是虚拟形象时，对象控制器可基于接收的控制命令以及定义用于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点，来控制虚拟形象。当对象是虚拟世界的虚拟形象时，可通过感测真实世界的用户的面部表情和身体运动来产生控制命令。对象控制器可根据面部表情和身体运动来控制对象将用户的特征映射到虚拟世界的虚拟形象。
根据实施例的对象控制方法可包括：接收关于虚拟环境的对象的控制命令，并且基于接收的控制命令和对象的对象信息来控制对象。使用在对象控制方法中的对象信息可相当于使用在对象控制系统中的对象信息。在这种情况下，控制可包括：当对象是虚拟形象时，基于接收的控制命令以及定义用于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点的元数据，来控制虚拟形象。此外，当对象是虚拟世界的虚拟形象时，可通过感测真实世界的用户的面部表情和身体运动来产生控制命令，并且控制可包括根据面部表情和身体运动来控制对象将用户的特征映射到虚拟世界的虚拟形象。
根据实施例的对象控制系统可包括：控制命令产生器，基于从真实世界装置接收的信息来产生规则的控制命令；控制命令发送器，将规则的控制命令发送到虚拟世界服务器；对象控制器，基于从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，根据本实施例的对象控制系统可执行单个终端的功能，并且执行虚拟世界服务器的功能的根据另一实施例的对象控制系统可包括：信息产生器，通过根据虚拟世界对象转换从终端接收的规则的控制命令来产生与对应虚拟世界对象关联的信息；信息发送器，将与虚拟世界对象关联的信息发送给终端。可基于由终端从真实世界装置接收的信息来产生规则的控制命令。
根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信息来产生规则的控制命令；将规则的控制命令发送给虚拟世界服务器；并基于从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，可由单个终端来执行根据本实施例的对象控制方法，可由虚拟世界服务器来执行根据另一实施例的对象控制方法。具体地讲，由虚拟世界服务器执行的对象控制方法可包括：通过根据虚拟世界对象转换从终端接收的规则的控制命令来产生与对应虚拟世界对象关联的信息；将与虚拟世界对象关联的信息发送给终端。可基于由终端从真实世界装置接收的信息来产生规则的控制命令。
根据另一实施例的对象控制系统可包括：信息发送器，将从真实世界对象接收的信息发送给虚拟世界服务器；对象控制器，基于根据发送的信息从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，根据本实施例的对象控制系统可执行单个终端的功能，并且执行虚拟世界服务器的功能的根据另一实施例的对象控制系统可包括：控制命令产生器，基于从终端接收的信息来产生规则的控制命令；信息产生器，通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；信息发送器，将与虚拟世界对象关联的信息发送给终端。接收的信息可包括由终端从真实世界装置接收的信息。
根据另一实施例的对象控制方法可包括：将从真实世界装置接收的信息发送给虚拟世界服务器；基于根据发送的信息从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，可由单个终端来执行根据本实施例的对象控制方法，可由虚拟世界服务器来执行根据另一实施例的对象控制方法。由虚拟世界服务器执行的对象控制方法可包括：基于从终端接收的信息来产生规则的控制命令；通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；将与虚拟世界对象关联的信息发送给终端。接收的信息可包括由终端从真实世界装置接收的信息。
根据另一实施例的对象控制系统可包括：控制命令产生器，基于从真实世界装置接收的信息来产生规则控制命令；信息产生器，通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；对象控制器，基于与虚拟世界对象关联的信息来控制虚拟世界对象。
根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信息来产生规则的控制命令；通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；基于与虚拟世界对象关联的信息来控制虚拟世界对象。
根据另一实施例的对象控制系统可包括：控制命令产生器，基于从真实世界装置接收的信息来产生规则控制命令；信息产生器，通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；信息交换单元，将与虚拟世界对象关联的信息和与另一对象控制系统的虚拟世界对象关联的信息进行交换；对象控制器，基于与虚拟世界对象关联的信息以及交换的与另一虚拟世界对象的虚拟世界对象关联的信息来控制虚拟世界对象。
根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信息来产生规则的控制命令；通过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；将与虚拟世界对象关联的信息和与另一对象控制系统的虚拟世界对象关联的信息进行交换；基于与虚拟世界对象关联的信息以及交换的与另一虚拟世界对象的虚拟世界对象关联的信息来控制虚拟世界对象。
根据另一实施例的对象控制系统可包括：信息产生器，基于从真实世界装置接收的信息以及从虚拟世界服务器接收的虚拟世界信息来产生与虚拟世界对象关联的信息；对象控制器，基于与虚拟世界对象关联的信息来控制虚拟世界对象；处理结果发送器，将根据虚拟世界对象的控制的处理结果发送给虚拟世界服务器。在这种情况下，根据本实施例的对象控制系统可执行单个终端的功能，并且执行虚拟世界服务器的功能的根据另一实施例的对象控制系统可包括：信息发送器，将虚拟世界信息发送给终端；信息更新单元，基于从终端接收的处理结果来更新虚拟世界信息。处理结果可包括：基于由终端从真实世界装置接收的信息以及虚拟世界信息的虚拟世界对象的控制结果。
根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信息以及从虚拟世界服务器接收的虚拟世界信息来产生与虚拟世界对象关联的信息；基于与虚拟世界对象关联的信息来控制虚拟世界对象；将根据虚拟世界对象的控制的处理结果发送给虚拟世界服务器。在这种情况下，可由单个终端来执行根据本实施例的对象控制方法，并且可由虚拟世界服务器来执行根据另一实施例的对象控制方法。由虚拟世界服务器执行的对象控制方法可包括：将虚拟世界信息发送给终端；基于从终端接收的处理结果来更新虚拟世界信息。处理结果可包括：基于由终端从真实世界装置接收的信息以及虚拟世界信息的虚拟世界对象的控制结果。
根据一个或多个实施例的对象控制器可通过基于与虚拟世界对象关联的信息产生控制命令来控制虚拟世界对象，并将产生的控制命令发送给显示器。
2虚拟世界对象元数据
2.1元数据的类型
关于其他多媒体应用的虚拟环境(VE)的特异性可在于该环境内的虚拟世界对象的表示。“虚拟世界对象”可被分为两种类型，诸如，虚拟形象和虚拟对象。虚拟形象可用作该环境内的用户的(可见)表示。这些虚拟世界对象用于不同的目的：
-表现VE内的各种对象的特征，
-向VE提供交互。
通常，创建对象是耗时的任务。尽管对象的一些组件可与VE相关(例如，在当代风格VE中穿着中世纪套装的虚拟形象可能是不合适的)，但是可存在能够一次创建形象并且在不同的VE中输入/使用该创建的形象的真实需要。此外，可从外部应用控制对象。例如，可通过处理相关的用户的心理传感器来获得一个虚拟形象曾经在VE中暴露的情绪。
通过考虑下面的三个主要需求，当前标准提出了用于描述对象的被称为虚拟世界对象特征XSD的XML方案：
-应该能够容易地从各种VE执行中创建输入者和输出者，
-应该容易地控制VE内的对象，
-应该能够通过使用包含在虚拟世界对象特征文件中的数据来修改对象的本地模板。
提出的方案可仅处理元数据，并且可不包括几何形状、声音、气味、动画或纹理的表示。为了稍后表示，对媒体资源的参考被使用。
存在由虚拟形象和虚拟对象共享的虚拟世界对象的共同类型的属性和特征。
共同相关属性和特征可由以下类型的数据组成：
-身份：包含标识描述符。
-声音：包含声音资源和相关特征。
-气味：包含气味资源和相关特征。
-控制：包含用于控制对象的运动特征(诸如转换、方位和缩放)的一组描述符。
-事件：包含从鼠标、键盘等提供输入事件的一组描述符。
-行为模型：包含根据输入事件定义对象的行为信息的一组描述符。
-触觉特征：包含触觉特征的一组高级描述符。
公共特征和属性被继承到虚拟形象元数据和虚拟对象元数据以扩展每个元数据的特定方面。
2.2虚拟世界对象公共特征
2.2.1CommonCharacteristicsType
2.2.1.1语法
图9示出根据实施例的CommonCharacteristicsType的结构。表1显示CommonCharacteristicsType的语法。
【表1】
2.2.1.2语义
下面的表2显示CommonCharacteristicsType的语义。
【表2】
2.2.2IdentificationType
2.2.2.1语法
图10示出根据实施例的IdentificationType的结构。表3显示IdentificationType的语法。
【表3】
2.2.2.2语义
表4显示IdentificationType的语义。
【表4】
2.2.3VWO(Virtual World Object)SoundType
2.2.3.1语法
图11示出根据实施例的VWOSoundType的结构。表5显示VWOSoundType的语法。
【表5】
2.2.3.2语义
表6显示VWOSoundType的语义。
【表6】
2.2.3.3示例：
表7显示了具有下面的语义的对象相关的声音信息的描述。其名称为″BigAlarm″的声音资源被保存在″http://sounddb.com/alarmsound_0001.Wav″，并且SoundID的值，即其标识符是″3″。声音的长度是30秒。将以音量强度＝″50％″重复地播放声音。
【表7】
2.2.4VWOScentType
2.2.4.1语法
图12示出根据实施例的VWOScentType的结构。表8示出VWOScentType的语法。
【表8】
2.2.4.2语义
表9显示VWOScentType的语义。
【表9】
2.2.4.3示例
表10显示与对象关联的气味信息的描述。其名称为″rose″的气味资源被保存在http://scentdb.com/flower_0001.sct，并且ScentID的值，即其标识符是″5″。强度应该是20％，持续时间是20秒。
【表10】
2.2.5VWOControlType
2.2.5.1语法
图13示出根据实施例的VWOControlType的结构。表11显示VWOControlType的语法。
【表11】
2.2.5.2语义
表12显示VWOControlType的语义。
【表12】
注意：控制的级别：整个对象，对象的部分
注意：如果两个控制器与相同的对象相关但是在对象的不同部分，并且如果这些部分存在分等级结构(父母和孩子关系)，则孩子的相关运动应被执行。如果控制器与相同的部分相关，则控制器对整个对象做出缩放或类似的效果。
2.2.5.3示例
表13显示具有下面的语义的对象控制信息的描述。改变位置的运动特征控制被给出，并且ControlID的值，即其标识符是″7″。该对象应位于DistanceX＝″122.0″，DistanceY＝″150.0″and DistanceZ＝″40.0″。
【表13】
2.2.6VWOEventType
2.2.6.1语法
图14示出根据实施例的VWOEventType的结构。表14显示VWOEventType的语法。
【表14】
2.2.62语义
表15显示VWOEventType的语义。
【表15】
2.2.6.3示例
表16显示具有下面的语义的对象事件的描述。作为输入装置的鼠标产生新的输入值“单击”(″click″)。为了识别此输入，EventID的值是“3”。
【表16】
2.2.7VWOBehaviourModelType
2.2.7.1语法
图15示出根据实施例的VWOBehaviorModelType的结构。表17显示VWOBehaviorModelType的语法。
【表17】
2.2.7.2语义
表18显示VWOBehaviourModelType的语义。
【表18】
2.2.7.3示例
表19显示具有下面的语义的VWO行为模型的描述。如果EventID＝″1″作为BehaviorInput被给出，则BehaviorOutput应该与SoundID＝″5″和AnimationID＝″4″相关地被执行。
【表19】
2.2.8VWOHapticPropertyType
2.2.8.1语法
图16示出根据实施例的VWOHapticPropertyType的结构。表20显示VWOHapticPropertyType的语法。
【表20】
2.2.8.2语义
表21显示VWOHapticPropertyType的语义。
【表21】
2.2.8.3MaterialPropertyType
2.2.8.3.1语法
图17示出根据实施例的MaterialPropertyType的结构。表22显示MaterialPropertyType的语法。
【表22】
2.2.8.3.2语义
表23显示MaterialPropertyType的语义。
【表23】
2.2.8.3.3示例
表24显示具有0.5N/mm的硬度、0.3的静摩擦系数，0.02的动摩擦系数、0.001阻尼系数，0.7的质量的虚拟世界对象的材料特征，并且其表面触觉纹理被从给定的URL加载。
【表24】
2.2.8.4DynamicForceEffectType
2.2.8.4.1语法
图18示出根据实施例的DynamicForceEffectType的结构。表25显示DynamicForceEffectType的语法。
【表25】
2.2.8.4.2语义
表26显示DynamicForceEffectType的语义。
【表26】
2.2.8.4.3示例
表27显示虚拟形象的动力效果。通过来自URL的设计的力场来确定虚拟形象的力场特征。
【表27】
2.2.8.5TactileType
2.2.8.5.1语法
图19示出根据实施例的TactileType的结构。表28显示TactileType的语法。
【表28】
2.2.8.5.2语义
表29显示TactileType的语义。
【表29】
2.2.8.5.3示例
表30显示基于来自以下的URL(http://www.haptic.kr/avatar/tactilel.avi)的触觉信息的作为15摄氏度的触觉效果的虚拟形象的触觉特征。
【表30】
3.虚拟形象元数据
3.1虚拟形象元数据的类型
作为环境内的用户的(可见)表示的虚拟形象元数据用于以下目的：
-使得真实用户的出现在VE中可见，
-在VE中表现用户的特征，
-与VE交互。
除了虚拟世界对象的公共特征之外，“虚拟形象”元素可包括以下类型的数据：
虚拟形象外貌(Avatar Appearance)：包含外貌的高级描述并且可涉及包含精确几何形状和纹理的媒体，
-虚拟形象动画(Avatar Animation)：包含虚拟形象能够执行的一组动画序列并且可参考包含精确的(几何变换)动画参数的几个媒体，
-虚拟形象通信技能(Avatar Communication Skills)：包含提供关于虚拟形象能够通信的不同形态的信息的一组描述符，
-虚拟形象个性(Avatar Personality)：包含定义虚拟形象的个性的一组描述符，
-虚拟形象控制特征(Avatar Control Features)：包含定义身体骨骼和面特征点上的用于传感器的可能的占位符的一组描述符。
3.2虚拟形象特征XSD
3.2.1AvatarType
3.2.1.1语法
图20示出根据实施例的AvatarType的结构。表31显示AvatarType的语法。
【表31】
3.2.1.2语义
表32显示AvatarType的语义。
【表32】
3.2.2AvatarAppearanceType
3.2.2.1语法
图21示出根据实施例的AvatarAppearanceType的结构。表33显示AvatarAppearanceType的语法。
【表33】
3.2.2.2.语义
表34显示AvatarAppearanceType的语义。图22示出根据实施例的FacialCalibrationPoints的示例。
【表34】
3.2.2.3PhysicalConditionType
3.2.2.3.1.语法
图23示出根据实施例的PhysicalConditionType的结构。表35显示PhysicalConditionType的语法。
【表35】
3.2.2.3.2.语义
表36显示PhysicalConditionType的语义。
【表36】
3.2.3AvatarAnimationType
3.2.3.1语法
图24示出根据实施例的AvatarAnimationType的结构。表37示出AvatarAnimationType的语法。
【表37】
3.2.3.2语义
表38显示AvatarAnimationType的语义。
【表38】
3.2.3.3示例
表39显示具有以下语义的虚拟形象动画信息的描述。在所有动画中，给定默认空闲、举手礼问候、鞠躬、跳舞和salsa舞蹈。动画资源被保存在″http://avatarAnimationdb.com/default_idle.bvh″、″http://avatarAnimationdb.com/salutes.bvh″、″http://avatarAnimationdb.com/bowing.bvh″、″http://avatarAnimationdb.com/dancing.bvh″和″http://avatarAnimationdb.com/salsa.bvh″。
【表39】
3.2.4AvatarCommunicationSkillsType
此元素定义与其他虚拟形象关联的虚拟形象的通信技能。
3.2.4.1语法
图25示出根据实施例的AvatarCommunicationSkillsType的结构。表40显示AvatarCommunicationSkillsType的语法。
【表40】
3.2.4.2语义
表40描述虚拟世界以及剩余的能够使它们的输入和输出适应这些偏爱(也具有与它们自己的偏爱的平衡)的虚拟形象。所有的输入和输出将单独地适用于每个虚拟形象。
通过保证多形态的两个输入信道和两个输出信道来定义通信偏爱。它们是作为输入的语言和非语言识别以及作为输出的语言和非语言性能。这些信道可被指定为″激活″和″失活″。所有信道″激活″意味虚拟形象能够讲话、做姿势、识别讲话和姿势。
在语言性能和语言识别信道中，用于经由文本或经由语音使用信道的偏爱可被指定。
非语言性能和非语言识别信道指定做姿势的类型：″非语言″、″手语″和″暗示法通信″。
取决于语言的所有特征(经由文本或语音讲话、经由文本或语音讲话识别以及手语/暗示法使用/识别)使用用于定义具体语言技能的语言属性。
表41显示AvatarCommunicationSkillsType的语义。
【表41】
DefaultLanguage属性指定对于所有的通信信道的虚拟形象的偏爱语言(通常将是其本地语言)。对于每个通信信道，不管此偏爱的其他语言可被指定。
3.2.4.3VerbalCommunicationType
3.2.4.3.1语法
图26示出根据实施例的VerbalCommunicationType的结构。表42显示VerbalCommunicationType的语法。
【表42】
3.2.4.3.2语义
表43显示VerbalCommunicationType的语义。
【表43】
以上的表43指定虚拟形象的语言通信技能。语音和文本可被定义为激活、失活或优选以指定优选语言模式是什么以及其他的可用性。
可选标签“语言”定义用于语言通信的优选语言。如果没有指定，则CommunicationSkills标签中定义的属性DefaultLanguage的值将被应用。
3.2.4.3.3LanguageType
3.2.4.3.3.1语法
图27示出根据实施例的LanguageType的结构。表44显示LanguageType的语法。
【表44】
3.2.4.3.3.2语义
表45显示LanguageType的语义。
【表45】
表45定义用于VerbalCommunication的次要通信技能。在这种情况下，不能使用为与其他虚拟形象通信而定义的优选语言(或默认语言)，这些次要语言将被应用。
3.2.4.3.3.3CommunicationPreferenceType
3.2.4.3.3.3.1语法
表46显示CommunicationPreferenceType的语法。
【表46】
3.2.4.3.3.3.2语义
表47显示CommunicationPreferenceType的语义。
【表47】
3.2.4.3.4CommunicationPreferenceLevelType
3.2.4.3.4.1语法
表48显示CommunicationPreferenceLevelType的语法。
【表48】
3.2.4.3.4.2语义
表49显示CommunicationPreferenceLevelType的语义。
【表49】
3.2.4.4NonVerbalCommunicationType
3.2.4.4.1语法
图28示出根据实施例的NonVerbalCommunicationType的结构。表50示出NonVerbalCommunicationType的语法。
【表50】
3.2.4.4.2语义
表51显示NonVerbalCommunicationType的语义。
【表51】
3.2.4.4.3SignLanguageType
3.2.4.4.3.1语法
图29示出根据实施例的SignLanguageType的结构。表52显示SignLanguageType的语法。
【表52】
3.2.4.4.3.2语义
表53显示SignLanguageType的语义。
【表53】
表53定义用于NonVerbalCommunication的次要通信技能(手语通信或暗示法通信)。在不能使用优选语言(或默认语言)的情况下，这些次要语言将被应用。
3.2.5AvatarPersonalityType
3.2.5.1语法
图30示出根据实施例的AvatarPersonalityType的结构。表54显示AvatarPersonalityType的语法。
【表54】
3.2.5.2语义
此标记定义虚拟形象的个性。此定义基于OCEAN模型，存在于个性所包括的一组特征。这些特征的组合是特定个性。因此，虚拟形象包含在OCEAN的模型中定义的每个属性的子标签。它们是：开朗、认真、外向、热情和神经质。
此标签的目的用于提供可能性以定义期望的虚拟形象个性，并且虚拟世界的架构可解释为居民期望。将能够将虚拟形象的语言和非语言通信适用于此个性。而且，可由虚拟世界事件激怒的情绪和心情、虚拟形象-虚拟形象通信或实时流将通过此基本个性来调制。
表55显示AvatarPersonalityType的语义。
【表55】
3.2.6AvatarControlFeaturesType
3.2.6.1语法
图31示出根据实施例的AvatarControlFeaturesType的结构。表56显示AvatarControlFeaturesType的语法。
【表56】
3.2.6.2语义
表57显示AvatarControlFeaturesType的语义。
【表57】
3.2.6.3示例
表58显示具有以下语法的控制身体和脸特征的描述。特征控制被给定并且作为容器工作。
【表58】
3.2.6.4ControlBodyFeaturesType
3.2.6.4.1语法
图32示出根据实施例的ControlBodyFeaturesType的结构。表59显示ControlBodyFeaturesType的语法。
【表59】
3.2.6.4.2语义
表60显示ControlBodyFeaturesType的语义。
【Table 60】
3.2.6.4.3示例
表61显示具有以下的语义的控制身体特征的描述。身体特征控制将用户定义的身体特征点映射到占位符。表62显示映射到定义在语义中的占位符的一组特征点。
【表61】
【表62】
3.2.6.5ControlFaceFeaturesType
3.2.6.5.1语法
图33示出根据实施例的ControlFaceFeaturesType的结构。表63显示ControlFaceFeaturesType的语法。
【表63】
3.2.6.5.2语义
表64显示ControlFaceFeaturesType的语义。
【表64】
图34示出根据实施例的HeadOutline的示例。“点1”至“点4”描述形成头的基本轮廓的四个点。另外，“点5”至“点8”描述形成头的高分辨率的另外四个点。
图35示出根据实施例的LeftEyeOutline的示例。在这种情况下，“点1”至“点4”描述形成左眼的基本轮廓的四个点。另外，“点5”至“点8”描述形成左眼的高分辨率轮廓的另外四个点。
图36示出根据实施例的RightEyeOutline的示例。在这种情况下，“点1”至“点4”描述形成右眼的基本轮廓的四个点。另外，“点5”至“点8”描述形成右眼的高分辨率轮廓的另外四个点。
图37示出根据实施例的LeftEyeBrowOutline的示例。在这种情况下，“点1”至“点4”描述形成左眉毛的轮廓的四个点。
图38示出根据实施例的RightEyeBrowOutline的示例。在这种情况下，“点1”至“点4”描述形成右眉毛的轮廓的四个点。
图39示出根据实施例的LeftEarOutline和RightEarOutline的示例。在左脸形状中，“点1”至“点4”描述形成左耳的轮廓的四个点。在右脸形状中，“点1”至“点4”描述形成右耳的轮廓的四个点。
图40示出根据实施例的NoseOutline的示例。在这种情况下，“点1”至“点4”描述形成鼻子的基本轮廓的四个点。另外，“点5”至“点8”描述形成鼻子的高分辨率轮廓的另外四个点。
图41示出根据实施例的MouthLipOutline的示例。在这种情况下，“点1”至“点4”描述形成嘴唇的基本轮廓的四个点。另外，“点5”至“点14”描述形成嘴唇的高分辨率轮廓的另外四个点。
图42示出根据实施例的FacePoints的示例。在这种情况下，“点1”至“点5”描述形成高分辨率面部表情的五个点。
3.2.6.5.3OutlineType
3.2.6.5.3.1语法
图43示出根据实施例的OutlineType的结构。表65显示OutlineType的语法。
【表65】
3.2.6.5.3.2语义
表66显示OutlineType的语义。OutlineType包含取决于形成轮廓的点的数量的5个不同类型的轮廓。
【表66】
  名称   描述
  Outline4Points   具有4个点的轮廓(The outline with 4points)
  Outline5Points   具有5个点的轮廓(The outline with 5points)
  Outline8Points   具有8个点的轮廓(The outline with 8points)
  Outline 14Points   具有14个点的轮廓(The outline with 14points)
3.2.6.5.3.3 Outline4PointsType
3.2.6.5.3.3.1语法
图44示出根据实施例的Outline4PointsType的结构。表67显示Outline4PointsType的语法。
【表67】
3.2.6.5.3.3.2语义
表68显示Outline4PointsType的语义。这些点是按照逆时针方向从最左点开始编号。例如，如果在轮廓的左、顶、右、底存在4个点，则它们分别是点1、点2、点3、点4。
【表68】
  名称 描述
  Point1 轮廓的第一点(The 1st point of the outline)
  Point2 轮廓的第二点(The 2nd point of the outline)
  Point3 轮廓的第三点(The 3rd point of the outline)
  Point4 轮廓的第四点(The 4th point of the outline)
3.2.6.5.3.4 Outline5PointsType
3.2.6.5.3.4.1语法
图45示出根据实施例的Outline5PointsType的结构。表69显示Outline5PointsType的语法。
【表69】
3.2.6.5.3.4.2语义
表70显示Outline5PointsType的语义。这些点按照逆时针方向从最左点开始编号。
【表70】
  名称 描述
  Point1 轮廓的第一点(The 1st point of the outline)
  Point2 轮廓的第二点(The 2nd point of the outline)
  Point3 轮廓的第三点(The 3rd point of the outline)
  Point4 轮廓的第四点(The 4th point of the outline)
  Point5 轮廓的第五点(The 5th point of the outline)
3.2.6.5.3.5Outline8PointsType
3.2.6.5.3.5.1语法
图46示出根据实施例的Outline8PointsType的结构。表71显示Outline8PointsType的语法。
【表71】
3.2.6.5.3.5.2语义
表72显示Outline8PointsType的语义。这些点按照逆时针方向从最左点开始编号。
【表72】
  名称 描述
  Point1 轮廓的第一点(The 1st point of the outline)
  Point2 轮廓的第二点(The 2nd point of the outline)
  Point3 轮廓的第三点(The 3rd point of the outline)
  Point4 轮廓的第四点(The 4th point of the outline)
  Point5 轮廓的第五点(The 5th point of the outline)
  Point6 轮廓的第六点(The 6th point of the outline)
  Point7 轮廓的第七点(The 7th point of the outline)
  Point8 轮廓的第八点(The 8th point of the outline)
3.2.6.5.3.6 Outline14Points
3.2.6.5.3.6.1语法
图47示出根据实施例的Outline14PointsType的结构。表73显示Outline14Points的语法。
【表73】
3.2.6.5.3.6.2语义
表74显示Outline14Points的语义。这些点按照逆时针方向从最左点开始编号。
【表74】
  名称  描述
  Point1  轮廓的第一点(The 1st point of the outline)
  Point2  轮廓的第二点(The 2nd point of the outline)
  Point3  轮廓的第三点(The 3rd point of the outline)
  Point4  轮廓的第四点(The 4th point of the outline)
  Point5  轮廓的第五点(The 5th point of the outline)
  Point6  轮廓的第六点(The 6th point of the outline)
  Point7  轮廓的第七点(The 7th point of the outline)
  Point8  轮廓的第八点(The 8th point of the outline)
  Point9  轮廓的第九点(The 9th point of the outline)
  Point10  轮廓的第十点(The 10th point of the outline)
  Point11  轮廓的第十一点(The 11th point of the outline)
  Point12  轮廓的第十二点(The 12th point of the outline)
  Point13  轮廓的第十三点(The 13th point of the outline)
  Point14  轮廓的第十四点(The 14th point of the outline)
3.2.6.5.4示例
表75显示具有以下语义的控制脸特征的描述。脸特征控制将用户定义的脸特征映射到占位符。表76显示映射到定义在语义中的占位符的一组特征点。
【表75】
【表76】
4虚拟对象元数据
4.1虚拟对象元数据的类型
作为环境内的虚拟对象的(可见)表示的虚拟对象元数据用于以下目的：
-表现VE内的各种类型的对象的特征，
-提供虚拟对象和虚拟形象之间的交互，
-提供与VE的交互...
“虚拟对象”元素可包括除了虚拟世界对象特征的共同相关类型之外的以下类型的数据：
-VO外貌：包含外貌的高级描述，并且可参考包含精确几何形状、纹理和触觉特征的媒体，
-VO动画：包含对象能够执行的一组动画序列的描述，并且可参考包含精确(几何变换和变形)动画参数的几个媒体。
4.2XSD
4.2.1VirtualObjectType
4.2.1.1语法
图48示出根据实施例的VirtualObjectType的结构。表77显示VirtualObjectType的语法。
【表77】
4.2.1.2语义
表78显示VirtualObjectType的语义。
【表78】
4.2.2VOAppearanceType
4.2.2.1语法
图49示出根据实施例的VOAppearanceType的结构。表79显示VOAppearanceType的语法。
【表79】
4.2.2.2语义
表80显示VOAppearanceType的语义。
【表80】
4.2.2.3示例
表81显示具有以下语义的虚拟对象外貌的资源。VirtualObjectURL提供虚拟对象模型被保存的位置信息。该示例显示VirtualObjectURL值是http://3DmodelDb.com/object_0001.3ds的情况。
【表81】
4.2.3VOAnimationType
4.2.3.1语法
图50示出根据实施例的VOAnimationType的结构。表82显示VOAnimationType的语法。
【表82】
4.2.3.2语义
表83显示VOAnimationType的语义。
【表83】
4.2.3.3示例
表84显示具有以下语义的对象动画信息的描述。在所有动画中，360°转弯的运动类型动画被给出。动画资源被保存在″http://voAnimationdb.com/turn_360.bvh″并且AnimationID的值，其标识符是“3”。强度将是以30的持续时间播放一次。
【表84】
图51示出根据实施例的虚拟形象特征控制系统5100的配置。虚拟形象特征控制系统5100可包括传感器控制命令接收器5110和虚拟形象控制信息产生器5120。
传感器控制命令接收器5110可经由基于传感器的输入装置来接收表示用户意图的传感器控制命令。基于传感器的输入装置可对应于图1的基于传感器的输入装置101。例如，运动传感器、相机、深度相机、3D鼠标等可用于基于传感器的输入装置。可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制命令。
虚拟形象控制信息产生器5120可基于虚拟世界的虚拟形象信息和传感器控制命令来产生虚拟形象控制信息。虚拟形象控制信息可包括用于根据感测的面部表情和身体表达将用户的特征映射到虚拟世界的虚拟形象的信息。
虚拟形象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元数据的以下元素中的至少一个元素：用于标识虚拟世界对象的标识(Identification)、VWOSound、VWOScent、VWOControl、VWOEvent、VWOB ehaviorModel和VWOHapticProperties。
Identification可包括作为元素的以下元素中的至少一个：用于标识与虚拟世界对象关联的用户的用户ID(UserID)、虚拟世界对象的所有权(Ownership)、权利(Rights)和信用(Credits)，并且可包括作为属性的虚拟世界对象的名称(name)以及与另一虚拟世界对象的家庭(family)中的至少一个。
VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资源URL，并且可包括作为属性的以下元素中的至少一个：作为对象声音的唯一标识符的SoundID、指示声音强度的强度(intensity)、指示声音持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及声音名称(name)。
VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资源URL，并且可包括作为属性的以下元素中的至少一个：作为对象气味的唯一标识符的ScentID、指示气味浓度的强度(intensity)、指示气味持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及气味名称(name)。
VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、方位(orientation)和大小(scale)的一组元素的MotionFeatureControl，并且可包括作为属性的为控制的唯一标识符的ControlID。在这种情况下，MotionFeatureControl可包括作为元素的以下元素中的至少一个：在具有3D浮点向量的场景中的对象的位置、具有作为欧拉角的3D浮点向量的场景中的对象的方位、以及表示为3D浮点向量的场景中的对象的大小。
VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及UserDefinedInput，并且可包括作为属性的作为事件的唯一标识符的EventID。鼠标(Mouse)可包括作为元素的以下元素中的至少一个：单击(click)、双击(Double_Click)、左按钮向下(LeftBttn_down)(作为在按下鼠标的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作为在释放鼠标的左按钮时发生的事件)、右按钮向下(RightBttn_down)(作为在按下鼠标的右按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在释放鼠标的右按钮时发生的事件)、以及移动(move)(作为在改变鼠标的位置的同时发生的事件)。此外，键盘可包括作为元素的以下元素中的至少一个：键向下(Key_Down)(作为在按下键盘按钮时发生的事件)、以及键向上(Key_Up)(作为在释放键盘按钮时发生的事件)。
VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入事件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下，行为输入(BehaviorInput)可包括作为属性的事件标识(EventID)，行为标识(BehaviorOutput)可包括作为属性的以下元素中的至少一个：声音标识(SoundID)、气味标识(ScentID)和动画标识(AnimationID)。
VWOHapticProperties可包括作为属性的以下元素中的至少一个：MaterialProperty)(包含表现触觉特征的参数)、DynamicForceEffect(包含表现力效果的参数)以及TactileProperty(包含表现触觉特征的参数)。在这种情况下，MaterialProperty可包括作为属性的以下元素中的至少一个：虚拟世界对象的硬度(Stiffness)、虚拟世界对象的静摩擦力(StaticFriction)、虚拟世界对象的动摩擦力(DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到触觉纹理文件的链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外，DynamicForceEffect可包括作为属性的以下元素中的至少一个：包含到力场向量文件的链接的力场(ForceField)以及包含到力轨道文件的链接的运动轨道(MovementTrajector)y。此外，TactileProperty可包括作为属性的以下元素中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的摇动(Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链接的TactilePatterns。
对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌(AvatarAppearance)、虚拟形象动画(AvatarAnimation)、虚拟形象通信技能(AvatarCommunicationSkills)、虚拟形象个性(AvatarPersonality)、虚拟形象控制特征(AvatarControlFeatures)和AvatarCC，并且可包括作为属性的虚拟形象的性别(Gender)。
AvatarAppearance可包括作为元素的以下元素中的至少一个：身体(Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物理条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、外貌资源(AppearanceResource)。
AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候(Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听(Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达(Body_Expression)以及动画资源(AnimationResource)。
AvatarCommunicationSkil可包括作为元素的以下元素中的至少一个：输入语言通信(InputVerbalCommunication)、输入非语言通信(InputNonVerbalCommunication)、输出语言通信(OutputVerbalCommunication)以及输出非语言通信(OutputNonVerbalCommunication)，并且可包括作为属性的以下元素中的至少一个：名称(Name)和默认语言(DefaultLanguage)。在这种情况下，包括InputVerbalCommunication和OutputVerbalCommunication的语言通信可包括作为元素的语言，并且可包括作为属性的以下元素中的至少一个：语音(voice)、文本(text)和语言(language)。语言可包括作为属性的以下元素中的至少一个：作为指示语言的名称的字符串的名称(name)和在语言通信中使用语言的偏爱(preference)。此外，包括偏爱(preference)的通信偏爱可包括虚拟形象的通信的偏爱级别。语言可设置有包括对于虚拟形象能够讲或理解的每种语言的偏爱级别的通信偏爱级别(CommunicationPreferenceLevel)。此外，包括InputNonVerbalCommunication和OutputNonVerbalCommunication的非语言通信可包括作为元素的以下元素中的至少一个：手语(SignLanguage)和暗示法通信(CuedSpeechCommumication)，并且可包括作为属性的补充姿势(ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属性的语言的名称(name)。
AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗(openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness)和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。
AvatarControlFeatures可包括作为元素的控制身体特征(ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征(ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包括作为属性的控制配置的名称(name)。
ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨骼(headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones)以及中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可包括作为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓(LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓(LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓(LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点(MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称(name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素包括作为元素的以下元素中的至少一个：具有四个点的轮廓4点
(Outline4Points)、具有五个点的轮廓5点(Outline5Points)、具有八个点的轮廓8点(Outline8Points)以及具有14个点的轮廓14点(Outline14Points)。此外，包括在ControlFaceFeatures中的至少一个元素可包括基本数量的点并且可选择性地还包括附加点。
对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素：VO外貌(Appearance)、虚拟VO动画(Animation)以及VOCC。
当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的虚拟对象URL(VirtualObjectURL)(作为包括所述至少一个链接的元素)。
VOAnimation可包括作为元素的以下元素中的至少一个：VO运动(VOMotion)、VO变形(VODeformation)以及VO附加动画(VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个：动画ID(AnimationID)、作为动画持续的时间长度的持续时间(Duration)以及作为播放选项的循环(Loop)。
以上虚拟形象信息可参考以上参照图9至图50进行的描述。虚拟形象信息被重复地描述，因此在这里省略了进一步的描述。用于虚拟形象信息的元数据结构可被可记录在计算机可读存储介质中。
虚拟形象控制信息产生器5120可基于虚拟形象信息和传感器控制命令，来产生用于控制用户的特征以被映射到虚拟世界的虚拟形象的虚拟形象控制信息。可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制命令。虚拟形象特征控制系统5100可基于虚拟形象控制信息来直接操纵虚拟形象，或者可将虚拟形象控制信息发送给操纵虚拟形象的单独的系统。当虚拟形象特征控制系统5100直接操纵虚拟形象时，虚拟形象控制系统5100可还包括虚拟形象操纵单元5130。
虚拟形象操纵单元5130可基于虚拟形象控制信息来操纵虚拟世界的虚拟形象。如上所述，虚拟形象控制信息可用于控制用户的特征以被映射到虚拟世界的虚拟形象。因此，虚拟形象操纵单元5130可基于虚拟形象控制信息来操纵真实世界的用户意图以适用于虚拟世界的虚拟形象。
图52示出根据实施例的控制虚拟形象的特征的方法。可由图51的虚拟形象特征控制系统5100来执行虚拟形象特征控制方法。下文中，将参照图52来描述虚拟形象特征控制方法。
在操作5210，虚拟形象特征控制系统5100可通过基于传感器的输入装置来接收表示用户意图的传感器用户命令。基于传感器的输入装置可对应于图1的基于传感器的输入装置101。例如，运动传感器、相机、深度相机、3D鼠标等可用于基于传感器的输入装置。可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制命令。
在操作5220，虚拟形象特征控制系统5100可基于虚拟形象世界信息的虚拟形象和传感器控制信息来产生虚拟形象控制信息。虚拟形象控制信息可包括：用于根据面部表情和身体运动来映射用户的特征以被映射到虚拟世界的虚拟形象的信息。
虚拟形象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元数据的以下元素中的至少一个元素：用于表示虚拟世界对象的标识(Identification)、VWO声音(VWOSound)、VWO气味(VWOScent)、VWO控制(VWOControl)、VWO事件(VWOEvent)、VWO行为模型(VWOBehaviorModel)和VWO触觉特征VWOHapticProperties。
Identification可包括作为元素的以下元素中的至少一个：用于标识与虚拟世界对象关联的用户的用户ID(UserID)、虚拟世界对象的所有权(Ownership)、权利(Rights)和信用(Credits)，并且可包括作为属性的虚拟世界对象的名称(name)以及与另一虚拟世界对象的家庭(family)中的至少一个。
VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资源URL，并且可包括作为属性的以下元素中的至少一个：作为对象声音的唯一标识符的声音ID(SoundID)、指示声音强度的强度(intensity)、指示声音持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及声音名称(name)。
VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资源URL，并且可包括作为属性的以下元素中的至少一个：作为对象气味的唯一标识符的气味标识(ScentID)、指示气味浓度的强度(intensity)、指示气味持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及气味名称(name)。
VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、方位(orientation)和大小(scale)的一组元素的MotionFeatureControl，并且可包括作为属性的作为控制的唯一标识符的控制标识(ControlID)。在这种情况下，MotionFeatureControl可包括作为元素的以下元素中的至少一个：在具有3D浮点向量的场景中的对象的位置、具有作为欧拉角的3D浮点向量的场景中的对象的方位、以及表示为3D浮点向量的场景中的对象的大小。
VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及用户定义的输入(UserDefinedInput)，并且可包括作为属性的作为事件的唯一标识符的事件标识(EventID)。鼠标(Mouse)可包括作为元素的以下元素中的至少一个：单击(click)、双击(Double_Click)、左按钮向下(LeftBttn_down)(作为在按下鼠标的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作为在释放鼠标的左按钮时发生的事件)、右按钮向下(RightBttn_down)(作为在按下鼠标的右按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在释放鼠标的右按钮时发生的事件)、以及移动(move)(作为在改变鼠标的位置的同时发生的事件)。此外，键盘(Keyboard)可包括作为元素的以下元素中的至少一个：键向下(Key_Down)(作为在按下键盘按钮时发生的事件)、以及键向上(Key_Up)(作为在释放键盘按钮时发生的事件)。
VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入事件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下，行为输入(BehaviorInput)可包括作为属性的事件标识(EventID)，行为输出(BehaviorOutput)可包括作为属性的以下元素中的至少一个：声音标识(SoundID)、气味标识(ScentID)和动画标识(AnimationID)。
VWOHapticProperties可包括作为属性的以下元素中的至少一个：材料特征(MaterialProperty)(包含表现触觉特征的参数)、动力效果(DynamicForceEffect)(包含表现力效果的参数)以及触觉特征(TactileProperty)(包含表现触觉特征的参数)。在这种情况下，材料特征(MaterialProperty)可包括作为属性的以下元素中的至少一个：虚拟世界对象的硬度(Stiffness)、虚拟世界对象的静摩擦力(StaticFriction)、虚拟世界对象的动摩擦力(DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到触觉纹理文件的链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外，动力效果(DynamicForceEffect)可包括作为属性的以下元素中的至少一个：包含到力场向量文件的链接的力场(ForceField)以及包含到力轨道文件的链接的运动轨道(MovementTrajectory)。此外，TactileProperty可包括作为属性的以下元素中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的摇动(Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链接的触觉模式(TactilePatterns)。
对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌(AvatarAppearance)、虚拟形象动画(AvatarAnimation)、动画通信技能(AvatarCommunicationSkills)、动画个性(AvatarPersonality)、动画控制特征(AvatarControlFeatures)和AvatarCC，并且可包括作为属性的虚拟形象的性别(Gender)。
AvatarAppearance可包括作为元素的以下元素中的至少一个：身体(Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物理条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、外貌资源(AppearanceResource)。
AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候(Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听(Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达(Body_Expression)以及动画资源(AnimationResource)。
AvatarCommunicationSkills可包括作为元素的以下元素中的至少一个：输入语言通信(InputVerbalCommunication)、输入非语言通信(InputNonVerbalCommunication)、输出语言通信(OutputVerbalCommunication)以及输出非语言通信(OutputNonVerbalCommunication)，并且可包括作为属性的以下元素中的至少一个：名称(Name)和默认语言(DefaultLanguage)。在这种情况下，包括输入语言通信(InputVerbalCommunication)和输出语言通信(OutputVerbalCommunication)的语言通信可包括作为元素的语言，并且可包括作为属性的以下元素中的至少一个：语音(voice)、文本(text)和语言(language)。语言可包括作为属性的以下元素中的至少一个：作为指示语言的名称的字符串的名称(name)和在语言通信中使用语言的偏爱(preference)。此外，包括偏爱(preference)的通信偏爱可包括虚拟形象的通信的偏爱级别。语言可设置有包括对于虚拟形象能够讲或理解的每种语言的偏爱级别的通信偏爱级别(CommunicationPreferenceLevel)。此外，包括输入非语言通信(InputNonVerbalCommunication)和输出非语言通信(OutputNonVerbalCommunication)的非语言通信可包括作为元素的以下元素中的至少一个：手语(SignLanguage)和暗示法通信(CuedSpeechCommumication)，并且可包括作为属性的补充姿势(ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属性的语言的名称(name)。
AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗(openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness)和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。
AvatarControlFeatures可包括作为元素的控制身体特征(ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征(ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包括作为属性的控制配置的名称(name)。
ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨(headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones)以及中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可包括作为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓(LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓(LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓(LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点(MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称(name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素包括作为元素的以下元素中的至少一个：具有四个点的轮廓4点(Outline4Points)、具有五个点的轮廓5点(Outline5Points)、具有八个点的轮廓8点(Outline8Points)以及具有14个点的轮廓14点(Outline14Points)。此外，包括在ControlFaceFeatures中的至少一个元素可包括基本数量的点并且可选择性地还包括附加点。
对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素：VO外貌(VOAppearance)、虚拟VO动画(VOAnimation)以及VOCC。
当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的VirtualObjectURL(作为包括所述至少一个链接的元素)。
VOAnimation可包括作为元素的以下元素中的至少一个：VO运动(VOMotion)、VO变形(VODeformation)以及VO附加动画(VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个：动画标识(AnimationID)、作为动画持续的时间长度的持续时间(Duration)以及作为播放选项的循环(Loop)。
以上虚拟形象信息可参考以上参照图9至图50进行的描述。虚拟形象信息被重复地描述，因此在这里省略了进一步的描述。用于虚拟形象信息的元数据结构可被可记录在计算机可读存储介质中。
虚拟形象控制系统5100可产生用于基于虚拟形象信息和传感器控制命令来控制用户的特征以被映射到虚拟世界的虚拟形象的虚拟形象控制信息。可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制命令。虚拟形象控制系统5100可基于虚拟形象控制信息来直接操纵虚拟形象，或者可将虚拟形象控制信息发送给操纵虚拟形象的单独系统。当虚拟形象控制系统5100直接操纵虚拟形象时，虚拟形象特征控制方法可还包括操作5230。
在操作5230，虚拟形象特征控制系统5100可基于虚拟形象控制信息来操纵虚拟世界的虚拟形象。如上所述，虚拟形象控制信息可用于控制用户的特征以被映射到虚拟世界的虚拟形象。因此，虚拟形象特征控制系统5100可基于虚拟形象控制信息来操纵真实世界的用户意图以适合于虚拟世界的虚拟形象。
如上所述，当采用根据实施例的虚拟形象特征控制系统或虚拟形象特征控制方法时，能够有效地控制虚拟世界中的虚拟形象的特征。此外，能够通过设置用于感测真实世界的用户脸的特征点并且通过基于收集的关于特征点的数据产生虚拟世界中的虚拟形象的脸，来产生动画中无法定义的随机表情。
图53示出根据实施例的在虚拟世界和真实世界之间交换信息和数据的系统的结构。
参照图53，当使用真实世界装置(例如，运动传感器)输入真实世界中的用户的意图时，包括与真实世界的用户意图关联的控制信息(下文中被称为“CI”)的传感器信号可被发送给虚拟世界处理装置。
CI可以是基于通过真实世界装置输入的值的命令或者关于这些命令的信息。CI可包括感官输入装置能力(SIDC)、用户感官输入偏爱(USIP)和感官输入装置命令(SDICmd)。
可通过真实世界到虚拟世界引擎(以下称为“RV”引擎)来执行自适应真实世界到虚拟世界(以下称为“自适应RV”)。自适应RV可使用包括在传感器信号中的关于真实世界的用户的运动、状态、意图、特征等的CI，来将使用真实世界装置输入的真实世界信息转换为可应用于虚拟世界中的信息。以上描述的自适应处理可影响虚拟世界信息(以下称为“VWI”)。
VWI可以是与虚拟世界关联的信息。例如，VWI可以是与构成虚拟世界的元素(例如，虚拟对象或虚拟形象)关联的信息。可通过虚拟世界效果元数据(VWEM)类型、虚拟世界偏爱(VWP)类型和虚拟世界能力类型的命令来在RV引擎中执行关于VWI的改变。
表85描述在图53中描述的配置。
[表85]
图54至图58是示出根据实施例的虚拟形象控制命令5410的示图。
参照图54，虚拟形象控制命令5410可包括虚拟形象控制命令基本类型5411和任何属性5412。
另外，参照图54至58，可使用可扩展标记语言(XML)来显示虚拟形象控制命令。然而，在图55至图58中显示的程序源可以仅是示例，并且本实施例不限于此。
部分5518可表示虚拟形象控制命令5410的基本元素的定义。虚拟形象控制命令5410可在语义上表示用于控制虚拟形象的命令。
部分5520可表示虚拟形象控制命令5410的根元素的定义。虚拟形象控制命令5410可指示元数据的根元素的函数。
部分5519和5521可表示虚拟形象控制命令基本类型5411的定义。虚拟形象控制命令基本类型5411可扩展虚拟形象控制命令基本类型(AvatarCtrlCmdBasetype)，并且提供定义为虚拟形象控制命令元数据类型的部分的类型的子集的基本抽象类型。
任何属性5412可以是附加虚拟形象控制命令。
根据实施例，虚拟形象控制命令基本类型5411可包括虚拟形象控制命令基本属性5413和任何属性5414。
部分5515可表示虚拟形象控制命令基本属性5413的定义。虚拟形象控制命令基本属性5413可以是显示用于命令的一组属性的指令。
虚拟形象控制命令基本属性5413可包括′id′、′idref′、′activate′和′value′。
′id′可以是用于标识虚拟形象控制命令基本类型5411的各身份的标识符(ID)信息。
′idref′可参考具有示例的类型id的属性的元素。′idref′可以是关于用于标识虚拟形象控制命令基本类型5411的各身份的′id′的附加信息。
′activate′可表示效果是否将被激活。′真(true)′可指示该效果被激活，′假(false)′可指示该效果没有被激活。对于部分5416，′activate′可具有″布尔(boolean)″类型的数据，并且可被可选地使用。
′value′可根据在各效果的语义定义内定义的最大大小以百分数描述效果的强度。对于部分5417，′value′可具有“整数”类型的数据，并且可被可选地使用。
任意属性5414可以是提供用于包括来自与目标名称空间(namespace)不同的另一名称空间的属性的扩展机制的指令。所包括的属性可以是为了标识处理单元并且关联处理单元的时间信息的目的而定义在ISO/IEC 21000-7中的XML流传输命令。例如，′si:pts′可指示关联的信息被使用在用于处理的应用的点。
部分5622可指示虚拟形象控制命令外貌类型的定义。
根据实施例，虚拟形象控制命令外貌类型可包括：外貌控制类型、动画控制类型、通信技能控制类型、个性控制类型和控制控制类型。
部分5623可指示外貌控制类型的元素。外貌控制类型可以是用于表达外貌控制命令的工具。下文中，将参照图59来详细描述外貌控制类型的结构。
图59示出根据实施例的外貌控制类型5910的结构。
参照图59，外貌控制类型5910可包括虚拟形象控制命令基本类型5920和元素。虚拟形象控制命令基本类型5920在以上已经被详细描述，因此将省略其描述。
根据实施例，外貌控制类型5910的元素可包括身体(body)、头(head)、眼睛(eyes)、鼻子(nose)、嘴唇(mouthLip)、皮肤(skin)、脸(face)、指甲(nail)、头发(hair)、眉毛(eyebrows)、脸毛(facial hair)、外貌资源(appearance resources)、物理条件(physical condition)、衣服(clothes)、鞋子(shoes)和装饰品(accessories)。
再次参照图54至图58，部分5725可指示通信技能控制类型的元素。通信技能控制类型可以是用于表达动画控制命令的工具。下文中，将参照图60对通信技能控制类型的结构进行详细描述。
图60示出根据实施例的通信技能控制类型6010的结构。
参照图60，通信技能控制类型6010可包括虚拟对象控制命令基本类型6020和元素。
根据实施例，通信技能控制类型6010的元素可包括输入语言通信(inputverbal communication)、输入非语言通信(input nonverbal communication)、输出语言通信(output verbal communication)和输出非语言通信(outputnonverbal communication)。
再次参照图54至图58，部分5826可指示个性控制类型的元素。个性控制类型可以是用于表达动画控制命令的工具。在下文中，将参照图61来对个性控制类型的结构进行详细描述。
图61示出根据实施例的个性控制类型6110的结构。
参照图61，个性控制类型6110可包括虚拟形象控制命令基本类型6120和元素。
根据实施例，个性控制类型610的元素可包括：开朗(openness)、热情(agreeableness)、神经质(neuroticism)、外向(extraversion)和认真(conscientiousness)。
再次参照图54至图58，部分5624可指示动画控制类型的元素。动画控制类型可以是用于表达动画控制命令的工具。下文中，将参照图62来对动画控制类型的结构进行详细描述。
图62示出根据实施例的动画控制类型6210的结构。
参照图62，动画控制类型6210可包括动画控制命令基本类型6220、任何属性6230和元素。
根据实施例，任何属性6230可包括运动优先级6231和速度6232。
运动优先级6231可确定当通过将动画和身体和/或面部特征控制进行混合来产生虚拟形象的运动时的优先级。
速度6232可调整动画的速度。例如，在关于步行运动的动画的情况下，步行运动可根据步行速度被分类为慢步行运动、适度步行运动和快速步行运动。
动画控制类型6210的元素可包括空闲(idle)、问候(greeting)、跳舞(dancing)、步行(walk)、移动(moves)、打架(fighting)、倾听(hearing)、吸烟(smoke)、祝贺(congratulations)、共同动作(common actions)、特殊动作(specific actions)、面部表情(facial expression)、身体表达(body expression)以及动画资源(animation resources)。
再次参照图54至图58，部分5827可指示控制控制类型的元素。控制控制类型可以是用于表达控制特征控制命令的工具。下文中，将参照图63来对控制控制类型的结构进行详细描述。
图63示出根据实施例的控制控制类型6310的结构。
参照图63，控制控制类型6310可包括虚拟形象控制命令基本类型6320、任何属性6330和元素。
根据实施例，任何属性6330可包括运动优先级(motion priority)6331、帧时间(frame time)6332、帧的数量(number of frames)6333和帧ID(frameID)6334。
运动优先级6331可确定当通过将动画与身体和/或面部特征控制混合来产生动画的运动时的优先级。
帧时间6332可定义运动控制数据的帧间隔。例如，帧间隔可以是秒单位。
帧的数量6333可以可选地定义用于运动控制的帧的总数量。
帧ID 6334可指示每个帧的顺序。
控制控制类型6310的元素可包括身体特征控制(body feature control)6340和脸特征控制(face feature control)6350。
根据实施例，身体特征控制6340可包括身体特征控制类型。此外，身体特征控制类型可包括头骨骼(head bones)、上体骨骼(upper body bones)、下体骨骼(down body bones)以及中体骨骼(middle body bones)的元素。
虚拟世界的虚拟形象的运动可与动画控制类型和控制控制类型相关。动画控制类型可包括与动画集合的顺序关联的信息，控制控制类型可包括与动画感测关联的信息。为了控制虚拟世界的虚拟形象的运动，动画或运动感测装置可被使用。因此，在这里将对根据实施例控制虚拟世界的虚拟形象的运动的成像设备进行详细描述。
图64示出根据实施例的成像设备6400的配置。
参照图64，成像设备6400可包括存储单元6410和处理单元6420。
存储单元6410可包括动画剪辑、动画控制信息和控制控制信息。在这种情况下，动画控制信息可包括指示动画剪辑对应的虚拟形象的部分的信息以及优先级。控制控制信息可包括指示运动数据对应的虚拟形象的部分的信息以及优先级。在这种情况下，可通过处理从运动传感器接收的值来产生运动数据。
动画剪辑可以是关于虚拟世界的虚拟形象的运动的运动图像数据。
根据实施例，虚拟世界的虚拟形象可被分为每个部分，并且与每个部分对应的动画剪辑和运动数据可被存储。根据实施例，虚拟世界的虚拟形象可被分为面部表情、头、上体、中体和下体，这将参照图65进行详细描述。
图65示出根据实施例的虚拟世界的虚拟形象6500被分为面部表情、头、上体、中体和下体的状态。
参照图65，虚拟形象6500可被分为面部表情6510、头6520、上体6530、中体6540和下体6550。
根据实施例，动画剪辑和运动数据可以是与面部表情6510、头6520、上体6530、中体6540和下体6550中的任何一个对应的数据。
再次参照图64，动画控制信息可包括指示动画剪辑对应的虚拟形象的部分的信息以及优先级。虚拟世界的虚拟形象可以是至少一个，并且动画剪辑可基于动画控制信息对应于至少一个虚拟形象。
根据实施例，指示动画剪辑对应的虚拟形象的部分的信息可以是指示面部表情、头、上体、中体和下体中的任何一个的信息。
与虚拟形象的任意部分对应的动画剪辑可具有优先级。可由真实世界中的用户预先确定优先级，或者可通过实时输入来确定优先级。将参照图13对优先级进行进一步描述。
根据实施例，动画控制信息还可包括与虚拟形象的任意部分对应的动画剪辑的速度关联的信息。例如，在指示步行运动的数据作为与虚拟形象的下体对应的动画剪辑的情况下，动画剪辑可被分为慢步行运动数据、适度步行运动数据、快速步行运动数据和跳跃运动数据。
控制控制信息可包括指示运动数据对应的虚拟形象的部分的信息以及优先级。在这种情况下，可通过处理从运动传感器接收的值来产生运动数据。
运动传感器可以是用于测量真实世界中的用户的运动、表情、状态等的真实世界装置的传感器。
运动数据可以是通过测量真实世界的用户的运动、表情、状态等而获得的值可被接收的数据，并且接收的数据被处理以可应用于虚拟世界的虚拟形象。
例如，运动传感器可测量关于真实世界的用户的手臂和腿的位置信息，并且可表示为ΘXreal、ΘYreal和ΘZreal，也就是，关于x轴、y轴和z轴的角度的值，并且还被表示为Xreal、Yreal和Zreal，也就是，x轴、y轴和z轴的值。另外，运动数据可以是被处理以使得关于位置信息的值能够被应用于虚拟世界的虚拟形象的数据。
根据实施例，虚拟世界的虚拟形象可被分为每个部分，并且与每个部分对应的运动数据可被存储。根据实施例，运动数据可以是指示虚拟形象的面部表情、头、上体、中体和下体中的任何一个的信息。
与虚拟形象的优先级部分对应的运动数据可具有优先级。可由真实世界中的用户预先确定优先级，或者可通过实时输入来确定优先级。将参照图68来对运动数据的优先级进行进一步描述。
处理单元6420可将对应于虚拟形象的第一部分的动画控制信息的优先级与对应于虚拟形象的第一部分的控制控制信息的优先级进行比较，以从而确定将可应用于虚拟形象的第一部分的数据，这将参照图66进行详细描述。
图66示出根据实施例的关于动画剪辑的数据库6600。
参照图66，数据库6600可被分类为动画剪辑6610、对应部分6620和优先级6630。
动画剪辑6610可以是关于与虚拟世界的虚拟形象的任意部分对应的虚拟形象的运动的数据的范畴。根据实施例，动画剪辑6610可以是关于与虚拟形象的面部表情、头、上体、中体和下体中的任何一个对应的动画剪辑的范畴。例如，第一动画剪辑6611可以是对应于虚拟形象的面部表情的动画剪辑，并且可以是关于微笑运动的数据。第二动画剪辑6612可以是对应于虚拟形象的头的动画剪辑，并且可以是关于从一侧到另一侧摇头的运动的数据。第三动画剪辑6613可以是对应于虚拟形象的上体的动画剪辑，并且可以是关于抬起手臂的运动的数据。第四动画剪辑6614可以是对应于虚拟形象的中部的动画剪辑，并且可以是关于撅起屁股的运动的数据。第五动画剪辑6615可以是对应于虚拟形象的下部分的动画剪辑，并且可以是关于弯曲一条腿并且向前拉伸另一条腿的运动的数据。
对应部分6620可以是指示动画剪辑对应的虚拟形象的部分的数据的范畴。根据实施例，对应部分6620可以是指示动画剪辑对应的面部表情、头、上体、中体和下体中的任何一个的数据的范畴。例如，第一动画剪辑6611可以是对应于虚拟形象的面部表情的动画剪辑，第一相应部分6621可表示为“面部表情”。第二动画剪辑6612可以是对应于虚拟形象的头的动画剪辑，并且第二相应部分6622可被表示为“头”。第三动画剪辑6613可以是对应于虚拟形象的上体的动画剪辑，并且第三相应部分6623可被表示为“上体”。第四动画剪辑6614可以是对应于虚拟形象的中体的动画剪辑，并且第四相应部分可被表示为“中体”。第五动画剪辑6615可以是对应于虚拟形象的下体的动画剪辑，并且第五相应部分6625可被表示为“下体”。
优先级6630可以是关于动画剪辑的优先级的值的范畴。根据实施例，优先级6630可以说关于与虚拟形象的面部表情、头、上体、中体和下体中的任何一个对应的动画剪辑的优先级的值的范畴。例如，对应于虚拟形象的面部表情的第一动画剪辑6611可具有优先级值“5”。对应于虚拟形象的头的第二动画剪辑6612可具有优先级值“2”。对应于虚拟形象的上体的第三动画剪辑6613可具有优先级值“5”。对应于虚拟形象的中体的第四动画剪辑6614可具有优先级值“1”。对应于虚拟形象的下体的第五动画剪辑6615可具有优先级值“1”。可由真实世界中的用户预先确定关于动画剪辑的优先级值，或者可通过实时输入来确定关于动画剪辑的优先级值。
图67示出根据实施例的关于动作数据的数据库6700。
参照图图67，数据库6700可被分类为运动数据6710、相应部分6720和优先级6730。
运动数据6710可以是通过处理从运动传感器接收的值而获得的数据，并且可以是对应于虚拟世界的虚拟形象的任意部分的运动数据的范畴。根据实施例，运动部分6710可以是对应于虚拟形象的面部表情、头、上体、中体和下体的任何部分的运动数据的范畴。例如，第一运动数据6711可以是对应于虚拟形象的面部表情的运动数据，并且可以是关于真实世界中的用户的扮鬼脸运动的数据。在这种情况下，关于扮鬼脸运动的数据可被这样获得：通过运动传感器来测量真实世界的用户的扮鬼脸运动，并且测量的值可被应用于虚拟形象的面部表情。类似地，第二运动数据6712可以是对应于虚拟形象的头的运动数据，并且可以是关于虚拟世界的用户低头的运动的数据。第三运动数据6713可以是对应于虚拟形象的上体的运动数据，并且可以是关于真实世界的用户从一侧到另一侧举起手臂的运动的数据。第四运动数据6714可以是对应于虚拟形象的中体的运动数据，并且可以是关于真实世界的用户来回摇动屁股的运动的数据。第五运动数据6715可以是对应于虚拟形象的下部分的运动数据，并且可以是关于真实世界的腿在弯曲的同时从一侧向另一侧伸展的运动的数据。
相应部分6720可以是运动数据对应的虚拟形象的部分的数据的范畴。根据实施例，相应部分6720可以是指示运动数据对应的虚拟形象的面部表情、头、上体、中体和下体中的任何一个的数据的范畴。例如，由于第一运动数据6711是对应于虚拟形象的面部表情的运动数据，因此第一相应部分6721可被表示为“面部表情”。由于第二运动数据6712是对应于虚拟形象的头的运动数据，第二相应部分6722可被表示为“头”。由于第三运动数据6713是对应于虚拟形象的上体的运动数据，因此第三相应部分6723可被表示为“上体”。由于第四运动6714是对应于虚拟形象的中体的运动数据，因此第四相应部分6724可被表示为“中体”。由于第五运动数据6715是对应于虚拟形象的下体的运动数据，第五相应部分6725可被表示为“下体”。
优先级6730可以是关于运动数据的优先级的值的范畴。根据实施例，优先级6730可以是关于与虚拟形象的面部表情、头、上体、中体和下体中的任何一个对应的运动数据的优先级的值的范畴。例如，对应于面部表情的第一运动数据6711可具有优先级值“1”。对应于头的第二运动数据6712可具有优先级值“5”。对应于上体的第三运动数据6713可具有优先级值“2”。对应于中体的第四运动数据6714可具有优先级值“5”。对应于下体的第五运动数据6715可具有优先级值“5”。可由真实世界的用户预先确定关于运动数据的优先级值，或者可通过实时输入来确定关于运动数据的优先级值。
图68示出根据实施例的通过比较优先级确定运动对象数据将被应用到虚拟形象6810的任意部分的操作。
参照图68，虚拟形象6810可被分为面部表情6811、头6812、上体6813、中体6814和下体6815。
运动对象数据可以是关于虚拟形象的任意部分的运动的数据。运动对象数据可包括动画剪辑和运动数据。可通过处理从运动传感器接收的值或者通过从成像设备的存储单元读取值来获得运动对象数据。根据实施例，运动对象数据可对应于虚拟形象的面部表情、头、上体、中体和下体的任何一个。
数据库6820可以是关于动画剪辑的数据库。另外，数据库6830可以是关于运动数据的数据库。
根据实施例的成像设备的处理单元可将对应于虚拟形象6810的第一部分的动画控制信息的优先级与对应于虚拟形象6810的第一部分的控制控制信息的优先级进行比较，从而确定将可应用于虚拟形象的第一部分的数据。
根据实施例，对应于虚拟形象6810的面部表情6811的第一动画剪辑6821可具有优先级值“5”，对应于面部表情6811的第一运动数据6831可具有优先级值“1”。由于第一动画剪辑6821的优先级高于第一运动数据6831的优先级，因此处理单元可将第一动画剪辑6821确定为可将应用于面部表情6811的数据。
另外，对应于头6812的第二动画剪辑6822可具有优先级值“2”，并且对应于头6812的第二动画数据6832可具有优先级值“5”。由于第二运动数据6832的优先级高于第二动画剪辑6822的优先级，因此处理单元可将第二运动数据6832确定将可应用于头6812的数据。
另外，对应于上体6813的第三动画剪辑6823可具有优先级值“5”，并且对应于上体6813的第三运动数据6833可具有优先级值“2”。由于第三动画剪辑6823的优先级高于第三运动数据6833的优先级，因此处理单元可将第三动画剪辑6823确定为将可应用于上体6813的数据。
另外，对应于中体6814的第四动画剪辑6824可具有优先级值“1”，并且对应于中体6814的第四运动数据6834可具有优先级值“5”。由于第四运动数据6834的优先级高于第四动画剪辑6824的优先级，因此处理单元可将第四运动数据6834确定为将可应用于中体6814的数据。
另外，对应于下体6815的第五动画剪辑6825可具有优先级值“1”，并且对应于下体6815的第五运动数据6835可具有优先级值“5”。由于第五运动数据6835的优先级高于第五动画剪辑6825的优先级，则处理单元可将第五运动数据6835确定为可将被应用到下体6815的数据。
因此，对于虚拟形象6810，面部表情6811可具有第一动画剪辑6821，头6812可具有第二运动数据6832，上体6813可具有第三动画剪辑6823，中体6814可具有第四运动数据6834，并且下体6815可具有第五运动数据6835。
对应于虚拟形象6810的任意部分的数据可具有多个动画剪辑和多条运动数据。当对应于虚拟形象6810的任意部分的多条数据存在时，将参照图69对确定可将应用于虚拟形象的任意部分中的数据的方法进行详细描述。
图69示出根据实施例的确定将被应用到虚拟形象的每个部分的运动对象数据的方法。
参照图69，在操作6910，根据实施例的成像设备可验证包括在运动对象数据中的信息。包括在运动对象数据中的信息可包括指示运动对象数据对应的虚拟形象的部分的信息以及运动对象数据的优先级。
当对应于虚拟对象的第一部分的运动对象数据不存在时，成像设备可将通过新读取或通过新处理而获得的新运动对象数据确定为可将被应用于第一部分的数据。
在操作6920，当对应于第一部分的运动对象数据存在时，处理单元可将现有运动对象数据的优先级与新运动对象数据的优先级进行比较。
在操作6930，当新运动对象数据的优先级高于现有运动对象数据的优先级时，成像设备可将新的运动对象数据确定为将可应用于虚拟形象的第一部分的数据。
然而，当现有运动对象数据的优先级高于新运动对象数据的优先级时，成像设备可将现有的运动对象数据确定将可应用于第一部分的数据。
在操作6940，成像设备可确定所有的运动对象数据是否被确定。
当没有被验证的运动对象数据存在时，成像设备可对没有被确定的所有的运动对象数据重复地执行操作S6910至S6940。
在操作6950，当所有的运动对象数据被确定时，成像设备可关联与虚拟形象的每个部分对应的运动对象数据中具有最高优先级的数据，从而产生虚拟形象的运动图像。
根据实施例的成像设备的处理单元可将对应于虚拟形象的每个部分的动画控制信息的优先级与对应于虚拟形象的每个部分的控制控制信息的优先级进行比较，从而确定将可应用于虚拟形象的每个部分的数据，并且可关联确定的数据，从而产生虚拟形象的运动图像。已经在图69中描述了确定将可应用于虚拟形象的每个部分的数据的处理，因此将省略其描述。将参照图70来描述通过关联确定的数据来产生虚拟形象的运动图像的处理。
图70是示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分关联的操作的流程图。
参照图70，在操作7010，根据实施例的成像设备可定位包括根元素的虚拟形象的一部分。
在操作7020，成像设备可从与虚拟形象的部分相应的运动对象数据提取与连接轴关联的信息。运动对象数据可包括动画剪辑和运动数据。运动对象数据可包括与连接轴关联的信息。
在操作7030，成像设备可验证没有被关联的运动对象数据是否存在。
当没有被关联的运动对象数据不存在时，由于与虚拟形象的每个对象对应的所有条数据被关联，因此产生虚拟形象的运动图像的处理将终止。
在操作7040，当没有被关联的运动对象数据存在时，成像设备可将包括在从运动对象数据提取的连接轴中的接合方向角改变为相对方向角。根据实施例，包括在与连接轴关联的信息中的接合方向角可以是相对方向角。在这种情况下，成像设备在省略操作7040的同时可将操作7050提前。
在下文中，根据实施例，当接合方向角是绝对方向角时，将对将接合方向角改变为相对方向角的方法进行详细描述。此外，在虚拟世界的虚拟形象被分为面部表情、头、上体、中体和下体的情况下，这里将进行详细描述。
根据实施例，与虚拟形象的中体相应的运动对象数据可包括身体中心坐标。绝对方向角的接合方向角可基于包括身体中心坐标的中间部分的连接部分被改变为相对方向角。
成像设备可提取与存储在对应于虚拟形象的中间部分的运动对象数据中的连接轴关联的信息。与连接轴关联的信息可包括对应于虚拟形象的上体的连接点的胸椎骨与对应于头的连接点的颈椎骨之间的接合方向角、胸椎骨与左锁骨之间的接合方向角、胸椎骨与右锁骨之间的接合方向角、对应于中间部分的连接部分的骨盆与对应于下体的连接部分的左大腿骨之间的接合方向角、以及骨盆和右大腿骨之间的接合方向角。
例如，骨盆和右大腿骨之间的接合方向角可被表示为以下的等式1。
[等式1]
A(θRightFemur)＝RRightFemur_PelvisA(θPelvis)，
其中，函数A(.)表示方向余弦矩阵，RRightFemur_Pelvis表示关于骨盆和右大腿骨之间的方向角的旋转矩阵，ΘRightFemur虚拟形象的下体的右大腿骨中的接合方向角，ΘPelvis表示骨盆和右大腿骨之间的接合方向角。
使用等式1，可如下面的等式2所示来计算旋转函数。
[等式2]
RRightFemur_Pelvis＝A(θRightFemur)A(θPelvis)-1.
绝对方向角的接合方向角可基于包括身体中心坐标的虚拟形象的中体的连接部分被改变为相对方向角。例如，使用等式2的旋转函数，接合方向角(也就是，存储在对应于虚拟形象的下体的运动对象数据中的包括在与连接轴关联的信息中的绝对方向角)可被改变为相对方向角，如下面的等式3所示。
[等式3]
A(θ′)＝RRightFemur_PelvisA(θ)。
类似地，接合方向角(也就是，存储在对应于虚拟形象的头和上体的运动对象数据中的包括在与连接轴关联的信息中的绝对方向角)可被改变为相对方向角。
通过将接合方向角改变为相对方向角的上述方法，当使用存储在对应于虚拟形象的每个部分的运动对象数据中的与连接轴关联的信息，接合方向角被改变为相对方向角时，成像设备可在操作7050关联对应于虚拟形象的每个部分的运动对象数据。
成像设备可返回操作7030，并且可验证没有被关联的运动对象数据是否存在。
当没有被关联的运动对象数据不存在时，由于对应于虚拟形象的每个部分的所有条数据被关联，因此产生虚拟形象的运动图像的处理将终止。
图71示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分关联的操作。
参照图71，根据实施例的成像设备可将对应于虚拟形象的第一部分的运动对象数据7110与对应于虚拟形象的第二部分的运动对象数据7120关联，从而产生虚拟形象的运动图像7130。
对应于第一部分的运动对象数据7110可以是动画剪辑和运动数据中的任何一个。类似地，对应于第二部分的运动对象数据7120可以是动画剪辑和运动数据中的任何一个。
根据实施例，成像设备的存储单元可还存储与动画剪辑的连接轴7101关联的信息，并且处理单元可基于与连接轴7101关联的信息来将动画剪辑和运动数据关联。另外，处理单元可基于与动画剪辑的连接轴7101关联的信息来将动画剪辑和另一动画剪辑关联。
根据实施例，处理单元可从运动数据中提取与连接轴关联的信息，并且使动画剪辑的连接轴7101和运动数据的连接轴彼此对应，从而将动画剪辑和运动数据关联。另外，处理单元基于与从运动数据提取的连接轴关联的信息来将运动数据和另一运动数据关联。在图70中详细地描述了与连接轴关联的信息，因此这里将省略对其的进一步相关描述。
下文中，将对使真实世界中的用户的脸适应于虚拟世界的虚拟形象的脸的成像设备的示例进行描述。
成像设备可使用真实世界装置(例如，图像传感器)来感测真实世界的用户的脸，并且将感测的脸适应于虚拟世界的虚拟形象的脸。当虚拟世界的虚拟形象被分为面部表情、头、上体、中体和下体时，成像设备可感测真实世界的用户的脸，从而使感测的真实世界的脸适应于虚拟世界的虚拟形象的面部表情和头。
根据实施例，成像设备可感测真实世界的用户的脸的特征点以收集关于特征点的数据，并且可使用关于特征点的数据来产生虚拟世界的虚拟形象的脸。
如上所述，当根据实施例的成像设备被使用时，用于控制虚拟世界的虚拟形象的动画控制信息和关于运动数据的结构的元数据可被提供。可通过将动画剪辑的优先级与运动数据的优先级进行比较并且通过确定虚拟形象的相应部分的数据来产生虚拟形象的运动，其中，对应于虚拟世界的虚拟形象的一部分的动画剪辑与通过感测真实世界的用户的运动获得的运动数据关联。
图72示出根据实施例的用于控制虚拟世界对象的终端7210和虚拟世界服务器7230。
参照图72，终端7210可从真实世界装置7220接收信息(7221)。在此示例中，从真实世界装置7220接收的信息可包括经由装置(诸如键盘、鼠标或指示器)输入的控制输入、经由装置(诸如温度传感器、操作传感器、光学传感器、智能传感器、位置传感器、加速度传感器等)输入的传感器输入。在此示例中，包括在终端7210中的自适应引擎7211可基于接收的信息7221来产生规则的控制命令。例如，自适应引擎7211可通过将控制输入转换为适合于控制命令来产生控制命令，或者可基于传感器输入来产生控制命令。终端7210可将规则的控制命令发送给虚拟世界服务器7230(7212)。
虚拟世界服务器7230可从终端7210接收规则的控制命令。在此示例中，包括在虚拟世界服务器7230中的虚拟世界引擎7231可根据与规则的控制命令对应的虚拟世界对象转换规则的控制命令来产生与虚拟世界对象关联的信息。虚拟世界服务器7230可将与虚拟世界对象关联的信息再次发送给终端7210(7232)。虚拟世界对象可包括虚拟形象和虚拟对象。在此示例中，虚拟形象可指示反映用户外貌的对象，虚拟对象可指示除了虚拟形象之外的剩余对象。
终端7210可基于与虚拟世界对象关联的信息来控制虚拟世界对象。例如，终端7210可通过基于与虚拟世界对象关联的信息产生控制命令并且通过将控制命令发送给显示器7240(7213)来控制虚拟世界对象。也就是，显示器7240可基于发送的控制命令来显示与虚拟世界关联的信息(7213)。
尽管在前述实施例中包括在终端7210中的自适应引擎7211基于从真实世界装置接收的信息7221产生规则的控制命令，但是这仅是示例。根据另一实施例，终端7210可直接将接收的信息7221发送给虚拟世界服务器7230，而不直接产生规则的控制命令。可选择地，终端7210可仅执行接收的信息7221的规则化，并且随后将接收的信息7221发送给虚拟世界服务器7230(7212)。例如，终端720可通过将控制输入转换为适合于虚拟世界并且通过将传感器输入规则化，来将接收的信息7221发送给虚拟世界服务器7230。在此示例中，虚拟世界服务器7230可通过基于发送的信息7212产生规则的控制命令并且通过根据对应于规则的控制命令的虚拟世界对象转换规则的控制命令，来产生与虚拟世界对象关联的信息。虚拟世界服务器7230可将与产生的虚拟世界对象关联的信息发送给终端7210(7232)。也就是，虚拟世界服务器7230可基于从真实世界装置7220接收的信息7221来处理产生与虚拟世界对象关联的信息的所有处理。
虚拟世界服务器7230可被采用，从而通过与多个终端通信，在多个终端中的每个中处理的内容可在每个终端的显示器中同样被回放。
图73示出根据另一实施例的用于控制虚拟世界对象的终端7310。
与终端7210相比，终端7310可还包括虚拟世界引擎7312。也就是，代替参照图72描述的与虚拟世界服务器7230通信，终端7310可包括自适应引擎7311和虚拟世界引擎7312，用于基于从虚拟世界装置7320接收的信息来产生与虚拟世界对象关联的信息，并且基于与虚拟世界对象关联的信息来控制虚拟世界对象。甚至在这种情况下，终端7310可通过基于与虚拟世界对象关联的信息来产生控制命令并且通过将控制命令发送给显示器7330，来控制虚拟世界对象。也就是，显示器7330可基于发送的控制命令来显示与虚拟世界关联的信息。
图74示出根据另一实施例的用于控制虚拟世界对象的多个终端。
第一终端7410可从真实世界装置7420接收信息，并且可基于从自适应引擎7411和虚拟世界引擎7412接收的信息来产生与虚拟世界对象关联的信息。另外，第一终端7410可通过基于与虚拟世界对象关联的信息产生控制命令并且通过将控制命令发送给第一显示器7430来控制虚拟世界对象。
第二终端7440也可从真实世界装置7450接收信息，并且可基于从自适应引擎7441和虚拟世界引擎7442接收的信息来产生与虚拟世界对象关联的信息。另外，控制终端7440可通过基于与虚拟世界对象关联的信息产生控制命令并且通过将控制命令发送给第二显示器7460来控制虚拟世界对象。
在此示例中，第一终端7410和第二终端7440可在虚拟世界引擎7412和7442之间交换与虚拟世界对象关联的信息(7470)。例如，当多个用户控制单个虚拟世界中的虚拟形象时，与虚拟世界对象关联的信息可能需要在第一终端7410和第二终端7420之间交换(7470)，从而在第一终端7410和第二终端7420中的每一个中处理的内容可被同样应用到单个虚拟世界。
尽管在图74的实施例中为了容易描述，仅描述了两个终端，但是对于本领域的技术人员清楚的是，可在至少三个终端之间交换与虚拟世界对象关联的信息。
图75示出根据另一实施例的用于控制虚拟世界对象的终端7510。
终端7510可与虚拟世界服务器7530通信并且还包括虚拟世界子引擎7512。也就是，包括在终端7510中的自适应引擎7511可基于从真实世界装置7520接收的信息来产生规则的控制命令，并且可基于规则的控制命令来产生与虚拟世界对象关联的信息。在此示例中，终端7510可基于与虚拟世界对象关联的信息来控制虚拟世界对象。也就是，终端7510可通过基于与虚拟世界对象关联的信息产生控制命令并且通过将控制命令发送给显示器7540来控制虚拟世界对象。在此示例中，终端7510可从虚拟世界服务器7530接收虚拟世界信息，基于虚拟世界信息以及与虚拟世界对象关联的信息来产生控制命令，并且将控制命令发送给显示器7540以显示虚拟世界的全部信息。例如，可由终端7510将虚拟形象信息用于虚拟世界，因此，虚拟世界服务器7530可仅发送终端7510需要的虚拟世界信息(例如，与虚拟对象或另一虚拟形象关联的信息)。
在此示例中，终端7510可将根据虚拟世界对象的控制获得的处理结果发送给虚拟世界服务器7530，并且虚拟世界服务器7530可基于处理结果来更新虚拟世界信息。也就是，由于虚拟世界服务器7530基于终端7510的处理结果来更新虚拟世界信息，因此使用处理结果的虚拟世界信息可被提供给其他终端。虚拟世界服务器7530可使用虚拟世界引擎7531来处理虚拟世界信息。
上述实施例可被记录在包括执行由计算机实施的各种操作的程序指令的非暂时计算机可读介质。介质还可单独包括程序指令、数据文件、数据结构等或者包括程序指令、数据文件、数据结构等的组合。程序指令可由计算机软件的技术人员来专门设计或者执行。另外，前述各种元数据结构可被记录在非暂时计算机可读存储介质中。例如，定义用于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点的元数据结构可被记录在非暂时计算机可读介质中。在这种情况下，可基于虚拟形象脸特征点来表示头轮廓(HeadOutline)、左眼轮廓(LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓(LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓(LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)和各种点(MiscellaneousPoints)中的至少一个。根据另一实施例的非暂时计算机可读存储介质可包括：存储动画控制信息和控制控制信息的第一组指令、以及基于与虚拟形象的每部分相应的动画控制信息和控制控制信息来将动画剪辑与从运动传感器接收的值产生的运动数据关联的第二组指令。动画控制信息和控制控制信息被如上描述。
尽管已经显示和描述了一些实施例，但是本领域的技术人员应该理解，在不脱离本公开的原理和精神的情况下，可以对这些实施例进行改变，本公开的范围由权利要求及其等同物限定。

Claims (45)

1.一种对象控制系统，包括：
控制命令接收器，接收关于虚拟环境的虚拟世界对象的控制命令；
对象控制器，基于接收的控制命令和虚拟世界对象的虚拟世界对象信息来控制对象，其中，
对象信息包括虚拟世界对象的共同特征，
共同特征包括：包含与虚拟世界对象关联的一个或多个输入事件的虚拟世界对象事件VWOEvent、虚拟世界对象行为模型VWOBehaviorModel以及以下项中的至少一个：包含与虚拟世界对象关联的一个或多个声音效果的虚拟世界对象声音VWOSound、包含与虚拟世界对象关联的一个或多个气味效果的虚拟世界对象气味VWOScent、包含与虚拟世界对象关联的一个或多个控制的虚拟世界对象控制VWOControl，
其中，虚拟世界对象行为模型包括涉及所述一个或多个输入事件中的输入事件的事件参考、涉及所述一个或多个声音效果中的声音效果的至少一个声音参考、涉及所述一个或多个气味效果中的气味效果的气味参考和涉及所述一个或多个控制中的控制的控制参考。
2.如权利要求1所述的对象控制系统，其中，标识包括作为元素的从标识类型的结构中选择的至少一个，标识类型包括：用于标识与虚拟世界对象关联的用户的用户标识符UserID、虚拟世界对象的所有权Ownership、权利Rights和信用Credits，并且标识选择性地包括作为属性的从标识类型的结构中选择的至少一个，标识类型还包括：虚拟世界对象的名称name以及与另一虚拟世界对象的家庭family中的至少一个。
3.如权利要求1所述的对象控制系统，其中，
VWOSound包括作为元素的包括到声音文件的至少一个链接的声音资源统一资源定位符URL，并且选择性地包括作为属性的从虚拟世界对象声音类型的结构中选择的至少一个，虚拟世界对象声音类型包括：作为对象声音的唯一标识符的声音标识符SoundID、指示声音强度的强度intensity、指示声音持续的时间长度的持续时间duration、指示播放选项的循环loop以及声音名称name。
4.如权利要求1所述的对象控制系统，其中，
VWOScent包括作为元素的包括到气味文件的至少一个链接的气味资源URL，并且选择性地包括作为属性的从虚拟世界对象气味类型的结构中选择的至少一个，虚拟世界对象气味类型包括：作为对象气味的唯一标识符的气味标识符ScentID、指示气味浓度的强度intensity、指示气味持续的时间长度的持续时间duration、指示播放选项的循环loop以及气味名称name。
5.如权利要求1所述的对象控制系统，其中，
VWOControl包括作为元素的作为控制虚拟世界对象的位置position、方位orientation和大小scale的一组元素的运动特征控制MotionFeatureControl，并且选择性地包括作为属性的作为控制的唯一标识符的控制标识符ControlID。
6.如权利要求5所述的对象控制系统，其中，
MotionFeatureControl包括作为元素的从虚拟世界对象控制类型的结构中选择的至少一个，虚拟世界对象控制类型包括：在具有三维3D浮点向量的场景中的虚拟世界对象的位置、具有作为欧拉角的3D浮点向量的场景中的虚拟世界对象的方位、以及表示为3D浮点向量的场景中的虚拟世界对象的大小。
7.如权利要求1所述的对象控制系统，其中，
VWOEvent包括作为元素的从虚拟世界对象事件类型的结构中选择的至少一个，虚拟世界对象事件类型包括：作为一组鼠标事件元素的鼠标Mouse、作为一组键盘事件元素的键盘Keyboard以及用户定义的输入UserDefinedInput，并且包括作为属性的作为事件的唯一标识符的事件标识符EventID。
8.如权利要求7所述的对象控制系统，其中，
Mouse包括作为元素的从鼠标类型的结构中选择的至少一个，鼠标类型包括：单击click、双击Double_Click、作为在按下鼠标的左按钮时发生的事件的左按钮向下LeftBttn_down、作为在释放鼠标的左按钮时发生的事件的左按钮向上LeftBttn_up、作为在按下鼠标的右按钮时发生的事件的右按钮向下RightBttn_down、作为在释放鼠标的右按钮时发生的事件的右按钮向上RightBttn_up、以及作为在改变鼠标的位置的同时发生的事件的移动move。
9.如权利要求7所述的对象控制系统，其中，
Keyboard包括作为元素的以下元素中的至少一个：作为在按下键盘按钮时发生的事件的键向下Key_Down、以及作为在释放键盘按钮时发生的事件的键向上Key_Up。
10.如权利要求1所述的对象控制系统，其中，
VWOBehaviorModel包括作为元素的从虚拟世界对象行为模型类型的结构中选择的至少一个，虚拟世界对象行为模型类型包括：作为用于产生对象行为的输入事件的行为输入BehaviorInput以及作为根据输入事件输出的对象行为的行为输出BehaviorOutput。
11.如权利要求10所述的对象控制系统，其中，
BehaviorInput包括作为属性的EventID，
BehaviorOutput包括作为属性的从行为输出类型的结构中选择的至少一个，行为输出类型包括：声音标识符SoundID、气味标识符ScentID和动画标识符AnimationID。
12.如权利要求1所述的对象控制系统，其中，公共特征还包括虚拟世界对象触觉特征(VWOHapticProperties)，
其中，VWOHapticProperties包括作为属性的从虚拟世界对象触觉特征类型的结构中选择的至少一个，虚拟世界对象触觉特征类型包括：包含表现触觉特征的参数的材料特征MaterialProperty、包含表现力效果的参数的动力效果DynamicForceEffect以及包含表现触觉特征的参数的触觉特征TactileProperty。
13.如权利要求12所述的对象控制系统，其中，
MaterialProperty包括作为属性的从材料特征类型的结构中选择的至少一个，材料特征类型包括：虚拟世界对象的硬度Stiffness、虚拟世界对象的静摩擦StaticFriction、虚拟世界对象的动摩擦DynamicFriction、虚拟世界对象的阻尼Damping、包含到触觉纹理文件的链接的纹理Texture和虚拟世界对象的质量mass。
14.如权利要求12所述的对象控制系统，其中，
DynamicForceEffect包括作为属性的从动力效果类型的结构中选择的至少一个，动力效果类型包括：包含到力场向量文件的链接的力场ForceField以及包含到力轨道文件的链接的运动轨道MovementTrajectory。
15.如权利要求12所述的对象控制系统，其中，
TactileProperty包括作为属性的从触觉类型的结构中选择的至少一个，触觉类型包括：虚拟世界对象的温度Temperature、虚拟世界对象的摇动Vibration、虚拟世界对象的电流Current以及包含到触觉模式文件的链接的触觉模式TactilePatterns。
16.如权利要求1所述的对象控制系统，其中，当虚拟世界对象是虚拟环境的虚拟形象时，
对象信息还包括与虚拟形象关联的虚拟形象信息，
虚拟形象信息包括作为元数据的从虚拟形象类型的结构中选择的至少一个元素，虚拟形象类型包括：虚拟形象外貌AvatarAppearance、虚拟形象动画AvatarAnimation、虚拟形象通信技能AvatarCommunicationSkills、虚拟形象个性AvatarPersonality、虚拟形象控制特征AvatarControlFeatures和虚拟形象共同特征AvatarCC，并且虚拟形象信息选择性地包括作为属性的虚拟形象的性别Gender。
17.如权利要求16所述的对象控制系统，其中，
AvatarAppearance包括作为元素的从虚拟形象外貌类型的结构中选择的至少一个，虚拟形象外貌类型包括：身体Body、头Head、眼睛Eyes、耳朵Ears、鼻子Nose、嘴唇MouthLip、皮肤Skin、面部facial、指甲Nail、身体外表BodyLook、头发Hair、眉毛EyeBrows、脸毛FacialHair、面部校准点FacialCalibrationPoints、物理条件PhysicalCondition、衣服Clothes、鞋子Shoes、装饰品Accessories、外貌资源AppearanceResource。
18.如权利要求17所述的对象控制系统，其中，
PhysicalCondition包括作为元素的从物理条件类型的结构中选择的至少一个，物理条件类型包括：身体力量BodyStrength和身体灵活性BodyFlexibility。
19.如权利要求16所述的对象控制系统，其中，
AvatarAnimation包括从虚拟形象动画类型的结构中选择的至少一个元素，虚拟形象动画类型包括：空闲Idle、问候Greeting、跳舞Dance、步行Walk、移动Moves、打架Fighting、倾听Hearing、吸烟Smoke、祝贺Congratulations、共同动作Common_Actions、特殊动作Specific_Actions、面部表情Facial_Expression、身体表达Body_Expression以及动画资源AnimationResource。
20.如权利要求16所述的对象控制系统，其中，
AvatarCommunicationSkills包括作为元素的从虚拟形象通信技能类型的结构中选择的至少一个，虚拟形象通信技能类型包括：输入语言通信InputVerbalCommunication、输入非语言通信InputNonVerbalCommunication、输出语言通信OutputVerbalCommunication以及输出非语言通信OutputNonVerbalCommunication，并且AvatarCommunicationSkills包括作为属性的默认语言DefaultLanguage，并且AvatarCommunicationSkills选择性地包括作为属性的名称Name。
21.如权利要求20所述的对象控制系统，其中，
包括InputVerbalCommunication和OutputVerbalCommunication的语言通信选择性地包括作为元素的次要语言，并且包括作为属性的从语言通信类型的结构中选择的至少一个，语言通信类型包括：语音voice、文本text和语言language。
22.如权利要求21所述的对象控制系统，其中，
次要语言包括作为属性的以下元素：作为指示次要语言的名称的字符串的名称name和在语言通信中使用次要语言的偏爱preference。
23.如权利要求22所述的对象控制系统，其中，
包括偏爱preference的通信偏爱包括虚拟形象的通信的偏爱级别。
24.如权利要求21所述的对象控制系统，其中，
语言设置有包括对于虚拟形象能够讲或理解的每种语言的偏爱级别的通信偏爱级别CommunicationPreferenceLevel。
25.如权利要求20所述的对象控制系统，其中，包括InputNonVerbalCommunication和OutputNonVerbalCommunication的非语言通信包括作为元素的从非语言通信类型的结构中选择的至少一个，非语言通信类型包括：手语SignLanguage和暗示法通信CuedSpeechCommumication，并且所述非语言通信选择性地包括作为属性的补充姿势ComplementaryGesture。
26.如权利要求25所述的对象控制系统，其中，
SignLanguage包括作为属性的语言的名称name。
27.如权利要求16所述的对象控制系统，其中，AvatarPersonality包括作为元素的从虚拟形象人格类型的结构中选择的至少一个，虚拟形象人格类型包括：开朗openness、认真conscientiousness、外向extraversion、热情agreeableness和神经质neuroticism，并且AvatarPersonality选择性地包括作为属性的个性的名称name。
28.如权利要求16所述的对象控制系统，其中，AvatarControlFeatures包括作为元素的从虚拟形象控制特征类型的结构中选择的至少一个，虚拟形象控制特征类型包括：作为控制身体的运动的一组元素的控制身体特征ControlBodyFeatures以及作为控制脸的运动的一组元素的控制脸特征ControlFaceFeature，并且AvatarControlFeatures选择性地包括作为属性的控制配置的名称name。
29.如权利要求28所述的对象控制系统，其中，ControlBodyFeatures包括作为元素的从控制身体特征类型的结构中选择的至少一个，控制身体特征类型包括：头骨骼headBones、上体骨骼UpperBodyBones、下体骨骼DownBodyBones以及中体骨骼MiddleBodyBones。
30.如权利要求28所述的对象控制系统，其中，ControlFaceFeatures包括作为元素的从控制脸特征类型的结构中选择的至少一个，控制脸特征类型包括：头轮廓HeadOutline、左眼轮廓LeftEyeOutline、右眼轮廓RightEyeOutline、左眉毛轮廓LeftEyeBrowOutline、右眉毛轮廓RightEyeBrowOutline、左耳轮廓LeftEarOutline、右耳轮廓RightEarOutline、鼻子轮廓NoseOutline、嘴唇轮廓MouthLipOutline、脸点FacePoints以及各种点MiscellaneousPoints，并且ControlFaceFeatures选择性地包括作为属性的脸控制配置的名称name。
31.如权利要求30所述的对象控制系统，其中，包括在ControlFaceFeatures中的至少一个元素包括作为元素的从轮廓类型的结构中选择的至少一个，轮廓类型包括：具有四个点的轮廓Outline4Points、具有五个点的轮廓Outline5Points、具有八个点的轮廓Outline8Points以及具有14个点的轮廓Outline14Points。
32.如权利要求30所述的对象控制系统，其中，包括在ControlFaceFeatures中的至少一个元素包括基本数量的点并且选择性地还包括附加点。
33.如权利要求1所述的对象控制系统，其中，当虚拟世界对象是虚拟环境的虚拟对象时，
对象信息还包括与虚拟对象关联的信息，
与虚拟对象关联的信息包括作为用于表示虚拟环境的虚拟对象的元数据的从虚拟对象类型的结构中选择的至少一个元素，虚拟对象类型包括：虚拟对象外貌VOAppearance、虚拟对象动画VOAnimation以及虚拟对象共同特征VOCC。
34.如权利要求33所述的对象控制系统，其中，当到外貌文件的至少一个链接存在时，VOAppearance包括作为元素的作为包括所述至少一个链接的元素的虚拟对象URLVirtualObjectURL。
35.如权利要求33所述的对象控制系统，其中，VOAnimation包括作为元素的从虚拟对象动画类型的结构中选择的至少一个，虚拟对象动画类型包括：虚拟对象运动VOMotion、虚拟对象变形VODeformation、虚拟对象附加动画VOAdditionalAnimation，并且VOAnimation选择性地包括作为属性的以下元素中的至少一个：动画标识符AnimationID、作为动画持续的时间长度的持续时间Duration以及作为播放选项的循环Loop。
36.如权利要求1所述的对象控制系统，其中，当虚拟世界对象是虚拟形象时，对象控制器基于接收的控制命令以及定义用于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点的元数据，来控制虚拟形象。
37.如权利要求1所述的对象控制系统，其中，
当虚拟世界对象是虚拟世界的虚拟形象时，通过感测真实世界的用户的面部表情和身体运动来产生控制命令，
对象控制器控制虚拟世界对象以根据面部表情和身体运动来将用户的特征映射到虚拟世界的虚拟形象。
38.一种对象控制系统，包括：
信息发送器，将从真实世界对象接收的信息发送给虚拟世界服务器；
对象控制器，基于根据发送的信息从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象，其中，
与虚拟世界对象关联的信息包括虚拟世界对象的共同特征，
共同特征包括：包含与虚拟世界对象关联的一个或多个输入事件的虚拟世界对象事件VWOEvent、虚拟世界对象行为模型VWOBehaviorModel以及以下项中的至少一个：包含与虚拟世界对象关联的一个或多个声音效果的虚拟世界对象声音VWOSound、包含与虚拟世界对象关联的一个或多个气味效果的虚拟世界对象气味VWOScent、包含与虚拟世界对象关联的一个或多个控制的虚拟世界对象控制VWOControl，
其中，虚拟世界对象行为模型包括涉及所述一个或多个输入事件中的输入事件的事件参考、涉及所述一个或多个声音效果中的声音效果的至少一个声音参考、涉及所述一个或多个气味效果中的气味效果的气味参考和涉及所述一个或多个控制中的控制的控制参考。
39.一种在对象控制系统中控制对象的方法，该方法包括：
接收关于虚拟环境的对象的控制命令；
基于接收的控制命令和对象的对象信息来控制对象，其中，
对象信息包括虚拟世界对象的共同特征，
共同特征包括：包含与虚拟世界对象关联的一个或多个输入事件的虚拟世界对象事件VWOEvent、虚拟世界对象行为模型VWOBehaviorModel以及以下项中的至少一个：包含与虚拟世界对象关联的一个或多个声音效果的虚拟世界对象声音VWOSound、包含与虚拟世界对象关联的一个或多个气味效果的虚拟世界对象气味VWOScent、包含与虚拟世界对象关联的一个或多个控制的虚拟世界对象控制VWOControl，
其中，虚拟世界对象行为模型包括涉及所述一个或多个输入事件中的输入事件的事件参考、涉及所述一个或多个声音效果中的声音效果的至少一个声音参考、涉及所述一个或多个气味效果中的气味效果的气味参考和涉及所述一个或多个控制中的控制的控制参考。
40.如权利要求39所述的方法，其中：
对象信息包括虚拟世界对象的共同特征，
共同特征包括作为元数据的以下元素中的至少一个元素：用于标识虚拟世界对象的标识、虚拟世界对象声音VWOSound、虚拟世界对象气味VWOScent、虚拟世界对象控制VWOControl、虚拟世界对象事件VWOEvent、虚拟世界对象行为模型VWOBehaviorModel和虚拟世界对象触觉特征VWOHapticProperties。
41.如权利要求39所述的方法，其中：
对象信息包括与虚拟世界的虚拟形象关联的虚拟形象信息，
虚拟形象信息包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌AvatarAppearance、虚拟形象动画AvatarAnimation、虚拟形象通信技能AvatarCommunicationSkills、虚拟形象个性AvatarPersonality、虚拟形象控制特征AvatarControlFeatures和虚拟形象共同特征AvatarCC，并且包括作为属性的虚拟形象的性别Gender。
42.如权利要求39所述的方法，其中：
对象信息包括与虚拟对象关联的信息，
与虚拟对象关联的信息包括作为用于表达虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素：虚拟对象外貌VOAppearance、虚拟对象动画VOAnimation以及虚拟对象共同特征VOCC。
43.如权利要求39所述的方法，其中，控制步骤包括：当对象是虚拟世界对象时，基于接收的控制命令以及定义用于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点的元数据，来控制虚拟形象。
44.如权利要求39所述的方法，其中：
当对象是虚拟世界的虚拟形象时，通过感测真实世界的用户的面部表情和身体运动来产生控制命令，
控制步骤包括：根据面部表情和身体运动来控制对象以将用户的特征映射到虚拟世界的虚拟形象。
45.一种对象控制方法，包括：
将从真实世界装置接收的信息发送给虚拟世界服务器；
基于根据发送的信息从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象，其中，
与虚拟世界对象关联的信息包括虚拟世界对象的共同特征，
共同特征包括：包含与虚拟世界对象关联的一个或多个输入事件的虚拟世界对象事件VWOEvent、虚拟世界对象行为模型VWOBehaviorModel以及以下项中的至少一个：包含与虚拟世界对象关联的一个或多个声音效果的虚拟世界对象声音VWOSound、包含与虚拟世界对象关联的一个或多个气味效果的虚拟世界对象气味VWOScent、包含与虚拟世界对象关联的一个或多个控制的虚拟世界对象控制VWOControl，
其中，虚拟世界对象行为模型包括涉及所述一个或多个输入事件中的输入事件的事件参考、涉及所述一个或多个声音效果中的声音效果的至少一个声音参考、涉及所述一个或多个气味效果中的气味效果的气味参考和涉及所述一个或多个控制中的控制的控制参考。
CN201080031098.7A 2009-05-08 2010-05-08 在虚拟世界中控制对象的系统、方法和记录介质 Expired - Fee Related CN102458595B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2009-0040476 2009-05-08
KR20090040476 2009-05-08
KR10-2009-0101471 2009-10-23
KR20090101471 2009-10-23
US25563609P 2009-10-28 2009-10-28
US61/255,636 2009-10-28
KR10-2010-0041736 2010-05-04
KR1020100041736A KR101671900B1 (ko) 2009-05-08 2010-05-04 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
PCT/KR2010/002938 WO2010128830A2 (ko) 2009-05-08 2010-05-08 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
CN102458595A CN102458595A (zh) 2012-05-16
CN102458595B true CN102458595B (zh) 2015-07-29

Family

ID=43050652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080031098.7A Expired - Fee Related CN102458595B (zh) 2009-05-08 2010-05-08 在虚拟世界中控制对象的系统、方法和记录介质

Country Status (5)

Country Link
US (1) US20130038601A1 (zh)
EP (1) EP2431936A4 (zh)
KR (1) KR101671900B1 (zh)
CN (1) CN102458595B (zh)
WO (1) WO2010128830A2 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
KR101685922B1 (ko) * 2010-04-05 2016-12-13 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101516465B1 (ko) 2010-07-06 2015-05-04 한국전자통신연구원 아바타 생성 방법 및 장치
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9734637B2 (en) * 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP2013101529A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
KR101271305B1 (ko) * 2011-12-02 2013-06-04 건국대학교 산학협력단 다중 가상 객체 제어 장치 및 방법
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的系统和方法
CN102629303A (zh) * 2012-04-22 2012-08-08 盛绩信息技术（上海）有限公司 建立自创世界的方法及建立自创世界的游戏开发系统
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US20140125678A1 (en) * 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US20160287989A1 (en) * 2012-08-31 2016-10-06 Blue Goji Llc Natural body interaction for mixed or virtual reality applications
US11181938B2 (en) * 2012-08-31 2021-11-23 Blue Goji Llc Full body movement control of dual joystick operated devices
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US10133470B2 (en) 2012-10-09 2018-11-20 Samsung Electronics Co., Ltd. Interfacing device and method for providing user interface exploiting multi-modality
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
KR101504103B1 (ko) * 2013-01-16 2015-03-19 계명대학교 산학협력단 깊이맵 센서를 이용한 3차원 캐릭터 가상공간 내비게이션 동작 합성 및 제어 방법
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN103218844B (zh) * 2013-04-03 2016-04-20 腾讯科技（深圳）有限公司 虚拟形象的配置方法、实现方法、客户端、服务器及系统
US8998725B2 (en) * 2013-04-30 2015-04-07 Kabam, Inc. System and method for enhanced video of game playback
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
CN103456197A (zh) * 2013-09-18 2013-12-18 重庆创思特科技有限公司 教学用无线智能体感交互前端
CN103472756A (zh) * 2013-09-27 2013-12-25 腾讯科技（深圳）有限公司 一种实现人工智能的方法、服务器和设备
US20150149292A1 (en) * 2013-11-25 2015-05-28 John C. Feghali Leveraging sensors on smart mobile phones and tablets to create advertisements to replicate a real world experience
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
KR101519775B1 (ko) * 2014-01-13 2015-05-12 인천대학교 산학협력단 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20150269765A1 (en) * 2014-03-20 2015-09-24 Digizyme, Inc. Systems and methods for providing a visualization product
US20150269763A1 (en) * 2014-03-20 2015-09-24 Digizyme, Inc. Curated model database
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
CN106415665B (zh) * 2014-07-25 2020-05-19 英特尔公司 具有头部转动的头像面部表情动画
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
WO2016057336A1 (en) * 2014-10-06 2016-04-14 Jb Scientific, Llc Systems, apparatus, and methods for delivering a sequence of scents for the purpose of altering an individual's appetite
US10973440B1 (en) * 2014-10-26 2021-04-13 David Martin Mobile control using gait velocity
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
KR101744674B1 (ko) 2015-03-19 2017-06-09 모젼스랩(주) 가상아바타와 실감아바타의 동기화를 이용한 콘텐츠 생성 장치 및 방법
US10423234B2 (en) * 2015-03-27 2019-09-24 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment
CN104866101B (zh) * 2015-05-27 2018-04-27 世优（北京）科技有限公司 虚拟对象的实时互动控制方法及装置
CN104881123A (zh) * 2015-06-06 2015-09-02 深圳市虚拟现实科技有限公司 基于虚拟现实的嗅觉模拟方法、设备和系统
JP6359770B2 (ja) * 2015-06-12 2018-07-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US20180173309A1 (en) * 2015-07-08 2018-06-21 Sony Corporation Information processing apparatus, display device, information processing method, and program
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US10360716B1 (en) 2015-09-18 2019-07-23 Amazon Technologies, Inc. Enhanced avatar animation
CN105183172A (zh) * 2015-09-28 2015-12-23 联想(北京)有限公司 一种信息处理方法及电子设备
JP6569452B2 (ja) * 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10356216B2 (en) * 2016-04-28 2019-07-16 Verizon Patent And Licensing Inc. Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience
US11496587B2 (en) 2016-04-28 2022-11-08 Verizon Patent And Licensing Inc. Methods and systems for specification file based delivery of an immersive virtual reality experience
US9864431B2 (en) * 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
CN109562294A (zh) * 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
CA3045908A1 (en) * 2016-12-13 2018-06-21 DeepMotion, Inc. Improved virtual reality system using multiple force arrays for a solver
TWI597691B (zh) * 2017-01-10 2017-09-01 A method of updating a virtual pet's appearance based on the pictures taken by the user
JP6812803B2 (ja) * 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20180225858A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform
KR20180096937A (ko) 2017-02-22 2018-08-30 삼성전자주식회사 전자 장치 및 그 제어 방법
DE102017205079A1 (de) * 2017-03-27 2018-09-27 Ford Global Technologies, Llc Unterhaltungsvorrichtung für ein selbstfahrendes Kraftfahrzeug
CN106951095A (zh) * 2017-04-07 2017-07-14 胡轩阁 基于三维扫描技术的虚拟现实互动方法以及系统
US10311624B2 (en) * 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
US10861221B2 (en) * 2017-07-14 2020-12-08 Electronics And Telecommunications Research Institute Sensory effect adaptation method, and adaptation engine and sensory device to perform the same
CN107657651B (zh) 2017-08-28 2019-06-07 腾讯科技（上海）有限公司 表情动画生成方法和装置、存储介质及电子装置
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10521946B1 (en) * 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
CN108021233B (zh) * 2017-11-29 2021-12-31 浙江超人科技股份有限公司 一种人机交互方法和系统
KR102481333B1 (ko) * 2018-05-08 2022-12-23 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
CN114915827A (zh) 2018-05-08 2022-08-16 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US10762219B2 (en) * 2018-05-18 2020-09-01 Microsoft Technology Licensing, Llc Automatic permissions for virtual objects
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CN108833937B (zh) 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN109035415B (zh) * 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
KR20200019486A (ko) 2018-08-14 2020-02-24 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
CN109448737B (zh) * 2018-08-30 2020-09-01 百度在线网络技术（北京）有限公司 虚拟形象的创建方法、装置、电子设备与存储介质
US11068065B2 (en) 2018-11-28 2021-07-20 International Business Machines Corporation Non-verbal communication tracking and classification
KR102648993B1 (ko) * 2018-12-21 2024-03-20 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
KR102181226B1 (ko) * 2019-01-08 2020-11-20 주식회사 원이멀스 잡기 모션을 활용한 가상 현실 로코모션 통합 제어 시스템 및 방법
KR102659357B1 (ko) 2019-02-07 2024-04-19 삼성전자주식회사 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
CN110209283A (zh) * 2019-06-11 2019-09-06 北京小米移动软件有限公司 数据处理方法、装置、系统、电子设备及存储介质
KR102235771B1 (ko) * 2019-07-15 2021-04-02 이성진 증강현실 기반의 서비스 시스템
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
JP2023524930A (ja) * 2020-03-20 2023-06-14 ライン プラス コーポレーション アバターを利用したカンファレンス処理方法およびシステム
CN115803723A (zh) * 2020-06-25 2023-03-14 斯纳普公司 在消息收发系统中更新化身状态
KR102501811B1 (ko) * 2020-10-23 2023-02-21 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN112657200B (zh) * 2020-12-23 2023-02-10 上海米哈游天命科技有限公司 一种角色控制方法、装置、设备及存储介质
CN112657201B (zh) * 2020-12-23 2023-03-07 上海米哈游天命科技有限公司 一种角色臂长确定方法、装置、设备及存储介质
KR20230011780A (ko) * 2021-07-14 2023-01-25 삼성전자주식회사 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치
KR20230091356A (ko) * 2021-12-16 2023-06-23 주식회사 케이티앤지 아바타 제어 방법 및 장치
CN114401438B (zh) * 2021-12-31 2022-12-09 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN115170707B (zh) * 2022-07-11 2023-04-11 上海哔哩哔哩科技有限公司 基于应用程序框架的3d图像实现系统及方法
KR20240011391A (ko) * 2022-07-19 2024-01-26 주식회사 케이티앤지 가상 연기 영상 출력 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1178352A (zh) * 1996-08-09 1998-04-08 科乐美股份有限公司 模拟驾驶游戏机及记录有模拟驾驶游戏程序的记录媒体
CN101221600A (zh) * 2007-01-09 2008-07-16 株式会社万代南梦宫游戏 游戏装置、游戏进行方法及信息存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6208375B1 (en) * 1999-05-21 2001-03-27 Elite Engineering Corporation Test probe positioning method and system for micro-sized devices
JP3623415B2 (ja) * 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
US6545682B1 (en) * 2000-05-24 2003-04-08 There, Inc. Method and apparatus for creating and customizing avatars using genetic paradigm
US7090576B2 (en) * 2003-06-30 2006-08-15 Microsoft Corporation Personalized behavior of computer controlled avatars in a virtual reality environment
KR100610199B1 (ko) * 2004-06-21 2006-08-10 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム
US7775885B2 (en) * 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
TWI434718B (zh) * 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
JP4304639B2 (ja) * 2007-01-16 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2008106197A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Interactive user controlled avatar animations
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
WO2009051428A1 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US20090113319A1 (en) * 2007-10-30 2009-04-30 Dawson Christopher J Developing user profiles in virtual worlds
US8375397B1 (en) * 2007-11-06 2013-02-12 Google Inc. Snapshot view of multi-dimensional virtual environment
US20090128555A1 (en) * 2007-11-05 2009-05-21 Benman William J System and method for creating and using live three-dimensional avatars and interworld operability
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8149241B2 (en) * 2007-12-10 2012-04-03 International Business Machines Corporation Arrangements for controlling activities of an avatar
EP2257911B1 (en) * 2008-02-27 2018-10-10 Sony Computer Entertainment America LLC Methods for capturing depth data of a scene and applying computer actions
US8730245B2 (en) * 2008-12-01 2014-05-20 Naturalmotion Ltd. Defining an animation of a virtual object within a virtual world
US20100251185A1 (en) * 2009-03-31 2010-09-30 Codemasters Software Company Ltd. Virtual object appearance control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1178352A (zh) * 1996-08-09 1998-04-08 科乐美股份有限公司 模拟驾驶游戏机及记录有模拟驾驶游戏程序的记录媒体
CN101221600A (zh) * 2007-01-09 2008-07-16 株式会社万代南梦宫游戏 游戏装置、游戏进行方法及信息存储介质

Also Published As

Publication number Publication date
EP2431936A2 (en) 2012-03-21
WO2010128830A3 (ko) 2011-04-21
US20130038601A1 (en) 2013-02-14
EP2431936A4 (en) 2014-04-02
CN102458595A (zh) 2012-05-16
KR101671900B1 (ko) 2016-11-03
WO2010128830A2 (ko) 2010-11-11
KR20100121420A (ko) 2010-11-17

Similar Documents

Publication Publication Date Title
CN102458595B (zh) 在虚拟世界中控制对象的系统、方法和记录介质
US11798215B2 (en) Avatar facial expression representation in multidimensional space
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
JP2020525953A (ja) 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器
US11276219B2 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US20220327755A1 (en) Artificial intelligence for capturing facial expressions and generating mesh data
CN114630738A (zh) 用于模拟感测数据和创建感知的系统和方法
US20230177755A1 (en) Predicting facial expressions using character motion states
JP5232129B2 (ja) 仮想キャラクタ生成装置及び仮想キャラクタ生成プログラム
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
Kim et al. Virtual world control system using sensed information and adaptation engine
KR101640458B1 (ko) 영상 장치 및 컴퓨터 판독 기록매체
JP4011327B2 (ja) 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
US9753940B2 (en) Apparatus and method for transmitting data
US20220172431A1 (en) Simulated face generation for rendering 3-d models of people that do not exist
Han et al. Controlling virtual world by the real world devices with an MPEG-V framework
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法
US20230117530A1 (en) Content generation system and method
WO2022176132A1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
GB2611830A (en) Content generation system and method
EP4166207A1 (en) Content generation system and method
Rajendran Understanding the Desired Approach for Animating Procedurally
Mousas Data-driven techniques for animating virtual characters
KR20100138701A (ko) 영상 장치 및 컴퓨터 판독 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150729