CN102483857B - 图像装置及计算机可读记录介质 - Google Patents

图像装置及计算机可读记录介质 Download PDF

Info

Publication number
CN102483857B
CN102483857B CN201080038361.5A CN201080038361A CN102483857B CN 102483857 B CN102483857 B CN 102483857B CN 201080038361 A CN201080038361 A CN 201080038361A CN 102483857 B CN102483857 B CN 102483857B
Authority
CN
China
Prior art keywords
virtual role
data
information
action
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080038361.5A
Other languages
English (en)
Other versions
CN102483857A (zh
Inventor
韩在濬
韩承周
李贤廷
方远喆
安廷桓
金道均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090101175A external-priority patent/KR20100138701A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102483857A publication Critical patent/CN102483857A/zh
Application granted granted Critical
Publication of CN102483857B publication Critical patent/CN102483857B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开图像装置及计算机可读记录介质。根据本发明的一实施例，通过比较对应于虚拟世界的虚拟角色的任意部分的动画剪辑的优先顺序和动作数据的优先顺序，以确定对应于虚拟角色的任意部分的数据，从而能够产生结合动画剪辑和感测现实世界的用户的动作而产生的动作数据的虚拟角色的动作。

Description

图像装置及计算机可读记录介质
技术领域
本发明的实施例涉及图像装置及计算机可读记录介质(Display device andComputer-Readable Recording Medium)，尤其涉及用于产生虚拟世界的虚拟角色的动作的图像装置及计算机可读记录介质。
背景技术
近年来，对于体感型游戏的关注逐渐增加。微软公司在“E3.2009.新闻发布会”中发布了“Project Natal”，通过在作为该公式游戏控制台的Xbox360上结合由深度/色彩相机和多点阵列麦克风组成的专门的传感器设备来提供采集用户全身运动、脸部识别、声音识别技术，从而无需专门的控制器就可以与虚拟世界进行交互。另外，索尼公司发布了体感型游戏运动控制器“Wand”，其在作为该公司的游戏控制台的PS3中采用色彩摄像头、麦克风、超声波传感器的位置/方向传感技术，从而能够通过控制器的运动轨迹输入与虚拟世界进行交互。
现实世界和虚拟世界的相互作用具有两种方向。第一种是将从现实世界的传感器获得的数据信息反映到虚拟世界的方向，第二种是将从虚拟世界获得的数据信息通过致动器(actuator)反映到现实世界的方向。
图1为表示MPEG-V标准的系统结构的图。
文档10618(document 10618)用于处理控制信息，该控制信息用于将现实世界反映到虚拟世界的适应VR(adaptation VR，adaptation virtual world to realworld)。但是，相反方向的控制信息，即，用于将虚拟世界反映到现实世界的适应RV(adaptation RV，adaptation real world to virtual world)的控制信息还没有被提出。用于适应RV的控制信息处理虚拟世界的所有可控制的元素(element)。
根据本发明的一实施例，为了实现现实世界和虚拟世界的交互作用，提供利用来自现实世界的传感器的数据及动画剪辑来产生虚拟世界的虚拟角色的动作的成像装置及计算机可读记录介质。
发明内容
根据本发明的一方面，图像装置包括：存储单元，用于保存动画剪辑、动画控制信息以及控制信息，其中，所述动画控制信息具有关于所述动画剪辑对应于哪个虚拟角色的哪个部分的信息及优先顺序，所述调节控制信息具有关于处理从动作传感器接收的值而获得的动作数据对应于哪个虚拟角色的哪个部分的信息以及优先顺序；以及，处理单元，比较对应于虚拟角色的第一部分的所述动画控制信息的优先顺序和对应于所述虚拟虚拟角色的所述第一部分的所述控制信息的优先顺序，以确定应用于所述虚拟虚拟角色的所述第一部分的数据。
根据本发明的一方面，计算机可读记录介质包括：第一指令集合，用于保存动画控制信息及管理控制信息；以及第二指令集合，参考所述控制信息，结合基于从动作传感器接收的值而产生的动作数据及动画剪辑，所述动画控制信息包含对于对应的动画剪辑的信息及关于所述对应的动画剪辑对应于哪个虚拟角色的脸部表情、头、上身、身体中部、下身中的哪一部分的标示符，所述控制信息包含关于所述实时动作数据对应于哪个虚拟角色的脸部表情、头、上身、身体中部、下身中的哪一部分的标示符。
附图说明
图1为表示MPEG-V标准的系统结构的图。
图2为表示根据本发明一实施例的现实世界和虚拟世界之间的信息及数据交换的系统结构的图。
图3至图7表示根据本发明一实施例的虚拟角色控制命令的图。
图8为表示根据本发明一实施例的外观控制类型的结构的图。
图9为表示根据本发明一实施例的通信技能控制类型的结构的图。
图10为表示根据本发明一实施例的个性控制类型的结构的图。
图11为表示根据本发明一实施例的动画控制类型的结构的图。
图12为表示根据本发明一实施例的调节控制类型的结构的图。
图13为表示根据本发明一实施例的图像装置的组成的图。
图14表示根据本发明一实施例的将虚拟世界的虚拟角色划分为脸部表情、头、上身、身体中部以及下身等部分的图。
图15为表示根据本发明一实施例的关于动画剪辑的数据库的图。
图16为表示根据本发明一实施例的关于动作数据的数据库的图。
图17为表示根据本发明一实施例的比较优先顺序而确定应用于虚拟角色的任意部分的动作客体数据的操作的图。
图18为确定应用于虚拟角色的各个部分的动作客体数据的方法的流程图。
图19为表示根据本发明一实施例的结合对应于虚拟角色的各个部分的动作客体数据的操作的流程图。
图20为表示根据本发明一实施例的结合对应于虚拟角色的各个部分的动作客体数据的操作的图。
图21为表示根据本发明一实施例的图像装置用于感测现实世界的用户的脸部的特征点的图。
图22为表示根据本发明另一实施例的图像装置用于感测现实世界的用户的脸部的特征点的图。
图23为表示根据本发明一实施例的脸部特征控制类型的图。
图24为表示根据本发明一实施例的头轮廓线1(Head Outline)的图。
图25为表示根据本发明一实施例的左眼轮廓线1及左眼轮廓线2的图。
图26为表示根据本发明一实施例的右眼轮廓线1及右眼轮廓线2的图。
图27为表示根据本发明一实施例的左眉毛轮廓线的图。
图28为表示根据本发明一实施例的右眉毛轮廓线的图。
图29为表示根据本发明一实施例的左耳轮廓线的图。
图30为表示根据本发明一实施例的右耳轮廓线的图。
图31为表示根据本发明一实施例的鼻子轮廓线1以及鼻子轮廓线2的图。
图32为表示根据本发明一实施例的嘴唇轮廓线的图。
图33为表示根据本发明一实施例的头轮廓线2的图。
图34为表示根据本发明一实施例的上嘴唇轮廓线的图。
图35为表示根据本发明一实施例的下嘴唇轮廓线的图。
图36为表示根据本发明一实施例的脸部点的图。
图37为表示根据本发明一实施例的轮廓线的图表的图。
图38为表示根据本发明一实施例的头轮廓线2类型的图。
图39为表示根据本发明一实施例的眼睛轮廓线2类型的图。
图40为表示根据本发明一实施例的鼻子轮廓线2类型的图。
图41为表示根据本发明一实施例的上嘴唇轮廓线2类型的图。
图42为表示根据本发明一实施例的下嘴唇轮廓线2类型的图。
图43为表示根据本发明一实施例的脸部点集合类型的图。
具体实施方式
以下，参照附图详细说明根据本发明的实施例。但是，本发明并不局限于实施例或受实施例的限制。各个图中使用的相同的附图标记表示相同的部件。
图2为表示根据本发明一实施例的关于现实世界和虚拟世界之间的信息及数据交换的系统结构的图。
参照图2，现实世界用户通过现实世界装置(例如，动作传感器(motionsensor))输入自己的意图时，包含关于现实世界用户的意图的控制信息(CI：control information)的传感信号可被传送至虚拟世界处理装置。
控制信息CI可以是依据通过现实世界装置输入的值的命令及关于所述命令的信息。控制信息CI可以包含传感输入装置性能(SIDC：sensory inputdevice capabilities)、用户传感输入偏好(USIP：user sensory input preferences)、传感输入装置命令(SDICmd：sensory input device commands)。
适应RV(adaptation real world to virtual world)可以被实现为RV引擎(RVengine：real world to virtual world engine)。适应RV利用包含于传感信号中的关于现实世界的用户的动作、状态、意图、形态等的控制信息CI，将通过现实世界装置输入的现实世界的信息变换为能够适应(adaptation)虚拟世界的信息。通过上述适应过程，可以对虚拟世界信息(VWI：Virtual World Information)造成影响。
虚拟世界信息VWI是关于虚拟世界的信息。例如，可以是关于构成虚拟世界(virtual world)的虚拟世界客体(virtual object)或虚拟角色(avatar)等元素的信息。对于虚拟世界信息VWI的变化在RV引擎中可以由虚拟世界效果元数据(VWEM，virtual world effect metadata)、虚拟世界偏好(VWP，virtual worldpreferences)、虚拟世界性能(VWC，virtual world capabilities)形态的命令构成。
表1用于说明图2所示的组成部分。
表1
图3至图7是表示根据本发明一实施例的虚拟角色控制命令的图。
参照图3，根据本发明一实施例的虚拟角色控制命令(avatar controlcommands)310可包括虚拟角色控制命令基本类型(avatar control commandbase type)311和特殊属性(any attributes)312。
而且，参照图4至图7，利用可扩展标记语言(XML：eXtensible MarkupLanguage)表示了虚拟角色控制命令(avatar control commands)。但是，图4至图7所示的程序源代码(source)仅是一实施例，本发明并不局限于此。
附图标记318表示虚拟角色控制命令310的基本元素(base element)的定义。虚拟角色控制命令310是指用于控制虚拟角色的命令。
附图标记320表示虚拟角色控制命令310的根元素(root element)的定义。虚拟角色控制命令310可指用于元数据(metadata)的根元素的作用。
附图标记319及附图标记321表示虚拟角色控制命令基本类型311的定义。虚拟角色控制命令基本类型311是指提供扩展虚拟角色控制命令基本类型(avatar ctrl cmd base type)，并用于作为虚拟角色控制命令元数据类型而定义的类型的子集的基本抽象类型(avatar control command base type provides abase abstract type for a subset of types defined as part of the avatar controlcommands metadata types)。
特殊属性312可以是附加的虚拟角色控制命令。
根据本发明的一方面，虚拟角色控制命令基本类型311可包括虚拟角色控制命令基本属性(avatar control command base attributes)313及特殊属性314。
附图标记315表示虚拟角色控制命令基本属性313的定义。虚拟角色控制命令基本属性313是指由命令的属性构成的组(group of attribute for thecommands)的表示。
虚拟角色控制命令基本属性313可包括：id、idref、激活状态(activate)以及值(value)。
id是用于区分虚拟角色控制命令基本类型311的各自的身份的身份标识信息。
idref参考包括id的例示的属性的元素(idref references elements that havean instantiated attribute of type id)。idref可以是针对用于区分虚拟角色控制命令基本类型311的各自的身份的id的附加信息。
激活状态表示效果是否要被激活(activate describes whether the effect shallbe activated)。“true”值可表示效果被激活，“false”值可表示效果没有被激活。根据附图标记316，激活状态可具备“布尔(Boolean)”类型的数据且可被选择性地(optional)使用。
值(value)根据在单独效果的语义定义之内所定义的最大比例以比率表示效果的强度(value describes the intensity of the effect in percentage according tothe max scale defined within the semantics definition of the individual effects)。根据附图标记317，值具有“整数(integer)”类型的数据且被选择性地(optional)使用。
特殊属性314是指提供用于包含来自不同于目标命名空间(targetnamespace)的其他命名空间的扩展机制。需要包括的属性可以是为了识别处理单元，并结合(associating)处理单元的时间信息而由ISO/IEC 21000-7定义的XML流指令。例如，“si:pts”可表示结合的信息可利用在用于处理的应用中的点。
附图标记322表示虚拟角色控制命令外观类型(avatar control commandappearance type)的定义。
根据本发明的一方面，虚拟角色控制命令外观类型可包括外观控制类型(appearance control type)、动画控制类型(animation control type)、通信技能控制类型(communication skill control type)、个性控制类型(personality controltype)以及调节控制类型(control control type)。
附图标记323表示外观控制类型的元素。外观控制类型是用于表示外观控制命令的工具(tool)。以下，参照图8详细说明外观控制类型的结构。
图8为示出根据本发明一实施例的外观控制类型的结构的图。
参照图8，根据本发明一实施例的外观控制类型(appearance controltype)410可包括虚拟角色控制命令基本类型(avatar control command basetype)420以及元素(element)。对于虚拟角色控制命令基本类型420前面已经详细说明，因此以下将省略说明。
根据本发明的一方面，外观控制类型410的元素可包括肢体(body)、头(head)、眼睛(eyes)、鼻子(nose)、嘴唇(mouthlip)、皮肤(skin)、脸(facial)、手指甲(nail)、头发(hair)、眉毛(eyebrows)、脸部毛发(facial hair)、外观资源(appearance resources)、身体状态(physical condition)、衣物(clothes)、鞋(shoes)以及配饰(accessories)。
再次参照图3至图7，附图标记325表示通信技能控制类型(communication skill control type)的元素。通信技能控制类型是用于表示动画控制命令的工具(tool)。以下，参照图9详细说明通信技能控制类型的结构。
图9为示出根据本发明一实施例的通信技能控制类型的结构的图。
参照图9，根据本发明一实施例的通信技能控制类型510可包括虚拟角色控制命令基本类型(avatar control command base type)520以及元素。
根据本发明的一方面，通信技能控制类型510的元素可包括输入口头交流(input verbal communication)、输入非口头交流(input nonverbalcommunication)、输出口头交流(ouput verbal communication)以及输出非口头交流(ouput nonverbal communication)。
再次参照图3至图7，附图标记326表示个性控制类型(personality controltype)的元素。个性控制类型是用于表示动画控制命令的工具。以下，参照图10详细说明个性控制类型的结构。
图10为表示根据本发明一实施例的个性控制类型的结构的图。
参照图10，根据本发明一实施例的个性控制类型610可包括虚拟角色控制命令基本类型620以及元素。
根据本发明的一方面，个性控制类型610的元素可包括开放(openness)、和蔼可亲(agreeableness)、神经质(neuroticism)、外向(extraversion)以及有良心(conscientiousness)。
再次参照图3至图7，附图标记324表示动画控制类型的元素。动画控制类型是用于表示动画控制命令的工具。以下，参照图11详细说明动画控制类型的结构。
图11为表示根据本发明一实施例的动画控制类型的结构的图。
参照图11，根据本发明一实施例的动画控制类型710可包括虚拟角色控制命令基本类型720、特殊属性730以及元素。
根据本发明的一方面，特殊属性730可包括动作优先顺序(motionpriority)731以及速度732。
动作优先顺序731确定当通过混合动画和肢体和/或脸部特征控制来产生虚拟角色的动作时的优先顺序(motion priority determines the priority whengenerating the motion of avatar by mixing with animation and body and/or facialfeature control)。
速度732用于调节动画的速度，以能够使用动画得到多样的效果。例如，对于与行走动作有关的动画，可以根据速度而分类为缓慢行走的动作、以普通速度行走的动作以及快速行走的动作。
动画控制类型710的元素可包括空闲(idle)、问候(greeting)、跳舞(dance)、行走(walk)、移动(moves)、战斗(fighting)、听(hearing)、吸烟(smoke)、祝贺(congratulations)、一般行动(common actions)、特殊行动(specific actions)、脸部表情(facial expression)、肢体表达(body expression)以及动画资源(animationresources)。
再次参照图3至图7，附图标记327表示调节控制类型(control controltype)的元素。调节控制类型是用于表示调节特征控制命令的工具。以下，参照图12详细说明调节控制类型的结构。
图12为表示根据本发明一实施例的调节控制类型的结构的图。
参照图12，根据本发明一实施例的调节控制类型可包括虚拟角色控制命令基本类型820、特殊属性830以及元素。
根据本发明的一方面，特殊属性730可包括动作优先顺序831、帧时间832、帧数量833以及帧id 834。
动作优先顺序831确定当通过混合动画和肢体和/或脸部特征控制来产生虚拟角色的动作时的优先顺序。
帧时间832定义动作控制数据的帧距(frame time defines the frame intervalof motion control data)。例如，帧距的单位可以是秒(second)。
帧数量833选择性地定义用于动作控制的帧的总数(num of frameoptionally defines the total number of frames for the motion control)。
帧id 834表示各个帧的顺序(frame id indicates the order of each frame)。
调节控制类型810的元素可包括肢体特征控制(body features control)840以及脸部特征控制(face features control)850。
根据本发明的一方面，肢体特征控制840可包括肢体特征控制类型。而且，所述肢体特征控制类型可包括头骨(headbones)的元素、上身骨骼(upperbody bones)的元素、下身骨骼(down body bones)的元素以及身体中部骨骼(middle body bones)的元素。
虚拟世界的虚拟角色的动作(motion)与动画控制类型和调节控制类型相关。动画控制类型可包括关于动画集合的顺序的信息，调节控制类型可包括关于动作感测(motion sensing)的信息。为了控制虚拟世界的虚拟角色的动作，可利用动画或动作感测装置。因此，以下详细说明根据本发明一实施例的用于控制虚拟世界的虚拟角色的动作的图像装置。
图13为表示根据本发明一实施例的图像装置的组成的图。
参照图13，根据本发明一实施例的图像装置900包括存储单元910以及处理单元920。
存储单元910存储动画剪辑(animation clip)、动画控制信息(animationcontrol information)以及调节控制信息(control control information)，其中，所述动画控制信息包含关于动画剪辑对应于哪些虚拟角色(avatar)的哪些部分(part)的信息和优先顺序(priority)，所述调节控制信息包含关于处理从动作传感器(motion sensor)接收的值而得到的动作数据(motion data)对应于哪些虚拟角色的哪些部分的信息和优先顺序。
动画剪辑是针对虚拟世界的虚拟角色的动作的运动图像数据。
根据本发明的一方面，可将虚拟世界的虚拟角色划分为若干部分，并存储对应于各个部分的动画剪辑及动作数据。根据实施例，可以将虚拟世界的虚拟角色划分为脸部表情(facial expression)、头(head)、上身(upper body)、身体中部(middle body)以及下身(lower body)这几个部分。对此，参照图14进行详细的说明。
图14表示根据本发明一实施例的将虚拟世界的虚拟角色划分为脸部表情部分、头部分、上身部分、身体中部部分以及下身部分的图。
参照图14，虚拟世界的虚拟角色1000被划分为脸部表情1010部分、头1020部分、上身1030部分、身体中部1040部分以及下身1050部分。
根据本发明的一方面，动画剪辑及动作数据可以是对应于脸部表情1010、头1020、上身1030、身体中部1040以及下身1050中的某一个的数据。
再次参照图13，动画控制信息包括关于动画剪辑对应于哪个虚拟角色的哪个部分的信息及优先顺序。虚拟世界的虚拟角色可以是一个以上，且根据动画控制信息，动画剪辑可对应于一个虚拟角色或者一个以上的虚拟角色。
根据实施例，关于动画剪辑对应于哪个虚拟角色的哪个部分的信息可以是关于动画剪辑对应于脸部表情、头、上身、身体中部和下身中的哪个部分的信息。
对应于虚拟角色的任意部分的动画剪辑可具有优先顺序。优先顺序可以由现实世界的用户预先设定，或者可根据实时的输入而设定。对于优选顺序，参照图17在后面详细地进行说明。
根据实施例，动画控制信息可进一步包括关于与虚拟角色的任意部分对应的动画剪辑的速度的信息。例如，对于作为对应于虚拟角色的下身的动画剪辑的表示行走动作的数据来说，根据前述关于动画剪辑的速度的信息，所述动画剪辑可被划分为关于缓慢行走的动作的数据、关于以一般速度行走的动作的数据、关于快速行走的动作的数据以及关于跑步的动作的数据。
调节控制信息包括关于处理从动作传感器接收的值而得出的动作数据对应于哪个虚拟角色的哪个部分的信息和优先顺序。
动作传感器是用于测量现实世界的用户的动作、表情、状态等的作为现实世界装置的传感器。
动作数据可以是通过从动作传感器接收测量现实世界的用户的动作、表情、状态等的值并以能够应用到虚拟世界的虚拟角色的形式处理上述值而获得的数据。
例如，动作传感器测量关于现实世界的用户的胳膊和腿的位置信息，并可将所述信息表示成作为x轴、y轴、z轴值的Xreal值、Yreal值、Zreal值和作为与x轴、y轴、z轴的角度值的ΘXreal值、ΘYreal值、ΘZreal值。而且，动作数据可以是为了能够应用于虚拟世界的虚拟角色而将关于所述位置信息的值进行处理的数据。
根据本发明的一方面，可以将虚拟世界的虚拟角色划分为若干部分而存储对应于各个部分的动作数据。根据实施例，关于动作数据对应于哪个虚拟角色的哪个部分的信息可以是关于对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的哪个部分的信息。
对应于虚拟角色的任意部分的动作数据可包括优先顺序。优先顺序可以由现实世界的用户预先设定，或者也可以实时输入而设定。对于优先顺序，参照图17在后面进行详细的说明。
处理单元920比较对应于虚拟角色的第一部分的动画控制信息的优先顺序和对应于虚拟角色的所述第一部分的调节控制信息的优先顺序，以确定应用于虚拟角色的第一部分的数据。对此，参照图17在后面进行详细的说明。
根据本发明的一方面，图像装置900可进一步包括产生单元。
产生单元可产生虚拟角色的脸部表情。
根据实施例，存储单元可存储关于从传感器接收的现实世界的用户的脸部特征点的数据。此时，产生单元可基于存储于存储单元的数据产生虚拟角色的脸部表情。
对于特征点，参照图21至图43在后面进行详细的说明。
图15为表示根据本发明一实施例的关于动画剪辑的数据库的图。
参照图15，根据本发明一实施例的关于动画剪辑的数据库1100被分类为动画剪辑1110、对应部分1120及优先顺序1130的类别。
动画剪辑1110是对于与虚拟世界的虚拟角色的任意部分对应的虚拟角色动作的数据的类别。根据实施例，动画剪辑1110可以是有关对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的某一部分的动画剪辑的类别。例如，第一动画剪辑1111是对应于虚拟角色的脸部表情部分的动画剪辑，可以是针对笑的动作的数据。第二动画剪辑1112是对应于虚拟角色的头部分的动画剪辑，可以是针对左右晃脑的动作的数据。第三动画剪辑1113是对应于虚拟角色的上身部分的动画剪辑，可以是针对举起双臂的动作的数据。第四动画剪辑1114是对应于身体中部部分的动画剪辑，可以是针对向前翘起臀部的动作的数据。第五动画剪辑1115是对应于虚拟角色的下身部分的动画剪辑，可以是针对一条腿弯曲，另一条腿向后伸直的动作的数据。
对应部分1120是关于动画剪辑对应于虚拟角色的哪一部分的数据的类别。根据实施例，对应部分1120可以是关于动画剪辑对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的哪一部分的数据的类别。例如，第一动画剪辑1111是对应于虚拟角色的脸部表情部分的动画剪辑，因此第一对应部分1121可以被标记为′facial expression′。第二动画剪辑1112是对应于虚拟角色的头部分的动画剪辑，因此第二对应部分1122可以被标记为′head′。第三动画剪辑1113是对应于虚拟角色的上身部分的动画剪辑，因此第三对应部分1123可以被标记为′upper body′。第四动画剪辑1114是对应于虚拟角色的身体中部部分的动画剪辑，因此第四对应部分1124可以被标记为′middlebody′。第五动画剪辑1115是对应于虚拟角色的下身部分的动画剪辑，因此第五对应部分1125可以被标记为′lower body′。
优先顺序1130是对于动画剪辑所具备的优选顺序的值的类别。根据实施例，可以是对于与虚拟角色的脸部表情、头、上身、身体中部及下身中的某一部分对应的动画剪辑所具备的优先顺序的值的类别。例如，对应于虚拟角色的脸部表情的第一动画剪辑1111可以具有优先顺序值′5′。对应于虚拟角色的头部分的第二动画剪辑1112可以具有优先顺序值′2′。对应于虚拟角色的上身部分的第三动画剪辑1113可以具有优先顺序值′5′。对应于虚拟角色的身体中部部分的第四动画剪辑1114可以具有优先顺序值′1′。对应于虚拟角色的下身部分的第五动画剪辑1115可以具有优先顺序值′1′。对于动画剪辑的优先顺序值可以由现实世界的用户预先设定，或者根据实时输入而设定。
图16为表示根据本发明一实施例的关于动作数据的数据库的图。
参照图16，根据本发明一实施例的关于动作数据的数据库1200可以被分类为动作数据1210、对应部分1220及优先顺序1230的类别。
动作数据1210是将从动作传感器接收的值进行处理而得到的数据，是与虚拟世界的虚拟角色的任意部分对应的动作数据的类别。根据实施例，动作数据1210可以是有关对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的某一部分的动作数据的类别。例如，第一动作数据1211是对应于虚拟角色的脸部表情部分的动作数据，可以是当现实世界的用户做出鬼脸的动作，且动作传感器测量到该动作时，将测量的值处理成能够应用于虚拟世界的虚拟角色的脸部表情的、针对现实世界的用户做出鬼脸的动作的数据。同理，第二动作数据1212是对应于虚拟角色的头部分的动作数据，可以是针对现实世界的用户低头的动作的数据。第三动作数据1213是对应于虚拟角色的上身部分的动作数据，可以是针对现实世界的用户向左右侧举起双臂的动作的数据。第四动作数据1214是对应于虚拟角色身体中部部分的动作数据，可以是针对现实世界的用户前后扭动臀部的动作的数据。第五动作数据1215是对应于虚拟角色的下身部分的数据，可以是针对现实世界的用户向左右侧张开双腿并弯曲的动作的数据。
对应部分1220是关于动作数据对应于虚拟角色的哪一部分的数据的类别。根据实施例，对应部分1220可以是关于动作数据对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的哪一部分的数据的类别。例如，第一动作数据1211是对应于虚拟角色的脸部表情部分的动作数据，因此第一对应部分1221可以被标记为′facial expression′。第二动作数据1212是对应于虚拟角色的头部分的动作数据，因此第二对应部分1222可以被标记为′head′。第三动作数据1213是对应于虚拟角色的上身部分的动作数据，因此第三对应部分1223可以被标记为′upper body′。第四动作数据1214是对应于虚拟角色的身体中部部分的动作数据，因此第四对应部分1224可以被标记为′middlebody′。第五动作数据1215是对应于虚拟角色的下身部分的动作数据，因此第五对应部分1225可以被标记为′lower body′。
优先顺序1230是对于动作数据所具备的优选顺序的值的类别。根据实施例，可以是对于与虚拟角色的脸部表情、头、上身、身体中部及下身中的某一部分对应的动作数据所具备的优先顺序的值的类别。例如，对应于虚拟角色的脸部表情的第一动作数据1211可以具有优先顺序值′1′。对应于虚拟角色的头部分的第二动作数据1212可以具有优先顺序值′5′。对应于虚拟角色的上身部分的第三动作数据1213可以具有优先顺序值′2′。对应于虚拟角色的身体中部部分的第四动作数据1214可以具有优先顺序值′5′。对应于虚拟角色的下身部分的第五动作数据1215可以具有优先顺序值′5′。对于动作数据的优先顺序值可以由现实世界的用户预先设定，或者根据实时输入而设定。
图17为表示根据本发明一实施例的比较优先顺序而确定应用于虚拟角色的任意部分的动作客体数据的操作的图。
参照图17，虚拟角色1310被划分为脸部表情1311、头1213、上身1212、身体中部1214及下身1215。
动作客体数据(motion object data)是关于虚拟角色的任意部分的动作的数据。动作客体数据可包括动画剪辑及动作数据。动作客体数据可通过处理从动作传感器接收的值或者从图像装置的存储单元读出而获得。根据实施例，动作客体数据可对应于虚拟角色的脸部表情、头、上身、身体中部及下身中的某一部分。
数据库1320是针对动画剪辑的数据库。而且，数据库1330是针对动作数据的数据库。
根据本发明一实施例的图像装置的处理单元可通过比较对应于虚拟角色1310的第一部分的动画控制信息的优先顺序和对应于虚拟角色的第一部分的调节控制信息的优先顺序，以确定应用于虚拟角色的第一部分的数据。
根据实施例，对应于虚拟角色1310的脸部表情1311的第一动画剪辑1321的优先顺序的值可以是′5′，对应于虚拟角色1310的脸部表情1311的第一动作数据1331的优先顺序的值可以是′1′。由于第一动画剪辑1321的优先顺序的值大于第一动作数据1331的优先顺序的值，因此图像处理装置可以将应用于虚拟角色1310的脸部表情1311的数据确定为第一动画剪辑1321。
而且，对应于虚拟角色1310的头1312的第二动画剪辑1322的优先顺序的值可以是′2′，对应于虚拟角色1310的头1312的第二动作数据1332的优先顺序的值可以是′5′。由于第二动作数据1332的优选顺序的值大于第二动画剪辑1322的优先顺序的值，因此图像装置的处理单元可以将应用于虚拟角色1310的头1312的数据确定为第二动作数据1332。
而且，对应于虚拟角色1310的上身1313的第三动画剪辑1323的优先顺序的值可以是′5′，对应于虚拟角色1310的上身1313的第三动作数据1333的优先顺序的值可以是′2′。由于第三动画剪辑1323的优选顺序的值大于第三动作数据1333的优先顺序的值，因此图像装置的处理单元可以将应用于虚拟角色1310的上身1313的数据确定为第三动画剪辑1323。
而且，对应于虚拟角色1310的身体中部1314的第四动画剪辑1324的优先顺序的值可以是′1′，对应于虚拟角色1310的身体中部1314的第四动作数据1334的优先顺序的值可以是′5′。由于第四动作数据1334的优选顺序的值大于第四动画剪辑1324的优先顺序的值，因此图像装置的处理单元可以将应用于虚拟角色1310的身体中部1314的数据确定为第四动作数据1334。
而且，对应于虚拟角色1310的下身1315的第五动画剪辑1325的优先顺序的值可以是′1′，对应于虚拟角色1310的下身1315的第五动作数据1335的优先顺序的值可以是′5′。由于第五动作数据1335的优选顺序的值大于第五动画剪辑1325的优先顺序的值，因此图像装置的处理单元可以将应用于虚拟角色1310的下身1315的数据确定为第五动作数据1335。
因此，虚拟角色1310的脸部表情1311可具有第一动画剪辑1321，头1312可具有第二动作数据1332，上身1313可具有第三动画剪辑1223，身体中部1314可具有第四动作数据1334，下身1315可具有第五动作数据1335。
与虚拟角色1310的任意部分对应的数据可具有多个动画剪辑和多个动作数据。当对应于虚拟角色1310的任意部分的数据具有多个时，参照图18说明确定应用于虚拟角色1310的任一部分的数据的方法。
图18为确定应用于虚拟角色的各个部分的动作客体数据的方法的流程图。
参照图18，根据本发明一实施例的图像装置确认包含于动作客体数据(motion object data)中的信息(S1410)。包含于动作客体数据中的信息可包括关于动作客体数据属于哪个虚拟角色的哪个部分的信息及动作客体数据的优先顺序。
当还不存在对应于虚拟角色的第一部分的动作客体数据时，将经读取或处理而获得的动作客体数据确定为应用于虚拟角色的第一部分的数据。
当存在对应于虚拟角色的第一部分的动作客体数据时，图像装置的处理单元比较现有的动作客体数据和经读取或处理而获得的动作客体数据的优先顺序(S1420)。
若现有的动作客体数据的优先顺序的值相比经读取或处理而获得的动作客体数据的优先顺序的值更高，则将经读取或处理而获得的动作客体数据确定为应用于虚拟角色的第一部分的数据(S1430)。
但是，若现有的动作客体数据的优先顺序的值相比经读取或处理而获得的动作客体数据的优先顺序的值更高，则将现有的动作客体数据确定为应用于虚拟角色的第一部分的数据。
判断是否确认所有的动作客体数据(S1440)
若存在没有经过判断的动作客体数据，则图像装置对于没有经过判断的动作客体数据反复执行所述步骤S1410至S1440。
若对于所有的动作客体数据都进行了判断，则从对应于虚拟角色的各个部位的动作客体数据中结合优先顺序最高的数据而产生虚拟角色的运动图像(S1450)。
根据本发明一实施例的图像装置的处理单元通过比较对应于虚拟角色的各个部分的动画控制信息的优先顺序和调节控制信息的优先顺序，来确定应用于所述各个部分的数据，并可结合确定的数据来产生虚拟角色的运动图像。对于确定应用于虚拟角色的各个部分的数据的过程，图中已进行详细的说明，以下，参照图19说明结合经确定的数据来产生虚拟角色的运动图像的过程。
图19为表示根据本发明一实施例的结合对应于虚拟角色的各个部分的动作客体数据的操作的流程图。
参照图19，根据本发明一实施例的图像装置确认(find)包含根元素(rootelement)的虚拟角色的部分(S1510)。
而且，从对应于虚拟角色的部分的动作客体数据提取关于连接轴的信息(S1520)。动作客体数据可包括动画剪辑及动作数据。动作客体数据可包括关于连接轴的信息。
而且，确认是否存在没有结合的动作客体数据(S1530)。
若不存在没有结合的动作客体数据，则由于对应于虚拟角色的各个部分的所有数据都完成结合，因此结束产生虚拟角色的运动图像的过程。
若存在没有结合的动作客体数据，则将从所述动作客体数据提取的关于连接轴的信息中包含的关节方向角变更为相对的方向(S1540)。根据实施例，包含于关于连接轴的信息中的关节方向角可以是相对方向，此时可省略变更步骤S1540而直接进入步骤S1550。
以下，详细说明根据本发明一方面的当关节方向角为绝对方向时，将所述关节方向角变更为相对方向的方法。而且，以虚拟世界的虚拟角色被划分为脸部表情、头、上身、身体中部以及下身为实施例进行说明。
根据实施例，对应于虚拟角色的身体中部的动作客体数据可包含身体中心坐标。作为绝对方向的关节方向角以包含身体中心坐标的身体中部部分的连接部位为基准可变更为相对方向。
图像装置提取存储在对应于虚拟角色的身体中部的动作客体数据中的关于连接轴的信息。关于连接轴的信息可包括：作为虚拟角色的上身部分的连接部位的胸椎(thoracic vertebrae)和作为头部的连接部位的颈椎(cervicalvertebrae)之间的关节方向角；作为上身部分的连接部位的胸椎(thoracicvertebrae)和左锁骨(left clavicle)之间的关节方向角；作为上身部分的连接部位的胸椎(thoracic vertebrae)和右锁骨(right clavicle)之间的关节方向角；作为身体中部部分的连接部位的骨盆(pelvis)和下身部分的连接部位的左股骨(leftfemur)之间的关节方向角和作为身体中部部分的连接部位的骨盆(pelvis)和作为下身部分的连接部位的右股骨(right femur)之间的关节方向角。
例如，骨盆和右股骨之间的关节方向角可表示为如下的数学式1。
[数学式1]
A(θRightFemur)＝RRightFemur_PelvisA(θPelvis)
所述[数学式1]中的函数A(.)是方向余弦矩阵(directional cosine matrix)，RRightFemur_Pelvis是对于骨盆和右股骨之间的方向角的旋转矩阵(rotationalmatrix)。而且，ΘRightFemur是虚拟角色的下身部分的右股骨(right femur)处的关节方向角，ΘPelvis是身体中部部分的骨盆(pelvis)和右股骨(right femur)之间的关节方向角。
基于上述数学式1可计算出如同下面的数学式2的旋转矩阵。
数学式2
RRightFemur_Pelvis＝A(θRightFemur)A(θPelvis)-1
作为绝对方向的关节方向角能够以包含身体中心坐标的身体中部部分的连接部位为基准变更为相对方向。例如，利用上述数学式2的旋转矩阵，将存储在对应于虚拟角色的下身的动作客体数据中的关于连接轴的信息中所包含的、作为绝对方向的关节方向角，如同下面的数学式3变更为相对方向。
数学式3
A(θ′)＝RRightFemur_PelvisA(θ)
同理，存储于对应于虚拟角色的头及上身的动作客体数据中的关于连接轴的信息中所包含的、作为绝对方向的关节方向角，可以变更为相对方向。
经过上述过程，关节方向角变更为相对方向时，利用存储在对应于虚拟角色的各个部分的动作客体数据中的关于连接轴的信息，来结合对应于各个部分的动作客体数据(S1550)。
再次返回步骤S1530，确认是否存在没有结合的动作客体数据(S1530)。
若不存在没有结合的动作客体数据，则由于对应于虚拟角色的各个部分的所有数据完成了结合，因此结束产生虚拟角色的运动图像的过程。
图20为表示根据本发明一实施例的结合对应于虚拟角色的各个部分的动作客体数据的操作的图。
参照图20，根据本发明一实施例的图像装置中，通过结合对应于虚拟角色的第一部分的动作客体数据1610和对应于第二部分的动作客体数据1620来产生虚拟角色的运动图像1630。
对应于第一部分的动作客体数据1610可以是动画剪辑和动作数据中的一个。同理，对应于第二部分的动作客体数据1620可以是动画剪辑和动作数据中的一个。
根据本发明的一方面，图像装置的存储单元还存储关于动画剪辑的连接轴1601的信息，处理单元可利用关于动画剪辑的连接轴1601的信息结合动画剪辑和动作数据。而且，处理单元可利用关于动画剪辑的连接轴1601的信息结合动画剪辑和动画剪辑。
根据实施例，处理单元可从动作数据提取关于连接轴的信息，并使动画剪辑的连接轴1601和动作数据的连接轴对应而结合动画剪辑和动作数据。而且，处理单元可利用从动作数据提取的关于连接轴的信息而结合动作数据和动作数据。关于连接轴的信息已经在图19中详细进行说明，因此以下省略对其的说明。
以下，说明根据本发明一实施例的图像装置将现实世界的用户的脸部反映到虚拟世界的虚拟角色的脸部的示例。
图像装置可通过现实世界装置(例如，图像传感器)感测(sensing)现实世界的用户的脸部，并反映到虚拟世界的虚拟角色的脸部上。虚拟世界的虚拟角色被划分为脸部表情、头、上身、身体中部及下身这几个部分时，图像装置可感测现实世界的用户的脸部并反映到虚拟世界的虚拟角色的脸部表情及头部分。
根据实施例，图像装置感测现实世界用户的脸部的特征点而收集关于特征点的数据，并能够利用关于所述特征点的数据产生虚拟世界的虚拟角色的脸部。
以下，参照图21及图22详细说明将现实世界的用户的脸部应用到虚拟世界的虚拟角色的脸部的示例。
图21为表示根据本发明一实施例的图像装置用于感测现实世界的用户的脸部的特征点的图。
参照图21，图像装置可设定用于感测现实世界的用户的脸部的特征点1至8。图像装置可通过感测对应于现实世界的用户脸部的特征点1、特征点2及特征点3的部分来收集数据。数据可以是对应于特征点1、特征点2及特征点3的部分的色彩、位置、深度、角度、折射率等。图像装置可利用上述数据制作用于产生虚拟世界的虚拟角色的脸部的平面。而且，可利用上述数据产生针对虚拟世界的虚拟角色的脸部的连接轴的信息。
图像装置可通过感测对应于现实世界的用户的脸部的特征点4、特征点5、特征点6、特征点7及特征点8的部分来收集数据。数据可以是对应于特征点4、特征点5、特征点6、特征点7及特征点8的部分的色彩、位置、深度、角度、折射率等。图像装置可利用上述数据产生虚拟世界的虚拟角色的脸部的轮廓结构。
图像装置可结合通过感测对应于现实世界用户的脸部的特征点1、特征点2及特征点3的部分的数据而产生的平面以及通过感测对应于特征点4、特征点5、特征点6、特征点7及特征点8的部分的数据而产生的轮廓结构，来产生虚拟世界的虚拟角色的脸部。
[表2]示出为表现虚拟世界的虚拟角色的脸部而可能会被收集的数据。
表2
  元素   定义
  FacialDefinition   脸部的亮度的等级，1为亮，5为暗
  Freckless   皱纹程度(5个等级，1＝最小，5＝最大)
  Wrinkles   皱纹(是或否)
  RosyComplexion   红润的脸色(是或否)
  LipPinkness   粉红色嘴唇(5个等级，1＝最小，5＝最大)
  Lipstick   口红(是或否)
  LipstickColor   口红颜色(RGB)
  Lipgloss   唇彩(5个等级，1＝最小，5＝最大)
  Blush   脸红(是或否)
  BlushColor   脸颊颜色(RGB)
  BlushOpacity   脸颊透明度(％)
  InnerShadow   内阴影(是或否)
  InnerShadowColor   内阴影颜色(RGB)
  InnerShadowOpacity   内阴影透明度(％)
  OuterShadow   外阴影(是或否)
  OuterShadowOpacity   外阴影透明度(％)
  Eyeliner   眼线(是或否)
  EyelinerColor   眼线颜色(RGB)
  Sellion   图21的特征点1
  r_infraorbitale   图21的特征点2
  l_infraorbitale   图21的特征点3
  supramenton   图21的特征点4
  r_tragion   图21的特征点5
  r_gonion   图21的特征点6
  l_tragion   图21的特征点7
  l_gonion   图21的特征点8
图22为示出根据本发明另一实施例的图像装置用于感测现实世界的用户的脸部的特征点的图。
参照图22，图像装置可设定用于感测现实世界的用户的脸部的特征点1至30。对于利用特征点1至30产生虚拟世界的虚拟角色的脸部的动作在图21中详细地进行了说明，因此以下省略说明。
[源代码1]利用可扩展标记语言(XML：eXtensible Markup Language)示出为了表现虚拟世界的虚拟角色的脸部而能够被收集的数据的程序源。但是[源代码1]仅是一实施例，本发明并不局限于此。
[源代码1]
图23为表示根据本发明一实施例的脸部特征控制类型的图。
参照图23，根据本发明一实施例的脸部特征控制类型1910(face featurescontrol type)可包括属性1901及元素。
[源代码2]表示利用可扩展标记语言(XML：eXtensible MarkupLanguage)的脸部特征控制类型的程序源。但是[源代码2]仅是一实施例，本发明并不局限于此。
[源代码2]
属性1901可包括名称(name)。名称是脸部控制配置(configuration)的名称。名称可以是选项(optional)。
脸部特征控制类型的元素可包括：头轮廓线1(Head Outline1)、左眼轮廓线1(Left Eye Outline1)、右眼轮廓线1(Right Eye Outline1)、头轮廓线2(HeadOutline2)、左眼轮廓线2(Left Eye Outline2)、右眼外轮廓线2(Right EyeOutline2)、左眼眉轮廓线(Left Eye Brow Outline)、右眼眉轮廓线(Right EyeBrow Outline)、左耳轮廓线(Left Ear Outline)、右耳轮廓线(Right Ear Outline)、鼻子轮廓线1(Nose Outline1)、鼻子轮廓线2(Nose Outline2)、嘴唇轮廓线(MouthLip Outline)、上嘴唇轮廓线(Upper Lip Outline)、下嘴唇轮廓线(Lower LipOutline2)、脸部点(Face Points)以及其它点(Miscellaneous Points)。
以下，参照图24至图36详细说明脸部特征控制类型的元素。
图24为表示根据本发明一实施例的头轮廓线1的图。
参照图24，根据本发明一实施例的头轮廓线1可以是利用顶部2001、左侧2002、底部2005以及右侧2008的特征点产生的头部的基本轮廓线(basicoutline)。
根据实施例，头部轮廓线1可以是不仅利用顶部2001、左侧2002、底部2005以及右侧2008的特征点，还进一步利用底部左侧1(bottom left1)2003、底部左侧2(bottom left2)2004、底部右侧2(bottom right2)2006以及底部右侧1(bottom right1)2007的特征点产生的头的扩展轮廓线。
图25为表示根据本发明一实施例的左眼轮廓线1及左眼轮廓线2的图。
参照图25，根据本发明一实施例的左眼轮廓线1可以是利用顶部2101、左侧2103、底部2105及右侧2107的特征点产生的左眼的基本轮廓线(basicoutline)。
左眼轮廓线2可以是不仅利用顶部2101、左侧2103、底部2105以及右侧2107的特征点，还进一步利用顶部左侧1(top left)2102、底部左侧(bottomleft)2104、底部右侧(bottom right)2106以及顶部右侧(top right)2108的特征点产生的左眼的扩展轮廓线。左眼轮廓线2可以是用于高分辨率图像的左眼轮廓线。
图26为表示根据本发明一实施例的右眼轮廓线1及右眼轮廓线2的图。
参照图26，根据本发明一实施例的右眼轮廓线1可以是利用顶部2201、左侧2203、底部2205及右侧2207的特征点产生的右眼的基本轮廓线(basicoutline)。
右眼轮廓线2可以是不仅利用顶部2201、左侧2203、底部2205以及右侧2207的特征点，还进一步利用顶部左侧(top left)2202、底部左侧(bottomleft)2204、底部右侧(bottom right)2206以及顶部右侧(top right)2208的特征点产生的右眼的扩展轮廓线。右眼轮廓线2可以是用于高分辨率图像的右眼轮廓线。
图27为表示根据本发明一实施例的左眼眉轮廓线的图。
参照图27，根据本发明一实施例的左眼眉轮廓线可以是利用顶部2301、左侧2302、底部2303以及右侧2304的特征点产生的左眼眉的轮廓线。
图28为表示根据本发明一实施例的右眼眉轮廓线的图。
参照图28，根据本发明一实施例的右眼眉轮廓线可以是利用顶部2401、左侧2402、底部2403以及右侧2404的特征点产生的右眼眉的轮廓线。
图29为表示根据本发明一实施例的左耳轮廓线的图。
参照图29，根据本发明一实施例的左耳轮廓线可以是利用顶部2501、左侧2502、底部2503以及右侧2504的特征点产生的左耳的轮廓线。
图30为表示根据本发明一实施例的右耳轮廓线的图。
参照图30，根据本发明一实施例的右耳轮廓线可以是利用顶部2601、左侧2602、底部2603以及右侧2604的特征点产生的右耳的轮廓线。
图31为表示根据本发明一实施例的鼻子轮廓线1及鼻子轮廓线2的图。
参照图31，根据本发明一实施例的鼻子轮廓线1可以是利用顶部2701、左侧2702、底部2704以及右侧2707的特征点产生的鼻子的基本轮廓线。
鼻子轮廓线2可以是不仅利用顶部2701、左侧2702、底部2704以及右侧2707的特征点，还进一步利用顶部左侧2702、中央2703、下底部2706以及顶部右侧2708的特征点产生的鼻子的扩展轮廓线。鼻子轮廓线2可以是用于高分辨率图像的鼻子的轮廓线。
图32为表示根据本发明一实施例的嘴唇的轮廓线的图。
参照图32，根据本发明一实施例的嘴唇轮廓线可以是利用顶部2801、左侧2802、底部2803以及右侧2804的特征点产生的嘴唇的轮廓线。
图33为表示根据本发明一实施例的头轮廓线2的图。
参照图33，根据本发明一实施例的头轮廓线2可以是利用顶部2901、左侧2902、底部左侧1(bottom left1)2903、底部左侧2(bottom left2)2904、底部2905、底部右侧2(bottom right2)2906、底部右侧1(bottom right1)2907以及右侧(right)2908的特征点产生的头的轮廓线。头轮廓线2可以是用于高分辨率的头轮廓线。
图34为根据本发明一实施例的上嘴唇轮廓线的图。
参照图34，根据本发明一实施例的上嘴唇轮廓线可以是利用顶部左侧3001、底部左侧3002、底部3003、底部右侧3004以及顶部右侧3005的特征点产生的上嘴唇的轮廓线。上嘴唇轮廓线可以是用于对于嘴唇轮廓线的上嘴唇部分的高分辨率图像的上嘴唇轮廓线。
图35为表示根据本发明一实施例的下嘴唇轮廓线的图。
参照图35，根据本发明一实施例的下嘴唇轮廓线可以是利用顶部3101、顶部左侧3102、底部左侧3103、底部右侧3104以及顶部右侧3105的特征点产生的下嘴唇的轮廓线。下嘴唇轮廓线可以是用于对于嘴唇轮廓线的下嘴唇部分的高分辨率图像的下嘴唇轮廓线。
图36为表示根据本发明一实施例的脸部点的图。
参照图36，根据本发明一实施例的脸部点可以是利用顶部左侧3201、底部左侧3202、底部3203、底部右侧3204以及顶部右侧3205的特征点产生的脸部表情。脸部点可以是用于脸部表情的高分辨率图像的元素。
根据本发明的一方面，其它点的定义为用于脸部特征控制的任意的特征点，可以是进一步定位的特征点。
图37为表示根据本发明一实施例的轮廓线的图表的图。
参照图37，轮廓线3310包括元素。轮廓线3310的元素可包括左侧、右侧、顶部以及底部。
[源代码3]表示利用可扩展标记语言(XML：eXtensible Markup Language)的轮廓线3310的程序源。但是[源代码3]仅是一实施例，本发明并不局限于此。
[源代码3]
左侧表示轮廓线的左侧特征点。
右侧表示轮廓线的右侧特征点。
顶部表示轮廓线的上特征点。
底部表示轮廓线的下特征点。
图38为表示根据本发明一实施例的头轮廓线2类型的图。
参照图38，根据本发明一实施例的头轮廓线2类型(Head Outline2Type)3410包括元素。头轮廓线2类型3410的元素可包括底部左侧1、底部左侧2、底部右侧1、底部右侧2。
[源代码4]表示利用可扩展标记语言(XML：eXtensible Markup Language)的头廓线2类型3410的程序源。但是[源代码4]仅是一实施例，本发明并不局限于此。
[源代码4]
底部左侧1是位于靠近轮廓线的左侧特征点的轮廓线的左下侧的特征点。
底部左侧2是位于靠近轮廓线的下侧特征点的轮廓线的左下侧的特征点。
底部右侧1是位于靠近轮廓线的右侧特征点的轮廓线的右下侧的特征点。
底部右侧2是位于靠近轮廓线的下侧特征点的轮廓线的右下侧的特征点。
图39是表示根据本发明一实施例的眼轮廓线2类型的图。
参照图39，根据本发明一实施例的眼轮廓线2类型(Eye Outline2Type)3510包括元素。眼轮廓线2类型3510的元素可包括顶部左侧、底部左侧、顶部右侧以及底部右侧。
[源代码5]表示利用可扩展标记语言(XML：eXtensible Markup Language)的眼轮廓线2类型3510的程序源。但是[源代码5]仅是一实施例，本发明并不局限于此。
[源代码5]
顶部左侧是位于眼轮廓线的左上侧的特征点。
底部左侧是位于眼轮廓线的左下侧的特征点。
顶部右侧是位于眼轮廓线的右上侧的特征点。
底部右侧是位于眼轮廓线的右下侧的特征点。
图40为表示根据本发明一实施例的鼻子轮廓线2类型的图。
参照图40，根据本发明一实施例的鼻子轮廓线2类型(Nose Outline2Type)3610包括元素。鼻子轮廓线2类型3610的元素可包括顶部左侧、顶部右侧、中央以及下底部。
[源代码6]表示利用可扩展标记语言(XML：eXtensible Markup Language)的鼻子轮廓线2类型3610的程序源。但是[源代码6]仅是一实施例，本发明并不局限于此。
[源代码6]
顶部左侧是位于鼻子轮廓线的上侧特征点旁边的鼻子轮廓线的左上侧特征点。
顶部右侧是位于鼻子轮廓线的上侧特征点旁边的鼻子轮廓线的右上侧特征点。
中央是位于鼻子轮廓线的上侧特征点及下侧特征点之间的鼻子轮廓线的中央特征点。
下底部是位于鼻子轮廓线的下特征点下边的鼻子轮廓线的较低的下特征点。
图41为表示根据本发明一实施例的上嘴唇轮廓线2类型的图。
参照图41，根据本发明一实施例的上嘴唇轮廓线2类型3710包括元素。上嘴唇轮廓线2类型(Upper Lip Outline2 Type)3710的元素包括顶部左侧、顶部右侧、底部左侧、底部右侧以及底部。
[源代码7]表示利用可扩展标记语言(XML：eXtensible Markup Language)的上嘴唇轮廓线2类型3710的程序源。但是[源代码7]仅是一实施例，本发明并不局限于此。
[源代码7]
顶部左侧表示上嘴唇轮廓线的左上侧特征点。
顶部右侧表示上嘴唇轮廓线的右上侧特征点。
底部左侧表示上嘴唇轮廓线的左下侧特征点。
底部右侧表示上嘴唇轮廓线的右下侧特征点。
底部表示上嘴唇轮廓线的下侧特征点。
图42表示根据本发明一实施例的下嘴唇轮廓线2类型的图。
参照图42，根据本发明一实施例的下嘴唇轮廓线2类型3810包括元素。下嘴唇轮廓线2类型(Upper Lip Outline2 Type)3810的元素包括顶部左侧、顶部右侧、底部左侧、底部右侧以及顶部。
[源代码8]表示利用可扩展标记语言(XML：eXtensible Markup Language)的下嘴唇轮廓线2类型3810的程序源。但是[源代码8]仅是一实施例，本发明并不局限于此。
[源代码8]
顶部左侧表示下嘴唇轮廓线的左上侧特征点。
顶部右侧表示下嘴唇轮廓线的右上侧特征点。
底部左侧表示下嘴唇轮廓线的左下侧特征点。
底部右侧表示下嘴唇轮廓线的右下侧特征点。
顶部表示下嘴唇轮廓线的上侧特征点。
图43为表示根据本发明一实施例的脸部点集合类型的图。
参照图43，根据本发明一实施例的脸部点集合类型(Face Point SetType)3910包括元素。脸部点集合类型3910的元素可包括顶部左侧、顶部右侧、底部左侧、底部右侧及底部。
[源代码9]表示利用可扩展标记语言(XML：eXtensible MarkupLanguage)的脸部点集合类型3910的程序源。但是[源代码9]仅是一实施例，本发明并不局限于此。
[源代码9]
顶部左侧表示位于鼻子类型1的左侧特征点的左侧旁边的特征点。
顶部右侧表示位于鼻子类型1的右侧特征点的右侧旁边的特征点。
底部左侧表示位于嘴唇类型1的左侧特征点的左侧旁边的特征点。
底部右侧表示位于嘴唇类型1的右侧特征点的右侧旁边的特征点。
底部表示位于嘴唇类型的下特征点和头类型1的下特征点之间的特征点。
根据本发明的实施例可以被实现为能够通过各种计算机手段执行的程序命令形态而被记录于计算机可读介质中。所述计算机可读介质可包括单独或组合的程序命令、数据文件、数据结构等。记录于所述介质的程序命令可以是为本发明特别设计并构成的程序命令或者是计算机软件领域的人员所周知并使用的程序命令。作为计算机可读记录介质的示例，包括磁性介质(例如硬盘、软盘及磁带)、光记录介质(例如CD-ROM、DVD)、磁光介质(例如，软式光盘(floptical disk))以及只读存储器、随机存储器、闪存等为了存储程序命令并使程序命令能够执行而特别组成的硬件装置。程序命令的例不仅包括由编译器等创建的机器代码，还包括使用解释器等创建的能够由计算机执行的高级语言代码。上述硬件装置可以构成作为用于执行本发明的动作的一个以上的软件模块运行，反之亦可。
如上所述，虽然通过有限的实施例和附图对本发明进行了说明，但是本发明并不局限于上述实施例，本发明所属领域中具有通常知识的技术人员可基于上述的记载进行各种修改及变更。
因此，本发明的范围并不局限于上述说明的实施例，应该由权利要求范围及与权利要求范围等同的范围所确定。

Claims (11)

1.一种图像装置，包括：
存储单元，用于保存动画剪辑、动画控制信息以及调节控制信息，其中，所述动画控制信息具有关于所述动画剪辑对应于哪个虚拟角色的哪个部分的信息、优先顺序及关于所述动画剪辑的连接轴的信息，所述调节控制信息具有关于处理从动作传感器接收的值而获得的动作数据对应于哪个虚拟角色的哪个部分的信息、优先顺序及关于所述动作数据的连接轴的信息；以及
处理单元，比较对应于虚拟角色的第一部分的所述动画控制信息的优先顺序和对应于所述虚拟角色的所述第一部分的所述调节控制信息的优先顺序，以确定应用于所述虚拟角色的所述第一部分的第一数据，比较对应于虚拟角色的第二部分的所述动画控制信息的优先顺序和对应于所述虚拟角色的所述第二部分的所述调节控制信息的优先顺序，以确定应用于所述虚拟角色的所述第二部分的第二数据，并且基于关于第一数据的连接轴的信息和关于第二数据的连接轴的信息结合第一数据和第二数据。
2.根据权利要求1所述的图像装置，其中，所述处理单元通过结合第一数据和第二数据而产生所述虚拟角色的运动图像。
3.根据权利要求1所述的图像装置，其中，关于对应于哪个虚拟角色的哪个部分的信息为对应于所述虚拟角色的脸部表情、头、上身、身体中部及下身中的哪个部分的信息。
4.根据权利要求1所述的图像装置，其中，所述动画控制信息进一步包括关于所述虚拟角色的速度的信息。
5.根据权利要求1所述的图像装置，其中，所述处理单元利用所述关于所述动画剪辑的连接轴的信息结合所述动画剪辑和所述动作数据。
6.根据权利要求5所述的图像装置，其中，所述处理单元从所述动作数据中提取关于连接轴的信息，并使所述动画剪辑的连接轴和所述动作数据的连接轴对应而结合所述动画剪辑和所述动作数据。
7.根据权利要求1所述的图像装置，其中，进一步包括产生所述虚拟角色的脸部表情的产生单元，所述存储单元存储从所述传感器接收的对于现实世界的用户的脸部特征点的数据，所述产生单元基于所述数据产生所述脸部表情。
8.根据权利要求7所述的图像装置，其中，所述数据包括针对所述脸部的色彩、位置、深度、角度、折射率中的至少一个的信息。
9.一种产生虚拟世界的虚拟角色的动作的方法，包括如下步骤：
保存动画控制信息及调节控制信息；以及
参考对应于虚拟角色的各个部分的所述动画控制信息和所述调节控制信息，结合基于从动作传感器接收的值而产生的实时动作数据及动画剪辑，
其中，所述动画控制信息包含对应的动画剪辑的信息及关于所述对应的动画剪辑对应于哪个虚拟角色的脸部表情、头、上身、身体中部、下身中的哪个部分的标示符，所述调节控制信息包含关于所述实时动作数据对应于哪个虚拟角色的脸部表情、头、上身、身体中部、下身中的哪个部分的标示符，
其中，所述动画控制信息还包括优先顺序和关于动画剪辑的连接轴的信息，所述调节控制信息还包括优先顺序和关于实时动作数据的连接轴的信息，
其中，参考对应于虚拟角色的各个部分的所述动画控制信息和所述调节控制信息，结合基于从动作传感器接收的值而产生的实时动作数据及动画剪辑的步骤中：通过比较对应于虚拟角色的第一部分的所述动画控制信息的优先顺序和对应于所述虚拟角色的所述第一部分的所述调节控制信息的优先顺序，以确定应用于所述虚拟角色的所述第一部分的第一数据，
比较对应于虚拟角色的第二部分的所述动画控制信息的优先顺序和对应于所述虚拟角色的所述第二部分的所述调节控制信息的优先顺序，以确定应用于所述虚拟角色的所述第二部分的第二数据，
基于关于第一数据的连接轴的信息和关于第二数据的连接轴的信息结合第一数据和第二数据。
10.根据权利要求9所述的产生虚拟世界的虚拟角色的动作的方法，其中，所述动画控制信息还包括关于所述虚拟角色的动画的速度的信息。
11.根据权利要求9所述的产生虚拟世界的虚拟角色的动作的方法，其中，参考对应于虚拟角色的各个部分的所述动画控制信息和所述调节控制信息，结合基于从动作传感器接收的值而产生的实时动作数据及动画剪辑的步骤中，从所述实时动作数据中提取关于连接轴的信息，并使动画剪辑的连接轴和所述实时动作数据的连接轴对应而结合所述动画剪辑和所述实时动作数据。
CN201080038361.5A 2009-06-25 2010-06-25 图像装置及计算机可读记录介质 Expired - Fee Related CN102483857B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR10-2009-0057314 2009-06-25
KR20090057314 2009-06-25
KR20090060409 2009-07-02
KR10-2009-0060409 2009-07-02
KR10-2009-0101175 2009-10-23
KR1020090101175A KR20100138701A (ko) 2009-06-25 2009-10-23 영상 장치 및 컴퓨터 판독 기록매체
US25563609P 2009-10-28 2009-10-28
US61/255,636 2009-10-28
KR1020090104487A KR101640458B1 (ko) 2009-06-25 2009-10-30 영상 장치 및 컴퓨터 판독 기록매체
KR10-2009-0104487 2009-10-30
PCT/KR2010/004135 WO2010151075A2 (ko) 2009-06-25 2010-06-25 영상 장치 및 컴퓨터 판독 기록매체

Publications (2)

Publication Number Publication Date
CN102483857A CN102483857A (zh) 2012-05-30
CN102483857B true CN102483857B (zh) 2015-04-01

Family

ID=43387067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080038361.5A Expired - Fee Related CN102483857B (zh) 2009-06-25 2010-06-25 图像装置及计算机可读记录介质

Country Status (5)

Country Link
US (1) US20120169740A1 (zh)
EP (1) EP2447908A4 (zh)
KR (1) KR101640458B1 (zh)
CN (1) CN102483857B (zh)
WO (1) WO2010151075A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20110093092A1 (en) * 2009-10-19 2011-04-21 Bum Suk Choi Method and apparatus for creating and reproducing of motion effect
US10133470B2 (en) 2012-10-09 2018-11-20 Samsung Electronics Co., Ltd. Interfacing device and method for providing user interface exploiting multi-modality
KR101456443B1 (ko) * 2013-04-17 2014-11-13 중앙대학교 산학협력단 모바일 기기에서의 아바타 애니메이션 생성 장치 및 방법
US8998725B2 (en) * 2013-04-30 2015-04-07 Kabam, Inc. System and method for enhanced video of game playback
CN106127758B (zh) * 2016-06-21 2019-08-23 四川大学 一种基于虚拟现实技术的视觉检测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975785A (zh) * 2006-12-19 2007-06-06 北京金山软件有限公司 骨骼动画的生成、实现方法/装置、游戏光盘以及外接卡

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118426A (en) * 1995-07-20 2000-09-12 E Ink Corporation Transducers and indicators having printed displays
US5909218A (en) * 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
US5982389A (en) * 1996-06-17 1999-11-09 Microsoft Corporation Generating optimized motion transitions for computer animated objects
JPH10188028A (ja) * 1996-10-31 1998-07-21 Konami Co Ltd スケルトンによる動画像生成装置、該動画像を生成する方法、並びに該動画像を生成するプログラムを記憶した媒体
US5912675A (en) * 1996-12-19 1999-06-15 Avid Technology, Inc. System and method using bounding volumes for assigning vertices of envelopes to skeleton elements in an animation system
US6191798B1 (en) * 1997-03-31 2001-02-20 Katrix, Inc. Limb coordination system for interactive computer animation of articulated characters
JP3728942B2 (ja) * 1998-03-24 2005-12-21 ヤマハ株式会社 楽音および画像生成装置
CA2295606A1 (en) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
JP4099273B2 (ja) * 1998-09-25 2008-06-11 富士通株式会社 アニメーション作成装置及び方法並びにアニメーション作成プログラムを記録したコンピュータ読取り可能な記録媒体
IT1315446B1 (it) * 1998-10-02 2003-02-11 Cselt Centro Studi Lab Telecom Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6462742B1 (en) * 1999-08-05 2002-10-08 Microsoft Corporation System and method for multi-dimensional motion interpolation using verbs and adverbs
US6535215B1 (en) * 1999-08-06 2003-03-18 Vcom3D, Incorporated Method for animating 3-D computer generated characters
JP3623415B2 (ja) * 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
KR20010091219A (ko) * 2000-03-14 2001-10-23 조영익 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법
KR100373758B1 (ko) * 2000-05-23 2003-02-26 (주)두모션 2축 2센서 방식에 의한 인체 동작 범위 인지용 무선모션캡처장치
JP3539553B2 (ja) * 2000-05-30 2004-07-07 シャープ株式会社 アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US7091976B1 (en) * 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
JP4011327B2 (ja) * 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
US20020118194A1 (en) * 2001-02-27 2002-08-29 Robert Lanciault Triggered non-linear animation
JP3848101B2 (ja) * 2001-05-17 2006-11-22 シャープ株式会社 画像処理装置および画像処理方法ならびに画像処理プログラム
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
EP1627294A2 (en) * 2003-05-01 2006-02-22 Delta Dansk Elektronik, Lys & Akustik A man-machine interface based on 3-d positions of the human body
US7090576B2 (en) * 2003-06-30 2006-08-15 Microsoft Corporation Personalized behavior of computer controlled avatars in a virtual reality environment
US7764287B2 (en) * 2003-07-07 2010-07-27 Arcsoft, Inc. Graphic engine for approximating a quadratic bezier curve in a resource-constrained device
JP3625212B1 (ja) * 2003-09-16 2005-03-02 独立行政法人科学技術振興機構 ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
JP4559092B2 (ja) * 2004-01-30 2010-10-06 株式会社エヌ・ティ・ティ・ドコモ 携帯通信端末及びプログラム
US20050278157A1 (en) * 2004-06-15 2005-12-15 Electronic Data Systems Corporation System and method for simulating human movement using profile paths
KR100610199B1 (ko) * 2004-06-21 2006-08-10 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
US20060009978A1 (en) * 2004-07-02 2006-01-12 The Regents Of The University Of Colorado Methods and systems for synthesis of accurate visible speech via transformation of motion capture data
GB0426736D0 (en) * 2004-12-06 2005-01-12 Omnifone Ltd MyFone
US7388586B2 (en) * 2005-03-31 2008-06-17 Intel Corporation Method and apparatus for animation of a human speaker
US7403202B1 (en) * 2005-07-12 2008-07-22 Electronic Arts, Inc. Computer animation of simulated characters using combinations of motion-capture data and external force modelling or other physics models
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
US7728839B2 (en) * 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing
JP4568223B2 (ja) * 2005-12-21 2010-10-27 株式会社デンソー 推定装置
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
US20090091563A1 (en) * 2006-05-05 2009-04-09 Electronics Arts Inc. Character animation framework
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
WO2008106197A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Interactive user controlled avatar animations
US8284070B2 (en) * 2007-05-14 2012-10-09 The Ohio State University Assessment device
KR100993801B1 (ko) * 2007-12-05 2010-11-12 에스케이커뮤니케이션즈 주식회사 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
KR100896065B1 (ko) * 2007-12-17 2009-05-07 한국전자통신연구원 ３차원 얼굴 표정 애니메이션 생성 방법
KR20090067822A (ko) * 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
US10026210B2 (en) * 2008-01-10 2018-07-17 Autodesk, Inc. Behavioral motion space blending for goal-oriented character animation
CN101952853B (zh) * 2008-01-16 2013-05-15 旭化成株式会社 脸姿势推定装置以及脸姿势推定方法
WO2009101153A2 (en) * 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
US9953450B2 (en) * 2008-06-11 2018-04-24 Nawmal, Ltd Generation of animation using icons in text
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US20100039434A1 (en) * 2008-08-14 2010-02-18 Babak Makkinejad Data Visualization Using Computer-Animated Figure Movement
US8224652B2 (en) * 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US8730245B2 (en) * 2008-12-01 2014-05-20 Naturalmotion Ltd. Defining an animation of a virtual object within a virtual world
US8199151B2 (en) * 2009-02-13 2012-06-12 Naturalmotion Ltd. Animation events
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975785A (zh) * 2006-12-19 2007-06-06 北京金山软件有限公司 骨骼动画的生成、实现方法/装置、游戏光盘以及外接卡

Also Published As

Publication number Publication date
KR20100138707A (ko) 2010-12-31
WO2010151075A3 (ko) 2011-03-31
EP2447908A4 (en) 2017-03-08
CN102483857A (zh) 2012-05-30
US20120169740A1 (en) 2012-07-05
EP2447908A2 (en) 2012-05-02
KR101640458B1 (ko) 2016-07-18
WO2010151075A2 (ko) 2010-12-29

Similar Documents

Publication Publication Date Title
US20230244306A1 (en) Technique for controlling virtual image generation system using emotional states of user
KR102296906B1 (ko) 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
CN102458595B (zh) 在虚拟世界中控制对象的系统、方法和记录介质
Laurentini et al. Computer analysis of face beauty: A survey
CN102483857B (zh) 图像装置及计算机可读记录介质
US9697635B2 (en) Generating an avatar from real time image data
CN101055647B (zh) 用于处理图像的方法、装置
JP6945375B2 (ja) 画像生成装置及びプログラム
CN109840825A (zh) 基于用户的物理特征的推荐系统
CN102470274A (zh) 自动生成视觉表示
CN104981830A (zh) 服装搭配系统和方法
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
CN110637324B (zh) 三维数据系统以及三维数据处理方法
JP2010017360A (ja) ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
KR101516465B1 (ko) 아바타 생성 방법 및 장치
Bouwer et al. The impact of the uncanny valley effect on the perception of animated three-dimensional humanlike characters
JP2007206751A (ja) アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2022505746A (ja) デジタルキャラクタブレンディング及び生成のシステム及び方法
CN116235208A (zh) 用于制作动画的方法、系统及非暂时性计算机可读记录介质
JP7095849B1 (ja) アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
TWI821710B (zh) 資訊處理裝置及資訊處理方法
Maddock et al. Movement realism in computer facial animation
CN117726725A (zh) 一种3d宠物角色生成控制方法及相关设备
Morishima Dive into the Movie

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150401

Termination date: 20170625

CF01 Termination of patent right due to non-payment of annual fee