CN105031919B - 用于增强现实角色维持并体现观察者的认知的方法 - Google Patents

用于增强现实角色维持并体现观察者的认知的方法 Download PDF

Info

Publication number
CN105031919B
CN105031919B CN201510379034.0A CN201510379034A CN105031919B CN 105031919 B CN105031919 B CN 105031919B CN 201510379034 A CN201510379034 A CN 201510379034A CN 105031919 B CN105031919 B CN 105031919B
Authority
CN
China
Prior art keywords
portable device
user
virtual role
augmented reality
cognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510379034.0A
Other languages
English (en)
Other versions
CN105031919A (zh
Inventor
T.米勒
G.维辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN105031919A publication Critical patent/CN105031919A/zh
Application granted granted Critical
Publication of CN105031919B publication Critical patent/CN105031919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供用于使得增强现实角色能够维持并体现观察者的认知的方法和系统。由用户手持的便携式设备被用来捕获真实环境的图像流，并生成包括虚拟角色的增强现实图像流。在便携式设备上向用户显示该增强现实图像流。当用户控制该便携式设备时，持续跟踪其位置和移动。虚拟角色配置以通过例如调整其凝视以注视在该便携式设备的方向上来展示用户的认知。

Description

用于增强现实角色维持并体现观察者的认知的方法
本分案申请是申请日为2011年2月14日、申请号为201180027017.0、发明名称为“用于增强现实角色维持并体现观察者的认知的方法”的分案申请。
技术领域
本发明涉及用于使得增强现实角色能够维持并体现观察者的认知的方法。
背景技术
视频游戏产业的新增部分包括便携式手持设备的使用。这样的便携式设备的示例包括专用游戏设备，诸如索尼电脑娱乐公司等制造的设备，以及诸如智能机、PDA、数字多媒体播放器之类的其他类型的便携式设备。因为这样的便携式设备的计算能力已经增大，所以便携式设备处理越发复杂的程序和任务的能力也增大了。
例如，如今的便携式设备可以包括集成于单一设备的几个不同类型的硬件。很多这样的设备可以包括彩色显示器、相机、扬声器和诸如按钮、触摸屏或手写笔(stylus)之类的输入机构。
在此背景下，提出发明的实施例。
发明内容
本发明的实施例提供用于增强现实角色维持并体现观察者的认知的方法和系统。应当明白，本发明可以以诸如处理、装置、系统、设备或计算机可读介质上的方法之类的多种方式来实现。以下描述本发明的几个有创造性的实施例。
在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实场景；其中指示认知的动作包括调整所述增强现实场景中所述虚拟角色指向所述便携式设备的观看方向。
在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实场景；其中指示认知的动作包括调整所述增强现实场景中在所述便携式设备的所述相机指向的位置的方向上所述虚拟角色的观看方向。
在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法，所述方法包括：通过便携式设备的相机捕获真实世界场景；基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式设备的显示器上绘制所述增强现实场景；追踪所述便携式设备的相机的方向；响应于追踪的所述相机的方向，调整所述虚拟角色的观看方向；其中当所述相机的方向指向所述虚拟角色时，那么调整所述虚拟角色的观看方向指向所述便携式设备；其中当所述相机的方向指向不同于所述虚拟角色的所述增强现实场景中的对象时，那么调整所述虚拟角色的观看方向指向所述增强现实场景中的对象。
在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法，所述方法包括：通过便携式设备的相机捕获真实世界场景；基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式设备的显示器上绘制所述增强现实场景；检测通过所述便携式设备的用户的手势；响应于检测到的通过所述用户的手势，调整所述虚拟角色的观看方向。
在一个实施例中，提供使得虚拟角色展示用户的位置或活动的认知的方法。根据该方法，通过检测便携式设备的位置来检测用户的位置。该便携式设备与用户基本上在同一位置(colocational)，并且由用户控制该便携式设备的位置和移动。该便携式设备包括相机和显示器。在该相机中捕获真实世界场景的第一图像流。基于该第一图像流生成第二图像流，该第二图像流包括增强现实场景，其通过将虚拟角色插入到在第一图像流中捕获的真实世界场景中来形成。虚拟角色配置以进行指示用户的位置或活动的认知的动作。第二图像流显示在便携式设备的显示器上。
在一个实施例中，虚拟角色到真实世界场景的插入包括在虚拟角色到在真实世界场景内识别出的表面上的放置。
根据另一实施例，便携式设备的位置的检测包括第一图像流内的定位器(anchor)的识别，该定位器在便携式设备的移动期间被跟踪。在各种实施例中，定位器可以包括真实世界场景内的增强现实标签或特征。
在一个实施例中，指示认知的动作的表演自动发生，而不要求来自用户的命令。
在一个实施例中，指示认知的动作包括调整虚拟角色的观看方向。
在一个实施例中，观看方向的调整是在便携式设备的位置的方向上，并且该方法进一步包括随着便携式设备在三维空间中移动而持续地更新观看方向的调整的方法操作。
在一个实施例中，虚拟角色的观看方向的调整包括虚拟角色的头部或眼睛的调整，以注视在便携式设备的方向上。
在另一实施例中，观看方向的调整是在便携式设备的相机所指向的位置的方向上。
在发明的替代实施例中，提供用于使得虚拟角色展示用户的位置或活动的认知的方法。根据该方法，在便携式设备的相机中捕获真实世界场景的第一图像流。该便携式设备与用户基本上在同一位置，并且由用户控制该便携式设备的位置和移动。识别和跟踪在第一图像流中的一个或多个标记，并且基于一个或多个标记的跟踪来跟踪便携式设备的位置和朝向。基于第一图像流生成第二图像流，第二图像流描绘参考第一图像流中的标记定位的虚拟现实场景。该虚拟现实场景包括虚拟角色，配置以进行指示用户的位置或活动的认知的动作。第二图像流显示在便携式设备的显示器上。
在发明的另一实施例中，提供用于提供与虚拟角色的用户互动性的方法。根据该方法，初始化与计算机程序的用户互动性。确定与计算机程序的虚拟角色的用户互动。在用户与虚拟角色互动期间检测来自用户的传感器数据。使用该传感器数据跟踪用户的位置。进一步根据该方法，在用户与虚拟角色互动期间检测虚拟角色的位置。并且，在用户与虚拟角色互动期间识别用户的位置与虚拟角色的位置之间的相对定位。识别用户与虚拟角色的互动的背景(context)。并且，也识别用于用户与虚拟角色的互动的背景的信令(signaling)属性。将信令属性施加到虚拟角色以通过虚拟角色传递用户的认知。
在一个实施例中，计算机程序提供虚拟现实环境，该虚拟现实环境包括虚拟角色。并且，与计算机程序的用户互动性包括与虚拟环境的互动性。
在另一实施例中，计算机程序提供增强现实环境，该增强现实环境包括虚拟角色。并且，与计算机程序的用户互动性包括与增强现实环境的互动性。
在一个实施例中，传感器数据包括由用户控制的便携式设备所捕获的图像流。并且，用户的位置的跟踪包括图像流内的标记的识别和跟踪以使能便携式设备的位置的确定。
在一个实施例中，用户与虚拟角色的互动的背景可以包括现实世界环境内的地点、虚拟环境内的地点或计算机程序内的平台。
在一个实施例中，信令属性可以包括虚拟角色的观看方向的调整、虚拟角色的移动或虚拟角色的手势。
从结合借助示例图示本发明的原理的附图采用的后续详细描述，本发明的其他方面将变得清晰。
附图说明
通过参考结合附图的后续描述可以最好地理解本发明，在附图中：
图1A图示依据发明的实施例的示例性便携式设备的前视图；
图1B图示依据发明的实施例的示例性便携式设备的后视图；
图2图示依据发明的实施例的、使用便携式设备观看增强现实场景的用户；
图3A图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；
图3B图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；
图4A图示依据发明的实施例的、当被用来观看增强现实场景时的便携式设备的特写视图；
图4B图示依据发明的实施例的、当被用来观看增强现实场景时的便携式设备的特写视图；
图5A图示依据发明的实施例的、被操作以指向不同方向的便携式设备的俯视图；
图5B和图5C图示依据发明的实施例的、与虚拟角色互动的用户和真实人的俯视图；
图6图示依据发明的实施例的、从用户角度看正被用来显示增强现实图像流的便携式设备的特写视图；
图7图示依据发明的实施例的、利用便携式设备观看增强现实场景的用户；
图8图示依据发明的实施例的、利用利用便携式设备观看增强现实场景的两个用户；
图9图示依据发明的实施例的、利用便携式设备观看增强现实场景的一组用户的俯视图；
图10图示依据发明的实施例的、用户在其中使用便携式设备观看增强现实场景的房间的视图；
图11图示依据发明的实施例的、从与虚拟角色互动的用户的角度观看的便携式设备的特写视图；
图12A图示依据发明的实施例的、认知对时间的曲线图；
图12B图示依据发明的实施例的、认知对时间的曲线图；
图12C图示依据发明的实施例的、认知对时间的曲线图；
图13A图示依据发明的实施例的、用于使得虚拟角色传递用户的认知的方法；
图13B图示依据发明的实施例的、用于虚拟角色展示虚拟角色知道人类在其世界中的地点的方法的流程图；以及
图14图示示出依据发明的实施例的便携式设备的组件的示图。
具体实施方式
下列实施例描述用于使能与增强现实角色的互动性的系统的方法和装置。在互动性期间，增强现实角色能够维持或体现观察者的认知。在一个实施例中，观察者是便携式设备的用户，其可以通过便携式设备的屏幕观看增强现实角色。随着用户在三维空间中四处移动便携式设备，增强现实角色可能回看用户。在一个实施例中，在三维空间中移动时，增强现实角色通过跟踪便携式设备的地点回看用户。增强现实角色回看用户的时间或次数取决于程序或用户与增强现实角色的互动性的接触。如果用户正在与增强现实角色互动，则通过将增强现实角色视作化身，该化身取决于互动性的背景和本性，可能仅在时间的特定点上体现认知。因此，现在将描述各种示例，其图示用于使得增强现实角色或对象展示或体现(或对)三维空间的某点的认知。
但是，对本领域技术人员来说，显而易见，可以不用这些具体细节的某一些或全部而实践本发明。在其他例子中，没有详细描述熟知的处理操作以便不会不必需地模糊本发明。
参考图1A，示出依据发明的实施例的示例性便携式设备10的前视图。该便携式设备10包括用于显示图形的显示器12。在发明的实施例中，利用显示器12以实时示出增强现实角色。在发明的各种实施例中，显示器12可以合并诸如触摸敏感性之类的各种显示技术中的任何一种。便携式设备10包括用于方便音频输出的扬声器14。来自扬声器14的音频输出可以包括有关增强现实角色的任何声音，诸如增强现实角色的声音、其他游戏声音、背景音乐(soundtrack)、来自远程玩家的声音或任何其他类型的声音。
便携式设备10包括按钮16和方向键盘18，其用作从便携式设备的用户接收输入的输入机构。在发明的实施例中，考虑任何各种其他输入机构可以包括在便携式设备10中。输入机构的其他示例可以包括手写笔、触摸屏、键盘、小键盘、触摸板、轨迹球、摇杆、触发器或可以用于接收用户输入的任何其他类型的输入机构。
提供正面相机20以捕获便携式设备10的用户或其他对象或场景(它们在便携式设备10的前方)的图像和视频。此外，包括麦克风22以从周围区域捕获音频，诸如便携式设备10的用户产生的声音或语音。
参考图1B，示出依据发明的实施例的便携式设备10的后视图。提供背面相机24用于捕获位于便携式设备10背面的对象或场景的图像和视频。可以实时地在显示器12上显示来自相机24的捕获视频，并且可以用虚拟对象增强，以提供显示给用户的增强现实场景。
此外，便携式设备10可以包括用于检测便携式设备10的位置和运动的各种传感器中的任何一种。在某些实施例中，便携式设备10可以包括陀螺仪、磁力计和加速度计中的一个或多个，以方便便携式设备10的位置和移动的检测。
已经以某种详细程度描述了前述示例性便携式设备，以便图示依据发明的实施例的便携式设备的一个可能实施例。但是，贯穿此说明书，对前面描述的示例仅是其一个示例的各种便携式设备做出参考。本发明的范围不打算以任何方式限制于任何具体便携式设备，而可以轻易地扩展到各种类型的便携式设备中的任何一种。便携式设备的示例包括便携式游戏设备、个人数字助理(PDA)、智能机、平板个人计算机、数码相机等。出于本公开的目的，便携式设备理解为能够由用户操作并能够向用户显示增强现实角色的任何设备。
参考图2，示出依据发明的实施例、使用便携式设备10观看增强现实场景的用户30。如所示，用户30手持便携式设备10以使背面相机24朝向桌子32。相机24捕获桌子32的图像流。此所捕获图像流用虚拟角色34实时增强以生成增强现实图像流。在用户30观看的便携式设备10的显示器上实时地显示增强现实图像流。
仅仅为了图示的目的，在图2中在桌子32上示出虚拟角色34。显然，虚拟角色34并不真实地存在于桌子32上，而是出现在用户30正在观看的增强现实图像流中，因此看似用户30位于桌子30上，如图2中所示。贯穿此说明书，将对配置以进行各种动作或体现特定特性的虚拟角色和虚拟对象做出参考。本领域技术人员将理解，这意味着虚拟角色或对象将像当由观察者在恰当的观看设备上观看时那样出现，该恰当的观看设备使得观察者能够观看增强现实图像流中的虚拟角色或对象。
在一个实施例中，虚拟角色34配置以展示便携式设备10的位置的认知。虚拟角色34可以配置以采用展示便携式设备10的位置的认知的各种动作中的任何一种。例如，虚拟角色34可以配置以注视在便携式设备10的方向上，从而看似虚拟角色34正在看用户30。或者，虚拟角色34可以配置以在便携式设备10的方向上移动，从而看似虚拟角色34正在朝向用户30移动。在大量的其他实施例中，虚拟角色34可以配置以采取任何展示便携式设备10的位置的认知的动作(或无动作，如果适当)。
可以应用用于生成增强现实图像流的各种技术中的任何一种，而不脱离本发明的范围。例如，在一个实施例中，增强现实(AR)标签可以放置在桌子32上，并且用作生成增强现实图像流的基准标记(fiduciary marker)。AR标签可以是在看似在真实环境的所捕获图像流中时被识别的对象或图形。AR标签用作使能真实环境内的地点的确定的基准标记。另外，所捕获图像流中的AR标签的视角失真(perspective distortion)指示AR标签的朝向。
可以基于AR标签的识别地点和朝向，通过叠加具有有关AR标签的地点和朝向的虚拟对象或角色，来生成增强现实图像流。例如，在一个实施例中，虚拟角色34可以定位在AR标签的顶部(例如，“站在”AR标签上)或与AR标签基本上在同一位置。在其他实施例中，虚拟角色34可以定位于靠近AR标签或远离AR标签。AR标签可以显示在增强现实图像流内，或从增强现实图像流中选择性地移除。
在一些实施例中，可以在同一环境下利用一个或多个AR标签。多个AR标签的使用提供由AR标签定义的多个参考点。在整个真实环境中散布的多个AR标签可以使能地点和朝向的更鲁棒的确定。这可以改进将虚拟对象放置在增强现实图像流中的精度，和/或可以提供更宽的操作范围，因为多个AR标签增大了在其上可以控制便携式设备10而仍然维持至少一个AR标签在便携式设备的相机24的视场内的有效区域。
在其他实施例中，可以出于基于所捕获图像流生成增强现实图像流的目的而应用各种图像分析和识别方法中的任何一种。例如，自然特征跟踪法或同时定位与映射(Simultaneous Location and Mapping；SLAM)方法可以应用于所捕获图像流以便生成增强现实图像流。自然特征跟踪方法通常需要在真实环境(与人为引入的基准相对)内检测和跟踪诸如纹理、边缘、角落等的“自然”特征。在本发明的其他实施例中，可以应用任何一个或多个图像分析方法以便基于所捕获图像流生成增强现实图像流。例如，可以采用AR标签和自然特征跟踪或SLAM方法的组合以便产生增强现实图像流。
依据发明的实施例，可以一直跟踪便携式设备10的位置。可以基于用来生成增强现实图像流的前述技术实现便携式设备10的位置的跟踪。例如，AR标签可以用作参考标记，其基于所捕获图像流内的AR标签的视角失真的检测，来使能便携式设备10相对AR标签的位置、朝向和移动的确定。可以采用多个AR标签来改进确定便携式设备10的位置和朝向的精度。或者，在其他实施例中，出于跟踪便携式设备10的位置和朝向的目的，可以采用自然特征跟踪方法。
另外，可以基于来自便携式设备10内的运动敏感硬件(诸如加速度计、磁力计或陀螺仪)的信息跟踪便携式设备10的移动。在一个实施例中，确定便携式设备10的初始位置，并且基于来自加速度计、磁力计或陀螺仪的信息确定便携式设备10相对该初始位置的移动。在其他实施例中，来自便携式设备10的诸如加速度计、磁力计或陀螺仪的运动敏感硬件的信息可以与诸如AR标签或自然特征跟踪技术的前述技术组合使用，以查明便携式设备10的位置和移动。
如继续参考图2所示，真实环境内的对象的位置可以参考坐标空间描述。在示出的实施例中，三维空间里的地点用笛卡尔坐标(x,y,z)表示，其中x和y是在水平方向上而z表示垂直方向。仅通过示例，所示便携式设备10的位置用坐标(0,-2,5)表示。此外，在真实环境中的虚拟角色34的出现位置(换言之，当其看似被定位在增强现实图像流中时)也可以用真实环境的坐标表示。在此情况下，虚拟角色34具有坐标(0,3,0)。便携式设备的地点被持续跟踪，并且可以用持续更新的坐标表示。类似地，虚拟角色34的地点也可以持续地确定并通过其对应的坐标表示。在本发明的其他实施例中，可以应用诸如柱面坐标或球面坐标之类的各种坐标系中的任何一种，而不脱离本发明的范围。
参考图3A，图示依据发明的实施例的、与虚拟角色34互动的用户30的俯视图。如所示，用户30正手持便携式设备10，并观看作为正在便携式设备10上显示的增强现实图像流的一部分的虚拟角色34。正在便携式设备10上由相机捕获为图像流的真实环境包括桌子32。将虚拟角色34插入所捕获图像流以形成增强图像流，其在便携式设备10上显示给用户30。在增强图像流中，生成虚拟角色34以位于桌子32上。
如所示，用真实环境的坐标系表示对象的地点。在示出的示例中，配置笛卡尔坐标系以使原点在桌子的角落。应该明白，坐标系的原点可以在空间内的任何地点，并且在本例子中仅作为一个示例提供。用坐标(-2,-4,4)表示便携式设备10的位置，并且虚拟角色34具有在(6,6,0)处的初始位置。
依据发明的实施例，虚拟角色34可以配置以体现便携式设备10的地点的认知。例如，虚拟角色34可以配置以注视在便携式设备10的方向上。或者，虚拟角色34可以配置以在便携式设备10的方向上移动。例如，如在图3A所示，虚拟角色34可以从坐标(6,6,0)处的初始地点移动到坐标(3,3,0)处的更靠近便携式设备10的位置。因此，虚拟角色34总是看似用户30朝向他移动，从而展示他的地点的认知。
此外，虚拟角色34可以配置以持续跟随便携式设备10的移动。如在图3B示出，用户30已经移动到新地点，因此已经将便携式设备10移动到坐标(6,-5,4)。在一个实施例中，虚拟角色34配置以通过例如在其移动时持续注视在便携式设备移动的方向上来跟踪此移动。在另一实施例中，虚拟角色34可以配置以调整其移动以在其移动时持续在便携式设备移动的方向上移动。这样，虚拟角色34体现便携式设备10的地点的明确认知，并且通过扩展体现用户30的地点的认知。
在发明的各种实施例中，指示对便携式设备10的地点的虚拟角色34的一部分的认知的、所进行的具体动作可以是像由用户30可识别那样的任何动作。仅通过示例，而不以限制的方式，指示认知的这种动作可以包括以下：注视在便携式设备的方向上、在便携式设备的方向上移动、产生声音、在便携式设备的方向上或以指示用户的认知方式的说话或除此以外的沟通、打手势、做脸部表情等。依据发明的各种实施例，可以通过虚拟角色进行指示便携式设备或用户的位置的认知的任何动作。
参考图4A，依据发明的实施例，示出正被用来观看增强现实场景时的便携式设备的特写视图。像是可以从用户的角度看见那样地示出便携式设备10。在背景中，示出桌子32，带有位于其上的可选AR标签。出于图示的目的，也示出位于桌子32的杯子42。依据上述方法，诸如杯子42的物品可以提供附加参考点，其用来跟踪便携式设备10的位置和移动。由便携式设备10处的相机将桌子32捕获为图像流的一部分。此所捕获图像流用虚拟角色34增强，以形成显示在便携式设备10的显示器12上的增强现实图像流。因此，当用户观看显示器12时，他能够看见在增强现实图像流中的虚拟角色34，仿佛虚拟角色34在真实环境中存在。
虚拟角色34配置以展示便携式设备10的位置的认知。因此，依据在图4A所示的一个实施例，虚拟角色34配置以注视在便携式设备10的方向上。
在图4B，便携式设备10已经相对于桌子32向不同的地点移动。跟踪便携式设备10的位置的此改变。并且，当跟踪便携式设备10的位置时，也调整虚拟角色34以注视在便携式设备10的方向上，由此展示便携式设备10的位置的认知。
参考图5A，依据发明的实施例，示出被操作以指向不同方向的便携式设备10的俯视图。如所示，指向便携式设备10以便便携式设备10的相机指向桌子32。同样出于图示的目的而示出杯子42。在一个例子中，控制便携式设备10以定位在地点50并且使其相机指向桌子32上的地点51。当便携式设备10的相机捕获桌子32的图像流时，此图像流用虚拟角色34增强，以生成增强现实图像流。此增强现实图像流显示在便携式设备10的显示器上。
当便携式设备10定位于地点50并朝向地点51时示出增强现实图像流的视图54。生成并配置虚拟角色34以看似它仿佛定位于增强现实图像流中的地点51。因此，虚拟角色看似站在增强现实图像流中的桌子32上。另外，虚拟角色34配置以体现便携式设备10的位置的认知，并且在此情况下，通过注视便携式设备34来体现这样的认知。
但是，虚拟角色34也可以配置以体现便携式设备10所朝向的方向的认知。依据如所示的一个实施例，虚拟角色34可以配置以注视在便携式设备10所指向的方向上。如继续参考图5所示，当相机定位于地点52处并朝向以使其相机指向地点53时，虚拟角色34配置以也看似注视在相同方向(即，朝向地点53)上。这由增强现实流的对应视图55图示，其中，虚拟角色34已经转而面对便携式设备指向的方向。以此方式，虚拟角色34可以配置以展示不只是便携式设备的位置的认知，还有其朝向，因此向用户提供与虚拟角色的增强互动体验。当用户注视虚拟角色(即，将便携式设备的相机指向在真实环境中的虚拟角色的“位置”)时，虚拟角色可能注视用户，而当用户远离虚拟角色地注视(即，将相机远离真实环境中的虚拟角色的“位置”地指向)时，虚拟角色注视在用户所注视的方向上。
参考图5B和图5C，依据发明的实施例示出与虚拟角色互动的用户和真实人的俯视图。如所示，在图5B，用户30手持便携式设备10，以使得其相机指向邻近第三方真实人16的区域。虚拟角色34配置以位于此区域，因此用户30在便携式设备10的显示器上观看虚拟角色34。虚拟角色34配置以体现用户30的位置或活动的认知，因此在所图示的实施例中，虚拟角色34注视在便携式设备10的方向上，从而看似用户30注视用户。在图5C，用户30将便携式设备10指向真实人56。虚拟角色34配置以反应用户30的活动，并且在此例子中，虚拟角色34配置以注视在便携式设备10朝向的对象(换而言之，真实人56)的方向上。
参考图6，示出依据发明的实施例、从用户的角度观看、用来显示增强现实图像流的便携式设备10的特写视图。便携式设备10包括用来捕获桌子32的图像流的相机，该桌子32描绘在图6的背景中。用虚拟角色34增强所捕获图像流以形成增强现实图像流。在一个实施例中，虚拟角色34配置以展示便携式设备10或用户的地点的认知。这可以通过例如配置虚拟角色34以注视在便携式设备10的方向上或在便携式设备10的方向上移动来实现。
另外，增强现实图像流可以包括诸如树木60和车辆62之类的附加虚拟元素。在发明的实施例中，增强现实图像流可以包括任何种类的虚拟元素，这些虚拟元素被添加到所捕获图像流，以形成增强现实图像流。在一些实施例中，可以参考真实环境中的具体地点或对象来生成虚拟元素，或可以配置以与真实环境中的对象互动。在其他实施例中，虚拟元素可以独立于真实环境中的对象存在。在一些实施例中，虚拟元素可以移动或与真实环境中的对象互动。在一些实施例中，虚拟元素可以位于真实环境中的固定地点。在一些实施例中，虚拟元素可以替代真实环境中的对象。
在发明的各种实施例中，在增强现实图像流所基于的图像流中捕获的任何数量的真实世界元素都可以用虚拟元素替代，包括用虚拟元素完全替代真实世界图像流。增强现实图像流可以具有真实世界元素与虚拟元素的任何混合或相对比例。
虽然通常从增强现实场景(基于真实世界场景的所捕获图像流生成)的角度描述发明的实施例，但应该认识到，本发明的原理也可以应用于具有虚拟现实角色的虚拟现实场景(无可见的真实世界元素)。继续参考图6，在本发明的替代实施例中，在显示器12上显示虚拟现实图像流。参考依据上述原理捕获的真实世界场景生成虚拟现实图像流。并且，便携式设备10的地点和朝向可以基于真实世界图像流和以前讨论过的其他传感器的分析来确定。但是，向用户显示的视频可以专门由参考真实世界环境定位的虚拟环境组成。以此方式，用户经由便携式设备观看虚拟世界，而虚拟世界位置上联系于真实世界，从而用户可以以自然方式关于虚拟世界控制便携式设备10。本领域技术人员应当明白，本发明的原理可以应用于虚拟现实场景在便携式设备10上被显示给用户的实施例，而不脱离本发明的范围。
参考图7，示出依据发明的实施例、利用便携式设备10观看增强现实场景的用户30。便携式设备10包括背面相机(未示出)，其捕获包括桌子32的图像流。所捕获图像流用虚拟角色34增强，以形成在便携式设备10的显示器12上显示的增强现实图像流。另外，便携式设备10包括正面相机20，其捕获用户10的图像流。可以实时地分析此用户图像流以确定关于用户的各种参数并向用户提供功能性和互动性的附加模式。
例如，在一个实施例中，可以分析用户图像流以确定用户的更精确的位置(与仅基于便携式设备10的位置的用户的近似位置相对)。或者，在另一实施例中，通过分析用户图像流来确定用户的面部表情。在一个实施例中，通过用户图像流的分析来跟踪用户面对的方向和/或用户眼睛的移动，以确定用户注视或面对的地方。在另一实施例中，可以分析用户图像流以确定用户的手势，诸如指向、挥手等。在本发明的又一实施例中，可以确定涉及用户的或用户的身体属性，诸如眼睛颜色、皮肤类型、衣服颜色等。在本发明的各种其他实施例中，可以基于用户图像流的分析确定用户各种类型的表情、移动、位置或其他性质中的任何一种，而不脱离本发明的范围。
如上所述，可以配置虚拟角色34以展示从用户图像流的分析确定的各种性质的认知。例如，基于更精确地确定的用户30的地点，虚拟角色34可以配置以例如在用户30的方向上注视或移动来展示用户的位置的认知。在另一实施例中，虚拟角色可以至少部分基于用户图像流的分析，配置以注视在用户30被确定正在注视的方向上。
在一个实施例中，虚拟角色34配置以反应用户的面部表情。例如，虚拟角色34可以提供对用户30的各种表情的恰当响应，诸如，当用户表达开心时展示兴奋。在一个实施例中，虚拟角色34配置以通过展示类似类型的表情来响应用户30的表情。例如，虚拟角色34可以配置以当用户30在虚拟角色的方向上挥手时挥手。虚拟角色34可以体现各种面部表情和手势中的任何一种，以将表情传递给用户30并且展示用户的表情和手势的认知。
在一个实施例中，虚拟角色34配置以展示用户指向哪里的认知，如同基于便携式设备10的正面相机20捕获的用户图像流的实时分析所确定的那样。如继续参考图7所示，用户30正指向方向70上。虚拟角色34可能最初正注视用户30。正面相机20捕获的用户图像流被分析以确定用户指向的方向。并且，虚拟角色34配置以随后通过注视在同一方向上来反应用户在方向70上的指向。在另一实施例中，虚拟角色可以配置以在用户30指向的方向上移动。在本发明的其他实施例中，虚拟角色可以配置以响应于用户在给定方向上的指向(诸如在给定方向上攻击敌人或点燃武器，或其他类型的动作)来进行任何类型的动作。
在另一实施例中，便携式设备10的背面相机可以被利用以检测用户30的手势。例如，继续参考图7，在替代实施例中，用户30可以在便携式设备10背面移动它们的手以被便携式设备10的背面相机捕获。因此，用户的手包括在由背面相机捕获的图像流中。分析此图像流以检测用户的手的出现以及解读用户的手做出的任何手势。例如，用户的手可以以特定方式打手势，诸如，指向、挥动、摆动、召唤、抓取等。检测这些手势并可以被用来影响增强现实图像流中的虚拟对象。该虚拟对象可以以指示用户活动的认知来响应于这样的手势。
虽然参考包括正面和背面相机的便携式设备描述了前述示例，但对本领域技术人员应该明白，便携式设备可以包括具有用于检测用户的动作和手势以及捕获真实环境的图像流的各种朝向的任何数量的相机。
参考图8，依据发明的实施例，示出利用便携式设备以观看增强现实场景的两个用户。如所示，用户80手持便携式设备81，而用户82手持便携式设备83。用户80和用户82站在桌子32的相对侧，而它们各自的便携式设备指向桌子。便携式设备81和83每一个都包括捕获真实环境的图像流的相机，真实环境包括桌子和处于相机的视场中的周边区域。用同一虚拟角色34增强这些所捕获图像流中的每一个，以形成平行的增强现实图像流。便携式设备81和83抑或直接(例如，经由无线连接)抑或间接(例如，经由诸如计算机、游戏系统、网络设备或某种其他计算设备等的补充设备(未示出))地互相链接，以使得在便携式设备81和83每一个上示出同一增强现实场景，但依据它们各自的地点和朝向从不同的视角(perspective)示出。
继续参考图8，图示如同用户80在其便携式设备81上所看见的增强现实场景的视图84。如所示，虚拟角色34正在注视用户80。同时，用户82在其便携式设备83上看见视图86。如视图86所示，虚拟角色34正在远离用户82地注视并朝向用户80。依据发明的实施例，虚拟角色34可以配置以反应并展示用户位置和动作两者的认知。在所示的示例中，用户82产生噪声或语音。此噪声由用户82的便携式设备83的麦克风检测。虚拟角色34配置以通过注视在噪声的方向上，即，注视在便携式设备83的方向上，以对该噪声反应，因此展示便携式设备83的位置的认知，并扩展到用户82的位置。这通过用户82所看见的视图87图示，其中虚拟角色34现在已经转向面对用户82。类似地，用户80所看见的视图85图示虚拟角色34已经从用户80转开并朝向用户82。以此方式，虚拟角色34的注意力和认知可以从一个用户转移到另一用户，他们两者都集中观看同一增强现实场景。
虽然已经参考两个用户描述了前述示例，但在其他实施例中，任何数量的用户可以正在观看同一增强现实环境，并且虚拟角色可以配置以展示这些用户的位置和动作中的任何一个的认知。通过示例，虚拟角色可以通过在给定用户的方向上注视、移动、说话或打手势或采取展示给定用户的位置和/或活动的认知的任何其他类型的动作，来展示多个用户的位置和动作的认知。
参考图9，依据发明的实施例，示出利用便携式设备观看增强现实场景的一组用户的俯视图。第一用户90手持便携式设备91；第二用户92手持便携式设备93；第三用户94手持便携式设备95；而第四用户96手持便携式设备97。虽然所示的具体示例图示了四个手持便携式设备的用户，但本领域技术人员应当明白，依据发明的各种实施例，可以提供任何数量的手持便携式设备的用户。便携式设备91、93、95、97中的每一个包括用于捕获真实环境的图像流的相机。在此情况下，便携式设备91、93、95、97的相机通常朝向桌子32。以此方式，便携式设备的相机全部朝向同一真实环境场景，因此捕获相同场景的图像流，但取决于便携式设备91、93、95、97的地点和朝向从不同的视角捕获。来自每一个便携式设备中的每一个所捕获图像流用同一虚拟角色34增强，以形成来自便携式设备91、93、95、97中的每一个的视角的增强现实图像流。虚拟角色34将取决于它们各自的便携式设备中的每一个被用来观看增强现实场景的视角而看似与用户90、92、94和96中的每一个不同。为了方便于此，便携式设备91、93、95和97经由补充设备抑或直接地抑或间接地互相链接，以在不同的便携式设备中的每一个中提供对来自不同视角的同一增强现实场景的集体实时观看。以此方式，用户90、92、94和96中的每一个能够同时与同一增强现实场景互动—并且更具体地，与同一虚拟角色34互动。
应该明白，虚拟角色34可以配置以展示用户的位置的认知的各种方式来反应多个用户90、92、94和96并与之互动。例如，虚拟角色34可以配置以通过在用户的方向上注视或移动来将其注意力指向一个用户。在一个实施例中，这可以基于一个用户的检测到的运动或声音而发生。用户的运动或声音可以由配置以检测来自具体用户的图像和声音的、用户的便携式设备的麦克风和相机来捕获。作为示例，虚拟角色34可以朝向一个用户注视。另一个用户可以挥动其手，说些什么，或提供某种其他手势，以获得虚拟角色34的注意。此手势或声音由用户的便携式设备来检测，并且虚拟角色34随后可以响应于该手势或声音转向那个用户。
在发明的各种其他实施例中，虚拟角色34可以配置以抑或自愿抑或响应于从一个或多个用户接收到的某种输入，采取任何类型的动作，其展示便携式设备和/或手持它们的用户的位置的认知。例如，在一个实施例中，虚拟角色34可以以系统化方式从一个用户注视到另一用户。或者，在另一实施例中，虚拟角色34可以注视同一用户，直到其注意力从那个用户因为另一用户进行的动作而吸引走并朝向该另一用户为止。除了在给定用户的方向上注视或移动之外，虚拟角色34还可以通过在用户和/或它们的便携式设备的方向上说话、改变面部表情、移动其眼睛、投掷物体、点燃武器或任何其他类型的动作来展示用户的位置的认知，以展示用户的位置的认知。
已经参考一个虚拟角色一般地描述了前述实施例。但是，在本发明的其他实施例中，可以存在任何数量的虚拟角色，其每一个都可以展示正在经由此处描述的便携式设备观看增强现实场景的各种用户中的任何一个的位置的认知。
本领域技术人员将实现大量可能的应用，而不脱离本发明的范围。仅通过示例而不是限制的方式，此处描述一些可能的应用。例如，在一个实施例中，作为增强现实场景的一部分出现的虚拟角色可以配置以作为表演者行动，该表演者与用各自的便携式设备观看同一增强现实场景的各种用户中的任何一个互动。这样的互动可以包括注视在用户的方向上、朝向用户打手势或指示用户的位置的认知的其他类型的动作。以此方式，一组用户可以借助于由虚拟角色对每一个用户的位置的清楚认知提供的增强互动性，从不同视角观看虚拟角色的相同表演。
在其他相关实施例中，可以存在若干虚拟角色，每一个都配置以作为表演者行动。这样的一组虚拟角色可以配置以协同方式(诸如以音乐组、舞蹈组、杂技组等)表现。或者，这样一组虚拟角色可以配置以较少协同的方式或以每一个虚拟角色以独立方式表现的方式表现。每一个组中的虚拟角色可以展示正在经由它们的各自的便携式设备观看增强现实场景的一个或多个各种用户的认知。
本领域技术人员将依据目前描述的实施例实现各种变型而不脱离本发明的范围。例如，在一个实施例中，可以应用前述原理以仿真多个用户观看一个或多个表演者、其中每一个表演者可以展示用户的位置的认知的环境。在另一实施例中，多个用户可以集中观看虚拟讲师或虚拟小组讨论等，其中每一个虚拟角色展示用户的位置的认知。在另一实施例中，多个用户可以集中参与游戏和集中观看虚拟游戏主机，该虚拟游戏主机以展示用户的位置的认知的方式与用户互动。在其他实施例中，虚拟角色可以是动物、宠物、基于动画的角色、基于人类的角色、外星人或展示用户的位置的认知的任何其他类型的角色。
参考图10，依据发明的实施例，示出用户30正在其中使用便携式设备10观看增强现实场景的房间100的视图。如所示，房间100包含各种元素和特征，诸如，图片102、门104和窗户106。由便携式设备10的相机在图像流中捕获这些和其他特征。当用户30控制便携式设备10时，分析所捕获图像流以使能便携式设备10的位置和朝向的确定，并使能控制便携式设备的移动的跟踪。可以利用包括在便携式设备10中的板载设备(诸如，加速度计、磁力计和/或陀螺仪)来增强便携式设备10的位置、朝向和移动的确定。
房间100的真实环境的所捕获图像流用虚拟角色110实时增强。如所示，虚拟角色110配置以通过例如在便携式设备10的方向上注视、面对、打手势或移动来展示用户30的位置的认知。另外，可以配置增强现实场景以具有诸如虚拟角色112之类的其他虚拟角色。因此，在图10示出的示例中，当用户30将便携式设备10转向他的右边时，在便携式设备10上显示的增强现实图像流将包括虚拟角色112的图像。此虚拟角色112也可以通过例如在便携式设备10的方向上注视、面对、打手势或移动来展示用户30的位置的认知。以此方式，用户30可以体验并与包含展示用户的位置的认知的多个虚拟角色的增强现实环境互动。当用户围绕给定真实环境移动时，增强现实场景中的一个或多个虚拟角色可以以展示用户的位置的认知的方式来与用户互动，并且当她在真实环境内移动时可以跟踪用户的移动。
参考图11，依据发明的实施例，示出从与虚拟角色34互动的用户的视角观看的便携式设备10的特写视图。在所示实施例中，便携式设备10包括捕获包括在背景中示出的桌子32的图像流的相机。所捕获图像流用各种元素增强，以产生增强现实图像流，其显示在便携式设备10的显示器12上。如所示，增强现实图像流包括虚拟轨迹116，并且虚拟角色34配置以在虚拟轨迹116上驾驶虚拟车辆114。虚拟角色34配置以展示用户的位置的认知。因此，在一个实施例中，当虚拟角色34沿着虚拟轨迹116朝向用户或更靠近用户来驾驶虚拟车辆114时，虚拟角色34可以注视在用户的方向上。然而，当虚拟角色34沿着虚拟轨迹116驾驶虚拟车辆114远离用户或者离用户更远时，虚拟角色34可以不注视在用户的方向上。在各种其他实施例中，虚拟用户34可以通过进行诸如以不同速度驾驶(例如，减速)、做出脸部表情等的其他动作来展示用户的位置的认知。
如上所述，在替代实施例中，虚拟现实环境(与增强现实环境相对)可以基于真实环境的所捕获图像流来生成。在这样的实施例中，虚拟现实图像流的虚拟元素参考真实环境的元素定位，基于真实环境的所捕获图像流的分析来检测该真实环境的元素。例如，如图11所述，虚拟轨迹116、虚拟车辆114和虚拟角色34参考诸如桌子32的真实环境的元素定位。生成描绘虚拟现实环境的虚拟现实图像流并显示在便携式设备10的显示器12上。因此，当参考由便携式设备的相机持续捕获的真实环境定位虚拟环境时，用户在便携式设备10上观看虚拟现实场景而不是真实世界场景，但能够通过物理地控制便携式设备10来移动该便携式设备10到虚拟环境内的不同位置。
在发明的各种实施例中，可以存在由虚拟角色展示的用户的位置的认知的不同级别。例如，在一些实施例中，虚拟角色展示认知的具体动作的性质可以是可变的。例如，虚拟角色以展示用户位置的认知这样的方式注视用户的时间的百分比可以变化。或者，虚拟角色在用户的方向上移动的范围(extent)可以变化。在其他实施例中，关联于展示用户的位置的认知的动作的任何性质可以是可变的，以提供虚拟角色体现的认知的不同级别。
另外，认知的不同级别可以由展示用户的位置的认知的活动的各种组合来定义。例如，认知的一个级别可以由在用户的方向上的虚拟角色注视来定义。而认知的另一个级别可以由在用户的方向上的虚拟角色注视以及在用户的方向上的移动的组合来定义。本领域技术人员应该理解，在发明的各种实施例中，指示用户的位置的认知的动作的各种组合中的任何一种可以用来定义认知的不同级别。此外，展示认知的动作的性质和这样的动作的组合可以整合以便定义可以由虚拟角色体现的用户的位置的认知的各种级别。
虽然已经参考具体动作的表演描述了认知的各种级别，但应该明白，认知的级别也可以指示采取指示用户的位置的认知的具体动作的能力的变化，而无论该具体动作是否实际上由虚拟角色表演。因此，例如，认知的一个级别可以由有能力注视在用户的方向上的虚拟角色定义。但是，注视在用户的方向上的虚拟角色的表演除非由用户的活动(诸如移动、手势、声音或其他活动)触发而实际上可以不发生。在发明的各种实施例中，可以通过进行指示用户的位置的认知的给定动作的能力来对虚拟角色定义认知的级别，而无论该给定动作是否实际上进行。
虚拟角色展示的用户的位置的认知的级别可以随着时间改变。此认知级别的变化可以由用户的具体动作引起，或可以对依赖于或独立于用户的动作的变化程度发生。在一些实施例中，认知级别随着时间的变化是离散的。在其他实施例中，认知级别随着时间的变化是连续的。在再其他实施例中，认知级别随着时间的变化可以体现离散和连续改变的组合。
参考图12A，依据发明的实施例，示出认知对时间的曲线图，图示虚拟角色的认知随着时间的离散改变。如所示，该曲线图的区域120图示认知的基本级别。此认知的基本级别可以实际上指示虚拟角色将不体现用户的位置的认知，或者虚拟角色将体现用户的位置的最小量认知。在区域121，虚拟角色体现用户的位置的认知的第一级别。在区域122，虚拟角色体现用户的位置的认知的第二级别。并且，在区域123，虚拟角色体现用户的位置的认知的第三级别。在一个实施例中，认知的第一、第二和第三级别定义由虚拟角色体现的用户的位置的认知的增大级别。例如，第一级别可以由在用户的方向上的虚拟角色注视定义。第二级别可以附加包括在用户的方向上的虚拟角色移动。并且，第三级别可以进一步包括在用户的方向上的虚拟角色打手势。在发明的各种实施例中，认知的任何具体级别可以由动作或由动作的组合或者采取展示用户的位置的认知的这样的动作的能力来定义。认知的级别定义的各种动作和/或能力在一些实施例中对于增大级别而可以是附加或累加的，或在其他实施例中而可以是对不同级别而不同的。
参考图12B，依据发明的实施例，示出认知对时间的曲线图，其图示虚拟角色体现的用户的认知的级别的变化。如所示，虚拟角色所展示的认知的级别以连续方式、随着时间的各种区域改变，在时间的各种区域中，认知的级别改变或维持稳定状态。例如，在区域130和134中，虚拟角色的认知的级别逐渐增大。在区域131和135中，虚拟角色的认知的级别达到顶峰，而在区域132和136中，虚拟角色的认知的级别逐渐下降。在区域133和137中，虚拟角色的认知的级别维持恒定状态。
仅通过示例而不是限制的方式提供前述所示实施例。在发明的各种实施例中，虚拟角色体现的认知的级别可以在任何数量的级别之间变化。认知的级别可以正在持续地改变，体现认知的恒定级别的时间周期，体现连续和离散改变的混合等。在一些实施例中，虚拟角色可以在体现的用户的认知的级别上体现周期变化。例如，虚拟角色可以配置以体现认知的不同级别之间的振荡变化。或者，在其他实施例中，虚拟角色可以体现以周期方式发生的其他类型的变化。
此外，认知的级别或这样的级别的变化可以联系到用户体验的各种方面。例如，如果用户正在玩游戏，则虚拟角色体现的认知的级别可以取决于玩游戏的时期(stage)或响应于用户的动作、选择或某个其他活动而改变。因此，通过示例，在一个实施例中，在游戏的一个阶段或时期期间，虚拟角色体现用户的认知的特定级别，而在游戏的另一阶段或时期期间，虚拟角色体现认知的不同级别。在玩游戏的阶段或时期中的变化的示例可以包括这样的转换：如虚拟角色到具体区域的移动、目标的完成、前进到游戏的新级别、开始新任务、用具体设备/物品/武器等装备虚拟角色，或玩游戏时的任何其他类型的变化，以便可以配置以引起虚拟角色体现的用户的认知的级别中的变化。从认知的一个级别到另一个级别的转换可以是离散的或连续的。
在一些实施例中，可以基于虚拟角色从事的活动来确定认知的级别。因此，在一个活动中，虚拟角色可以体现认知的特定级别，而对于另一活动，虚拟角色可以体现认知的不同级别。在一个实施例中，可以为给定活动、地点、时期或认知的其他决定因素提供认知简档，该认知简档指示认知的级别和关联于各种输入的认知的级别的变化或关联于虚拟角色的参数的变化。例如，在一个实施例中，当虚拟角色位于给定区域中时，对应认知简档可以指定由虚拟角色体现的用户的认知的级别可以具有特定范围。而当虚拟角色位于不同区域中时，那个区域的对应认知简档可以指定与虚拟角色体现的认知的级别不同的范围。这仅是认知简档的实现的一个示例，并且本领域技术人员应该明白，在本发明的其他实施例中，认知简档可以应用于关联于虚拟角色或用户的各种类型的参数中的任何一种，诸如地点、活动、级别、时期、输入等。
参考图12C，依据发明的实施例，示出认知对时间的曲线图。曲线138.1图示随着时间由虚拟角色体现的用户的认知的级别。在发明的各种实施例中，随着时间监控的虚拟角色的认知可以用来借助增强现实环境影响用户体验的其他方面中的变化。例如，音量级别可以涉及认知的级别。在一个实施例中，音量可以配置以随着认知的级别的增大而增大。或者，诸如包含虚拟角色的区域之类的增强现实的具体部分的音量级别可以配置以涉及认知的级别。在另一实施例中，缩放级别可以涉及认知的级别。例如，在一个实施例中，当认知的级别增大时，增强现实场景的用户的视图可以在虚拟角色上放大。
在再其他实施例中，增强现实场景的用户的体验的各种其他方面可以由虚拟角色体现的认知的级别中的变化影响。例如，在一些实施例中，由认知的级别可以影响增强现实场景的色彩方案。在一个实施例中，增强现实场景或虚拟角色的色彩饱和的级别涉及虚拟角色体现的认知的级别。例如，色彩饱和可以随着认知的级别的增大而增大。或者，在另一实施例中，围绕虚拟角色的区域的色彩饱和可以配置以随着认知的级别的增大而下降，因此加强增强现实场景内的虚拟角色的视觉显示。可以由认知的级别影响的增强现实场景的用户体验的方面的前述示例仅通过示例提供而不是限制的方式。在本发明的其他实施例中，增强现实场景的用户体验的任何方面都可以配置以基于认知的级别中的变化而改变。
在各种实施例中，由认知的级别影响的增强现实场景的方面与认知的级别之间的关系可以具有任何类型的关系。继续参考图12C，曲线138.2、138.3、138.4和138.5图示用于基于认知的级别控制增强现实场景的方面的曲线。例如，增强现实场景的方面可以直接地或线性地相关于认知的级别。曲线138.2图示这样的实施例，该曲线138.2通过添加常数到认知曲线138.1的级别上生成。曲线138.3也图示这样的关系，该曲线138.3通过将认知曲线138.1的级别乘以常数生成。在其他实施例中，要控制的增强现实的方面的关系对认知的级别翻转。曲线138.4图示这样的实施例，该曲线138.4代表曲线138.1的翻转。
在本发明的其他实施例中，其他类型的关系可以用来基于虚拟角色体现的认知的级别来控制增强现实体验的方面。例如，可以根据认知曲线的级别的一阶导数控制增强现实体验的方面。曲线138.5图示认知曲线138.1的级别的一阶导数。在一个实施例中，一阶导数直接用来控制增强现实体验的方面。在另一实施例中，可以以预测方式使用一阶导数以预期认知的将来级别，并且相应地调整增强现实体验的方面。增强现实场景的方面和认知的级别之间的关系的类型的前述示例仅通过示例而不是以限制的方式提供。在本发明的其他实施例中，该关系可以是根据其来基于认知的级别控制增强现实场景的方面的任何类型的关系。
参考图13A，依据发明的实施例，示出用于使得虚拟角色传递用户的认知的方法。在方法操作140中，初始化与计算机程序的用户互动性。该计算机程序配置以接收由手持的或以其他方式与用户连接或关联的便携式设备的相机拍摄真实环境的所捕获图像流，并生成包括虚拟角色的增强现实图像流。增强现实图像流在便携式设备上向用户显示。在方法操作142中，做出关于用户是否正与虚拟角色互动的确定。如果确定不存在与虚拟角色的互动，则该方法停止或继续检查这样的互动，直到确定用户正在与虚拟角色互动为止。
如果确定用户正与虚拟角色互动，则方法前进到方法操作144，其中在用户与虚拟角色互动期间检测来自用户的传感器数据。传感器数据可以包括对确定用户和/或便携式设备的位置、朝向及其变化有用的各种类型的数据的任何一种。例如，传感器数据可以包括便携式设备的相机拍摄的所捕获图像流、来自诸如加速度计、磁力计或陀螺仪的运动传感硬件的数据和来自对跟踪用户的位置有用的其他类型的传感器的数据。在方法操作146中，所检测的传感器数据用来在与虚拟角色互动期间跟踪用户的位置。在方法操作148中，在与虚拟角色互动期间检测虚拟角色的位置。并且，在方法操作150中，识别在该用户与该角色互动期间在用户的位置与虚拟角色的位置之间的相对定位。
在方法操作152中，识别互动性的背景。所识别出的互动性的背景可以包括涉及用户与虚拟角色互动的该背景的各种特征和属性中的任何一种。例如，背景可以包括如日期时间、虚拟角色的地点、互动的设置(诸如玩游戏的阶段或时期)、现实和虚拟两者的物品的存在或缺失等的属性。在方法操作154中，对互动性的背景识别信令属性。在方法操作156中，在互动期间施加该信令属性到虚拟角色以通过该虚拟角色传递用户的认知。
参考图13B，依据发明的实施例，示出图示用于虚拟角色展示该虚拟角色知道人类在他的世界中的哪里的方法的流程图。根据该方法，虚拟角色通过各种传感器的使用确定人类相对于它自己在哪里。当该人类身体绕着虚拟角色移动时，该虚拟角色进行展示角色知道人类在他的世界中的哪里的各种动作。在方法操作158.1中，集中来自各种传感器的数据输入。各种传感器可以包括加速度计、全球定位系统(GPS)、陀螺仪、磁力计、相机和对确定位置和移动有用的其他类型的传感器。传感器可以包括在用户手持的便携式设备中，或者以其他方式与人类在同一位置。或者，在其他实施例中，传感器可以通过其他机构与人类定位在同一位置上，诸如通过附着在人类的身体或衣服上。
在方法操作158.2中，进行确定相对虚拟世界原点的人类位置的处理。虚拟世界可以参考真实世界中的标记或定位器定位和定向。可以应用诸如SLAM的定位方法或一些其他类型的定位方法以使能相对虚拟世界原点的人类位置的确定。在方法158.3中，确定相对人类位置的虚拟角色的位置。
在方法操作158.4中，将虚拟角色的信令属性定向为朝向人类。该信令属性是进行以展示角色知道人类在他的世界中的哪里的虚拟角色的动作。例如，身体朝向、头部朝向、眼睛朝向、武器朝向或声音朝向以及其他类型的信号属性，可以定向为朝向人类以展示虚拟角色知道人类位于哪里。
参考图14，依据发明的实施例，示出图示便携式设备10的组件的示图。该便携式设备10包括用于执行程序指令的处理器160。出于存储目的而提供存储器162，并且可以包括易失性和非易失性存储器两者。包括提供用户可以观看的视觉界面的显示器164。电池166作为便携式设备10的电源来提供。运动检测模块186可以包括各种类型的运动敏感硬件中的任何一种，诸如，磁力计170、加速度计172和陀螺仪174。
加速度计是用于测量加速度和重量引起的反作用力的设备。单个和多个轴模型可用于检测不同方向上的加速度的量值和方向。加速度计用于感应倾角、颤动和抖动。在一个实施例中，使用三个加速度计172来提供重力的方向，其给出2个角度的绝对参考(世界空间俯仰(pitch)和世界空间滚转(roll))。
磁力计测量控制器附近的磁场的强度和方向。在一个实施例中，在控制器中使用三个磁力计170，确保世界空间偏转(yaw)角的绝对参考。在一个实施例中，设计磁力计以跨越±80微特斯拉的地球磁场。磁力计受金属影响，并提供与实际偏转单调的偏转测量。由于环境中的金属的缘故，磁场可以扭曲(warp)，这引起偏转测量的偏离(warp)。如果必要，则可以使用来自诸如陀螺仪或相机的其他传感器的信息来校准此偏离。在一个实施例中，加速度计172与磁力计170一同使用以获得便携式设备10的倾角和方位角(azimuth)。
陀螺仪是基于角动量的原理测量或维持朝向的设备。在一个实施例中，三个陀螺仪基于惯性传感提供关于越过各自轴(x、y和z)的运动的信息。陀螺仪帮助检测快速旋转。但是，陀螺仪可以随着时间(overtime)漂移(drift)而无绝对参考的存在。这要求周期性地重置陀螺仪，这可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/朝向确定的其他可用信息来实现。
提供相机176用于捕获真实环境的图像和图像流。在便携式设备10中可以包括多于一个的相机，包括背面相机(当用户正在观看便携式设备的显示器时远离用户地指向)和正面相机(当用户正在观看便携式设备的显示器时朝着用户指向)。另外，可以在便携式设备中包括深度相机178用于传感对象在真实环境中的深度信息。
便携式设备10包括用于提供音频输出的扬声器180。同样，可以包括麦克风182，用于从真实环境捕获音频，包括来自周围环境的声音、用户做出的语音等。便携式设备10包括用于提供触觉反馈给用户的触觉反馈模块184。在一个实施例中，触觉反馈模块184能够引起便携式设备10的移动和/或颤动以向用户提供触觉反馈。
提供LED 186作为便携式设备10的状况的视觉指示器。例如，LED可以指示电量、电源接通等。提供读卡器188以使得便携式设备190能够从存储器卡读取信息和向存储器卡写入信息。包括USB接口190作为使能外围设备的连接或与诸如其他便携式设备、计算机等的其他设备的连接的接口的一个示例。在便携式设备10的各种实施例中，可以包括各种类型的接口中的任何一种以使能便携式设备10的更大的连接性。
包括WiFi模块192以使能经由无线联网技术与因特网的连接。同样，便携式设备10包括用于使能与其他设备的无线连接的蓝牙模块194。也可以包括通信链路196，用于与其他设备的连接。在一个实施例中，通信链路196使用红外传输用于无线通信。在其他实施例中，通信链路196可以使用用于与其他设备通信的各种无线或有线的传输协议中的任何一种。
包括输入按钮/传感器198以为用户提供输入接口。可以包括各种类型的输入接口中的任何一种，诸如，按钮、触摸板、操纵杆、轨迹球等。超声通信模块200可以包括在便携式设备10中，用于经由超声技术方便与其他设备的通信。
便携式设备10的前述组件已经仅作为包括在便携式设备10中的示例性组件描述。在发明的各种实施例中，便携式设备10可以或可以不包括各种前述组件的一些。出于方便这里描述本发明的方面的目的，便携式设备10的实施例可以附加地包括目前未描述而现有技术中已知的其他组件。
前述便携式设备及其包括的组件构成用于初始化与计算机程序的互动性的装置，以及用于确定与虚拟角色的交互的装置。便携式设备构成用于在与虚拟角色交互期间检测来自用户的传感数据的装置，以及在与虚拟角色交互期间使用传感器数据跟踪用户位置的装置。便携式设备构成用于在与虚拟角色交互期间检测虚拟角色的位置的装置，以及用于在用于与虚拟角色交互期间识别用户的位置和虚拟角色的位置之间的相对位置的装置。
便携式设备构成用于识别交互性的背景的装置，以及用于识别交互性的背景的信令属性的装置。另外，便携式设备构成用于施加信令属性到虚拟角色以在交互期间通过虚拟角色传递用户的认知的装置。
本发明的实施例可以以包括手持设备、微处理器系统、基于微处理器或可编程的消费电子设备、微型计算机、大型机等的各种计算机系统配置实施。发明也可以在由通过基于有线的或无线的网络链接的远程处理设备进行任务的分布式计算环境中实施。
借助于记忆中的以上实施例，应当明白，本发明可以采用包括存储在计算机系统中的数据的各种计算机实现的操作。这些操作是要求物理量的物理处理的那些操作。这里描述的形成发明的一部分的任何操作都是有用的机器操作。本发明也涉及用于进行这些操作的设备或装置。该装置可以是为了要求的目的而特别构建的，或者该装置可以是由存储在计算机中的计算机程序选择性激活或配置的通用目的计算机。特别地，各种通用目的机器可以与依据这里的教导写出的计算机程序一起使用，或者更方便的是构建更专门的装置来进行要求的操作。
本发明也可以具体化为计算机可读介质上的计算机可读代码。该计算机可读介质是可以存储数据的任何数据存储设备，该数据可以在以后由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附连存储器(NAS)、只读存储器、随机访问存储器、CD-ROM、CD-R、CD-RW、磁盘和其他光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦接计算机系统上的计算机可读有形介质，从而计算机可读代码以分布式存储和执行。
尽管以特殊顺序描述了方法操作，但应当明白，其他内务操作可以在操作之间进行，或者可以调整操作从而它们在略微不同的时间出现，或可以分布在允许以关联于处理的各种间隔的处理操作的出现的系统中，只要以所要的方式进行叠加操作的处理。
尽管出于理解清晰的目的已经在一定详细程度上描述了前述发明，但应该明白，可以在所附权利要求的范围内实施特定改变和改进。因此，本实施例认为是示意性而非限制性的，并且发明不限制于这里给出的细节，而是可以在所附权利要求范围和其等效物内修改。

Claims (28)

1.一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，
检测便携式设备的位置，所述便携式设备与所述用户在同一位置，所述便携式设备包括相机和显示器；
在所述相机中捕获真实世界场景；
生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；
在所述便携式设备的显示器上显示所述增强现实场景；
其中指示认知的动作包括调整所述增强现实场景中所述虚拟角色指向所述便携式设备的观看方向。
2.如权利要求1的所述方法，其中，所述虚拟角色的观看方向的调整包括所述虚拟角色的头部和眼睛的调整，以注视在所述便携式设备的方向上。
3.如权利要求1的所述方法，其中，所述虚拟角色到所述真实世界场景的插入包括所述虚拟角色在所述真实世界场景中识别出的表面上的放置。
4.如权利要求1的所述方法，其中，所述便携式设备的位置的检测包括识别定位器，所述定位器在所述便携式设备的移动期间被跟踪。
5.如权利要求4的所述方法，其中，所述定位器从由所述真实世界场景内的一个或多个增强现实标签和一个或多个特征构成的组中选择。
6.如权利要求1的所述方法，其中，指示认知的动作的进行自动发生，而不要求来自所述用户的命令。
7.如权利要求1的所述方法，还包括：
随着所述便携式设备在三维空间中移动而持续地更新所述观看方向的调整。
8.一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，
检测便携式设备的位置，所述便携式设备与所述用户在同一位置，所述便携式设备包括相机和显示器；
在所述相机中捕获真实世界场景；
生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；
在所述便携式设备的显示器上显示所述增强现实场景；
其中指示认知的动作包括调整所述增强现实场景中在所述便携式设备的所述相机指向的位置的方向上所述虚拟角色的观看方向。
9.如权利要求8的所述方法，其中，所述虚拟角色的观看方向的调整包括所述虚拟角色的头部和眼睛的调整，以注视在所述便携式设备的所述相机指向的位置的方向上。
10.如权利要求8的所述方法，其中，所述虚拟角色到所述真实世界场景的插入包括所述虚拟角色在所述真实世界场景中识别出的表面上的放置。
11.如权利要求8的所述方法，其中，所述便携式设备的位置的检测包括识别定位器，所述定位器在所述便携式设备的移动期间被跟踪。
12.如权利要求11的所述方法，其中，所述定位器从由所述真实世界场景内的一个或多个增强现实标签和一个或多个特征构成的组中选择。
13.如权利要求8的所述方法，其中，指示认知的动作的进行自动发生，而不要求来自所述用户的命令。
14.如权利要求8的所述方法，还包括：
随着所述便携式设备在三维空间中移动而持续地更新所述观看方向的调整。
15.一种用于提供与虚拟角色的用户互动性的方法，所述方法包括：
通过便携式设备的相机捕获真实世界场景；
基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；
在所述便携式设备的显示器上绘制所述增强现实场景；
追踪所述便携式设备的相机的方向；
响应于追踪的所述相机的方向，调整所述虚拟角色的观看方向；
其中当所述相机的方向指向所述虚拟角色时，那么调整所述虚拟角色的观看方向指向所述便携式设备；
其中当所述相机的方向指向不同于所述虚拟角色的所述增强现实场景中的对象时，那么调整所述虚拟角色的观看方向指向所述增强现实场景中的对象。
16.如权利要求15的所述方法，其中通过所述虚拟角色从原始观看方向转向面对所述便携式设备的最终观看方向，限定指向所述便携式设备的所述虚拟角色的观看方向的调整。
17.如权利要求15的所述方法，其中通过所述虚拟角色从原始观看方向转向面对所述对象的最终观看方向，限定指向所述对象的所述虚拟角色的观看方向的调整。
18.如权利要求15的所述方法，其中生成所述增强现实场景包括所述虚拟角色在所述真实世界场景中识别出的表面上的放置。
19.如权利要求15的所述方法，还包括：
通过识别定位器检测所述便携式设备的位置，所述定位器在所述便携式设备的移动期间被跟踪；
其中通过指向检测到的所述便携式设备的位置的所述观看方向的调整，限定指向所述便携式设备的所述虚拟角色的观看方向的调整。
20.如权利要求19的所述方法，其中，所述定位器从由所述真实世界场景内的一个或多个增强现实标签和一个或多个特征构成的组中选择。
21.如权利要求15的所述方法，其中，调整所述虚拟角色的观看方向自动发生，而不要求来自所述用户的命令。
22.如权利要求15的所述方法，还包括：
随着所述便携式设备在三维空间中移动而持续地更新所述观看方向的调整。
23.一种用于提供与虚拟角色的用户互动性的方法，所述方法包括：
通过便携式设备的相机捕获真实世界场景；
基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；
在所述便携式设备的显示器上绘制所述增强现实场景；
检测通过所述便携式设备的用户的手势；
响应于检测到的通过所述用户的手势，调整所述虚拟角色的观看方向。
24.如权利要求23的所述方法，其中检测通过所述便携式设备的用户的手势包括通过所述便携式设备的第二相机捕获所述用户的图像，并且分析所述用户的捕获图像以识别通过所述用户的手势。
25.如权利要求23的所述方法，其中检测通过所述用户的手势包括识别所述用户指向的方向，并且其中调整所述虚拟角色的观看方向指向识别的所述用户指向的方向。
26.如权利要求23的所述方法，通过基于检测到的手势所述虚拟角色从原始观看方向转向最终观看方向，限定指向所述便携式设备的所述虚拟角色的观看方向的调整。
27.如权利要求23的所述方法，其中生成所述增强现实场景包括所述虚拟角色在所述真实世界场景中识别出的表面上的放置。
28.如权利要求23的所述方法，还包括：
随着所述便携式设备在三维空间中移动并且响应于检测到的通过用户的手势，持续地更新所述观看方向的调整。
CN201510379034.0A 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法 Active CN105031919B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US31902110P 2010-03-30 2010-03-30
US61/319,021 2010-03-30
US12/963,585 US9901828B2 (en) 2010-03-30 2010-12-08 Method for an augmented reality character to maintain and exhibit awareness of an observer
US12/963,585 2010-12-08
CN201180027017.0A CN103079661B (zh) 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180027017.0A Division CN103079661B (zh) 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法

Publications (2)

Publication Number Publication Date
CN105031919A CN105031919A (zh) 2015-11-11
CN105031919B true CN105031919B (zh) 2018-08-07

Family

ID=44709121

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510379034.0A Active CN105031919B (zh) 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法
CN201180027017.0A Active CN103079661B (zh) 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180027017.0A Active CN103079661B (zh) 2010-03-30 2011-02-14 用于增强现实角色维持并体现观察者的认知的方法

Country Status (5)

Country Link
US (2) US9901828B2 (zh)
CN (2) CN105031919B (zh)
BR (1) BR112012025005B1 (zh)
MX (1) MX2012011425A (zh)
WO (1) WO2011123192A1 (zh)

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535192B2 (en) * 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP4743305B2 (ja) * 2009-01-06 2011-08-10 ソニー株式会社 境界定義による機能制御方法、境界定義による機能制御システム、境界定義による機能制御サーバ及びプログラム
US9573064B2 (en) * 2010-06-24 2017-02-21 Microsoft Technology Licensing, Llc Virtual and location-based multiplayer gaming
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
US8611594B2 (en) * 2010-09-10 2013-12-17 Apple Inc. Dynamic display of virtual content on several devices using reference tags
JP5814532B2 (ja) * 2010-09-24 2015-11-17 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US9041743B2 (en) 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
WO2012071463A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
US20120231887A1 (en) * 2011-03-07 2012-09-13 Fourth Wall Studios, Inc. Augmented Reality Mission Generators
US8998722B2 (en) 2011-03-07 2015-04-07 Nant Holdings Ip, Llc Domain-based game interfaces and servers
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9495773B2 (en) * 2011-10-24 2016-11-15 Nokia Technologies Oy Location map submission framework
US9171384B2 (en) 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US9250713B2 (en) * 2011-12-05 2016-02-02 Microsoft Technology Licensing, Llc Control exposure
KR101574099B1 (ko) * 2011-12-20 2015-12-03 인텔 코포레이션 다수의 장치에 걸친 증강 현실 표현
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
CN107320949B (zh) * 2012-02-06 2021-02-02 索尼互动娱乐欧洲有限公司 用于增强现实的书对象
US9277367B2 (en) * 2012-02-28 2016-03-01 Blackberry Limited Method and device for providing augmented reality output
US8704070B2 (en) * 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
US20130260360A1 (en) * 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
CN103391357A (zh) * 2012-05-09 2013-11-13 北京千橡网景科技发展有限公司 与移动终端相关的方法和装置
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
EP2871609B1 (en) * 2012-07-04 2021-09-01 Sony Group Corporation Device and method for supporting farm works, program, recording medium and system for supporting farm works
US9674419B2 (en) 2012-07-31 2017-06-06 Hewlett-Packard Development Company, L.P. Web-linked camera device with unique association for augmented reality
KR102009928B1 (ko) * 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
KR102051418B1 (ko) * 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) * 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9141188B2 (en) * 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
WO2014078416A1 (en) * 2012-11-13 2014-05-22 Nant Holdings Ip, Llc Systems and methods for identifying narratives related to a media stream
US9851783B2 (en) * 2012-12-06 2017-12-26 International Business Machines Corporation Dynamic augmented reality media creation
EP3734555A1 (en) 2012-12-10 2020-11-04 Sony Corporation Display control apparatus, display control method, and program
WO2014111947A1 (en) * 2013-01-21 2014-07-24 Pointgrab Ltd. Gesture control in augmented reality
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9286323B2 (en) 2013-02-25 2016-03-15 International Business Machines Corporation Context-aware tagging for augmented reality environments
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US20140253430A1 (en) * 2013-03-08 2014-09-11 Google Inc. Providing events responsive to spatial gestures
US9566509B2 (en) * 2013-03-12 2017-02-14 Disney Enterprises, Inc. Adaptive rendered environments using user context
CN104981833A (zh) * 2013-03-14 2015-10-14 英特尔公司 替代现实角色的异步显示
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9489772B2 (en) 2013-03-27 2016-11-08 Intel Corporation Environment actuation by one or more augmented reality elements
EP2790126B1 (en) * 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3028479A4 (en) 2013-07-30 2016-12-21 Nokia Technologies Oy POSITION CONFIGURATION INFORMATION
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
GT201400009S (es) * 2013-08-09 2015-02-12 Terminal de información portátil
CA154923S (en) * 2013-08-09 2014-11-27 Sony Computer Entertainment Inc Portable electronic multimedia device
US10217284B2 (en) * 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
WO2015048749A1 (en) * 2013-09-30 2015-04-02 Interdigital Patent Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
TWI525553B (zh) * 2013-10-23 2016-03-11 Inst Information Industry Expansion of the real system and methods
WO2015066037A1 (en) * 2013-10-28 2015-05-07 Brown University Virtual reality methods and systems
CN103793222A (zh) * 2013-11-01 2014-05-14 中兴通讯股份有限公司 一种移动设备管理的方法、服务器及系统
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
CN106133760A (zh) * 2014-02-18 2016-11-16 西博互动有限公司 用于获得连接型玩具装置的实时玩耍场景的真实反映的系统及其使用方法
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
HK1198318A2 (zh) * 2014-07-09 2015-03-27 Senmedia Ltd 基於 標記的增強現實系統
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US10015402B2 (en) * 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
WO2016162952A1 (ja) * 2015-04-07 2016-10-13 三菱電機株式会社 空気調和機のメンテナンスサポートシステム
WO2016168788A2 (en) * 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Containerized communications gateway
CN104966318B (zh) * 2015-06-18 2017-09-22 清华大学 具有图像叠加和图像特效功能的增强现实方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
KR102583243B1 (ko) * 2015-10-08 2023-09-27 한국과학기술원 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법
US20190121515A1 (en) * 2015-10-15 2019-04-25 Sony Corporation Information processing device and information processing method
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
WO2017090298A1 (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
CN105488834B (zh) * 2015-12-01 2019-03-19 网易（杭州）网络有限公司 角色面部朝向的调整方法及装置
WO2017096062A1 (en) 2015-12-04 2017-06-08 Sony Interactive Entertainment America Llc Method and apparatus for awarding trophies
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
CN105786672B (zh) * 2016-03-10 2018-05-01 杨威 一种针对虚拟现实环境的监控系统及其监控方法
EP3217379A1 (en) * 2016-03-10 2017-09-13 Nokia Technologies Oy Avatar-enforced spatial boundary condition
US10482663B2 (en) * 2016-03-29 2019-11-19 Microsoft Technology Licensing, Llc Virtual cues for augmented-reality pose alignment
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
CN109643153A (zh) * 2016-06-06 2019-04-16 杜瓦娱乐有限公司 用于影响增强现实的虚拟对象的设备
WO2017211802A1 (en) * 2016-06-07 2017-12-14 Koninklijke Kpn N.V. Capturing and rendering information involving a virtual environment
US10245507B2 (en) 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
CN106200958B (zh) * 2016-07-08 2018-11-13 西安交通大学城市学院 一种动态调整用户认知负荷的智能空间增强现实方法
US10359858B2 (en) * 2016-09-07 2019-07-23 Disney Enterprises, Inc. Systems and methods for simulating sounds of a virtual object using procedural audio
CN108021226B (zh) * 2016-11-03 2021-07-20 深圳劲嘉盒知科技有限公司 基于产品包装的ar内容互动实现方法及装置
CN106445171B (zh) * 2016-11-11 2019-05-07 上海远鉴信息科技有限公司 虚拟现实中多个操作同步控制方法及系统
MY195155A (en) * 2016-11-11 2023-01-11 Ericsson Telefon Ab L M Supporting an Augmented-Reality Software Application
CN106582016B (zh) * 2016-12-05 2018-05-08 湖南简成信息技术有限公司 基于增强现实的运动游戏控制方法及控制装置
JP6298523B1 (ja) * 2016-12-26 2018-03-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN110495190B (zh) * 2017-04-10 2021-08-17 雅马哈株式会社 语音提供设备、语音提供方法和程序记录介质
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
CN108874115B (zh) * 2017-05-11 2021-06-08 腾讯科技（深圳）有限公司 会话场景展示方法、装置和计算机设备
US10339334B2 (en) * 2017-05-25 2019-07-02 Ca, Inc. Augmented reality captcha
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
US10991265B2 (en) * 2017-08-02 2021-04-27 Tata Consultancy Limited Services Systems and methods for intelligent generation of inclusive system designs
US11394898B2 (en) 2017-09-08 2022-07-19 Apple Inc. Augmented reality self-portraits
EP3682310B1 (en) * 2017-09-11 2024-07-17 Google LLC Switchable virtual reality and augmented reality device
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
CN111052045B (zh) * 2017-09-29 2022-07-15 苹果公司 计算机生成的现实平台
IL311263A (en) 2017-12-14 2024-05-01 Magic Leap Inc Context-based processing of virtual characters
CN109931923B (zh) 2017-12-15 2023-07-07 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
CN114860187A (zh) * 2018-01-03 2022-08-05 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
US11014242B2 (en) 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US11210826B2 (en) * 2018-02-02 2021-12-28 Disney Enterprises, Inc. Systems and methods to provide artificial intelligence experiences
US11256460B2 (en) * 2018-02-05 2022-02-22 Disney Enterprises, Inc. Digital companion device with display
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
CN108958475B (zh) * 2018-06-06 2023-05-02 创新先进技术有限公司 虚拟对象控制方法、装置及设备
US10748342B2 (en) * 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
US10528132B1 (en) * 2018-07-09 2020-01-07 Ford Global Technologies, Llc Gaze detection of occupants for vehicle displays
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
CN109191586A (zh) * 2018-08-23 2019-01-11 昆明理工大学 一种基于感知的增强现实交互方法
US10854004B2 (en) * 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
US11157739B1 (en) 2018-08-31 2021-10-26 Apple Inc. Multi-user computer generated reality platform
US10789781B2 (en) * 2018-09-03 2020-09-29 Playdeo Limited Interactive frame-synchronized augmented video
CN111131692B (zh) * 2018-10-31 2021-09-10 苹果公司 用于使用机器学习创建增强现实自摄像的方法和系统
KR102581146B1 (ko) 2018-11-23 2023-09-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN109701271A (zh) * 2018-12-24 2019-05-03 网易（杭州）网络有限公司 显示图标的方法、装置和系统
US11403823B2 (en) 2019-02-14 2022-08-02 Lego A/S Toy system for asymmetric multiplayer game play
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
CN110060678B (zh) * 2019-04-16 2021-09-14 深圳欧博思智能科技有限公司 一种基于智能设备的虚拟角色控制方法及智能设备
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues
US20220266159A1 (en) * 2019-08-20 2022-08-25 Lego A/S Interactive music play system
CN111240476B (zh) * 2020-01-06 2021-06-08 腾讯科技（深圳）有限公司 基于增强现实的交互方法、装置、存储介质和计算机设备
CN111632377A (zh) * 2020-06-08 2020-09-08 浙江商汤科技开发有限公司 射击轨迹的展示方法、装置、电子设备及存储介质
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111881861B (zh) * 2020-07-31 2023-07-21 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
CN112929750B (zh) * 2020-08-21 2022-10-28 海信视像科技股份有限公司 一种摄像头调节方法及显示设备
USD965686S1 (en) * 2020-11-11 2022-10-04 Shenzhen Moorechip Technologies Co., Ltd Handheld game console
CN114693890B (zh) * 2020-12-31 2024-09-10 华为技术有限公司 一种增强现实交互方法及电子设备
US11574423B2 (en) 2021-01-29 2023-02-07 Boomanity Corp. A Delaware Corporation Augmented reality (AR) object communication and interaction system and method
KR20220115433A (ko) 2021-02-10 2022-08-17 삼성전자주식회사 Ar 객체를 표시하는 방법 및 전자 장치
CN113204282B (zh) * 2021-04-12 2024-04-05 领悦数字信息技术有限公司 交互装置、交互方法、计算机可读存储介质以及计算机程序产品
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
CN114201046B (zh) * 2021-12-10 2023-12-01 北京字跳网络技术有限公司 注视方向优化方法、装置、电子设备及存储介质
CN114344906B (zh) * 2022-01-11 2024-08-20 腾讯科技（深圳）有限公司 虚拟场景中伙伴对象的控制方法、装置、设备及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3922373A1 (de) * 1989-07-07 1991-01-17 Mannesmann Kienzle Gmbh Einrichtung zur erhoehung (aufrundung) eines fahrpreises
US5724561A (en) * 1995-11-03 1998-03-03 3Dfx Interactive, Incorporated System and method for efficiently determining a fog blend value in processing graphical images
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
DE59803158D1 (de) 1998-03-07 2002-03-28 Claussen Claus F Verfahren und vorrichtung zur auswertung eines bewegungsmusters
AU2001284375A1 (en) * 2000-09-07 2002-03-22 Omnisky Corporation Coexistent interaction between a virtual character and the real world
JP3701614B2 (ja) * 2001-03-09 2005-10-05 株式会社ソニー・コンピュータエンタテインメント 仮想空間制御プログラム、仮想空間制御プログラムを記録した記録媒体、プログラム実行装置、仮想空間制御方法
AU2003201032A1 (en) 2002-01-07 2003-07-24 Stephen James Crampton Method and apparatus for an avatar user interface system
JP4054585B2 (ja) 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7296747B2 (en) * 2004-04-20 2007-11-20 Michael Rohs Visual code system for camera-equipped mobile devices and applications thereof
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US8226011B2 (en) * 2005-04-06 2012-07-24 Eidgenoessische Technische Hochshcule Zuerich Method of executing an application in a mobile device
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
US20080262911A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Search in Virtual Reality for Real Time Communications
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
US7809789B2 (en) * 2007-10-25 2010-10-05 Brian Mark Shuster Multi-user animation coupled to bulletin board
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
KR20090067822A (ko) * 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
JP5039922B2 (ja) * 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications

Also Published As

Publication number Publication date
US9901828B2 (en) 2018-02-27
BR112012025005A2 (pt) 2022-01-11
US10137374B2 (en) 2018-11-27
CN103079661B (zh) 2015-08-05
CN105031919A (zh) 2015-11-11
CN103079661A (zh) 2013-05-01
MX2012011425A (es) 2013-04-03
US20110242134A1 (en) 2011-10-06
WO2011123192A1 (en) 2011-10-06
BR112012025005B1 (pt) 2022-10-25
US20180185757A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN105031919B (zh) 用于增强现实角色维持并体现观察者的认知的方法
US9933851B2 (en) Systems and methods for interacting with virtual objects using sensory feedback
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
CN106575159B (zh) 手套接口对象
CN103119628B (zh) 利用运动特性的显示器上三维用户界面效果
US20160363997A1 (en) Gloves that include haptic feedback for use with hmd systems
LaViola et al. 3D spatial interaction: applications for art, design, and science
CN111356968A (zh) 基于检测到的手输入渲染虚拟手姿势
EP3364272A1 (en) Automatic localized haptics generation system
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN107533369A (zh) 带有外围装置的手套指尖的磁性跟踪
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN103249461A (zh) 用于使得手持设备能够捕获交互应用的视频的系统
CN108700944B (zh) 与在虚拟现实环境中的运动有关的系统和方法
JP2015014995A (ja) 表示装置、表示方法、プログラム及び表示システム
CN110140100A (zh) 三维增强现实对象用户界面功能
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7354466B1 (ja) 情報処理システムおよびプログラム
JP7412617B1 (ja) 情報処理システムおよびプログラム
JP7412613B1 (ja) 情報処理システムおよびプログラム
Loviscach Playing with all senses: Human–Computer interface devices for games
KR102477531B1 (ko) 음성인식 기능이 구비된 가상 환경 제어 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant