CN105843396A - 在共享的稳定虚拟空间上维持多视图 - Google Patents

在共享的稳定虚拟空间上维持多视图 Download PDF

Info

Publication number
CN105843396A
CN105843396A CN201610220654.4A CN201610220654A CN105843396A CN 105843396 A CN105843396 A CN 105843396A CN 201610220654 A CN201610220654 A CN 201610220654A CN 105843396 A CN105843396 A CN 105843396A
Authority
CN
China
Prior art keywords
user
view
hands
virtual
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610220654.4A
Other languages
English (en)
Other versions
CN105843396B (zh
Inventor
G.维辛
T.米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/947,290 external-priority patent/US8730156B2/en
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN105843396A publication Critical patent/CN105843396A/zh
Application granted granted Critical
Publication of CN105843396B publication Critical patent/CN105843396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

呈现了用于使用便携式设备控制虚拟场景的视图的方法、装置和计算机程序。在一种方法中，接收信号，并且同步所述便携式设备，以使得所述便携式设备的定位为三维(3D)空间中的参考点。围绕所述参考点在3D空间中生成虚拟场景，所述虚拟场景包括虚拟现实元素。此外，所述方法确定所述便携式设备相对于所述参考点在3D空间中的当前位置，并且创建虚拟场景的视图。所述视图表现如从所述便携式设备的当前位置观看并且具有基于所述便携式设备的当前位置的视角的虚拟场景。此外，在所述便携式设备中显示创建的视图，并且当由用户在3D空间中移动所述便携式设备时，改变所述虚拟场景的视图。

Description

在共享的稳定虚拟空间上维持多视图
本申请是申请日为2011年1月24日、申请号为201180022611.0、发明名称为“在共享的稳定虚拟空间上维持多视图”的专利申请的分案申请。
技术领域
本发明涉及用于利用便携式设备控制虚拟场景的视图的方法、设备和计算机程序，并且更具体地涉及用于在虚拟或增强现实中实现多人交互的方法、设备和计算机程序。
背景技术
虚拟现实(VR)是计算机模拟的环境，不管该环境是真实世界还是虚构世界的模拟，其中用户可以通过使用标准输入设备或专用多方向输入设备与虚拟环境或虚拟实体对象(VA)交互。模拟的环境可以类似于真实世界，例如用于飞行员或战斗训练的模拟，或者其可以显著不同于现实，如在VR游戏中。虚拟现实经常用于描述通常与其沉浸式、高度虚拟的3D环境相关联的多种应用。计算机辅助设计(CAD)软件的发展、图像硬件加速、头戴式显示器、数据库手套(database gloves)和小型化已经帮助普及该概念。
增强现实(AR)提供物理真实世界环境的现场视图，物理真实世界环境的元素与虚拟的计算机生成的图像合并(或由虚拟的计算机生成的图像增强)以创建混合现实。增强传统上实时和具有环境元素的语义背景，诸如比赛期间电视上的体育比分。利用先进AR技术(例如，添加计算机视觉和对象识别)的帮助，关于用户的周围真实环境的信息变为交互式和可数字地使用。
术语扩增虚境(AV)也用在虚拟现实世界中，并且类似于AR。扩增虚境也指真实世界对象合并到虚拟世界中。作为虚拟连续统(VirtualityContinuum)中的中间情况，AV指占主导地位的虚拟空间，其中动态集成物理元素(例如，物理对象或人)，并且物理元素可以实时与虚拟世界交互。除非另外指定，在本申请中使用术语VR作为通用术语，其也包含AR和AV。
VR游戏典型地需要大量计算机资源。在VR游戏的手持设备中实施是稀有的，并且现有游戏是具有基本VR效果的过分简化。此外，多人AR游戏允许虚拟世界中游戏者的交互，但是该交互限于虚拟世界中由游戏者操纵的对象(例如，车辆、球拍、球等)。虚拟世界是计算机生成的，并且不取决于游戏者和便携式设备的定位。当创建“真实”虚拟现实体验时，没有考虑游戏者相互以及游戏者相对于他们的环境的相对定位。
本发明的实施例在此背景下出现。
发明内容
本发明的实施例提供用于利用便携式设备控制虚拟场景的视图的方法、设备和计算机程序。应该理解，本发明可以以多种方式实施，诸如过程、装置、系统、设备或计算机可读介质上的方法。下面描述本发明的若干创新性实施例。
在方法的一个实施例中，接收信号，并且同步所述便携式设备，以使得所述便携式设备的定位为三维(3D)空间中的参考点。围绕所述参考点在3D空间中生成虚拟场景，所述虚拟场景包括虚拟现实元素。此外，所述方法确定所述便携式设备相对于所述参考点在3D空间中的当前位置，并且创建虚拟场景的视图。所述视图表现如从所述便携式设备的当前位置观看并且具有基于所述便携式设备的当前位置的视角的虚拟场景。此外，在所述便携式设备中显示创建的视图，并且当由用户在3D空间中移动所述便携式设备时，改变所述虚拟场景的视图。在另一方法中，共享虚拟现实并且相互交互的多个游戏者观看虚拟现实中的对象。
在又一方法中，呈现了用于在各设备之间共享虚拟场景的方法。所述方法包括用于同步第一设备到三维(3D)空间中的参考点，并且用于相对于所述第一设备的定位计算第二设备的定位的操作。此外，所述方法的操作包括在所述第一设备和所述第二设备之间交换信息，以使得所述第二设备同步到3D空间中的参考点。所述信息包括所述参考点和所述第一设备和第二设备的定位。此外，方法操作用于围绕所述参考点在3D空间中生成虚拟场景。所述虚拟场景由两个设备共用，在设备与所述虚拟场景交互时，所述虚拟场景在两个设备中同时改变。创建所述虚拟场景的视图，如使用基于便携式设备的当前位置的视角从所述第一设备的当前位置观看，并且在所示第一设备中显示创建的视图。通过当便携式设备在3D空间中移动时，改变所述虚拟场景的显示的视图，所述方法继续。
在又一实施例中，执行方法用于使用第一设备控制虚拟场景的视图。所述方法包括用于同步所述第一设备到第一三维(3D)空间中的第一参考点。在另一操作中，建立所述第一设备和第二设备之间的通信链路。所述第二设备处于所述第一3D空间外部的第二3D空间，所述第二设备同步到所述第二3D空间中的第二参考点。此外，执行方法操作，用于生成包括虚拟现实元素的公共虚拟场景，其中所述公共虚拟场景可由第一和第二设备两者观察。所述第一设备围绕所述第一参考点建立所述公共虚拟场景，所述第二设备围绕所述第二参考点建立所述公共虚拟场景。两个设备能够与所述虚拟现实元素交互。此外，所述方法包括用于确定所述第一设备相对于所述参考点在所述第一3D空间中的当前位置的操作。所述视图表现如从所述第一设备的当前位置观看并且具有基于所述第一设备的当前位置的视角的公共虚拟场景。在所述第一设备中显示创建的视图，以及当所述第一设备在所述第一3D空间中移动时，所述公共虚拟场景的显示的视图改变。
在另外实施例中，方法操作使用便携式设备控制虚拟场景的视图。在一个操作中，同步便携式设备到所述便携式设备所位于的三维(3D)空间中的参考点。所述便携式设备包括面对所述便携式设备的前部的前部相机以及面对所述便携式设备的后部的后部相机。此外，执行操作用于围绕所述参考点在3D空间中生成虚拟场景。所述虚拟场景包括虚拟现实元素。确定所述便携式设备相对于所述参考点在3D空间中的当前位。在另一方法操作中，创建所述虚拟场景的视图。所述视图捕获如从持有所述便携式设备的游戏者的3D空间中当前眼睛位置看到的虚拟场景的表现，所述捕获对应于游戏者通过进入虚拟场景的窗口看到的。3D空间中窗口的位置等价于所述便携式设备中显示器的3D空间中的位置。所述方法还包括用于在所述显示器中显示创建的视图，并且用于当所述便携式设备或游戏者在3D空间中移动时，改变所述虚拟场景的显示的视图的操作。
在更多一个实施例中，便携式设备用于与增强现实交互。所述便携式设备包括定位模块、虚拟现实生成器、视图生成器和显示器。定位模块用于确定所述便携式设备所位于的3D空间中所述便携式设备的位置，其中在所述便携式设备接收用于同步的信号时，所述便携式设备的位置设为3D空间中的参考点。虚拟现实生成器围绕所述参考点在3D空间中创建虚拟场景。所述虚拟场景包括虚拟现实元素。此外，视图生成器创建所述虚拟场景的视图，其中所述视图表现如从所述便携式设备的位置观看并且具有基于所述便携式设备的位置的视角的虚拟场景。此外，显示器用于显示所述虚拟场景的视图。当所述便携式设备在3D空间中移动时，在所述显示器中示出的场景改变。
在其它实施例中，当由一个或多个计算机运行时，嵌入计算机可读存储介质中的计算机程序用于实施本发明的方法。
在又一实施例中，提供了一种方法，包括：
通过手持设备，接收由远程设备发送的远程真实世界场景的远程图像，由远程用户操作的所述远程设备与一用户操作的手持设备通信；
使用手持设备捕获本地真实世界场景的本地图像；
通过结合远程图像和捕获的本地图像以及一个或多个虚拟现实对象，创建用于呈现在手持设备的显示屏幕上的增强视图，其中所述增强视图提供邻近效果以模拟远程用户和所述用户共享包括所述一个或多个虚拟现实对象的空间；
当用户手延伸进入本地真实世界场景中时，在捕获的本地图像中检测用户手；
当在捕获的本地图像中检测到时，将用户手增加到所述增强视图中；
当用户手在所述增强视图中与所述一个或多个虚拟现实对象中的第一虚拟现实对象进行虚拟接触时，基于用户手与所述第一虚拟现实对象的交互生成交互数据；
基于所述交互数据更新所述增强视图，其中所述交互数据在所述显示屏幕上模拟用户手正在与所述第一虚拟现实对象交互；以及
将所述交互数据以及一个或多个本地真实世界的捕获的本地图像从所述手持设备传输到所述远程设备，使得所述远程设备基于所述交互数据呈现包括对所述第一虚拟现实对象的改变的视图。
在又一实施例中，提供了一种方法，包括：
使用与多个用户相关联的多个手持设备捕获真实世界场景的图像，所述图像在所述多个手持设备相互邻近并且位于所述真实世界场景中或靠近所述真实世界场景；
通过结合捕获的图像以及一个或多个虚拟现实对象，创建用于呈现在多个手持设备的各个显示屏幕上的增强视图，其中所述增强视图提供邻近效果以模拟所述多个用户与增加到所述真实世界场景的一个或多个虚拟现实对象交互；
当用户手延伸进入真实世界场景中时，在第一手持设备的第一捕获的图像中检测用户手；
当在第一捕获的图像中检测到用户手时，在所述第一手持设备的第一显示屏幕上显示用户手；
当用户手在所述第一手持设备的第一增强视图中与所述一个或多个虚拟现实对象中的第一虚拟现实对象进行虚拟接触时，基于用户手与所述第一虚拟现实对象的交互生成交互数据；
基于所述交互数据更新所述第一增强视图，其中所述交互数据在所述第一显示屏幕上模拟用户手正在与所述第一虚拟现实对象交互；以及
将所述交互数据传输到多个手持设备中的其它手持设备，使得所述多个手持设备中的其它手持设备基于所述交互数据，呈现包括当用户手与所述第一虚拟现实对象交互时对所述第一虚拟现实对象的改变的视图。
从通过结合附图以示例的方式说明本发明原理的以下详细描述，本发明的其它方面将变得明显。
附图说明
结合附图参照以下描述可以最好地理解本发明，附图中：
图1描述根据一个实施例，在将便携式设备同步到空间中的参照点之前的用户。
图2图示利用便携式设备观察的虚拟现实场景。
图3图示根据一个实施例，利用虚拟板和混合的游戏者的手的增强现实象棋游戏。
图4描述根据一个实施例的多人虚拟现实游戏。
图5图示用于多人环境的校准方法的一个实施例。
图6图示根据一个实施例，如何在网络连接上玩交互式游戏。
图7示出不取决于便携式设备的定位的交互式游戏。
图8示出根据一个实施例的交互式游戏，其中显示器中的视图取决于便携式设备的位置。
图9图示根据一个实施例，便携式设备的移动如何在显示器上具有与在虚拟空间中移动相机时类似的效果。
图10示出根据一个实施例，当转动便携式设备时在显示器中示出的图像中的改变的二维表现。
图11示出根据一个实施例的用于玩VR游戏的便携式设备。
图12A-12F图示根据一个实施例，便携式设备的位置如何影响显示器中的视图。
图13A-13B图示根据一个实施例的远距离的用户之间玩的增强现实游戏。
图14A-14H描绘根据一个实施例，随着便携式设备改变位置显示器中的改变。
图15图示用于使用前部和后部相机在便携式设备上实施视见平截头体(viewing frustum)的实施例。
图16A-16B图示根据一个实施例，随着游戏者移动改变视见平截头体的效果。
图17图示根据一个实施例，如何使用虚拟相机跨越虚拟场景的视图。
图18A-18H示出根据一个实施例，用于图示视见平截头体效果的一系列视图。
图19A-19B图示用于组合视见平截头体效果与相机效果的实施例。
图20示出根据本发明的一个实施例，用于利用便携式设备控制虚拟场景的视图的算法的流程。
图21图示可以用于实施本发明实施例的设备的架构。
图22是根据本发明的一个实施例的场景A到场景E的示例性图示，其中各个用户A到用户E与经由因特网连接到服务器处理的游戏客户端1102交互。
图23图示信息服务提供者架构的实施例。
具体实施方式
以下实施例描述用于控制虚拟或增强现实中的虚拟场景的视图的方法、设备和计算机程序。然而，对于本领域的技术人员显而易见的是，可以在没有一些或所有这些具体细节的情况下实践本发明。在其他情况下，不详细描述公知处理操作以便不会不必要地模糊本发明。
图1描述根据一个实施例，在将便携式设备同步到空间中的参照点之前的用户。便携式设备104位于桌上，准备将该便携式设备同步到参考点。用户102已经将便携式设备放置在将用作参考点或锚点的点，以便建立围绕该点的虚拟现实。在图1所示的情况下，便携式设备位于桌子的近似中心，并且一旦同步该便携式设备就围绕桌子的中心建立虚拟世界。可以以多种方式同步便携式设备，诸如推动便携式设备104上的按钮、触摸便携式设备中的触敏屏、让设备静止一段时间(例如，5秒)、输入语音命令等。
一旦便携式设备接收要同步的输入，就重置便携式设备中的位置追踪模块。便携式设备可以包括多种位置追踪模块，如下面参照图21所讨论的，诸如加速度计、磁力计、全球定位系统(GPS)设备、相机、深度相机、罗盘、陀螺仪等。
便携式设备可以是许多类型之一，诸如手持便携式游戏设备、蜂窝电话、平板电脑、笔记本电脑、上网本、个人数字助理(PDA)等。参照便携式游戏设备描述本发明的实施例，但是原理可以应用于具有显示器的任何便携式电子设备。本发明的原理还可以应用于连接到具有显示器的计算设备的游戏控制器或其它输入设备。
图2图示利用便携式设备观察的虚拟现实场景。在相对于参考点106同步设备104之后，便携式设备将开始显示虚拟现实108的视图。通过模拟在便携式设备的后面的相机围绕参考点106在3D空间内移动，创建显示器中的视图。图2描绘包括象棋盘的虚拟现实。便携式设备104能够检测移动，并且随着设备围绕移动确定其相对于参考点106的相对位置。可以用不同方法和不同精度水平进行定位和位置确定。例如，可以通过分析用相机捕获的图像或从惯性系统、GPS、超声三角测量、WiFi通信、航位推算等获得的数据、或者其组合，检测定位。
在一个实施例中，设备跟踪便携式设备相对于参考点106的空间中定位，以及便携式设备的空间中位置。位置用于确定相机的视角，也就是说，便携式设备用作进入虚拟场景中的相机。如果便携式设备向右对准，那么视图将转向右。换句话说，视角定义为具有在显示器(或者设备的其它部分)中心的原点以及垂直并且远离显示器的方向的矢量。在另一实施例中，仅跟踪空间中位置，并且计算显示器中的视图，好像相机从便携式设备所位于的空间中定位对准并且朝向参考点。
在一些现有实施方式中，增强现实(AR)标签置于桌上，并且用作用于生成增强现实的受托标记。AR标签可以是当存在于现实环境的捕获图像流中时识别的对象或图像。AR标签用作受托标记，其实现真实环境中的定位的确定。本发明的实施例消除对于AR标签的需要，因为同步到3D空间并且跟踪便携式设备的定位。此外，定位信息允许便携式设备中的游戏传递真实3D虚拟体验。此外，联网的便携式设备的阵列可以用于创建共享的虚拟世界，如下面参照图4描述的。
图3图示根据一个实施例，利用虚拟板和混合的游戏者的手的增强现实象棋游戏。3D空间的图像用于通过相对于校准点组合现实和虚拟元素创建增强现实，并且提供像光学运动捕获的功能。利用校准的多相机技术，可能确定手或手臂的位置，以便使得游戏者能够“到达”增强现实场景中并且与游戏对象(象棋棋子)交互。
在一个实施例中，单个设备后面的两个相机用于确定对象到3D空间中的定位。深度相机也可以用于获得三维信息。在其它实施例中，来自多个设备的相机用于确定手306定位，如下面参照图4讨论的。在一手手持便携式设备302的同时，游戏者凝视通过屏幕304，并且到达为它们生成的游戏区域中以便触摸3D游戏对象和环境。游戏玩法完全是触觉的。可能多个游戏者同时到达游戏区域中，并且以复杂方式与游戏对象交互。例如，游戏者的手306可以通过相互作用、持有、推、拉、抓、移动、撞击、挤压、打击、投掷、战斗、打开、关闭、接通或关断、按压按钮、射击、吃等与虚拟对象交互。
同步到游戏区域的每个便携式设备添加另一潜在相机、相对移动跟踪和ping数据，使得可能从多个视点看到游戏者的手和手指，以便创建有效的基于3D相机的运动捕获场。手和虚拟空间混合在一起，其中虚拟空间中的虚拟元素在显示的视图中出现，好像虚拟元素是3D空间的一部分。从几何透视看，虚拟元素的视图以与便携式设备在3D空间中移动时真实元素的视图改变相同的方式改变。
图4描述根据一个实施例的多人虚拟现实游戏。当用高速连通性组合校准的位置和图形分析数据时，位置和游戏信息可以在选择参与共享空间游戏体验的每个设备之间交换。这允许每个游戏者的系统访问来自所有其他游戏者的相机图像和位置信息，以便将他们的校准位置同步在一起并且共享虚拟空间(也称为共享空间)。
在游戏者402A-402C已经参照公共3D空间中的点(诸如桌上的点)同步或校准他们的便携式设备之后，创建公共的虚拟场景404。每个游戏者具有虚拟场景404的视图，好像虚拟空间(在此情况下的战斗棋盘游戏)在游戏者前面的桌上是真实的。便携式设备用作相机，使得当游戏者围绕设备移动时，视图改变。结果，每个显示器上的实际视图不依赖于其他显示器中的视图，并且视图仅仅基于便携式设备相对于实际场景的相对位置，其固定到3D空间上的实际物理定位。
通过利用多个相机、加速计和其他机械设备连同便携式设备之间的高速通信确定位置，可能创建像3D运动捕获的体验，该体验允许游戏者以可信的方式看到(并且可能触摸)虚拟游戏角色和环境。
共享空间404游戏利用设备的高速连通性在参与共享空间游戏体验的各设备之间交换信息。通过将设备转向稳定的“魔窗”，通过设备观看共享空间404游戏区域，该稳定的“魔窗”存留在每个设备之间的空间中。通过使用运动跟踪、图像分析和每个设备之间信息的高度持续性的组合，即使当设备四处移动时，游戏区域也在稳定位置出现。
图5图示用于多人环境的校准方法的一个实施例。如前所述，从设备传感器(加速计、GPS、罗盘、深度相机等)获得的位置信息发送到其他链接设备，以便增强虚拟空间中协作保持的数据。在用于创建同步到公共参考点502的公共共享空间，第一游戏者504A将她的设备相对于参考点502同步到3D空间。共享空间中的其他游戏者与第一游戏者建立通信链接，以便交换位置和游戏信息。可以以不同方式获得相对位置，诸如使用WiFi三角测量和ping测试以确定相对位置。此外，虚拟信息可以用于确定其他定位，诸如检测其他游戏者的面部并且从他们的面部、游戏设备的可能定位。
在一个实施例中，音频三角测量用于依靠超声通信和定向麦克风确定相对位置。多个频率可以用于执行音频三角测量。一旦设备已经交换位置信息，无线通信(诸如超声、WiFi或蓝牙)就用于将剩余设备同步到参考点502。在校准所有设备之后，设备了解参考点502以及他们相对于参考点502的相对位置。应该理解，其他方法可以用于校准多个设备到共享的参考点。例如，可以通过轮流将设备放置在参考点上，所有设备可以校准到相同参考点。
通过使用由房间内光源确定的阴影和照明，可以使得虚拟场景更逼真。通过使用相机反馈，游戏环境和角色具有受真实世界影响的场景照明和阴影。这意味着随着手到达虚拟世界中以与虚拟对象交互，游戏者的手将投射阴影在虚拟角色或对象上。通过真实世界阴影和照明调整游戏世界阴影和照明，以便得到可能的最佳效果。
图6图示根据一个实施例，如何在网络连接上玩交互式游戏。许多类型的游戏在共享空间中是可能的。例如，便携式设备可以用作进行乒乓球游戏的球拍。设备到处移动，好像球拍击球。游戏者看到球在屏幕和对手屏幕之间浮动。在战争游戏中，游戏者穿过便携式设备看去，并且瞄准敌方堡垒处的弩炮。游戏者向后拉设备以便填装弩炮，然后按压按钮以便将弩炮向敌方城堡开火。
共享空间还可以在游戏者处于不同定位时创建，如图6所示。游戏者已经建立网络连接以便玩游戏。每个游戏者将他的设备同步到游戏者空间中的参考点，并且创建虚拟现实，诸如乒乓球桌。对手显示在他的桌子端的后面，其中对手设备的移动匹配到对手球拍的移动。游戏还可以添加化身来持有球拍，用于更真实的游戏体验。在游玩期间，每个设备跟踪设备空间中的移动和位置。该信息与其他设备共享，以便使得其他设备能够布置匹配设备运动的虚拟球拍。还共享其他游戏信息，诸如球的定位和移动。
图7示出不取决于便携式设备的定位的交互式游戏。图7图示的游戏示出玩不相对于参考点706同步的游戏的限制。同时在两个分开的设备704C和702A上多人桌上冰球游戏。该游戏包括冰球场708、冰球714和球棒710和712。每个游戏者通过在显示器上移动手指控制球棒。显示器示出冰球和球棒的定位。然而，当便携式设备四处移动时显示器上的视图不改变，因为不存在与参考点的地理同步。例如，当游戏者702A移动到定位702B时，视图是相同的，而不管设备的定位何处。
为了玩游戏，各便携式设备仅仅交换关于球棒的移动和冰球的定位的信息。不存在绑定到3D空间的虚拟体验。
图8示出根据一个实施例的交互式游戏，其中显示器中的视图取决于便携式设备的位置。设备802A和802B已经校准到公共空间，并且已经创建冰球场作为虚拟元素。设备用作进入空间的相机，并且设备不需要必需示出完整的游戏表面。例如，当从参考点拉开设备时，出现缩小效果并且球场的更大视图可用。此外，如果向上倾斜设备，那么视图示出球场的顶部，而如果向下倾斜设备，那么设备中的视图更接近游戏者的自身目标。如图8所见，各显示器中的视图相互独立，并且基于来自每个便携式设备的游戏表面的当前视图。
图9图示根据一个实施例，便携式设备的移动如何在显示器上具有与在虚拟空间中移动相机时类似的效果。假设便携式设备从球体中的点向汽车902瞄准，随着便携式设备在球体内移动，可以获得汽车的多个视图。例如，来自“北极点”的视图将示出汽车的顶部，并且来自“南极点”的视图将示出汽车的底部。图9中还示出汽车侧部、前部和后部的视图。
在一个实施例中，游戏者可以输入命令以改变或翻转虚拟世界的视图。例如，在汽车的情况下，游戏者从看到汽车的前部到看到汽车的后部，好像场景已经旋转180°并且轴垂直转过参考点。以此方式，游戏者不必围绕房间移动以获得不同的视角。其它输入可以产生不同效果，诸如90°转动、视图的缩放(以使得虚拟世界看起来更小或更大)、相对于x、y或z轴旋转等。在另一实施例中，便携式设备的翻转(即，在游戏者手上的180°旋转)将使得虚拟世界的视图翻转颠倒。
图10示出根据一个实施例，当转动便携式设备时在显示器中示出的图像中的改变的二维表现。便携式设备152以视角α瞄向墙壁，导致在墙壁上的投影160。因此，在便携式设备152上的视图将对应于投影160。当设备152转动角度β时，便携式设备结束在位置154。视图也转动角度β，同时保持相机视角α。结果，便携式设备上的视图对应于投影162。应该注意，屏幕上的视图独立于眼睛位置(诸如位置158和156)，并且视图独立于游戏者位于何处。此外，显示器上的视图取决于便携式设备的位置，该便携式设备用作虚拟相机。下面描述的其它实施例包括根据眼睛的位置改变的显示器上的视图。
图11示出根据一个实施例的用于玩VR游戏的便携式设备。图11到12F图示赛车游戏，其中便携式设备可以用作相机或者控制车辆的驾驶。便携式设备示出比赛的视图，其中在中央看到赛道，具有其它赛车和坐在赛道一侧看台上的人。
图12A-12F图示根据一个实施例，便携式设备的位置如何影响显示器中的视图。在该序列中，便携式设备用作相机，并且不驾驶赛车。图12A示出游戏者持有便携式设备玩赛车游戏。设备以近似手臂的长度持有在游戏者前面。当游戏者处于图12A所示位置时，游戏的视图是图12B中图示的一个视图，其中显示器上的视图示出如由汽车驾驶员看到的比赛。驾驶员可以看到在前方的赛道和车辆内部的一部分(包括方向盘)。
图12C示出游戏者转动大约45°同时仍在他前面持有便携式设备。结果，便携式设备与游戏者一起在空间移动。在图12D中看到游戏者移动的结果，其中赛道的视图也已经转动大约45°。可以看到便携式设备用作相机，并且显示器上的视图改变，好像相机在3D世界中改变位置。
图12E示出游戏者左转另外45°。结果，便携式设备的头部和视图相对于原始位置已经改变大约90°。在图12F中绘出显示器上的结果，其中游戏的驾驶员现在具有一侧视图，其包括另一赛车和看台。
图13A-13B图示根据一个实施例的远距离的用户之间玩的增强现实游戏。图13A示出具有面对持有便携式设备的游戏者的相机1302的便携式设备。面对游戏者的相机具有许多用途，诸如电话会议、视见平截头体应用(见图15-19B)、在游戏中合并游戏者的面部等。
图13B示出产生接近现实效果的增强现实游戏的实施例。游戏者1308处于远程定位，并且经由网络连接交换游戏和环境信息。远程定位的相机拍摄游戏者和他附近(诸如背景1310)的画面。图像发送到对手的设备，其中该图像与虚拟棋盘1306混合。类似地，相机1304拍摄持有设备的游戏者的画面，并且将图像发送到远程游戏者。以此方式游戏者可以共享空间。
当视图跨越进入其它游戏者的屏幕时，每个游戏者看到作为增强的现实的他的视图，该视图逐渐消失到虚拟现实雾中。仍就相对于用于两个设备的同步校准的位置跟踪每个游戏者的所有移动。游戏在提供3D体验的桌子顶部上插入虚拟棋盘。如之前描述的，便携式设备可以四处移动以改变视图，并且从不同视点(诸如从顶部、侧部、对手的视图等)看到棋盘。
在一个实施例中，通过周期性地更新来自对手的面部和背景替代使用实况馈送(live-feed)，减少需要的通信和处理带宽。此外，可能仅发送远程图像的一部分，诸如游戏者的图像，因为背景可能是静态和较少相关的。例如，可以每五秒、每次游戏者改变表情、当游戏者说话时等，更新远程游戏者的面部。
在另一实施例中，声音也可以在游戏者之间交换，以便使得3D体验更加真实。在又一实施例中，游戏者具有改变视图的选项，诸如在混合3D图像和仅显示棋盘以改进盘的视图之间的切换。在又一实施例中，图像稳定可以用于稳定由于游戏者手的轻微抖动的小的图像变化。在一个实施例中，持有设备的游戏者的面部也可以添加到显示器，以便示出该用户如何出现给对手。
图14A-14H描绘根据一个实施例，随着便携式设备改变位置显示器中的改变。在图14A-14H的序列中，便携式设备使用视见平截头体效果确定如何将增强现实世界呈现给用户。
在当前3D计算机图形学中，视见平截头体或视锥体是可能出现在屏幕上的建模世界中的空间区域。视见平截头体是想象的相机(notional camera)的视场。该区域的确切形状取决于模拟什么种类的相机镜头而变化，但是典型地是矩形锥的平截头体(因此而得名)。垂直于观察方向切割平截头体的平面称为前裁剪面(near plane)和后裁剪面(far plane)。在一个实施例中，前裁剪面对应于便携式设备中显示器的表面。不绘制比前裁剪面更接近相机或超过后裁剪面的对象。
在一个实施例中，视见平截头体在持有便携式设备的游戏者的眼中(或双眼之间)固定(椎体的顶部)。显示器用作进入虚拟现实的窗口。因此，“窗口”越接近眼睛，显示的虚拟现实的区域越大。相反，“窗口”越远离眼睛，虚拟现实的视图越小(并且更详细)。该效果类似于接近没有畸变光学的矩形老式窥视孔。眼睛越接近窥视孔，可以观察到更多外部。
图14A示出在房间内部持有增强现实便携式设备的游戏者。在设备已经同步到房间之后，虚拟现实生成器已经添加“绘制”在面对游戏者的墙壁上的虚拟三角形，以及“绘制”在游戏者左边墙壁上的方形。在图14A中，游戏者用几乎完全展开的手臂持有设备稍稍在眼睛水平面之下。显示器中示出的视图呈现在图14B中，其中示出游戏者前面的三角形的一部分。
在图14C中，游戏者在相同位置，并且弯曲肘部以便将便携式设备更接近面部。由于如上讨论的视见平截头体效果，游戏者看到墙壁的更大部分。图14D示出在图14C中设备中显示的视图。因为平截头体效果，与图14B的之前视图相比，观察到墙壁的更大部分。现在在显示器上看到完整的三角形。
图14E示出游戏者向下移动设备以便看到对面墙壁的底部，如图14F所示。在显示器上示出三角形的底部部分。在图14G中，游戏者转到左边，并且使用进入增强世界的“窗口”以观看房间的角部，如图14H所示。
图15图示用于使用前部和后部相机在便携式设备上实施视见平截头体的实施例。图15示出视见平截头体的2D投影，并且因为它是2D投影，所以视见平截头体锥体观察为三角形。便携式设备1506分别包括前置和后置相机1514和1512。相机1512用于捕获游戏者所位于的空间的图像。相机1514用于捕获持有设备1506的游戏者的图像。面部识别软件允许设备软件确定游戏者眼睛的定位，以便模拟视见平截头体效果。
在一个实施例中，视见平截头体具有在眼睛处的顶点，其中矩形平截头锥体的边缘从眼睛延伸并且通过持有的设备中显示器的角部。当眼睛处于位置1502时，游戏者“看到”面对设备的墙壁的区域1510。源自眼睛并且接触显示器的角部的线和墙壁相交以限定区域1510。当眼睛移动到位置1504时，源自眼睛的线作为结果改变。新的线限定区域1508。总的来说，如果便携式设备1506保持静止，那么眼睛位置的改变将导致在显示器中显示的改变。当然，如果便携式设备移动，那么视图也将改变，因为随着锥体的边缘与显示器的角部交叉，视见平截头体改变。
应该理解，图15所图示的实施例是视见平截头体的示例性实施方式。其他实施例可以利用不同形状用于视见平截头体，并且可以缩放视见平截头体效果，或者可以添加边缘到视见平截头体。因此，图15所图示的实施例不应理解为排他或限制性的，而是示例性或说明性的。
图16A-16B图示根据一个实施例，随着游戏者移动改变视见平截头体的效果。图16A包括便携式设备中的显示器1606，其中显示器的表面平行于墙壁的表面。当游戏者通过具有视见平截头体效果显示器观看时，在顶点处于游戏者面部某处(诸如眼睛之间)、基于墙壁、并且边缘从眼睛延伸且接触显示器1606的角部的情况下，创建矩形平截头锥体。
当游戏者处于位置1602时，视见平截头体创建矩形基面1610，其是游戏者在显示器1606上所看到的。当游戏者移动到位置1604，而没有移动显示器，视见平截头体作为结果改变。用于平截头体的新基面是矩形1608，其是在显示器1606中看到的。结果是游戏者位置的改变导致虚拟现实中视图的改变。
图16B图示当使用视见平截头体效果时，随着面部移远或移近显示器所创建的缩放效果。当游戏者处于位置1632时，游戏者看到矩形1638，如之前描述的。如果游戏者从显示器1636移开到位置1632而没有移动显示器，看到对应于矩形1640的新显示器。因此，当游戏者移开时，虚拟世界的观察区域收缩，导致放大效果，因为显示器中的观察区域越小，在该观察区域中的对象在显示器上显得更大。游戏者移近显示器1636的相反移动将导致相反的缩小效果。
图17图示根据一个实施例，如何使用虚拟相机跨越虚拟场景的视图。虚拟或增强现实不需要限制在游戏者所位于的房间的限制内，如我们之前在用于赛车游戏的图11中看到的。也可以模拟超越游戏者的物理边缘的虚拟世界。图17图示观看虚拟音乐会的游戏者。实际舞台位于在房间墙壁以外，并且可以模拟为距离便携式设备几百英尺，便携式设备在此情况下用作虚拟相机。也可以以相同方式模拟视见平截头体。
如在底部观察到的，不同的相机位置和观看角度将导致显示器上的不同视图。例如，第一定位聚焦于后备歌手，第二定位聚焦于主要艺术家，并且第三定位瞄准人群。虚拟相机也可以添加缩放输入，以便像真实相机那样放大或缩小。
在一个实施例中，缩放用于浏览虚拟现实。例如，如果游戏者向前移动一英尺，那么便携式设备将创建虚拟视图，好像游戏者已经前进10英尺。以此方式，游戏者可以浏览大于游戏者所处房间的虚拟世界。
在另一实施例中，游戏者可以输入命令以便使得相机在虚拟现实中移动而不用实际移动便携式设备。因为相对于参考点同步便携式设备，这种相机的移动而没有通过游戏者的移动具有改变参考点到新的定位的效果。该新的参考点可以称为虚拟参考点，并且不必位于游戏者所处的实际物理空间内。例如，在图17图示的场景中，游戏者可以使用“向前移动”命令以向后台移动相机。一旦游戏者“处于”后台，游戏者就可以开始四处移动便携式设备以便查看视图后台，如之前讨论的。
图18A-18H示出根据一个实施例，用于图示视见平截头体效果的一系列视图。图18A示出持有便携式设备的游戏者。显示器上的视图对应于图18B所示的森林的图像。在图18C中，游戏者向他的右边移动他的头部，同时将便携式设备保持在与图18A近似相同的位置。图18D对应于用于图18C中游戏者的视图，并且示出森林的全景如何由于视见平截头体效果而改变。
在图18E中，游戏者保持将头部转向他的右边，同时向他的左边移动便携式设备以便强调视见平截头体效果，因为游戏者想要知道树后是否存在某物。图18F示出对应于图18E中游戏者的显示器。森林的全景已经再次改变。存在隐藏在图18B中隐藏的树木之一后面的小精灵，但是随着游戏者已经改变森林的视角，小精灵的部分在图18F中可见。图18G示出游戏者向他的右边更远地倾斜头部，并且向他的左边更远地移动便携式设备。如图18H所见，效果是游戏者现在能够看到树后是什么，小精灵现在完全可见。
图19A-19B图示用于组合视见平截头体效果与相机效果的实施例。可以看到组合视见平截头体和相机效果由于用于建立虚拟视图的行为不同而不可能。然而，当存在用于限定何时使用一个效果或者另一个的规则时，组合是可能的。在一个实施例中，当游戏者移动便携式设备时，使用相机效果，并且当用户相对于便携式设备移动头部时，使用视见平截头体效果。在两个事件同时出现的情况下，选择一个效果，诸如视见平截头体。
这种组合意味着给定眼睛和便携式设备的位置，取决于眼睛和相机如何到达该位置，在显示器上可能存在不同视图。例如，当眼睛1902透过设备1906观看时，在图19A和19B中示出虚拟现实的不同视图，如下面讨论的。
参照图19A，眼睛1902最初透过设备1904观看。使用视见平截头体效果的设备直接向前“瞄准”虚拟现实。这导致源自视见平截头体锥体顶部的α角，并且导致β的相机角。使用如之前参照图10和15描述的相同2D表现，游戏者在该第一位置看到墙壁上的片段1908。游戏者然后将设备转动角度γ，以将设备置于位置1906。因为游戏者已经移动该设备，所以便携式设备对应于具有相机效果的移动，使得虚拟相机也转动角度γ。结果是显示器现在示出墙壁的区域1910。
图19B示出游戏者在初始眼睛位置1912透过便携式设备1906观看。使用视见平截头体效果，并且结果是区域1918的显示器上的表现。游戏者然后移动到眼睛位置1902而没有移动便携式设备。因为设备没有移动，所以发生视见平截头体效果，并且游戏者然后在显示器上看到区域1916。应该注意，尽管眼睛1902和显示器1906在图19A和19B中处于相同位置，但是实际视图是不同的，因为导致眼睛和显示器处于该位置的一系列事件。
图20示出根据本发明的一个实施例，用于利用便携式设备控制虚拟场景的视图的算法的流程。在操作2002中，接收信号以同步便携式设备，诸如按钮按压或屏幕触摸。在操作2004中，该方法同步便携式设备，以使得便携式设备所位于的定位为三维(3D)空间中的参考点。在一个实施例中，3D空间是游戏者所位于的房间。在另一实施例中，虚拟现实包括房间以及延伸超越房间墙壁的虚拟空间。
在操作2006期间，围绕参考点在3D空间中生成虚拟场景。虚拟场景包括虚拟现实元素，诸如图2的棋盘。在操作2008中，便携式设备确定便携式设备相对于参考点在3D空间中的当前位置。在操作2010中，创建虚拟场景的视图。该视图表现如从便携式设备的当前位置观看并且具有基于便携式设备的当前位置的视角的虚拟场景。此外，在操作2012期间，在便携式设备的显示器上示出创建的视图。在操作2014中，便携式设备检查是否已经由用户移动便携式设备，即，当前位置是否已经改变。如果便携式设备已经移动，那么方法流程回到操作2008，以便重新计算当前位置。如果便携式设备没有移动，那么通过流程到操作2012，便携式设备继续显示之前创建的视图。
图21图示可以用于实施本发明实施例的设备的架构。便携式设备是计算设备，并且包括存在于便携式设备中的典型模块，诸如处理器、存储器(RAM、ROM等)、电池或其他电源、以及永久存储器(诸如硬盘)。通信模块允许便携式设备与其他便携式设备、其他计算机、服务器等交换信息。通信模块包括通用串行总线(USB)连接器、通信链接(诸如以太网)、超声通信、蓝牙和WiFi。
输入模块包括输入按钮和传感器、麦克风、触敏屏幕、相机(前置、后置、深度相机)以及读卡器。其他输入/输出设备(诸如键盘或鼠标)也可以经由通信链接(诸如USB或蓝牙)连接到便携式设备。输出模块包括显示器(具有触敏屏幕)、发光二极管(LED)、触觉震动反馈和扬声器。其他输出设备也可以经由通信模块连接到便携式设备。
来自不同设备的信息可以由定位模块用于计算便携式设备的位置。这些模块包括磁力计、加速计、陀螺仪、GPS和罗盘。此外，定位模块可以分析用相机和麦克风捕获的声音或图像数据以计算位置。此外，定位模块可以执行测试(诸如WiFi ping测试或超声测试)，以确定便携式设备的位置或附近其他设备的位置。
虚拟现实生成器使用由定位模块计算的位置，创建虚拟或增强现实，如之前所述。视图生成器基于虚拟现实和位置，创建在显示器上显示的视图。视图生成器还可以使用应用于多扬声器系统的方向效果，产生源自虚拟现实生成器的声音。
应该理解，图21图示的实施例是便携式设备的示例性实施方式。其他实施例可以利用不同模块、模块的子集，或者分配相关任务给不同模块。因此，图21图示的实施例不应理解为排他或限制性的，而是示例性或说明性的。
图22是根据本发明的一个实施例的场景A到场景E的示例性图示，其中各个用户A到用户E与经由因特网连接到服务器处理的游戏客户端1102交互。游戏客户端是允许用户经由因特网连接到服务器应用和处理的设备。游戏客户端允许用户访问并且播放在线娱乐内容，诸如但不限于游戏、电影、音乐和照片。此外，游戏客户端可以提供对于诸如VOIP、文本聊天协议和电子邮件的在线通信应用的访问。
用户经由控制器与游戏客户端交互。在一些实施例中，控制器是游戏客户端专用控制器，而在其他实施例中，控制器可以是键盘和鼠标组合。在一个实施例中，游戏客户端是独立设备，其能够输出音频和视频信号以通过监视器/电视和相关音频设备创建多媒体环境。例如，游戏客户端可以是但不限于瘦客户端、内部PCI-express卡、外部PCI-express设备、ExpressCard设备、内部、外部或无线USB设备、或固件设备等。在其他实施例中，游戏客户端集成有电视或其他多媒体设备，诸如DVR、蓝光播放器、DVD播放器或多频道接收机。
在图22的场景A中，用户A使用与游戏客户端1102A配对的控制器100与在监视器106上显示的客户端应用交互。类似地，在场景B中，用户B使用与游戏客户端1102B配对的控制器100与在监视器106上显示的另一客户端应用交互。场景C图示当用户C观看显示游戏的监视器来自他后面的视图以及来自游戏客户端1102C的好友列表。尽管图22示出了单个服务器处理模块，但是在一个实施例中，遍及世界存在多个服务器处理模块。每个服务器处理模块包括用于用户会话控制、共享/通信逻辑、用户定位和负载平衡处理服务的子模块。此外，服务器处理模块包括网络处理和分布式存储。
当游戏客户端1102连接到服务器处理模块时，用户会话控制可以用于验证用户。验证的用户可以具有相关联的虚拟化分布式存储和虚拟化网络处理。可以存储为用户的虚拟化分布式存储的示例项目包括购买的媒体，诸如但不限于游戏、视频和音乐等。此外，分布式存储可以用于保存用于多个游戏的游戏状态、对于个别游戏的自定义设置以及用于游戏客户端的通用设置。在一个实施例中，服务器处理的用户定位模块用于确定用户和他们的各个游戏客户端的地理定位。用户的地理定位可以由共享/通信逻辑和负载平衡处理服务器使用，以便基于地理定位和多个服务器处理模块的处理要求最优化性能。虚拟网络处理和网络存储任一或两者将允许来自游戏客户端的处理任务动态转移到(多个)未充分利用的服务器处理模块。因此，负载平衡可以用于最小化与来自存储的回调和服务器处理模块和游戏客户端之间的数据传输相关联的延迟。
服务器处理模块具有服务器应用A和服务器应用B的实例。服务器处理模块能够支持多个服务器应用，如由服务器应用X1和服务器应用X2指示的。在一个实施例中，服务器处理基于允许群集中的多个处理器处理服务器应用的群集计算架构。在另一实施例中，不同类型的多计算机处理方案应用于处理服务器应用。这允许服务器处理按比例调节，以便容纳更大数目的执行多个客户端应用和相应的服务器应用的游戏客户端。可替代地，服务器处理可以按比例调节，以容纳由更高要求的图形处理或游戏、视频压缩或应用复杂性所需的增加的计算要求。在一个实施例中，服务器处理模块经由服务器应用执行大多数处理。这允许相对昂贵的组件(诸如图形处理器、RAM和通用处理器)位于中心，并且减少游戏客户端的成本。处理的服务器应用数据经由因特网发送回到相应的游戏客户端，以便在监视器上显示。
场景C图示可以有游戏客户端和服务器处理模块执行的示例性应用。例如，在一个实施例中，游戏客户端1102C允许用户C创建并且观看包括用户A、用户B、用户D和用户E的好友列表1120。如所示的，在场景C中，用户C能够在监视器106C上看到实时图像或各个用户的化身。服务器处理执行游戏客户端1102C和用户A、用户B、用户D和用户E的各个游戏客户端1102的各个应用。因为服务器处理知道由游戏客户端B执行的应用，所以用于用户A的好友列表可以指示用户B在玩哪个游戏。此外，在一个实施例中，用户A可以观看直接来自用户B的实际游戏视频。这通过将用于用户B的处理的服务器应用数据除了游戏客户端B外仅仅发送到游戏客户端A来实现。
除了能够观看来自好友的视频，通信应用可以允许好友之间的实时通信。如应用于之前的示例，这允许用户A在观看用户B的实时视频的同时提供鼓励和提示。在一个实施例中，通过客户端/服务器应用建立双向实时语音通信。在另一实施例中，客户端/服务器应用实现文本聊天。在另一实施例中，客户端/服务器应用将语音转换为文本用于在好友的屏幕上显示。
场景D和场景E图示分别与游戏控制台1110D和1110E交互的各个用户D和用户E。每个游戏控制台1110D和1110E连接到服务器处理模块，并且图示服务器处理模块协调用于游戏控制台和游戏客户端的游戏游玩的网络。
图23图示信息服务提供者架构的实施例。信息服务器提供者(ISP)250传递大量信息服务器给地理上分散并且经由网络266连接的用户262。ISP可以仅传递一种类型的服务(诸如股票价格更新)，或者多种服务(诸如广播媒体、新闻、体育、比赛等)。此外，由每个ISP提供的服务是动态的，也就是说，可以在任何时间点添加或取走服务。因此，提供特定类型的服务器到特定的个体的ISP可以随着时间改变。例如，在用户在她的家乡时，用户可以由与用户接近的ISP服务，当用户旅行到不同城市时，用户可以由不同ISP服务。家乡ISP将传送需要的信息和数据到新的ISP，使得用户信息“跟随”用户到新的城市，使得数据更接近用户并且更容易访问。在另一实施例中，可以在管理用于用户的信息的主机ISP和在来自主机ISP的控制下直接与用户接合的服务器ISP之间建立主机-服务器关系。在另一实施例中，随着客户端在世界各地移动，数据从一个ISP传输到另一ISP，以使得处于用于服务用户的更好位置的ISP为传输这些服务的一个ISP。
ISP 250包括应用服务提供者(ASP)252，其通过网络提供基于计算机的服务给客户。使用ASP模式提供的软件有时也称为按需软件或者软件即服务(SaaS)。提供对于特定应用程序(诸如客户关系管理)的访问的简单形式是通过使用诸如HTTP的标准协议。应用软件驻留在供应商的系统，并且通过使用HTML的web浏览器、通过由供应商提供的专用客户端软件、或者诸如瘦客户端的其他远程接口由用户访问。
在广阔的地理区域上传递的服务通常使用云计算。云计算是这样类型的服务，其中在因特网上提供可动态地按比例调整并且通常虚拟化的资源作为服务。用户不需要是支持他们的“云”中技术基础设施中的专家。云计算可以分为不同服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供从web浏览器访问的在线公共商业应用，同时软件和数据存储在服务器上。基于在计算机网络图中如何描绘因特网，术语云用作对于因特网的隐喻，并且是对于其隐藏的复杂基础设施的抽象。
此外，ISP 250包括游戏处理服务器(GPS)254，其由游戏客户端用于玩单人或多人视频游戏。在因特网上玩的大多数视频游戏经由到游戏服务器的连接运行。典型地，游戏使用专用服务器应用，其从游戏者收集数据并且将其分发到其他游戏者。这比对等安排更有效率和有效，但是其要求分立的服务器来作为服务器应用的主机。在另一实施例中，GPS在游戏者和他们的各个玩游戏设备之间建立通信以交换信息，而不依赖于集中的GPS。
专用GPS是独立于客户端运行的服务器。这样的服务器通常在位于数据中心、提供更大带宽和专用处理能力的专用硬件上运行。专用服务器是用于大多数基于PC的多人游戏的主机游戏服务器的优选方法。大量多人在线游戏在通常由拥有该游戏所有权的软件公司主持的专用服务器上运行，允许他们控制和更新内容。
广播处理服务器(BPS)256分发音频或视频信号到听众。到非常窄范围的听众的广播有时称为窄播。广播分发的最后一段是信号如何到达听众或观众，并且其可以如使用广播站或TV站无线到达天线和接收器，或者可以通过有线TV或有线广播(或“无线电缆”)经由站或从网络直接到达。因特网还可以将广播或TV带到接受者，特别利用允许信号和带宽共享的多播。历史上说，广播已经由地理区域限定，诸如国家广播或地区广播。然而，在快速因特网激增的情况下，广播已经不受地理限制，因为内容可以到达世界上几乎任何国家。
存储服务提供者(SSP)258提供计算机存储空间和相关管理服务。SSP还提供周期性备份和归档。通过提供作为服务的存储，用户可以根据需要预定更多存储。另一主要优点是SSP包括备份服务，并且如果用户的计算机的硬件驱动故障，用户将不丢失他们的所有数据。此外，多个SSP可以具有用户数据的总体或部分备份，允许用户以不依赖于用户位于何处或用于访问数据的设备的有效方式访问数据。例如，用户可以访问家用计算机中以及在用户移动时的移动电话中的个人文件。
通信提供者260提供到用户的连接。一种通信提供者是提供对于因特网的访问的因特网服务提供者(ISP)。ISP使用适于传递因特网协议数据报的数据传输技术(诸如拨号、DSL、有线调制解调器、无线或专用高速互连)连接其客户。通信提供者还可以提供消息传送服务，诸如电子邮件、即时通信和SMS发送。另一种类的通信提供者是网络服务提供者(NSP)，其通过对于因特网的直接主干网访问出售带宽或网络访问。网络服务提供者可以包括电信公司、数据载体、无线通信提供者、因特网服务提供者、提供高速因特网访问的有线电视经营者等。
数据交换268互连ISP 253内的若干模块，并且经由网络266将这些模块连接到用户262。数据交换268可以覆盖ISP 250的所有模块处于接近的小区域，或者可以覆盖当不同模块地理上分散时的大地里区域。例如，数据交换268可以包括数据中心的机壳内的快速千兆比特(或更快的)以太网，或者洲际虚拟区域网络(VLAN)。
用户262利用至少包括CPU、显示器和I/O的客户端设备264访问远程服务。客户端设备可以是PC、移动电话、上网本、PDA等。在一个实施例中，ISP 250识别由用户使用的设备的类型，并且调整采用的通信方法。在其他情况下，客户端设备使用标准通信方法(诸如html)访问ISP 250。
信息服务提供者(ISP)250传递大量信息服务到地理上分散并且经由网络266连接的用户262。ISP可以仅传递一种类型的服务(诸如股票价格更新)，或者多种服务(诸如广播媒体、新闻、体育、比赛等)。此外，由每个ISP提供的服务是动态的，也就是说，可以在任何时间点添加或取走服务。因此，提供特定类型的服务器到特定的个体的ISP可以随着时间改变。例如，在用户在她的家乡时，用户可以由与用户接近的ISP服务，当用户旅行到不同城市时，用户可以由不同ISP服务。家乡ISP将传送需要的信息和数据到新的ISP，使得用户信息“跟随”用户到新的城市，使得数据更接近用户并且更容易访问。在另一实施例中，可以在管理用于用户的信息的主机ISP和在来自主机ISP的控制下直接与用户接合的服务器ISP之间建立主机-服务器关系。在另一实施例中，随着客户端在世界各地移动，数据从一个ISP传输到另一ISP，以使得处于用于服务用户的更好位置的ISP为传输这些服务的一个ISP。
ISP 250包括应用服务提供者(ASP)252，其通过网络提供基于计算机的服务给客户。使用ASP模式提供的软件有时也称为按需软件或者软件即服务(SaaS)。提供对于特定应用程序(诸如客户关系管理)的访问的简单形式是通过使用诸如HTTP的标准协议。应用软件驻留在供应商的系统，并且通过使用HTML的web浏览器、通过由供应商提供的专用客户端软件、或者诸如瘦客户端的其他远程接口由用户访问。
在广阔的地理区域上传递的服务通常使用云计算。云计算是这样类型的服务，其中在因特网上提供可动态地按比例调整并且通常虚拟化的资源作为服务。用户不需要是支持他们的“云”中技术基础设施中的专家。云计算可以分为不同服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供从web浏览器访问的在线公共商业应用，同时软件和数据存储在服务器上。基于在计算机网络图中如何描绘因特网，术语云用作对于因特网的隐喻，并且是对于其隐藏的复杂基础设施的抽象。
此外，ISP 250包括游戏处理服务器(GPS)254，其由游戏客户端用于玩单人或多人视频游戏。在因特网上玩的大多数视频游戏经由到游戏服务器的连接运行。典型地，游戏使用专用服务器应用，其从游戏者收集数据并且将其分发到其他游戏者。这比对等安排更有效率和有效，但是其要求分立的服务器来作为服务器应用的主机。在另一实施例中，GPS在游戏者和他们的各个玩游戏设备之间建立通信以交换信息，而不依赖于集中的GPS。
专用GPS是独立于客户端运行的服务器。这样的服务器通常在位于数据中心、提供更大带宽和专用处理能力的专用硬件上运行。专用服务器是用于大多数基于PC的多人游戏的主机游戏服务器的优选方法。大量多人在线游戏在通常由拥有该游戏所有权的软件公司主持的专用服务器上运行，允许他们控制和更新内容。
广播处理服务器(BPS)256分发音频或视频信号到听众。到非常窄范围的听众的广播有时称为窄播。广播分发的最后一段是信号如何到达听众或观众，并且其可以如使用广播站或TV站无线到达天线和接收器，或者可以通过有线TV或有线广播(或“无线电缆”)经由站或从网络直接到达。因特网还可以将广播或TV带到接受者，特别利用允许信号和带宽共享的多播。历史上说，广播已经由地理区域限定，诸如国家广播或地区广播。然而，在快速因特网激增的情况下，广播已经不受地理限制，因为内容可以到达世界上几乎任何国家。
存储服务提供者(SSP)258提供计算机存储空间和相关管理服务。SSP还提供周期性备份和归档。通过提供作为服务的存储，用户可以根据需要预定更多存储。另一主要优点是SSP包括备份服务，并且如果用户的计算机的硬件驱动故障，用户将不丢失他们的所有数据。此外，多个SSP可以具有用户数据的总体或部分备份，允许用户以不依赖于用户位于何处或用于访问数据的设备的有效方式访问数据。例如，用户可以访问家用计算机中以及在用户移动时的移动电话中的个人文件。
通信提供者260提供到用户的连接。一种通信提供者是提供对于因特网的访问的因特网服务提供者(ISP)。ISP使用适于传递因特网协议数据报的数据传输技术(诸如拨号、DSL、有线调制解调器、无线或专用高速互连)连接其客户。通信提供者还可以提供消息传送服务，诸如电子邮件、即时通信和SMS发送。另一种类的通信提供者是网络服务提供者(NSP)，其通过对于因特网的直接主干网访问出售带宽或网络访问。网络服务提供者可以包括电信公司、数据载体、无线通信提供者、因特网服务提供者、提供高速因特网访问的有线电视经营者等。
数据交换268互连ISP 253内的若干模块，并且经由网络266将这些模块连接到用户262。数据交换268可以覆盖ISP 250的所有模块处于接近的小区域，或者可以覆盖当不同模块地理上分散时的大地里区域。例如，数据交换268可以包括数据中心的机壳内的快速千兆比特(或更快的)以太网，或者洲际虚拟区域网络(VLAN)。
用户262利用至少包括CPU、显示器和I/O的客户端设备264访问远程服务。客户端设备可以是PC、移动电话、上网本、PDA等。在一个实施例中，ISP 250识别由用户使用的设备的类型，并且调整采用的通信方法。在其他情况下，客户端设备使用标准通信方法(诸如html)访问ISP 250。
本发明的各实施例可以用各种计算机系统配置来实践，各种计算机系统配置包括手持设备、微处理器系统、基于微处理器的或可编程消费电子产品、迷你计算机、大型计算机等。本发明还可以在分布式计算环境中实践，其中任务由通过网络链接的远程处理设备执行。
考虑到上面的实施例，应该理解本发明可以采用涉及在计算机系统中存储的数据的各种计算机实施的操作。这些操作是要求物理量的物理操纵的那些。形成本发明的一部分的在此描述的任何操作是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。可以为要求的目的特别构造装置，诸如专用计算机。当定义为专用计算机时，计算机还可以执行不是专用目的的部分的其他处理、程序执行或例程，同时仍能够为了专用目的操作。可替代地，可以由选择性激活或由存储在计算机存储器、高速缓存或通过网络获得的一个或多个计算机程序配置的通用计算机处理。当通过网络获得数据时，数据可以由网络上的其他计算机(例如，计算资源的云)处理。
本发明的各实施例还可以定义为将数据从一个状态转换到另一状态的机器。转换的数据可以保存到存储器，然后由处理器操纵。处理器因此将数据从一件事转换为另一件事。此外，方法可以由能够通过网络连接的一个或多个机器或处理器处理。每个机器可以将数据从一个状态或事情转换为另一个，并且还可以处理数据，将数据保存到存储器，通过网络传输数据，显示结果，或者将结果通信到另一机器。
本发明的一个或多个实施例还可以组合为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，数据此后可以由计算机系统读取。计算机可读介质的示例包括硬驱动器、网络附加存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储设备。计算机可读介质可以包括在网络耦合的计算机系统上分布的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管方法操作以特定顺序描述，应该理解可以在操作之间执行其他内务处理操作，或者可以调整操作，使得它们在稍稍不同的时间出现，或者可以分布在允许处理操作以与处理相关联的各种间隔出现的系统中，只要以希望的方式执行叠加操作的处理。
尽管已经为了清楚理解的目的详细描述了前述发明，但是明显的是可以在所附权利要求的范围内实践特定改变和修改。因此，本实施例视为说明性的而不是限制性的，并且本发明不限于在此给出的细节，而是可以在所附权利要求的范围和等价物中修改。

Claims (18)

1.一种方法，包括：
通过手持设备，接收由远程设备发送的远程真实世界场景的远程图像，由远程用户操作的所述远程设备与一用户操作的所述手持设备通信；
使用所述手持设备捕获本地真实世界场景的本地图像；
通过结合远程图像和捕获的本地图像以及一个或多个虚拟现实对象，创建用于呈现在所述手持设备的显示屏幕上的增强视图，其中所述增强视图提供邻近效果以模拟远程用户和所述用户共享包括所述一个或多个虚拟现实对象的空间；
当用户手延伸进入本地真实世界场景中时，在捕获的本地图像中检测用户手；
当在捕获的本地图像中检测到用户手时，将用户手增加到所述增强视图中；
当用户手在所述增强视图中与所述一个或多个虚拟现实对象中的第一虚拟现实对象进行虚拟接触时，基于用户手与所述第一虚拟现实对象的交互生成交互数据；
基于所述交互数据更新所述增强视图，其中所述交互数据在所述显示屏幕上模拟用户手正在与所述第一虚拟现实对象交互；以及
将所述交互数据以及一个或多个本地真实世界的捕获的本地图像从所述手持设备传输到所述远程设备，使得所述远程设备基于所述交互数据呈现包括对所述第一虚拟现实对象的改变的视图。
2.如权利要求1所述的方法，其中用户手的交互是从包括持有、推、拉、移动、打击、投掷、打开、关闭、接通或关断、按压按钮、射击武器、或吃所述第一虚拟现实对象的组选择的对所述第一虚拟现实对象的动作。
3.如权利要求1所述的方法，其中创建增强视图还包括：
利用一个或多个本地真实世界场景的捕获的本地图像的图像分析或从手持设备内的惯性系统、GPS、超声三角测量、WiFi通信、或航位推算获得的数据，确定手持设备的定位。
4.如权利要求1所述的方法，其中创建增强视图还包括：
使用远程图像的图像识别检测远程真实世界场景中的桌子；以及
在增强视图中放置虚拟游戏棋盘在桌子顶部，好像所述虚拟游戏棋盘驻留在所述桌子上。
5.如权利要求1所述的方法，其中所述交互数据与抓住所述第一虚拟现实对象的用户手相关联。
6.如权利要求5所述的方法，其中所述交互包括在用户手抓住所述第一虚拟现实对象后移动所述第一虚拟现实对象。
7.如权利要求1所述的方法，其中所述增强视图模拟所述手持设备后面的相机在本地真实世界场景中移动。
8.如权利要求1所述的方法，其中所述第一虚拟现实对象是棋子，其中用户手的交互包括抓住棋子、移动棋子、或释放棋子中的一种或多种，所述方法还包括：
将用户手的交互传输到所述远程设备。
9.如权利要求1所述的方法，其中所述远程图像与正在与所述用户玩游戏的远程玩家相关联，其中所述一个或多个虚拟现实对象是游戏对象，所述方法还包括：
从远程设备接收远程交互数据；以及
基于接收的远程交互数据更新增强视图中的一个或多个虚拟现实对象。
10.如权利要求9所述的方法，还包括：
利用所述手持设备的后部面对相机捕获后部面对图像；以及
将所述后部面对图像传输给所述远程设备，其中所述远程设备可操作来在玩游戏的同时将所述后部面对图像传输给远程玩家。
11.如权利要求9所述的方法，还包括：
通过所述手持设备接收所述远程玩家的面部的更新；以及
更新所述增强视图中远程玩家的脸，同时保持增强视图中的背景不变。
12.一种方法，包括：
使用与多个用户相关联的多个手持设备捕获真实世界场景的图像，所述图像在所述多个手持设备相互邻近并且位于所述真实世界场景中或靠近所述真实世界场景时捕获；
通过结合捕获的图像以及一个或多个虚拟现实对象，创建用于呈现在多个手持设备的各个显示屏幕上的增强视图，其中所述增强视图提供邻近效果以模拟所述多个用户与增加到所述真实世界场景的一个或多个虚拟现实对象交互；
当用户手延伸进入真实世界场景中时，在第一手持设备的第一捕获的图像中检测用户手；
当在第一捕获的图像中检测到用户手时，在所述第一手持设备的第一显示屏幕上显示用户手；
当用户手在所述第一手持设备的第一增强视图中与所述一个或多个虚拟现实对象中的第一虚拟现实对象进行虚拟接触时，基于用户手与所述第一虚拟现实对象的交互生成交互数据；
基于所述交互数据更新所述第一增强视图，其中所述交互数据在所述第一显示屏幕上模拟用户手正在与所述第一虚拟现实对象交互；以及
将所述交互数据传输到多个手持设备中的其它手持设备，使得所述多个手持设备中的其它手持设备基于所述交互数据，呈现包括当用户手与所述第一虚拟现实对象交互时对所述第一虚拟现实对象的改变的视图。
13.如权利要求12所述的方法，其中所述多个手持设备中的每个手持设备可操作来检测各个用户的用户手，并且基于各个用户与所述一个或多个虚拟现实对象的任何一个的交互生成交互数据。
14.如权利要求12所述的方法，其中用户手的交互是从包括持有、打开或撞击的组选择的对所述第一虚拟现实对象的动作。
15.如权利要求12所述的方法，还包括：
在多个手持设备之间交换图像信息、相对运动和ping数据以保持多个手持设备关于真实世界场景中的参考点的同步。
16.如权利要求12所述的方法，还包括：
在多个手持设备之间交换图像信息、相对运动和位置信息以在增强视图中同步多个手持设备的校准位置。
17.如权利要求12所述的方法，其中来自所述多个手持设备的各个显示中的增强视图相互独立，并且各个增强视图基于各个手持设备的位置。
18.如权利要求12所述的方法，其中所述第一增强视图包括虚拟棋盘游戏，其中持有各个手持设备的游戏者玩虚拟棋盘游戏，其中虚拟棋盘游戏关于真实世界场景的位置对所有多个手持设备是相同位置。
CN201610220654.4A 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图的方法 Active CN105843396B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US31125110P 2010-03-05 2010-03-05
US61/311,251 2010-03-05
US12/947,290 US8730156B2 (en) 2010-03-05 2010-11-16 Maintaining multiple views on a shared stable virtual space
US12/947,290 2010-11-16
CN201180022611.0A CN102884490B (zh) 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180022611.0A Division CN102884490B (zh) 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图

Publications (2)

Publication Number Publication Date
CN105843396A true CN105843396A (zh) 2016-08-10
CN105843396B CN105843396B (zh) 2019-01-01

Family

ID=43923591

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180022611.0A Active CN102884490B (zh) 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图
CN201610220654.4A Active CN105843396B (zh) 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180022611.0A Active CN102884490B (zh) 2010-03-05 2011-01-24 在共享的稳定虚拟空间上维持多视图

Country Status (4)

Country Link
CN (2) CN102884490B (zh)
MX (1) MX2012010238A (zh)
TW (1) TWI468734B (zh)
WO (1) WO2011109126A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528285A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中多个合作调度方法及系统
CN107087152A (zh) * 2017-05-09 2017-08-22 成都陌云科技有限公司 三维成像信息通信系统
CN107320955A (zh) * 2017-06-23 2017-11-07 武汉秀宝软件有限公司 一种基于多客户端的ar场馆界面交互方法及系统
CN107390875A (zh) * 2017-07-28 2017-11-24 腾讯科技（上海）有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
CN107492183A (zh) * 2017-07-31 2017-12-19 程昊 一种有纸即开型彩票ar展示方法及系统
CN107995481A (zh) * 2017-11-30 2018-05-04 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN108479065A (zh) * 2018-03-29 2018-09-04 京东方科技集团股份有限公司 一种虚拟影像的交互方法及相关装置
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN108667798A (zh) * 2018-03-27 2018-10-16 上海临奇智能科技有限公司 一种虚拟观影的方法及系统
CN109298776A (zh) * 2017-07-25 2019-02-01 广州市动景计算机科技有限公司 增强现实互动系统、方法和装置
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
CN112188922A (zh) * 2018-05-21 2021-01-05 微软技术许可有限责任公司 虚拟相机放置系统
WO2023011296A1 (zh) * 2021-08-04 2023-02-09 北京字跳网络技术有限公司 交互方法、电子设备、存储介质和程序产品

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
CN102542165B (zh) * 2011-12-23 2015-04-08 三星半导体(中国)研究开发有限公司 用于三维虚拟棋盘的操作方法和装置
US20130234925A1 (en) * 2012-03-09 2013-09-12 Nokia Corporation Method and apparatus for performing an operation at least partially based upon the relative positions of at least two devices
US8630458B2 (en) 2012-03-21 2014-01-14 Google Inc. Using camera input to determine axis of rotation and navigation
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
CN103105993B (zh) 2013-01-25 2015-05-20 腾讯科技（深圳）有限公司 基于增强现实技术实现互动的方法和系统
TWI555390B (zh) * 2013-02-20 2016-10-21 仁寶電腦工業股份有限公司 控制電子設備的方法與電子裝置
CA2913218C (en) 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
CN104657568B (zh) * 2013-11-21 2017-10-03 深圳先进技术研究院 基于智能眼镜的多人移动游戏系统及方法
EP2886172A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Mixed-reality arena
US9787846B2 (en) * 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US10015370B2 (en) 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10665019B2 (en) 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
CN105938629B (zh) * 2016-03-31 2022-01-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
CN106200956A (zh) * 2016-07-07 2016-12-07 北京时代拓灵科技有限公司 一种虚拟现实领域多媒体呈现和交互的方法
CN106447786A (zh) * 2016-09-14 2017-02-22 同济大学 一种基于虚拟现实技术的平行空间创建及共享系统
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
CN106621306A (zh) * 2016-12-23 2017-05-10 浙江海洋大学 一种双层立体式军旗棋盘
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
CN115641424A (zh) * 2017-01-09 2023-01-24 斯纳普公司 增强现实对象操纵
JP6526367B2 (ja) * 2017-03-01 2019-06-05 三菱電機株式会社 情報処理システム
CN107103645B (zh) * 2017-04-27 2018-07-20 腾讯科技（深圳）有限公司 虚拟现实媒体文件生成方法及装置
CN108932051B (zh) * 2017-05-24 2022-12-16 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN107469343B (zh) * 2017-07-28 2021-01-26 深圳市瑞立视多媒体科技有限公司 虚拟现实交互方法、装置及系统
CN107632700A (zh) * 2017-08-01 2018-01-26 中国农业大学 一种基于虚拟现实的农具展馆体验系统和方法
CN109426333B (zh) * 2017-08-23 2022-11-04 腾讯科技（深圳）有限公司 一种基于虚拟空间场景的信息交互方法及装置
WO2019080902A1 (en) * 2017-10-27 2019-05-02 Zyetric Inventions Limited INTELLIGENT INTERACTIVE VIRTUAL OBJECT
CN111263956A (zh) * 2017-11-01 2020-06-09 索尼公司 信息处理设备、信息处理方法和程序
CN107861682A (zh) * 2017-11-03 2018-03-30 网易（杭州）网络有限公司 虚拟对象的移动控制方法和装置
CN107967054B (zh) * 2017-11-16 2020-11-27 中国人民解放军陆军装甲兵学院 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘
CN107657589B (zh) * 2017-11-16 2021-05-14 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN108269307B (zh) * 2018-01-15 2023-04-07 歌尔科技有限公司 一种增强现实交互方法及设备
US20210038975A1 (en) * 2018-01-22 2021-02-11 The Goosebumps Factory Bvba Calibration to be used in an augmented reality method and system
US11880540B2 (en) * 2018-03-22 2024-01-23 Hewlett-Packard Development Company, L.P. Digital mark-up in a three dimensional environment
CN108919945A (zh) * 2018-06-07 2018-11-30 佛山市长郡科技有限公司 一种虚拟现实设备工作的方法
CN109284000B (zh) * 2018-08-10 2022-04-01 西交利物浦大学 一种虚拟现实环境下三维几何物体可视化的方法及系统
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10866658B2 (en) 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
CN113614678A (zh) 2019-04-18 2021-11-05 苹果公司 用于头戴式设备的共享数据和协作
US10948978B2 (en) 2019-04-23 2021-03-16 XRSpace CO., LTD. Virtual object operating system and virtual object operating method
WO2020226832A1 (en) * 2019-05-06 2020-11-12 Apple Inc. Device, method, and computer-readable medium for presenting computer-generated reality files
CN110286768B (zh) * 2019-06-27 2022-05-17 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
CN110349270B (zh) * 2019-07-02 2023-07-28 上海迪沪景观设计有限公司 基于现实空间定位的虚拟沙盘呈现方法
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US20210157394A1 (en) 2019-11-24 2021-05-27 XRSpace CO., LTD. Motion tracking system and method
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11991469B2 (en) 2020-06-30 2024-05-21 Snap Inc. Skeletal tracking for real-time virtual effects
CN111915736A (zh) * 2020-08-06 2020-11-10 黄得锋 一种ar交互控制系统、装置及应用
CN113941138A (zh) * 2020-08-06 2022-01-18 黄得锋 一种ar交互控制系统、装置及应用
WO2022036372A1 (en) * 2020-08-13 2022-02-17 Snap Inc. User interface for pose driven virtual effects
US20230078578A1 (en) * 2021-09-14 2023-03-16 Meta Platforms Technologies, Llc Creating shared virtual spaces
TWI803134B (zh) * 2021-09-24 2023-05-21 宏達國際電子股份有限公司 虛擬影像顯示裝置及其輸入介面的設定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US20030156144A1 (en) * 2002-02-18 2003-08-21 Canon Kabushiki Kaisha Information processing apparatus and method
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
US20060257420A1 (en) * 2002-04-26 2006-11-16 Cel-Sci Corporation Methods of preparation and composition of peptide constructs useful for treatment of autoimmune and transplant related host versus graft conditions
CN101174332A (zh) * 2007-10-29 2008-05-07 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统
US20080228422A1 (en) * 2007-03-13 2008-09-18 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588139A (en) * 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US7149691B2 (en) * 2001-07-27 2006-12-12 Siemens Corporate Research, Inc. System and method for remotely experiencing a virtual environment
US11033821B2 (en) * 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
TWI278772B (en) * 2005-02-23 2007-04-11 Nat Applied Res Lab Nat Ce Augmented reality system and method with mobile and interactive function for multiple users
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US20030156144A1 (en) * 2002-02-18 2003-08-21 Canon Kabushiki Kaisha Information processing apparatus and method
US20060257420A1 (en) * 2002-04-26 2006-11-16 Cel-Sci Corporation Methods of preparation and composition of peptide constructs useful for treatment of autoimmune and transplant related host versus graft conditions
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
US20080228422A1 (en) * 2007-03-13 2008-09-18 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN101174332A (zh) * 2007-10-29 2008-05-07 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528285A (zh) * 2016-11-11 2017-03-22 上海远鉴信息科技有限公司 虚拟现实中多个合作调度方法及系统
CN107087152B (zh) * 2017-05-09 2018-08-14 成都陌云科技有限公司 三维成像信息通信系统
CN107087152A (zh) * 2017-05-09 2017-08-22 成都陌云科技有限公司 三维成像信息通信系统
CN107320955A (zh) * 2017-06-23 2017-11-07 武汉秀宝软件有限公司 一种基于多客户端的ar场馆界面交互方法及系统
CN107320955B (zh) * 2017-06-23 2021-01-29 武汉秀宝软件有限公司 一种基于多客户端的ar场馆界面交互方法及系统
CN109298776A (zh) * 2017-07-25 2019-02-01 广州市动景计算机科技有限公司 增强现实互动系统、方法和装置
CN109298776B (zh) * 2017-07-25 2021-02-19 阿里巴巴（中国）有限公司 增强现实互动系统、方法和装置
CN107390875A (zh) * 2017-07-28 2017-11-24 腾讯科技（上海）有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
US11645817B2 (en) 2017-07-28 2023-05-09 Tencent Technology (Shenzhen) Company Limited Information processing method and apparatus, terminal device, and computer readable storage medium on displaying decoupled virtual objects in a virtual scene
CN107492183A (zh) * 2017-07-31 2017-12-19 程昊 一种有纸即开型彩票ar展示方法及系统
CN107995481B (zh) * 2017-11-30 2019-11-15 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN107995481A (zh) * 2017-11-30 2018-05-04 贵州颐爱科技有限公司 一种混合现实的显示方法及装置
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN108667798A (zh) * 2018-03-27 2018-10-16 上海临奇智能科技有限公司 一种虚拟观影的方法及系统
CN108479065B (zh) * 2018-03-29 2021-12-28 京东方科技集团股份有限公司 一种虚拟影像的交互方法及相关装置
CN108479065A (zh) * 2018-03-29 2018-09-04 京东方科技集团股份有限公司 一种虚拟影像的交互方法及相关装置
CN112188922A (zh) * 2018-05-21 2021-01-05 微软技术许可有限责任公司 虚拟相机放置系统
CN112188922B (zh) * 2018-05-21 2024-05-24 微软技术许可有限责任公司 虚拟相机放置系统
US10687051B1 (en) 2019-05-13 2020-06-16 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US11032537B2 (en) 2019-05-13 2021-06-08 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
WO2023011296A1 (zh) * 2021-08-04 2023-02-09 北京字跳网络技术有限公司 交互方法、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN102884490A (zh) 2013-01-16
CN102884490B (zh) 2016-05-04
TW201205121A (en) 2012-02-01
CN105843396B (zh) 2019-01-01
TWI468734B (zh) 2015-01-11
MX2012010238A (es) 2013-01-18
WO2011109126A1 (en) 2011-09-09

Similar Documents

Publication Publication Date Title
CN102884490B (zh) 在共享的稳定虚拟空间上维持多视图
US11244469B2 (en) Tracking position of device inside-out for augmented reality interactivity
CN102939139B (zh) 共享虚拟空间中便携式设备的校准
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
US11050977B2 (en) Immersive interactive remote participation in live entertainment
US11145125B1 (en) Communication protocol for streaming mixed-reality environments between multiple devices
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
TWI786700B (zh) 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中
US10573060B1 (en) Controller binding in virtual domes
US20100103196A1 (en) System and method for generating a mixed reality environment
CN104010706A (zh) 视频游戏的方向输入
US10740957B1 (en) Dynamic split screen
Li Development of immersive and interactive virtual reality environment for two-player table tennis
TW202111480A (zh) 虛擬實境與擴增實境之互動系統及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant