CN102047201A - 控制虚拟现实 - Google Patents

控制虚拟现实 Download PDF

Info

Publication number
CN102047201A
CN102047201A CN2009801194923A CN200980119492A CN102047201A CN 102047201 A CN102047201 A CN 102047201A CN 2009801194923 A CN2009801194923 A CN 2009801194923A CN 200980119492 A CN200980119492 A CN 200980119492A CN 102047201 A CN102047201 A CN 102047201A
Authority
CN
China
Prior art keywords
sword
incarnation
image
light
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801194923A
Other languages
English (en)
Inventor
S·卡茨
M·马德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3DV SYSTEMS (NL)
Microsoft International Holdings BV
Original Assignee
3DV SYSTEMS (NL)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3DV SYSTEMS (NL) filed Critical 3DV SYSTEMS (NL)
Publication of CN102047201A publication Critical patent/CN102047201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1062—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to a type of game, e.g. steering wheel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6623—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating a group of characters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于使人与计算机接口的方法，该方法包括：向人提供设备，该设备具有：具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且面向杆的第一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；获得设备的图像；响应于图像确定设备的定向；以及响应于定向由计算机生成动作。

Description

控制虚拟现实
相关申请
本申请根据35U.S.C.§119(e)要求在2008年5月26日提交的美国临时专利申请61/056,027的权益，其公开通过引用结合于此。
发明领域
本发明涉及使人类与计算机接口，并任选地使人与计算机成一整体以生成虚拟现实。
背景
首先，存在鼠标和键盘。并且鼠标和键盘使人类与计算机接口。然而，随着技术地发展，计算机获得接收和处理数据足以提供丰富的相对复杂、实时的用户应用程序的能力，这些应用程序使用或要求比由鼠标和键盘所提供的更加无缝和自然地与人类用户接口。
作为示例，在使用或要求增强人机接口的熟悉的应用程序当中有：使得用户能够通过与计算机谈话向该计算机输入数据的语音识别服务、蜂窝电话计算机游戏、以及实时操作的虚拟现实。这些应用程序中的许多要求响应于人作出姿势的图像解释和/或使用人类姿势的能力或可从该能力获益。结果，相当多的研究精力和资源被投入到开发能够实时接收视觉数据并处理该数据以识别和解释人类姿势的姿势识别装置和算法中。
人类姿势被认为是向他人和/或计算机传达信息的身体语言的任何有意识或无意识的元素。作为示例，姿势可以是响应于他人和/或计算机而作出的任何有意识或无意识非面部表情、响应于视频游戏、虚拟现实环境或多媒体演示提供的挑战或刺激而作出的手或身体姿态或运动。姿势识别技术(GRT)被认为包括配置成对响应于人作出人类姿势的图像进行识别、解释和/或使用这些姿势的硬件和/或软件技术。
概述
本发明的一些实施例的一方面涉及提供确定被人用来与计算机交互的对象的空间位置和/或定向的方法。
本发明的一些实施例的一方面涉及形成具有包括第一和第二部分的结构的对象，该第一和第二部分可用于根据对象的任选的常规2D图像来确定对象的3D空间位置和/或定向。在本发明的实施例中，在对象的图像中结构的第一部分在结构的第二部分上的投影提供了对象的定向的指示。任选地，第一和第二部分被用于响应于对象以及对象所处的场景的3D“深度图”来确定对象的位置和/或定向。
根据本发明的一些实施例的方面，对象配备有用于指示该对象位置和/或定向的基准标记的新颖配置。任选地，使用基准标记来从对象的常规2D图像确定对象的定向。任选地，基准标记被用于响应于对象和/或对象所处的场景的3D深度图来确定对象的位置和/或定向。
本发明的一些实施例的方面涉及确定人的空间位置和身体姿态——也称为“姿势”，以及使位置和/或姿态与对象的位置和定向成一整体。
根据本发明的一些实施例的方面，对象是任选地供下文中称为“战士”的玩家在由合适的计算机生成和控制的星球大战类格斗游戏中使用的光剑的模拟。
在本发明的实施例中，任选地使用提供战士的实时视频速率深度图和图像的3D成像系统来对持握光剑的战士进行成像以提供战士的视频。由计算机处理深度图和/或图像以根据时间确定光剑的空间位置和定向以及任选的战士的位置和战士的姿势。计算机使用光剑以及任选的战士的位置和定向来使由计算机控制的合适视频屏幕上呈现的星球大战格斗游戏中持握光剑的化身活动起来。
出于演示方便的目的，为了将战士所持握的光剑与视频屏幕上的化身所持握的光剑区分开，化身的光剑通常被称为“化身光剑”，而战士光剑通常被称为“战士光剑”。
任选地，战士光剑包括手柄、称为“剑锷(tsuba)”的防护手板、以及光剑“短杆(stub-shaft)”。手柄和光剑短杆任选地为基本圆柱形，并且共享在下文中称为“光剑轴”的公共轴。剑锷位于光剑短杆与手柄之间的光剑轴上，并且从光剑轴向外延伸，以使得从可观看光剑的各个视点看来，短杆被投影在剑锷的至少一部分上，即形成阴影。任选地，剑锷被形成为具有与光剑轴基本上垂直的平面区。任选地，平面区被表征为相对于光剑轴轴对称。任选地，平面区是圆形的。在从对光剑进行成像的3D成像系统的视点获得的光剑的图像中，短杆在剑锷上的投影提供光剑的定向的指示。一般而言，光剑的定向影响剑锷在光剑的图像中的形状，并且任选地所成像的形状被用于确定光剑的定向。
任选地，短杆和剑锷的表面区域被制成使得相对容易地确定短杆在剑锷上的投影。任选地，剑锷和短杆的表面区域被配置成具有足够不同的反射率，以便帮助辨别战士光剑的图像中的投影。在本发明的实施例中，剑锷的表面区域被覆盖或形成为对于用于对光剑进行成像的光具有相对较高的反射率。
在本发明的实施例中，光剑被设置为具有在光剑的图像中相对容易标识的至少一个反射基准。所标识的至少一个基准被用来响应于图像中的至少一个明亮基准的位置和定向确定光剑的空间位置和/或定向。
任选地，在下文中也称为“明亮基准”的至少一个反射基准包括一反射元件，该反射元件形成为使得该元件在由来自位于相机附近的光源的光照明时看起来具有基本相同、相对强烈的亮度。任选地，明亮基准包括球形区域，该球形区域位于光剑短杆的尖端且具有基本上位于沿光剑轴的中心。任选地，至少一个反射基准包括环形区域，该环形区域具有与光剑轴基本一致的旋转轴。在本发明的实施例中，响应于至少一个明亮基准的反射率来标识该至少一个明亮基准。任选地，响应于由3D成像系统提供的战士和光剑的深度图和图像所提供的数据来确定反射率。
在本发明的实施例中，出于使用方便和安全性的目的，战士光剑短杆相对较短，且任选地小于或等于约30cm。任选地，战士光剑包括由战士操作以向计算机提供指示激活战士光剑的信号的激活机构。当未被激活时，化身光剑被示为具有“模仿”战士光剑的短杆的短杆。当被激活时，化身光剑被示为具有从化身光剑剑锷延伸出并替代短杆的相对较长的“光刃”。任选地，激活机构包括一机械机构，该机械机构能操作用于提供由3D成像系统检测到以提供激活战士和化身光剑的信号的视觉提示。任选地，激活机构包括操作成通过按压战士光剑手柄上的按钮开关或通过向手柄施加压力来激活战士和化身光剑的电路。任选地，激活电路包括当操作激活电路时变成开启以指示光剑被激活的光。任选地，计算机响应于对战士和战士光剑进行成像的成像系统所提供的图像确定电路工作且光被开启。任选地，激活电路包括在激活战士光剑时传送能被耦合至计算机的合适接收器接收到的诸如RF信号等“激活”信号的发射器。
在本发明的一些实施例中，战士光剑的光剑短杆被配置成装配有模拟光刃的相对较长的延伸部分。任选地，该延伸部分是由合适的轻型但坚硬的材料——诸如聚氨酯——制成的管。该管被形成为具有内腔，以使得其能够牢固地安装到战士光剑的短杆。任选地，制作延伸部分的材料基本上是半透明的和/或是用合适的半透明材料填充的，并且光剑包括光源。当激活光剑时，延伸部分沿着其长度被明显照亮，从而提供光刃效果。
因此，根据本发明的实施例提供了一种使人与计算机接口的方法，该方法包括：向所述人提供设备，该设备具有：具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且面向所述杆的第一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；获得设备的图像；响应于图像确定设备的定向；以及响应于定向由计算机生成动作。
任选地，确定定向包括确定杆在剑锷上的投影。
作为补充或替代，确定定向任选地包括相对于剑锷的已知形状确定图像中的剑锷的形状。任选地，剑锷具有圆形周边。任选地，确定图像中的剑锷的形状包括确定图像中的形状的长轴和短轴。
在本发明的某一实施例中，方法包括响应于所确定的形状确定设备的3D空间坐标。
在本发明的某一实施例中，方法确定定向包括确定轴相对于坐标系的极角。任选地，确定极角包括在确定极角时消除简并度。在本发明的某一实施例中，方法确定定向包括确定轴的方位角。
在本发明的某一实施例中，确定定向包括：为图像中的设备的三个区域中的每一个确定3D空间坐标；确定坐标是否基本上位于同一直线上；以及使用坐标来确定定向。
在本发明的某一实施例中，方法包括将杆的表面与剑锷的第一表面设置成具有相对增强的对比。任选地，提供相对增强的对比包括将剑锷的表面设置成具有相对较高的反射率。作为补充或替代，提供相对增强的对比任选地包括将杆的表面设置成具有相对较低的反射率。
在本发明的某一实施例中，方法包括将设备设置成具有用于帮助定位设备的特征的至少一个基准标记。任选地，至少一个基准标记包括在杆的端处的相对明亮的反射基准。任选地，方法包括将在杆的端处的基准配置成具有基本上相同的亮度，而不管设备的定向。作为补充或替代，在杆的端处的基准任选地包括高反射率的球形表面。在本发明的某些实施例中，至少一个基准标记包括沿着剑锷的周边的高反射率区域。
在本发明的某些实施例中，获得图像包括获得设备的3D深度图图像。
在本发明的某些实施例中，获得图像包括获得设备的对比图像。
在本发明的某些实施例中，由计算机生成动作包括使化身活动起来。任选地，化身位于虚拟现实中。任选地，使化身活动起来包括使化身活动起来以与虚拟现实的元素进行交互。
在本发明的某些实施例中，方法包括确定人的3D空间坐标。任选地，确定空间坐标包括获得人的3D深度图像以及使用深度图像来确定坐标。作为补充或替代，方法包括响应于所确定的坐标确定化身在虚拟现实中的位置。
在本发明的某些实施例中，方法包括确定人的姿势。任选地，确定姿势包括获得人的3D深度图像以及使用深度图像来确定姿势。作为补充或替代，方法包括响应于所确定的人的姿势确定化身的姿势。
在本发明的某些实施例中，化身是虚拟现实中的第一化身，而元素是在虚拟现实中操作的第二化身。任选地，响应于人的动作来使第二化身活动起来。任选地，根据本发明的实施例使第二化身活动起来。
在本发明的一些实施例中，虚拟现实是计算机游戏的现实。任选地，第一和第二化身在计算机游戏中进行相互格斗。任选地，格斗是模拟的星球大战格斗。
根据本发明的实施例还提供了一种包括用于根据前述要求中的任一方法配置计算机来与人交互的指令集的计算机可读介质。
根据本发明的实施例还提供了一种用于与人交互的系统，该系统包括：人类操作设备，其具有：具有轴的杆；剑锷，其被连接到杆并且具有从轴向外延伸且面向所述杆的第一侧；以及手柄，在剑锷的第二侧上，该第二侧与第一侧相对；成像设备，用于获得所述设备的成像数据；以及计算机，其被配置成接收成像数据以及处理接收到的数据以确定设备的定向并响应于定向生成动作。
任选地，系统包括包含用于配置计算机以处理接收到的数据的指令集的计算机可读介质。作为补充或替代，系统包括包含用于配置计算机以生成动作的指令集的计算机可读介质。
任选地，由计算机生成动作包括使化身活动起来。任选地，化身位于虚拟现实中。任选地，使化身活动起来包括使化身活动起来以与虚拟现实的元素进行交互。任选地，化身是虚拟现实中的第一化身，而元素是在虚拟现实中操作的第二化身。任选地，响应于人的动作来使第二化身活动起来。
根据本发明的实施例还提供了一种使人与计算机接口的方法，该方法包括：向人提供设备，该设备具有：人站立于其上的平台；平台安装在其上的一组平衡环，这一组平衡环使得人能够通过在平台上移动他或她的体重来改变平台的定向；以及至少一个基准标记；获得至少一个基准标记的图像；响应于图像确定设备的定向；以及响应于定向由计算机生成动作。任选地，至少一个基准包括沿着平台的边缘的基准。任选地，至少一个基准包括两个基准标记。任选地，两个基准标记包括由沿着未用基准作标记的边缘的相对较小的区域分隔的至少两个相对靠近的基准标记。
附图简述
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A示意性地示出了根据本发明的实施例的持握光剑的战士的透视图；
图1B示意性地示出了根据本发明的实施例的由图1A中的战士持握的光剑的放大透视图；
图1C示意性地示出了根据本发明的实施例的从与图1B中所示的不同的角度的由图1A中的战士持握的光剑；
图2A-2F示意性地示出了根据本发明的实施例的绕着同一y轴旋转过各个角度的图1B中所示的光剑以及光剑的短杆在光剑的剑锷的投影和/或光剑的明亮基准(可如何被用来确定光剑的定向；
图3A-3E示意性地示出了根据本发明的实施例的绕着同一x轴旋转过各个角度的图1B中所示的光剑以及光剑的短杆在光剑的剑锷上的投影可如何被用来确定光剑的定向；
图4A-4F示意性地示出了根据本发明的实施例的绕着x轴和y轴旋转过各个角度的图1B中所示的光剑以及光剑的短杆在光剑的剑锷上的投影可如何被用来确定光剑的定向；
图5示出了根据本发明的实施例的确定战士光剑的位置和定向的方法的流程图；
图6示意性地示出了根据本发明的实施例的由两个战士发动的虚拟现实星球大战格斗；
图7示意性地示出了根据本发明的实施例的安装有光刃的光剑；以及
图8A-8C示意性地示出了根据本发明的实施例的滑板以及滑板上可用来确定滑板的定向的明亮基准。
详细描述
图1A示意性地示出了根据本发明的实施例的玩家，即持握光剑30并加入星球大战类光剑战斗的战士21，光剑30在图1B中被大大放大。战士21任选地与包括具有光轴53的3D成像系统52的游戏系统50交互，该成像系统以每秒至少30幅图像和深度图的视频速率提供战士的深度图以及图像。
本领域中所知的各种合适的视频成像系统和3D相机中的任一个可被包括在3D成像系统52中，用来提供战士21的视频速率图像和深度图。任选地，3D成像系统52是选通3D成像系统，该选通3D成像系统包括用于提供任选的常规场景图像的成像相机和用于提供场景的深度图的选通飞行时间3D相机。选通飞行时间3D相机的各种类型和配置以及对这些相机进行选通的方法在美国专利6,057,909、6,091,905、6,100,517、6,445,884、7224384、美国专利公开2007/0091175、PCT申请IL2007/001571、以及欧洲专利EP1214609中进行了描述，它们的公开通过援引纳入于此。为了使用所引用的专利和申请中所描述的选通3D相机对场景进行成像并确定至场景中的对象的距离，使用从与相机的选通同步的合适光源辐射出的一系列任选的IR光脉冲来对场景进行照明。对于该系列中的每一辐射光脉冲，在从辐射出该光脉冲的时间准确确定的延迟之后，在一段时间内将相机选通为打开，这段时间在此后被称为“门”。如果来自从场景中的对象反射的光脉冲的光在该门期间到达相机，则它在相机的光敏面上成像。由相机光敏面中的像素在门期间记录的光量被用于确定至在像素上成像的对象的距离。
合适计算机54从3D成像系统52接收图像和深度图，并处理由图像和深度图提供的数据以使表示光剑格斗中的战士21的化身(未在图1A中示出)活动起来。计算机控制合适视频屏幕55以显示战士的化身以及表示战士在光剑战斗中的对手的化身的一化身即“对手化身”(未在图1A中示出)。任选地，计算机54生成对手化身而无需求助于真实战士对手。
在本发明的一些实施例中，对手化身是响应于另一“真实”玩家即战士对手而生成的，该另一“真实”玩家与同游戏系统50相类似的游戏系统进行交互且由与对战士21成像的3D成像系统相类似的3D成像系统来成像。两个游戏系统的计算机54彼此通信，以使得响应于战士21而活动起来的化身和对手化身位于在战士和对手战士各自的视频屏幕55上呈现给他们的公共虚拟星球大战现实中并在其中交互。战士和对手战士的交互在图6中例示并在以下进行讨论。
参看在图1B中示意性地示出的光剑30的放大图，出于演示方便的目的，该光剑包括手柄31、防护手板即剑锷32、以及沿其具有弧的长度标记的光剑“短杆”33。手柄31和光剑短杆33任选地为基本锁骨圆柱形，并且共享在下文中称为“光剑”轴的公共轴36。剑锷沿着光剑轴36位于光剑短杆33与手柄31之间，并且从光剑轴向外延伸。任选地，剑锷32被形成为具有与光剑轴基本上垂直的平面区37。任选地，平面区被表征为相对于光剑轴轴对称。任选地，平面区是圆形的。作为示例，在战士光剑33中，剑锷32是圆盘形状的。
任选地，手柄31包括激活按钮39，该激活按钮可控制用于操作具有包括在手柄中的发射器(未示出)的激活电路。按压激活按钮39以操作发射器来向计算机54传送合适信号，诸如光或RF信号，用于向计算机指示光剑被激活。一旦激活，计算机在由计算机显示在视频屏幕55上的与光剑30相对应的化身光剑中开启相对长的光刃。
在本发明的一些实施例中，剑锷32被设置成具有对于确定光剑的定向而言有益的基准标记配置，这些基准标记高度反射用于对战士光剑30成像的任选IR光，并提供光剑的深度图。任选地，剑锷32在该剑锷面向短杆33的一侧上的基本全部表面积高度反射用于对剑成像的光。任选地，剑锷32的边缘上或剑锷面向手柄31的一侧上的表面积的至少一部分是高度反光的。
在本发明的实施例中，短杆33的表面具有比表征剑锷32的高度反射表面区的反射率小的反射率，但是短杆确实包括位于短杆远离剑锷32的一端的高度反射明亮基准。短杆明亮基准对于确定光剑30的位置和/或定向而言会是有益的。任选地，明亮标准包括附连至短杆的一端的主体的高度IR(任选的)反射率的球面34。
任选地，手柄31的表面具有比表征剑锷32的高度反射表面区的反射率小的反射率，但是确实包括位于手柄远离剑锷32的一端处的高度反射明亮基准——这对于确定光剑30的位置和/或定向而言会是有益的。任选地，手柄明亮基准包括高度任选IR反射率圆柱形表面38。任选地，手柄明亮基准包括在图1C中示意性示出的环形表面40。
根据本发明的实施例，在从3D成像系统52的视点获得的战士光剑30的图像中短杆33在剑锷32上的投影被用于提供战士光剑的位置和/或定向。一般而言，战士光剑30的定向影响剑锷在光剑的图像中的形状，并且任选地所成像的形状被用于确定光剑的定向。对于战士光剑30的给定定向，剑锷32在图像中的大小可被用于确定光剑的位置。任选地，短杆明亮基准34的位置被用于提供战士光剑30的位置和/或定向。任选地，手柄明亮基准38和/或40的位置用于提供光剑的位置和/或定位。
作为示例，图2A-4F示出了在假定战士光剑基本上沿着3D成像系统52的光轴53定位以及光轴与相对于地面的法线——即垂线——成大约55°的角的情况下，由图1A中的战士21持握的战士光剑30的示意透视图。在图1A中示意性地指示了光轴与垂直地面所成的角。附图示意性地示出了根据本发明的实施例旋转过各个角度的战士光剑30，并用图形指示光剑的短杆33在光剑的剑锷上的投影和/或光剑明亮基准34和/或38的图像可如何被用来确定光剑的定向。附图还用图形指示剑锷和明亮基准的图像可如何被用来确定战士光剑30距3D成像系统52的距离。
图2A-2F示意性地示出了绕着同一y轴旋转过各个角度的战士光剑30。
图2A示意性地示出了光剑轴36基本上垂直于地面的被竖直地持握的战士光剑30的透视图。假定图2A中的光剑轴36沿着坐标系的z轴，该坐标系具有在图2A中所指示的与剑锷32面向短杆33的表面共面的x轴和y轴。图2B-2F示意性示出了绕着图2A所示的y轴分别旋转角度20°、40°、50°、60°和90°的光剑30的透视图。在图2B-2F中，光剑不绕着x轴旋转。
在每幅附图下面示出的是战士光剑的剑锷32、其短杆明亮基准34和手柄明亮基准38的图像。在剑锷下方示出了战士光剑旋转的旋转角。对于每幅附图，从对应于由3D成像系统52对光剑进行成像并且附图中示出的旋转角的剑锷移除战士光剑的短杆33在光剑的剑锷32上的投影。从剑锷移除的区域是在附图中对战士光剑进行成像的角度下剑锷上为短杆所遮蔽的部分，因此出于演示方便的目的将其移除以清楚地示出投影对战士光剑定向的相关性。如以上所示的，根据本发明的实施例，短杆33具有与剑锷32的表面形成对比的表面，以使得在由3D成像系统52所获得的战士光剑30的图像中相对容易识别剑锷上为短杆所遮蔽的部分。
从图2A-2F中可以看到，根据本发明的实施例，易于从短杆33在剑锷32上的投影辨别光剑30在附图中旋转的各个旋转角。还可看到，根据本发明的实施例，短杆明亮基准34和手柄明亮基准33的图像也提供了可用于确定战士光剑30的位置和/或定向的信息。
根据本发明的实施例，剑锷32的成像形状被用于确定光剑30的定向。从图2A-2F中所示的剑锷32的图像可看到，尽管剑锷任选地为圆形，但是假定图像中各种不同的椭圆形状取决于光剑30的3D空间定位，且图像中椭圆形状的定向也取决于光剑定向。任选地根据光剑的图像中剑锷32的长轴的大小与剑锷的实际直径之间的比值来确定战士光剑30距3D成像系统52的距离。
图3A-3E类似于图2A-2F，且示出了仅绕着图3A中所示的x轴的旋转的光剑30的透视图。在每幅附图中的光剑下方，示出了这样的光剑剑锷32：其缺少剑锷上对应于在3D成像系统52对光剑进行成像且在附图中示出的角度下光剑的短杆33的投影的部分。再次看到，根据本发明的实施例，可易于从剑锷32的图像辨别图3A-3E中所示的光剑的各个定向。
图4A-4F示出了绕着x轴和y轴两者旋转的战士光剑30的透视图。如图2A-2F中那样，在每幅附图4A-4F中，在光剑的下方示出了移除投影的光剑剑锷32，并且在剑锷下方，示出了旋转的角度。从这些附图中看到，可易于根据光剑的短杆在该光剑的剑锷上的投影来辨别战士光剑30的定向。
图5示出了根据本发明的实施例的用于确定战士光剑30的位置和定向的算法300的流程图。
在第一框302中，3D成像系统52获得战士光剑30(图1A-1C)的任选的IR强度图像以及光剑的深度图。在框304，计算机54任选地处理图像以定位图像中作为剑锷32、短杆明亮基准34和手柄明亮基准38和/或40的候选的区域。表征剑锷的表面和明亮基准的相对高的IR反射率有助于对作为剑锷和明亮基准的候选的图像区域进行定位。一旦定位了三个候选图像区域，则任选地在框306，用剑锷32、短杆明亮基准34和手柄明亮基准38或39中不同的一个来标识每个候选区域。
不仅仅是任选地基本上不同形状的剑锷、短杆明亮基准和手柄明亮基准有助于用剑锷32、短杆明亮基准34或者手柄明亮基准38或39对候选区域进行标识。根据本发明的实施例，剑锷32与短杆明亮基准34之间的距离不同于剑锷与手柄明亮基准38和/或40之间的距离。在战士光剑30的图像中，剑锷32的图像将总是位于短杆明亮基准34的图像与手柄明亮基准38和/或40的图像之间。并且一般而言，剑锷32与短杆明亮基准34及手柄明亮基准38或39之间的不同实际距离对应于光剑的图像中它们的相应图像之间的不同距离。结果，候选图像区域之间的不同距离可以且任选地被用于帮助用光剑30的特征对候选区域进行标识。
在框308，任选地，每个候选区域用于为作为光剑30的候选的特征确定位于战士光剑30的轴36上的中心点。例如，如果图像区域看起来是剑锷32的候选，则候选区域被用于确定剑锷的中心点。
在框310，测试中心点以确定它们是否满足位于同一直线上的预定准则。如果确定它们被确定为位于同一直线上，则算法300任选地前进至框312。在框312，至沿着深度图所提供的直线的各点的距离可被用于确定战士光剑30距3D成像系统52的距离。任选地，该距离是框308中为剑锷32确定的中心点的距离。任选地，该距离是沿着为中心点确定的直线的各点距离的平均值。
在框314，响应于所确定的距离、3D成像系统52的光学模型以及光剑的图像确定战士光剑轴36(图1B)与3D成像系统52的光轴53所成的极角“θ”。注意，极角θ被确定为落在2阶简并度内，即，对于给定图像，极角θ存在两个解，一个对应于短杆明亮基准34(图1B)较靠近3D成像系统52，而一个对应于明亮基准较远离成像系统。根据本发明的实施例，剑锷32以及明亮基准34和38和/或40的配置被用于确定采用哪个解。在框316，响应于光剑的图像中剑锷32以及明亮基准34和38的配置来确定光剑轴36相对于光轴36的方位角
Figure BPA00001259938200121
。
如果在判定框306没有标识三个候选图像区域，或者如果在框310候选图像区域的中心被确定为不在同一直线上，则算法300任选地前进至判定框318。在判定框318，作出战士光剑30的图像中是否存在适用于确定极角θ和方位角
Figure BPA00001259938200122
的剑锷32的候选区域的判断。如果找到这样的候选，则在框320，使用用剑锷标识的候选图像区域的配置以及用明亮基准标识的图像区域(若其存在)来确定极角θ和方位角
Figure BPA00001259938200123
。
如果在框318，作出未找到剑锷318的合适候选的判定，则放弃处理所获得的图像和深度图来确定战士光剑30的位置和定向，并且算法返回到框302以获得另一图像和深度图。
图6示意性地示出了战士21加入与也配备有游戏系统50且挥舞光剑130的另一战士121的光剑战斗。出于演示方便的目的，插页181示出了游戏系统50中包括的视频屏幕55的放大图像55*。根据本发明的实施例，放大屏幕55*示出了战士21和121在其各自的游戏系统屏幕上所看到的内容。各个战士21和121的3D成像系统52根据3D成像系统所提供的3D图像以及如以上所描述的这些战士的光剑30和130的3D空间位置和定向确定战士的3D空间位置以及任选的他们的身体姿态。
每个计算机54向其他计算机传送成像、位置和定向数据，以使得计算机能够生成在视频屏幕55上所示的化身22和122所栖身的公共、独立、一致的虚拟现实星球大战现场，这些化身是分别响应于战士21和121的运动而活动起来的。化身22和122分别挥舞在视频屏幕55上示出的化身光剑31和131。当战士21或121分别在光剑30或130上激活他或她的激活按钮39(图1B)时，相应的战士光剑31或131发出激活的光刃32或132。可使由其相应战士21或121激活的光剑31或131活动起来，以相应地通过相应战士恰当地移动或挥舞光剑30或130来击打或杀伤对手战士化身122或22。如果对手化身战士121或21足够灵巧以恰当地相应地挥舞他或她的光剑130或30，则由化身22或122传递的击打也可被对手化身122或22挡开。响应于化身在视频屏幕55上所显示的虚拟现实星球大战格斗中的位置和运动，战士21或121使化身22或122以及化身光剑31或131活动起来。使用本领域中所知各种方法中的任一种，诸如通过使用适当的z缓冲区来确定虚拟现实星球大战现场中化身与对象之间的接触，诸如化身光剑31和131与对手化身122和22之间的接触。
注意，存在用于显示虚拟现实现场以及栖息于该现场中的化身的各种方法和格式。在图6中，每个战士21和121仅仅看见其他或她自己的化身的一部分，并且如同就在战士眼前一般观察化身的光刃。当然可使用呈现虚拟现实和化身的其他方法，并且会是有益的。例如，每个计算机54可控制其相应视频屏幕来显示所有两个化身。
在本发明的一些实施例中，光剑——诸如类似于光剑30的光剑——被配备成接收轻型模拟光刃，且光剑包括用于在激活光剑时点亮光刃的合适光源。图7示意性地示出了安装有套在光剑短杆203上的轻型光刃202的光剑200。光刃202是由漫射并反射光的材料制成，并且光剑200包括光源204，当光源开启时导致这段光刃202发光。例如，光刃202任选地形成为具有扩散地散播光的内壁的聚氨脂管。任选地，光刃202包括外部地安装到光刃的环形的明亮基准206。
图8A-8C示意性地示出了根据本发明的实施例的具有用于确定滑板的定向的明亮基准标记401和402的滑板400。每幅附图示出了3D成像系统52中包括的示意性光敏面420，滑板是在该光敏面上被成像的。对应于滑板400的不同定向，在光敏面420上示出明亮基准标记401和412的示意性图像411和412。图8A示意性地示出了光敏面420上的明亮基准401和402的图像如何随滑板400的偏航角的改变而改变。图8B示意性地示出了光敏面420上的明亮基准401和402的图像如何随滑板400的倾斜的改变而改变。图8C示意性地示出了光敏面420上的明亮基准401和402的图像如何随滑板400的滚转角的改变而改变。
注意，以上涉及的滑板当然不必是真实的滑板，而是可以是任何合适的滑板模拟器。例如，模拟器任选地包括具有类似于滑板形状的形状的板，但是不是安装在轮子上，而是任选地安装在一组平衡环上，这使得使用该模拟器的人能够模拟滑板上的运动。
在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的成员、组件、元素、或部分的排他列表。
参考作为示例来提供并且不旨在限制本发明的范围的本发明各实施例来描述了本发明。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。本发明的一些实施例只利用部分特征或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的以及本发明的各实施例的、包括与在所描述的各实施例中记录的不同的特征组合的变型。本发明的范围只由所附权利要求书来限定。

Claims (46)

1.一种用于使人与计算机接口的方法，所述方法包括：
向所述人提供设备，所述设备具有：
具有轴的杆；
剑锷，其被连接到所述杆并且具有从所述轴向外延伸且面向所述杆的第一侧；以及
手柄，在所述剑锷的第二侧上，所述第二侧与所述第一侧相对；
获得所述设备的图像；
响应于所述图像确定所述设备的定向；以及
响应于所述定向由所述计算机生成动作。
2.如权利要求1所述的方法，其特征在于，确定定向包括确定是杆在所述剑锷上的投影。
3.如权利要求1或权利要求2所述的方法，其特征在于，确定定向包括相对于所述剑锷的已知形状确定所述图像中的所述剑锷的形状。
4.如权利要求3所述的方法，其特征在于，所述剑锷具有圆形周边。
5.如权利要求4所述的方法，其特征在于，确定所述图像中的所述剑锷的所述形状包括确定所述图像中的所述形状的长轴和短轴。
6.如权利要求3-5所述的方法，其特征在于，包括响应于所确定的形状确定所述设备的3D空间坐标。
7.如权利要求1-6中的任一项所述的方法，其特征在于，确定定向包括确定所述轴相对于坐标系的极角。
8.如权利要求7所述的方法，其特征在于，确定极角包括在确定所述极角时消除简并度。
9.如权利要求1-8中的任一项所述的方法，其特征在于，确定定向包括确定所述轴的方位角。
10.如权利要求1-9中的任一项所述的方法，其特征在于，确定定向包括：
为所述图像中的所述设备的三个区域中的每一个确定3D空间坐标；
确定所述坐标是否基本上位于同一直线上；以及
使用所述坐标来确定所述定向。
11.如前述权利要求中的任一项所述的方法，其特征在于，包括将所述杆的所述表面与所述剑锷的所述第一表面设置成具有相对增强的对比度。
12.如权利要求11所述的方法，其特征在于，设置相对增强的对比度包括将所述剑锷的所述表面设置成具有相对高的反射率。
13.如权利要求11或权利要求12所述的方法，其特征在于，设置相对增强的对比度包括将所述杆的所述表面设置成具有相对低的反射率。
14.如前述权利要求中的任一项所述的方法，其特征在于，包括将所述设备设置成具有用于帮助定位所述设备的特征的至少一个基准标记。
15.如权利要求14所述的方法，其特征在于，所述至少一个基准标记包括在所述杆的一端处的相对明亮的反射基准。
16.如权利要求15所述的方法，其特征在于，将在所述杆的所述一端处的所述基准配置成具有基本上相同的亮度，而不管所述设备的定向。
17.如权利要求15或权利要求16所述的方法，其特征在于，所述杆的所述一端处的所述基准包括高反射性球面。
18.如权利要求14-17中的任一项所述的方法，其特征在于，所述至少一个基准标记包括沿着所述剑锷的所述周边的高反射性区域。
19.如权利要求1-18中的任一项所述的方法，其特征在于，获得图像包括获得所述设备的3D深度图图像。
20.如权利要求1-19中的任一项所述的方法，其特征在于，获得图像包括获得所述设备的对比图像。
21.如前述权利要求中的任一项所述的方法，其特征在于，由所述计算机生成动作包括使化身活动起来。
22.如权利要求21所述的方法，其特征在于，所述化身位于虚拟现实中。
23.如权利要求22所述的方法，其特征在于，使所述化身活动起来包括使所述化身活动起来以与所述虚拟现实的元素交互。
24.如前述权利要求中的任一项所述的方法，其特征在于，包括确定人的3D空间坐标。
25.如权利要求24所述的方法，其特征在于，确定空间坐标包括获得所述人的3D深度图像以及使用所述深度图像来确定所述坐标。
26.如权利要求24或权利要求25所述的方法，其特征在于，包括响应于所确定的坐标确定所述化身在所述虚拟现实中的位置。
27.如前述权利要求中的任一项所述的方法，其特征在于，包括确定所述人的姿势。
28.如权利要求27所述的方法，其特征在于，确定姿势包括获得所述人的3D深度图像，以及使用所述深度图像来确定姿势。
29.如权利要求27或权利要求28所述的方法，其特征在于，包括响应于所确定的所述人的姿势确定所述化身的姿势。
30.如权利要求23-29中的任一项所述的方法，其特征在于，所述化身是所述虚拟现实中的第一化身，而所述元素是在所述虚拟现实中操作的第二化身。
31.如权利要求30所述的方法，其特征在于，所述第二化身是响应于人的动作而活动起来的。
32.如权利要求31所述的方法，其特征在于，所述第二化身根据权利要求21-31中的任一项而活动起来。
31.如权利要求30-32中的任一项所述的方法，其特征在于，所述虚拟现实是计算机游戏的现实。
32.如权利要求31所述的方法，其特征在于，所述第一和第二化身在所述计算机游戏中进行彼此格斗。
33.如权利要求32所述的方法，其特征在于，所述格斗是模拟的星球大战格斗。
34.一种包括用于根据前述权利要求中的任一项的方法配置计算机来与人接口的指令集的计算机可读介质。
35.一种用于与人接口的系统，包括：
人类操作设备，其具有：
具有轴的杆；
剑锷，其被连接到所述杆并且具有从所述轴向外延伸且面向所述杆的第一侧；以及
手柄，在所述剑锷的第二侧上，所述第二侧与所述第一侧相对；
成像装置，用于获得所述设备的成像数据；以及
计算机，其被配置成接收所述成像数据以及处理所述接收到的数据以确定所述设备的定向并响应于所述定向生成动作。
36.如权利要求35所述的系统，其特征在于，包括计算机可读介质，所述计算机可读介质包括用于配置所述计算机来处理所述接收到的数据的指令集。
37.如权利要求35或权利要求36所述的系统，其特征在于，包括计算机可读介质，所述计算机可读介质包括用于配置所述计算机来生成所述动作的指令集。
38.如权利要求37所述的系统，其特征在于，由所述计算机生成动作包括使化身活动起来。
39.如权利要求38所述的系统，其特征在于，所述化身位于虚拟现实中。
40.如权利要求39所述的系统，其特征在于，使所述化身活动起来包括使所述化身活动起来以与所述虚拟现实的元素交互。
41.如权利要求40所述的系统，其特征在于，所述化身是所述虚拟现实中的第一化身，而所述元素是在所述虚拟现实中操作的第二化身。
42.如权利要求41所述的系统，其特征在于，所述第二化身是响应于人的动作而活动起来的。
43.一种用于使人与计算机接口的方法，所述方法包括：
向所述人提供设备，所述设备具有：
所述人站立于其上的平台；
所述平台安装在其上的一组平衡环，所述一组平衡环使得所述人能够通过在所述平台上移动他或她的体重来改变所述平台的所述定向；以及
至少一个基准标记；
获得所述至少一个基准标记的图像；
响应于所述图像确定所述设备的定向；以及
响应于所述定向由所述计算机生成动作。
44.如权利要求43所述的方法，其特征在于，所述至少一个基准包括沿着所述平台的边缘的基准。
45.如权利要求44所述的方法，其特征在于，所述至少一个基准包括两个基准标记。
46.如权利要求45所述的方法，其特征在于，所述两个基准标记包括由沿着未用基准作标记的所述边缘的相对较小的区域分隔的至少两个相对靠近的基准标记。
CN2009801194923A 2008-05-26 2009-05-26 控制虚拟现实 Pending CN102047201A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US5602708P 2008-05-26 2008-05-26
US61/056,027 2008-05-26
PCT/IB2009/052191 WO2009147571A1 (en) 2008-05-26 2009-05-26 Controlling virtual reality

Publications (1)

Publication Number Publication Date
CN102047201A true CN102047201A (zh) 2011-05-04

Family

ID=41165370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801194923A Pending CN102047201A (zh) 2008-05-26 2009-05-26 控制虚拟现实

Country Status (5)

Country Link
US (1) US8860713B2 (zh)
EP (1) EP2281228B1 (zh)
JP (1) JP5431462B2 (zh)
CN (1) CN102047201A (zh)
WO (1) WO2009147571A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722253A (zh) * 2011-09-12 2012-10-10 黄得锋 一种静式人机互动的控制方法及其运用
CN103721409A (zh) * 2012-10-13 2014-04-16 成都哆可梦网络科技有限公司 一种基于移动互联网的多方互动击剑游戏系统
CN106445551A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程的vr星空制作与观测系统
CN106621264A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 在线可视化编程及编辑的vr剑术比赛制作体验系统
CN106648600A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 可视化编程的vr星空制作与观测考核系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
US10212994B2 (en) 2015-11-02 2019-02-26 Icon Health & Fitness, Inc. Smart watch band
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176559A2 (en) * 2000-07-21 2002-01-30 Sony Computer Entertainment America Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US20020016204A1 (en) * 1997-02-14 2002-02-07 Kenji Kanno Input device, data processing device, data processing method, game device and medium
US20020077231A1 (en) * 2000-12-15 2002-06-20 Dalebout William T. Selectively dynamic exercise platform
US20040046736A1 (en) * 1997-08-22 2004-03-11 Pryor Timothy R. Novel man machine interfaces and applications
WO2006028158A1 (en) * 2004-09-09 2006-03-16 Ssd Company Limited Tilt detection method and entertainment system
CN1809801A (zh) * 2003-06-23 2006-07-26 亚比恩科技私人有限公司 跟踪六个自由度的计算机输入装置
US7084855B2 (en) * 2001-09-10 2006-08-01 Namco Bandai Games, Inc. Image generation method, program, and information storage medium
US20060247070A1 (en) * 2001-06-11 2006-11-02 Recognition Insight, Llc Swing position recognition and reinforcement
WO2006119568A1 (en) * 2005-05-12 2006-11-16 Australian Simulation Control Systems Pty Ltd Improvements in computer game controllers

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301474A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
JPH08212327A (ja) * 1995-02-06 1996-08-20 Mitsubishi Electric Corp 身振り認識装置
US6064388A (en) * 1997-11-10 2000-05-16 Cognex Corporation Cartesian to polar coordinate transformation
JP4282112B2 (ja) 1998-06-29 2009-06-17 株式会社東芝 仮想物体制御方法および仮想物体制御装置および記録媒体
JP2000202164A (ja) 1999-01-18 2000-07-25 Hitachi Ltd 臨場感生成装置
US6930686B1 (en) * 1999-06-17 2005-08-16 International Business Machines Corporation Method and apparatus for drawing thick graphic primitives
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
JP2002305758A (ja) * 2001-04-04 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> 臨場感通信装置及び臨場感通信システム
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP3748526B2 (ja) 2001-09-13 2006-02-22 株式会社東芝 入力装置
JP2003210837A (ja) 2002-01-25 2003-07-29 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2002355441A (ja) 2002-03-06 2002-12-10 Konami Co Ltd ゲーム装置及びゲームプログラム
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
JP4006290B2 (ja) * 2002-07-30 2007-11-14 キヤノン株式会社 座標入力装置、座標入力装置の制御方法、プログラム
JP2003210830A (ja) 2002-12-24 2003-07-29 Konami Co Ltd ゲーム装置、ゲーム方法、ゲームプログラム及びゲームシステム
US20060256072A1 (en) * 2003-07-02 2006-11-16 Ssd Company Limited Information processing device, information processing system, operating article, information processing method, information processing program, and game system
US8062126B2 (en) * 2004-01-16 2011-11-22 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US7426302B2 (en) * 2003-11-28 2008-09-16 John Amico System and method for digitizing a pattern
JP2005185617A (ja) * 2003-12-26 2005-07-14 Vr Sports:Kk バーチャルリアリティスポーツシステム
JP2006301474A (ja) 2005-04-25 2006-11-02 Sony Corp ズームレンズ及び撮像装置
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7874918B2 (en) * 2005-11-04 2011-01-25 Mattel Inc. Game unit with motion and orientation sensing controller
JP2007167610A (ja) 2005-11-25 2007-07-05 Sega Corp 座標入力装置
TWI286484B (en) 2005-12-16 2007-09-11 Pixart Imaging Inc Device for tracking the motion of an object and object for reflecting infrared light
US9479274B2 (en) * 2007-08-24 2016-10-25 Invention Science Fund I, Llc System individualizing a content presentation
TWI351001B (en) * 2007-11-21 2011-10-21 Ind Tech Res Inst Method and apparatus for adaptive object detection
US20090156308A1 (en) * 2007-12-17 2009-06-18 Hsu Kent T J Foot-actuated mat with flashing indicators for video game console

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016204A1 (en) * 1997-02-14 2002-02-07 Kenji Kanno Input device, data processing device, data processing method, game device and medium
US20040046736A1 (en) * 1997-08-22 2004-03-11 Pryor Timothy R. Novel man machine interfaces and applications
EP1176559A2 (en) * 2000-07-21 2002-01-30 Sony Computer Entertainment America Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US20020077231A1 (en) * 2000-12-15 2002-06-20 Dalebout William T. Selectively dynamic exercise platform
US20060247070A1 (en) * 2001-06-11 2006-11-02 Recognition Insight, Llc Swing position recognition and reinforcement
US7084855B2 (en) * 2001-09-10 2006-08-01 Namco Bandai Games, Inc. Image generation method, program, and information storage medium
CN1809801A (zh) * 2003-06-23 2006-07-26 亚比恩科技私人有限公司 跟踪六个自由度的计算机输入装置
WO2006028158A1 (en) * 2004-09-09 2006-03-16 Ssd Company Limited Tilt detection method and entertainment system
WO2006119568A1 (en) * 2005-05-12 2006-11-16 Australian Simulation Control Systems Pty Ltd Improvements in computer game controllers

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722253A (zh) * 2011-09-12 2012-10-10 黄得锋 一种静式人机互动的控制方法及其运用
CN103721409A (zh) * 2012-10-13 2014-04-16 成都哆可梦网络科技有限公司 一种基于移动互联网的多方互动击剑游戏系统
CN106445551A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程的vr星空制作与观测系统
CN106621264A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 在线可视化编程及编辑的vr剑术比赛制作体验系统
CN106648600A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 可视化编程的vr星空制作与观测考核系统
CN106621264B (zh) * 2016-10-12 2019-05-24 快创科技（大连）有限公司 在线可视化编程及编辑的vr剑术比赛制作体验系统

Also Published As

Publication number Publication date
EP2281228A1 (en) 2011-02-09
US8860713B2 (en) 2014-10-14
JP5431462B2 (ja) 2014-03-05
JP2011522318A (ja) 2011-07-28
EP2281228B1 (en) 2017-09-27
WO2009147571A1 (en) 2009-12-10
US20110074776A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
CN102047201A (zh) 控制虚拟现实
CN109643161B (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US11666825B2 (en) Mixed reality gaming system
US9779633B2 (en) Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
JP6362631B2 (ja) 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
KR101926178B1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
CN102356373B (zh) 虚拟对象操纵
CN110665230B (zh) 虚拟世界中的虚拟角色控制方法、装置、设备及介质
CN103246351B (zh) 一种用户交互系统和方法
CN107890664A (zh) 信息处理方法及装置、存储介质、电子设备
CN105723302B (zh) 布尔/浮点控制器和姿势识别系统
US8998718B2 (en) Image generation system, image generation method, and information storage medium
EP2446341B1 (en) Virtual reality interface system
JP2007229500A (ja) ユーザーを仮想現実に没入させるための方法及び装置
CN102193624A (zh) 用于基于姿势的用户界面的物理交互区
CN107930114A (zh) 信息处理方法及装置、存储介质、电子设备
US20200001461A1 (en) Motion restriction system and method
McCormack et al. 2D LIDAR as a distributed interaction tool for virtual and augmented reality video games
Debarba et al. Embodied interaction using non-planar projections in immersive virtual reality
Lee et al. A development of virtual reality game utilizing Kinect, Oculus Rift and smartphone
Rajappa et al. Application and scope analysis of Augmented Reality in marketing using image processing technique
JP6672401B2 (ja) ゲームプログラム、方法、および情報処理装置
KR101360888B1 (ko) 오프라인 연동형 가상현실을 제공하는 휴대용 통신 단말기 및 이를 이용한 원격 게임방법
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
JP7064265B2 (ja) 仮想体験を提供するためのプログラム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110504