CN102238987B - 用于增强现实应用的移动设备 - Google Patents

用于增强现实应用的移动设备 Download PDF

Info

Publication number
CN102238987B
CN102238987B CN200980148487.5A CN200980148487A CN102238987B CN 102238987 B CN102238987 B CN 102238987B CN 200980148487 A CN200980148487 A CN 200980148487A CN 102238987 B CN102238987 B CN 102238987B
Authority
CN
China
Prior art keywords
mobile device
information
virtual
applicable
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980148487.5A
Other languages
English (en)
Other versions
CN102238987A (zh
Inventor
P·宗托普
M·B·F·戈东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN102238987A publication Critical patent/CN102238987A/zh
Application granted granted Critical
Publication of CN102238987B publication Critical patent/CN102238987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种移动设备(MD)，包括：视觉输入设备(C)，用于捕获外部视觉信息(图像；B，L，F)，其包括真实的视觉背景信息(L，F)；处理设备(PD)，用于将所选应用与外部视觉信息(图像)相关联，以及用于基于外部视觉信息(图像)和用户相关的输入信息来执行所选应用，以及用于响应于所述应用生成与至少一个虚拟视觉对象(VVO(n+1))相关的视觉输出信号(P(n+1))；其特征在于，所述处理设备(PD)还适用于向所述移动设备(MD)中包括的投影仪设备(P)提供所述视觉输出信号(P(n+1))，从而所述投影仪设备(P)将适用于在所述视觉背景上投影与所述至少一个虚拟视觉对象(VVO(n+1))相关的所述视觉输出信号(P(n+1))，从而修改所述外部视觉信息。

Description

用于增强现实应用的移动设备
技术领域
本发明涉及如权利要求1前序部分所述的用于增强现实应用的移动设备。
背景技术
PCT申请PCT/CH2006/000196公开了一种移动设备，其包括相机；以及控制模块，用于将所选应用与外部视觉信息关联以及用于基于视觉背景信息和移动设备的定向启动所选应用的执行。移动设备相对于视觉背景的定向可以看作是用户相关的输入信息，因为其涉及用户定位移动设备的方式。现有技术的移动设备还包括输出生成器，用于响应于所述应用生成视觉输出信号；以及用于向移动设备的显示器提供这些视觉输出信号。
在移动设备为例如移动电话的情况下，现有技术的方案由此预见在移动电话的显示器上显示增强现实图片，其包括真实视觉背景，其通过从应用得到的某些虚拟对象来增强。这意味着，这个增强现实仅在手机的这个小屏幕上可见。在游戏应用的情况下，小屏幕可能严重地限制游戏体验。在将膝上型计算机用作移动设备的情况下，显示器已经大了很多，但是对于一些应用，由于其更加期望具有用户的更多主动参与，包括用户的某些物理运动，这对于例如游戏本身是固有的，所以甚至用户的体验同样受到限制。例如，这可能是足球游戏的情况，其中用户期望不仅通过手动控制移动设备本身上的某些控制按钮，而且例如执行开球、停止或反击足球的运动来更加主动参与。
发明内容
因此，本发明的目的在于提供一种上述已知类型的移动设备，其能够解决与现有技术的设备相关的问题。
为此，根据本发明的移动设备还包括在第一权利要求的特征部分中阐述的特征。
移动终端中包括的投影仪设备因此能够在真实视觉背景上投影一些虚拟的视觉对象。在足球游戏的上述实例的情况中，这个虚拟的视觉对象于是可以是虚拟足球，其将投影在游戏时玩家当前站立的地面上。通过在地面上投影的球，用户可以对其执行踢的动作，玩家于是可具有更加生动的游戏体验，这是本发明的目的：具有更加主动的游戏参与和丰富了人/设备的接口。移动设备的投影仪仅需要向背景上投影虚拟视觉对象，因此仅需要从处理设备接收这个虚拟视觉对象信息。处理设备因此适用于向这个投影仪提供这种类型的信号。通过向背景投影这个虚拟视觉对象，外部视觉背景信息当然会响应于应用自身而改变。
本发明的另一特征性特征在权利要求2中阐述。在这种情况下，所述用户相关的输入信息包括在所述背景信息中包括的视觉信息，例如，足球玩家的脚的图像。这个用户相关的信息也可以包括由运动检测器所检测的运动信息，所述运动检测器结合在所述移动设备中，并适用于例如通过确定所述移动设备相对于所述视觉背景信息的定向来检测所述移动设备相对于所述背景的运动。
本发明的附加特征在权利要求4至6中阐述。通过依据从所述视觉输入设备(C)接收的所述外部视觉信息来区分真实视觉背景信息以及虚拟视觉对象，以及通过随后依据他们提取元数据信息，实现允许插入至移动设备上的若干应用的通用平台。
权利要求7至10阐述了在一些实施例中，所述处理设备适用于生成与所述虚拟视觉对象相关的第二视觉输出信号，以提供给所述移动设备中所包括的显示器。在这些实施例中的一些中，所述虚拟视觉对象随后还将出现在移动设备的屏幕上。在其它实施例中，所述处理设备还适用于生成所述第二视觉输出信号，其包括至少一个其他虚拟视觉对象。这可能是例如上述足球游戏的情况，其中移动设备的屏幕仅能够在虚拟记分牌显示上玩家的得分，而虚拟足球仅投影在地面上。在其它实施例中，所述处理设备还适用于生成所述第二视觉输出信号，其包括所述虚拟视觉对象，其重叠于由所述应用和/或所述视觉背景信息生成的所述至少一个其它虚拟视觉对象。在上述足球游戏的实例中，移动设备的显示器于是可以显示足球、以及虚拟球门、虚拟记分牌，以及还可能有用户站立在其上面以及在其上面投影虚拟足球的地面。还可以设想其它组合。
附图说明
通过参照结合附图进行的实施例的以下说明，本发明的上述和其它目的和特征将变得更加清楚以及将最好地理解本发明本身，其中：
图1示意性示出根据本发明的使用移动设备MD玩足球游戏的一个玩家U；
图2给出根据本发明的移动设备MD实施例的可能的详细实现；
图3示出由图2的处理设备的图像分析器和应用引擎所生成的元数据的某些实例；
图4示意性示出根据本发明的使用移动设备MD1和MD2的两个玩家的多玩家情形；
图5示意性示出根据本发明的在移动设备上运行的另一应用；以及
图6示意性示出根据本发明的在移动设备上运行的又一应用。
具体实施方式
本发明涉及用于增强现实应用的移动设备。这些移动设备可以包括在以下移动设备的非穷尽列表中，如移动电话、个人数字助理、移动计算机(例如膝上型计算机)、平板计算机、游戏控制台、GPS终端等。一般地，在以下段落中将说明的能够捕获视觉信息、处理应用中使用的这种视觉信息、以及在背景上投影虚拟对象的任意便携式设备可以用于实现本发明。
图1示出由用户U操作的这种移动设备MD的实施例。移动设备MD包括视觉输入设备C，例如相机、数字成像系统、CCD传感器等，能够捕获包括真实视觉背景信息(缩写为VBI)的外部视觉信息本身。这个真实视觉背景信息一般地称为来自“真实”世界的信息，与诸如由软件应用所生成的视觉信息相反，后者的视觉信息将由虚拟视觉对象(缩写为VVO)来表示。在图1所示的情形下，其中用户U正在他/她的移动设备MD上玩游戏，这种真实的视觉背景信息包括由相机捕获的视觉信息，在这个实例中其可能是朝向用户站立的地面的方向。真实视觉背景信息VBI于是将包括地面图像、以及用户U的腿L和/或脚F的一部分。用户的腿L和脚F的这个信息是用户相关的输入信息，在这种情况下，因此作为真实视觉背景信息的一部分，其将由移动设备上运行的应用来使用，在接下来的段落中将说明。
图1还示出相机不仅捕获这个“真实”背景信息，而且捕获投影的足球B的图像。这个投影的足球B并非“真实”足球的投影图像，而是虚拟足球的投影图像，其本身是在移动设备MD内部的处理设备PD上运行的诸如游戏的应用(因此在图1中未示出)的结果。在所示实例中，这个游戏是足球游戏，其用作输入外部视觉信息，由此真实视觉背景信息VBI，在这个情况下因此还包括用户相关的信息，以及投影的虚拟对象信息，在这个情况下包括投影的足球。依据用户的脚相对于投影的球B的位置，将更新由游戏生成的下一状态和输出。在足球游戏的实例中，这可能意味着，游戏提供了可以指示用户得分，或将球踢出虚拟球门(图1所示的实施例中仅在移动设备的屏幕S上显示)之外的下一状态。这个虚拟球门本身是另一虚拟视觉对象，因为这同样并非对应于“真实”物理球门。因此，处理设备必须不断更新游戏的参数(他们本身依赖于捕获的外部视觉信息)，计算游戏中球的新位置，以及向投影设备P回送更新的视觉信息，使得后者将这个虚拟球投影在更新的位置。在这个情况下，这个更新的投影位置还依赖于移动设备相对于真实视觉背景的相对位置。这个相对位置同样涉及用户相关的输入信息。这种的位置信息可以由移动设备中结合的运动检测器来检测，但是可替换地，这种运动信息也可以由在外部视觉信息上执行的成像技术通过将先前捕获的图像彼此比较来提取。这将在接下来的段落中进一步说明。
在移动设备MD中结合的投影设备P可以是本领域目前已知的小型投影仪。在任意情况下，虚拟球的更新的图片或图像将投影在地面上的更新位置上。
在本发明的一些实施例中，仅投影仪设备P显示一个或多个虚拟视觉对象。在其它实施例中，虚拟视觉对象将不仅由投影仪设备P投影，而且还显示在移动设备的屏幕S上。以及在其它实施例中，屏幕S将显示若干虚拟视觉对象，例如在图1所示的实例中示出。在这个实施例中，在屏幕上显示虚拟球、以及虚拟球门、以及生成的并因此虚拟的球员图像。在其它实施例中，在屏幕上还将显示来自真实视觉背景的信息(例如由相机捕获的腿和脚)以及一个或多个虚拟视觉对象。
图2示出在移动设备MD中结合的处理设备PD的可能实施例的更为详细的视图。要提到的是，处理设备PD的许多其它实施例是可能的，并且这个图2仅给出了在这个具体实施例中执行的某些主要单元和处理步骤的示意性视图。这样的处理设备PD可以通过本领域技术人员所公知的专用处理器、或通过通用处理器上的嵌入式软件、或经由ASIC等来实现。因此，不同的单元仅意味着示例性目的。仅一个单个处理设备执行所有步骤的其它实施例也是可能的。
图2还通过示意性方式示出移动设备的不同构成单元：视觉输入设备C，在图2中显示为相机；投影仪设备，在图2中显示为“传统”投影仪P；以及显示器S，在图2中显示为移动电话的屏幕。图2中所示的移动设备MD的处理单元PD的实施例还包含若干功能单元：现实提取器2、图像分析器3、应用引擎4、虚拟图像动画器(animator)5、双输出生成器6、和虚拟图像缓冲器9。这个双输出生成器仅存在于生成双输出的这些实施例中，所以一个针对投影仪P，而另一个针对屏幕S。在移动设备的一些实施例中，并入单输出生成器，其适用于仅生成要发送至投影仪P的单个图像。
现实提取器(单元2)是适用于将表示为“图像”并由相机C提供的输入外部视觉信息分成真实视觉背景信息VBI和虚拟视觉对象VVO的模块。为了在应用引擎先前生成的虚拟视觉对象和在应用的当前循环内要生成的对象之间区分，符号VVO(n)将用于先前生成的和先前投影的对象，以及VVO(n+1)将用于在实际循环中生成的和要投影的更新对象。在一些实施例中，开始时，没有虚拟实际对象信息可用。在这种情况下，输入图像完全包括真实视觉背景信息。为了划分输入外部视觉信息，现实提取器需要知道虚拟的对象或多个对象的投影图像看起来像什么。除了在开始时起初可能不包含任意虚拟图像的输入图像之外，在所有其它图像捕获期间，这个投影的图像P(n)在先前循环中由双输出生成器建立，并临时存储或缓存在虚拟图像缓冲器9中。在从缓冲器得到存储的投影图像之后，现实提取器尝试寻找在相机的图像中的相同图案。这可以通过本领域技术人员已知的图像识别技术来进行。当找到这些图案时，现实提取器还可以提取移动设备相对于背景如何放置(通过投影图像的缩放)的一些信息，但是这是可选的。当其识别图案并可能得到缩放信息时，它可以从总图像减去整个虚拟图像，从而得到真实的虚拟背景信息，以及因为这已经涉及新的和实际的信息，发送由相机捕获的虚拟投影输入图像VVO(n)以及真实背景信息VBI(n+1)，作为去往图像分析器3的单独信息。在开始时，虚拟图像缓冲器通常为空，由此输入图像将对应于真实的视觉背景信息，因此VVO信号此时不包含任何相关信息。
处理设备的实施例中的下一模块，图像分析器3适用于接收由现实提取器2提供的输入图像的捕获的虚拟视觉对象信息VVO以及捕获的真实视觉信息VBI。图像分析器的主要功能是从这些图像提取和/或生成元数据。为此目的，可需要多次重复，以改善结果。通过图2中的图像分析器的反馈箭头来指示上述重复。提取元数据的技术对于本领域技术人员来说是已知的，并且可包括模式识别、数字几何学和/或信号处理。
在这种环境下，本文档中可理解的元数据是具有某些语义含义的参数。足球游戏的实例可以是：对象＝ball(球)；背景＝floor(地面)；...如图3所示。为了生成这样的元数据，图像分析器可能因此还适用于分析背景的改变，以及从中得出在相机前发生的具体行为。在足球游戏的例子中，这些行为可能是用户的腿/脚的运动。或者，这个运动信息可以由运动检测器来提供。图像分析器3随后还适用于按可在这个处理设备上运行的应用将会理解的格式(例如图3所示的XML格式)来生成这种元数据。由图2上的粗箭头和M(n)表示的、由图像分析器生成的元数据输出因此包含对于应用有价值的并且应用可理解的信息，例如指示脚向球移动了7度角的信息。
然后，将图像分析器生成的元数据M(n)提供给应用引擎4。在这个应用引擎上，可以运行多个应用。这样的应用通常包括可能由第三方开发者所编写的编译软件。这个应用适用于理解来自图像分析器的输入信息的格式。或者，可提供一些转换模块，用于将某些输入格式转换成应用可理解的格式。
在先前介绍的足球游戏的实例中，这个足球游戏因此对应于应用。在其它段落中将极少若干其它应用。因为这些应用通常是本领域技术人员普及的和已知的，所以它们的内部操作在本文中将不再讨论。
应用生成的输出通常包括更新的元数据M(n+1)，包括与最终需要向真实背景投影的更新虚拟视觉对象相关的信息。图3示出输入到应用的元数据、以及由应用生成的元数据的实例。
在图2中所示的实施例中，首先向作为虚拟图像动画器5的下一模块提供由应用引擎4生成和提供的这个更新的元数据M(n+1)。
这个虚拟图像动画器5适用于接收由应用引擎提供的更新的元数据信息信号M(n+1)，并且进一步适用于从中生成适配的虚拟视觉对象或多个对象VVO(n+1)，以根据由应用引擎确定的与应用的循环或真实状态相应地显示。在已经介绍的足球游戏的情况下，仅投影一个虚拟对象。然而，在包括足球游戏的许多其它应用中，可以投影若干虚拟视觉对象，例如虚拟球和虚拟球门。在包括具有球的形式的图像的这个实施例中，随后，基于移动设备的具体实施例，将要在地面上投影的虚拟对象进一步传递至双或单输出生成器。然而，图2的所示实施例示出这样的移动设备MD，其投影仪正在向背景投影虚拟足球图像，但是其移动设备本身的显示器也正在显示另一虚拟视觉对象(在这个实施例中为虚拟记分牌)。为此目的，通过虚拟图像动画器生成附加的虚拟视觉对象VVOS(n+1)；在这个实施例中，这个附加的虚拟视觉对象因此具有记分牌的形式。当屏幕上显示的图像与投影的图像不同时，在图2的实施例中包括双输出生成器。即使相同的虚拟视觉对象要显示在屏幕并投影在背景上，在处理设备中也包括双输出生成器，这是因为需要生成两个单独的图像：一个用于投影，另一个用于显示在移动设备的屏幕上。
因此，双输出生成器6负责一方面生成用于移动设备MD自身的屏幕或显示器S的输出信号；以及另一方面负责卷轴机或投影设备P。当虚拟图像生成器生成的图像仅包含基础形状信息(例如球的基础形状)时，输出生成器负责将这个图像调整为正确大小，将其定位在其正确位置，从而投影仪可将其正确地投影在背景上。这意味着，在这个实施例中，这个双输出生成器必须接收最新的虚拟对象VVO(n+1)和VVOS(n+1)以及最新的视觉背景信息VBI(n+1)，并且进一步处理它们以提供要发送至显示器的第一输出信号S(n+1)，以及用于向投影设备P提供的第二输出信号P(n+1)。在所示实施例中，S(n+1)主要涉及VVOS(n+1)，而P(n+1)主要涉及VVO(n+1)。然而，在其它实施例中，要发送至显示器的输出信号可以包括VVO(n+1)以及并非在真实背景上投影而是仅在显示器上显示的作为虚拟记分牌的其它虚拟对象。或者，除了一些虚拟足球游戏背景、虚拟球门和虚拟记分牌之外，还有关于真实背景的一些信息(例如用户的脚或腿)也可显示在屏幕上。可以设想许多其它可能性，主要依赖于本领域技术人员已知的应用本身。
对于要发送至投影设备P的用于向背景本身上投影虚拟对象的输出P(n+1)的生成，这个双输出生成器6始终直接从现实提取器2获取最新的真实背景VBI(n+1)。这意味着背景输入几乎是实时的。对于投影的增强现实虚拟对象图像P(n+1)，双输出生成器需要确保以正确大小在正确位置向真实背景上投影正确的虚拟对象。这可以通过将最新的背景与先前的背景比较来进行。这个先前的背景可以存储在双输出生成器的内部缓冲器中，并且在图中未示出。这个比较步骤可以与相机进行的运动计算一起执行，因为设备必须确保投影的图像的坐标和大小是精确的。这是因为由于设备的可能运动而必须不断地调整大小和坐标，从而当移动设备保持更接近于真实对象(记住投影张开角)时，例如投影的虚拟图像不会太大。或者，这种运动信息可以从图像分析器，或从单独运动或定向检测器获得。
当然，备选实施例是可能的。代替向缓冲器反馈回更新的虚拟对象图像，还向备选缓冲器反馈回生成的元数据。在这种情况下，现实提取器随后需要结合虚拟图像动画器和双输出生成器的一些功能，例如生成最新投影的虚拟对象，用于与输入图像进一步比较。其它实施例也是可能的，这是本领域技术人员已知的。
图4示出多玩家体验的情形，其中两个用户U1和U2现在正在他们各自移动设备MD1和MD2上玩这个足球游戏，并因此尝试向球门(在这个实施例中，显示在他们各自的移动终端上的显示器中)踢出虚拟投影的球。或者，这个虚拟球门也可以投影在地面上。在这种情况下，移动设备需要进一步配备有多个玩家应用可使用的通信工具，这是本领域技术人员已知的。
除了已经提到的足球游戏的实例之外，其它应用可以使用本方法和实施例。其中，我们具有这样的应用，当他/她寻找火车站时，投影仪可以通过向背景投影脚印来指示人必须遵循的方向。在这种情况下，该方法没有改善游戏体验，但是用于丰富和清晰了人机界面。然后，移动设备可以通过更加直观的方式来指导人们。这在图6中示意性示出。
另一应用涉及，通过移动电话的投影设备在商店中的货架上突出在用户购物列表上的物品。这在图7中示意性示出。
另一实例可以包括在桌子上投影虚拟键盘，用户随后可以“点击”或“按压”以在屏幕上形成文本。这个键盘也可能涉及钢琴的键盘，用户可以“弹奏”以生成适当的相关声音。
另一实例包括在游戏背景(例如桌子)上投影虚拟乒乓球。通过倾斜移动设备，用户可以通过其移动设备“击中”虚拟球。在这种情况下，输入信息包括移动设备(例如移动电话)关于固定背景、以及关于投影的球的运动和定向信息。这个乒乓应用当然也可以实现为多人游戏。
尽管结合具体装置在上面描述了本发明的原理，但是可以清楚地理解，仅通过实例进行上述说明，并且上述说明不作为对如所附权利要求中所定义的本发明的范围的限制。在这里的权利要求中，表示为用于执行特定功能的装置的任意元件用于涵盖执行这个功能的任意方式。这可以包括例如a)执行这个功能的电气或机械元件的组合；或b)任意形式的软件，因此包括固件、微代码等，其与适当的电路组合以用于执行这个软件以执行功能，以及耦合于软件控制电路的机械元件(如果存在)。由这样的权利要求所定义的本发明存在这样的事实：由各种提出的装置提供的功能以权利要求主张的方式组合和合并在一起，以及除非特别定义，任何物理结构对于主张的本发明的新颖性具有很少或没有重要性。因此，申请人将可提供那些功能的任意装置看作等同于这里所述的那些装置。

Claims (10)

1.移动设备(MD)，包括：视觉输入设备(C)，用于捕获外部视觉信息(B，L，F)，其包括真实的视觉背景信息(VBI(n+1))；处理设备(PD)，用于将所选应用与外部视觉信息(B，L，F)相关联，以及用于基于外部视觉信息(B，L，F)和用户相关的输入信息来执行所选应用，以及用于响应于所述应用生成与至少一个虚拟视觉对象(VVO(n+1))相关的视觉输出信号(P(n+1))；
其特征在于，
所述处理设备(PD)还适用于向所述移动设备(MD)中包括的投影仪设备(P)提供所述视觉输出信号(P(n+1))，从而所述投影仪设备(P)将适用于在视觉背景上投影与所述至少一个虚拟视觉对象(VVO(n+1))相关的所述视觉输出信号(P(n+1))，因而修改所述外部视觉信息(B，L，F)；其中所述用户相关的输入信息包括：在所述真实的视觉背景信息(VBI(n+1))中包括的视觉信息(L，F)；其中所述用户相关的输入信息包括：由运动检测器(D)检测的运动信息，所述运动检测器(D)结合在所述移动设备(MD)中并适用于确定所述移动设备(MD)相对于所述视觉背景的运动。
2.如权利要求1所述的移动设备(MD)，其中所述处理设备(PD)还适用于依据从所述视觉输入设备(C)接收的所述外部视觉信息(B，L，F)区分所述真实的视觉背景信息(VBI(n+1))以及先前在所述视觉背景上投影的至少一个虚拟视觉对象(VVO(n))。
3.如权利要求2所述的移动设备(MD)，其中所述处理设备(PD)还适用于分析所述至少一个虚拟视觉对象(VVO(n))和所述真实的视觉背景信息(VBI(n+1))，以依据它们确定元数据信息(M(n))。
4.如权利要求3所述的移动设备(MD)，其中所述处理设备(PD)还适用于基于所述元数据信息执行所述所选应用。
5.如前述权利要求1、3和4中任意一项所述的移动设备(MD)，其中所述处理设备(PD)适用于生成与所述至少一个虚拟视觉对象(VVO(n+1))相关的第二视觉输出信号(S(n+1))，用于提供给所述移动设备(MD)中包括的显示器(S)。
6.如权利要求5所述的移动设备(MD)，其中所述处理设备(PD)还适用于生成所述第二视觉输出信号(S(n+1))，其包括重叠于所述真实的视觉背景信息(VBI(n+1))的所述至少一个虚拟视觉对象(VVO(n+1))。
7.如前述权利要求1、3和4中任意一项所述的移动设备(MD)，其中所述处理设备(PD)还适用于生成第二视觉输出信号(S(n+1))，其包括至少一个其它虚拟视觉对象(VVO(n+1))。
8.如权利要求7所述的移动设备(MD)，其中所述处理设备(PD)还适用于生成所述第二视觉输出信号(S(n+1))，其包括所述至少一个虚拟视觉对象(VVO(n+1))，其重叠于由所述应用和/或所述真实的视觉背景信息(VBI(n+1))生成的所述至少一个其它虚拟视觉对象(VVOS(n+1))。
9.如权利要求2所述的移动设备(MD)，其中所述处理设备(PD)适用于生成与所述至少一个虚拟视觉对象(VVO(n+1))相关的第二视觉输出信号(S(n+1))，用于提供给所述移动设备(MD)中包括的显示器(S)。
10.如权利要求2所述的移动设备(MD)，其中所述处理设备(PD)还适用于生成第二视觉输出信号(S(n+1))，其包括至少一个其它虚拟视觉对象(VVO(n+1))。
CN200980148487.5A 2008-12-03 2009-11-24 用于增强现实应用的移动设备 Active CN102238987B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08291135.5 2008-12-03
EP08291135.5A EP2193825B1 (en) 2008-12-03 2008-12-03 Mobile device for augmented reality applications
PCT/EP2009/008430 WO2010063409A1 (en) 2008-12-03 2009-11-24 Mobile device for augmented reality application

Publications (2)

Publication Number Publication Date
CN102238987A CN102238987A (zh) 2011-11-09
CN102238987B true CN102238987B (zh) 2014-11-26

Family

ID=40549528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980148487.5A Active CN102238987B (zh) 2008-12-03 2009-11-24 用于增强现实应用的移动设备

Country Status (8)

Country Link
US (1) US8907982B2 (zh)
EP (1) EP2193825B1 (zh)
JP (1) JP5566397B2 (zh)
KR (1) KR101610984B1 (zh)
CN (1) CN102238987B (zh)
MY (1) MY165839A (zh)
SG (2) SG171901A1 (zh)
WO (1) WO2010063409A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
CN102958114B (zh) * 2011-08-27 2017-10-03 中兴通讯股份有限公司 访问增强现实用户上下文的方法
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
JP6281857B2 (ja) * 2012-01-13 2018-02-21 株式会社ドワンゴ 映像システム、および撮影方法
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP6040564B2 (ja) 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
WO2014073345A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
US20150042678A1 (en) * 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
WO2017106072A2 (en) * 2015-12-17 2017-06-22 Technicolor Usa, Inc. Personalized presentation enhancement using augmented reality
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106228614A (zh) * 2016-07-29 2016-12-14 宇龙计算机通信科技(深圳)有限公司 一种场景再现方法和装置
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
CN108806681A (zh) * 2018-05-28 2018-11-13 江西午诺科技有限公司 语音控制方法、装置、可读存储介质及投影设备
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
KR20220101106A (ko) 2019-11-26 2022-07-19 에프. 호프만-라 로슈 아게 분석 측정을 수행하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706528A (zh) * 2004-05-27 2005-12-14 阿鲁策株式会社 游戏机
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
WO2004042666A2 (en) * 2002-11-05 2004-05-21 Disney Enterprises, Inc. Video actuated interactive environment
JP2006513509A (ja) * 2003-02-03 2006-04-20 シーメンス　アクチエンゲゼルシヤフト 合成情報の投影
JP4047822B2 (ja) * 2004-02-27 2008-02-13 ソフトバンクモバイル株式会社 電子機器
JP2006006912A (ja) * 2004-05-27 2006-01-12 Aruze Corp 遊技機
JPWO2006134778A1 (ja) * 2005-06-14 2009-01-08 国立大学法人 電気通信大学 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
WO2007027738A2 (en) * 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US20120231887A1 (en) * 2011-03-07 2012-09-13 Fourth Wall Studios, Inc. Augmented Reality Mission Generators
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706528A (zh) * 2004-05-27 2005-12-14 阿鲁策株式会社 游戏机
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法

Also Published As

Publication number Publication date
CN102238987A (zh) 2011-11-09
EP2193825A1 (en) 2010-06-09
KR20110100207A (ko) 2011-09-09
KR101610984B1 (ko) 2016-04-08
JP2012510673A (ja) 2012-05-10
MY165839A (en) 2018-05-17
SG10201400315UA (en) 2014-07-30
JP5566397B2 (ja) 2014-08-06
US20110254860A1 (en) 2011-10-20
US8907982B2 (en) 2014-12-09
SG171901A1 (en) 2011-07-28
WO2010063409A1 (en) 2010-06-10
EP2193825B1 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
CN102238987B (zh) 用于增强现实应用的移动设备
CN102947777B (zh) 用户跟踪反馈
US20150054727A1 (en) Haptically enabled viewing of sporting events
CN102332090A (zh) 划分在视野内的焦点区域
CN113507621A (zh) 直播方法、装置、系统、计算机设备以及存储介质
CN102221883A (zh) 自然用户界面的主动校准
JP6514376B1 (ja) ゲームプログラム、方法、及び情報処理装置
KR20140090904A (ko) 전자 디스플레이를 활용한 당구코칭 시스템 및 방법
CN111836110A (zh) 比赛视频的展示方法、装置、电子设备及存储介质
CN113392690A (zh) 视频语义标注方法、装置、设备及存储介质
CN108076379A (zh) 多屏互动实现方法及装置
JP2010137097A (ja) ゲーム装置および情報記憶媒体
CN109246351A (zh) 一种构图方法及终端设备
US20210283504A1 (en) Computer system and game system
JP2020162880A (ja) プログラムおよびコンピュータシステム
JP6002345B1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
CN109495281B (zh) 聊天终端装置、聊天系统、聊天显示方法以及存储介质
JP6924564B2 (ja) ゲームプログラム
TWI729323B (zh) 互動式遊戲系統
JP6002344B1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体
CN110084979B (zh) 人机交互方法、装置以及控制器和交互设备
US11606608B1 (en) Gamification of video content presented to a user
US20230186528A1 (en) Enhanced interactive features for a video presentation system
WO2022113335A1 (ja) 方法、コンピュータ可読媒体、および情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant