CN101189049B - 在移动设备中执行应用程序的方法 - Google Patents

在移动设备中执行应用程序的方法 Download PDF

Info

Publication number
CN101189049B
CN101189049B CN2006800198730A CN200680019873A CN101189049B CN 101189049 B CN101189049 B CN 101189049B CN 2006800198730 A CN2006800198730 A CN 2006800198730A CN 200680019873 A CN200680019873 A CN 200680019873A CN 101189049 B CN101189049 B CN 101189049B
Authority
CN
China
Prior art keywords
mobile device
visual
application program
background
direction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800198730A
Other languages
English (en)
Other versions
CN101189049A (zh
Inventor
吉恩-丹尼尔·莫克里
迈克尔·罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Surich Institute Of Higher Learning Non-Metal Material League
Eidgenoessische Technische Hochschule Zurich ETHZ
Original Assignee
Surich Institute Of Higher Learning Non-Metal Material League
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Surich Institute Of Higher Learning Non-Metal Material League filed Critical Surich Institute Of Higher Learning Non-Metal Material League
Publication of CN101189049A publication Critical patent/CN101189049A/zh
Application granted granted Critical
Publication of CN101189049B publication Critical patent/CN101189049B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5573—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history player location
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Abstract

为了在包括摄像机(14)的移动设备(1)中执行应用程序(13)，通过摄像机(14)拍摄视觉背景(2)。选定的应用程序(13)与视觉背景(2)相关联。选定的应用程序(13)在移动设备(1)中被执行。确定表示移动设备(1)相对于视觉背景(2)的方位的方位参数。基于方位参数在移动设备(1)中产生特定应用程序输出信号。特别地，基于方位参数在移动设备(1)上显示与视觉目标重叠的所拍摄的视觉背景(2)。依赖于移动设备(1)的相对方位而显示被选择和/或定位的具有重叠的视觉目标的所拍摄的视觉背景，使得由移动设备(1)相对于视觉背景(2)的方位所控制的交互式增强现实的应用程序如交互式增强现实的游戏成为可能。

Description

在移动设备中执行应用程序的方法
技术领域
本发明涉及在移动设备中执行应用程序的方法。尤其是本发明涉及在包括摄像机的移动设备中执行应用程序的方法，涉及包括用于拍摄在移动设备外部的视觉背景的摄像机的移动设备，以及涉及控制移动设备的计算机程序产品。
背景技术
随着例如基于CMOS技术的廉价图像传感器变得可以得到，具有内置摄像机的移动设备变得更普及。特别是，移动无线电话(蜂窝电话)和PDA计算机(个人数字助理)装配有内置摄像机。通过这些摄像机所拍摄的图像和视频在本地储存在移动设备中、通过设备接口卸载到个人计算机、和/或通过移动无线网络传输到服务器或其它移动设备。具有内置摄像机的移动通讯设备的典型应用包括视频电话和远程物体的视觉监视和监控。通常，具有内置摄像机的移动设备的已知应用限于拍摄、传输、储存和/或显示图像(图片)数据。如果有在移动设备中所拍摄的图像数据的任何进一步的处理，则它限于提取包含在图像数据中的信息，例如印刷的物品号或街道名称。
发明内容
本发明的目的是提供在包括摄像机的移动设备以及包括用于拍摄视觉背景的摄像机的适当移动设备中执行应用程序的方法。特别是，本发明的目的是提供在包括摄像机的移动设备以及包括用于拍摄游戏的视觉背景的摄像机的适当移动设备中执行游戏的方法。
根据本发明，这些目的特别通过独立权利要求的特征来实现。此外，进一步有利的实施例是根据附属的权利要求和说明书得出的。
根据本发明，上述目的被特别实现，因为在移动设备外部的视觉背景由移动设备的摄像机拍摄，选定的应用程序与视觉背景相关联，选定的应用程序在移动设备中被执行，所确定的是表示移动设备相对于视觉背景的方位的方位参数，以及至少基于方位参数在移动设备中产生特定应用程序输出信号。根据实施例产生了视觉输出信号、听觉输出信号和/或触觉输出信号。因此，移动设备的应用程序不限于拍摄、储存、传输和/或显示视觉背景，而是移动设备用于根据其相对于视觉背景的方位而产生输出信号。换句话说，移动设备提供方位参数作为对在移动设备中运行的应用程序的输入数据。优选地，确定方位参数包括确定移动设备相对于视觉背景的方位的变化。而且，基于表示移动设备的方位的所述变化的方位参数而产生输出信号。因而，实现了通过改变移动设备相对于视觉背景的方位来控制的交互式应用程序。此外，如果有多于一个应用程序可利用，移动设备确定与视觉背景相关联的选定应用程序。因此，本发明使在移动设备中执行交互式游戏(即，交互式游戏应用程序)成为可能，其中基于(当前)方位参数动态地产生与游戏有关的输出信号。而且，基于方位参数来确定应用程序的规定状态，例如交互式游戏的状态。
在优选实施例中，产生输出信号包括基于方位参数在移动设备上显示与视觉目标重叠的视觉背景。显示根据移动设备的相对方位被选择和/或定位的具有重叠的视觉目标的所拍摄的视觉背景，使得由移动设备相对于视觉背景的方位所控制的交互式增强现实(augmented reality)的应用程序例如交互式增强现实的游戏成为可能。
优选地，基于方位参数来动画制作覆盖在视觉背景上的视觉目标。根据移动设备相对于视觉背景的方位，动画制作重叠的视觉目标使交互式增强现实的动画例如动画制作的交互式游戏成为可能。
在一个实施例中，根据表示通过摄像机拍摄的视觉背景的背景图像数据来探测视觉背景中的规定视觉特征。例如，规定视觉特征包括至少一个具有内置的与方位无关的坐标系统的二维视觉码。优选地，确定方位参数以所探测的规定视觉特征如二维视觉码为基础。在一个实施例中，将选定的应用程序与视觉背景联系起来以所探测的规定视觉特征特别是例如二维视觉码为基础。
根据应用程序，所选定的应用程序储存在移动设备中或通过通讯链接被加载到移动设备中。
在一个实施例中，应用程序是多用户游戏，且选定的应用程序通过与至少一个其它移动设备的通讯链接来传送游戏的状态。
在进一步的实施例中，基于方位参数来触发选定应用程序的功能的执行。而且，在一个变形中，基于方位参数来触发其它应用程序。
仍然在进一步的实施例中，选定的应用程序包括描述语言语句。对应地，执行选定应用程序包括通过移动设备中的执行引擎来解释描述语言语句。因此，如描述语言语句所确定的，由执行引擎产生输出信号。
除了在包括摄像机的移动设备以及在包括用于拍摄视觉背景的摄像机的适当移动设备中执行应用程序的方法以外，本发明还涉及包括用于控制移动设备的一个或更多处理器的计算机程序代码装置的计算机程序产品，特别是包括其中包含计算机程序代码装置的计算机可读介质的计算机程序产品。
附图说明
作为例子，参考附图更详细地解释本发明，其中：
图1显示简要说明包括用于拍摄视觉背景的摄像机的移动设备的示例性配置的结构图。
图2显示简要说明通过电信网络连接的两个移动设备的结构图。
图3显示说明根据本发明执行的步骤顺序的例子的流程图，这些步骤用于在包括摄像机的移动设备中执行应用程序。
图4显示具有规定视觉特征的视觉背景的例子。
图5以二维视觉码的形式显示具有规定视觉特征的视觉背景的例子。
图6显示与视觉目标重叠的所拍摄的视觉背景的显示器的例子。
图7显示具有重新定位的重叠的视觉目标的所拍摄的视觉背景的显示器的另一例子。
具体实施方式
在图1中，参考数字2指二维或三维视觉背景。用电子束投射或被电子显示，视觉背景2印刷在表面上，例如在计算机监视器或电视机屏幕(LCD、等离子、CRT等等)上。视觉背景2是静态的，例如印在报纸上的连环漫画，或是例如依赖于游戏的时间或当前状态而动态变化的，例如大尺寸的电子公共信息显示系统(public display)或电影院屏幕。特别是，电子或投影背景媒介可随着时间的过去而变化-或者持续地，或者在总体上代替所呈现的内容。典型的背景媒介是产品包装如麦片盒，其在背面上具有包含图画或摄影的区域。印刷媒介的其它例子包括报纸、杂志、入场券、海报、传单、连环漫画册、卡通片、CD封面以及彩票。通常，印刷媒介包括纸、塑料或上面可被印刷的其它任何衬底。投影背景媒介的例子是在大屏幕上由电子束产生的图像或在公共场所中的地面投影。电子显示器也可用作背景媒介。背景媒介可为由多种媒介组成的单个媒介，如产品包装，或任何真实世界的布景。在优选实施例中，视觉背景2通过包括规定视觉特征，即，可通过图像处理技术探测的机器可读标记和视觉标记，来便于方位探测，如稍后将更详细解释的。除了便于方位探测以外，视觉特征还使视觉背景2和/或与视觉背景2联系的应用程序如游戏的识别成为可能。可选的，关于背景媒介的其它机器可探测的特征如RFID标记用于自动识别应用程序或计算摄像机14相对于视觉背景2的空间方位。
在图1中，参考数字1指移动设备，如移动无线电话(蜂窝电话)、PDA、手表、平板电脑(tablet PC)等等。移动设备1包括至少一个处理器以及数据和程序储存介质17，例如移动硬盘、闪存盘(微型快擦写存储卡、记忆棒等等)、光学储存介质(CD、DVD、磁盘等等)以及内部存储器(RAM、ROM、硬盘)。此外，移动设备1包括集成到或可拆除地连接到移动设备1的摄像机14。而且，移动设备1包括各种输出设备例如用于触觉输出的振动器、用于听觉输出的内部或外部扬声器19、和/或用于视觉输出的显示器10，如可选地装备有触摸屏性能的LCD、LED或OLED显示器。此外，移动设备1包括各种输入设备，如内部或外部键盘16a、控制杆(joystick)16b、触摸屏、内部或外部扩音器18、和/或钢笔/输入笔。在一个实施例中，移动设备1还包括通讯模块15，例如，设备接口如蓝牙、ZigBee或红外(IrDA)接口、或配置成通过电信网络如GSM(全球移动通讯系统)、UMTS(通用移动通信系统)或WLAN(无线局域网)通讯。移动设备1还包括方位探测器11，其配置成确定移动设备相对于视觉背景2的方位。优选地，方位探测器11是包括图像处理功能的编程软件模块，其配置成基于视觉背景2的规定视觉特征来确定表示移动设备1相对于视觉背景的方位的方位参数，如稍后将更详细地解释的。可选地，方位探测器11独立于摄像机14来实现，且不依赖于任何视觉特征。这样的可选方位探测器11包括6-D跟踪器、距离传感器、加速计、陀螺仪、罗盘仪、分离的摄像机、球形开关、和/或其它组件。然而，独立于摄像机的方位探测器一般需要其它技术来获得摄像机图像与在视觉背景2中的项目的准确对齐(“对准”)。给出移动设备1相对于视觉背景2的空间方位作为空间中的全6-D方位(3-D位置加上倾斜、滚动和侧滑)或作为很多独立的参数，例如摄像机相对于视觉特征的目标点、距离、旋转和倾斜。移动设备1包括进一步的功能模块，这些功能模块包括控制模块12、至少一个应用程序(模块)13、输出发生器131、执行引擎132、以及图像处理模块133。这些功能模块优选地为稍后参考图3更详细描述的编程软件模块。执行引擎132可预先安装在移动设备1上、储存在单独的存储介质上、或通过通讯网络3被动态地下载。执行引擎132可为用于交互式增强现实(augmentedreality)游戏和动画的独立成套的应用程序或描述语言的通用解释程序。如图1中简要示出的，输出发生器131可为应用程序(模块)13的一部分、执行引擎132的一部分、或独立的模块。本领域技术人员应理解，方位探测器11和/或上述功能模块也可通过硬件(例如使用专用方位探测器硬件和/或编程数字信号处理器、DSP或现场可编程门阵列、FPGA等等)全部或部分地实现。
如图2所示，在步骤S1中，移动设备1或摄像机14分别指向视觉背景2，以使规定视觉特征被拍摄在摄像机的图像中。而且，用户例如使用移动设备1的输入设备通过按键或按钮来启动视觉背景2的拍摄和处理。
在步骤S2中，控制模块12响应于在步骤S1中的启动而开启摄像机14以拍摄视觉背景2的活动(流)或静止的图像。
在步骤S3中，控制模块12使图像处理模块133在所拍摄的视觉背景2，即，在相应的背景图像数据中探测用于识别视觉背景2的规定特征，例如规定视觉特征如条形码、写入的信息或视觉码22，或控制模块12确定其它机器可探测的特征如RFID标记。
在步骤S4中，控制模块12根据在步骤S3中探测的规定特征来确定所拍摄的视觉背景2的辨认。此外，基于视觉背景2的特征，控制模块确定与视觉背景2相关联的选定的应用程序(模块)13。
在可选的步骤S5中，如果选定的应用程序(模块)22没有储存在移动设备1中，利用通讯模块15，控制模块12通过通讯网络3从应用程序服务器4加载选定的应用程序(模块)13，如图2所示。对不同的视觉背景2，储存不同的应用程序如游戏，应用程序服务器4连接到应用程序数据库41。通讯网络3包括设备接口如蓝牙、ZigBee或红外(IrDA)或电信网络如GSM、UMTS或WLAN。
在步骤S6中，控制模块12开始在移动设备1中执行选定的应用程序(模块)13。根据实施例，选定的应用程序(模块)13是在移动设备1的处理器上运行的可执行应用程序，或选定的应用程序(模块)13包括由描述语言语句组成的描述，所述描述语言语句由执行引擎132解释。该描述基于形式机器可读语言(以编译或源形式)，其允许定义移动设备行为的某些方面，例如图形输出、音频输出、触觉输出、控制移动设备1上的应用程序、以及在通讯网络3上发送数据。形式语言允许描述移动设备对用户输入的反应，特别是基于移动设备相对于视觉背景2的方位，但也基于键盘、触摸屏和语音输出。此外，语言描述了所拍摄的摄像机图像如何被解释，以便触发移动设备1上的功能。描述语言也允许确定操作的定时执行，例如在显示器10上的动画。描述语言设计成在高水平上并以紧凑方式轻松地描述交互式增强现实的游戏和动画。它具有一些单元以确定图形覆盖(overlay)如文本、2-D或3-D物体的图像、音频输出、触觉输出、及时的动画流、设备性能的使用如在网络上发送数据或启动应用程序、用于对用户输入如摄像机图像产生影响的规则、以及用于给游戏和动画逻辑编码的规则。通过执行引擎132解释该描述，执行引擎132相应地对移动设备1执行操作并保持应用程序的执行的当前状态，如游戏的状态。
在步骤S7中，方位探测器11确定移动设备1相对于视觉背景2的方位。在一个实施例中，方位探测器11使用6-D跟踪器来将移动设备1的空间方位确定为空间中的全3-D位置加上3-D方位，例如被给定为倾斜、滚动和侧滑。然而优选地，控制模块12使图像处理模块133在所拍摄的视觉背景2，即，在相应的背景图像数据中探测用于确定移动设备1的相对方位的规定特征，例如规定的视觉特征诸如图4所示的规定视觉标记21、如图5所示的视觉码22、或其它视觉特征，如背景人群中的人戴的四个相同颜色的帽子。根据这些规定视觉特征，方位探测器11确定表示移动设备1相对于视觉背景2的当前方位的方位参数。例如，方位参数包括视觉背景上2媒介上的目标点、旋转、水平和垂直倾斜、距离、和相对运动，如下面更详细解释的。在一个变形中，这些参数从2-D条形码中取回，如在下列文献中所描述的，Michael Rohs，“Real-World Interaction with CameraPhones”，2nd International Symposium on Ubiquitous Computing Systems(UCS2004)，Tokyo，Japan，Revised Selected Papers，Springer LNCS 3598，74-89页，2005年7月。优选地，视觉特征包括具有内置的于方位无关的坐标系的二维视觉码22，如美国2005/0242189中所述的。在非常大的视觉背景2例如在电影院屏幕的大游戏板或广告牌的情况下，几个视觉码横跨由视觉背景2表示的游戏板被放置，使得至少一个总是可见的。视觉码系统的本质特征是在图像平面中的点与在视觉码平面中的相应点的映射，且反之亦然。在该映射的帮助下，摄像机焦点的像素坐标例如可被映射到相应的码坐标，摄像机焦点为用户瞄准的点，且在取景器(view finder)模式期间由十字准线(crosshair)指示。例如，在取景器模式中，摄像机提供在160x120像素的尺寸的图像的连续流。每个视觉码22定义其自己的本地坐标系，该系统在码的左上边缘具有其原点，且与图像中码的方位无关。相对于码坐标系定义的区域因此对投影变形无变化。方位参数包括在所拍摄的图像中的视觉码22以逆时针度数在0°到359°范围内的旋转。方位探测器11还确定图像平面和码平面之间的倾斜值。水平倾斜被定义为码坐标系的x轴和图像平面之间的角。类似地，垂直倾斜表示y轴和图像平面之间的角。1的倾斜值表明轴和图像平面是平行的。小于1的倾斜值意味着向左/顶部的倾斜，大于1的值表示向右/底部的倾斜。视觉码22和摄像机14之间的(读数)间距以值100被指定为一段距离的方式来确定，在取景器模式中视觉码22在该距离处恰好是可辨认的。根据图像中视觉码的尺寸来确定距离，而不是使用实际度量距离，保持该参数与摄像机的光学特性无关。它仍然适合用于本文中所需要的交互作用。最后，方位探测器11合并识别算法与视觉移动探测算法，后者只依赖于由摄像机14提供的图像数据。移动探测为相对线性和相对旋转的运动提供了(x，y，θ)三元组。运动探测不依赖于图像中视觉码22的出现。可计算所有所述的参数，而不知道所使用的摄像机14的光学参数，例如焦距。如果这些参数是已知的，可计算倾斜角和度量距离。如前所述，可计算方位参数，而不使用上述特定的视觉码22。甚至可计算方位参数，而没有任何在较狭窄意义上的视觉码系统。在一个变形中，在自动探测背景中的本地关心的点的适当计算机视觉技术的帮助下，根据背景的独立视觉表现计算方位参数。然而，可靠地计算方位参数和具有高性能对被资源限制的移动设备增加了负担。如果四个不在同一直线上的已知点，例如图4所示球门20的四个角内的视觉标记21，被定位摄像机图像中，则使用平面单应性(planar homography)可计算与方位无关的坐标系以及上述其它参数。视觉背景2在图像中需要有四个可辨别的区域，图像处理模块133可确定这些区域的位置。也可根据在视觉背景2中可见的矩形的角来定位已知点。还可使用水印技术或显隐墨水以使方位探测较不突出来实现便于方位探测的视觉特征。小点的图案也可用于计算背景媒介上的位置。该技术通过Anoto笔来实现。
在步骤S8中，输出发生器131至少基于在步骤S7中确定的方位参数产生特定应用程序输出信号。因此输出信号依赖于如应用程序(模块)13确定的方位参数。根据实施例，选定的应用程序(模块13)启动被集成入选定应用程序(模块13)或与其分离的输出发生器131的功能，或执行引擎132启动被集成入执行引擎132或与其分离的输出发生器131的功能，如由被执行引擎132解释的应用程序描述语言语句所确定的。
如图3所示，输出发生器131根据在步骤S7中确定的方位参数产生视觉信号(步骤S81)、听觉信号(步骤S82)和/或触觉信号(步骤S83)。为了产生视觉信号，输出发生器131使用显示器10。为了产生听觉信号，输出发生器131使用扬声器19。为了产生触觉信号，输出发生器131使用振动器。输出发生器131产生视觉输出、触觉输出、听觉输出、或储存在移动设备1或通过通讯网络3传输的数据输出。
在步骤S811中，输出发生器131根据在步骤S7中确定的方位参数选择视觉目标，如应用程序(模块)13所详细说明的。动态变化的特定应用程序如与游戏有关的视觉目标包括例如图像、图标、文本、2-D图形、虚拟3-D物体和GUI工具(widge)，所述视觉目标作为在显示器10上示出的活动摄像机图像上的图形覆盖。例如，2-D或3-D覆盖以图形库(例如OpenGL)为基础。
在步骤S812中，输出发生器131显示被摄像机14拍摄并与步骤S811中所选定的视觉目标重叠的视觉背景2。因此，在游戏应用程序中，基于由视觉特征如视觉码22确定的坐标系，游戏部件或其它游戏组件虚拟地被放置在正确的位置，且移动设备1的显示器10上的正确透视变形作为在视觉背景2的活动摄像机图像(流)上的重叠。显示器10显示视觉背景2的聚焦部分的摄像机图像(流)以及在摄像机图像上的虚拟图形或正文覆盖。虚拟图形输出不仅是静态的，而且还可为被动态地动画制作。动画可由用户输入控制；特别是可基于方位参数来控制动画。
图6描绘了显示器10的例子，显示器10示出在某个方向被摄像机14拍摄的视觉背景2的图像。如图6所示，输出发生器131选择并覆盖两个视觉目标，即，在罚球点上放置的球24和位于球门24中心的守门员23。分别基于方位参数和选定应用程序(模块)13或应用程序相应的当前状态来选择和放置这些视觉目标。图6表示在游戏的最初状态时罚点球决胜负游戏的应用程序。
在步骤S9中，基于方位参数和/或其它用户输入如按按钮或说出命令字，控制模块12触发选定应用程序(模块)13的功能的执行和/或设定应用程序(模块)13的状态。在罚点球决胜负游戏的当前例子中，例如在用户通过改变移动设备1的方位来引导球24之后，这样的功能是球24的实际射门(踢)。相应地，响应于球24的射门，另一功能使守门员23复位。因此，根据移动设备1相对于视觉背景的方位，在视觉背景2上覆盖的视觉目标被输出发生器131动画制作，如分别由选定应用程序(模块)13或应用程序的当前状态所确定的。在多用户游戏的情况下，另一应用程序功能通过通讯网络3将应用程序的状态发送到应用程序服务器4和/或另一移动设备1’，如图2所示。
图7描绘显示器10的进一步的例子，显示器10示出在不同于图6的方位在稍后的时间点被摄像机14拍摄的视觉背景2的图像。如图7所示，由应用程序状态和当前方位参数所确定，输出发生器131在不同的位置放置两个视觉目标：球24放置在球门20的左上角，而守门员23放置在球门20的右侧。图7表示当用户调整移动设备1的方位以瞄准在球门20的左上角的球24，并在那个方向通过突然向前移动移动设备1如单击按钮或说出命令字来触发球24的射门之后，在游戏的高级状态的罚点球决胜负游戏。
在步骤S10中，控制模块12检验应用程序是否完成。如果应用程序没有完成，则控制模块前进到步骤S7(继续拍摄视觉背景2)并确定移动设备1的当前方位。因此，移动设备相对于视觉背景2的方位的变化被确定。随后，基于表示这些变化的方位参数进一步产生输出信号。因此，当移动设备1改变其相对于视觉背景2的方位时，在显示器10上示出的视觉背景2的聚焦部分的活动摄像机图像及其图形覆盖被实时地更新。否则，如果应用程序完成了，则控制模块12在步骤S11结束所选定的应用程序。
所提出的方法和移动设备1使“增强现实的游戏”成为可能，其中游戏板被设置为视觉背景2，但通过移动设备1来执行与游戏的交互。与传统的移动游戏设备相反，所提出的方法和移动设备1不要求用户通过大量使用键盘或触摸屏来控制游戏。而是，对在视觉背景2中的规定视觉特征应用交互作用图元(primitive)，特别是视觉码交互作用图元，例如用户通过改变移动设备1相对于视觉背景2的方位来执行的旋转和倾斜。对与应用程序如游戏的相互作用的必要行为是简单和直观的空间映射。例如在罚点球决胜负游戏中，瞄准球门20需要旋转和倾斜。相对于球门20的设备旋转量控制水平射门方向。移动设备1的倾斜量控制垂直射门方向(高或平射门)。用户通过按控制杆键或使用另一规定的用户输入来踢球24。当按键时，球24被动画制作成向着目标20快速移动(或错过它，如果用户瞄得不准确)，且球门守门员23被动画制作成跳到四个可能的位置之一，例如以固定的概率抓住或错过球24。游戏指令仅仅需要几个字，它们甚至可被用户在几次试用中研究，而无需任何指令。例如，在一种配置中，游戏与赢得另一盒麦片的抽奖相关联。
所提出的方法和移动设备1不仅在小尺寸背景上而且在大尺寸背景媒介例如作为增强现实游戏的播放表面的电影院屏幕或大广告牌上实现了单个游戏者或多个游戏者的游戏。多个游戏者可同时玩游戏。游戏的内容可基于单个游戏者的内容(每个游戏者单独玩他的游戏)或多个游戏者的内容，其中游戏和游戏状态被其它应用程序影响。显示在播放表面上的图像和覆盖在移动设备1上的图形根据游戏的状态而变化。因此，大尺寸播放表面和手持移动设备1相互完善：用户接口在共享的大尺寸播放表面(作为背景媒介)和一个或更多手持移动设备1、1’(在摄像机图像上产生单独的增强现实覆盖)之间分离。
在进一步的实施例中，根据方位参数，应用程序将额外的信息(运动数据、商业数据、天气数据、全球和本地新闻、旅行者信息等)覆盖在视觉背景2的所拍摄的图像上，例如从应用程序服务器4、从定位系统如GPS(全球定位系统)或移动无线网络或从另一移动设备1’取回的数据。可能的应用程序的例子包括具有增强现实游戏、动画和/或信息的增强的产品包装、海报、传单、信用卡、滑雪通行证、连环漫画册或报纸中的卡通画等等；动画制作的运动记分板和进度表；例如通过虚拟地增加或去除个人的比萨饼上的可选浇头来在视觉上增强的选项的选择；通过虚拟地覆盖基于可最新得到的一组数据的内容来动画制作新闻，最终使用比当报纸被印刷时更新的数据；或对印在入场券或另外的纸片上的地图提供方位帮助。在后面的例子中，使用视觉码2，地图可用作生动的指南。例如，虚拟覆盖的图形可显示从某个入口到特定的座位(电影院、歌剧院等)或特定的门或通道(机场、火车站)、从某个位置到最近的厕所(购物中心、城市、带有厕所的任何地方)等的路线。此外，通过例如基于GSM单元、蓝牙访问点、GPS数据等使移动设备1可利用移动设备的当前位置，可增强动画。然后，动画在当前位置开始。在城市指南中列出的所关心的每个地方通常显示在地图上。交互式地图可帮助旅行者找到其在城市各处(例如博物馆、公共运输机关)的路线，并以纸张的形式提供生动的旅行指南。
本发明的实施例的前述公开为了举例说明和描述的目的而被介绍。意图不是排他性的或将本发明限制为所公开的确切形式。根据上面的公开内容，这里描述的实施例的很多变形和修改对本领域的普通技术人员是明显的。本发明的范围仅由所附的权利要求及其等效形式限定。特别地，在说明书中，计算机程序码与特定的软件模块相关联，然而本领域技术人员应理解，计算机程序码可被不同地构成，而不偏离本发明的范围。此外，在说明书中阐明的步骤的特定顺序不应解释为对权利要求的限制。正如本领域普通技术人员认识到的，步骤的其它顺序是可能的，同时仍然保持在本发明的实质和范围内。

Claims (24)

1.一种在包括摄像机(14)的移动设备(1)中执行应用程序(13)的方法，所述方法包括：
通过所述摄像机(14)拍摄(S2)在所述移动设备(1)外部的视觉背景(2)；
产生表示通过所述摄像机(14)拍摄的所述视觉背景(2)的背景图象数据；
根据所述背景图象数据探测(S3)所述视觉背景(2)中的规定视觉特征；
基于探测到的所述规定视觉特征，将选定的应用程序(13)与所述视觉背景(2)联系起来(S4)；
在所述移动设备(1)中执行(S6)所述选定的应用程序(13)；
确定(S7)表示所述移动设备(1)相对于所述视觉背景(2)的方位的方位参数；以及
至少基于所述方位参数在所述移动设备(1)中产生(S8)特定应用程序输出信号。
2.如权利要求1所述的方法，其中产生输出信号的步骤(S8)包括基于所述方位参数在所述移动设备(1)上显示(S812)与视觉目标重叠的所述视觉背景(2)。
3.如权利要求1或2所述的方法，其中产生输出信号的步骤(S8)包括基于所述方位参数动画制作覆盖在所述视觉背景(2)上的视觉目标。
4.如权利要求1或2所述的方法，其中确定方位参数的步骤(S7)包括确定所述移动设备(1)相对于所述视觉背景(2)的所述方位的变化；以及其中产生输出信号的步骤(S8)是基于表示所述移动设备(1)的所述方位的所述变化的方位参数。
5.如权利要求1或2所述的方法，其中产生输出信号的步骤(S8)包括产生视觉信号、听觉信号和触觉信号中的至少一种。
6.如权利要求1所述的方法，其中探测规定视觉特征的步骤(S3)包括探测具有内置的与方位无关的坐标系的至少一种二维视觉码(22)。
7.如权利要求1或6所述的方法，其中确定方位参数的步骤是基于探测到的所述规定视觉特征。
8.如权利要求1或2所述的方法，进一步包括通过通讯链接将所述选定的应用程序(13)加载入所述移动设备(1)。
9.如权利要求1或2所述的方法，其中所述应用程序(13)是游戏；其中所述输出信号是与游戏有关的输出信号；以及其中所述选定的应用程序(13)至少基于所述方位参数确定所述游戏的状态。
10.如权利要求9所述的方法，其中所述应用程序(13)是多用户游戏；且其中所述选定的应用程序(13)通过通讯链接将所述状态传送到至少一个其它的移动设备(1)。
11.如权利要求1或2所述的方法，进一步包括基于所述方位参数触发(S9)所述选定的应用程序(13)的功能的执行。
12.如权利要求1或2所述的方法，其中所述选定的应用程序(13)包括描述语言语句；其中执行所述选定的应用程序(13)的步骤包括通过所述移动设备(1)中的执行引擎(132)来解释所述描述语言语句；以及其中产生所述输出信号的步骤(S8)包括由所述执行引擎(132)按照所述选定的应用程序(13)的所述描述语言语句所确定的来产生所述输出信号。
13.一种移动设备(1)，包括用于拍摄在所述移动设备(1)外部的视觉背景(2)的摄像机(14)，其中所述移动设备(1)进一步包括：
控制模块(12)，其配置成将选定的应用程序(13)与所述视觉背景(2)联系起来，并在所述移动设备(1)中开始执行所述选定的应用程序(13)；
方位探测器(11)，其配置成确定表示所述移动设备(1)相对于所述视觉背景(2)的方位的方位参数；以及
输出发生器(131)，其配置成至少基于所述方位参数产生特定应用程序输出信号；
其中，所述摄像机(14)配置成产生表示拍摄的所述视觉背景(2)的背景图象数据，所述方位探测器(11)进一步配置成根据所述背景图象数据探测所述视觉背景(2)中的规定视觉特征，并且所述控制模块(12)配置成基于探测到的所述规定视觉特征将所述选定的应用程序(13)与所述视觉背景(2)联系起来。
14.如权利要求13所述的移动设备(1)，其中所述输出发生器(131)进一步配置成基于所述方位参数在所述移动设备(1)上显示与视觉目标重叠的所述视觉背景(2)。
15.如权利要求13或14所述的移动设备(1)，其中所述输出发生器(131)进一步配置成基于所述方位参数动画制作覆盖在所述视觉背景(2)上的视觉目标。
16.如权利要求13或14所述的移动设备(1)，其中所述方位探测器(11)进一步配置成确定所述移动设备(1)相对于所述视觉背景(2)的所述方位的变化；以及其中所述输出发生器(131)配置成基于表示所述移动设备(1)的所述方位的所述变化的方位参数来产生所述特定应用程序输出信号。
17.如权利要求13或14所述的移动设备(1)，其中所述输出发生器(131)配置成产生视觉信号、听觉信号和触觉信号中的至少一种。
18.如权利要求13所述的移动设备(1)，其中所述方位探测器(11)配置成根据所述背景图象数据探测具有内置的与方位无关的坐标系的至少一种二维视觉码(22)。
19.如权利要求13或18所述的移动设备(1)，其中所述方位探测器(11)配置成基于探测到的所述规定视觉特征来确定所述方位参数。
20.如权利要求13或14所述的移动设备(1)，其中所述控制模块(12)配置成通过通讯链接将所述选定的应用程序(13)加载入所述移动设备(1)。
21.如权利要求13或14所述的移动设备(1)，其中所述应用程序(13)是游戏；其中所述输出信号是与游戏有关的输出信号；以及其中所述选定的应用程序(13)配置成至少基于所述方位参数确定所述游戏的状态。
22.如权利要求21所述的移动设备(1)，其中所述应用程序(13)是多用户游戏；以及其中所述选定的应用程序(13)配置成通过通讯链接来将所述状态传送到至少一个其它的移动设备(1)。
23.如权利要求13或14所述的移动设备(1)，其中所述选定的应用程序(13)配置成基于所述方位参数触发所述选定的应用程序(13)的功能的执行。
24.如权利要求13或14所述的移动设备(1)，其中所述选定的应用程序(13)包括描述语言语句；其中所述移动设备(1)进一步包括配置成解释所述描述语言语句的执行引擎(131)；以及其中所述输出发生器(131)配置成按照所述执行引擎(131)所解释的基于所述描述语言语句来产生所述特定应用程序输出信号。
CN2006800198730A 2005-04-06 2006-04-05 在移动设备中执行应用程序的方法 Expired - Fee Related CN101189049B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US66919705P 2005-04-06 2005-04-06
US60/669.197 2005-04-06
PCT/CH2006/000196 WO2006105686A1 (en) 2005-04-06 2006-04-05 Method of executing an application in a mobile device

Publications (2)

Publication Number Publication Date
CN101189049A CN101189049A (zh) 2008-05-28
CN101189049B true CN101189049B (zh) 2012-02-29

Family

ID=36390266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800198730A Expired - Fee Related CN101189049B (zh) 2005-04-06 2006-04-05 在移动设备中执行应用程序的方法

Country Status (4)

Country Link
US (1) US8226011B2 (zh)
EP (1) EP1866043A1 (zh)
CN (1) CN101189049B (zh)
WO (1) WO2006105686A1 (zh)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US9445225B2 (en) * 2005-07-14 2016-09-13 Huston Family Trust GPS based spectator and participant sport system and method
US8249626B2 (en) * 2005-07-14 2012-08-21 Huston Charles D GPS based friend location and identification system and method
US8933967B2 (en) 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
US9344842B2 (en) 2005-07-14 2016-05-17 Charles D. Huston System and method for viewing golf using virtual reality
US8275397B2 (en) * 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
US8207843B2 (en) * 2005-07-14 2012-06-26 Huston Charles D GPS-based location and messaging system and method
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP2007304666A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc 情報出力システム及び情報出力方法
US8493323B2 (en) * 2006-08-02 2013-07-23 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientation of the device
US8139026B2 (en) 2006-08-02 2012-03-20 Research In Motion Limited System and method for adjusting presentation of text and images on an electronic device according to an orientation of the device
WO2008021091A2 (en) * 2006-08-11 2008-02-21 Packetvideo Corp. 'system and method for delivering interactive audiovisual experiences to portable devices'
WO2008027447A2 (en) * 2006-08-31 2008-03-06 Wms Gaming Inc. Remote input device for a wagering game
EP2076830A4 (en) * 2006-10-27 2013-07-17 Nokia Corp METHOD AND DEVICE FOR ENABLING MOVEMENT WITHIN A THREE-DIMENSIONAL GRAPHIC USER INTERFACE
GB2449694B (en) 2007-05-31 2010-05-26 Sony Comp Entertainment Europe Entertainment system and method
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US7707073B2 (en) * 2008-05-15 2010-04-27 Sony Ericsson Mobile Communications, Ab Systems methods and computer program products for providing augmented shopping information
US8477139B2 (en) * 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
EP2138212A1 (en) * 2008-06-27 2009-12-30 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for assessing the direction of a user device provided with a camera
KR101500741B1 (ko) * 2008-09-12 2015-03-09 옵티스 셀룰러 테크놀로지, 엘엘씨 카메라가 구비된 이동 단말기 및 이의 촬영 방법
US20100099476A1 (en) * 2008-10-16 2010-04-22 Mickey David L Non-visible maze gamming system and method
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
US8412577B2 (en) * 2009-03-03 2013-04-02 Digimarc Corporation Narrowcasting from public displays, and related methods
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8374646B2 (en) * 2009-10-05 2013-02-12 Sony Corporation Mobile device visual input system and methods
US8675025B2 (en) 2009-12-17 2014-03-18 Nokia Corporation Method and apparatus for providing control over a device display based on device orientation
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
US20110275434A1 (en) * 2010-05-04 2011-11-10 Mediatek Inc. Methods for controlling a process of a game and electronic devices utilizing the same
WO2011145431A1 (ja) * 2010-05-19 2011-11-24 株式会社バンダイ ゲーム装置及びコンピュータプログラム
WO2011156475A1 (en) * 2010-06-08 2011-12-15 Wms Gaming, Inc. Augmented reality for wagering game activity
CN102339571A (zh) * 2010-07-21 2012-02-01 鸿富锦精密工业（深圳）有限公司 电子装置
KR101363559B1 (ko) * 2010-07-23 2014-02-17 주식회사 팬택 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
US8428621B2 (en) 2010-07-30 2013-04-23 Hewlett-Packard Development Company, L.P. Location-based audio service
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US20120036485A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven User Interface
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
WO2012048252A1 (en) * 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
WO2012071463A2 (en) 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US9041743B2 (en) 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback
US9111418B2 (en) 2010-12-15 2015-08-18 Bally Gaming, Inc. System and method for augmented reality using a player card
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8457654B1 (en) 2011-03-31 2013-06-04 Google Inc. Directional feedback
US9002490B2 (en) 2011-04-13 2015-04-07 Longsand Limted Methods and systems for generating frictionless social experience environment
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US8559766B2 (en) * 2011-08-16 2013-10-15 iParse, LLC Automatic image capture
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
CN102346660A (zh) * 2011-10-13 2012-02-08 苏州梦想人软件科技有限公司 一种混合现实与虚拟物体的系统及方法
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US8910309B2 (en) * 2011-12-05 2014-12-09 Microsoft Corporation Controlling public displays with private devices
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
GB2499249B (en) 2012-02-13 2016-09-21 Sony Computer Entertainment Europe Ltd System and method of image augmentation
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9870642B2 (en) * 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US9256299B2 (en) 2012-08-28 2016-02-09 Hewlett-Packard Development Company, L.P. Client device orientation
US10282936B2 (en) * 2012-09-11 2019-05-07 Igt Global Solutions Corporation Method, system and ticket for facilitating lottery related activities via mobile devices
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US9294539B2 (en) * 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US10521817B2 (en) 2014-04-02 2019-12-31 Nant Holdings Ip, Llc Augmented pre-paid cards, systems and methods
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US20160196713A1 (en) * 2015-01-04 2016-07-07 Paymaxs Ltd. 3d lottery card
DE102015119753A1 (de) * 2015-11-16 2017-05-18 Storydocks Gmbh Augmented Reality System
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
CN107527380B (zh) * 2016-06-20 2022-11-18 中兴通讯股份有限公司 图像处理方法和装置
US11432051B2 (en) * 2016-09-27 2022-08-30 Srinivas Krishna Method and system for positioning, viewing and sharing virtual content
US10431049B2 (en) 2016-09-28 2019-10-01 Scientific Garnes International, Inc. Lottery game system and method with augmented reality component
CN107492183A (zh) * 2017-07-31 2017-12-19 程昊 一种有纸即开型彩票ar展示方法及系统
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10424167B2 (en) 2017-10-17 2019-09-24 Scientific Games International, Inc. Lottery game system and method with augmented reality scratch-off lottery ticket
US10819706B2 (en) 2018-07-09 2020-10-27 Igt System, apparatus and method for facilitating remote gaming communications in a venue
US20200027302A1 (en) 2018-07-18 2020-01-23 Igt System and method for utilizing mobile device application to locate electronic gaming machines
US10675536B2 (en) 2018-10-03 2020-06-09 Song Chen Gaming system that alters target images produced by an LED array
US10777037B1 (en) 2019-02-21 2020-09-15 Igt System and method for utilizing a mobile device to identify an electronic gaming machine
KR20210101518A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 Ar 객체를 배치하는 방법 및 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481257A (en) * 1987-03-05 1996-01-02 Curtis M. Brubaker Remotely controlled vehicle containing a television camera
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5707237A (en) * 1993-04-20 1998-01-13 Kabushiki Kaisha Ace Denken Driving simulation system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4578766A (en) * 1983-09-01 1986-03-25 The United States Of America As Represented By The Secretary Of The Navy Computer-aided process for generating camera-ready graphical artwork
US5103490A (en) * 1990-06-13 1992-04-07 National Computer Systems, Inc. Method and apparatus for storing and merging multiple optically scanned images
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
US5783811A (en) * 1995-06-26 1998-07-21 Metanetics Corporation Portable data collection device with LED targeting and illumination assembly
US6179208B1 (en) * 1997-01-31 2001-01-30 Metanetics Corporation Portable data collection device with variable focusing module for optic assembly
WO1998046323A1 (en) 1997-04-15 1998-10-22 Criticom Corporation Computer games having optically acquired images which are combined with computer generated graphics and images
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6309306B1 (en) * 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles
DE60118051T2 (de) * 2000-04-06 2006-08-31 Seiko Epson Corp. Verfahren und Vorrichtung zum Lesen von einem zwei-dimensionalen Strichkode und Datenspeichermedium
US6752720B1 (en) * 2000-06-15 2004-06-22 Intel Corporation Mobile remote control video gaming system
US6832729B1 (en) * 2001-03-23 2004-12-21 Zih Corp. Portable data collection device for reading fluorescent indicia
US20040258274A1 (en) * 2002-10-31 2004-12-23 Brundage Trent J. Camera, camera accessories for reading digital watermarks, digital watermarking method and systems, and embedding digital watermarks with metallic inks
US7296747B2 (en) * 2004-04-20 2007-11-20 Michael Rohs Visual code system for camera-equipped mobile devices and applications thereof
US20060041632A1 (en) * 2004-08-23 2006-02-23 Microsoft Corporation System and method to associate content types in a portable communication device
US7273177B2 (en) * 2005-03-10 2007-09-25 Microsoft Corporation Camera-based barcode recognition
US7172124B2 (en) * 2005-03-10 2007-02-06 Microsoft Corporation Camera-based barcode recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481257A (en) * 1987-03-05 1996-01-02 Curtis M. Brubaker Remotely controlled vehicle containing a television camera
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US5707237A (en) * 1993-04-20 1998-01-13 Kabushiki Kaisha Ace Denken Driving simulation system

Also Published As

Publication number Publication date
WO2006105686A1 (en) 2006-10-12
CN101189049A (zh) 2008-05-28
EP1866043A1 (en) 2007-12-19
US20080194323A1 (en) 2008-08-14
US8226011B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
CN101189049B (zh) 在移动设备中执行应用程序的方法
WO2019153824A1 (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
CN102265242B (zh) 在移动设备上使用运动处理来控制和访问内容
US8275834B2 (en) Multi-modal, geo-tempo communications systems
JP7374313B2 (ja) 仮想環境における乗り物の運転方法、装置、端末及びプログラム
JP2022517194A (ja) 仮想環境においてマーク情報を生成する方法、装置、電子機器及びコンピュータプログラム
US20130178257A1 (en) System and method for interacting with virtual objects in augmented realities
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
CN110917616B (zh) 虚拟场景中的方位提示方法、装置、设备及存储介质
CN103119628A (zh) 利用运动特性的显示器上三维用户界面效果
JP5285901B2 (ja) カードゲーム装置、カードゲームプログラム
KR101734520B1 (ko) 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템
JP5612929B2 (ja) 案内情報提供システム、制御装置、案内情報提供方法、及びプログラム
CN103813837A (zh) 游戏装置、游戏装置的控制方法、程序以及信息存储介质
JP2008510215A (ja) ディスプレイを制御するための方法及びシステム
CN113209617A (zh) 虚拟对象的标记方法及装置
JP2012216073A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
US11458394B2 (en) Targeting of a long-range object in a multiplayer game
CN112788443B (zh) 基于光通信装置的交互方法和系统
US20230142566A1 (en) System and method for precise positioning with touchscreen gestures
US7513700B2 (en) Image element identifier
JP6193466B1 (ja) 画像表示装置、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
KR102557808B1 (ko) 게임 서비스 시스템 및 상기 시스템에서의 메모 공유 방법
CN112891940A (zh) 图像数据处理方法及装置、存储介质、计算机设备
CN112717411B (zh) 虚拟载具的轨迹记录方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120229

Termination date: 20170405