EP1725985A1 - Gestaltung von augmented reality applikationen - Google Patents

Gestaltung von augmented reality applikationen

Info

Publication number
EP1725985A1
EP1725985A1 EP04821723A EP04821723A EP1725985A1 EP 1725985 A1 EP1725985 A1 EP 1725985A1 EP 04821723 A EP04821723 A EP 04821723A EP 04821723 A EP04821723 A EP 04821723A EP 1725985 A1 EP1725985 A1 EP 1725985A1
Authority
EP
European Patent Office
Prior art keywords
marker
symbols
objects
augmented reality
reality applications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04821723A
Other languages
English (en)
French (fr)
Inventor
Alexandra Musto
Markus Simon
Ben St John
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
BenQ Mobile GmbH and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BenQ Mobile GmbH and Co OHG filed Critical BenQ Mobile GmbH and Co OHG
Priority to EP04821723A priority Critical patent/EP1725985A1/de
Publication of EP1725985A1 publication Critical patent/EP1725985A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5573—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history player location
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • the invention relates to a method for marker-based projection of virtual objects into a predetermined level, in particular for augmented reality applications.
  • predefined markers are placed in the natural environment and are recognized by a computer system with a camera by means of image processing or evaluation.
  • This computer system with camera can be implemented, for example, by a cell phone with a camera.
  • the augmented reality system is able to calculate the position of the marker plane in three-dimensional space relative to the camera position from the projection of the marker into the camera image plane. With the help of this information, virtual 3D objects can then be correctly projected onto the plane in which the marker is located.
  • a level is specified by the marker, which is located on a table, for example.
  • game figures, game boards, avatars, etc. are used as 3D objects. used.
  • World need such as landscape and architectural modeling.
  • Other applications are games, in particular special local multiplayer games, such as board games, but also strategy, adventure and fighting games.
  • the invention has for its object to solve these problems, especially for a mobile phone.
  • the method according to the invention enables fast and intuitive design of complex game content for augmented reality applications.
  • the method according to the invention is extremely resource-saving and thus enables real-time augmentation. This is achieved through the use of a single marker and the addition of simple symbols for the robust and fast detection of complex game content.
  • the number of symbols to be recognized can be kept small, since these can be given a different meaning depending on the context of the game and these can then be replaced by different 3D objects.
  • FIG. 1 shows a marker according to the prior art
  • FIG. 2 shows a landscape designed according to the invention with a marker and with symbols.
  • a single marker is used in connection with a plurality of symbols.
  • the user can use a single marker M to build complex content, for example the design of a game landscape, for augmented reality applications in a very simple manner, without additional markers having to be installed in the environment.
  • This marker M determines the level for the projection of the objects. It is, so to speak, an "empty" marker. Any objects can be placed in a plane that is spanned by this one marker M using primitive symbols S or shape elements.
  • the symbols S are realized, for example, by round or oval, angular or rectangular shaped elements.
  • the symbols can be colored or have colored markings or codes.
  • One or more lines L can also be used as symbols.
  • the symbols define the objects to be displayed with regard to their type, for example a house.
  • the symbols S are preferably chosen such that they can be easily detected using methods of digital image processing, without the need to use complex methods for pattern recognition.
  • the means for digital image processing are provided, for example, by a so-called video cell phone.
  • the objects corresponding to the symbols can be correctly projected into the real camera image.
  • the 3D position of an object is clearly defined by the point of intersection in three-dimensional space between the line of sight of the projected feature and the plane of the marker M.
  • Another marker is necessary if, for example, a further perspective representation of objects is desired. This can be the case if some objects are to be displayed on a table and others at a greater distance. According to the invention, a further marker with several symbols is then used for this purpose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur markerbasierten Projektion von virtuellen Objekten in eine vorgegebene Ebene, insbesondere für Augmented-Reality-Applikationen, bei dem die Objekte hinsichtlich ihrer Lage und / oder Perspektive durch einen einzigen Marker (M) bestimmt sind, und bei dem die Objekte hinsichtlich ihrer Art und / oder Ausgestaltung durch diesem Marker (M) zugeordnete Symbole (S, L) bestimmt sind, wobei der Marker (M) und die Symbole (S, L) durch Mittel der Bildaufnahme und -verarbeitung ausgewertet werden.

Description

Beschreibung
Gestaltung von Augmented Reality Applikationen
Die Erfindung betrifft ein Verfahren zur markerbasierten Projektion von virtuellen Objekten in eine vorgegebene Ebene, insbesondere für Augmented Reality-Applikationen.
Bei solchen markerbasierten Augmented-Reality-Applikationen werden vordefinierte Marker (siehe Fig. 1) in der natürlichen Umgebung platziert, die von einem Computersystem mit Kamera mittels Bildverarbeitung beziehungsweise -auswertung erkannt werden. Dieses Computersystem mit Kamera kann beispielsweise durch ein Mobiltelefon mit Kamera realisiert sein.
Das Augmented-Reality-System ist in der Lage aus der Projektion des Markers in die Kamerabildebene die Lage der Markerebene im dreidimensionalen Raum relativ zur Kameraposition zu berechnen. Mithilfe dieser Information können dann virtuelle 3D-Objekte perspektivisch korrekt in die Ebene projiziert werden, in der sich der Marker befindet. Durch den Marker, der sich beispielsweise auf einem Tisch befindet, ist eine Ebene vorgegeben. Als 3D-Objekte werden insbesondere Spielfiguren, Spielbretter, Avatare, u.a.m. verwendet.
Zur lagerichtigen beziehungsweise perspektivisch richtigen Projektion dienen traditionelle 3D-Modellierungstools auf dem PC. Dabei werden für Augmented Reality-Applikationen mehrerer Marker verwendet. Das gleichzeitige Erkennen mehrerer Marker erfordert bei der Bildverarbeitung eine vergleichsweise sehr hohe Rechenleistung.
Hierdurch werden eine Reihe von Augmented-Reality- Applikationen problemlos möglich, die eine perspektivisch korrekte Darstellung des virtuellen Inhalts in der realen
Welt benötigen, wie beispielsweise Landschafts- und Architekturmodellierungen. Weitere Applikationen sind Spiele, insbe- sondere lokale Multiplayerspiele, wie Brettspiele, aber auch Strategie-, Adventure- und Kampfspiele.
Für die traditionelle, nicht-Augmented-Reality-Version vieler solcher Applikationen gibt es heutzutage Editoren, mithilfe derer die Benutzer eine virtuelle Welt gestalten können. Solche Hilfsmittel sind Level- oder Karteneditoren für Spiele, oder Tools zur Erstellung eines Landschaftsarchitekturmodells. Diese Hilfsmittel für eine Augmented-Reality- Applikation auf einem Mobiltelefon anzubieten ist wegen der begrenzten Ressourcen derzeit schwierig bis unmöglich. Aus- serdem ist die Bedienung dieser Editoren selbst auf dem PC schon schwierig, auf einem Telefon mit begrenzten Eingabemöglichkeiten und kleinem Display fast unmöglich.
Der Erfindung liegt die Aufgabe zugrunde diese Probleme, insbesondere für ein Mobiltelefon, zu beheben.
Diese Aufgabe wird erfindungsgemäß durch die im Patentan- spruch 1 angegebenen Merkmale gelöst.
Das erfindungsgemäße Verfahren ermöglicht eine schnelle und intuitive Gestaltung komplexer Spielinhalte für Augmented Reality Applikationen.
Das erfindungsgemäße Verfahren ist äusserst ressourcenschonende und ermöglicht damit eine echtzeitfähige Augmentierung. Dies wird erreicht durch die Verwendung eines einzelnen Markers und der Hinzunahme einfacher Symbole zur robusten und schnellen Detektion eines komplexen Spieleinhaltes.
Im Entertainmentbereich setzen sich zunehmend sogenannte Mul- ti-Player-Spiele mit mehr als einem Spielteilnehmer durch. Eine wesentliche Teilaufgabe des Spiels ist dabei ist die Ka- librierung der verschiedenen Positionen der Spielteilnehmer zueinander, um eine einheitliche Spieldarstellung zu gewährleisten. Die Kalibrierung der Positionen wird in bekannten Fällen durch ein sogenanntes Inertialsystem durchgeführt, bei dem Positionsdaten der Spieler untereinander ausgetauscht werden müssen. Bei dem erfindungsgemäßen Verfahren entfällt die aufwendig durchzuführende Kalibrierung der Position und der Austausch der Daten zum Abgleich der Position durch die Verwendung eines gemeinsamen Markers. Die Position einer Kamera beziehungsweise eines Spielteilnehmers ist bezogen auf den Marker und damit auch bezogen auf alle übrigen Kameras beziehungsweise Spielteilnehmer mit Mitteln der digitalen Bildverarbeitung auf einfache Weise berechenbar.
Die Menge der zu erkennenden Symbole kann klein gehalten werden, da diesen je nach Spielkontext eine unterschiedliche Bedeutung gegeben werden kann und diese dann durch jeweils un- terschiedliche 3D-Objekte ersetzt werden können.
Im Folgenden wird die Erfindung an Hand eines in der Zeichnung dargestellte Ausführungsbeispiels beschrieben. Dabei zeigen:
Figur 1 einen Marker gemäss dem Stand der Technik, und Figur 2 eine erfindungsgemäß gestaltete Landschaft mit einem Marker und mit Symbolen.
In der Figur 1 ist ein bekannter Marker M dargestellt, der über seine Kennung KH ein Haus repräsentiert.
Bei dem erfindungsgemäßen Verfahren wird ein einziger Marker in Verbindung mit einer Mehrzahl von Symbolen eingesetzt.
Wie in der Figur 2 dargestellt, kann der Benutzer durch einen einzigen Marker M auf sehr einfache Art und Weise komplexe Inhalte, beispielsweise die Gestaltung einer Spiellandschaft, für Augmented Reality Applikationen aufbauen, ohne dass zu- sätzliche Marker in die Umgebung installiert werden müssen.
Dieser Marker M bestimmt die Ebene für die Projektion der Objekte. Es handelt sich sozusagen um einen "Leer"-Marker . In eine Ebene, die durch diesen einen Marker M aufgespannt wird, können beliebige Objekte über primitive Symbole S beziehungsweise Formelemente platziert werden. Die Symbole S sind beispielsweise durch runde oder ovale, eckige oder rechteckige Formelemente realisiert. Zusätzlich können die Symbole farbig sein oder farbigen Markierungen beziehungsweise Kodierungen aufweisen. Weiter können als Symbole auch eine oder mehrere Linien L verwendet werden. Die Symbole definie- ren die darzustellenden Objekte hinsichtlich ihrer Art, beispielsweise ein Haus.
Die Symbole S werden vorzugsweise so gewählt, dass sie sich mit Methoden einer digitalen Bildverarbeitung einfach detek- tieren lassen, ohne dass komplexe Verfahren zur Mustererkennung eingesetzt werden müssen. Die Mittel zur digitalen Bildverarbeitung werden beispielsweise durch ein sogenanntes Video-Handy bereitgestellt.
Mit dem Vorwissen über die 3D-Lage der Ebene relativ zur Kameraposition und der Annahme, dass sich alle Symbole S in einer Ebene befinden, lassen sich die zu den Symbolen korrespondierenden Objekte perspektivisch korrekt in das reale Kamerabild projizieren. Die 3D Position eines Objektes ist durch den Schnittpunkt im dreidimensionalen Raum zwischen der Sichtlinie des projizierten Formelements mit der Ebene des Markers M eindeutig definiert.
Dadurch, dass durch eine Bildverarbeitung nur ein einziger Marker M erkannt werden muss, benötigt dieses Verfahren sehr viel weniger Rechenleistung als die vorstehend beschriebenen traditionellen Verfahren.
Mit diesem sehr einfachen Verfahren ist zum Beispiel ein kom- plexer Spielaufbau, wie in Figur 2 zu sehen ist in einfacher Form möglich. Durch einen blauen Striche werden Flüsse symbolisch dargestellt, durch grüne Kreise können Bäume und durch Quadrate können Häuser dargestellte werden. In dem aug en- tierten Kamerabild werden alle Objekte perspektivisch in der Ebene des Markers korrekt dargestellt.
Ein weitere Marker wird dann notwendig, wenn beispielsweise eine weitere perspektivische Darstellung von Objekten gewünscht wird. Die kann der Fallsein, wenn einige Objekte auf einem Tisch und andere in einer grösseren Entfernung dargestellt werden sollen. Hierzu wird dann erfindungsgemäß ein weitere Marker mit wiederum mehreren Symbolen verwendet.

Claims

Patentansprüche
1. Verfahren zur markerbasierten Projektion von virtuellen Objekten in eine vorgegebene Ebene, insbesondere für Aug en- ted-Reality-Applikationen, bei dem die Objekte hinsichtlich ihrer Lage und / oder Perspektive durch einen einzigen Marker (M) bestimmt sind, und bei dem die Objekte hinsichtlich ihrer Art und / oder Ausgestaltung durch diesem Marker (M) zugeordnete Symbole (S, L) bestimmt sind, wobei der Marker (M) und die Symbole (S, L) durch Mittel der Bildaufnahme und -Verarbeitung ausgewertet werden.
2. Verfahren nach Anspruch 1, bei dem die Symbole (S, L) eine Form- und / oder Farbkodierung enthalten.
3. Verfahren nach Anspruch 1 oder 2, bei dem zur Projektion von Objekten in mehreren Perspektiven mehrere Marker mit den zugeordneten Symbolen verwendet werden.
EP04821723A 2004-03-10 2004-12-06 Gestaltung von augmented reality applikationen Withdrawn EP1725985A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP04821723A EP1725985A1 (de) 2004-03-10 2004-12-06 Gestaltung von augmented reality applikationen

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04005679 2004-03-10
PCT/EP2004/053288 WO2005088540A1 (de) 2004-03-10 2004-12-06 Gestaltung von augmented reality applikationen
EP04821723A EP1725985A1 (de) 2004-03-10 2004-12-06 Gestaltung von augmented reality applikationen

Publications (1)

Publication Number Publication Date
EP1725985A1 true EP1725985A1 (de) 2006-11-29

Family

ID=34924474

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04821723A Withdrawn EP1725985A1 (de) 2004-03-10 2004-12-06 Gestaltung von augmented reality applikationen

Country Status (2)

Country Link
EP (1) EP1725985A1 (de)
WO (1) WO2005088540A1 (de)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATO H ET AL: "Marker tracking and HMD calibration for a video-based augmented reality conferencing system", AUGMENTED REALITY, 1999. (IWAR '99). PROCEEDINGS. 2ND IEEE AND ACM INT ERNATIONAL WORKSHOP ON SAN FRANCISCO, CA, USA 20-21 OCT. 1999, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 20 October 1999 (1999-10-20), pages 85 - 94, XP010358756, ISBN: 978-0-7695-0359-2, DOI: DOI:10.1109/IWAR.1999.803809 *

Also Published As

Publication number Publication date
WO2005088540A1 (de) 2005-09-22

Similar Documents

Publication Publication Date Title
Gardeli et al. ARQuest: A tangible augmented reality approach to developing computational thinking skills
DE69833918T2 (de) Videospielvorrichtung und Speichermedium dafür
DE69728979T2 (de) Vernetztes computerspielsystem mit bleibenden spielobjekten
DE69836945T2 (de) Videospielsystem mit Radarbild
DE602004003979T2 (de) Verfahren zur Steuerung einer virtuellen Kamera in einem dreidimensionalen Videospiel
KR102846497B1 (ko) 지표면의 가상 픽처를 디스플레이하기 위한 방법 및 장치, 저장 매체, 및 전자 디바이스
CN112007359B (zh) 一种图像展示方法、可读存储介质和计算机设备
CN116521027A (zh) 基于多分辨率多态势的兵棋推演方法、服务器及存储介质
DE112017008230T5 (de) Verfahren und vorrichtung zum abbilden einer virtuellen umgebung auf eine physische umgebung
US11123631B2 (en) Education, logic, and puzzle systems, methods, and techniques
US4302016A (en) Community development educational apparatus
DE102016116582A1 (de) Verfahren und Vorrichtung zur Darstellung von erweiterter Realität
EP1725985A1 (de) Gestaltung von augmented reality applikationen
US20140018167A1 (en) User manipulation of voronoi diagram game mechanics
DE60121845T2 (de) Spielsystem und entsprechendes computerlesbares Aufzeichungsmedium
DE60310761T2 (de) Spielvorrichtung, spielsteuerungsverfahren und programm
CN109999497A (zh) 虚拟对象的控制方法和装置、存储介质和电子装置
Devaney Fractal patterns and chaos games
Bigl et al. Playing with Virtuality
CN107961534A (zh) 一种Unity3D技术设计的智能手机攻防类游戏
AT524929B1 (de) Verfahren für eine Erzeugung eines Spielresultats auf Basis eines Spielregelsatzes
KR20220104992A (ko) 마커를 인식하여 생성된 캐릭터 정보와 온라인 캐릭터를 혼용한 증강현실 게임 방법
DE102019218109A1 (de) Unterseebootsimulator mit einer anpassbaren Trainingsumgebung
Jantke Mobile Learning–vom Werkzeug zum Assistenten
Bernard et al. Dominance in online business games competitions

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060911

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE ES FR GB

19U Interruption of proceedings before grant

Effective date: 20070101

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20091201

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PALM, INC.

17Q First examination report despatched

Effective date: 20100401

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P.

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20111203