DE102004061842A1

DE102004061842A1 - Markerless augmented reality mobile object tracking procedure uses camera with client server radio link to receive instructions and return only necessary data

Info

Publication number: DE102004061842A1
Application number: DE102004061842A
Authority: DE
Inventors: Thomas Dr. Alt
Original assignee: Augmented Solutions GmbH
Current assignee: Apple Inc
Priority date: 2003-12-22
Filing date: 2004-12-22
Publication date: 2005-07-14
Anticipated expiration: 2024-12-23
Also published as: DE102004061842B4

Abstract

A markerless augmented reality (800) mobile object (50) tracking procedure uses a camera (400-1) with Bluetooth or other client server radio link to receive instructions (300) from a server (500) and return only necessary measurement data (600) including pixel intensity or separations along preferred lines or shapes. Independent claims are included for a camera system using the procedure to compare real object data with images for object tracking.

Description

KurzzusammenfassungQuick Facts

Optisches Tracking auf mobilen Geräten ist mit dem aktuellen Stand der Technik nur unzureichend gelöst. Mobile Geräte besitzen begrenzte Rechenkapazitäten, daher wurde versucht das Videobild per Netzwerk zu übertragen, auf einem Server das Tracking durchzuführen und das angereicherte Bild zurückzuschicken. Die großen Datenmengen für die bidirektionale Übertragung des Videobildes führen allerdings zu unzureichenden Ergebnissen bezüglich der Round-Trip-Time.optical Tracking on mobile devices is solved inadequately with the current state of the art. mobile equipment have limited computing capacity, therefore an attempt was made to transfer the video image via network, on a server to perform the tracking and the enriched image to return. The big ones Datasets for the bidirectional transmission lead the video image however insufficient results regarding the round trip time.

Diese Erfindung zeigt einen Weg auf, das Tracking auf dem Server durchzuführen, ohne ständig das vollständige Videobild zu übertragen. Während der Server die komplexen Trackingvorgänge durchführt, arbeitet der Client einfache Messvorgänge nach Vorgaben des Servers ab. Diese Messvorgänge benötigen geringe Rechnerkapazität und reduzieren die Größe der versendeten Datenpakete enorm.These Invention shows a way to perform tracking on the server without constantly the whole Video image to transfer. While the server performs the complex tracking operations, the client works simple measurement processes according to the specifications of the server. These measurements require low computer capacity and reduce the size of the shipped Data packets enormous.

Aus dem Stand der Technik sind sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen bzw. Objekte kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden.Out the prior art are so-called augmented reality systems known. These allow the overlay of computer generated, virtual information with visual impressions of the real environment. To this end, the visual impressions of the real world, preferably with semipermeable data glasses worn on the head, with virtual Information mixed. The insertion of the virtual information or objects can be context-dependent, i. adapted and derived be executed by the respective considered real environment. When Information can in principle Any type of data such as texts, illustrations etc. can be used.

Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie aus der Produktion von Flugzeugen bekannt. Nach der Druckschrift DE 198 32 974 A1 und DE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt.Documented applications of technology envisage use in the production, service and development of complex products. Also, the use of technology from the production of aircraft is known. After the publication DE 198 32 974 A1 and DE 101 28 015 A1 is the use of augmented reality technologies in production environments known.

Andere Einsatzmöglichkeiten sind zum Beispiel die AR-Dokumentation von Konsumerprodukten (www.ar-pda.de).Other applications are for example the AR documentation of consumer products (www.ar-pda.de).

Zusätzlich sind aus dem Stand der Technik optische Positionserfassungssysteme bekannt, welche die Position und oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position von im Vermessungsraum befindlichen Objekten und/oder die Position der Kamera über die Erkennung der Objekte bestimmen.In addition are known from the prior art optical position detection systems, which the position and or orientation of objects in one Determine the survey room. These so-called tracking systems allow For example, the detection of up to six degrees of freedom of an object. Systems with a wide variety of physical properties are used Operating principles. Are common so-called optical tracking systems by different methods the computer-aided Image processing the location of located in the survey room Objects and / or the position of the camera on the detection of the objects determine.

Optische Tracking-Systeme benötigen allerdings für das Erreichen von akzeptablen Geschwindigkeiten (mehr als 5 Bilder pro Sekunde) relativ viel Rechnerkapazität. Dies ist bei mobilen Geräten oft nicht gegeben. Eine mögliche Lösung dieses Problems ist die Auslagerung der Tracking-Berechnungen und der Anreicherung des Videobildes auf einen leistungsstarken Server. Ansätze dazu sind ebenfalls aus dem Stand der Technik bekannt (ar-pda).optical Need tracking systems however for Achieving acceptable speeds (more than 5 images per second) relatively much computer capacity. This is often not the case with mobile devices given. A possible solution This problem is the outsourcing of the tracking calculations and the enrichment of the video image on a powerful server. approaches are also known from the prior art (ar-pda).

Nach dem Stand der Technik unterscheidet man zwischen sogenannten markerbasierten und sogenannten markerlosen optischen Trackingsystemen. Beim Einsatz zusätzlicher Sensoren, zum Beispiel Intertialsensoren, spricht man von sogenannnten hybriden Trackingsystemen. Die Erfindung ist für jegliche Verfahren von Nutzen.To The state of the art distinguishes between so-called marker-based and so-called markerless optical tracking systems. When used additional Sensors, for example, intertial sensors, are called so-called hybrid tracking systems. The invention is useful for any process.

Da die freie Suche nach Objekten mittels heute verfügbarer Rechenleistung nicht in ausreichender Geschwindigkeit möglich ist, werden vereinfachende Annahmen getroffen.There the free search for objects by means of currently available computing power in sufficient speed is possible, simplifying Assumptions made.

Eine Möglichkeit zur Vereinfachung der Komplexität, ist die Ausstattung des Trackingraums mit kontrastreichen, leicht zu erkennenden Markierungen, im Folgenden als Marker bezeichnet. Dieser Ansatz hat allerdings den Nachteil, dass der Trackingraum ausgestattet werden muss und das Tracking nur im ausgestatteten Bereich möglich ist. Optische Trackingverfahren mit dieser Methode werden allgemein als markerbasierte Trackingverfahren bezeichnet.A possibility to simplify the complexity, is the equipment of the tracking room with high-contrast, easy Marks to be recognized, hereinafter referred to as markers. However, this approach has the disadvantage that the tracking room must be equipped and the tracking only in the equipped Range possible is. Optical tracking methods using this method are becoming common referred to as marker-based tracking method.

Eine andere Möglichkeit zur Vereinfachung der Komplexität ist der Einsatz von Modellen, zum Beispiel statistischen Bewegungsmodellen und/oder zusätzlichen Sensoren, zum Beispiel Beschleunigungssensoren, welche den Suchraum der Bildverarbeitungsalgorithmen einschränken. Obwohl dieser Ansatz die Komplexität vereinfacht ohne dass eine Ausstattung des Raumes nötig ist, kann er nicht bei der Initialisierung behilflich sein. Initialisierung bedeutet in diesem Zusammenhang die Festlegung des inneren Zustands des Systems, so dass der Trackingvorgang erfolgreich und in ausreichend kurzer Zeit durchgeführt werden kann. Das System muss zuerst in einen gültigen Anfangszustand versetzt werden. Dieser Anfangszustand umfasst die ungefähre Position und Orientierung der Realität zur Kamera und vorteilhafterweise Angaben zur aktuellen Bewegung der Kamera.Another possibility for simplifying the complexity is the use of models, for example statistical movement models and / or additional sensors, for example acceleration sensors, which limit the search space of the image processing algorithms. Although this approach simplifies complexity without the need for room equipment, it can not help with initialization. Initialization in this context means the determination of the internal state of the system, so that the tracking process can be carried out successfully and in a sufficiently short time. The system must first be set to a valid initial state. This initial state includes the approximate position and orientation of reality to the Ka mera and advantageously information about the current movement of the camera.

Systeme, welche auf spezielle Markierungen (Marker) im Raum nicht angewiesen sind, sind aus folgenden Druckschriften bekannt und werden im folgenden als markerlose Tracking-Systeme bezeichnet:

(Behringer, R.; Park,J.; Sundareswaran, V.: Model-Based Visual Tracking for Outdoor Augmented Reality Applications. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277
Genc, Y.; Riedel, S .; Souvannavong, F.; Akinlar, C.; Navab, N.: Markerless Tracking for AR: A Learning-Based Approach. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 295
Kar Wee Chia, Adrian David Cheok, Simon J.D. Prince: Online 6 DOF Augmented Reality Registration from Natural Features. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277).

Systems which do not rely on special markers in space are known from the following documents and are referred to below as markerless tracking systems:

(Behringer, R .; Park, J .; Sundareswaran, V .: Model-Based Visual Tracking for Outdoor Augmented Reality Applications, International Symposium on Mixed and Augmented Reality (ISMAR'02), Darmstadt 2002, p
Genc, Y .; Riedel, S .; Souvannavong, F .; Akinlar, C .; Navab, N: Markerless Tracking for AR: A Learning-Based Approach. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, p. 295
KarDe Chia, Adrian David Cheok, Simon JD Prince: Online 6 DOF Augmented Reality Registration from Natural Features. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, p. 277).

Eingangsinformation des Systems ist ein zweidimensionales Feld von Rot-, Grün- und Blauintensitäten im Kamerabild. Zusätzlich können Beschleunigungsdaten von zusätzlichen Sensoren eingelesen werden. Ausgangsdaten des Systems sind die Position und/oder vorteilhaftereweise die Orientierung von einem oder mehreren Objekten relativ zur Kamera. Die Elemente der Realität können dann beispielsweise ein Koordinatensystem für Augmented Reality-Informationen aufspannen. Position und Orientierung können vorteilhafterweise durch eine Transformationsmatrix beschrieben werden. Vorteilhafterweise sind Position und Orientierung die Ausgangsdaten des Systems. Vorteilhafterweise können ebenfalls Kalibrierungsdaten von Sensoren Ausgangsdaten sein. Vorteilhafterweise können ebenfalls Modelldaten der Umgebung Ausgangsdaten sein. Die Erfindung bezieht sich aber ebenfalls auf Systeme, bei denen nur Position (ein-, zwei- oder dreidimensional) oder nur Orientierung (ein-, zwei- oder dreidimensional) oder jegliche Kombination der Anzahl der Dimensionen, die Ausgangsdaten darstellen.input information The system is a two-dimensional array of red, green, and blue intensities in the camera image. additionally can Acceleration data of additional Sensors are read. The output data of the system is the position and / or advantageously the orientation of one or more Objects relative to the camera. The elements of reality can then For example, spanning a coordinate system for Augmented Reality information. Position and orientation can advantageously described by a transformation matrix become. Advantageously, position and orientation are the output data of the system. Advantageously, calibration data may also be provided be from sensors output data. Advantageously, too Model data of the environment may be output data. The invention relates but also to systems where only position (one-, two- or three-dimensional) or only orientation (one-, two- or three-dimensional) or any combination of the number of dimensions, the output data represent.

Nachteiledisadvantage

Nachteilig an den bekannten Verfahren zur Umsetzung von AR auf mobilen Systemen ist

1. Anforderungen an Rechnerkapazität übersteigen die Möglichkeiten mobiler Systeme.
2. Übertragung des Videosignals zum Server und zurück erfordert eine große Datenmenge und übersteigt eine akzeptable Round-Trip-Time.
3. Verringerung der zu übertragenden Datenmenge durch Komprimierung des Bildes erfordert ebenfalls viel Zeit und Rechenleistung.
4. Bei hoher Auslastung des Netzwerks wird dies für zusätzliche Funktionen, wie Geometriedaten oder die Kommunikation mit einem entfernten Experten, etc. eingeschränkt.
5. Verfahren, welche die Position des mobilen Gerätes zum Beispiel durch Netzwerkeigenschaften (Mobilfunkzelle, etc. ) erhalten sind sehr ungenau genau.

A disadvantage of the known methods for the implementation of AR on mobile systems

1. Computer capacity requirements exceed the capabilities of mobile systems.
2. Transmission of the video signal to the server and back requires a large amount of data and exceeds an acceptable round-trip time.
3. Reducing the amount of data to be transferred by compressing the image also requires a lot of time and computing power.
4. When the network is heavily used, this is restricted for additional functions, such as geometry data or communication with a remote expert, etc.
5. Method, which obtained the position of the mobile device, for example, by network properties (mobile radio cell, etc.) are very inaccurate exactly.

Der Erfindung liegt die Aufgabe zu Grunde, Augmented Reality oder andere Anwendungen auf mobilen Geräten zu ermöglichen, welche Position und oder Orientierung des Gerätes gegenüber realen Objekten benötigen. Zur Entlastung des mobilen Gerätes, werden Aufgaben auf Server ausgelagert. Auf Server ausgelagerte Vorgänge sollen dabei die Beanspruchung des Übertragungssystems möglichst gering halten. Die Round-Trip-Time vom mobilen Gerät zum Server wird durch die Erfindung stark reduziert.Of the The invention is based on the object Augmented Reality or others Applications on mobile devices to enable which position and or orientation of the device are required compared to real objects. to Relief of the mobile device, tasks are outsourced to servers. Sent to server operations while the stress of the transmission system should be as low as possible hold. The round trip time from the mobile device to the server is determined by the Invention greatly reduced.

Beschreibung der Erfindungdescription the invention

Die zuvor hergeleitete und aus dem Stand der Technik hervorgehene Aufgabe wird erfindungsgemäß durch ein System und Verfahren gelöst, bei dem die Übertragung des gesamten Videobildes vermieden bzw. auf ein Minimum reduziert wird.The previously derived and emerging from the prior art task is inventively solved a system and method where the transfer the entire video image avoided or reduced to a minimum becomes.

Die Erfindung schafft ein Verfahren zum Bestimmen der Position und/oder der Orientierung mobiler Geräte bezüglich realer Geräte oder zum Bestimmen der Position und/oder der Orientierung realer Objekte bezüglich eines mobilen Geräts, wobei mittels einer dem mobilen Gerät zugeordneten Kamera ein das reale Objekt enthaltendes Bild aufgenommen wird und wobei durch Vergleich zwischen dem aufgenommenen Bild und hinterlegter Information über das reale Objekt das genannte Bestimmen erfolgt,
dadurch gekennzeichnet,
dass von einem Server, der von der mobilen Vorrichtung separiert ist, eine Messanweisung an das mobile Gerät gesendet wird;
dass von dem mobilen Gerät aufgrund der Messanweisung eine Messung in dem Bild vorgenommen wird;
und dass das Messergebnis von dem mobilen Gerät an den Server gesendet wird.The invention provides a method for determining the position and / or the orientation of mobile devices with respect to real devices or for determining the position and / or orientation of real objects with respect to a mobile device, wherein an image containing the real object by means of a camera associated with the mobile device and wherein said determination is made by comparison between the captured image and stored information about the real object,
characterized,
that a metering instruction is sent to the mobile device from a server separate from the mobile device;
that the mobile device makes a measurement in the image based on the measurement instruction;
and that the measurement result is sent from the mobile device to the server.

Das reale Objekt kann ein Marker sein. Man kann aber auch ohne Marker arbeiten und statt dessen mit einem oder mehreren prägnanten, realen Objekten arbeiten, über die Information hinterlegt ist. Letzteres kann auch durch Initialisieren des Systems erfolgen.The real object can be a marker. But you can also without markers work and instead with one or more succinct, real objects work over the information is deposited. The latter can also be initialized of the system.

Es ist möglich, pro Bild mehrere Messanweisungen nacheinander zu senden, mehrere Messungen nacheinander vorzunehmen, und mehrere Messergebnisse nacheinander zu senden. Ein typisches Beispiel hierfür wäre das Messen längs mehrerer Messlinien oder in mehreren Teil-Messflächen innerhalb des Bildes.It is possible to have several measurement instructions per image one after the other, to take several measurements in succession, and to send several measurement results in succession. A typical example of this would be the measurement along several measurement lines or in several partial measurement areas within the image.

Es ist möglich, zeitlich nacheinander mehrere Positions- und/oder Orientierungsbestimmungen durchzuführen. In diesem Fall liefert das Verfahren eine kontinuierliche oder quasi-kontinuierlich Positions- und/oder Orientierungsbestimmung.It is possible, successively perform several position and / or orientation determinations. In In this case, the method provides a continuous or quasi-continuous Position and / or orientation determination.

Die beigefügten Ansprüche 1 bis 32 beinhalten erfindungsgemäße Verfahren und erfindungsgemäße Systeme sowie bevorzugte Ausgestaltungen erfindungsgmäßer Verfahren und erfindungsgemäßer Systeme. Die dort offenbarten Merkmale können auch bei den in den vier vorhergehenden Absätzen angesprochenen Verfahren verwirklicht werden.The attached claims 1 to 32 include methods according to the invention and systems according to the invention as well as preferred embodiments of inventive method and inventive systems. The features disclosed therein can also in the case of the four previous paragraphs be realized.

Weiterer Gegenstand der Erfindung sind Systeme, welche körperliche Elemente bzw. Einrichtungen beinhalten, mit denen sich in der vorliegenden Anmeldung offenbarte Verfahrenselemente durchführen lassen.Another The invention relates to systems which physical elements or devices with which disclosed in the present application Perform process elements to let.

Beim erfindungsgemäßen System und Verfahren teilt der Server dem Client mit, welche Messvorgänge im Videobild durchgeführt werden sollen. Messvorgänge werden durch den Einsatz intelligenter Algorithmen minimiert.At the inventive system and procedures, the server tells the client what measurements are in the video image carried out should be. measurement processes are minimized through the use of intelligent algorithms.

Skizze 1 zeigt einen vorteilhaften Aufbau des erfindungsgemäßen Systems und Verfahrens. Eine Kamera (400-1) erstellt ein Videobild (100) der realen Umgebung, in der sich reale Objekte (50), vorteilhafterweise Marker, befinden. Auf dem mobilen Gerät befindet sich eine Komponente, der sogenannte Observer (400-2), welcher das Kamerabild untersuchen kann. Über ein digitales Übertragungssystem (200), vorteilhafterweise ein drahtloses Netzwerk, erhält das mobile Gerät (400), auch als Client bezeichnet, Messanweisungen (300) vom Estimator (500-1), welcher sich auf dem Server (500) befindet. Aufgrund der Messanweisungen nimmt der Observer Messungen vor und sendet die Messdaten (600) an den Estimator. Der Estimator errechnet mittels der Messdaten das aktuelle Trackingergebnis (700) und sendet dieses vorteilhafterweise an den Renderer (400-3) des mobilen Gerätes. Mittels des Trackingergebnisses kann der Renderer AR-Informationen lagegerecht darstellen. Vorteilhafterweise werden die AR-Informationen (800) mit dem Videobild vermischt und über ein Ausgabessystem (400-4) dem Anwender (1000) angezeigt. Vorteilhafterweise handelt es sich beim Ausgabessystem um ein kopfgetragenes Bildschirmsystem (Head Mounted Display).sketch 1 shows an advantageous construction of the system and method according to the invention. A camera ( 400-1 ) creates a video image ( 100 ) the real environment in which real objects ( 50 ), advantageously markers. On the mobile device is a component, the so-called Observer ( 400-2 ), which can examine the camera image. Via a digital transmission system ( 200 ), advantageously a wireless network, the mobile device ( 400 ), also referred to as client, measuring instructions ( 300 ) from the estimator ( 500-1 ), which is located on the server ( 500 ) is located. Based on the measurement instructions, the observer makes measurements and sends the measurement data ( 600 ) to the estimator. The estimator uses the measurement data to calculate the current tracking result ( 700 ) and sends this advantageously to the renderer ( 400-3 ) of the mobile device. By means of the tracking result, the renderer can display AR information in the correct position. Advantageously, the AR information ( 800 ) is mixed with the video image and output via an output system ( 400-4 ) the user ( 1000 ) is displayed. Advantageously, the output system is a head-mounted screen system.

Vorteilhafterweise bestimmt der Estimator Messanweisungen mit Hilfe eines Bewegungsmodells (500-2). Vorteilhafterweise werden die Messbereiche durch Geometriedaten der realen Objekte eingeschränkt, welche aus einer Datenbank (500-3) stammen können. Vorteilhafterweise wird die Berechnung von Messanweisungen und die Berechnung des Trackingergebnisses durch zusätzliche Sensoren unterstützt. Vorteilhafterweise sind dies Intertialsensoren (400-5), welche am Anzeigegerät des mobilen Geräts befestigt sind und Beschleunigungs- und oder Geschwindigkeitsdaten (900-1) an den Estimator senden. Vorteilhafterweise ist dies ein Global Positioning System (400-6), welche am Anzeigegerät des mobilen Geräts befestigt ist und Positions- und/oder Beschleunigungs- und/oder Geschwindigkeitsdaten (900-2) an den Estimator sendet. Vorteilhafterweise wird die Berechnung von Messanwei sungen und die Berechnung des Trackingergebnisses durch Informationen des Bereitstellers des Übertragungssystems unterstützt. Vorteilhafterweise sind dem Bereitsteller des Übertragungssystems (1100) Positionsinformationen (900-3) bekannt.Advantageously, the estimator determines measurement instructions using a motion model ( 500-2 ). Advantageously, the measuring ranges are limited by geometric data of the real objects, which are generated from a database ( 500-3 ). Advantageously, the calculation of measurement instructions and the calculation of the tracking result is supported by additional sensors. Advantageously, these are intertial sensors ( 400-5 ), which are attached to the display device of the mobile device and acceleration and / or speed data ( 900-1 ) to the estimator. Advantageously, this is a Global Positioning System ( 400-6 ), which is attached to the display device of the mobile device and position and / or acceleration and / or speed data ( 900-2 ) sends to the estimator. Advantageously, the calculation of Messanwei sungen and the calculation of the tracking result by information of the provider of the transmission system is supported. Advantageously, the provider of the transmission system ( 1100 ) Position information ( 900-3 ) known.

Die Messanweisungen (300) und damit die Messdaten (600) sind vorteilhafterweise sehr unterschiedlich und dem Zustand des Gesamtsystems angepasst. Zur Initialisierung kann es zum Beispiel nötig sein, ein vollständiges Bild, z.B. ein Digitalbild mit reduzierter Auflösung und/oder Farbtiefe oder ein Binärbild, zu übertragen. Nach der Initialisierung kann es ausreichen Farbintensitäten einzelner Punkte im Bild zu übertragen.The measuring instructions ( 300 ) and thus the measured data ( 600 ) are advantageously very different and adapted to the state of the overall system. For example, for initialization it may be necessary to transmit a complete image, eg a digital image with reduced resolution and / or color depth or a binary image. After initialization, it may be sufficient to transfer color intensities of individual points in the image.

Vorteile und Anwendungen des Systems und VerfahrensAdvantages and Applications of the system and method

Vorteile des beschriebenen Systems und Verfahrens zum Finden der Position und/oder Orientierung mobiler Geräte bezüglich realer Objekte ist die signifikante Verringerung der Round-Trip-Time durch die variable Anforderung nur benötigter Messergebnisse durch den Server. Dieser Zusammenhang wird in 2 qualitativ verdeutlicht. Während bei der Übertragung des Videobilds in 2 Richtungen konstant-große Datenmengen anfallen, sind diese, durch die ausgewählte Arbeit des Clients geringer, nach der Initialisierung sogar deutlich geringer.Advantages of the described system and method for finding the position and / or orientation of mobile devices with respect to real objects is the significant reduction in round trip time due to the variable requirement of only required measurement results by the server. This connection is in 2 qualitatively clarified. While the transmission of the video image in two directions causes constantly large amounts of data, these are, due to the selected work of the client lower, even much lower after the initialization.

Mögliche Anwendungen des Systems und Verfahrens schließen insbesondere Anwendungen der Augmented Reality Technologie in den Bereiche Service und Wartung, Produktion sowie Anwendungen im mobilen Umfeld ein.Possible applications The system and method in particular include applications of Augmented reality technology in the areas of service and maintenance, Production and applications in the mobile environment.

5050: Reales ObjektReales object
100100: Videobildvideo image
200200: Übertragungssystemtransmission system
300300: Messanweisungenmeasuring instructions
400400: mobiles Gerätmobile device
400-1400-1: Kameracamera
400-2400-2: ObserverObserver
400-3400-3: Renderer (Grafiksystem)renderer (Vector System)
400-4400-4: Ausgabesystemoutput system
400-5400-5: Inertialsensoreninertial sensors
400-6400-6: Global Positioning SystemGlobal Positioning system
400-7400-7: Datenspeicher für AR-Informationendata storage for AR information
500500: Serverserver
500-1500-1: EstimatorEstimator
500-2500-2: Bewegungsmodellmovement model
500-3500-3: DatenbankDatabase
600600: Messdatenmeasurement data
700700: Trackingergebnistracking results
800800: AR-InformationenAR Information
900-1900-1: Daten des Intertialsensorsdates of the intertial sensor
900-2900-2: Daten des Global Positioning Systemsdates of the Global Positioning System
900-3900-3: Daten des Bereitstellers des Übertragungssystemsdates the provider of the transmission system
10001000: Anwenderuser
11001100: Bereitsteller des Übertragungssytems, vorteilhafterweise Netzprovider the transmission system, advantageously network
: werk-Providerfactory provider

Claims

Method for finding the position and / or orientation of mobile devices with respect to real objects, characterized in that the mobile device receives measurement instructions of the server and only the required measurement data is sent from the client to the server.

Process for enriching the reality with virtual Objects, characterized in that the calculation of the image the enriched information advantageously on the client takes place and thus only the tracking result from the client to the Server transfer must become.

Method for finding the position and / or orientation of a camera real objects, characterized in that the mobile device measuring instructions of the server and only the needed ones Messages are sent from the client to the server.

System according to claim 1 or 2, characterized in that the communication between client and server ( 8th ) takes place wirelessly with different techniques adapted in each case to the field of application, in particular with Bluetooth for the close range of wireless LANs GSM / GPRS / UMTS for the far range.

System according to claim 1 and / or 3, characterized that the measurement instructions and thus the, from the client to the server sent, measurement results in shape and scope may vary.

System according to claim 1 and / or 3, characterized that the measurement instructions image coordinates and the measurement results individual pixel intensities to image coordinates.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions straight lines of any length and the measurement results pixel intensities on this straight line.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions straight lines of any length and the measurement results Represent point coordinates.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions straight lines of any length and the measurement results distances represent.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions rectangles of any surface and the measurement results pixel intensities of image coordinates within these rectangles.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions rectangles of any surface and the measurement results Represent point coordinates.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measurement instructions rectangles of any surface and the measurement results distances represent.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measuring instructions free-form surfaces and the measurement results pixel intensities of image coordinates within represent these rectangles.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measuring instructions free-form surfaces and the measurement results represent point coordinates.

System according to claim 1 and / or 3, characterized that, expressed in picture coordinates, the measuring instructions free-form surfaces and the measurement results distances represent.

System according to claim 1 and / or 3, characterized that a motion model is used to calculate the measurement instructions becomes.

System according to claim 1 and / or 3, characterized that to calculate the measurement instructions a geometry models realer Objects are used.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions, assumptions about the Position and orientation of real objects relative to the camera to be hit.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions, several assumptions about the Position and orientation of a real object relative to the camera be taken and the number of assumptions, in position and Orientation areas increase, for which a higher probability was accepted.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions, assumptions about the Position and orientation of real objects relative to the camera using a motion model coupled to a Kalman filter to be hit.

System according to claim 1 and / or 3, characterized that for calculating measurement instructions advantageously a motion model is used and the model due to the tracking results for Runtime is adjusted.

System according to claim 1 and / or 3 and / or 2 thereby characterized in that the tracking results 2- or 3-dimensional Position information and / or 1-, 2- or 3-dimensional orientation information and / or information about Camera parameters can be.

System according to claim 1 and / or 3, characterized that the estimator made assumptions about the uncertainty of recent tracking results meets and in the measurement instructions the number of examined Pixel increases with increasing uncertainty.

System according to claims 1 and 2, characterized that at the same time the tracking results and the new measurement instructions transferred to the client become.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions and / or for the calculation of the tracking result, using data from intertial sensors become.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions and / or for the calculation the tracking result, position data of the provider of the transmission system be taken to the rescue.

System according to claim 1 and / or 3, characterized that for the calculation of the measurement instructions and / or for the calculation of the tracking result, data of a Global Positioning System for Help be taken.

System according to claim 1 and / or 3, characterized that the measurement instructions and / or the measurement results are compressed become.

System according to claim 2, characterized in that the calculation of the virtual information on the server happens transferred to the client and enriched on the client with the video image.

System according to claim 2, characterized in that the calculation of the virtual information on the server happens transferred to the client is displayed by means of a semipermeable display becomes.

System according to claim 1 and / or 3 and / or 2 thereby characterized in that the server, due to the tracking results, the renderer of the client automatically with contextual Provides AR content (for example, 3D models or text information), if needed by the tracking Network load is low and can be seen from the track results, that soon new content is needed.

System according to claim 1 and / or 3, characterized that the server depends from the current capacity of the transmission medium required by tracking, additional needed by the client Data buffers and transmits flexibly.

Method for determining the position and / or the orientation of mobile devices with respect to real objects or for determining the position and / or orientation of real objects with respect to a mobile device, wherein an image containing the real object is recorded by means of a camera associated with the mobile device, and wherein said determination is made by comparison between the captured image and deposited information about the real object, characterized in that a measurement instruction is sent to the mobile device by a server separate from the mobile device; that of the mobile device due to the Messan a measurement is made in the image; and that the measurement result is sent from the mobile device to the server.

Method according to claim 33, characterized that several measurement instructions are sent per image, several measurements be made and several measurement results are sent.

A method according to claim 33 or 34, characterized that in time several position and / or orientation determinations carried out become.